This is a page about some of the mechanics of ‘big data’, specifically how to store, transfer and process perhaps 100s of millions or billions of rows/events. Although some people think big data starts at 65k rows, at which point Excel used to lose it, I’m talking about gigabytes of data here. Infrastructure for this kind of thing abounds. Data can however come from lots of sources, and go to lots of different places.

Vandaag was mijn laatste dag als lid van de Toetsingscommissie Inzet Bevoegdheden Inlichtingen- en Veiligheidsdiensten (TIB), de commissie die vooraf bindend toetst of de voorgenomen inzet van de zwaarste bevoegdheden van de AIVD en MIVD rechtmatig is. Update: Onderaan dit artikel staat een uitgebreid media overzicht De reden voor dit vertrek is mijn zorg over de “Tijdelijke wet onderzoeken AIVD en MIVD naar landen met een offensief cyberprogramma” (samenvatting), die tot doel heeft het toezicht vooraf te beperken, het toezicht vooraf op de technische risico’s af te schaffen en die aanvullend een forse verruiming van de bevoegdheden van de diensten inhoudt.

I’ve seen some mediocre automated translations of my Dutch language resignation statement go round. To prevent any confusion, please find the story here in English: Until today I was one of the three members of the board that checks warrants for the Dutch intelligence and security services. This board is called “Toetsingscommissie Inzet Bevoegdheden” or TIB. If either of the civil or the military intelligence and security services of The Netherlands want to use their lawful intercept, SIGINT or hacking (& some other) legal powers, they have to first convince their own jurists, then their ministry and finally the TIB.

Recent is er een nieuw wetsvoorstel gepresenteerd bedoeld om de AIVD en de militaire MIVD meer ruimte te geven om onderzoek te doen naar landen met een offensief cyberprogramma. Op deze pagina bespreek ik de zwaarste bevoegdheden die de diensten hebben om hun werk te doen. De Wet op de Inlichtingen- en Veiligheidsdiensten 2017 (‘Wiv’) is een moderne wet die de Nederlandse inlichtingen- en veiligheidsdiensten, als het noodzakelijk is, juridisch toestemming geeft alles af te luisteren, te hacken of te laten kopiëren, waar ook ter wereld.

In the world of Global Navigation Satellite Systems (GNSS), change tends to happen very slowly and cautiously. It is therefore quite exciting how many new features Galileo, the “European GPS” has been rolling out lately. Earlier I wrote a little bit about the High Accuracy Service (HAS), whereby the Galileo satellites themselves provide properly equipped receivers (not your phone) with near-realtime updates that can be used to achieve very good accuracy.

A week ago, I finally got round to implementing an idea I’d been toying with for years: what if your computer made a little bit of noise every time it sent data to Google? From studying logs, I’d long known just how many sites send all your visits and clicks to (at least) Google, but a log that you have to manually create first and then analyze is not very dramatic.

(scroll down for my two talks if you are in a hurry) As I write this I’m suffering from severe post-camp blues. Every four years the Dutch hacker community organizes a stupendously large multi-day campsite event, with ample international help. To a large extent, “everyone” is there. And this time, like every time, people who originally decided they could not make it.. show up by day two. Because the pull is just too strong.

Eerder dit jaar spraken Kustaw Bessems en ik elkaar in een aflevering van de Volkskrant podcast ‘Stuurloos’ (reservelink). In een uitzending van meer dan een uur behandelden we waarom het zo moeilijk is voor de overheid en grote bedrijven om mensen te werven die ergens echt veel vanaf weten, en die mensen vervolgens ook te behouden. Ik had me gemeld bij ‘Stuurloos’ na het beluisteren van de zeer waardevolle eerdere aflevering Gevaarlijke combinatie: politici én ambtenaren zonder vakkennis met Geert-Jan Hamilton en Peter van Lieshout (artikel).

As presented on the 24th of May 2022 at the European Energy Law Seminar 2022 organized by the Dutch Energy Law Association (NeVER), in cooperation with the University of Groningen’s Centre of Energy Law and Sustainability and the University of Oslo’s Scandinavian Institute of Maritime Law So before we delve into the fascinating relation between cybersecurity and the worlds of oil, gas, energy and electricity, I need to introduce myself a bit.

Hi everyone, A brief note, I’ve written a book, and the content is nearly done. You can read all about it here. The first 90% of the project went well, but I need (well paid) help with the remaining 90% to turn it into a decent book. This is a ‘for profit’ book, but it will be given away for free to schools, universities and readers/students unable to afford it. So there is a bit of feel-good factor involved.

In an earlier post I presented a naive model for estimating Dutch electrical solar power generation numbers. It turns out that the Dutch electrical power generation numbers are an even bigger mess than I appreciated. It appears that “everyone knows” that the numbers are confusing, incomplete and perhaps even wrong. But somehow this state of confusion isn’t written down anywhere. So I’ll give it a shot. A round of thanks to a small number of anonymous industry insiders that provided invaluable help!

As part of my coping mechanisms, I like to make graphs of important things I worry about. Recently with the Russia-inflicted horrors in Ukraine, I’ve been looking at the torrent of Russian gas being bought by Europe. This turned into a live plot that shows just how much money we are sending to Russia. In that post, I also dwell on how we are using that gas to heat our houses and generate electricity.

The horrors of the Russian war on Ukraine continue unabated. Every eurocent we send to Russia is an intolerable assault on the senses. The world buys lots of things from Russia. For some of these, if Europe does not buy them, someone else will. But there is one major exception: natural gas. Over the past few weeks I’ve been automating graphs that show, on an hourly basis, just how much gas we buy from Russia:

So I love academia, and I also built two businesses. When I dropped out of studying physics to focus on my company, I assumed I knew everything, since I had studied physics! Turned out that if you enter the world of commerce, it is very bad if you are visibly confused about the difference between business development and sales. It does nothing for your credibility. People in enterprise will likely and correctly conclude that you know nothing about running companies if you are hazy on concepts that are fundamental to them.

And we’re back! As noted in part 1 and part 2 I thought it might be possible that I had discovered something interesting in biology. Lacking an academic peer group, I had decided to use a series of blog posts to gather feedback and to keep myself honest. I’m very pleased to report that this process worked! I just received word that Nature Scientific Data has formally accepted my paper “SkewDB, a comprehensive database of GC and 10 other skews for over 30,000 chromosomes and plasmids” for publication!

If you programmed something and it turns out to be too slow, often you’d like to farm out the work to multiple threads. At this point you typically have a few choices: use some kind of producer/consumer pipe half-ass it by dividing the work into n chunks and launch n threads and hope for the best rely on one of the magic parallelization solutions (#pragma omp) use (newfangled) language features All of these options are painful to some extent.

Na mijn vorige deprimerende stukje over ons stompzinnige Coronabeleid gooi ik het nu over een wat positievere boeg. Want het lijkt er soms wel op alsof er geen enkele vooruitgang geboekt is, en we hier nooit meer uit gaan komen, maar dat is echt niet zo. Foto van Ivan Diaz op Unsplash Om met het begin te beginnen, de coronacijfers zijn hoger dan we ooit gemeten hebben (al waren ze in werkelijkheid in maart 2020 vermoedelijk nog hoger).

Echt, ik trek het niet meer. Regeren is vooruitzien. Ik denk dat we dus niet regeren in Nederland. Corona is, ook na twee jaar, nog steeds een ontwikkelend ding. Het virus, de vaccins, de reacties van mensen, ze blijven ons verbazen. Maar een ding is inmiddels wel constant: geïnformeerde mensen in de buitenwereld zien maanden van tevoren ontwikkelingen aankomen die daarna tot het uiterste genegeerd worden door onze politieke leiders.

This is a lightly edited transcript of my keynote over at NANOG 83, so please accept my apologies if some of the wording is not (yet) as clear as it should be! The original video, including Q&A can be found on NANOG’s Youtube channel Hello, and welcome to this presentation on who controls the internet, and if they actually should. As you can see, I cover all grounds here. All kinds of flags are in this presentation and all kinds of companies.

Ik schreef er eerder over, hoe werf je nieuwe collega’s. Het stuk is weer actueel nu het zo moeilijk is om aan personeel te komen, of om mensen zelfs maar te behouden. Medisch personeel verlaat de werkvloer – (C) Luis Melendez Sinds 1999 neem ik mensen aan of hielp ik bij werving, voor de overheid, mijn voormalige bedrijven & die van anderen, maar ook voor scholen en instellingen. Ik heb er dus wel een beetje kijk op.

Het heeft even geduurd, maar er is weer een Coronaupdate. Wederom dank aan iedereen die met vragen kwam. Hoe gaat het nu? Ik durf het niet te zeggen. In veel landen gaan de cijfers omhoog. In de UK zijn ze al tijden en tijden torenhoog. De vaccins houden goed stand tegen ernstige ziekte (zie verderop). Maar of de cijfers nog veel verder omhoog zullen gaan, ik durf het niet te zeggen.

Hello and welcome to this introduction of the SkewDB. This open (downloadable) database contains details of GC skew, plus a dozen other skews, for all 28,000 bacterial chromosomes available through the NCBI genomes service. The database is created using the open source Antonie DNA software. There is also an online viewer that includes graphs. GC skew is the phenomenon where almost all circular chromosomes tend to have near equal amounts of G and C nucleotides, per strand, but where the leading replication strand contains an excess of G, and the lagging replication strand has an excess of C nucleotides.

And we’re back! As noted in part 1, there is the possibility I’ve discovered something interesting in biology. Lacking an academic peer group, I’m using a series of blog posts to gather feedback and to keep myself honest. Because chances continue to be high that as an outsider I am deluding myself. The full backstory can be found in part 1 without which this installment will not make much sense.

So, I think I may have discovered something interesting in biology! Professional scientists know this feeling all too well. Exhilarated that it looks like you might be the first person ever to know something, but worried sick that it might not be real. Also, you might be fooling yourself – and you are the easiest person to fool. And even if it is real, does it even mean something? Or did you effectively discover that hot things are not cold?

Ik ben een heel tevreden klant van KPN Internet. Om diverse redenen gebruik ik de Experia Box niet, maar ik wil wel graag TV kunnen kijken met de KPN Interactieve TV Set Top Box. Vroeger ging dat “vanzelf goed”, tegenwoordig is daar wat werk voor nodig. In augustus 2021 werkten deze instructies goed, maar er kunnen dingen veranderen bij KPN natuurlijk! UPDATE mei 2024! Als je van KPN bericht hebt gekregen dat je je TV ontvanger moet vervangen, en je krijgt op kpn.

This article is part of a series on (European) innovation and capabilities. Earlier this year I was very happy to be interviewed by Thomas Ramge for Germany’s Federal Agency for Disruptive Innovation (SPRIND). Many podcasts are just two guys talking to each other, but here Thomas brought along a lot of expertise & spent serious time preparing, which contributed hugely to having a productive conversation. Even if it is still two guys!

Recent barstte het weer los, de felle discussie tussen artsen en dikke mensen. Een belangrijk onderwerp, maar ook een onderwerp waarover een hoop zomaar geroepen wordt. Veel artsen en beleidsmakers zien een foto van dikke mensen en roepen “Zucht, leefstijl”. En dan vraag ik me weleens af, hebben jullie ook maar één te dikke vriend of vriendin met wie jullie hier weleens over praten? Want zolang we elkaar niet begrijpen is er een groot probleem.

This article is part of a series on (European) innovation and capabilities. Recently I participated in a very useful panel that aimed to demystify European digital sovereignty. Even though we spoke for more than an hour (video), we obviously were not able to fix all of Europe’s sovereignty problems! The event was organized by Scaleway (previously Online SAS or Online.net), a 100% subsidiary of what I think is Europe’s most innovative telecommunications company, Iliad.

Een extra update, twee weken na de vorige, want er is al weer voldoende te vertellen. Deze keer weer een aantal vragen op verzoek: De cijfers stijgen ineens heel hard, wat betekent dat? Is het veilig om naar evenementen te gaan? Zou mijn dochter/zoon zich moeten laten vaccineren? Werken de vaccins nog wel? Wat de f is er aan de hand met de cijfers ineens Goeie vraag. Ze gaan omhoog en hard ook.