Maskinrummet

Crawlerne

Hvem der kom for at læse, og hvad de læste.

Ikke alle gæster er mennesker. Søgemaskiner indekserer siderne, AI-crawlere samler tekst til sprogmodeller, og AI-assistenter henter en side, fordi et menneske bad dem om det. Sitet har lagt særlige filer frem til dem. Her er, hvem der kom de seneste 30 døgn, hvad de læste, og hvem der kun udgav sig for at være en bot. Ingen bliver blokeret, og ingen IP-adresser bliver hentet eller vist.

Sådan tælles der

  1. Cron Trigger
  2. GraphQL Analytics API
  3. D1
  4. Workers KV
  5. Workers Cache
  6. Din browser

Kilden

Cloudflares GraphQL Analytics API for zonen wi24rd.com: firewall-hændelser, alle forespørgsler og verificerede bots. Tokenet må kun læse analyse for denne ene zone.

Hver time

En Cron Trigger i maskin-Workeren spørger om dagens og gårsdagens døgn, ét døgn ad gangen, så Cloudflare ikke skal sample over en lang periode. Rækkerne gemmes i D1 i 95 dage.

Oversigten

Efter hver indsamling bygger Workeren de to oversigter og lægger dem i Workers KV. Siden henter dem gennem Workers Cache, som tømmes med et cache-tag, når der er nye tal.

Det, der ikke gemmes

IP-adresser bliver hverken hentet eller gemt. Stier vises uden forespørgselsdel, lange tokens skjules, og e-mailadresser i brugeragenter fjernes. Tal over lange perioder kan være samplet af Cloudflare og er derfor omtrentlige.

Rå tal som JSON: /api/maskine/crawlere.

VærnetHvad Cloudflare holdt ude: angreb, som blev stoppet, og hvor de kom fra.

Åbn Værnet

Familien: Værnet·Crawlerne·Hastigheden·Danmark lige nu·Arkivskabet·Døren·Infrastrukturkortet·Revisionen·Tilbage til maskinrummet

Har du en god idé?

Ønsker til nye funktioner, fejlrapporter og spørgsmål er velkomne. Hver henvendelse får et personligt svar.