Blokering af AI-crawlere

Sådan blokerer du AI-crawlere i WordPress – og hvorfor du bør gøre det

De seneste år er der sket et markant skifte i, hvordan indhold på nettet bliver brugt – og hvem der bruger det. Før i tiden var det Google og Bing, der læste vores hjemmesider og viste dem frem til interesserede mennesker. I dag bliver vores indhold i stigende grad læst af kunstige intelligenser, som ikke nødvendigvis sender brugeren videre til os.

Men du kan faktisk sige nej tak. Her får du en komplet guide til, hvordan du blokerer de mest udbredte AI-crawlere – og en gennemgang af hvorfor det kan være en god idé. Artiklen inkluderer også et gratis WordPress-plugin, du frit kan downloade og bruge.

Hvad er en AI-crawler?

En AI-crawler er en slags robot, der gennemgår internettet for at hente indhold, som kan bruges til at:

• træne sprogmodeller (som ChatGPT, Gemini og Claude)
• generere svar i AI-overblik, fx direkte i Googles søgeresultater
• besvare spørgsmål uden at brugeren besøger din side

Eksempler på sådanne crawlere er:

• GPTBot (OpenAI – bruges til ChatGPT)
• Google-Extended (Googles Gemini/AI-overblik)
• ClaudeBot og anthropic-ai (Anthropic)
• DeepSeekBot (kinesisk AI)
• CCBot (brugt af mange AI-træningsprojekter)

Hvad er problemet?

Mange AI’er bruger dit indhold til at svare på spørgsmål, uden at linke tilbage til dig. Brugeren får, hvad de skal bruge, direkte i AI’en – og klikker ikke videre til din side.

Hvis du fx har skrevet en god side om finans, løbeskader eller noget andet du ved en masse om, kan det sagtens være dit indhold, der bliver “kogt ned” og præsenteret i AI’ens svar – men uden at nogen opdager, at det kommer fra dig.

Hvad er konsekvensen?

• Du mister potentielle besøgende
• Du får ingen kredit, ingen links, ingen trafik
• Du konkurrerer reelt med dine egne tekster – gengivet af en AI

For dig der driver en klinik, en blog eller en virksomhed med videnstungt indhold, betyder det, at din arbejdsindsats bliver brugt af andre – uden at du får noget igen.

Men ved AI ikke allerede det hele?

Jo og nej.

AI ved meget – men det bliver hele tiden opdateret og forbedret. Hvis du tillader crawlere som GPTBot og Google-Extended at læse din side i dag, risikerer du:

• At din måde at formulere dig på bliver lært og genbrugt
• At din struktur, stil og tone bliver en del af den næste model
• At dine eksempler, analogier og forklaringer kommer til at leve videre i AI-svar – uden dig

Du beskytter ikke fortiden ved at blokere – men du beskytter fremtiden.

Hvad er fordelene ved at blokere AI-crawlere?

• Du bevarer ejerskab over din formulering, vinkel og struktur
• Du undgår at AI konkurrerer direkte med dig
• Du har stadig fuld SEO-synlighed i Google og Bing
• Du forhindrer, at dit indhold bruges i AI-modeller uden tilladelse

Er der nogen ulemper?

• Du kommer næppe med i AI-overblikket i Google (men du ville nok ikke være det alligevel, medmindre du er sundhed.dk, wiki eller andet med stor autoritet)
• Du hjælper ikke med at “uddanne” AI-modellen
• Du skal selv tage stilling til, hvor grænsen går

Gratis plugin: Bloker AI-crawlere i WordPress

Jeg har lavet et simpelt og effektivt plugin, der blokerer de mest udbredte AI-crawlere via robots.txt, uden at det påvirker almindelige søgemaskiner.

👉 Download godkrop-ai-blocker.zip

Sådan installerer du plugin’et:

1. Gå til Plugins → Tilføj nyt
2. Klik på Upload plugin
3. Vælg zip-filen og klik Installer nu
4. Klik Aktivér

Du kan nu tjekke at det virker ved at gå til:

https://din-side.dk/robots.txt

Her bør du se en række User-agent: [botnavn] og Disallow: /.

Hvilke crawlere blokeres?

• GPTBot (OpenAI / ChatGPT)
• ClaudeBot / anthropic-ai (Anthropic)
• DeepSeekBot (Kina)
• CCBot (Common Crawl)
• Bytespider (TikTok)
• Amazonbot
• Facebookexternalhit

Du kan omskrive koden, bruge det som inspiration men ikke videresælge det. Men del gerne siden her, hvis andre kunne have gavn af det. Jeg bruger det selv her på siden, men kan selvfølgelig ikke tage ansvar for eventuelle svar, så bruger du det er det på eget ansvar. Du kan se selve koden nederst på siden.

Den uundgåelige dobbeltmoral 😅

Okay, vi siger det ligeud: Du læser lige nu en artikel skrevet med hjælp fra AI.

Og ja – det er lidt dobbeltmoralsk at bruge AI til at skrive en artikel om, hvorfor AI ikke skal have adgang til din hjemmeside.

Men her er forskellen: Du bestemmer.

• Du kan vælge at bruge AI som redskab, på dine egne præmisser.
• Du kan vælge, hvem du deler med, og hvordan det præsenteres.
• Du kan sige nej tak, når andre vil bruge dit indhold uden at spørge – eller give noget igen.

At blokere AI-crawlere er ikke en krigserklæring. Det er en måde at sige:
“I må gerne lære noget af mig – men I må ikke tage det hele og glemme at sige tak.”

Del gerne siden 💬

Hvis du kender andre, der skriver godt og bruger tid på at lave kvalitetsindhold – så del denne guide med dem. Jo flere der tager stilling, jo bedre bliver balancen mellem menneskelig viden og kunstig intelligens.

<?php
/**

• Plugin Name: AI Crawler Blocker (Google Extended allowed)
• Description: Blokerer AI-crawlere som GPTBot, ClaudeBot m.fl. men tillader Google-Extended. Tilføjer regler til robots.txt automatisk.
• Version: 1.0
• Author: God Krop / ChatGPT
  */

add_filter(‘robots_txt’, ‘gk_block_ai_crawlers_but_allow_google_extended’, 10, 2);

function gk_block_ai_crawlers_but_allow_google_extended($output, $public) {
$output .= “\n\n# Blokering af AI-crawlere (undtagen Google-Extended)\n”;
$output .= “User-agent: GPTBot\nDisallow: /\n”;
$output .= “User-agent: ClaudeBot\nDisallow: /\n”;
$output .= “User-agent: anthropic-ai\nDisallow: /\n”;
$output .= “User-agent: CCBot\nDisallow: /\n”;
$output .= “User-agent: facebookexternalhit\nDisallow: /\n”;
$output .= “User-agent: Bytespider\nDisallow: /\n”;
$output .= “User-agent: Amazonbot\nDisallow: /\n”;
$output .= “User-agent: DeepSeekBot\nDisallow: /\n”;

$output .= "\n# Google-Extended har adgang\n";
$output .= "User-agent: Google-Extended\nDisallow:\n";

return $output;

}

Håber du kan bruge det! Smuk dag fra Rasmus Ramskov