Hafa samband
Allar fréttir

Leiðbeiningar

Lokar vefurinn þinn á ChatGPT? Svona athugarðu það

Vefur getur verið ósýnilegur í svörum ChatGPT, Claude og Perplexity án þess að eigandinn viti af því. Robots.txt, Cloudflare og öryggisviðbætur geta lokað á gervigreindarþjarka. Svona athugarðu það og ákveður hvað á að leyfa.

· 7 mín. lestur

Stjórnborð með rofum fyrir mismunandi gervigreindarþjarka, sumir kveiktir og einn lokaður.

Þú getur skrifað besta efnið á þínu sviði og samt aldrei komist í svör gervigreindar. Ástæðan er stundum einföld: vefurinn bannar gervigreindinni að lesa sig. Það getur gerst án þess að nokkur hafi tekið um það ákvörðun, í stillingu sem einhver hakaði við, í öryggisviðbót eða hjá Cloudflare.

Þessi grein er framhald af Hvað er GEO? og fer yfir tæknilegu hliðina: hvaða þjarkar lesa vefinn, hvað gerist ef lokað er á þá og hvernig þú athugar stöðuna á þínum vef.

Þrjár gerðir af gervigreindarþjörkum

Gervigreindarfyrirtækin senda ekki bara einn þjark á vefinn heldur nokkra, og þeir gera ólíka hluti. Það skiptir öllu máli, því þú getur leyft sumum og lokað á aðra:

  • Þjálfun: safnar efni sem getur verið notað til að þjálfa gervigreindarlíkön. Ef þú lokar á hann fer efnið þitt ekki í þjálfunargögn, en það hefur ekki áhrif á hvort vitnað sé í þig í leit.
  • Leit: skráir efni svo gervigreindin geti fundið það og vitnað í það í svörum. Ef þú lokar á hann verður vefurinn ekki heimild.
  • Notandabeiðnir: sækir síðu þegar notandi biður sérstaklega um hana, til dæmis „lestu þessa slóð“.

Hver er hver?

  • OpenAI (ChatGPT): GPTBot er fyrir þjálfun, OAI-SearchBot fyrir leitina í ChatGPT og ChatGPT-User fyrir beiðnir notenda. OpenAI segir að stillingarnar séu óháðar hver annarri, svo hægt er að leyfa OAI-SearchBot en loka á GPTBot.
  • Anthropic (Claude): ClaudeBot er fyrir þjálfun, Claude-SearchBot fyrir leit og Claude-User fyrir beiðnir notenda.
  • Perplexity: PerplexityBot skráir efni fyrir leitarniðurstöður og er samkvæmt Perplexity ekki notaður til að þjálfa líkön. Perplexity-User sækir síður fyrir notendur.
  • Google: Google-Extended stýrir því hvort efnið nýtist til að þjálfa Gemini og byggja svör í Gemini-forritinu. Það hefur engin áhrif á venjulega leit eða AI Overviews, sem nota sama Googlebot og leitin.

ÁbendingEf þú vilt að vitnað sé í vefinn en vilt ekki að efnið fari í þjálfunargögn geturðu lokað á þjálfunarþjarkana (GPTBot, ClaudeBot, Google-Extended) og leyft leitarþjarkana. Það er viðskiptaákvörðun sem hvert fyrirtæki tekur fyrir sig.

Þrjár leiðir sem loka óvart

  1. Robots.txt: skrá á vefnum sem segir þjörkum hvað þeir mega lesa. Stundum hefur einhver bætt við lista sem lokar á alla gervigreindarþjarka, eða skráin lokar öllum vefnum eftir að hann var í smíðum. WordPress, SEO-viðbætur og hýsingaraðilar geta allir haft áhrif á hana.
  2. Cloudflare: Cloudflare tilkynnti 1. júlí 2025 að sjálfgefið yrði að loka á gervigreindarþjarka nema eigandinn leyfi þá. Ef vefurinn er á bak við Cloudflare er rétt að athuga stillingarnar fyrir gervigreindarþjarka.
  3. Öryggisviðbætur og eldveggir: vörn gegn vélmennum getur stöðvað gervigreindarþjarka eins og hverja aðra óþekkta umferð.

Svona athugarðu þinn vef

  1. Opnaðu robots.txt: skrifaðu slóð vefsins og /robots.txt á eftir, til dæmis vefurinn.is/robots.txt. Leitaðu að línum eins og „User-agent: GPTBot“ eða „User-agent: OAI-SearchBot“ með „Disallow: /“ fyrir neðan. Það þýðir að viðkomandi þjarki má ekki lesa vefinn.
  2. Athugaðu líka línuna „User-agent: *“. Ef „Disallow: /“ stendur þar er lokað á allar leitarvélar, ekki bara gervigreind.
  3. Ef vefurinn er á Cloudflare: skráðu þig inn og athugaðu stillingarnar fyrir gervigreindarþjarka. Þar sést hvort lokað sé á þá og hvaða þjarkar hafa heimsótt vefinn.
  4. Farðu yfir stillingar öryggisviðbótar og eldveggs fyrir vélmenni (bots).
  5. Fyrir Google: robots.txt-skýrslan í Search Console sýnir hvernig Google les skrána.

Til samanburðar: vefold.is leyfir öllum þjörkum að lesa vefinn, nema tæknislóðir sem eiga ekki erindi í leit. Robots.txt-skráin er aðeins fimm línur (athugað 3. október 2026).

Dæmi: leyfa leit en loka á þjálfun

Ef þú vilt að gervigreind geti vitnað í vefinn en vilt ekki að efnið sé notað til þjálfunar, gæti robots.txt litið svona út. Sá sem sér um vefinn getur sett þetta upp á nokkrum mínútum:

  • User-agent: GPTBot · Disallow: /
  • User-agent: ClaudeBot · Disallow: /
  • User-agent: Google-Extended · Disallow: /
  • User-agent: * · Allow: /

Leitarþjarkarnir (OAI-SearchBot, Claude-SearchBot, PerplexityBot og Googlebot) falla þá undir síðustu línuna og mega lesa vefinn. Ef ekkert er nefnt sérstaklega gildir „User-agent: *“ fyrir alla.

Hvað ættirðu að gera?

  • Ef þú vilt sjást í svörum gervigreindar: gakktu úr skugga um að leitarþjarkarnir séu leyfðir í robots.txt, Cloudflare og öryggisviðbótum.
  • Taktu meðvitaða ákvörðun um þjálfunarþjarkana, í stað þess að sjálfgefin stilling ráði.
  • Athugaðu stöðuna aftur eftir hverja stóra breytingu, til dæmis nýja öryggisviðbót, flutning eða breytingar hjá Cloudflare.
  • Fylgstu með árangrinum. Sjá Hvernig mælirðu sýnileika þinn í gervigreind?

Sjá einnig: Tæknileg aðstoð

Fleiri fréttir

Vélmenni safnast að læstri hurð vinstra megin á meðan innskráningarglugginn bíður á bak við aðra, upplýsta hurð hægra megin, með lykli fyrir ofan.
Leiðbeiningar

Á að breyta innskráningarslóð WordPress? Kostir, gallar og hvernig

Allir vita að innskráningin á WordPress-vef er á /wp-admin, líka vélmennin sem reyna að brjótast inn. Að færa hana á aðra slóð dregur úr ruslumferð, en það er ekki lás. Hér er hvenær það borgar sig, hvernig þú gerir það og hvað skiptir meira máli.

Kökurit yfir vefumsjónarkerfi íslenskra vefja: WordPress 42%, sérsmíðað 29%, Wix 6%, Shopify 5%, Squarespace 3% og Moya 2%.
Leiðbeiningar

WordPress, Wix eða Squarespace? Hvað hentar þínu fyrirtæki

WordPress keyrir 42% íslenskra vefja sem mældir hafa verið, en Wix, Shopify og Squarespace eiga líka sinn hóp. Hér er heiðarlegur samanburður: kostnaður, sveigjanleiki, hraði, eignarhald og hvenær hvert kerfi hentar best.

Vafragluggi sem hefur brotnað í tvennt með rauðum viðvörunarþríhyrningi í miðjunni og skiptilykli sem táknar viðgerð.
Leiðbeiningar

Villa á WordPress-vefnum? Algengustu villurnar og hvað þær þýða

Hvítur skjár, „critical error“ eða villa í tengingu við gagnagrunn. Villur í WordPress eru algengar og flestar auðvelt að laga þegar maður veit hvað þær þýða. Hér eru þær algengustu, á mannamáli, og hvað þú getur gert.