GPTBot и robots.txt: да блокирате ли AI ботовете през 2026

Много сайтове блокираха GPTBot още през 2023 г., когато стана ясно, че OpenAI обхожда интернет, за да обучава моделите си. Решението изглеждаше логично: „защо да давам съдържанието си безплатно“. Три години по-късно картината е по-сложна. Същите компании вече имат търсачки и асистенти, които препоръчват магазини и цитират сайтове, а грешно написан robots.txt може да ви извади и от тях.

Тук ще разберете кои AI ботове съществуват и за какво служи всеки, как да ги разрешите или блокирате в robots.txt, кога блокирането има смисъл и кога ви вреди. Накрая ще намерите готови примери за три типа сайтове.

Накратко:

• OpenAI използва различни ботове: GPTBot за обучение на модели, OAI-SearchBot за търсенето в ChatGPT и ChatGPT-User за действия, поискани от потребител.
• Блокирането на GPTBot не ви изважда от търсенето в ChatGPT, но блокирането на OAI-SearchBot може да намали шанса да бъдете показани и цитирани там.
• Google-Extended контролира използването на съдържанието за Gemini, но не влияе на класирането в Google Търсене и на AI Overviews, които използват Googlebot.
• robots.txt е молба, а не защита – добросъвестните ботове го спазват, а останалите се спират на ниво сървър или CDN.
• За повечето онлайн магазини и фирмени сайтове е по-изгодно търсещите AI ботове да бъдат разрешени.

Кои са AI ботовете и какво правят

Основната грешка е всички ботове да се третират като един. Всъщност има три различни роли: обучение на модели, индексиране за AI търсене и извличане на страница в момента, в който потребител пита.

User-agent	Компания	Основна роля
GPTBot	OpenAI	Събиране на данни за обучение на модели
OAI-SearchBot	OpenAI	Индексиране за резултатите в ChatGPT търсене
ChatGPT-User	OpenAI	Отваряне на страница по искане на потребител
Google-Extended	Google	Токен за използване в Gemini (не е отделен бот)
ClaudeBot	Anthropic	Събиране на данни за обучение
PerplexityBot	Perplexity	Индексиране за отговорите на Perplexity
CCBot	Common Crawl	Публичен архив, ползван от много AI проекти
Applebot-Extended	Apple	Токен за използване в AI моделите на Apple

Списъците се променят – компаниите добавят нови агенти и сменят описанията им. Преди да промените robots.txt, проверете актуалната документация на съответната компания.

Специалният случай Google-Extended

Google-Extended не е отделен робот. Той е токен в robots.txt, с който казвате на Google дали съдържанието, обходено от Googlebot, може да се ползва за обучение и отговори на Gemini. Google посочва, че това не влияе на включването в Google Търсене. AI Overviews и AI Mode са част от търсенето и се захранват от Googlebot – ако искате да сте в тях, не блокирайте Googlebot. Повече за AI режима ще намерите в статията за Google AI Mode.

Как се пише правилото в robots.txt

robots.txt е текстов файл в корена на домейна (https://example.com/robots.txt). Всеки блок започва с User-agent и съдържа правила Disallow или Allow. Пример, който спира обучението, но оставя търсенето:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /cart
Disallow: /checkout

Sitemap: https://example.com/sitemap.xml

Важна подробност: ботът следва само най-специфичния блок, който съвпада с името му. Ако имате блок за GPTBot, той игнорира правилата под User-agent: *. Затова служебните пътища трябва да се повторят и в отделните блокове, ако искате да важат и за тях.

Къде се редактира файлът

• Shopify: robots.txt се генерира автоматично. Промени се правят чрез шаблона robots.txt.liquid в кода на темата. Добавяйте правила, без да изтривате стандартните, защото те пазят количката и checkout от обхождане.
• WordPress / WooCommerce: или физически файл в главната папка на сайта, или редактор в SEO плъгина (Yoast, Rank Math). Ако има физически файл, той има предимство пред виртуалния.
• Собствен код (Next.js и др.): статичен файл в публичната папка или генериране от маршрут.

Да блокирате или не: решение по тип сайт

Няма универсален отговор. Въпросът е какво губите и какво печелите.

Тип сайт	Препоръка	Защо
Онлайн магазин	Разрешете търсещите ботове; обучението по избор	Продуктите ви трябва да се появяват, когато някой пита ChatGPT „къде да купя“.
Фирмен сайт за услуги	Разрешете всички	Видимостта в AI асистентите носи запитвания; съдържанието рядко е търговска тайна.
Медия или платено съдържание	Блокирайте обучението, обмислете търсенето	Съдържанието е самият продукт; лицензирането може да е отделен приход.
Сайт с лични данни или вътрешни системи	Блокирайте и защитете с парола	robots.txt не е мярка за сигурност.

При магазините, с които работим, като parfyum.bg, логиката е проста: продуктовите страници, колекциите и статиите трябва да бъдат намирани от всички търсачки, включително AI. Служебните страници (количка, акаунт, вътрешно търсене) остават затворени за всички.

Какво robots.txt не може да направи

• Не премахва вече събраните данни. Блокирането важи за бъдещи обхождания.
• Не спира недобросъвестни ботове. Те просто игнорират файла. За тях са нужни правила на сървъра или в CDN услуга, която разпознава ботовете по поведение и IP.
• Не скрива страници от резултатите. Страница, блокирана в robots.txt, все пак може да се появи в Google, ако има линкове към нея. За скриване се използва noindex.
• Не гарантира, че ще бъдете цитирани. Разрешението е условие, но не и причина. AI системите цитират ясни, структурирани и полезни страници.

Частично разрешаване: само определени папки

Изборът не е само „всичко или нищо“. Можете да отворите за AI ботовете публичните части на сайта и да затворите онези, които не искате да бъдат преизползвани. Типичен пример за магазин с блог и B2B зона:

User-agent: GPTBot
Allow: /blogs/
Allow: /products/
Disallow: /pages/b2b-ceni
Disallow: /account
Disallow: /cart

Логиката е следната: статиите и продуктите искате да се разпространяват, защото носят разпознаваемост на бранда. Цените за дистрибутори или вътрешни документи – не. Но ако такава страница е публично достъпна без вход, robots.txt е само слаба преграда. Истински чувствителното съдържание трябва да е зад парола.

Чеклист преди да публикувате промяната

1. Запазете копие на текущия robots.txt.
2. Проверете, че Googlebot и Bingbot не са засегнати от новите правила.
3. Повторете служебните забрани във всеки отделен блок.
4. Тествайте файла с отчета за robots.txt в Google Search Console.
5. Запишете датата на промяната, за да сравните трафика от AI източници след месец.

Как да проверите кой ви посещава

Преди да решите, погледнете данните. В логовете на сървъра или в статистиката на хостинга потърсете user-agent низовете от таблицата. При WordPress част от хостинг панелите показват това директно, при Shopify сървърните логове не са достъпни и разчитате на данни от CDN или аналитика. Проверете също дали в Google Analytics има посещения от chatgpt.com и perplexity.ai – това е най-прекият знак, че AI видимостта ви носи хора. Повече за измерването има в статията за трафика от ChatGPT.

Ако искате да дадете на AI системите по-ясна карта на сайта, вижте и какво е llms.txt – допълнителен файл, който не замества robots.txt, но може да го допълни.

Често задавани въпроси

Ако не сте сигурни как е настроен robots.txt на вашия сайт и дали AI търсачките изобщо ви виждат, можем да го проверим като част от услугата ни за AI SEO (GEO) – с конкретна препоръка кои ботове да пуснете и кои страници да подготвите, за да бъдат цитирани.