AI ботове и robots.txt: пускаш ли ги в сайта си?
За да те цитира ChatGPT, неговият бот трябва да може да отвори сайта ти. Много сайтове го спират, без собственикът да знае. Ето кои са ботовете и как да провериш за две минути.
- AI асистентите четат сайтовете чрез собствени ботове. Ако файлът robots.txt или защитата на сайта ги спира, AI не вижда страниците ти.
- За търсенето в ChatGPT е важен OAI-SearchBot, а не само GPTBot.
- Затварянето често не се вижда отвън: може да е във файла, в защитата на хостинга или в начина, по който е направен сайтът.
Какво е robots.txt
Това е малък текстов файл в основата на сайта. В него пише кои ботове какво имат право да четат. Отваря се от всеки на адрес като example.bg/robots.txt.
Ако файлът липсва, по подразбиране всичко е разрешено. Проблемът идва, когато някой е добавил забрана: разработчик, добавка за сигурност или самият хостинг. Някои услуги за защита могат да спират AI ботовете с една настройка.
Кои са AI ботовете
| Бот | На кого е | За какво служи |
|---|---|---|
| OAI-SearchBot | OpenAI | Намира страници за търсенето в ChatGPT. Най-важният, ако искаш да те цитират. |
| ChatGPT-User | OpenAI | Отваря страница, когато потребител поиска това в разговор. |
| GPTBot | OpenAI | Събира текст за обучение на бъдещите модели. |
| Googlebot | Търсенето на Google, включително AI отговорите в него. | |
| Google-Extended | Разрешение съдържанието да се ползва от Gemini. Не влияе на класирането в Google. | |
| PerplexityBot | Perplexity | Индексира страници за отговорите на Perplexity. |
| ClaudeBot | Anthropic | Събира текст за обучение на Claude. За търсене се ползва Claude-SearchBot. |
| Bingbot | Microsoft | Търсачката Bing, която захранва Copilot и е сред източниците на други асистенти. |
Имената се променят и се появяват нови. Актуалните списъци са в документацията на всяка компания.
Кои да пуснеш
Ако искаш AI да препоръчва бизнеса ти, пусни всички изброени ботове. За местен бизнес няма смисъл да пазиш от AI страниците с услуги, цени и адрес.
Самият файл е кратък, но рядко е единственото място, където ботовете се спират. Често ги блокира услуга за защита или ускорение пред сайта, без собственикът да знае. Грешен ред пък може да затвори повече, отколкото искаш.
Издатели и автори понякога спират GPTBot, за да не се обучават модели с текстовете им, но оставят OAI-SearchBot, за да се появяват в търсенето на ChatGPT. За фирмен сайт обикновено няма причина за такова разделение.
Как да разбереш дали си затворен
Ботът може да бъде спрян на няколко нива: във файла robots.txt, в защитата на хостинга, или да влезе, но да не намери текст, защото цените и услугите са в картинка или се зареждат със скрипт. Отвън сайтът изглежда наред и в трите случая.
Vexcon проверява дали AI ботовете стигат до сайта ти и какво виждат там. Получаваш задача какво точно да се поправи или какво да изпратиш на разработчика.
Виж позицията си →Достъпът е само първата стъпка
Отвореният сайт не гарантира препоръка. Той само дава възможност AI да те прочете. Дали ще те избере зависи от профила ти в Google, споменаванията в други сайтове и яснотата на страниците.
Останалите стъпки са в наръчника за GEO оптимизация, а резултата следи, като видиш позицията си в ChatGPT.
Започвате с един бизнес и една AI платформа.
Добавяте въпроси, платформи и марки, когато ви потрябват. Цените са при годишно плащане. Месечно Standard е €29.
Често задавани въпроси
Каква е разликата между GPTBot и OAI-SearchBot?
GPTBot събира текст за обучение на моделите на OpenAI. OAI-SearchBot намира страници за търсенето в ChatGPT. Ако искаш да те цитират в отговорите, важен е вторият.
Какво е Google-Extended?
Това е име в robots.txt, с което разрешаваш или забраняваш съдържанието ти да се използва от Gemini. Не е отделен бот и не влияе на класирането в търсачката на Google.
Нямам robots.txt. Проблем ли е?
Не. Без файл всичко е разрешено. Добре е все пак да имаш такъв, за да посочиш картата на сайта и да е ясно какво е позволено.
Опасно ли е да пусна AI ботовете?
Те четат само публичните страници, които вижда и всеки посетител. Не слагай в публичния сайт нищо, което не искаш да се чете, независимо от ботовете.
Пуснах ботовете. Кога ще ме цитират?
Достъпът позволява на AI да те прочете още при следващото търсене. Дали ще те цитира, зависи и от останалите сигнали, затова мери редовно: първите промени често се виждат още след седмица.
Вижте още
Провери дали AI изобщо стига до теб.
Измерването показва кои сайтове чете AI за твоя бранш и дали твоят е сред тях.