Что такое llms.txt и как его использовать для продвижения в нейросетях

Что такое llms.txt

Файл llms.txt — это текстовый файл с данными, который начали использовать разработчики сайтов для управления доступом больших языковых моделей (LLMs — Large Language Models), таких как ChatGPT, Claude, Gemini, Mistral и др.

Если говорить простым языком, то llms.txt это аналог файла robots.txt, о котором многие знают, но используется он не для поисковых роботов, а для ИИ-моделей, которые собирают данные из интернета для обучения, а затем отображают информацию в ответ на запросы (промпты) пользователей.

Зачем нужен llms.txt

Информация из этого файла сообщает ИИ-моделям и их "краулерам" (программам, которые сканируют сайты), можно ли использовать данные с сайта для обучения моделей.

Давайте разберем что именно можно сделать:

- Например, вы можете разрешить или запретить обучение модели на тексте с вашего сайта.

- Вы можете ограничить использование конкретных разделов вашего сайта.

- Вы можете указать условия использования данных (например, только для анализа, но не для обучения).

Давайте посмотрим пример содержимого llms.txt, вот так это может выглядеть:

# Разрешаем доступ только ChatGPT и Anthropic User-agent: GPTBot Allow: /

User-agent: ClaudeBot Allow: /

# Запрещаем всем остальным User-agent: * Disallow: /

А можем запретить доступ всем:

User-agent: * Disallow: /

Где он находится

Файл, как и robots.tхt, размещается в корне сайта, например:

https://example.com/llms.txt

и

https://example.com/robots.txt

Какие сервисы поддерживают формат

На данный момент этот стандарт ещё не является официальным, но многие крупные приложения уже начали использовать и учитывать llms.txt: OpenAI (ChatGPT, GPTBot), Anthropic (ClaudeBot), Google (Gemini), Perplexity и другие компании.