llms.txt: нужен ли сайту файл для нейросетей

llms.txt лежит по адресу /llms.txt и написан обычным Markdown. Структура простая: заголовок первого уровня с названием проекта, короткое описание в одну-две фразы, затем разделы со списками ссылок, у каждой — пояснение, что там находится. По задумке автора это курируемое оглавление для языковых моделей: не «весь сайт», как в sitemap.xml, а десятки самых важных страниц с человеческими подписями.

Формат предложил Джереми Ховард, сооснователь fast.ai, в сентябре 2024 года. Важная деталь, которую обычно опускают в рекламных статьях: это неформальная спецификация одного человека, а не стандарт. Её не принимала ни одна организация по стандартизации, и обязательств у ИИ-компаний по ней нет. Отсюда и разброс в ожиданиях: одни называют llms.txt «новым robots.txt», другие — новым meta keywords, тегом, который когда-то забили спамом и перестали учитывать.

• Расположение: /llms.txt в корне домена, формат — Markdown.
• Содержимое: название, описание проекта, разделы со ссылками и пояснениями.
• Отличие от sitemap.xml: не полный список URL, а курируемая выборка главного.
• Статус: неформальная спецификация с сентября 2024 года, стандартом не утверждена.

Честный ответ: точно — меньше, чем обещают. Google высказался определённо: в документации Search Central сказано, что для появления в AI Overviews и AI Mode не нужно создавать новые машиночитаемые файлы, «AI text files» или дополнительную разметку, — достаточно, чтобы страница была проиндексирована и могла показываться со сниппетом. Ещё в июле 2025 года представитель Google Гэри Иллиес говорил, что компания llms.txt не поддерживает и не планирует.

На стороне ИИ-сервисов картина мягче: часть систем файл читает или тестирует чтение, но официальных обязательств не берёт никто. Независимые замеры по логам показывают единичные обращения на фоне сотен миллионов заходов ботов — то есть как канал доставки контента файл сегодня практически не работает. Это не делает его вредным, но снимает вопрос «а не потеряем ли мы трафик без него»: не потеряете.

• Google: специальные файлы для ИИ не требуются, отдельного статуса у llms.txt нет.
• Часть ИИ-сервисов файл читает, но официальной поддержки формата никто не декларирует.
• По логам обращения краулеров к llms.txt единичны на фоне общего трафика ботов.
• Отсутствие файла не мешает попадать в ИИ-ответы — туда попадают обычные проиндексированные страницы.

Единственный разумный способ — генерировать файл из тех же данных, которыми живёт сайт: списка статей, каталога услуг, разделов документации. Написанный руками llms.txt устаревает через месяц, и тогда он начинает приносить вред: показывает ИИ-системам страницы, которых уже нет, и умалчивает про новые. Автоматическая генерация снимает вопрос поддержки полностью — файл обновляется вместе с контентом.

По содержанию работает то же правило, что и в остальном AEO: краткость и однозначность. Один-два абзаца о том, чем занимается компания, затем разделы — услуги, статьи, документация, контакты — и в каждом ссылки с короткими пояснениями. Не нужно вываливать туда весь сайт: смысл файла в отборе. И не нужно писать в нём то, чего нет на страницах: расхождение между обещанием в оглавлении и реальным содержимым читается как шум.

• Генерируйте из данных сайта, а не пишите руками — иначе файл протухнет.
• Структура: название и описание проекта, затем тематические разделы со ссылками.
• У каждой ссылки — короткое пояснение, что именно на странице.
• Отбирайте: десятки ключевых страниц, а не полный список URL.
• Абсолютные адреса и актуальные ссылки: битые URL обесценивают файл целиком.

Есть класс проектов, где llms.txt приносит пользу независимо от того, читают его краулеры или нет. Первый — техническая документация и API: там оглавление в Markdown полезно людям и удобно подставляется в контекст модели при работе с вашим продуктом. Второй — большие сайты со сложной структурой, где по одному sitemap.xml непонятно, что главное. Третий — компании, у которых есть собственные ИИ-агенты или интеграции: файл становится точкой входа для своих же систем.

И есть случай, когда он не нужен: небольшой сайт услуг на десяток страниц, где структура и так очевидна. Там время лучше вложить в скорость, индексацию и прямые ответы на страницах — эффект будет и в обычном поиске, и в ИИ-ответах. Отдельно стоит сказать про подрядчиков: если вам продают «внедрение llms.txt» как самостоятельную услугу с ощутимым бюджетом и ручной поддержкой, это повод задать вопрос, на чём основана оценка эффекта.

• Оправдан: документация и API, крупные сайты со сложной структурой, свои ИИ-агенты.
• Не оправдан как отдельный платный проект с ручной поддержкой.
• Небольшому сайту услуг полезнее вложиться в скорость, индексацию и структуру ответов.
• Стоимость автоматической генерации — часы работы разработчика, дальше поддержки не требует.

Если цель — попадать в ИИ-ответы, набор действий известен и он скучнее, чем новый файл. Страница должна быть проиндексирована и отдавать текст в исходном HTML. Ответ на главный вопрос страницы должен стоять в первых предложениях под соответствующим заголовком. Данные, которые можно выразить машиночитаемо — цена, наличие, адрес, часы работы, вопросы и ответы, — стоит разметить через Schema.org, генерируя разметку из тех же данных, что рендерят страницу.

Дальше — доступ роботов. У ИИ-систем свои user-agent, и решение пускать их или нет принимается в robots.txt осознанно, а не по умолчанию. Полезно понимать, что robots.txt — это просьба, а не барьер: если нужен реальный запрет, он ставится на сетевом уровне. И наконец, каналы доставки, которые работают давно и надёжно: sitemap.xml, RSS-лента и корректные даты публикации и обновления. Всё это приносит больше, чем любой новый файл в корне.

• Индексируемость и текст в исходном HTML — обязательное условие.
• Прямой ответ в первых предложениях под вопросом-заголовком.
• Schema.org из данных страницы: цена, наличие, адрес, FAQ.
• Осознанные правила для ИИ-краулеров в robots.txt плюс сетевой уровень, если нужен реальный запрет.
• Рабочие каналы доставки: sitemap.xml, RSS, честные даты обновления.

Проверка занимает пять минут. Откройте /llms.txt в браузере: он должен отдаваться с кодом 200 и как обычный текст, а не скачиваться файлом и не превращаться в HTML-страницу. Пробегите ссылки — среди них не должно быть битых и адресов со старой структурой. Убедитесь, что файл не закрыт в robots.txt: закрытый файл-оглавление — довольно бессмысленная конструкция.

Дальше смотрите логи веб-сервера: фильтр по имени файла покажет, кто и как часто его запрашивает. Именно этот отчёт, а не статьи в блогах, даст ответ, работает ли файл конкретно у вас. Если за квартал обращений единицы — это нормальная сегодняшняя картина, и это ровно та причина, по которой llms.txt стоит держать автоматическим и дешёвым, а усилия вкладывать в содержание страниц.

• Файл отдаётся с кодом 200 как текст, не скачивается и не рендерится в HTML.
• Все ссылки живые и абсолютные, старой структуры адресов нет.
• Файл открыт для роботов в robots.txt.
• Логи веб-сервера показывают, кто и как часто его запрашивает, — это единственная честная метрика.