Редактирование файла robots.txt

Ангелина Нехай  для раздела  Обновления

Давайте разберемся что такое robots.txt — это текстовый документ в кодировке UTF-8, который размещается в корневом каталоге сайта. Файл показывает поисковым роботам страницы сайта, которые доступны для сканирования и индексирования.

В Старонке файлы robots.txt и sitemap.xml генерируются автоматически после настройки домена и дополнительного редактирования не требуют. Просмотреть их можно добавив к адресу /robots.txt или /sitemap.xml

Если же вам мало стандартной настройки robots.txt, тогда наше обновление для вас! Чтобы отредактировать файл robots.txt, перейдите в раздел «SEO-настройки» и введите нужные настройки в поле «Собственный файл robots.txt».

При помощи этих настроек вы можете, к примеру, запретить поисковым роботам индексирование отдельных страниц.

<p align="center">![robots.txt](/blog/content/images/2021/10/image.png)<p>

Если вы хотите узнать подробнее как работают robots.txt и что можно при помощи них сделать, читайте статью seoportal.net.

Мы будем рады, если вы напишете свои пожелания и замечания на почту help@kvitly.com. Они помогают нам развиваться и становиться лучше!

Ангелина Нехай

Специалист службы поддержки. Любитель зеленого чая и белого шоколада. Лесной обитатель и просто хороший человек.

Готовы начать?

Исследуйте все функции 🌱kvitly в течение 14 дней. Без обязательств и платежных карт.
Давайте пробовать!