Файл robots.txt “лежит” в корневом каталоге сайта. В нем содержатся подробные инструкции для поисковых алгоритмов по части индексации. Пренебрежение настройкой robots.txt, ровно как и созданием карты сайта, негативно скажется на SEO-оптимизации Bitrix.
Зайдите в раздел “Администрирование” → “Сервисы” → “Поисковая оптимизация” → “Настройка sitemap” → “Добавить”:
В настройках указываются следующие параметры:
Во вкладке “Настройки” ставится галочка напротив пункта “Добавить правило в robots.txt после генерации”:
Во вкладке “Файлы” → “Использовать” отметьте “Логическую структуру сайта”. Здесь же поставьте галочку напротив пунктов, которые вы хотите добавить в sitemap.xml:
Во вкладке “Инфоблоки” в столбце “Элементы” отметьте те инфоблоки, которые будут добавлены в карту сайта:
Сохраните изменения и кликните на “Список настроек” → “Запустить” для генерации карты:
Теперь можно переходить к настройке файла robots.txt: “Администрирование” → “Сервисы” → “Поисковая оптимизация” → “Настройка robots.txt”. В правой части страницы последовательно кликните на на “Стартовый набор” → “Карта сайта” → “Главное зеркало” → “Сохранить”:
видеть созданные файлы можно, вписав в адресной строке:
Теперь можно переходить к настройке файла robots.txt: “Администрирование” → “Сервисы” → “Поисковая оптимизация” → “Настройка robots.txt”. В правой части страницы последовательно кликните на на “Стартовый набор” → “Карта сайта” → “Главное зеркало” → “Сохранить”.