В материалах, точнее при создании в правой части находятся дополнительные настройки статьи и в самом низу находится настройка "Информация мета данных " и параметр "Роботы", в этой статье мы разберем для чего нужен этот параметр...

Этот параметр, "Роботы" позволяет вам задавать правила индексации поисковыми роботами конкретно для данной страницы, т. е. аналог robots.txt, но для конкретной страницы.

Директивы для мета данных - параметр "Робот":

• all - индексировать, и переходить по всем ссылка, равносильно инструкции "INDEX,FOLLOW"
• follow- разрешает проходить по ссылкам
• index - разрешает роботу индексацию
• index,nofollow - индексировать, но не переходить по ссылкам
• noidex,nofollow - не индексировать и не переходить по ссылкам
• noindex,follow - не индексировать, но переходить по всем ссылкам
• none - равносильно значению "NOINDEX,NOFOLLOW"

если оставить это поле пустым, то оно будет соответствовать директиве all

если Вам необходимо запретить индексацию части материалы, т. е. может потребоваться закрытия для индексации ссылки или текста, то тогда закрываем необходимый нам материал по следующиму принципу: