Управляем индексацией страниц сайта на DLE с помощью метатега robots

Я уже давно занимаюсь реализацией управления индексацией страниц сайтов на CMS DataLife Engine посредством метатега , так как считаю его наиболее удобным инструментом.

Первая моя реализация была ужасно громоздкой, но позже благодаря хаку "DLE - 404 Not Found - noindex" от MSW(0-web.ru), мы развили свою реализацию, которую публиковали на тогда ещё нашем проекте dlepro.com в разделе "Оптимизация DLE", а в период, когда разработчик DataLife Engine перестал использовать в дистрибутиве скрипта метатег "robots" я написал модуль "MetaRobots".
Сейчас, когда разработчик DLE снова включил этот метатег в дистрибутив скрипта, я вернулся к реализации работы с метатегом "robots", используя уже существующий функционал и переменные в скрипте версии 9.7.

А теперь для чего это нужно?
Вы знаете, что такое robots.txt, если да, то подробные пояснения излишни, скажу кратко, что мы запретим индексирование служебных страниц и страниц на которых дублируется контент более красивым способом, чем robots.txt, но таким же понятным для поисковых ботов.
Если же вы не знаете что такое и robots.txt и для чего он нужен, то вам лучше не читать пока данную статью, а начать с азов для вебмастера.

И так начнём:

1. Реализуем вывод метатега robots в определенных разделах сайта:

Открываем файл /engine/engine.php

Найти:

else $disable_index = "";

elseif (
        $do == 'addnews' OR /* Страница добавления новости с сайта */
        $do == 'alltags' OR /* Страница вывода списка всех тегов */
        $do == 'feedback' OR /* Страница формы обратной связи */
        $do == 'favorites' OR /* Страницы закладок пользователей */
        $do == 'lastcomments' OR /* Вывод всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
        $do == 'lastnews' OR /* Вывод всех последних новостей сайта */
        $do == 'lostpassword' OR /* Страница восстановления пароля */
        $do == 'pm' OR /* Страницы личных сообщений пользователей */
        $do == 'register' OR /* Страница регистрации нового пользователя */
        $do == 'rules' OR /* Страница правил сайта */
        $do == 'stats' OR /* Страница статистики сайта */
        $do == 'search' OR /* Страница поиска и результатов поиска */
        $do == 'tags' OR /* Вывод новостей по тегу */
        $do == 'xfsearch' OR /* Вывод новостей новостей по доп. полям */
        $subaction == 'allnews' OR /* Вывод всех новостей пользователя */
        $subaction == 'newposts' OR /* Вывод непрочитанных новостей для пользователя */
        $subaction == 'userinfo' OR /* Просмотр профиля пользователя */
        $dle_module == 'date' OR /* Вывод архива новостей за год/месяц/день */
       (intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
        $catalog != '' /* Просмотр каталога по буквенному идентификатору */
        ) $disable_index = "n<meta name="robots" content="noindex" />"; else $disable_index = "";

 *Возможные варианты значений в массиве

$do == 'addnews' OR /* Страница добавления новости с сайта */

$do == 'alltags' OR /* Страница просмотра списка тегов */

$do == 'feedback' OR /* Страница формы обратной связи */

$do == 'favorites' OR /* Страницы закладок пользователей */

$do == 'lastcomments' OR /* Вывод всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */

$do == 'lastnews' OR /* Вывод всех последних новостей сайта */

$do == 'lostpassword' OR /* Страница восстановления пароля */

$do == 'pm' OR /* Страницы личных сообщений пользователей */

$do == 'register' OR /* Страница регистрации нового пользователя */

$do == 'rules' OR /* Страница правил сайта */

$do == 'stats' OR /* Страница статистики сайта */

$do == 'search' OR /* Страница поиска и результатов поиска */

$do == 'tags' OR /* Вывод новостей по тегу */

$do == 'xfsearch' OR /* Вывод новостей по доп. полям */

$subaction == 'allnews' OR /* Вывод всех новостей пользователя */

$subaction == 'newposts' OR /* Вывод непрочитанных новостей для пользователя */

$subaction == 'userinfo' OR /* Просмотр профиля пользователя */

$dle_module == 'date' OR /* Вывод архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */

($year != '' and $month == '' and $day == '') OR /* Вывод архива новостей за год */

($year != '' and $month != '' and $day == '') OR /* Вывод архива новостей за месяц */

($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Вывод архива новостей за день */

(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации. Заменяет собой сразу две следующие строки */

($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */

($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */

$do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Вывод определенной категории. X заменить на id категории */

$catalog != '' /* Просмотр каталога по буквенному идентификатору */

$do == 'module'

@header( "HTTP/1.0 404 Not Found" );

$disable_index = 1;

@header( "HTTP/1.0 404 Not Found" );

$disable_index = 1;

msgbox( $lang['all_err_1'], $lang['news_err_27'] );

$disable_index = 1;

<head>

<meta name="robots" content="noindex" />

<head>

<meta name="robots" content="noindex,nofollow" />

User-agent: *
Disallow: /engine/
Disallow: /*?*
Sitemap: http://site.ru/sitemap.xml
Host: site.ru