Telegram Обсудить проект
Статья SEO 10 минут чтения

Clean-param в robots.txt

Коротко

Clean-param — директива robots.txt, которая говорит роботу Яндекса, какие GET-параметры в адресе не меняют содержимое страницы. Робот учитывает адрес без этих параметров, и варианты вроде site.ru/catalog/?sort=price перестают быть отдельными дублями.

Главное правило: Clean-param понимает только Яндекс. Для Google дубли с параметрами склеивают атрибутом rel=canonical и внутренними ссылками на чистый адрес. Не закрывайте такие адреса через Disallow, если нужно только убрать варианты с параметрами, — Яндекс прямо советует этого не делать.

Роман Михальчук · · проверено

Для кого: sEO-специалистам и владельцам сайтов, у которых в Яндексе появляются дубли страниц с GET-параметрами.

Главное
  • Синтаксис по справке Яндекса: Clean-param: p0[&p1&p2&..&pn] [path].
  • Параметры перечисляют через знак «&», путь в конце необязателен — без него правило действует на весь сайт.
  • Регистр учитывается, длина правила — до 500 символов, директиву можно поставить в любом месте файла.
  • Метки utm_*, ysclid и yrclid Яндекс может удалять сам, отдельное правило для них часто не нужно.
  • Google директиву не поддерживает — для него нужен canonical.
  • Если адрес одновременно попал под Disallow и Clean-param, Disallow главнее — страница не будет проиндексирована.
Ключевые факты
Синтаксис
Clean-param: p0[&p1&p2&..&pn] [path]
Кто поддерживает
только Яндекс; Google понимает в robots.txt лишь user-agent, allow, disallow и sitemap
Ограничения правила
до 500 символов, регистр учитывается, директива межсекционная
Допустимые символы в пути
A-Za-z0-9.-/*_; в конец префикса неявно добавляется *
Параметры, которые Яндекс может удалять сам
utm_source, utm_medium, utm_campaign и другие utm_*, ysclid, yrclid
Disallow и Clean-param на одном адресе
приоритет у Disallow — страница не индексируется
01

Что делает директива Clean-param

Clean-param — директива robots.txt, которую понимает только робот Яндекса. В ней перечисляют GET-параметры, которые не меняют содержимое страницы: метки рекламных кампаний, идентификаторы сессий, параметры сортировки, реферальные коды.

Без директивы робот видит такую картину:

  • site.ru/catalog/shiny/
  • site.ru/catalog/shiny/?sort=price
  • site.ru/catalog/shiny/?sort=price&order=desc
  • site.ru/catalog/shiny/?sid=8f3a91

Для поисковика это четыре разных адреса с одним и тем же товарным списком. Они попадают в поиск как дубли страниц, тратят обход и могут вытеснить основной адрес из выдачи. С правилом Clean-param: sort&order&sid робот Яндекса учитывает их как один адрес — site.ru/catalog/shiny/.

Откуда берутся такие адреса: сортировки и переключатели вида в каталоге, метки в рекламе и рассылках, идентификаторы сессий в старых движках, партнёрские ссылки. Владелец сайта о них часто не знает, пока не откроет список страниц в поиске в Вебмастере.

Clean-param не закрывает страницу от обхода, в отличие от Disallow. Он лишь говорит: «эти параметры можно отбросить». Общая настройка файла — в опоре «Настройка robots.txt».

02

Синтаксис и ограничения

Формат из справки Яндекса:

Clean-param: p0[&p1&p2&..&pn] [path]
  • Первое поле — параметры через &, без пробелов.
  • Второе поле — префикс пути, к которому применяется правило. Необязательное: без него правило действует для всего сайта.
  • В пути допустимы только символы A-Za-z0-9.-/*_. Звёздочка работает как в остальном robots.txt, и в конец префикса неявно добавляется *.
  • Регистр учитывается. utm_source и UTM_Source — разные параметры.
  • Длина правила — не больше 500 символов.
  • Директива межсекционная. Её можно поставить в любом месте файла, не обязательно внутри секции User-agent: Yandex.

Если параметр используется в нескольких разделах с разными путями, пишите для каждого отдельную строку.

ЗадачаПравило
Метки во всём сайтеClean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term
Сортировка только в каталогеClean-param: sort&order /catalog/
Сессия в форумеClean-param: sid /forum/
Реферальный кодClean-param: ref
03

Clean-param для UTM-меток

По справке Вебмастера, параметры аналитики Яндекс может удалять сам, если алгоритмы сочтут их незначимыми: utm_source, utm_medium, utm_campaign и другие utm_*, а также ysclid и yrclid. Для них отдельные правила обычно не нужны.

Если адреса с метками всё же попали в поиск Яндекса, добавьте одну строку:

Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term

Если в рекламе используются свои метки — например, from или partner, — их нет в списке параметров аналитики из справки, и их стоит дописать в то же правило. Подробно о том, как метки создают дубли и почему их нельзя ставить во внутренние ссылки, — в статье «UTM-метки и SEO».

04

Clean-param для сортировок и фильтров

С сортировками всё просто: ?sort=price показывает те же товары в другом порядке. Такой параметр — кандидат в Clean-param:

User-agent: Yandex
Disallow: /cart/
Disallow: /personal/

Clean-param: sort&order&view /catalog/

С фильтрами нужно осторожнее. Перед тем как добавить параметр, спросите себя: если его убрать, страница останется той же?

  • Да — сортировка, вид списка (view=grid), число товаров на странице, сессия, реферальный код. Такие параметры можно отбрасывать.
  • Нет — пагинация (page=2), фильтр по бренду или цвету, вариант товара. Они меняют содержимое. Если такой параметр попадёт в Clean-param, робот сведёт разные страницы к одной.

Отдельный случай — фильтры, по которым есть спрос. Если по запросу «зимние шины michelin» нужна посадочная страница, её делают отдельным адресом без параметров. Такие задачи я решаю на техническом аудите вместе с картой фильтров.

05

Clean-param или Disallow

Обе директивы убирают лишние адреса, но работают по-разному.

Clean-paramDisallow
Кто понимаеттолько ЯндексЯндекс и Google
Что делаетсводит адрес к варианту без параметровзапрещает обход адреса
Что видит роботстраницу по адресу без параметровничего — страницу он не скачивает

Яндекс в справке пишет прямо: если нужно только убрать из поиска варианты ссылок с GET-параметрами, не используйте Disallow. Если адрес попал под обе директивы, приоритет у Disallow — страница не будет проиндексирована.

Disallow нужен для разделов, которые не должны обходиться совсем: корзина, личный кабинет, поиск по сайту. Для параметров-дублей в Яндексе лучше Clean-param.

06

Как проверить, что Clean-param работает

Ошибку в Clean-param легко не заметить: файл открывается, сайт работает, а правило робот не применяет. Я проверяю директиву в три шага.

  1. Синтаксис. Вставьте файл в «Анализ robots.txt» в Яндекс Вебмастере. Если правило записано неверно, на вкладке «Ошибки» появится сообщение о некорректном формате директивы Clean-param. Частые причины — пробелы вокруг &, запятые вместо &, кириллица или знак ? в пути.
  2. Область действия. Посмотрите, совпадает ли путь во втором поле с реальными адресами. Правило Clean-param: sort /catalog/ не сработает для /shop/. Если каталог разбит на несколько разделов, можно использовать звёздочку: /catalog*/ охватит и /catalog/, и /catalog-sale/. Помните, что звёздочка в конце префикса подразумевается сама.
  3. Результат в индексе. Через несколько обходов адреса с параметрами в Вебмастере должны перейти в исключённые страницы. По справке Яндекса такие адреса отмечаются как исключённые директивой Clean-param.

Если адреса с параметрами остаются в поиске, сверьте регистр: параметр Sort в ссылках и sort в правиле — для Яндекса разные вещи. Ещё одна причина — параметр в адресе пишется иначе, чем вы думали: например, utm-source через дефис вместо utm_source. Список реальных параметров удобнее всего взять из выгрузки страниц сайта в Вебмастере.

07

Что делать в Google вместо Clean-param

Google директиву не поддерживает: по его документации в robots.txt учитываются только user-agent, allow, disallow и sitemap. Строку Clean-param Google просто пропустит.

Для Google работают сигналы канонизации:

  • rel=canonical на каждой странице с параметрами — с адресом без них. Это сильный сигнал.
  • Внутренние ссылки только на чистые адреса — Google советует последовательно ссылаться на канонический URL.
  • Sitemap — только адреса без параметров.

Google отдельно предупреждает: не используйте robots.txt для канонизации. Адрес, закрытый через Disallow, может остаться в индексе без содержимого, а робот не увидит на нём canonical.

Итоговая схема для сайта под оба поисковика: canonical на чистый адрес для Google, Clean-param для Яндекса, Disallow — только для служебных разделов. Готовые правила для популярных CMS с блоком Clean-param собирает генератор robots.txt, а проверить файл после правки поможет статья «Проверка robots.txt».

Как прописать Clean-param: пошагово

  1. 1

    Найдите параметры-дубли

    В Яндекс Вебмастере посмотрите страницы в поиске и исключённые страницы и выпишите параметры, которые не меняют содержимое: метки, сортировки, идентификаторы сессий.

  2. 2

    Отделите значимые параметры

    Параметры пагинации, фильтров с отдельным спросом и вариантов товара меняют содержимое — их в Clean-param не добавляйте.

  3. 3

    Запишите правило

    Перечислите параметры через «&» в том же регистре, что в адресах, и при необходимости добавьте путь — например, /catalog/.

  4. 4

    Проверьте файл

    Вставьте новый robots.txt в «Анализ robots.txt» в Вебмастере: на вкладке «Ошибки» не должно быть сообщения о некорректном формате Clean-param.

  5. 5

    Настройте canonical для Google

    На страницах с параметрами тег link с rel=canonical должен вести на чистый адрес, а внутренние ссылки — на адреса без параметров.

Частые ошибки

  • Ждать, что Google выполнит Clean-param.
  • Писать параметры в другом регистре, чем в адресах сайта.
  • Добавлять в Clean-param параметр пагинации или фильтра, по которому есть продвигаемые страницы.
  • Закрывать те же адреса через Disallow — Clean-param тогда не нужен, а страницы выпадут из обхода.
  • Ставить пробелы вокруг «&» или перечислять параметры через запятую.
  • Писать в пути символы, которых нет в допустимом наборе — например, кириллицу или знак «?».
Вопросы

Вопросы о директиве Clean-param

Что такое Clean-param в robots.txt?

Clean-param в robots.txt — директива для робота Яндекса: она перечисляет GET-параметры, которые не меняют содержимое страницы. Робот учитывает адрес без них, поэтому варианты одной страницы с метками или сортировками не становятся дублями.

Понимает ли Google директиву Clean-param?

Google директиву Clean-param не понимает: по его документации в robots.txt поддерживаются только user-agent, allow, disallow и sitemap. Для Google адреса с параметрами склеивают атрибутом rel=canonical и внутренними ссылками на чистый адрес.

Как правильно написать Clean-param?

Правильно писать Clean-param так: название директивы, двоеточие, параметры через «&» без пробелов и, через пробел, путь, если правило нужно только для раздела. Пример — «Clean-param: sort&order /catalog/».

Где в robots.txt ставить Clean-param?

Ставить Clean-param в robots.txt можно в любом месте файла: по справке Яндекса директива межсекционная. Обычно её пишут в конце, рядом с Sitemap, чтобы она не смешивалась с правилами Disallow.

Нужен ли Clean-param для UTM-меток?

Clean-param для UTM-меток нужен не всегда: Яндекс может сам удалять параметры utm_*, ysclid и yrclid, если сочтёт их незначимыми. Если адреса с метками всё же есть в поиске Яндекса, добавьте правило с этими параметрами.

Можно ли указать несколько строк Clean-param?

Указать несколько строк Clean-param можно и иногда нужно: если параметр используется в разных разделах или скриптах, для каждого пути пишут отдельную строку.

Учитывает ли Clean-param регистр?

Clean-param учитывает регистр: для Яндекса utm_source и UTM_Source — разные параметры. Пишите параметры так же, как они выглядят в адресах сайта.

Что будет, если адрес попал и под Disallow, и под Clean-param?

Если адрес попал и под Disallow, и под Clean-param, действует Disallow: по справке Яндекса страница не будет проиндексирована. Если нужно только убрать из поиска варианты с GET-параметрами, Disallow не используйте.

Можно ли добавить в Clean-param параметр пагинации?

Добавлять в Clean-param параметр пагинации нельзя: вторая и следующие страницы списка содержат другие товары или статьи, то есть параметр меняет содержимое. Clean-param — только для параметров, после удаления которых страница остаётся той же.

Обсудим ваш проект?

Напишите, что за сайт и какая задача — отвечу сам, обычно в течение дня.

Источники и обновления

Источники

  1. Яндекс Вебмастер — Директива Clean-param
  2. Яндекс Вебмастер — Файл robots.txt
  3. Google Search Central — How Google interprets the robots.txt specification
  4. Google Search Central — How to specify a canonical URL

История обновлений

  • 8 ноября 2026Clean-param: первая версия по справке Яндекс Вебмастера и документации Google

Читать дальше

Вопросы по теме