Clean-param в robots.txt
Clean-param — директива robots.txt, которая говорит роботу Яндекса, какие GET-параметры в адресе не меняют содержимое страницы. Робот учитывает адрес без этих параметров, и варианты вроде site.ru/catalog/?sort=price перестают быть отдельными дублями.
Главное правило: Clean-param понимает только Яндекс. Для Google дубли с параметрами склеивают атрибутом rel=canonical и внутренними ссылками на чистый адрес. Не закрывайте такие адреса через Disallow, если нужно только убрать варианты с параметрами, — Яндекс прямо советует этого не делать.
Для кого: sEO-специалистам и владельцам сайтов, у которых в Яндексе появляются дубли страниц с GET-параметрами.
- Синтаксис по справке Яндекса: Clean-param: p0[&p1&p2&..&pn] [path].
- Параметры перечисляют через знак «&», путь в конце необязателен — без него правило действует на весь сайт.
- Регистр учитывается, длина правила — до 500 символов, директиву можно поставить в любом месте файла.
- Метки utm_*, ysclid и yrclid Яндекс может удалять сам, отдельное правило для них часто не нужно.
- Google директиву не поддерживает — для него нужен canonical.
- Если адрес одновременно попал под Disallow и Clean-param, Disallow главнее — страница не будет проиндексирована.
Ключевые факты
- Синтаксис
- Clean-param: p0[&p1&p2&..&pn] [path]
- Кто поддерживает
- только Яндекс; Google понимает в robots.txt лишь user-agent, allow, disallow и sitemap
- Ограничения правила
- до 500 символов, регистр учитывается, директива межсекционная
- Допустимые символы в пути
- A-Za-z0-9.-/*_; в конец префикса неявно добавляется *
- Параметры, которые Яндекс может удалять сам
- utm_source, utm_medium, utm_campaign и другие utm_*, ysclid, yrclid
- Disallow и Clean-param на одном адресе
- приоритет у Disallow — страница не индексируется
Что делает директива Clean-param
Clean-param — директива robots.txt, которую понимает только робот Яндекса. В ней перечисляют GET-параметры, которые не меняют содержимое страницы: метки рекламных кампаний, идентификаторы сессий, параметры сортировки, реферальные коды.
Без директивы робот видит такую картину:
site.ru/catalog/shiny/site.ru/catalog/shiny/?sort=pricesite.ru/catalog/shiny/?sort=price&order=descsite.ru/catalog/shiny/?sid=8f3a91
Для поисковика это четыре разных адреса с одним и тем же товарным списком. Они попадают в поиск как дубли страниц, тратят обход и могут вытеснить основной адрес из выдачи. С правилом Clean-param: sort&order&sid робот Яндекса учитывает их как один адрес — site.ru/catalog/shiny/.
Откуда берутся такие адреса: сортировки и переключатели вида в каталоге, метки в рекламе и рассылках, идентификаторы сессий в старых движках, партнёрские ссылки. Владелец сайта о них часто не знает, пока не откроет список страниц в поиске в Вебмастере.
Clean-param не закрывает страницу от обхода, в отличие от Disallow. Он лишь говорит: «эти параметры можно отбросить». Общая настройка файла — в опоре «Настройка robots.txt».
Синтаксис и ограничения
Формат из справки Яндекса:
Clean-param: p0[&p1&p2&..&pn] [path]- Первое поле — параметры через
&, без пробелов. - Второе поле — префикс пути, к которому применяется правило. Необязательное: без него правило действует для всего сайта.
- В пути допустимы только символы
A-Za-z0-9.-/*_. Звёздочка работает как в остальном robots.txt, и в конец префикса неявно добавляется*. - Регистр учитывается.
utm_sourceиUTM_Source— разные параметры. - Длина правила — не больше 500 символов.
- Директива межсекционная. Её можно поставить в любом месте файла, не обязательно внутри секции
User-agent: Yandex.
Если параметр используется в нескольких разделах с разными путями, пишите для каждого отдельную строку.
| Задача | Правило |
|---|---|
| Метки во всём сайте | Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term |
| Сортировка только в каталоге | Clean-param: sort&order /catalog/ |
| Сессия в форуме | Clean-param: sid /forum/ |
| Реферальный код | Clean-param: ref |
Clean-param для UTM-меток
По справке Вебмастера, параметры аналитики Яндекс может удалять сам, если алгоритмы сочтут их незначимыми: utm_source, utm_medium, utm_campaign и другие utm_*, а также ysclid и yrclid. Для них отдельные правила обычно не нужны.
Если адреса с метками всё же попали в поиск Яндекса, добавьте одну строку:
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_termЕсли в рекламе используются свои метки — например, from или partner, — их нет в списке параметров аналитики из справки, и их стоит дописать в то же правило. Подробно о том, как метки создают дубли и почему их нельзя ставить во внутренние ссылки, — в статье «UTM-метки и SEO».
Clean-param для сортировок и фильтров
С сортировками всё просто: ?sort=price показывает те же товары в другом порядке. Такой параметр — кандидат в Clean-param:
User-agent: Yandex
Disallow: /cart/
Disallow: /personal/
Clean-param: sort&order&view /catalog/С фильтрами нужно осторожнее. Перед тем как добавить параметр, спросите себя: если его убрать, страница останется той же?
- Да — сортировка, вид списка (
view=grid), число товаров на странице, сессия, реферальный код. Такие параметры можно отбрасывать. - Нет — пагинация (
page=2), фильтр по бренду или цвету, вариант товара. Они меняют содержимое. Если такой параметр попадёт в Clean-param, робот сведёт разные страницы к одной.
Отдельный случай — фильтры, по которым есть спрос. Если по запросу «зимние шины michelin» нужна посадочная страница, её делают отдельным адресом без параметров. Такие задачи я решаю на техническом аудите вместе с картой фильтров.
Clean-param или Disallow
Обе директивы убирают лишние адреса, но работают по-разному.
| Clean-param | Disallow | |
|---|---|---|
| Кто понимает | только Яндекс | Яндекс и Google |
| Что делает | сводит адрес к варианту без параметров | запрещает обход адреса |
| Что видит робот | страницу по адресу без параметров | ничего — страницу он не скачивает |
Яндекс в справке пишет прямо: если нужно только убрать из поиска варианты ссылок с GET-параметрами, не используйте Disallow. Если адрес попал под обе директивы, приоритет у Disallow — страница не будет проиндексирована.
Disallow нужен для разделов, которые не должны обходиться совсем: корзина, личный кабинет, поиск по сайту. Для параметров-дублей в Яндексе лучше Clean-param.
Как проверить, что Clean-param работает
Ошибку в Clean-param легко не заметить: файл открывается, сайт работает, а правило робот не применяет. Я проверяю директиву в три шага.
- Синтаксис. Вставьте файл в «Анализ robots.txt» в Яндекс Вебмастере. Если правило записано неверно, на вкладке «Ошибки» появится сообщение о некорректном формате директивы Clean-param. Частые причины — пробелы вокруг
&, запятые вместо&, кириллица или знак?в пути. - Область действия. Посмотрите, совпадает ли путь во втором поле с реальными адресами. Правило
Clean-param: sort /catalog/не сработает для/shop/. Если каталог разбит на несколько разделов, можно использовать звёздочку:/catalog*/охватит и/catalog/, и/catalog-sale/. Помните, что звёздочка в конце префикса подразумевается сама. - Результат в индексе. Через несколько обходов адреса с параметрами в Вебмастере должны перейти в исключённые страницы. По справке Яндекса такие адреса отмечаются как исключённые директивой Clean-param.
Если адреса с параметрами остаются в поиске, сверьте регистр: параметр Sort в ссылках и sort в правиле — для Яндекса разные вещи. Ещё одна причина — параметр в адресе пишется иначе, чем вы думали: например, utm-source через дефис вместо utm_source. Список реальных параметров удобнее всего взять из выгрузки страниц сайта в Вебмастере.
Что делать в Google вместо Clean-param
Google директиву не поддерживает: по его документации в robots.txt учитываются только user-agent, allow, disallow и sitemap. Строку Clean-param Google просто пропустит.
Для Google работают сигналы канонизации:
- rel=canonical на каждой странице с параметрами — с адресом без них. Это сильный сигнал.
- Внутренние ссылки только на чистые адреса — Google советует последовательно ссылаться на канонический URL.
- Sitemap — только адреса без параметров.
Google отдельно предупреждает: не используйте robots.txt для канонизации. Адрес, закрытый через Disallow, может остаться в индексе без содержимого, а робот не увидит на нём canonical.
Итоговая схема для сайта под оба поисковика: canonical на чистый адрес для Google, Clean-param для Яндекса, Disallow — только для служебных разделов. Готовые правила для популярных CMS с блоком Clean-param собирает генератор robots.txt, а проверить файл после правки поможет статья «Проверка robots.txt».
Как прописать Clean-param: пошагово
- 1
Найдите параметры-дубли
В Яндекс Вебмастере посмотрите страницы в поиске и исключённые страницы и выпишите параметры, которые не меняют содержимое: метки, сортировки, идентификаторы сессий.
- 2
Отделите значимые параметры
Параметры пагинации, фильтров с отдельным спросом и вариантов товара меняют содержимое — их в Clean-param не добавляйте.
- 3
Запишите правило
Перечислите параметры через «&» в том же регистре, что в адресах, и при необходимости добавьте путь — например, /catalog/.
- 4
Проверьте файл
Вставьте новый robots.txt в «Анализ robots.txt» в Вебмастере: на вкладке «Ошибки» не должно быть сообщения о некорректном формате Clean-param.
- 5
Настройте canonical для Google
На страницах с параметрами тег link с rel=canonical должен вести на чистый адрес, а внутренние ссылки — на адреса без параметров.
Частые ошибки
- Ждать, что Google выполнит Clean-param.
- Писать параметры в другом регистре, чем в адресах сайта.
- Добавлять в Clean-param параметр пагинации или фильтра, по которому есть продвигаемые страницы.
- Закрывать те же адреса через Disallow — Clean-param тогда не нужен, а страницы выпадут из обхода.
- Ставить пробелы вокруг «&» или перечислять параметры через запятую.
- Писать в пути символы, которых нет в допустимом наборе — например, кириллицу или знак «?».
Вопросы о директиве Clean-param
Что такое Clean-param в robots.txt?
Clean-param в robots.txt — директива для робота Яндекса: она перечисляет GET-параметры, которые не меняют содержимое страницы. Робот учитывает адрес без них, поэтому варианты одной страницы с метками или сортировками не становятся дублями.
Понимает ли Google директиву Clean-param?
Google директиву Clean-param не понимает: по его документации в robots.txt поддерживаются только user-agent, allow, disallow и sitemap. Для Google адреса с параметрами склеивают атрибутом rel=canonical и внутренними ссылками на чистый адрес.
Как правильно написать Clean-param?
Правильно писать Clean-param так: название директивы, двоеточие, параметры через «&» без пробелов и, через пробел, путь, если правило нужно только для раздела. Пример — «Clean-param: sort&order /catalog/».
Где в robots.txt ставить Clean-param?
Ставить Clean-param в robots.txt можно в любом месте файла: по справке Яндекса директива межсекционная. Обычно её пишут в конце, рядом с Sitemap, чтобы она не смешивалась с правилами Disallow.
Нужен ли Clean-param для UTM-меток?
Clean-param для UTM-меток нужен не всегда: Яндекс может сам удалять параметры utm_*, ysclid и yrclid, если сочтёт их незначимыми. Если адреса с метками всё же есть в поиске Яндекса, добавьте правило с этими параметрами.
Можно ли указать несколько строк Clean-param?
Указать несколько строк Clean-param можно и иногда нужно: если параметр используется в разных разделах или скриптах, для каждого пути пишут отдельную строку.
Учитывает ли Clean-param регистр?
Clean-param учитывает регистр: для Яндекса utm_source и UTM_Source — разные параметры. Пишите параметры так же, как они выглядят в адресах сайта.
Что будет, если адрес попал и под Disallow, и под Clean-param?
Если адрес попал и под Disallow, и под Clean-param, действует Disallow: по справке Яндекса страница не будет проиндексирована. Если нужно только убрать из поиска варианты с GET-параметрами, Disallow не используйте.
Можно ли добавить в Clean-param параметр пагинации?
Добавлять в Clean-param параметр пагинации нельзя: вторая и следующие страницы списка содержат другие товары или статьи, то есть параметр меняет содержимое. Clean-param — только для параметров, после удаления которых страница остаётся той же.
Обсудим ваш проект?
Напишите, что за сайт и какая задача — отвечу сам, обычно в течение дня.
Источники и обновления
Источники
История обновлений
- 8 ноября 2026Clean-param: первая версия по справке Яндекс Вебмастера и документации Google