Google сообщает о том, что его поисковый робот зачастую вынужден индексировать повторяющееся содержание страниц, что приводит к уменьшению числа отсканированных страниц и снижает частоту появления определенных страниц в индексе Google.
В случае если поисковик обнаруживает повтор содержания страницы, возникший, например, из-за параметров URL, то он группирует URL, содержащий повторную информацию, и выбирает самый показательный из URL, который и будет отображаться в поисковой выдаче. Свойства всех URL группы объединяются и присваиваются выбранному URL. Как правило, подобные действия способствуют высокой точности поисковых результатов.
С целью наилучшей эффективности данного процесса, Google предлагает вебмастерам применять инструмент обработки параметров URL, при помощи которого можно сообщить поисковому роботу о цели использования параметров на сайте, а также том, как должны обрабатываться содержащие их URL. Таким образом, новый инструмент позволяет повысить эффективность индексации сайта.
При помощи инструмента обработки параметров вебмастер имеет возможность изменять параметры, которые никак не отражаются на содержании страницы (affiliateid, sessionid), а также параметры, изменяющие или задающие содержание страницы (gender, country, brand).
Более подробную информацию о том, как работают настройки обработки параметров можно почитать в разделе справка. При этом Google предупреждает, что экспериментировать с инструментом просто так не стоит, так как в случае неправильной настройки параметров, робот поисковика может игнорировать важные страницы, которые в итоге исчезнут из индекса.