# robots.txt для сайта rp-m.ru
# Назначение: управление индексацией сайта поисковыми системами

User-agent: *
# Разрешаем индексацию всех основных разделов
Allow: /

# Запрет на индексацию файлов и расширений
Disallow: /*.cgi$


# Запрещаем индексацию технических файлов и служебных директорий
Disallow: /cgi-bin/

# Запрещаем индексацию файлов-ошибок (используем чистые URL)
Disallow: /400
Disallow: /401
Disallow: /403
Disallow: /404
Disallow: /500

# Запрещаем индексацию дубликатов с .html, если планируется убрать их из ссылок
Disallow: /*.html$

# Запрещаем параметры URL (например ?sort= или ?utm= и т.д.)
#Disallow: /*?

# Указываем местоположение sitemap
Sitemap: https://rp-m.ru/sitemap.xml

# Clean-param: etext&ref&yprqee&ycyylid&ypppel&hl&utm&src_pof&ctime

# Указываем основную версию сайта для Яндекса (зеркало без www)
Host: rp-m.ru