Вход • Регистрация

Правильный .htaccess и robots.txt для CMS DIAFIAN (A Complete DIAFIAN CMS SEO Guide - .htaccess, robots.txt) Подскажите

  • 29 января 2015 г.
  • Подскажите наконец то в одном месте правильный .htaccess, robots.txt

    с вариантами
    без www, без слеша на конце
    с www, без слеша на конце
    без www, слеш на конце

    в моем случае
    RewriteBase /
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_URI} !(.*)/$
    RewriteRule ^(.*[^/])$ $1/ [L,R=301]
    #RewriteCond %{HTTP_HOST} !^www.
    #RewriteRule (.*) http://www.%{HTTP_HOST}/$1 [R=301,L]
    RewriteRule ^(.*)sitemap.xml$ index.php?rewrite=sitemap.xml [QSA]
    RewriteRule ^(.*)/$ index.php?rewrite=$1 [QSA]
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteRule ^(.*)$ index.php?rewrite=$1 [QSA]

    работает но xenu выдает ошибки 301 со старниц без слеша на конце


    с www, слеш на конце

    как закрывать поиск на сайте что еще закрыть в стандарте
    • 30 января 2015 г.
    • Код
      как закрывать поиск на сайте что еще закрыть в стандарте


      если от поисковиков, то это уже в robots.txt
    • 11 июля 2016 г. , редакция: 05 июня 2017 г.
    • Итог, резюмируя топик:

      Код
      #дубль с index.html на /
      RewriteRule ^index.html$ / [R=301,L]

      Код
      # склеиваем index.php с /
      RewriteCond %{THE_REQUEST} ^[A-Z]{3,9} /index.php HTTP/
      RewriteRule ^index.php$ https://myzis.ru/ [R=301,L]

      Код
      # сайт всегда с www,
      RewriteCond %{HTTP_HOST} !^www.
      RewriteRule (.*) http://www.%{HTTP_HOST}/$1 [R=301,L]

      Код
      # редирект с www на без www
      RewriteCond %{HTTP_HOST} ^www.(.*) [NC]
      RewriteRule ^(.*)$ http://%1/$1 [R=301,L]


      Вставляем сразу после
      Код
      RewriteEngine on
  • 15 февраля 2015 г.
  • Подскажите как правильнее закрыть от ПС ссылки сортировки.
    Вид ссылки: shop/tovary/sort1/ сорт от 1 до 4
    Вот думаю так: Disallow: */sort*/ но не закроет ли это какой-то товар содержащий в чпу фразу sort

    Или лучше прописать все 4 варианта сортировки так:

    Disallow: */sort1/
    Disallow: */sort2/
    Disallow: */sort3/
    Disallow: */sort4/

    ?

    Вообще лучше б это переделали в скрипте, чтоб чпу было вида shop/tovary/?sort*/
    и тогда по умолчанию уже бы скрыто было
    • 19 декабря 2015 г.
    • Ваш вариант не подходит для Гугла, надо так

      Disallow: *sort1*
      Disallow: *sort2*
      Disallow: *sort3*
      Disallow: *sort4*
      • 20 декабря 2015 г.
      • с чего это он не подходит? Просто сами так придумали?
        конкретней укажите в чем ошибка
        • 20 декабря 2015 г.
        • Вообще мне кажется должнобыть

          Disallow: */sort1*
          Disallow: */sort2*
          Disallow: */sort3*
          Disallow: */sort4*

          а вообще можно в вебмастере проврить
        • 20 декабря 2015 г.
        • Тоже с этим копалась. Почему не подходит - не знаю, но Гугл действительно Disallow: */sort1/ не воспринимает и продолжает индексировать.
          • 20 декабря 2015 г.
          • Если Вы не описывали правила для конкретных поисковиков и они (правила) действительны для google, то после определенного времени страницы с данными адресами перейдут в раздел исключений (запрещенные файлом robots.txt). Полагаю это политика поисковиков (под названием пылесос), т.е. читать все. Так что немногие знают почти все, а все остальные увидят в результатах поиска только то, что разрешено Вашим robots.txt
          • 25 декабря 2017 г. , редакция: 27 декабря 2017 г.
          • Озадачился этим вопросом, яндексу и гуглу оказались побоку любые мои ужимки с роботсом по изложенным вариантам, решил впилить в шаблон скрипт на проверку упоминаний sort1-2-3-4 в $_SERVER['REQUEST_URI'] с вписанием тега noindex; посмотрим, что получится.
            АП. Помогло.
  • 11 марта 2015 г.
  • Здравствуйте коллеги! Есть 2 домена которые указывают в одну и ту же папку сайта. Хочу поставить 301 редирект постранично.

    Делаю: Redirect 301 http://старый домен/svetovoe-oformlenie/novogodnee-oformlenie/ http://новый домен/svetovoe-oformlenie/novogodnee-oformlenie/
    после этого при заходе на:
    http://старый домен/svetovoe-oformlenie/novogodnee-oformlenie/
    получаю в адресной строке:
    http://новый домен?rewrite=index.php/novogodnee-oformlenie/&rewrite=svetovoe-oformlenie/novogodnee-oformlenie

    Подскажите пожалуйста как корректно разрулить.

    Спасибо!
    • 11 марта 2015 г.
    • Может со старого домена сделать вот так?
      Код
      Options +FollowSymLinks
      RewriteEngine on
      RewriteRule (.*)$ http://новый_домен.ru/$1 [L,R=301]
      и одним махом решить все проблемы? Не то?
      • 11 марта 2015 г.
      • Спасибо! Сделал вот так, вроде работает:

        Код

        RewriteCond %{HTTP_HOST} ^старый.ru$ [NC]
        RewriteRule ^(.*)$ http://новый.ru/$1 [R=301,L]

  • 11 марта 2015 г.
  • Коллеги, а дубли главной что не закрываете? Их как минимум 2 есть.
  • 11 марта 2015 г.
  • Первый убивается так:

    #дубль с index.html на /
    RewriteRule ^index.html$ / [R=301,L]
  • 06 марта 2017 г.
  • Что-то я так и не понял, как правильно сортировку для гугла и яндекса в роботс закрыть? кто как пишет...
    • 06 марта 2017 г.
    • Можно так:
      Disallow: *searchword=
      Disallow: */sort
      Disallow: */korzina
      Disallow: *otlozhennye
      Disallow: *action=
      Disallow: *module=
      Disallow: *cat_id
      Disallow: *pr1=
      Disallow: *pr2=
      Disallow: *brand[]=
      Disallow: *ajax=
  • 06 марта 2017 г.
  • Всем привет.
    Подскажите правильное решение, чтобы решить вопрос с дублем главной страницы. Она может открываться site.ru/index.html и site.ru/index.php
  • 07 марта 2017 г. , редакция: 07 марта 2017 г.
  • [1] [работает проверено]
    #дубль с index.html на /
    RewriteRule ^index.html$ / [R=301,L]

    [2] [то что предложено выше не работает Вадим Ильин (ridic) ]
    # склеиваем index.php с /
    RewriteCond %{THE_REQUEST} ^[A-Z]{3,9} /index.php HTTP/
    RewriteRule ^index.php$ http://ваш_сайт.ru/ [R=301,L]

    [3] [еще 2 рабочих варианта склеиваем index.php с / ]

    [работает проверено]
    RewriteCond %{THE_REQUEST} ^[A-Z]{3,9} /index.php HTTP/
    RewriteRule ^index.php$ http://ваш_сайт.ru/$1 [R=301,L]

    и
    [работает проверено]
    RewriteCond %{THE_REQUEST} ^[A-Z]{3,9} /index.php HTTP/
    RewriteRule ^index.php$ / [R=301,L]
    • 11 марта 2017 г. , редакция: 11 марта 2017 г.
    • Относительно главной страницы, стоит делать rewrite по отношению к site.ru/index.php, а по отношению к site.ru/index.html следует использовать каноническую ссылку. То есть, если использовать rewrite по отношению к site.ru/index.html, то наличие в корне сайта файла index.html будет бессмысленно (надеюсь, что все знают для чего он там).
  • 12 марта 2017 г.
  • Кто-нибудь разобрался с каноническим тегом? Для чего сей функционал?
    Работает следующим образом: главная страница , если в поле вписать допустим testseo, то в head
    выведется <link href="http://site.ru/testseo" rel="canonical"> , т.е после слеша добавляется тот самый канонический тег. Непонятно зачем?
    А нужно просто <link href="http://site.ru/" rel="canonical"> Как это из админки сделать?
    Есть понятие каноническая ссылка, канонические URL, а что такое канонический тег?
    • 12 марта 2017 г.
    • В яндекс мануалах для веб мастеров есть суть да и на форумах для сео спецов
    • 13 марта 2017 г. , редакция: 13 марта 2017 г.
    • Зачем главной странице Указывать что она не главная?
      Код
      Работает следующим образом: главная страница , если в поле вписать допустим testseo, то в head
      выведется <link href="http://site.ru/testseo" rel="canonical"> , т.е после слеша добавляется тот самый канонический тег. Непонятно зачем?
      А нужно просто <link href="http://site.ru/" rel="canonical"> Как это из админки сделать?
      Есть понятие каноническая ссылка, канонические URL, а что такое канонический тег?

      А потом спрашивать - "почему так?"
  • 13 марта 2017 г.
  • Внимательно!
    С примером, где после слеша выводится канонический тег, который вводится в поле - в админке канонический тег.
  • 13 марта 2017 г.
  • DMITRY (AFONNIKOV10), попробуй на практике вписать тег и поймешь о чем идет речь. Ты думаешь , что люди искать в яндексе не умеют.
  • 13 марта 2017 г.
  • По вопросу я понял что вы про эту тему не читали - вот и накидал ссылок
    (Вы вычитали для чего он?) и для каких страниц?
  • 13 марта 2017 г.
  • В диафан заявленный функционал не имеет описания. Поэтому, что такое канонический тег, вопрос открытый.
    DMITRY (AFONNIKOV10) если у вас есть информация, что такое канонический тег в диафан, объясните или укажите источник, где об это подробно описано.
    • 13 марта 2017 г.
    • =))) Аааа... я то подумал....
      В Diafan - Это строка внесения ссылки (канонической ссылки)
      - Далее читайте в просторах Интернета.....
    • 13 марта 2017 г.
    • Если бы у вас были вопросы :
      - Как сделать каноническую ссылку на гланой странице?
      или
      - Или нужна каноническая ссылка на главной странице?
      можно было бы ответить....


      Если брать описание поля Title из документации:
      Цитата
      Заголовок окна в браузере, тег Title – Если не заполнен, тег Title будет автоматически сформирован как «Название страницы – Название сайта», либо согласно шаблонам автоформирования из настроек модуля (SEO-специалисту). Параметр имеет разные значения для разных языковых версий сайта.

      оно краткое и не описывает требований по длине в символах стоп словах для поисковиков, не содержит предостережений и переспаме и рекомендаций фраз для лучшего продвижения.......
  • 13 марта 2017 г.
  • Сам разобрался.
    Действительно стандартным способом можно для главной вывести <link href="http://site.ru/" rel="canonical">
  • 13 марта 2017 г. , редакция: 13 марта 2017 г.
  • Эх... Пётр я же Вам отвечал в личке
    Цитата

    Вы так и не поняли что Каноникал - это не ёлочная игрушка чтоб обвешивать сайт как ёлку....
    - он ваапче не для главной страницы и даже не для основной страницы категории где есть пагинация....
  • 13 марта 2017 г. , редакция: 13 марта 2017 г.
  • в роботс.тхт
    лучше пропише Host и SiteMap
    - значение Хост поисковики будет считать как основное название вашего сайта
  • 08 июня 2017 г.
  • Товарищи, добрый день! А может кто дать совет? Был домен в зоне ru, он проиндексирован и участвует в поиске. Потом я взял домен в зоне рф. Настроил редирект. Все работает, в вебмастере успешно осуществил переезд. Но в связи с редиректом яндекс пишет что нет файла robots. См. скриншот. Как-то это можно прописать, как правильно?
    • 08 июня 2017 г.
    • может его там действительно нет? или добавьте его тогда.
      • 08 июня 2017 г.
      • Михаил, приветствую Вас! В том то и "прикол" что он был и есть.. См. скрин. Прикладываю код htaccess
        Код
        Options -Indexes

        Options +FollowSymLinks

        DirectoryIndex index.php index.html

        ErrorDocument 404 /404.php

        AddDefaultCharset utf-8
        <IfModule mod_rewrite.c>
        RewriteEngine on

        RewriteCond %{HTTP_HOST} ^(www.)?mensface.ru$ [NC]
        RewriteRule ^(.*)$ http://xn--90ablmekqdsdu6h.xn--p1ai/$1 [R=301,L]

        RewriteCond %{HTTP:X-Forwarded-Proto} !https
        RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]

        # раскомментируйте строку ниже, если на Вашем хостинге установщик выдает ошибку 500 Internal Server Error
        # измените / на /sub/ при установке в подпапку http://site.ru/sub/
        # RewriteBase /

        # расcкомментируйте строки ниже, если хотите чтобы сайт был всегда с www,
        # т.е. постоянный редирект с http://site.ru/ на http://www.site.ru/
        # RewriteCond %{HTTP_HOST} !^www.
        # RewriteRule (.*) http://www.%{HTTP_HOST}/$1 [R=301,L]

        # и наоборот: раскомментируйте эти две строки, чтобы был редирект с www на без www
        RewriteCond %{HTTP_HOST} ^www.(.*) [NC]
        RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

        RewriteCond %{HTTP:Authorization} !^$
        RewriteCond %{REQUEST_URI} ^/shop/1c/.*
        RewriteRule ^(.*)$ shop/1c/?auth=%{HTTP:Authorization}&%{QUERY_STRING}

        RewriteRule ^(.*)sitemap.xml$ index.php?rewrite=sitemap.xml [QSA]
        RewriteRule ^(&*)(.*)/$ index.php?rewrite=$2 [QSA]
        RewriteCond %{REQUEST_FILENAME} !-f
        RewriteCond %{REQUEST_FILENAME} !-d
        RewriteRule ^(&*)(.*)$ index.php?rewrite=$2 [QSA]
        RewriteRule ^index.php/(.*)$ index.php?rewrite=index.php/$1 [QSA]

        # If-Modified-Since (if php is not installed as cgi then comment lines below)
        RewriteRule .* - [E=HTTP_IF_MODIFIED_SINCE:%{HTTP:If-Modified-Since}]
        RewriteRule .* - [E=HTTP_IF_NONE_MATCH:%{HTTP:If-None-Match}]
        </IfModule>

        <IfModule mod_headers.c>
        <FilesMatch ".(flv|woff|woff2|eot|svg|otf|ttf|gif|jpg|jpeg|png|ico|swf|js|css|pdf|ico)$">
        Header set Cache-Control "max-age=864000"
        </FilesMatch>
        </IfModule>

        <IfModule mod_expires.c>
        <filesMatch ".(flv|woff|woff2|eot|svg|otf|ttf|gif|jpg|jpeg|png|ico|swf|js|css|pdf|ico)$">
        ExpiresActive On
        ExpiresDefault "access plus 11 month"
        Header append Cache-Control "public"
        </filesMatch>
        </IfModule>


        robots
        Код
        User-agent: *
        Disallow: /m/
        Disallow: *?
        Sitemap: https://xn--90ablmekqdsdu6h.xn--p1ai/sitemap.xml

        User-agent: Yandex
        Disallow: /m/
        Disallow: *?
        Host: https://xn--90ablmekqdsdu6h.xn--p1ai

    • 08 июня 2017 г.
    • В Яндекс вебмастере, справа в верху, есть панелька "инструменты", выберите "анализ robots.txt", впишите адрес сайта и нажмите проверить.
      Увидите, определяет ли Яндекс ваш файл.
      Плюс, почитайте: https://yandex.ru/support/webmaster/robots-txt
      • 08 июня 2017 г.
      • Владимир, приветствую Вас! Спасибо, я пробовал инструмент проверки. При проверке сайта выдает "редирект", основное зеркало проверку проходит. Я делал переезд же сайта. Может надо как-то прописать в htaccess, чтобы robots не "редиректил"? Я в первые столкнулся с этим, не знаю как правильно. Читал эту инструкцию, не нашел ответа. Она больше по синтаксису robots мне кажется.
        • 08 июня 2017 г.
        • Вот ещё, про зеркала: yandex/site-mirrors.html
          Там есть меню слева, можно найти нужную тему.
          Ваш robots.txt и не будет виден, так как у вас видимо, настроен серверный редирект. То есть, перенаправление происходит на уровне сервера! Ещё до загрузки всего остального.
  • 09 июня 2017 г.
  • ПРИКЛЮЧИЛОСЬ ЧП! Все страницы убраны из поиска. Причина на скрине, может кто глянуть, я неправильно настроил редирект? Выше выкладывал htaccess
    Переезд сайта в вебмастере прошел успешно, не пойму в чем дело. Переезд делал с домена .ru (было http://) на домен https://.....рф. Редирект настроили на https, все работало вроде правильно, а яндекс пишет что редирект на http://..........рф, а поскольку главное зеркало https://............рф поэтому как я понял страницы удалены. В общем простите за сумбур, только проснулся, а тут такое
    • 09 июня 2017 г.
    • Не знаю, правильно настроили или нет, но нужно время, чтобы проиндексировались другие.
      Надо помнить:
      "Изменение адреса может занимать значительное количество времени. Яндекс не гарантирует сохранение количества страниц сайта в поиске, его позиций или посещаемости в случае изменения главного зеркала или склейки зеркал."
    • 09 июня 2017 г.
    • Робот который индексирует и робот который склеивает они как бы отдельно друг от друга работают, может и не вылетели из индекса ваши страницы.
      • 09 июня 2017 г.
      • В общем Платон сказал подождать, возьму пару бутылок пива и забуду про эту ситуацию до завтра. Пятница же.
  • 20 июня 2017 г.
  • Всем добрый вечер, неделю назад меня вернули в поиск, но вот сейчас сижу слушаю вебинар от Яндекса, зашел в вебмастер, смотрю статистику обхода робота и вижу, что он обходит ненужное. Прочитал ветку сначала, не нашел. Может кто подсказать, как правильнее закрыть в роботсе? Если напишу Disallow: /userfiles на сколько верно будет решение? Текущий robots.txt выглядит так
    Код

    User-agent: *
    Disallow: /m/
    Disallow: *?
    Sitemap: https://xn--90ablmekqdsdu6h.xn--p1ai/sitemap.xml

    User-agent: Yandex
    Disallow: /m/
    Disallow: *?
    Host: https://xn--90ablmekqdsdu6h.xn--p1ai
    • 21 июня 2017 г.
    • Disallow: /userfiles/
      (слэш на конце) вот тогда верно
      • 21 июня 2017 г.
      • но только не совсем ясно зачем прятать фотки от роботов
        • 28 апреля 2018 г.
        • Вот тоже возник вопрос.
          Где то начитался, что фото должны быть в "картинках" у яндекса, якобы мальца, но влияет на продвижение, так вот вопрос, если рекомендуется Disallow: /userfiles/, а фото товаров там, то как быть? или пофиг, пусть будут закрытыми? Подскажите, знающие, как правильнее? Спасибо
  • 16 октября 2017 г.
  • Всем доброго времени суток.
    Подскажите, пожалуйста, как заблокировать переход с сайта https://suppliers.wildberries.ru/ на свой сайт.
    Если я добавляю в .htaccess:
    Код
    <IfModule mod_rewrite.c>
    RewriteEngine on
    RewriteCond %{HTTP_REFERER} https://suppliers.wildberries.ru [NC]
    RewriteRule .* - [F]
    </ifModule>

    то сайт перестает работать.
    Заранее спасибо!
    • 16 октября 2017 г. , редакция: 16 октября 2017 г.
    • Options +FollowSymlinks
      или
      RewriteCond %{HTTP_REFERER} suppliers.wildberries.ru [NC]
      • 16 октября 2017 г. , редакция: 16 октября 2017 г.
      • Сайт не работает, редирект на 404

        Код
        Options -Indexes

        Options +FollowSymLinks

        DirectoryIndex index.php index.html

        ErrorDocument 404 /404.php

        AddDefaultCharset utf-8
        <IfModule mod_rewrite.c>
        RewriteEngine on

        # раскомментируйте строку ниже, если на Вашем хостинге установщик выдает ошибку 500 Internal Server Error
        # измените / на /sub/ при установке в подпапку http://site.ru/sub/
        # RewriteBase /

        # расcкомментируйте строки ниже, если хотите чтобы сайт был всегда с www,
        # т.е. постоянный редирект с http://site.ru/ на http://www.site.ru/
        # RewriteCond %{HTTP_HOST} !^www.
        # RewriteRule (.*) http://www.%{HTTP_HOST}/$1 [R=301,L]

        # и наоборот: раскомментируйте эти две строки, чтобы был редирект с www на без www
        RewriteCond %{HTTP_HOST} ^www.(.*) [NC]
        RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

        RewriteCond %{HTTP:Authorization} !^$
        RewriteCond %{REQUEST_URI} ^/shop/1c/.*
        RewriteRule ^(.*)$ shop/1c/?auth=%{HTTP:Authorization}&%{QUERY_STRING}

        RewriteRule ^(.*)sitemap.xml$ index.php?rewrite=sitemap.xml [QSA]
        RewriteRule ^(&*)(.*)/$ index.php?rewrite=$2 [QSA]
        RewriteCond %{REQUEST_FILENAME} !-f
        RewriteCond %{REQUEST_FILENAME} !-d
        RewriteRule ^(&*)(.*)$ index.php?rewrite=$2 [QSA]
        RewriteRule ^index.php/(.*)$ index.php?rewrite=index.php/$1 [QSA]

        # If-Modified-Since (if php is not installed as cgi then comment lines below)
        RewriteRule .* - [E=HTTP_IF_MODIFIED_SINCE:%{HTTP:If-Modified-Since}]
        RewriteRule .* - [E=HTTP_IF_NONE_MATCH:%{HTTP:If-None-Match}]

        RewriteCond %{HTTP_REFERER} !^https://(.*).wildberries.ru(/)? [NC]
        RewriteRule .* - [R=404,L]

        </IfModule>

        <IfModule mod_headers.c>
        <FilesMatch ".(flv|woff|woff2|eot|svg|otf|ttf|gif|jpg|jpeg|png|ico|swf|js|css|pdf|ico)$">
        Header append Cache-Control "public"
        </FilesMatch>
        </IfModule>

        <IfModule mod_expires.c>
        <filesMatch ".(flv|woff|woff2|eot|svg|otf|ttf|gif|jpg|jpeg|png|ico|swf|js|css|pdf|ico)$">
        ExpiresActive On
        ExpiresDefault "access plus 11 month"
        </filesMatch>
        </IfModule>



        • 16 октября 2017 г. , редакция: 16 октября 2017 г.
        • Вот эта конструкция должна блокировать по реферу

          Код
          RewriteCond %{HTTP_REFERER} suppliers.wildberries.ru [NC]
          RewriteRule .* – [F]

Новости

  • 18 июня
  • В сборке большое обновление demo-шаблона, дополнительная защита от спама, улучшение YML-импорта и еще много важного и интересного.
  • 24 апреля
  • В новой сборке совершили революцию в структурировании кастомизированной информации в шаблонах, добавили авторегистрацию пользователей, усовершенствовали защиту от спама, актуализировали накопительную скидку, а также улучшили производительность и стабильность работы системы.
  • 12 января
  • После выхода сборки 7.1 мы выпустили уже три патча, в каждом из которых улучшаем административную часть сайта. Сборка DIAFAN.CMS 7.1.3 уже доступна к установке. 

Форум