Вход • Регистрация

Полезли чпу с /userfls в структуру сайта.

  •
  • 21 мая 2018 г. , редакция: 28 мая 2018 г.
  • Господа. Образовалась проблема.
    Суть. В структуре сайта (в вебмастере) появилась структура /userfls и далее вложенность.
    Соответственно это привело к тому, что в индекс стали попадать пути от графических файлов и они помечаются в страницы в поиске как: Недостаточно качественная.

    Так же обнаружил, что /userfls и вложенность далее, не отдают код 404, а ERR_TOO_MANY_REDIRECTS, вероятно поэтому яндекс с охотой и напал на эти страницы.
    Помогите советом куда смотреть и где искать ошибку?
    •
    • 21 мая 2018 г.
    • Наверно в robots.txt
      •
      • 21 мая 2018 г.
      • robots тут явно не причем.
        данные URL отдают 301, а должны отдавать 404
        Ну все ровно так же как на демо варианте и других сайтах.
        •
        • 21 мая 2018 г.
        • Именно robots.txt
          disallow: /userfls
          •
          • 21 мая 2018 г.
          • Нет, это не решение текущей проблемы, а частичный уход от нее. Это даст указание боту не индексировать.
            А именно у меня эти url отдают 301, когда например на демо сайте диафана отдается 404.
            На данном этапе я ищу откуда ноги у 301 кода.
          • 21 мая 2018 г.
          • Степан, посмотрите на демо сайте, какой код отдает:
            http://demo.diafan.ru/userfls/

            Так же зашел на первый ваш сайт посмотреть и похоже у вас тоже 301 код
            https://unident-online.ru/userfiles/

            Зашел на юлмарт как пример
            https://p.fast.ulmart.ru/p/gen/346/ - 403 код

            На яндекс.маркет
            https://avatars.mds.yandex.net/get-marketpic/172323/ - 400 код
            •
            • 30 мая 2018 г. , редакция: 31 мая 2018 г.
            • Может кому интересно будет, откуда ноги растут
              Цитата
              Зашел на юлмарт как пример https://p.fast.ulmart.ru/p/gen/346/ - 403 код
              Ничего подобного. Смотрите в ракурсе проблемы. Запросите https://p.fast.ulmart.ru/p/gen/346 - получите 301 редирект.



              Ещё на заре сайтостроения, когда у всех были модемы и всё было дико медленное и не было никаких CMS, часто советовали указывать в URL, указывающих на папки, слеш на конце. Потому что при этом сервер сразу понимал, что там каталог, а не файл и становилось одной проверкой меньше. Экономилось несколько миллисекунд.

              По запросу выше apache получает ссылку без слеша, проверяет каталог-не-каталог и понимает, что каталог. Соответственно, как учили, ставит слеш и с 301-ым редиректом отправляет дальше.

              В Вашем случае URL передаётся в CMS. Она смотрит на настройки, там пусто. Срезает слеш, тоже, как учили. И понеслось ERR_TOO_MANY_REDIRECTS.



              Чтобы они не бодались, надо кому-то одному запретить проявлять инициативу. После обновления (которое выйдет) CMS будет принимать от сервера результат без инициатив. Сейчас при любой настройке этого параметра все URL воспринимаются системой как страницы (это же написано в аннотации к настройке). И при указании окончания как .php получится аналогичная картина, только без срезки слеша, поэтому редирект не зациклит.



              После обновления CMS будет принимать результат от сервера с поправками и не будет обрабатывать ссылки на каталоги (т.е. будет чёткое разделение каталог/файл). Будет вот так:



              Т.е. будет как на первом скриншоте, что является нормальной ситуацией. Будет один 301-ый редирект, но не будет зацикливания. В том случае, если ссылка на каталог будет без слеша на конце.

              Если будет со слешем, то редиректа не будет.
  •
  • 22 мая 2018 г.
  • Вроде нашел проблему.

    Параметры сайта -> ЧПУ оканчивается на
    Если стандартно оставить слэш, как при начальной установке, то все нормально.
    /userfls отдает 404 код
    Если убрать слэш, то идет отдача 301 кода
  •
  • 22 мая 2018 г.
  • Рекомендую всем проверить наличие это проблемы, у кого ЧПУ без / на конце
  •
  • 30 мая 2018 г.
  • Жаль, что программисты и ведущие специалисты диафана бессильны перед этой проблемой.
    Эта ошибка в cms вполне реально дает большой минус в неиспользовании её же на проекте.
    •
    • 30 мая 2018 г.
    • Не бессильны, а занимаемся
      •
      • 30 мая 2018 г.
      • Ну вот Виталий я вас и подловил, а писали что форум не просматриваете
      • 30 мая 2018 г. , редакция: 30 мая 2018 г.
      • Цитата
        а писали что форум не просматриваете
        Мы просматриваем, программисты - нет. Мы только передать можем. Но тут какой смысл передавать, если Вы уже в вишлисте запостили ошибку 23 числа. Её сразу на карандаш взяли, она серьёзная.

        Это становится традицией на форуме. Написать в ТП, получить ответ, содействие и т.п. в течение 2-5 дней, скажем. Потом прийти на форум и написать что ничего никто не решает, ТП помочь отказывается, вопрос уже 2 недели висит и т.д.. При этом 1000 раз уже говорилось, что программисты форум не читают, только вишлист, им некогда.

        Romaromk, cитуацию в ТП Вы изложили по существу 30-го числа, сегодня. В вишлисте Ваше обращение учтено, у него статус обрабатывается. Исправление будет в ближайшем обновлении.
        Откуда этот пессимизм и громкие упданические высказывания в стиле жёлтой прессы? Позитивнее нужно быть.
        •
        • 30 мая 2018 г.
        • Павел, к сожалению не в курсе про традиции.
          С данной проблемой в тп я уже пришел с тем что нашел откуда растут ноги и попросил содействие в решении.

          Цитата
          Romaromk, cитуацию в ТП Вы изложили по существу 30-го числа, сегодня.

          Потому что, задали уточняющие вопросы только сегодня. А до этого было, то что описал ниже.

          Цитата
          Откуда этот пессимизм и громкие упданические высказывания в стиле жёлтой прессы?

          Ну как откуда? На почту приходят сообщения такого вида: ваш запрос передан программисту, ваш запрос передан другому программисту, ваш запрос передан ведущему разработчику и т.д.

          Вот после этих пинаний пессимизм и высказывания появляются.

          Цитата
          Позитивнее нужно быть.

          Когда в яндекс помечает 30% страниц от общего числа некачественными, тут только печаль.

          Я считаю, что такие проблемы критичны и нужно выпускать "ручные" патчи. А кому безразлично подождут обновление.


          • 30 мая 2018 г.
          • Цитата
            Я считаю, что такие проблемы критичны и нужно выпускать "ручные" патчи.
            Я тоже так считаю, поэтому мы обсуждаем вопрос по пересмотру процедуры выпуска релизов с целью разделения их на патчи и обновления функционала CMS.

            Сейчас всё собирается в архив с очередной версией комплексно и заливается в ЛК. Процесс автоматизирован, поэтому за 5 минут его не поменять. Но мы изменим его в ближайшем будущем.

            Конкретно по описанной Вами проблеме - там на этом моменте (изменении концовки url) завязаны несколько зависящих друг от друга процедур. Поэтому нужно всю цепочку проанализировать, чтобы исправив одно, не сломать другое. По этой причине её не исправили в тот же день.
            •
            • 14 июня 2018 г. , редакция: 14 июня 2018 г.
            • Кстати, посмотрел статистику у себя. Тоже присутствует папка /userfls в индексе. С подпапкой изображений, доступных в каталоге.



              Они могут и должны индексироваться - это часть контента, попадающая среди прочего и в Яндекс-картинки. Так что тут только
              Цитата
              disallow: /userfls
              И это не полумера, а единственно верное решение избежать индексации каталога.
              •
              • 29 июня 2018 г.
              • Итогово, это баг и яндекс опять обосрался.

                Обещали исправить, но трех месяцев мало для этого.
            • 29 июня 2018 г.
            • Цитата
              Итогово, это баг и яндекс опять обосрался.
              Я что-то фразу недопонял. Это баг Яндекса или что? Ссылка есть на новость про это или иную информацию?
              •
              • 29 июня 2018 г.
              • Баг яндекса.
                Ссылки на эту новость конечно же нет. Но много людей обращались с такой же проблемой в поддержку, обещали исправить.

Новости

  • Не пропустите сборку DIAFAN.CMS 7.1.4
  • 24 апреля, среда
  • В новой сборке совершили революцию в структурировании кастомизированной информации в шаблонах, добавили авторегистрацию пользователей, усовершенствовали защиту от спама, актуализировали накопительную скидку, а также улучшили производительность и стабильность работы системы.
  • Сборка DIAFAN.CMS 7.1.3
  • 12 января
  • После выхода сборки 7.1 мы выпустили уже три патча, в каждом из которых улучшаем административную часть сайта. Сборка DIAFAN.CMS 7.1.3 уже доступна к установке. 
  • Новость. Сборка. Тарифы
  • 15 декабря 2023 г.
  • Подводим итоги 2023 года. Выпустили новую сборку DIAFAN.CMS 7.1.1, вводим новые тарифы на аренду сайта и коммерческую поддержку и автообновления с января 2024 г., строим планы на будущий год.
Все новости