Вход • Регистрация

Неверный HTTP-заголовок

  •
  • 16 марта 2015 г. , редакция: 16 марта 2015 г.
  • Столкнулся с проблемой, что стали вываливаться страницы из индекса
    Зашел в панель вебмастера.янекса в раздел
    и обнаружил такую ерунду
    проверил на всех своих сайтах на Диафане , у всех такая фигня. (началось в конце февраля - начале марта)

    Кто-нибудь сталкивался с такой проблемой?
    Как решали?
    • 16 марта 2015 г. , редакция: 16 марта 2015 г.
    • Проблема скорее всего не в CMS, было тоже самое, в начале марта вылетали страницы из-за якобы неверного http заголовка. В ответах, яндекс говорил о своей технической ошибке, и что скоро все будет хорошо. У меня так и произошло, все страницы вернулись после апа.
  •
  • 16 марта 2015 г. , редакция: 16 марта 2015 г.
  • Побежал смотреть!
    Действительно в марте появилось!!!
    Только на сайте с последней версией, на который регулярно устанавливаются все обновления.
    Может после обновления какого-нибудь?

    Что-то прям забеспокоился.
  •
  • 16 марта 2015 г.
  • Да это проблема давнишняя, от цмс не особо зависит. Вон, полно обсуждений

    Мы в пакете ничего особо такого не меняли. Обычные корректные заголовки, 200 ок, last modify и пр..

    У себя посмотрел в вебмастере на сайтах, нет такой проблемы.
    Может, в сочетании с хостингом что-то получается?

    Давайте приводить сайты, урлы страниц с проблемой, и хостинги. Будем смотреть, сравнивать. Как-то локализуем, что именно яндексу не нравится.
    •
    • 16 марта 2015 г.
    • 2 сайта на Diafan.Cms (оба версии 5.4, обновленные в последний раз в феврале - от 10.02 сборка)
      хостинги: timeweb и ISPserver
      Все исключенные страницы отдавали 200 ОК, корректные.
  •
  • 17 марта 2015 г.
  • У меня установлена консоль вебмастера на большом количестве сайтов. И Ворпресс, и Джумла, и Битрикс, и всякие другие питоны имеются. Проблема только с сайтами на Диафане. 8 Сайтов.

    Просто скину скриншоты графиков из Я.Вебмастера
    1. http://c2n.me/3elEjUQ
    2. http://c2n.me/3elEtYt
    3. http://c2n.me/3elEx5O
    4. http://c2n.me/3elEAOL
    5. http://c2n.me/3elEGsV
    6. http://c2n.me/3elELgB
    7. http://c2n.me/3elEPWa
    8. http://c2n.me/3elETWK

    Все исключенные страницы, это товарные категории, либо карточки товаров у интернет-магазинов. Все отдают ответ 200. Как уже говорили, Яндекс говорит, что это их косяк, но согласитесь странно, что проблема только с сайтами на Диафане, а у остальных все окей.
  •
  • 17 марта 2015 г. , редакция: 17 марта 2015 г.
  • Такая-же беда... хостинг FastPVS
    p.s. Вот проверил в вебмастере:
    А я думаю, почему сайт так долго в индекс не идёт...
    p.p.s. Ребята, исправляйте ...
  •
  • 17 марта 2015 г.
  • Подтверждаю отсутствие косяка на других CMS.
    Пор Диафану (5 клиентских сайтов) картина как и описанная выше - исключены по неверному заголовку, а отдают 200 ОК.

    Инет магазины.

    И на одном сайте в исключенные попал каталог статей.
    •
    • 17 марта 2015 г.
    • Добавлю к сказанному Константином. Среди поддерживаемых им 5 сайтов, есть как на версии 5.2, так и 5.3 и 5.4
  •
  • 17 марта 2015 г.
  • подтверждаю. начало с 23 февраля. 1 сайт - 9 ошибок.
    версия 5.4.4.4
  •
  • 17 марта 2015 г.
  • Мой заказчик писал по этому поводу в ТП Яши, вот что ему ответили:

    Дело в том, что периодически при запросе страниц Вашего сайта роботом Ваш сервер возвращает заголовок Content-Length, значение которого не соответствует размеру самого документа, поэтому возникает данная ошибка. Сейчас мы изменили логику обработки роботом таких проблем, в скором времени ранее исключенные страницы будут повторно проиндексированы роботом. После этого информация в Яндекс.Вебмастере должна будет обновиться. Что-либо с Вашей стороны предпринимать не нужно.

    Тоже столкнулся с этой проблемой)
    •
    • 17 марта 2015 г. , редакция: 18 марта 2015 г.
    • Ничего они не поменяли, а если и поменяли, то изменения не применили. Их же сервис, при проверке исключённых страниц выдаёт такую ошибку (обратите внимание на даты):
      • 18 марта 2015 г. , редакция: 18 марта 2015 г.
      • Может, и поменяли.
        Число ошибок снизилось.
  • 18 марта 2015 г.
  • Мы проанализировали ситуацию и предполагаем, что это может быть из-за gzip-сжатия страниц. Но чтобы убедиться, нужно это сжатие отключить на каком-то проблемном сайте и затем дождаться переиндексации. Кто готов поэкспериментировать?
    •
    • 18 марта 2015 г.
    • Хотя есть еще одна теория. Gzip вряд ли, ведь тогда весь сайт был бы проблемным, а так только некоторые страницы.
      Кто может дать в службу поддержки свой сайт с фтп для анализа? Кто смелый?
      • 18 марта 2015 г. , редакция: 18 марта 2015 г.
      • В принципе можем и мы (сайт, где 53 ошибок). Но теперь только завтра.
        •
        • 18 марта 2015 г.
        • Скидывайте, чем больше информации тем лучше )
        •
        • 18 марта 2015 г.
        • Оптимизатор подправил меня, не 400, а 53 ошибки.
          Увы, владелец сайта запретил сайт для экспериментов (а также давать публично ссылку здесь). Прошу прощения, не получится.
          • 18 марта 2015 г.
          • Да не, экспериментов не будет. Только посмотреть, без воздействия.
            Ведь только некоторые страницы с ошибкой.
            А у нас точно нет каких-то особых заголовков для некоторых страниц. Может, сжатие некорректно работает из-за какого-то содержания страниц особого. Например, в карточке товара какой-нибудь особый баннер выводится, который некорректно сжимается. Или может BOM, который очень у многих фигурирует в шаблонах и вьюхах, мы уже рукой махнули каждый раз поправлять всех. Например, шаблон карточки товара отредактировали в обычном блокноте. В результате туда BOM записался. Скрипты не жалуются, так как BOM после заголовков выводится, а вот на content-lenght влияет. А при сжатии он учитывается/не учитывается. Или Яндекс его не видит/не считает за символ и по мнению яндекса там длина меньше. А сервер его видит и дает большую content-lenght. А может наоборот...
            Прикол в том, что на всех сайтах, что делали мы, этих ошибок нет. А мы точно всё в UTFwithoutBOM пишем.
            Так что надо смотреть.
            •
            • 19 марта 2015 г.
            • с бом?...
              В обработанных мной файлах все должно быть без "сигнатуры". В EmEditor если не так, то видно при сохранении сразу.
  • 18 марта 2015 г.
  • Вот и мне Платон отписал то-же что и Дмитрию:
    Цитата

    Что касается http://**********/ , то, скорее всего, ранее в HTTP-заголовке, который отдавался при обращении к ней, указывался размер документа, который не совпадал с возвращаемым сервером документом. Это и помешало роботу проиндексировать её. Сейчас мы изменили обработку данной ситуации роботом, поэтому в будущем таких проблем при индексировании страниц возникать не должно.

    Сколько ждать, неизвестно.
  • 20 марта 2015 г.
  • Неверный HTTP-заголовок!
    Также.
    Надо с этим что-то делать.
  •
  • 20 марта 2015 г.
  • Да не шумите уже, ситуация в первостепенном анализе и разборе. Примеров много дали в ТП, вместе с доступами, так что в ближайший день-два разберемся, решим и выложим.
  •
  • 23 марта 2015 г.
  • Мы связались с Яндексом.
    Они подтвердили, что косвенно ошибка с их стороны и они устранили этот недочет в алгоритме индексирования сайтов. На наш вопрос, нужно ли нам что-то менять в CMS и зависело ли что-либо от нас, ответ "нет".
    В общем-то, выше в теме уже был ответ Яндекса с подобным смыслом.
    Цитата
    Описанная Вами и пользователями ситуация связана с тем, что ранее при запросе тех или иных страниц сайтов индексирующий робот получал HTTP-заголовок Content-Length, значение которого не совпадало с фактическим размером документа, отправляемого сервером. Эту ситуацию робот считал за ошибку и исключал ранее доступные страницы.
    На текущий момент в подобных случаях ошибок возникать не должно, робот будет просто разрывать установленное соединение и игнорировать лишние байты, например, как поступают браузеры или curl, поэтому страницы смогут вернуться в поиск после повторного их посещения роботом. Скорее всего, этот процесс начнётся в течение 2 недель.

    Так что ждем
    • 01 апреля 2015 г.
    • Зашел сегодня на Яндекс.Вебмастер.
      Страниц с ошибкой "Неверный HTTP-заголовок" почти не осталось.
      Зато появились выпавшие страницы с формулировкой "Формат документа не поддерживается".
      Началось 19 марта. А 28 марта их прям резко прибавилось.
      Это только у меня?
      •
      • 01 апреля 2015 г.
      • Страницы обычные?
        Я на одном сайте нашел с такой ошибкой только урлы типа ******.mp3

        Впрочем, сейчас мы у Яндекса спросим, чтобы не гадать. Я отпишусь сразу.
        •
        • 01 апреля 2015 г.
        • Наиобычнейшие.
          Типа страницы о компании, разделы каталога и т.п.
      • 01 апреля 2015 г.
      • Yandex.Search support

        Проблема с форматом, увы, полностью связана с проблемами с нашей стороны. В настоящий момент они уже были устранены, страницы сайта в скором времени должны начать посещаться роботом и смогут появиться в выдаче с последующими обновлениями поисковых баз. Некоторые из страниц смогут появиться уже после следующих 1-2 обновлений. Обычно обновления поисковой базы происходят с частотой один-два раза в неделю. Вы можете настроить получение уведомлений об этих обновлениях на электронную почту на странице http://webmaster.yandex.ru/settings/messages/types.xml .

        Приносим свои извинения за доставленные неудобства.

        --

        С уважением, Платон Щукин
        Служба поддержки Яндекса
        http://help.yandex.ru/
      •
      • 01 апреля 2015 г.
      • Гляньте в вебмастере, если есть сайты не на нашей CMS, есть такая ошибка?
      •
      • 01 апреля 2015 г.
      • Нет, не только у тебя. У меня тоже такое наблюдается.. Жду от яндекса пока ответа.
      •
      • 02 апреля 2015 г.
      • Нет, не только у Вас. У меня тоже переместились в "формат не поддерживается"... Яндекс "исправился" ((((
        •
        • 02 апреля 2015 г.
        • Кстати, Яндекс утверждает, что это невзаимосвязанные проблемы.

          Вы уверены, что страницы "переместились" те же самые, и это не другие страницы?
          •
          • 07 апреля 2015 г.
          • По двум десяткам страниц уверен - они в продвижении (товарные категории инет-магазина). Так что их отслеживаю.
  •
  • 23 марта 2015 г.
  • Цитата
    получал HTTP-заголовок Content-Length, значение которого не совпадало с фактическим размером документа

    Может все-таки побороться за правильный Content-Length.
    Не силен в php, но говорят есть решения http://new.xpro.su/php/content-length
    •
    • 23 марта 2015 г.
    • Так он правильный! Тут похоже дело не в том, что CMS неправильный заголовок отдает, а в том, что размер content-lenght ранее был другим, и при повторном обращении робота изменился!
      Нам прислали в ТП с десяток сайтов с сотней примеров и страниц и мы все проанализировали. НЕТ разницы между исключенными страницами и неисключенными, НЕТ разницы между размером с сервера и размером отдаваемым заголовком! Всё идентично и корректно.
      Исправлять-то нечего, нет локализованной проблемы. Мы не нашли ни одного сайта, где заголовок и реальный content-lenght с сервера отличался бы.
      Проблема ведь в чем? В том, что "Яндекс выкинул некоторые страницы в панели вебмастера".Из-за чего? Из-за ошибки в алгоритме самого Яндекса, и Яндекс уже сказали, что они у себя эту ситуацию исправили. Мы на этот процесс никак не могли и не можем повлиять.
      • 23 марта 2015 г.
      • Вот только у меня количество таких страниц выросло с момента моего прошлого сообщения. Проиндексировался нулевой сайт, и у него из 155 первых попавших в индекс страниц 4 с данной ошибкой. Каким был контент-лейт, если Яндекс не знал об этом сайте?
        •
        • 23 марта 2015 г.
        • Ну начнем с того, что "проиндексировался" и "обращение робота" - это разные понятия. Робот может пару месяцев болтаться на сайте, несколько раз обращаясь к нему, прежде чем произойдет апдейт, обновится поисковый индекс и тем более панель вебмастера.
          Во-вторых, мы лишь предполагаем о работе алгоритмов, а не знаем точные причины. В любом случае, мы специалистам компании Яндекс проблему описали, задали вопрос нужно ли нам что-то менять и получили ответ нет, менять ничего не стоит, ошибка на нашей стороне, всё исправлено, процесс начнется в течение двух недель.
          Так что можете меня на слове не ловить, мне с Вами в дебаты вступать не с чем ,
      •
      • 23 марта 2015 г.
      • Ждем.
        •
        • 23 марта 2015 г.
        • Да ладно, сопли вытирать, а то у Яндекса проблем никогда не было? Я вот сам сколько сайтов продвигал за 9 лет, так то морда выпадет на месяц, то 50% страниц выпадет из индекса. Пишешь Платону, а он "Ой, ну сломалось, извините, скоро всё вернется", и сидишь ждешь. А так, чтобы морда выпала у продвигаемого сайта по высокочастотнику и клиент несколько недель рвал и метал, теряя траф, так это нередко.
          А Яндексу нынче вообще тяжело, его Гугл ест
          • 24 марта 2015 г.
          • Кто-то из Ларошфуко-образных сказал:
            "Нам всегда достанет сил пережить чужое горе".

            Гораздо неприятнее ждать, когда морда выпала у тебя, а не у клиента.
            •
            • 24 марта 2015 г.
            • Если что-то уже произошло, у каждого всегда есть выбор: переживать или не переживать. Причем сами переживания, очевидно, никак на проблему не влияют, не помогают в её решении. Тогда почему многие выбирают путь бессмысленного самоистязания? Наверное, потому что нравится
              • 24 марта 2015 г.
              • Хорошо быть роботом - можно самому решать какие чувства "включить".
                Цитата
                у каждого всегда есть выбор: переживать или не переживать

                Выбора нет. (здесь должен быть грустный смайл)
                Все решила природа.
                Хотя некоторые современные психологи считают, что темперамент человека - это не врожденное свойство, а приобретенное, и может быть изменено.

Новости

  • Не пропустите сборку DIAFAN.CMS 7.1.4
  • 24 апреля, среда
  • В новой сборке совершили революцию в структурировании кастомизированной информации в шаблонах, добавили авторегистрацию пользователей, усовершенствовали защиту от спама, актуализировали накопительную скидку, а также улучшили производительность и стабильность работы системы.
  • Сборка DIAFAN.CMS 7.1.3
  • 12 января
  • После выхода сборки 7.1 мы выпустили уже три патча, в каждом из которых улучшаем административную часть сайта. Сборка DIAFAN.CMS 7.1.3 уже доступна к установке. 
  • Новость. Сборка. Тарифы
  • 15 декабря 2023 г.
  • Подводим итоги 2023 года. Выпустили новую сборку DIAFAN.CMS 7.1.1, вводим новые тарифы на аренду сайта и коммерческую поддержку и автообновления с января 2024 г., строим планы на будущий год.
Все новости