Писать на форуме DIAFAN.CMS могут только зарегистрированные пользователи. Войдите или зарегистрируйтесь.
Неверный HTTP-заголовок
-
16 марта 2015 г. , редакция: 16 марта 2015 г.
-
Столкнулся с проблемой, что стали вываливаться страницы из индекса
Зашел в панель вебмастера.янекса в раздел
и обнаружил такую ерунду
проверил на всех своих сайтах на Диафане , у всех такая фигня. (началось в конце февраля - начале марта)
Кто-нибудь сталкивался с такой проблемой?
Как решали? -
-
-
-
16 марта 2015 г. , редакция: 16 марта 2015 г.
-
Проблема скорее всего не в CMS, было тоже самое, в начале марта вылетали страницы из-за якобы неверного http заголовка. В ответах, яндекс говорил о своей технической ошибке, и что скоро все будет хорошо. У меня так и произошло, все страницы вернулись после апа.
-
-
-
-
16 марта 2015 г. , редакция: 16 марта 2015 г.
-
Побежал смотреть!
Действительно в марте появилось!!!
Только на сайте с последней версией, на который регулярно устанавливаются все обновления.
Может после обновления какого-нибудь?
Что-то прям забеспокоился.
-
-
-
-
16 марта 2015 г.
-
На 5.0 тоже такое вылезло
-
-
-
-
16 марта 2015 г.
-
Да это проблема давнишняя, от цмс не особо зависит. Вон, полно обсуждений
Мы в пакете ничего особо такого не меняли. Обычные корректные заголовки, 200 ок, last modify и пр..
У себя посмотрел в вебмастере на сайтах, нет такой проблемы.
Может, в сочетании с хостингом что-то получается?
Давайте приводить сайты, урлы страниц с проблемой, и хостинги. Будем смотреть, сравнивать. Как-то локализуем, что именно яндексу не нравится. -
-
-
-
17 марта 2015 г.
-
У меня установлена консоль вебмастера на большом количестве сайтов. И Ворпресс, и Джумла, и Битрикс, и всякие другие питоны имеются. Проблема только с сайтами на Диафане. 8 Сайтов.
Просто скину скриншоты графиков из Я.Вебмастера
1. http://c2n.me/3elEjUQ
2. http://c2n.me/3elEtYt
3. http://c2n.me/3elEx5O
4. http://c2n.me/3elEAOL
5. http://c2n.me/3elEGsV
6. http://c2n.me/3elELgB
7. http://c2n.me/3elEPWa
8. http://c2n.me/3elETWK
Все исключенные страницы, это товарные категории, либо карточки товаров у интернет-магазинов. Все отдают ответ 200. Как уже говорили, Яндекс говорит, что это их косяк, но согласитесь странно, что проблема только с сайтами на Диафане, а у остальных все окей. -
-
-
-
17 марта 2015 г. , редакция: 17 марта 2015 г.
-
Такая-же беда... хостинг FastPVS
p.s. Вот проверил в вебмастере:
А я думаю, почему сайт так долго в индекс не идёт...
p.p.s. Ребята, исправляйте ... -
-
-
-
17 марта 2015 г.
-
Подтверждаю отсутствие косяка на других CMS.
Пор Диафану (5 клиентских сайтов) картина как и описанная выше - исключены по неверному заголовку, а отдают 200 ОК.
Инет магазины.
И на одном сайте в исключенные попал каталог статей. -
-
-
-
17 марта 2015 г.
-
подтверждаю. начало с 23 февраля. 1 сайт - 9 ошибок.
версия 5.4.4.4 -
-
-
-
17 марта 2015 г.
-
Мой заказчик писал по этому поводу в ТП Яши, вот что ему ответили:
Дело в том, что периодически при запросе страниц Вашего сайта роботом Ваш сервер возвращает заголовок Content-Length, значение которого не соответствует размеру самого документа, поэтому возникает данная ошибка. Сейчас мы изменили логику обработки роботом таких проблем, в скором времени ранее исключенные страницы будут повторно проиндексированы роботом. После этого информация в Яндекс.Вебмастере должна будет обновиться. Что-либо с Вашей стороны предпринимать не нужно.
Тоже столкнулся с этой проблемой) -
-
-
-
17 марта 2015 г. , редакция: 18 марта 2015 г.
-
Ничего они не поменяли, а если и поменяли, то изменения не применили. Их же сервис, при проверке исключённых страниц выдаёт такую ошибку (обратите внимание на даты):
-
-
-
-
17 марта 2015 г.
-
Ум еня таких исключенных 102 штуки удалил форум
-
-
-
-
18 марта 2015 г.
-
Разбираемся
-
-
-
-
18 марта 2015 г.
-
Мы проанализировали ситуацию и предполагаем, что это может быть из-за gzip-сжатия страниц. Но чтобы убедиться, нужно это сжатие отключить на каком-то проблемном сайте и затем дождаться переиндексации. Кто готов поэкспериментировать?
-
-
-
-
18 марта 2015 г.
-
Хотя есть еще одна теория. Gzip вряд ли, ведь тогда весь сайт был бы проблемным, а так только некоторые страницы.
Кто может дать в службу поддержки свой сайт с фтп для анализа? Кто смелый?
-
-
-
-
18 марта 2015 г.
-
Я могу, уже скидываю
-
-
-
-
18 марта 2015 г. , редакция: 18 марта 2015 г.
-
В принципе можем и мы (сайт, где 53 ошибок). Но теперь только завтра.
-
-
-
-
18 марта 2015 г.
-
Скидывайте, чем больше информации тем лучше )
-
-
-
-
18 марта 2015 г.
-
Оптимизатор подправил меня, не 400, а 53 ошибки.
Увы, владелец сайта запретил сайт для экспериментов (а также давать публично ссылку здесь). Прошу прощения, не получится.
-
-
-
-
18 марта 2015 г.
-
Да не, экспериментов не будет. Только посмотреть, без воздействия.
Ведь только некоторые страницы с ошибкой.
А у нас точно нет каких-то особых заголовков для некоторых страниц. Может, сжатие некорректно работает из-за какого-то содержания страниц особого. Например, в карточке товара какой-нибудь особый баннер выводится, который некорректно сжимается. Или может BOM, который очень у многих фигурирует в шаблонах и вьюхах, мы уже рукой махнули каждый раз поправлять всех. Например, шаблон карточки товара отредактировали в обычном блокноте. В результате туда BOM записался. Скрипты не жалуются, так как BOM после заголовков выводится, а вот на content-lenght влияет. А при сжатии он учитывается/не учитывается. Или Яндекс его не видит/не считает за символ и по мнению яндекса там длина меньше. А сервер его видит и дает большую content-lenght. А может наоборот...
Прикол в том, что на всех сайтах, что делали мы, этих ошибок нет. А мы точно всё в UTFwithoutBOM пишем.
Так что надо смотреть. -
-
-
-
18 марта 2015 г.
-
Вот и мне Платон отписал то-же что и Дмитрию:Цитата
Что касается http://**********/ , то, скорее всего, ранее в HTTP-заголовке, который отдавался при обращении к ней, указывался размер документа, который не совпадал с возвращаемым сервером документом. Это и помешало роботу проиндексировать её. Сейчас мы изменили обработку данной ситуации роботом, поэтому в будущем таких проблем при индексировании страниц возникать не должно.
Сколько ждать, неизвестно. -
-
-
-
20 марта 2015 г.
-
Неверный HTTP-заголовок!
Также.
Надо с этим что-то делать. -
-
-
-
20 марта 2015 г.
-
-
-
-
-
20 марта 2015 г.
-
Да не шумите уже, ситуация в первостепенном анализе и разборе. Примеров много дали в ТП, вместе с доступами, так что в ближайший день-два разберемся, решим и выложим.
-
-
-
-
23 марта 2015 г.
-
Мы связались с Яндексом.
Они подтвердили, что косвенно ошибка с их стороны и они устранили этот недочет в алгоритме индексирования сайтов. На наш вопрос, нужно ли нам что-то менять в CMS и зависело ли что-либо от нас, ответ "нет".
В общем-то, выше в теме уже был ответ Яндекса с подобным смыслом.ЦитатаОписанная Вами и пользователями ситуация связана с тем, что ранее при запросе тех или иных страниц сайтов индексирующий робот получал HTTP-заголовок Content-Length, значение которого не совпадало с фактическим размером документа, отправляемого сервером. Эту ситуацию робот считал за ошибку и исключал ранее доступные страницы.
На текущий момент в подобных случаях ошибок возникать не должно, робот будет просто разрывать установленное соединение и игнорировать лишние байты, например, как поступают браузеры или curl, поэтому страницы смогут вернуться в поиск после повторного их посещения роботом. Скорее всего, этот процесс начнётся в течение 2 недель.
Так что ждем
-
-
Поблагодарили: Александр (LidStudio)
-
-
-
01 апреля 2015 г.
-
Зашел сегодня на Яндекс.Вебмастер.
Страниц с ошибкой "Неверный HTTP-заголовок" почти не осталось.
Зато появились выпавшие страницы с формулировкой "Формат документа не поддерживается".
Началось 19 марта. А 28 марта их прям резко прибавилось.
Это только у меня? -
-
-
-
01 апреля 2015 г.
-
Yandex.Search support
Проблема с форматом, увы, полностью связана с проблемами с нашей стороны. В настоящий момент они уже были устранены, страницы сайта в скором времени должны начать посещаться роботом и смогут появиться в выдаче с последующими обновлениями поисковых баз. Некоторые из страниц смогут появиться уже после следующих 1-2 обновлений. Обычно обновления поисковой базы происходят с частотой один-два раза в неделю. Вы можете настроить получение уведомлений об этих обновлениях на электронную почту на странице http://webmaster.yandex.ru/settings/messages/types.xml .
Приносим свои извинения за доставленные неудобства.
--
С уважением, Платон Щукин
Служба поддержки Яндекса
http://help.yandex.ru/ -
-
-
-
01 апреля 2015 г.
-
Гляньте в вебмастере, если есть сайты не на нашей CMS, есть такая ошибка?
-
-
-
-
01 апреля 2015 г.
-
Нет, не только у тебя. У меня тоже такое наблюдается.. Жду от яндекса пока ответа.
-
-
-
-
02 апреля 2015 г.
-
Нет, не только у Вас. У меня тоже переместились в "формат не поддерживается"... Яндекс "исправился" ((((
-
-
-
-
-
23 марта 2015 г.
-
Цитатаполучал HTTP-заголовок Content-Length, значение которого не совпадало с фактическим размером документа
Может все-таки побороться за правильный Content-Length.
Не силен в php, но говорят есть решения http://new.xpro.su/php/content-length -
-
-
-
23 марта 2015 г.
-
Так он правильный! Тут похоже дело не в том, что CMS неправильный заголовок отдает, а в том, что размер content-lenght ранее был другим, и при повторном обращении робота изменился!
Нам прислали в ТП с десяток сайтов с сотней примеров и страниц и мы все проанализировали. НЕТ разницы между исключенными страницами и неисключенными, НЕТ разницы между размером с сервера и размером отдаваемым заголовком! Всё идентично и корректно.
Исправлять-то нечего, нет локализованной проблемы. Мы не нашли ни одного сайта, где заголовок и реальный content-lenght с сервера отличался бы.
Проблема ведь в чем? В том, что "Яндекс выкинул некоторые страницы в панели вебмастера".Из-за чего? Из-за ошибки в алгоритме самого Яндекса, и Яндекс уже сказали, что они у себя эту ситуацию исправили. Мы на этот процесс никак не могли и не можем повлиять. -
-
-
-
23 марта 2015 г.
-
Вот только у меня количество таких страниц выросло с момента моего прошлого сообщения. Проиндексировался нулевой сайт, и у него из 155 первых попавших в индекс страниц 4 с данной ошибкой. Каким был контент-лейт, если Яндекс не знал об этом сайте?
-
-
-
-
23 марта 2015 г.
-
Ну начнем с того, что "проиндексировался" и "обращение робота" - это разные понятия. Робот может пару месяцев болтаться на сайте, несколько раз обращаясь к нему, прежде чем произойдет апдейт, обновится поисковый индекс и тем более панель вебмастера.
Во-вторых, мы лишь предполагаем о работе алгоритмов, а не знаем точные причины. В любом случае, мы специалистам компании Яндекс проблему описали, задали вопрос нужно ли нам что-то менять и получили ответ нет, менять ничего не стоит, ошибка на нашей стороне, всё исправлено, процесс начнется в течение двух недель.
Так что можете меня на слове не ловить, мне с Вами в дебаты вступать не с чем, -
-
-
-
23 марта 2015 г.
-
Ждем.
-
-
-
-
23 марта 2015 г.
-
Да ладно, сопли вытирать, а то у Яндекса проблем никогда не было? Я вот сам сколько сайтов продвигал за 9 лет, так то морда выпадет на месяц, то 50% страниц выпадет из индекса. Пишешь Платону, а он "Ой, ну сломалось, извините, скоро всё вернется", и сидишь ждешь. А так, чтобы морда выпала у продвигаемого сайта по высокочастотнику и клиент несколько недель рвал и метал, теряя траф, так это нередко.
А Яндексу нынче вообще тяжело, его Гугл ест -
-
-
-
24 марта 2015 г.
-
Кто-то из Ларошфуко-образных сказал:
"Нам всегда достанет сил пережить чужое горе".
Гораздо неприятнее ждать, когда морда выпала у тебя, а не у клиента.
-
-
-
-
24 марта 2015 г.
-
Если что-то уже произошло, у каждого всегда есть выбор: переживать или не переживать. Причем сами переживания, очевидно, никак на проблему не влияют, не помогают в её решении. Тогда почему многие выбирают путь бессмысленного самоистязания? Наверное, потому что нравится
-
-
-
-
24 марта 2015 г.
-
Хорошо быть роботом - можно самому решать какие чувства "включить".Цитатау каждого всегда есть выбор: переживать или не переживать
Выбора нет. (здесь должен быть грустный смайл)
Все решила природа.
Хотя некоторые современные психологи считают, что темперамент человека - это не врожденное свойство, а приобретенное, и может быть изменено. -
-
-
Новости
-
18 июня
-
В сборке большое обновление demo-шаблона, дополнительная защита от спама, улучшение YML-импорта и еще много важного и интересного.
-
24 апреля
-
В новой сборке совершили революцию в структурировании кастомизированной информации в шаблонах, добавили авторегистрацию пользователей, усовершенствовали защиту от спама, актуализировали накопительную скидку, а также улучшили производительность и стабильность работы системы.
-
12 января
-
После выхода сборки 7.1 мы выпустили уже три патча, в каждом из которых улучшаем административную часть сайта. Сборка DIAFAN.CMS 7.1.3 уже доступна к установке.
Блоги
-
24.04.2024
-
Выпустили новую сборку DIAFAN.CMS 7.1.4.
Блоги
-
12.01.2024
-
В данном руководстве познакомим вас с панелью управления DIAFAN.CMS