И появляется в нем много несуществующих по факту страниц.
пустых, кривых, не нужных, 404-х и т.д.

Чтобы поисковики кушали наши правильные сайтмепы, создаваемые умными программами-роботами, пришлось в
убрать из .htaccess RewriteRule ^(.*)sitemap.xml$ index.php?rewrite=sitemap.xml [QSA]

А то приходилось сначала закрывать в роботсе
Disallow: /map.html
Disallow: /search.html
Disallow: /shop.html
Disallow: /shop/basket.html
Disallow: /shop/order.html
Disallow: /files.html
Disallow: /tags.html
Disallow: /photo.html
Disallow: /registration.html
Disallow: /reminding.html

Так что или нужно дорабатывать генерацию этого файла. Или не советую пользоваться другим, а то поисковики обидятся на мусор, который им подсовываем

Господа,
Спокойнее )
И простите меня за некий сарказм.

Мне очень нравится Ваша ЦМС. Почему уже что-то переделал из сайтов, и еще на очереди заказал переверстку несколько сайтов именно на ней.

Но недоработки есть.
К примеру в сайт-мепе генерируется
http://site.ru/tags/show1/
http://site.ru/faq.html
http://site.ru/forum/cat2/

Ну например, если форум и прочие модули отключены, то зачем генерируются их страницы?
А в админке я не нашел, где галочка "Не показывать на карте сайта" для форума, например.
Если он отключен, то и не должен генерироваться по-умолчанию. Я так понимаю.

Модуль магазина используется, как каталог товаров только, без онлайн-заказа. Нет на сайте корзинки. Но записи
/shop/basket.html
/shop/order.html
генерируются.

Нет внутренней ссылки на сайте нигде на адрес /shop.html
Тем не менее он генерируется. А поскольку шаблон для такой страницы не разрабатывался за ненужностью, то такая страница индексируется поисковиками, но выглядит вкривь и вкось.
Поставить галочку "не показывать на карте" - не могу. Тогда все страницы типа
/shop/razdel/tovar.html не попадут в карту сайта.
Вот дилема.

Поисковики, как известно, не любят сайты со страницами ошибочными, например с 404-й ошибкой.
"Обидятся" - придут, увидят 404-ю, и некий минус сайту поставят.

А на страницы, на которые ссылок на сайте нет внутренних, ненужные и соответственно не сверстанные правильно, могут зайти люди, или (не дай бог) асессоры, если они имеются в файле сайт-мепа и проиндексируются поисковиками. Асессор явно не даст положительную оценку сайту за это.

В Вашей ЦМС нет огромного мусора вариантов адресов страниц, которые генерируют некоторые другие ЦМС. Это сильно радует.

Но с генерацией сайтмепа есть отдельные недочеты.

Какой выход? Не знаю. Я не программист, а оптимизатор-пользователь. Пока просто отключили ее и делаем сайт-меп сторонними программами, которые по фактическим ссылкам ходят и генерируют также с учетом запрета индексации в роботсе.

Но как бы было удобно, если бы Ваш встроенный сайт-меп работал, как надо. Особенно актуально для крупных и новостных порталов.


Возможно достаточно, чтобы программа, генерирующая файл учитывала запреты в robots.txt хотя бы. Может это было бы оптимальным решением. Генерирует что-то не так, запретил что-то, уже чистый и правильный сайт-меп поисковики кушать будут.

Спасибо.

Адрес файла мне подсказали, можете посмотреть вроде как так.
http://www.site.ru/?rewrite=sitemap.xml
Но нужно ли этот адрес давать поисковикам - не знаю, наверное нет.

Если форум и прочие модули отключены, то они бы не показывались.

Показываются, пока не поставишь галочку "не показывать", хоть и отключены (серые).

Скрины (можете сами проверить):
- серая
- генерируется (посмотрите на дату еще)

возможно из-за того, что внутри по-умолчанию стоит не серая

Но сам-то форум отключен.

Как раз /forum/cat2/ и выдает 404-ю ошибку

Тоже самое с /tags/show1/, хотя модуль тегов отключен, внутри его что-то остается не отключенным и 404-я ошибка вылезает, но в карту сайта эта страница попадает.



Если она не показана в меню, это не значит, что страницы нет.

Мне именно эта страница /shop.html не нужна. Нет ни корзины, ни регистрации пользователей.
/shop/basket.html
/shop/order.html
/reminding.html
/registration.html
Я на них нигде ссылку на сайте не показываю, зачем они мне в списке? Страницы категорий и прочие же - нужны.

задача сайтмапа как раз показать все ссылки на все АКТИВНЫЕ страница сайта

Задача другая - показать все НУЖНЫЕ страницы для индексации, а не нужные не показывать.

Файл Sitemap — это файл, расположенный на сайте, с дополнительной информацией о страницах сайта, подлежащих индексированию. - см. в ндексе

Зачем поисковику кушать страницу с таким содержанием
Наименование Количество Цена, руб. Сумма, руб. Удалить ИТОГО 0 0
если на сайте нет корзины, а только структурированный каталог?

Тоже самое со страницами типа /photo.html
Если я поставил ссылки в меню только на 2 альбома фотогалереи, а эта ("коренная") страница никакой полезной инфо не несет кроме 2-х ссылок на те же альбомы. А поисковики не любят сайты со страницами без содержания (фактически пустые)... То ее я НЕ хочу отдавать поисковику на индексацию, и не хочу, чтобы она была в сайтмепе соответственно.

А значит, ИМХО должна быть предусмотрена возможность какой-то настройки встроенного в ЦМС авто-сайтмепа.