Писать на форуме DIAFAN.CMS могут только зарегистрированные пользователи. Войдите или зарегистрируйтесь.

Форум Модули DIAFAN.CMS Поиск по сайту Проблема с индексацией тысяч статей


николай (111111) 320 октября 2015 г., редакция 20 октября 2015 г.

может уже пора допилить модуль поиска, нет я не новом функционале
я о нормальной его работе на сайте от 2000 статей!

индексация вешает любой виртуальный хостинг, да что там хостинг она у меня и на локале комп грузит минут на 10
после индексации любое добавление - удаление статьи вешает сервер!

сделайте что нибудь! либо просто удалите этот модуль из состава диафана!

Виталий (DIAFAN.CMS) 62821 октября 2015 г.

Часто пользователи умалчивают, что они "дорабатывают" движок, вписывая, удаляя или правя лишние винтики, которые как бы вроде ни на что не влияют. Пишет такой пользователь в ТП запрос, всё тормозит типа, спрашиваешь доступы к сайту, смотришь код, а там... Творчество.
Что-то снесли, что-то закомментили, БД поправили, индексы снесли, а в ядре эксперименты, то к запросами напрямую, то пара сервисов интегрированы кривым боком, циклы кривые и бесконечные...
И ладно ТП, там хоть посмотреть можно сайт. А на форуме темы "доколе", без указания сайта, без подробностей, без кода, без БД, зачем? Хотели спросить у Диафана - спрашивайте! Вот тут!
На форуме никто ничего не скажет, т.к. не ясновидящие!

николай (111111) 321 октября 2015 г., редакция 21 октября 2015 г.

у меня на локале стоит чистый диафан, ничего не правил, даже диз не натягивал, только контент руками добавил и все
а в сапорт я рисал много раз
и даже в пожеланиях писал про эту поблемы но воз и ныне там

я так понимаю все используют диафан на маленьких сайтах и уних проблем нет

Владимир (voha2006) 5921 октября 2015 г.

На локале тупит или на хостинге? Или и там и там?
Как сапорт разберется, если сайт на локале?

Виталий (DIAFAN.CMS) 62821 октября 2015 г.

Сказали уже Николаю в поддержке индексы поставить на таблицы. Молчит.
Не говорит, помогло, не помогло. Доступы к своему сайту не дает.
Пишет в службу поддержки новые запросы, что чтобы ТП увидела проблему "добавьте 3000 статей и более". Ага. Прямо сегодня всей техподдержкой сядем и будем статьи писать, да добавлять на какой-нибудь тестовый сайт, по 100 штук в день. Как раз через месяц что-то получится, наверное.

Владимир (voha2006) 5921 октября 2015 г.

николай (111111) 321 октября 2015 г.

каки е еще индексы
я вам говорю у вас из коробки на большом сайте индексация вешает сервер

я могу вам для примера залить чистый диафан с 3 тыс статей на хостинг и показать это если вам самим лень это сделать, конечно со мной тут легче умничать вместо того чтобы протестировать как работает. ваш диафан набольшомисайте, выига сайте везитке все потестили и ладно, работает ведь

Виталий (DIAFAN.CMS) 62821 октября 2015 г.

Цитата
какие еще индексы
хм... Если бы я не видел ответ ТП с руководством как поставить индексы, я бы еще засомневался. Теперь нет
Цитата
я могу вам для примера залить чистый диафан с 3 тыс статей на хостинг и показать это если вам самим лень это сделать, конечно
залейте. И покажите. Конечно нам лень, что за вопросы? Кому охота на досуге время убивать? А вдруг Вы врете? Если мы по каждому сообщению "глюююююючит" будет сразу по 3000 статей заливать на тестовые сайты, нам можно будет закрываться.

николай (111111) 321 октября 2015 г.

как я вам доступ на локал дам
пишу новые так как вы мне выше это посоветовали
необязательно сидеть и руками добавлять 3000 статей можно сразу в базу записать, странно что вы этого не знаете

вы вобще диафан тестировали?

Владимир (voha2006) 5921 октября 2015 г.

Да на локале все, что угодно может быть.
У меня тоже тупит, и машина хорошая, 8 ведер и оперы 16 gb, только вот xampp стоит, который я и не конфигурировал. Так, что это спорный вопрос

Виталий (DIAFAN.CMS) 62821 октября 2015 г.

Цитата
необязательно сидеть и руками добавлять 3000 статей можно сразу в базу записать, странно что вы этого не знаете
Ну привет, приехали!
Вот где собака порылась? И как же Вы это сделали? Просто импортнули в таблицу clauses три тыщи записей и всё?
А то, что там еще десяток связанных таблиц для модуля, да плюс кеши-меши, не говоря про тот самый постепенно создаваемый поисковый индекс - это ничего? И Вы говорите, что не внедрялись в систему и не дорабатывали её??? Ха-ха-ха! Ну это то же самое, что пустить спящему человеку по вене бутылку водки, а потом, когда он проснется, удивляться, чего он не запьянел по-нормальному?

Aleksey (lehabarc) 2222 октября 2015 г.

А что будет если бутылку водки по вене?

Виталий (DIAFAN.CMS) 62822 октября 2015 г.

Ох, Алексей... Говорят, что по вене достаточно 20-30 миллилитров (полрюмки) пустить, чтобы стать пьяным вусмерть... Бутылка, боюсь, это смертный приговор.;)

Владимир (voha2006) 5922 октября 2015 г.

Ну сейчас начнется массовая наркомания водкой

Виталий (DIAFAN.CMS) 62822 октября 2015 г.

Во-во! А начинается все с "импортну статьи напрямую в базу, это же так просто"

николай (111111) 321 октября 2015 г.

залил на хостинг для примера, наслаждайтесь, жду от вас 10 тыс руб на счет, в качестве оплаты за тестирование вашей системы

Валерий Викторович (Sherrlok) 14421 октября 2015 г.

а чего так мало?

Виталий (DIAFAN.CMS) 62821 октября 2015 г.

Ну и как это меняет дело с
Цитата
зачем на форуме темы "доколе"?
Польза какая другим пользователям? Правильно, нулевая.
Если Вам нужно решить проблему с индексацией своих тысяч статей, разговаривайте с ТП, давайте им доступ, помогайте и взаимодействуйте, пока не решите. Если проблема типовая, результаты появятся в коробке. Нет - просто Вам помогут.
А вот это вот публичное показательное заламывание рук "Доколе" - детский сад.

николай (111111) 321 октября 2015 г.

польза другим такая чтотдругие просто забивают и ставят поиск от яшки или гугла а мне вот приспичилоипоставить диафановский уж простите

глядишь модуль починим и другие начнут его юзать

Виталий (DIAFAN.CMS) 62821 октября 2015 г.

Цитата
сделайте что нибудь! либо просто удалите этот модуль из состава диафана!

А зачем тут мы? Перейдите в "Модули и БД" и удалите модуль сами. А сверху на сайт прилепите поиск от Яндекса. Делов-то.

николай (111111) 321 октября 2015 г.

вы тут чтобы исправлять баги вашей системы
Цитата
Перейдите в "Модули и БД" и удалите модуль сами.

а ну если у вас такой подход к багам, то извините что потревожил, тут уж ничего не поделаешь

Виталий (DIAFAN.CMS) 62821 октября 2015 г.

Я тут чтобы форум модерировать, а не баги исправлять. Форум - общение. Баги в багах, поддержка в поддержке. Так что поддержать Вас в точении лясов я готов. Конечно, в рамках правил форума

николай (111111) 321 октября 2015 г.

извините, был не прав значит
точить не хочу, в тп написал еще раз

Dmitry (afonnikov10) 21920 октября 2015 г.

Вон она как Михалыч...
- А тесты что Диафан просто РЕАКТИВНЫЙ и Быстрый как же?

Dmitry (afonnikov10) 21920 октября 2015 г.

Что за версия движка?

николай (111111) 320 октября 2015 г.

последняя

Евгений (mbytez) 2121 октября 2015 г.

Было такое, правда на предыдущих версиях. Индексация "вешала" виртуальный хостинг. На новой версии не проверял.

Владимир (voha2006) 5922 октября 2015 г.

Цитата
А что будет если бутылку водки по вене?

Навряд ли здесь найдутся такие практики

Валерий Викторович (Sherrlok) 14422 октября 2015 г., редакция 22 октября 2015 г.

ну, были у меня бойцы. Пьяные в жопу, а изо рта не пахнет! Вычислил. Оказывается клизму делали водкой

Сергей (olgon) 1822 октября 2015 г.

Цитата
Пьяные в жопу

Владимир (voha2006) 5922 октября 2015 г.

Эко, какие гламурные алкоголики

Юмагулов Азат (dewmas) 1127 февраля 2016 г., редакция 27 февраля 2016 г.

Тема старая уже, но я тут отпишусь по своим результатам.
Магазин, 18 000 товаров, в каждом есть описание. Хостинг: vps на digital ocean за $5 с минимальными характеристиками.

Товары добавлялись самописным импортом, работает по крону раз в час. Все связи таблиц учтены, можете быть уверены.
Про индексацию в импорте, конечно, забыл.

Индексация прошла за пару минут, в итоге в таблицах, относящихся к поиску больше миллиона строк.

НО! Поиск работает отвратительно, конечно. Нет, он достаточно быстрый, но он никчемный. Я набираю точное название товара, но он его не находит, зато находит огромное количество других товаров.
Теперь вот думаю как его улучшить. У кого-нибудь есть идеи?

Евгений (mbytez) 2127 февраля 2016 г.

Согласен, поиск что по статьям /новостям/, что по каталогу - слабое место системы.

Юмагулов Азат (dewmas) 1127 февраля 2016 г., редакция 27 февраля 2016 г.

Поиск ищет по всем фразам в запросе по отдельности.
Может стоит считать процент вхождений и сортировать результаты по этому показателю? При этом ставить приоритетность числа вхождений в названии над числом вхождений в описании. Это про магазин только. Для новостей и статей, конечно, так делать не нужно.

Любимов Павел (DIAFAN.CMS) 30627 февраля 2016 г., редакция 27 февраля 2016 г.

Цитата
Юмагулов Азат (dewmas) Сегодня, 11:05
Поиск работает отвратительно, конечно. Я набираю точное название товара, но он его не находит
А поиск работает отвратительно в обоих режимах (галка "искать все слова сразу" в настройках модуля) ?
Спасибо сказали: Олег (PerpetuumMobile)

Юмагулов Азат (dewmas) 1127 февраля 2016 г.

Павел, спасибо, так стало лучше, конечно.
Столько лет работаю с diafan.cms и не знал про эту опцию

Любимов Павел (DIAFAN.CMS) 30627 февраля 2016 г., редакция 27 февраля 2016 г.

Пожалуйста! Кстати, советую также изменить формулировку в поиске, если она стоит по дефолту. Поскольку поиск считает результаты совпадений, а выводятся результаты как "Документы". Вот смотрите пример. Результатов по ссылке 2 (поиск нашёл совпадение в названии и артикуле). Но вывел только одну карточку товара, поскольку оба совпадения находятся в ней.

Хотя приведённый пример может быть частным случаем или багом поиска (не всегда так выводится).



Таким образом документ получается именно один и в нём уже два результата совпадения.
Спасибо сказали: Олег (PerpetuumMobile)

Юмагулов Азат (dewmas) 1127 февраля 2016 г.

Спасибо за совет)

Валерий Викторович (Sherrlok) 14429 февраля 2016 г.

К сожалению, "галка" лишь частично помогает. Послушали бы как в скайпе ругается один из моих заказчиков... на поиск по сайту... Бррр....
Где-то тут была тема, там совместно решали как ее улучшить. Но толку мало..

Юмагулов Азат (dewmas) 1129 февраля 2016 г.

В любом случае стало заметно лучше, хотя и далеко от идеала.

Любимов Павел (DIAFAN.CMS) 30629 февраля 2016 г.

Претензии есть к обоим режимам. Первый ищет очень мало, второй ищет очень много и у меня впечатление что СЛИШКОМ много. Есть документы во второй половине результатов, в которых вообще нет совпадений по искомой фразе. Показывается карточка товара, а в ней в тексте ни одного совпадения и т.п..

Но что есть, то есть. Поиск - не самое сильное место диафана. Просто штатный инструмент. Реализация нормально поиска - это вообще геморрой.
Спасибо сказали: Валерий Викторович (Sherrlok)

Онлайн Софт (Onmaster) 8129 февраля 2016 г.

У нас был подобный прецедент со одним из сайтов СМИ где статейных материалов было много, и они появлялись и появляются до сих пор каждый день. В какой-то момент клиент спросил: «А что у нас с поиском?». Мы конечно попробовали родной, поняли, что не стоит никого мучать и установили сторонний. Клиент счастлив, нагрузки на сервере нет и мы, в связи с этим всем, тоже довольны. Не знаю пройдёт ли подобный вариант с товарами, но с текстовыми материалами на данный момент, видимо, это лучшее решение.

С другой стороны, товары и ищутся в основном по-другому. Когда ищешь именно товар, то чаще важен артикул или название, или характеристика, а не какая-то отстранённая информация в свободной форме, поиск, более структурированный получается. В общем то сводного поиска по товарам и не использовали никогда, всегда опирались на конкретные поля и запросы к базе именно по этим полям, т.е. без индексации поиском. И опять же все были счастливы, у клиента на сайте поиск осуществляется, посетители сайта легко могут найти нужный товар, мы не мучается с родным поиском и индексацией информации средствами CMS :)

Юмагулов Азат (dewmas) 1129 февраля 2016 г.

Да, поиск, конечно, нужно дорабатывать.

Юмагулов Азат (dewmas) 1129 февраля 2016 г.

Нужно подумать о реализации поиска на Sphinx. Скорее как дополнение, нежели из коробки, т. к. могут возникнуть проблемы при установке.

Любимов Павел (DIAFAN.CMS) 30629 февраля 2016 г., редакция 29 февраля 2016 г.

Sphinx - серверное решение. Его не на каждый сервер поставишь и не на каждом настроишь. Такое в массы не пойдёт, сложно. Это не установка CMS в 2 клика. Если говорить про коробочное решение или дополнение, то нужно использовать либо библиотеку, либо СУБД. Тогда трудностей с установкой и использованием будет значительно меньше.

Вот к примеру, неплохой обзор на тему.

Юмагулов Азат (dewmas) 1129 февраля 2016 г.

Потому я и говорю о дополнении, а не о коробке.

Виталий (DIAFAN.CMS) 62829 февраля 2016 г.

Те, кто сделал хороший умный поиск, богатые и знаменитые. Что Гугл, что Яндекс Если бы мы сделали собственный крутой поиск, мы бы во-первых, не имели времени на цмс вообще, а во-вторых, зарегали бы гугляндекс.ру и сделали конкуренцию вышеупомянутым поискам
Посидеть недельку, подкрутить релевантность по количеству совпадений и избавиться от мусора реально, но искать не хуже яндекса штатный поисковик вряд ли будет.

Евгений (mbytez) 2103 марта 2016 г.

Виталий, верните хотя бы поиск по наименованию, предварительно исправив тормоза
Спасибо сказали: Валерий Викторович (Sherrlok)