Вход • Регистрация

Проблема с индексацией тысяч статей

  •
  • 20 октября 2015 г. , редакция: 20 октября 2015 г.
  • может уже пора допилить модуль поиска, нет я не новом функционале
    я о нормальной его работе на сайте от 2000 статей!

    индексация вешает любой виртуальный хостинг, да что там хостинг она у меня и на локале комп грузит минут на 10
    после индексации любое добавление - удаление статьи вешает сервер!

    сделайте что нибудь! либо просто удалите этот модуль из состава диафана!
    •
    • 21 октября 2015 г.
    • Часто пользователи умалчивают, что они "дорабатывают" движок, вписывая, удаляя или правя лишние винтики, которые как бы вроде ни на что не влияют. Пишет такой пользователь в ТП запрос, всё тормозит типа, спрашиваешь доступы к сайту, смотришь код, а там... Творчество.
      Что-то снесли, что-то закомментили, БД поправили, индексы снесли, а в ядре эксперименты, то к запросами напрямую, то пара сервисов интегрированы кривым боком, циклы кривые и бесконечные...
      И ладно ТП, там хоть посмотреть можно сайт. А на форуме темы "доколе", без указания сайта, без подробностей, без кода, без БД, зачем? Хотели спросить у Диафана - спрашивайте! Вот тут!
      На форуме никто ничего не скажет, т.к. не ясновидящие!
      •
      • 21 октября 2015 г. , редакция: 21 октября 2015 г.
      • у меня на локале стоит чистый диафан, ничего не правил, даже диз не натягивал, только контент руками добавил и все
        а в сапорт я рисал много раз
        и даже в пожеланиях писал про эту поблемы но воз и ныне там

        я так понимаю все используют диафан на маленьких сайтах и уних проблем нет
        •
        • 21 октября 2015 г.
        • На локале тупит или на хостинге? Или и там и там?
          Как сапорт разберется, если сайт на локале?
          •
          • 21 октября 2015 г.
          • Сказали уже Николаю в поддержке индексы поставить на таблицы. Молчит.
            Не говорит, помогло, не помогло. Доступы к своему сайту не дает.
            Пишет в службу поддержки новые запросы, что чтобы ТП увидела проблему "добавьте 3000 статей и более". Ага. Прямо сегодня всей техподдержкой сядем и будем статьи писать, да добавлять на какой-нибудь тестовый сайт, по 100 штук в день. Как раз через месяц что-то получится, наверное.
            • 21 октября 2015 г.
            • каки е еще индексы
              я вам говорю у вас из коробки на большом сайте индексация вешает сервер

              я могу вам для примера залить чистый диафан с 3 тыс статей на хостинг и показать это если вам самим лень это сделать, конечно со мной тут легче умничать вместо того чтобы протестировать как работает. ваш диафан набольшомисайте, выига сайте везитке все потестили и ладно, работает ведь

              • 21 октября 2015 г.
              • Цитата
                какие еще индексы
                хм... Если бы я не видел ответ ТП с руководством как поставить индексы, я бы еще засомневался. Теперь нет
                Цитата
                я могу вам для примера залить чистый диафан с 3 тыс статей на хостинг и показать это если вам самим лень это сделать, конечно
                залейте. И покажите. Конечно нам лень, что за вопросы? Кому охота на досуге время убивать? А вдруг Вы врете? Если мы по каждому сообщению "глюююююючит" будет сразу по 3000 статей заливать на тестовые сайты, нам можно будет закрываться.
            •
            • 21 октября 2015 г.
            • как я вам доступ на локал дам
              пишу новые так как вы мне выше это посоветовали
              необязательно сидеть и руками добавлять 3000 статей можно сразу в базу записать, странно что вы этого не знаете

              вы вобще диафан тестировали?
              •
              • 21 октября 2015 г.
              • Да на локале все, что угодно может быть.
                У меня тоже тупит, и машина хорошая, 8 ведер и оперы 16 gb, только вот xampp стоит, который я и не конфигурировал. Так, что это спорный вопрос
              • 21 октября 2015 г.
              • Цитата
                необязательно сидеть и руками добавлять 3000 статей можно сразу в базу записать, странно что вы этого не знаете
                Ну привет, приехали!
                Вот где собака порылась? И как же Вы это сделали? Просто импортнули в таблицу clauses три тыщи записей и всё?
                А то, что там еще десяток связанных таблиц для модуля, да плюс кеши-меши, не говоря про тот самый постепенно создаваемый поисковый индекс - это ничего? И Вы говорите, что не внедрялись в систему и не дорабатывали её??? Ха-ха-ха! Ну это то же самое, что пустить спящему человеку по вене бутылку водки, а потом, когда он проснется, удивляться, чего он не запьянел по-нормальному?
              • 22 октября 2015 г.
              • А что будет если бутылку водки по вене?
              • 22 октября 2015 г.
              • Ох, Алексей... Говорят, что по вене достаточно 20-30 миллилитров (полрюмки) пустить, чтобы стать пьяным вусмерть... Бутылка, боюсь, это смертный приговор.;)
              •
              • 22 октября 2015 г.
              • Во-во! А начинается все с "импортну статьи напрямую в базу, это же так просто"
            • 21 октября 2015 г.
            • залил на хостинг для примера, наслаждайтесь, жду от вас 10 тыс руб на счет, в качестве оплаты за тестирование вашей системы
        •
        • 21 октября 2015 г.
        • Ну и как это меняет дело с
          Цитата
          зачем на форуме темы "доколе"?
          Польза какая другим пользователям? Правильно, нулевая.
          Если Вам нужно решить проблему с индексацией своих тысяч статей, разговаривайте с ТП, давайте им доступ, помогайте и взаимодействуйте, пока не решите. Если проблема типовая, результаты появятся в коробке. Нет - просто Вам помогут.
          А вот это вот публичное показательное заламывание рук "Доколе" - детский сад.
          •
          • 21 октября 2015 г.
          • польза другим такая чтотдругие просто забивают и ставят поиск от яшки или гугла а мне вот приспичилоипоставить диафановский уж простите

            глядишь модуль починим и другие начнут его юзать
    •
    • 21 октября 2015 г.
    • Цитата
      сделайте что нибудь! либо просто удалите этот модуль из состава диафана!

      А зачем тут мы? Перейдите в "Модули и БД" и удалите модуль сами. А сверху на сайт прилепите поиск от Яндекса. Делов-то.
      •
      • 21 октября 2015 г.
      • вы тут чтобы исправлять баги вашей системы
        Цитата
        Перейдите в "Модули и БД" и удалите модуль сами.

        а ну если у вас такой подход к багам, то извините что потревожил, тут уж ничего не поделаешь
        •
        • 21 октября 2015 г.
        • Я тут чтобы форум модерировать, а не баги исправлять. Форум - общение. Баги в багах, поддержка в поддержке. Так что поддержать Вас в точении лясов я готов. Конечно, в рамках правил форума
          • 21 октября 2015 г.
          • извините, был не прав значит
            точить не хочу, в тп написал еще раз
  •
  • 20 октября 2015 г.
  • Вон она как Михалыч...
    - А тесты что Диафан просто РЕАКТИВНЫЙ и Быстрый как же?
  • 21 октября 2015 г.
  • Было такое, правда на предыдущих версиях. Индексация "вешала" виртуальный хостинг. На новой версии не проверял.
  •
  • 22 октября 2015 г.
  • Цитата
    А что будет если бутылку водки по вене?

    Навряд ли здесь найдутся такие практики
    • 22 октября 2015 г. , редакция: 22 октября 2015 г.
    • ну, были у меня бойцы. Пьяные в жопу, а изо рта не пахнет! Вычислил. Оказывается клизму делали водкой
  • 27 февраля 2016 г. , редакция: 27 февраля 2016 г.
  • Тема старая уже, но я тут отпишусь по своим результатам.
    Магазин, 18 000 товаров, в каждом есть описание. Хостинг: vps на digital ocean за $5 с минимальными характеристиками.

    Товары добавлялись самописным импортом, работает по крону раз в час. Все связи таблиц учтены, можете быть уверены.
    Про индексацию в импорте, конечно, забыл.

    Индексация прошла за пару минут, в итоге в таблицах, относящихся к поиску больше миллиона строк.

    НО! Поиск работает отвратительно, конечно. Нет, он достаточно быстрый, но он никчемный. Я набираю точное название товара, но он его не находит, зато находит огромное количество других товаров.
    Теперь вот думаю как его улучшить. У кого-нибудь есть идеи?
    •
    • 27 февраля 2016 г.
    • Согласен, поиск что по статьям /новостям/, что по каталогу - слабое место системы.
  •
  • 27 февраля 2016 г. , редакция: 27 февраля 2016 г.
  • Поиск ищет по всем фразам в запросе по отдельности.
    Может стоит считать процент вхождений и сортировать результаты по этому показателю? При этом ставить приоритетность числа вхождений в названии над числом вхождений в описании. Это про магазин только. Для новостей и статей, конечно, так делать не нужно.
  •
  • 27 февраля 2016 г. , редакция: 27 февраля 2016 г.
  • Цитата
    Юмагулов Азат (dewmas) Сегодня, 11:05
    Поиск работает отвратительно, конечно. Я набираю точное название товара, но он его не находит
    А поиск работает отвратительно в обоих режимах (галка "искать все слова сразу" в настройках модуля) ?
    • 27 февраля 2016 г.
    • Павел, спасибо, так стало лучше, конечно.
      Столько лет работаю с diafan.cms и не знал про эту опцию
      • 27 февраля 2016 г. , редакция: 27 февраля 2016 г.
      • Пожалуйста! Кстати, советую также изменить формулировку в поиске, если она стоит по дефолту. Поскольку поиск считает результаты совпадений, а выводятся результаты как "Документы". Вот смотрите пример. Результатов по ссылке 2 (поиск нашёл совпадение в названии и артикуле). Но вывел только одну карточку товара, поскольку оба совпадения находятся в ней.

        Хотя приведённый пример может быть частным случаем или багом поиска (не всегда так выводится).



        Таким образом документ получается именно один и в нём уже два результата совпадения.
        •
        • 29 февраля 2016 г.
        • К сожалению, "галка" лишь частично помогает. Послушали бы как в скайпе ругается один из моих заказчиков... на поиск по сайту... Бррр....
          Где-то тут была тема, там совместно решали как ее улучшить. Но толку мало..
          •
          • 29 февраля 2016 г.
          • В любом случае стало заметно лучше, хотя и далеко от идеала.
            • 29 февраля 2016 г.
            • Претензии есть к обоим режимам. Первый ищет очень мало, второй ищет очень много и у меня впечатление что СЛИШКОМ много. Есть документы во второй половине результатов, в которых вообще нет совпадений по искомой фразе. Показывается карточка товара, а в ней в тексте ни одного совпадения и т.п..

              Но что есть, то есть. Поиск - не самое сильное место диафана. Просто штатный инструмент. Реализация нормально поиска - это вообще геморрой.
  •
  • 29 февраля 2016 г.
  • У нас был подобный прецедент со одним из сайтов СМИ где статейных материалов было много, и они появлялись и появляются до сих пор каждый день. В какой-то момент клиент спросил: «А что у нас с поиском?». Мы конечно попробовали родной, поняли, что не стоит никого мучать и установили сторонний. Клиент счастлив, нагрузки на сервере нет и мы, в связи с этим всем, тоже довольны. Не знаю пройдёт ли подобный вариант с товарами, но с текстовыми материалами на данный момент, видимо, это лучшее решение.

    С другой стороны, товары и ищутся в основном по-другому. Когда ищешь именно товар, то чаще важен артикул или название, или характеристика, а не какая-то отстранённая информация в свободной форме, поиск, более структурированный получается. В общем то сводного поиска по товарам и не использовали никогда, всегда опирались на конкретные поля и запросы к базе именно по этим полям, т.е. без индексации поиском. И опять же все были счастливы, у клиента на сайте поиск осуществляется, посетители сайта легко могут найти нужный товар, мы не мучается с родным поиском и индексацией информации средствами CMS :)
  •
  • 29 февраля 2016 г.
  • Нужно подумать о реализации поиска на Sphinx. Скорее как дополнение, нежели из коробки, т. к. могут возникнуть проблемы при установке.
    •
    • 29 февраля 2016 г. , редакция: 29 февраля 2016 г.
    • Sphinx - серверное решение. Его не на каждый сервер поставишь и не на каждом настроишь. Такое в массы не пойдёт, сложно. Это не установка CMS в 2 клика. Если говорить про коробочное решение или дополнение, то нужно использовать либо библиотеку, либо СУБД. Тогда трудностей с установкой и использованием будет значительно меньше.

      Вот к примеру, неплохой обзор на тему.
  •
  • 29 февраля 2016 г.
  • Те, кто сделал хороший умный поиск, богатые и знаменитые. Что Гугл, что Яндекс Если бы мы сделали собственный крутой поиск, мы бы во-первых, не имели времени на цмс вообще, а во-вторых, зарегали бы гугляндекс.ру и сделали конкуренцию вышеупомянутым поискам
    Посидеть недельку, подкрутить релевантность по количеству совпадений и избавиться от мусора реально, но искать не хуже яндекса штатный поисковик вряд ли будет.

Новости

  • Вышла очередная сборка DIAFAN.CMS 7.2.2
  • 18 июня
  • В сборке большое обновление demo-шаблона, дополнительная защита от спама, улучшение YML-импорта и еще много важного и интересного.
  • Не пропустите сборку DIAFAN.CMS 7.1.4
  • 24 апреля
  • В новой сборке совершили революцию в структурировании кастомизированной информации в шаблонах, добавили авторегистрацию пользователей, усовершенствовали защиту от спама, актуализировали накопительную скидку, а также улучшили производительность и стабильность работы системы.
  • Сборка DIAFAN.CMS 7.1.3
  • 12 января
  • После выхода сборки 7.1 мы выпустили уже три патча, в каждом из которых улучшаем административную часть сайта. Сборка DIAFAN.CMS 7.1.3 уже доступна к установке. 
Все новости

Форум

Перейти на форум