Программисты тут?
Дано: бд с 1 400 000 текстовых записей средней длины 300 символов.
Задача: ускорить поиск с 20 секунд до 1 сек минимум.
Способы?
Id
Text
Знал.
А поиск какой? По вхождению текста?
Да. Айди никак не сделать потому что нужно искать именно совпадения.
Въебать памяти терабайт и два самых йоба ксеона, ясен хуй.
мимо эникей
Закешировать все возможные строки, очевидно же.
Айди текста
Слово которое встречается в тексте
То есть декомпозировать текста на отдельные слова
Получится овер дохуя но ускорит ли это поиск?
А нахуй ты like юзаешь, для этих целей фуллтекст же есть?
- FULLTEXT INDEX или аналоги
- Залить в Эластиксерч или типа того
- Сосать хуй
Да блин нет. Причем тут память? Там база то весит 600 мегабайт. Мб ее в озу разместить?
почему не йоба эпики?
хеон лучше?
>Задача: ускорить поиск с 20 секунд до 1 сек минимум.
Эксплейн покажи для начала, погромист
>>233459016
Не знаю я первый раз с таким обьемом работаю.
Директору это все знать не надо. Ему надо знать что надо мне подписать покупку сервака.
Закешировать бд исходя из популярных запросов
И что? Где вывод explain этого запроса на твоей базе то?
>>233459133
>>233459016
Он же индексы от начала строки создает вроде
А мне внутри текста поиск нужен.
>из популярных запросов
а это база IP2Location и каждый запрос уникален. сотни, тысячи их)
Карасик
Ты хоть ссылку открыл? Там про индексы ни слова.
>IP2Location
Шоблядь, ты что IP в виде строчки что ли хранишь или как?
Создать две базы одну с минимальными данными вторую с расширеными.
тов. майор, я ничего не храню. честное пионерское)
>>233459475
Xuynya
Id и text
Без ключей офк что тебе надо?
Там в каждом предложении про индексы написано ты троллишь?
Я не коммерческий проэхт делаю.
Блядь дебил, эксплейн тебе покажет что база внутрях делает при твоем запросе, как можно епт начинать оптимизировать, не зная от чего отталкиваться?
Что оно мне покажет что я не знаю? Ключи не сделать все равно. Хуй он мне покажет на экране.
Обычный полнотекстовый индекс.
>20 секунд
Откуда там 20 секунд высралось, вообще индексов не стоит?
Полтора миллиона записей в таблице из двух колонок это вообще ни о чем, должно быстро отрабатывать.
тебе запрос дали, ясен хер там будет фулскан
Купи компутер мощнее
Не знаю. Но я понял примерно куда двигаться вроде. Вы короче сами все не шарите. Придется эксперементировать. 300к васяны)
Контрл+F нажемай
gin index
Как ты думаешь, насколько безопасно давать софтине свои книги и пикчи, ведь на них могут банально забить? Лучше не усложнять и юзать папки? Сложно ли самому можно будет потом поддерживать их работоспособность (учитывая,что нужна лишь таблица в бд по сути возвращающая по запросу файлыд?
Просто с одной стороны папки это надежность, возможность бэкапа только нужных директорий итд. С другой, пикчи подпадающие под несколько категорий в них хранить не выйдет. Плюс те же буру имеют миллионы пикч и додзинс (считай книг), которые уже отлично протегированы.
То есть и замыкаться на софте не хочется и терять теги.
Хранить теги в отдельном текстовом файле одноименном с пикчей и искать по content: что ли?
>>Способы?
Ты охуел чтоли не все вводные из своего задания для устройства на работу писать?
1) Какая БД?
2) Какие ресурсы у машины?
3) Какими ресурсами готов пожертвовать ради роста производительности?
>>select * from table where text like %search query%
В таблице можно доп. поля создавать? Если поиск ТОЛЬКО С ПОМОЩЬЮ ДАННОГО ЗАПРОСА, еби мозг админу, пусть переносят твою таблицу на ссд, желательно, чтобы она там была одна и даёт безлимитную квоту на чтение.
/thread
Как мне кажется зависит от количества, если запросы итак работают то в бд смысла никакого. А что делает твой фреймворк тебе лучше прочекать самому. Я б не доверял.
тут уже зависит от железа. Зарежут ему чтение с диска, будет читать до пенсии, лол
Иннодб
6гб озу, 4 ядра физических 3.6 гц, есть ссд попробую туда перенести я уже думал об этом
Поля создать можно это моя база фактически я админ.
Я короче попробую декомпозировать текст на отдельные высеры и айди поста закею.
У меня уже есть таблица с повторением всех слов 180 тысяч позиций.
Я вот не знаю стоит пробовать или там пиздец будет.
Я у мамы погромист
Доверять васянософту низзя
Очевидный ластик или сфинкс
Плюсую сфинкс.
Делал курсач - поиск по книгам, игрался со всякими встроенными полнотекстовыми поисками, самое грустное было в mongo db - поиск занимал 40 минут!. В итоге сфинкс ищет по словам за считанные секунды, хотя база на 400 гигов (индексы сфинкса были 32, и все в оперативку не влазили, но это все равно очень быстро работало). Единственное что я не уверен, что это не оверкилл, возможно автору не нужны словоформы, а только строгое совпадение