Такая проблема: у меня берутся пути ко всем файлам в одной папке, загружаются через json.load, после использования я делаю del переменной, которой присваиваю json, затем после 300к чекнутых файлов, скорость проверки последующих очень сильно снижается. Как это исправить?
>работаю с большими данными на питоне
>Двач, Как вывести строку?
Как сделать обработку данных быстрее, алёша
пиши на си
Тунца лососни, черт
>большие данные
>обрабатывает на ssd
>не знает про буфер
Я же пишу del data. Или это не удаляет из буфера?
А файлы кто закрывать будет, маня?
>не знает как работает контроллер ssd
>продолжает обрабатывать на ssd
Это только хуже делает, лолка. Любая операция модификации = пизда диску и скорости.
Я думал, что del data достаточно.
Сделал так, скорость стала ещё меньше, лол
>питон
>скорость
Принт-то убери, э, слыш, етпа
Так я так чекаю скорость лол, вот ща убрал close скорость выше стала
Попробуйте использовать
with open(pfried, 'r') as f:
friends = json.load(f)
Вроде при использовании этой шняги закрывать и удалять файл не нужно
Скорость поменьше чем обычно
Но тут как и с остальными: после 20к обработанных файлов скорость начинает пиздецки падать
Ну попробуй интерпретатор PyPy поставить. Вроде в ~26 раз быстрее код исполняет
мимонуб
Потому что быстрый slc кеш записи диска переполняется и ssd начинает писать напрямую в tlc. Ты ничего с этим не поделаешь.
1. print - дорогая операция. У тебя, может, терминал тормозит, лол.
2. del не нужен.
3. сделай list и записывай туда собранные значения. Потом выведешь.
4. А кто дескрипторы закрывать будет? Сделай как все нормальные люди через with
with open(filename, 'r') as f:
friends = json.loads(f.read())
А разве речь не про чтение?
Принт мне нужен в данном случае только для проверки скорости
ты ебобо? большие данные обрабатываются через спарк
time python3 script.py
И не еби мозг.
Да, но открытие дескриптора - тоже запись? Попробуй создать легионы пустых, как жизнь дединсайдов и битордов, файлов и прочитать их. Вангую, после 20к тоже будет ПАДЕНИЕ ПОКАЗАТЕЛЕЙ
На диск ничего не пишется при открытии файла на чтение, не гони. Только last access в fs обновляется, но нам на этот уровень похуй.
Тут он просто забыл вообще закрывать файлы, от чего и тормоза.
>диск ничего не пишется при открытии файла
Точно. Совсем забыл про торсионное хранилище файловых дескрипторов.
Ой дураааак.
Ну и нахуя?
Гений нахуй. Похлопаем
Это не отменяет того, что твой код говно.
Ну и так, на будущее - то, что ты простенько обрабатываешь до хуя файлов, ещё не делает это "большими данными"
Ну это да.
Ну пусть попробует тогда открытие и обработку файла в отдельном дочернем процессе. Должно помочь. Если все гут, то можно будет не по одному, а пакетами засылать в отдельные процессы.
Та ни, файловый дескриптор сидит в оперативке, а не в фс. В таблицу инедексов пишется интегер -> почти нихуя.
Файловый дескриптор никогда не писался на диск, даже во времена доса и 8 дюймовых дискет.
Ну так по завершению подпроцесса вся оперативка выделенная под него освободиться. Шо куча, шо стек.
Да похуй, у него просто файлы в хвосте больше весят.
A long story short - а нахуя?
>я делаю del переменной
ебать ты черт
Ты дегенерат?
А в качестве буфера жесткий диск на 5400. В НИИ так делают.
А тi?
Записал тебе ссылку на void тебе в inode.
Хуясе ромбик альфач
Тебе не надо писать этот код, потому что этот код не имеет смысла.
Хуя чмо блядь тупое. после каких курсов, дегенерат блядь? Надеюсь тебя уволят нахуй.
Хуй соси нище.
Мимо 300к
Я не проходил никакие курсы. Основное, что я делаю -- пишу парсеры и обрабатываю данные
Тогда с чего такие тупые вопросы тогда?
ну я их обрабатываю по типу скрина вот решил узнать в чём трабла со скоростью, потом выяснилось что есть и другие темы которые нужно пофиксить, всё
А хули ты пуанкаре не доказал? А??? погромист по хуям специалист.
Твои ссанные спаршенные списки друзей не большие данные, дебил
А у тебя вообще друзей нет, Хааа, ЛОХ
друзьяблядь не человек.
В иноду тебе бампнул, проверяй.
Зачем тебе питухон, когда достаточно было обойтись башем?
find friends/ -name '*.json' | xargs -n1 -P10 jq length
>риииииииии на пердле быстрее
Причем тут перл, шизоид? Но в общем-то, да. На чем угодно было бы быстрее, даже на перле
>рииииииииии говнострочник на баше != пёрдл, шизоид
Ясно