Трекер. Трекер https://2ch.hk/tracker.html не работает, поэтому я сделал свой
Скачивание всех файлов с треда. Позволяет вам скачать картинки и видео из фап треда.
* Самые популярные треды на доске - название говорит само за себя.
Так же я подробно расписал работу скриптов. В коде куча комментариев.
Если есть какие-то пожелания - пишите. Если это никому не надо, то пусть тред тонет.
https://github.com/diademoff/2ch
1231231
Мужик, ты бы бэк с REST API к двачу сделал удобный, цены бы не было.
Готов переписать двач на нормальном языке, предложения в личку.
> Готов переписать двач на нормальном языке, предложения в личку.
Здравствуй, оп. Давно мечтаю об одной вещи, но так и не видел её в готовом виде, а сам не напишу, вдруг тебя идея заинтересует. Суть в том, что скачиваются все файлы не с одного указанного треда, а регулярно и со всех тредов доски, либо со всех тредов, где в оп посте есть список ключевых слов. При этом скачиваются только те файлы, которых ещё нет (это можно уже вручную программой по удалению дубликатов чистить на диске, но не рационально).
> со всех тредов доски
я хз можно ли так дудосить двач, но скрипт сделать не сложно
> При этом скачиваются только те файлы, которых ещё нет
Это легко
Кароче щас сделаю, жди
> я хз можно ли так дудосить двач, но скрипт сделать не сложно
можно
> Это легко
тебе придется хранить где-то хэши уже скачанных файлов, а это уже не простой скриптик
> Кароче щас сделаю, жди
тред утонет, бро
Сделал board_media.py, пользуйся
>тред утонет, бро
если хочешь оставь тг, могу еще что-то сделать, или в случае ошибок пофиксить
> тебе придется хранить где-то хэши уже скачанных файлов, а это уже не простой скриптик
работает
Получается если в треде будет цп, то твой скрипт скачает его и меня посадят?
Именно так. Поздравляю!
Ну если по имени сравнивать, ок.
Если задача не сохранять дубликаты файлов по содержимому, то надо хэшировать. К примеру, три разных треда из разных борд с осуждением одного и того же клипа.mp4 говнорэпера.
оставь тг
https://2ch.hk/api/res/1.html
Второй вопрос, зачем тебе beautiful soup?
Третий вопрос, https://github.com/anonim-legivon/dvach.api видел?
> не сохранять дубликаты файлов по содержимому, то надо хэшировать
Там может быть отличие в 1 пиксель и хэш будет другой, надо что-то посложней делать
> ты используешь api двачика
Да. А конкретно:
https://2ch.hk/makaba/mobile.fcgi?task=get_thread&board=b&thread=245778221&post=1
http://2ch.hk/b/threads.json
> зачем тебе beautiful soup?
Чтобы убирать html теги в постах преимущественно.
> Третий вопрос, https://github.com/anonim-legivon/dvach.api видел
Видел, но не понял как этим пользоваться лол
Хоть так на первое время. Затем можно будет прикрутить что-то из алгоритмов сравнения похожих изображений, куча статей на Хабре. Сложнее будет с видео...
qwertyqwerty2345678@yandex.ru
Чел, если сделаешь в долгу не останусь.
>Чтобы убирать html теги в постах преимущественно.
Поясни?
Ну если жирным текстом написано, то получается так:
<strong>Текст</strong>. Этот тэг нужно убрать, чтобы остался только текст
Это все давно и в лучшем виде реализовано в куклоскрипте.
Там нет трекера.
@AsukaLangley
Я тебе отписал, объясни что нужно сделать, там я сам скажу смогу я или нет
> скачивание файлов
Самая полезная вещь. Никто раньше такого не делал. Спасибо, ОП.
Абу благословил этот пост.
> Привет, детский утренник.
В куклоскрипте можно скачать весть тред целиком, а можно только файлы.
отписал
Увидел, отпишусь обязательно. Только подожди плиз, завтра, послезавтра.
Как этим воспользоватся нуфагу? Как запустить скрипт?
Там есть ссылка на видос с инструкцией
Спасибо анон!
>Затем можно будет прикрутить что-то из алгоритмов сравнения похожих изображений
Поддвачну, полезная хуйня, кукла просто сохраняет и пиздец, а вот если бы сравнивало было бы охуенно, лежит папка пепег которые нужно сравнивать отдельной прогой, а так лень пиздос.
Записал. Постараюсь добавить
В каком плане?
Можно в принципе на ПС сделать или VBscryptе, чтобы не устанавливать никакие интерпретаторы.
Питон написан на Си, поэтому можно скомпилировать, но тогда нельзя будет редактировать скрипты под свои нужды. Да и вообще в безопасность бинарников не верится
Ну что мне комп это не сломает и не выдаст доступ вовне или еще какая хуйня. Кибербезопасность, епта.
Код открыт, его не много. Можешь почитать. Решай сам. Можешь потестить на виртуалке или в песочнице
А я не понимаю ведь ничего в этом. Хотя както юзал куклу, тоже опасался но вроде ее много кто юзал поэтому схоронял картинки им.
Положу в закладки пока и буду ждать, если получится прикрутить картинки чтобы сравнивались с анализом изображения, это было бы вообще круто. Спасибо и удачи, анон!
Абу благословил этот пост.
Постараюсь сделать анализ изображений, но пока не очень понимаю как это обрабатывать. Вот например в двух тредах одинаковые картинки. И какую из них удалять? Как указать на то что картинки дублируются? При этом это должно быть юзер френдли так сказать
симлинки же, или шорткаты в форточке
ну да, ты прав