Попадают в него не все треды, а только те, которые он увидит на нулевой, раз в минуту на нее заглядывая. Скрипт, очевидно, очень не быстрый, надо чтобы файлы загружались в несколько потоков, но на сегодня с меня хватит. Пока так, а завтра постараюсь дописать, чтобы все как надо работало
Пока принцип такой:
1. Первый скрипт периодически открывает нулевую и закидывает в базу номера тредов
2. Второй скрипт раз в минуту смотрит в базу и выгребает задания для загрущки
3. Если треда больше нет, задание на его загрузку удаляется
4. Все хранится в sqlight
5. Скрипты запускаются по крону раз в минуту. Сейчас увеличу интервал второго скрипта до раз в пять минут
Какую-то полезную работу твой скрипт делает?
Пока нет. Потом хочу как-то попробовать посты проанализировать. Это ради фана, конечно все
>>242719986
Могу еще огромным хуем похвастать. Тебе такое ближе?
Нахуй это надо?
Опчик, ты молодец, продолжай вкат!
>Могу еще огромным хуем похвастать
Ну давай с супом и линейкой
На хуй послан, педик. Я тут в программирование вкатываюсь
Микрохуй порвался
Зашивайся, лол. А я буду продолжать дописывать свой скриптик
>post = Post
Ну почему? Почему?
Ты большая умничка, надеюсь у тебя всё получится!
Какую литературу про IT почитать? Планирую по c++
Стивен прата гугл показывает как заебись вариант
Выкладывать собираешься в открытый доступ?
Можешь как-то помечать удаленные треды? Я бы составил психологический портрет модераторов.
>А я буду продолжать дописывать свой скриптик
Ну конечно, слился со своим мелким членом и убегаешь.
Этим скриптом можно дуддосить эту парашу?
Нахрена он нужен?
Бля мне за парсеры по 2.5-5к платят, за день работы, ты долбаеб чтоли бесплатно этим заниматься?
Блеванул с форматирования кода
Чтобы был)))))))))))))))0000
Алгоритмы и структуры данных в с++
ОПП в с++
Совершенный код
Нововведения c++17
Салам оп, как вижу это Питон? За какой период изучения питона можно добиться уровня аля написания скриптов на лайтах?
учу пока неделю лол, до этого изучал плюсы, но как доходит до сложных прог теряюсь
как как долго душить удава, чтобы написать такое?
Судя по всему, ты на выдумки горазд, подскажи, как пришла идея сохранять треды? Откуда вообще черпаешь вдохновение для проектов?
Неделя
> А я буду продолжать дописывать свой скриптик
У тебя писюн ещё не отрос, чтобы писать скрипты
Спс, схоронил
Садись и пиши, документация в помощь, ещё могу посоветовать Automate the Boring Stuff with Python, бесплатная.
>Выкладывать собираешься в открытый доступ?
Да, на выходных это сделаю. Сегодня просто был порыв и я только писал код
>Можешь как-то помечать удаленные треды? Я бы составил психологический портрет модераторов.
И посты и треды будут помечаться, если они удалены. Поэтому отказался от первоначального решения хранения в json файлах, так как они хранили только существующие посты
>>242720426
Вряд ли. Наоборот, буду делать все как можно менее ресурсоемким
>>242720516
Деньги мне платят на работе, а это так, зарядка для ума. Игры уже не доставляют, вот я и вкатываюсь
>>242720571
Все очень индивидуально. От недели до месяца (если ты не знаком ни с одним другим ЯП)
>>242720582
Хз, просто фантазирую на досуге. Часто мне самому чего-то не достает, вот и появляются мысли это сделать
Да зайди в тред по плюсам на /pr/ там шапку почитай и все поймешь.
мимо
>>242720558
А лучше вот эти книги скачай. Кроме них ничего не нужно по с++ читать
>Оп ты бесплатно программируешь?
А за это ещё и деньги платят?
Души в парсерах на заказ нет. Я пишу свой как художник
Не, ну это уже тупо мидл. Готов принимать заказы?
>Кун с сервером в германии
Знаю циклы и условные конструкторы, сколько сотен к готов мне платить в месяц?
Сейчас открою базу локально и посмотрю глазками что там не так
Я тоже лол, но с деньгами даже приятнее. Генерация заголовков и кукис, обход капчи, это все очень пиздатый досуг, я понимаю, просто делая его за бесплатно ты будешь сидеть без гроша в кармане, /b/rat
Так в б 210 тредов, хули.
Где берешь заказы, комса большая?
Я не все беру, а только те, что встречаются на нулевой в момент, когда я туда захожу. У нас живой тред и он почти всегда должен быть там. Ну сейчас проверим
Спасибо за заботу. Я просто вкатываюсь. Как только набью руку, так сразу пойду зарабатывать на этом
Абу благословил этот пост.
>Знаю циклы и условные конструкторы
Не, ну это уже совсем уровень сеньора, вам надо в крупные айти компании, боюсь наша оплата вряд ли вам хватит
Нахуя, а главное зачем?
Тот же вопрос тебе, а зачем ты в б заходишь?
У меня работа такая.
Охуенно же. Сам пишу парсер, который будет удалённые посты сохранять. ЦП нафармить можно.
Какая такая?
Зарядка для ума же. Как расти над собой, если не заниматься подобным? Кто-то кросворды решает, а я вот пишу парсер
А если так?
>ЦП нафармить можно.
Какое разочарование, что вы живете в Германии.
бля, запилите лучше свою Борду наконец.
Ее регулярно пилят + есть множество уже существующих, а ты все здесь сидишь
Как?
Скачивать не запрещено. Запускать, правда, придётся на домашней пекарне, никаких серверов.
Тысячи их, никому нахуй не нужны.
на фриланс сайте. 650 р в месяц, коммисии нет. Доход не ограничен, у меня от 30к в неделю(как в эту неделю) до нихуя в месяц(как в январе) колеблется, так что тут как повезет.
Поясни, а в чем космический смысл платить за аренду сервера в швятой Германии, если ты можешь купить недорогой комп или сервер и поставить у себя дома??
> Какую-то полезную работу твой скрипт делает?
Иногда кеширует ЦП, чтобы и ОП и Абу могли одновременно сесть на одну бутылку.
Вообще, что-то мне sqlight не очень зашел в роли хранилища. Или это проблема фреймворка, который я использую, я пока не понял. Проблема в том, что файл базы блокируется на время зааиси в него данных и если совпадет так, что он понадобится второму скрипту, будет не очень.
>>242721777
У меня на сервере еще vpn крутится. Споилер: дешевле платить за этот сервер, чем покупать услуги у vpn провайдера
Это и обычный браузер делает.
>Иногда кеширует ЦП
Я, кстати, сохраняю только текст. Медиаконтент мне не особо интересен
Ну и миграции надо костылить. Сейчас подумаю как все это решить
>>242721651
>ЦП нафармить можно.
Hat dich zum Bleistift gebracht.
ты бесплатно программируешь? ты совсем еблан? Давай я тебе свои заказы буду присылать, а ты мне на интузиазме их за спасибо делать, братан?
Да на кой мне твои заказы, я получаю 300к/нс просто пердя в диван
Обнял
Этого педика я тоже буду сохранять, увы
брал логин из файла, брал список урл и пароли.
брутер со списком сайтов.
Фильтруй по картинке
Можешь проверку по картинке заебенить.
пистон + прекрасный суп в помощь, за час сам напишешь
Тут выше анон был, он тебе такое за деньги с радостью напишет
Да пусть будет. Потом статистику посмотрим по нему. Интересно будет
поставь себе норм IDE и настрой гит
работать в консоли не очень удобно
pycharm уже. Это я на сервере открыл просто скрипт
Так он же упал и пернул. Пока в себя приходит
Да пробовал я другие, хуйня, неудобные пиздец, UX говно!
Как будто здесь удобно. Скорее всего, просто дело привычки
Потому что UX говно, пробовал я их.
люблю видеть треды по вкатыванию
лет 4-5 назад списался тут с чуваком, обменялись контактами и помог ему вкатится в айти.
ты занят правильным делом
Благодарю
где брать заказы на парсеры и прочую программисткую поеботу, че на фрилансзанте такое пишут? на хабре в сообществе?
что еще программисткого интересует кабанчиков?
1. Боты для телеги?
2. ????
....
Правильнее просто зайти на сайт где заказы выкладывают и там смотреть. Работы рил много разной
https://pawelmhm.github.io/asyncio/python/aiohttp/2016/04/22/asyncio-aiohttp.html
так я таких на хабре-фриланс и подобном не встречал, ткни меня
Да я просто предположил. Но странно, что такого там нет
ну вполне возможно, что я просто искал только по веб-макакингу, а это взглядом обходил
О, спасибо.
В статье просто фантастический код. переписал под получение 100 раз этого треда и в итоге меньше секунды время заняло. Это примерно в 30 раз быстрее чем мой предыдущий вариант
Анончик, охуенный подгон. Сам парсер для двоча пишу, тоже охуевал от количества времени на получение всех тредов.
>>242731343
Пикрил - 10к запросов к треду. То есть 1000 в секунду
Зумеры изобрели архивач
Почему нет?
На фрилансовых сайтах лол, отклики пишешь и ждешь. Ну я сперва отклики на курсовых по программированию получал, а потом когда уже чуть рейтинг набрал стал брать заказы на парсеры и подобное
Не, спасибо. Я для души пишу
Задрот блять ебаный. Делом займись лучше хуепутало ебаное
6 W)q uxJc}:u v 4F7 !w 0 .{
~'k\e1XstFxA 5x [
>>242720788
Хуя зумерки пошли. А я еще помню инет 20 летней давности, в котором все программировали что-то забесплатно, еще и с гордостью об этом постили.
Лол, там джейсон есть что-ли. А я так собирал из /b прям в html.