Захотел я значит посмотреть, знание каких технологий нужно для будущего специалиста[1]. Конечно нажимать на кнопки - это не подход программиста. Решено было запилить парсер для hh.
После нескольких неудач я нашёл код, который на 99% (как я тогда думал) решает мою задачу: https://office-menu.ru/python/96-api-hh.
Всё было крайне просто, найденный код красивый, понятный, родной. Файлики джейсона записывались, ОП уже предвкушал окончание этого маленького приключения с парсером.
Но тут гром среди ясного неба[2]: ДАЛЬШЕ ВЫ НЕ ПРОЙДЁТЕ, ПОКА НЕ ВЫУЧИТЕ SQL
Пришлось узнавать, как создавать таблички и манипулировать ими [3].
Наконец поняв, как заставить код работать, был сделан неутешительный вывод: таблички получаются совершенно отвратительные для моих нужд и их придётся заполнять самому.
1 - что получается
2 - схема того, что хочется
первый опыт гита https://github.com/NikolayWannaCode/files-for-hh-vacancies-table
130 json файлов вот с такими ключами[пик 1], из которых интересны 5, с 2 из которыми проблемы:
В desctiption слишком много всего, нужны только требования [2]
В key skills данные - это словарь в словаре, каждый из которых очень хочет собственную ячейку в таблице [3].
Автор кода так и сделал, но в моём случае это не выход, нужно их собрать в одной строчке
Пукнутый, ты же блядь не понимаешь вообще, как и нахуя реляционные БД. Пиздос, это троллинг какой-то что ли?
Что можно сделать, чтобы элегантно отфильтровать содержимое desctiption и собрать key skills (считай теги на каждой странице) в одну строчку?
>ты же блядь не понимаешь вообще
Естественно не понимаю, я вчера первый раз открыл командную строку в sql.
На каком именно месте я не прав и не туда свернул?
В базу данных полез потому, что анон в своей программе полез в неё
>командную строку в sql
ну ты понял, что я сказать хотел
Для работы с csv в удобном табличном формате рекомендую ознакомиться с библиотекой pandas
Она же и сможет записать после преобразований твои данные в базу
Удачи
> сап погромач, Вкат в python день 22;.,
> Захотел я значит посмотреть, знание каких технологий нужно для будущего специалиста[1]. Конечно нажимать на кнопки - это не подход программиста. Решено было запилить парсер для hh
Нахуя тебе парсер, если ты в итоге всё равно собираешься смотреть результаты глазами, а не скармливать машине для обучения нейронки, например?
Долбоёб, ты видишь, какой у тебя убогий интерфейс для чтения этой хуйни и сколько усилий ты тратишь на написание "одноразовой" программы, которая тебе больше не понадобится?
И ты ещё пиздишь что-то про фильтрацию? А ничего, что на самóм сайте фильтрация есть по умолчанию, и имя ей — строка поиска?
Ебанько, с таким мировоззрением ты точно далеко не уплывёшь, сажи твоему треду
> и сколько усилий ты тратишь на написание "одноразовой" программы, которая тебе больше не понадобится?
Не в этом смысл обучения? Что-то делаю и понимаю в процессе. В этом и смысл
А так в принципе всё верно, реальный функционал не огромен
>Тебе нужно сначала собрать этот самый список кейскилов, а потом уже шерстить по тексту дескрипшна в поиске оных
не, это не из дескрипшена строка или что-то подобное, это список тегов внизу объявления.
По идее можно их прочитать из jsona, собрать в одну строку и закинуть в базу данных. И так для всех файлов.
Только чуть подразобраться нужно
Парсер для HH бесполезен, потому что оформление вакансии не соответствует действительности. Там могут искать сеньора с значением в графе опыта работы "Без опыта", коммерческий опыт разработки с графой "Для студентов" и т.д. А потом само содержание вакансии не соответствует действительности. Откликнулся на вакансию разработчика, а на собеседовании спрашивают про администрирование линукса.
Так что откликайся на все вакансии подряд. Позовут на собеседование - круто, не позовут - ну и хуй с ними.
Это не мои (почти все), но что с этим не так?
Комментарии должны быть на английском. Это общепринятый стандарт. Китайцы идите нахуй.
>Комментарии должны быть на английском
Цитату из PEP8, пожалуйста.
>>252484330
Внегласное правило. Погромист из европы не станет учить русский язык, чтобы прочитать твою парашу.
+ при приёме на работу это очень большой минус.
>Внегласное правило.
Т.е. манястадарт. А тем временем в PEP8:
>Ensure that your comments are clear and easily understandable to other speakers of the language you are writing in.
>Python coders from non-English speaking countries: please write your comments in English, unless you are 120% sure that the code will never be read by people who don't speak your language.
Первая строка неявным образом говорит, что можно писать не на английском. Вторая говорит прямо, что для всяких хедхантеров можно писать на русском.
>Лучше бы нормальный язык учил, а не эту хуйню
Для того, чтобы выбрать следующий язык я и начал делать парсер, так то
>>252484209
>
>Парсер для HH бесполезен, потому что оформление вакансии не соответствует действительности. Там могут искать сеньора с значением в графе опыта работы "Без опыта", коммерческий опыт разработки с графой "Для студентов" и т.д. А потом само содержание вакансии не соответствует действительности. Откликнулся на вакансию разработчика, а на собеседовании спрашивают про администрирование линукса.
>Так что откликайся на все вакансии подряд. Позовут на собеседование - круто, не позовут - ну и хуй с ними.
Спасибо за советы.
В главной степени начал делать парсер для того, чтобы решить, что дальше учить (пунктуацию питоши +- знаю, а читать доксы библиотек без реальной задачи вроде этой как-то бесполезно звучит).
Абу благословил этот пост.
>Для того, чтобы выбрать следующий язык я и начал делать парсер, так то
Не вижу связи.
> Для того, чтобы выбрать следующий язык я и начал делать парсер, так то
Еблан? Точно еблан. Это то же самое, как каждый раз перед едой летать с Урала в ДС-1 и обратно.
Я сидел и не знал, что делать дальше, чем заняться, курсы питона меня больше не возбуждают.
Пошёл посмотреть на hh, что хотят от молодого погромиста. Смотреть не удобно
Пошёл делать удобный просмотр всех объявлений в одной табличке на базе того, что уже умею.
Ну так-то подумать, ты не совсем еблан. Но всё же немного еблан.
Ещё раз, как вообще можно чему-то в программировании научиться, если не писать код и не решать постоянно возникающие проблемы?
Задачи мне ставить некому, потому придумываю себе сам. Причём эта даже не бесполезная, а упрощает просмотр hh
бамп 3
>Пошёл посмотреть на hh, что хотят от молодого погромиста.
Python, Linux, Git, SQL, noSQL. Если это веб, то Django(Или другой фреймворк, aiohttp и Flask тоже популярны), html, css, основы JavaScript, иногда могут Angular к ЖС спросить. Если это админство, то спросят по сетям. Если девопс, то те же сети плюс докер. Если это QA, то про тесты и их технологии, тут универсального набора нет. В бигдате тоже универсального нет, но там, я думаю, разницы между фреймворками не очень.
Ну смотри. Ты пишешь на одном языке программирования, чтобы потом его бросить и начать учить другой. При этом ты потом ещё хуй знает сколько будешь отучать себя от питоновского говнокода.
>Ну смотри. Ты пишешь на одном языке программирования, чтобы потом его бросить и начать учить другой. При этом ты потом ещё хуй знает сколько будешь отучать себя от питоновского говнокода.
За неделю с джанго на спринг пересел.
>>252485528
Причём половина времени ушла на то, чтобы разобраться, как в Java вертеть структурами данных, а не на саму Java или Spring.
Если ты не начинающий - да, это легко.
А вот наш ОП, ВНЕЗАПНО увидев код на каком-нибудь C++, моментально ахуеет от синтаксиса и соснёт хуйца.
пасрал на вайтишку
>Linux
Что под этим обычно подразумевают? и любой ли linux
Никогда не пробовал linux, но если бы увидел в требованиях:
"Навыки работы с Windows 10",
То был в некотором замешательстве
Его с такими знаниями нахуй пошлют.
200 джунов на вакансию
Куда-то берут, если почти ничего не знаешь?
Меня взяли, но не на прямую. Устроился на стартап саппортом в коллцентре и позже меня сделали разрабом. 4 года спустя там же работаю уже миддл солидный дохуя знаю
>хуйни
>>252484195
>хуйню
>>252485816
>нахуй
>>252485731
>хуйца
Ты чего такой грустный?
>3
Всегда проигрывал с начала его туториалов по спрингу
"Асалам Алейкум, сегодня я буду учить вас спрингу"
И я что то не понимаю с какого хуя эт от пидор просто открывает quick start на спринге и озвучивает что там написано, не добавляя от себя ничего, попутно напоминая что у него есть курс по 30 бачей.
Стоит хоть курс того? Рассказывает вроде норм
Посмотри, реши что тебе нужно и не твори хуйни https://youtu.be/NO6iLm_X4Qw
>>252486018-кун
Составить зависимости, установить зависимости. На самом деле, можно игнорировать этот пункт, если ты не админом собрался сидеть.
>Если ты не начинающий - да, это легко.
Но я сам вкатун.
1,5 года погромирую, до сих пор себя вкатуном считаю. Но бля... Пересесть с питона на C++ - это не то же самое, что с C++ на python.
Благодарю, посмотрю
>коммерческий опыт разработки с графой "Для студентов"
Я вспомнил как видел вакансию "Junior Full-stack developer"
Спасибо, проиграл.
Абу благословил этот пост.
Если планируешь в бек, там 100% будет линупс.
Минимальное администрирование, типа простые команды, можно какой нибудь простенький скрипт на баш написать, посмотреть че как делается.
Этот прав.
Не бейте ссаными тряпками, но установка Arch/Gentoo даёт минимальное представление ньюфагу о линупсе.
Что с key skills можно сделать я представляю.
Но как можно отбросить лишнее в пикрил?
Скажем отбрасывать то, что идёт перед определённой фразой (списком фраз) и то, что идёт после. Или с помощью какой-нибудь html разметки.
Дескрипшн выглядит txt как на пике:
>Но как можно отбросить лишнее в пикрил?
Никак. Тут только машинное обучение поможет.
Вакансии не имеют чёткой структуры, обычным методом тут не вытащить требования.
Если же ты про конкретно этот случай, то тебе BeatifulSoup нужен.
У hh нет API?
Может ты зря вола ебешь и тебе надо просто окажется сделать
import requests
parametri = {'тут уж дикшинари сам должен написать что тебе надо': 'поросеночек'}
vacancia = requests.get('hh.ru/api', parametri=parametri)
И потом уже что хочешь делай - в джейсон мутируй, в цсв, в тхт
Если апи нет, то конечно это не совет
А если будет список фраз (там их всего штук 10, едва ли больше), которые есть в каждом дескрипшине.
И писать предложение только после одного из этих слов?
Только как эту операцию в коде написать
Мы разный анон.
>А если будет список фраз (там их всего штук 10, едва ли больше)
Будет куча ложны результатов и пропусков необходимого.
>И писать предложение только после одного из этих слов?
>Только как эту операцию в коде написать
Регулярные выражения.
# OP
api есть, эти все параметры из него.
Он там всё в одну большую "описание компании" загнал, если я правильно понял
Ок, спасибо
Оп, я учу питон с апреля, но у меня конкретная цель в ДС/машоб, если бы не машоб я бы выбрал ГОвно, выбирать сейчас что-то кроме ГОвна(ну или 1с для рашки) будет только шизик
>>252488239
>>252488323
>Регулярные выражения.
ой ля, это эта гадость:
r'^[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+(?:\.[a-zA-Z0-9-]+)+$'
она меня нашла((
Где-нибудь тебя найдут еще байты и кодировки
>ГОвна
Уже говорили про эту штуку.
Давай его и начну после этого парсера. Спасибо анун
Абу благословил этот пост.
Может стоит подумать о том, как вкатываться перед выбором? На голанг не ищут без опыта.
Везде не ищут без опыта, но у голанга нет такой хуйни как "минимум 6 лет опыта", ему конечно уже лет 12, но так то и молодежному свежему питону уже больше 30
> Решено было запилить парсер для hh.
> После нескольких неудач я нашёл код, который на 99% (как я тогда думал) решает мою задачу: https://office-menu.ru/python/96-api-hh.
Дальше не читал. Иди нахуй, еблан
На Java легко без опыта устроиться.
#ОР
А здесь в чём не прав?
>>252488624
>Может стоит подумать о том, как вкатываться перед выбором
В смысле в какую сферу идти, а там уже какой набор языков?
Уверен, нихуя сам не умеешь писать. Только все гуглишь и собираешь из говна и палок. В итоге у тебя прога будет работать раз в 50 медленне нормальной, а памяти занимать раз в 10-100 больше положенного
>все гуглишь и собираешь
потому что
>нихуя сам не умеешь писать
5/7, всё так
Душнила анальная, оп хоть что-то пытается написать сам, а не в туториал хеле копирует с ютуба бесполезные задачи. Ему и не надо думать о памяти и скорости, главное умение писать код, если его куда-нибудь возьмут - он будет править построчно древний кал, а не билдить архитектуры снуля с реверс-проксями и базами-данных
Палю годноту. Хочешь быстро вкатится, учи PHP. Хороший язык с 7.* версии. Работы много и вакансий, потому что все считают, что хейтить php модно. Поэтому курсов нет и вкатунов очень мало.
Сам так сделал, теперь с хорошей зп сижу и ios изучаю
>Что можно сделать, чтобы элегантно отфильтровать содержимое desctiption и собрать key skills (считай теги на каждой странице) в одну строчку?
Нужно найти какой-то паттерн по которому ты будешь вычленять свои скилы. Проблема в том что там может быть написано всё что угодно. Но ты можешь собрать некоторый список того что часто туда пишут. Например взять текст межу словами "требования" и "обязанности". Начало и конец подстроки нормальные люди находят регулярными выражениями, если ты в них можешь то это огромный плюс тебе при приеме на работу.
В целом ты все правильно делаешь. Так и надо изучать программирование - ставить себе задачи и решать их.
Если скилы у тебя в виде какой-то структурымассива или объекта то ты долен её implode. Не знаю как это называется в питоне.
#ОР
>Палю годноту, PHP
Боюсь, что так вообще каждый про свой язык говорит, хех.
Благодарю, тоже посмотрю что и как
>вкат в петухон
>Но тут гром среди ясного неба[2]: ДАЛЬШЕ ВЫ НЕ ПРОЙДЁТЕ, ПОКА НЕ ВЫУЧИТЕ SQL
Ну ты и выбрал язык для вката, лол.
Дело в том, что петухон везде на вторых ролях. Назови мне хоть одну область, где питон является основным требуемым скилом?
- web-development - прекрасно обходятся без петухона, в реальных проектах используется php, java, C#, go, javascript. Петухон используют только школьники для разработки телеграм-бота, серьезные вещи на этом говне не пишут.
- machine learning - ВНЕЗАПНО, надо знать машоб, а не петухон. Питон там на уровне a + b = хуй, а вместо него может использоваться R, да хоть жаваскрипт в качестве обертки для тензорфлоу и подобного говна.
- десктоп? Мертв.
- бекенд? Ну сказал уже, только проекты школьников или когда надо побыстрому накидать апишку, с этим даже фронт-макака с нодой справится.
- мобилки? Ну ты понел, сосешь.
Питон - это такая продвинутая версия баша.