Как я построил веб-скребок с красивым супом и использовал его, чтобы посадить мою первую работу

Автор оригинала: Daniel Chae.

Посадка любой работы, не говоря уже о первой работе, может быть сложный процесс. Работодатели часто говорят вам, что у вас недостаточно опыта для них, чтобы нанять вас. Но это означает, что вы также не получите возможность получить этот опыт (как работа).

Посадка на работу в тех, кто может чувствовать себя еще более сложным. С одной стороны, вы должны ответить на вопросы собеседования хорошо, как и любая другая работа. С другой стороны, вы должны доказать, что ваши технические навыки могут сделать работу, на которой вы занимаетесь интервью.

Эти препятствия могут быть трудно преодолеть. В этой статье я поделюсь, как я построил веб-скребок, чтобы помочь мне приземлиться моей первой работой в Tech. Я объясню, что именно я построил и ключевые уроки, которые я узнал. Самое главное, я поделюсь, как я использую эти уроки, чтобы предложить свои интервью и приземлиться предложением.

Что я построил

Когда я искал свою первую работу, я направлялся в мой старший год колледжа. Я был настроен на выпускник семестр рано, поэтому я сделал это целью приземлиться на полную ставку до декабря. Имея это в виду, я знал, что должен был придумать творческие способы выделиться среди моих сверстников.

У меня было несколько великолепных стажеров (один из которых был на Facebook), но я знал, что мне нужно что-то, чтобы укрепить мою резюме.

Я обнаружил, что боковые проекты имели большой потенциал, чтобы сделать только что. Я искал сложные, но выполнимые проекты. Эти проекты необходимо продемонстрировать свои навыки программирования и страсть к программному обеспечению. Но им также нужно было показать мою ножку для Scrappy Data Wrungling (я хотел попасть в аналитику данных роли).

После небольшого количества исследований я нашел полезное руководство по похожему на Это один Это показало мне, как царапать данные с сайта. Учебник вдохновил меня построить свой собственный веб-скребок. Но вместо того, чтобы соскабливать случайный сайт, я хотел перекрывать данные сток. Ниже приведен расстройство того, как я отправил, чтобы построить мой боковой проект.

Как я построил веб-скребок

Первое, что я сделал, было подумать по типу данных, которые я хотел ускорить. В то время мне представлял интерес к финансовым данным. Я сделал немного исследований и обнаружил, что Сайт NASDAQ было хорошим местом для начала. Я интернировал в Facebook летнее время, чтобы я подумал, что попробую соскребать Facebook Data Data:

#import libraries
import urllib.request
from bs4 import BeautifulSoup

#specify the url
quote_page = 'https://www.nasdaq.com/symbol/fb/after-hours'

# query the website and return the html to the variable 'page'
page = urllib.request.urlopen(quote_page) 

# parse the html using beautiful soup and store in the variable 'soup'
soup = BeautifulSoup(page, 'html.parser') 

# Take out the  of name and get its value
name_box = soup.find('h1')

#define variable for where we'll store the name of our stock
name = name_box.text.strip() # strip() is used to remove starting and trailing
print(name)

# get the index price
price_box = soup.find('div', attrs={'class':'qwidget-dollar'})
# define variable for where we'll store the price of our stock
price = price_box.text
print(price)

Вышеуказанный скрипт напечатал любезную цену на акцию Facebook был в тот день. Но я знал, что не могу остановиться там. Мне нужно было показать, что я могу соскребать данные с запасами, а также что-то делать с данными. Я не хотел переоценить проект. Но я также хотел включить достаточно анализа, чтобы произвести впечатление потенциальных работодателей.

После месяца работы я придумал сценарий Python, который сделал следующее:

Scrape и добавление трех цен на акции акций компаний в файл CSV в течение 30 дней
Импортируйте CSV в качестве DataFrame и рассчитайте среднюю цену для каждого акции за последние 30 дней
Визуализируйте изменение цены на наличии для каждой компании, используя matplotlib

Когда я купил новый компьютер, я забыл сохранить фактический скрипт. Вот немного псевдокода в случае, если кто-то из вас хотел воспроизвести то, что я сделал:

#import libraries
import pandas as pd
from datetime import date, datetime, timedelta
import math
import numpy as np

#Scrape and append three companies' stock prices to a pandas dataframe over the course of 30 days

#1) Scrape stock prices for Company A, Company B, and Company C
#2) Append each stock price for the day to a separate column within a CSV using ExcelWriter (pandas function)
#3) Include a single column in the CSV for the date
#4) Repeat until you have 30 days' worth of data for each company

#Calculate the average price for each stock over the course of the 30 days in the dataframe
#1) Import CSV file back into the script as a dataframe
#2) Generate basic statistics (describe() function) for each column or use the .mean() function if you're looking for just the average

#Visualize the average stock price over the last 30 days using matplotlib
#1) Create a different Time Series line plot for Company A, Company B, and Company C

После того, как я закончил писать и тестирование сценария, я записал краткий отчет о том, что я сделал. Я подвел все, что могло сделать скребок и как он может подать заявку на разные случаи использования.

Когда я упомянул доклад работодателям, они редко просят прочитать его. Но я все равно держал его на руках для хорошей меры.

Основные уроки, которые я узнал

Было три ключевых урока, которые я узнал из этого проекта.

Прекрасная супа библиотека – это веселый и скрепкий ресурс для соскабливания данных с публичных веб-сайтов (хотя это немного оглядывается вниз).
Для тех, кто хочет вырезать карьеру в тех, кто хочет вырезать карьеру в технике, конкретно данные. Эта структура состоит в том, что данные по источникам (запросу базы данных, веб-соскабливания и т. Д.), Форматирование данных (Excel, Dataframes и тому подобное), и получение понимания от него (ключевые рекомендации, статистика и т. Д.).
Строительные боковые проекты – это легкая часть. Вы должны быть в состоянии поговорить через то, что вы сделали, почему вы это сделали, и как вы, возможно, можете обратиться к потенциальному работодателю.

Как я использую эти уроки, чтобы тузировать мои интервью и приземлиться моей первой работой

После того, как я написал сценарии для веб-скребка и анализа, я был готов начать подавать заявку на работу. Было два ключевых района, которые мне нужно было сосредоточиться на: My Résumé и интервью.

Как я улучшил свое резюме

Мне нужно было сосредоточиться на том, как я представлю веб-скребок на моем резюме. Я хотел понять, что веб-скребок может повысить ценность и быть полезным для компаний, которые я поступил.

Во-первых, я отложил раздел для боковых проектов в моем резюме. Затем я перечислял, что я построил веб-скребок с Python, используя красивую супскую библиотеку.

Тем не менее, я не мог просто сказать, что я построил веб-скребок и покинул такое резюме. Я также позаботился о том, чтобы перечислить пули, которые описали типы данных, которые я выскабливался. Я также перечислил компоненты сценария и то, что я сделал с данными. Вот несколько пунктов пули, которые я записал:

STROP TOPE десять акций в индексе NASDAQ на основе YTD возвращается
Сгенерировал день в месяц NASDAQ и написал его в файл CSV
Проводится углубленным, автоматизированным статистическим анализом с использованием данных NASDAQ

Как я готов к интервью

Я хотел быть уверен, что я могу объяснить веб-скребок для интервьюера. Я знал, что должен объяснить, почему я построил веб-скребок в первую очередь. Но мне также нужно было быть готовым объяснить, почему веб-скребок был ценен для работы.

Это требовалось два шага: определить жесткие навыки, которые я использовал в боковом проекте, и подключить эти навыки ключевым обязанностям в описании работы.

Я занял некоторое время, чтобы подумать через каждую вещь, которую я сделал, чтобы построить веб-скребок. После мозгового штурма вот были тяжелые навыки, которые я придумал:

Питон
Преступность
Веб-соскоб
Данные warngling.
Автоматизация данных
Анализ данных
Статистический анализ
Финансовое прогнозирование

Для ключевых обязанностей я позаботился о том, чтобы подготовить интервью ответы. Я сделал это, подключив жесткий навык, который я использовал для веб-скребки к соответствующей ответственности.

Давайте возьмем эту ключевую ответственность от роли аналитики данных из HULU:

Поэтому для этого я подготовил историю о том, как я использовал данные NASDAQ для создания визуального прогнозирования финансового прогнозирования. Я также подготовил историю о том, как я автоматизировал сеть соскоб и анализ.

Тогда я получил предложение о работе

Несколько недель пошли до того, как я пришел в роль аналитики данных для развлекательной компании.

Они потянулись к моему заявлению и взяли меня через процесс собеседования. Я поставил мою я и скрестил мою т. Я позаботился, я мог бы подключить каждый усердный навык от веб-скребка с ключами обязанностей от описания работы.

Каждый интервьюер спросил о разных частях веб-скребка. Они были очень заинтересованы в данных Wrungling и автоматизированные части анализа бокового проекта. Я убедился, что смогу объяснить эти границы веб-скребка. Я использовал S.T.A.R. (Ситуация, задача, действие и результат) формат для каждого из моих ответов на интервью.

Четыре тура интервьюеров позже компания предложила мне постоянную, наемную роль. Письмо предложение приехало в середине декабря.

Go Найти свой следующий боковой проект

Когда я оглядываюсь назад на процесс посадки моего первого предложения о работе, я рад, что я построил веб-скребок. Это была нервная упаковка, чтобы пройти через поведенческие и технические интервью. Но я рад, что у меня были значит подготовить и тузировать эти интервью.

Приземление, что первая работа может быть жесткой, потому что вам нужно как-то получить опыт, прежде чем вы сможете практически сделать это. Это потенциально порочный цикл, с которым можно сложно вырваться.

Тем не менее, будьте уверены, что есть четкий путь к успеху. У вас есть невероятная возможность получить опыт творческих путей (например, создание веб-скребка) и приземлиться на первую работу.