Вот три вещи, которые я вижу, что мои не программированные коллеги делают каждый день. Они действительно подводятся так много, что делают люди в офисе. Поэтому многие из нас балки и станут силовыми пользователями электронных таблиц, не зная, что там есть альтернатива, которая может сэкономить время нами, автоматизировать скучные вещи и позволить нам открыть наши умы для части, которую мы добавляем ценность, думая о данных Отказ Позволяет с лишним настороже, сшивание вместе, электронные таблицы – это нулевое значение, но если вы можете увидеть что-то в данных и принять меры на него, это может быть огромное значение Добавить в свою компанию.
Объединить каталог, полный электронных таблиц в один
Я вижу это все время. Одна команда получает электронную таблицу из другой команды один раз в месяц, и им нужно собрать все куски вместе. Excel действительно открывает дверь для некоторых неприятных скрытых ошибок в вашем вручную сшитых данных. Это также требуется время от вашего дня, который вам не нужно тратить.
import pandas as pd
from pathlib import Path
csvs = Path.glob('raw/*.csv')
csvs_combined = pd.concat(csvs)
csvs_combined.to_csv('processed/combined.csv')
Получить данные из URL
Можно возможно, что другая команда разделяет свои данные на сайте. Если вы можете получить доступ к данным через URL, так как в приведении ниже нет необходимости переходить на сайт, чтобы сохранить данные каждую неделю/месяц, вы можете сделать Python сделать это для вас. Очень вероятно, что вам нужно будет сочетать это с шагом в одном во многих рабочих процессах. Теперь ваши данные компиляции могут быть выполнены в одном одном запуске скрипта. Ваши данные все еще в формате, которые могут прочитать Excel, и вы можете придерживаться гибридного рабочего процесса, пока вы становитесь комфортными в Python.
Нет позора в открытии Excel сделать что-то за 5 минут, что займет час исследования, чтобы сделать в Python. Если вы придерживаетесь к нему, хоть кусочек всей состоится вместе. Вы сможете сделать больше в Python, чем вы можете себе представить в Excel, и вам интересно, как вы это сделали без помощи Python.
import pandas as pd
cars_url = 'https://www.kaggle.com/abineshkumark/carsdata/download/xrvGk4JtQZJZetxwsCCy%2Fversions%2Fl2HR9tTLKz8MzHMAjBcl%2Ffiles%2Fcars.csv?datasetVersionNumber=1'
cars = pd.read_csv(cars_url)
cars.to_csv('cars.csv')
Получить данные из базы данных
Этот может быть немного сложнее, часто требует охотничьих столов, которые недокументированы. Получение доступа и выяснение учетных данных. Если вы можете преодолеть этот горб, хотя, вероятно, у вас будет доступ к нескольким источнике данных, который вы обычно используете в одном месте. Оттуда вы можете узнать, как присоединиться к ним вместе, чтобы создать мощные рабочие процессы.
SQL может быть очень пугающим языком, но если вы проведете час с ним, вы узнаете достаточно, чтобы хотя бы получить данные в Python или Excel. Вы можете продолжать оттачивать свои навыки SQL и переместить больше своего агрегации/анализа в базу данных для лучшей производительности. Если вы просите 1 м ROWS за 10 строк, сообщите, что повышение эффективности выполнения этой агрегации в базе данных и не отправляя 1М строк на провод, может быть огромным.
import pandas as pd
from sqlalchemy import create engine
engine = create_engine('postgresql://scott:tiger@localhost:5432/mydatabase')
sql = 'select * from inventory'
with engine.connect() as connection:
inventory = pd.read_sql(sql, con)
engine.dispose()
inventory.to_csv('cars')
Новостная рассылка
Я начал рассылку, где я говорю о мышлении, требуется успешно в технологической карьере. Я считаю, что быть добрым человеком, который готов учиться и делиться знаниями с другими – это ключ к успеху.
Оригинал: “https://dev.to/waylonwalker/three-things-to-automate-with-python-339j”