Создание скребка с нуля
Разработка вашего собственного инструмента для скребки Google может стать большой проблемой, если у вас нет нескольких лет опыта. Вам необходимо будет готово к множеству проблем от Google – IP Protection (прокси), файлов cookie и сессий, эмуляции браузера, обновлений сайта и т. Д.
Более быстрый и стабильный путь
К счастью, есть несколько хороших инструментов для 3-й вечеринки, которые вы можете легко интегрировать со своим кодом и начать соскребать Google всего в течение 5 минут.
Начиная
Установка (Python 3+)
pip install google-services-api
Применение
from outscraper import ApiClient
api_cliet = ApiClient(api_key='SECRET_API_KEY_FROM_OUTSCRAPER')
response = api_cliet.google_maps_search('restaurants brooklyn usa', language='en', region='US', limit=100)
Ответ
{
'id': '3f6f8bd0-4073-4ca3-b92f-4caff9cb0456',
'status': 'Success',
'data': [
{
'name': 'The Loft Steakhouse',
'full_address': '1306 40th St, Brooklyn, NY 11218',
'borough': 'Borough Park',
'street': '1306 40th St',
'city': 'Brooklyn',
'postal_code': '11218',
'country_code': 'US',
'country': 'United States of America',
'us_state': 'New York',
'state': 'New York',
'plus_code': None,
'latitude': 40.639734499999996,
'longitude': -73.9868193,
'time_zone': 'America/New_York',
'site': 'http://www.theloftsteakhouse.com/',
'phone': '+1 718-475-5600',
'type': 'Steak house',
'subtypes': 'Steak house, Fine dining restaurant, Kosher restaurant, Delivery Restaurant, Takeout Restaurant, Restaurant',
'posts': None,
'rating': 4.9,
'reviews': 1638,
'photos_count': 1054,
'google_id': '0x89c25ad4507a6e2f:0x135c0e38302054ac',
'place_id': 'ChIJL256UNRawokRrFQgMDgOXBM',
...
}
...
]
}
Страница пакета Python
API документы
Оригинал: “https://dev.to/mvlad/how-to-scrape-google-maps-in-python-24i3”