Скрипты
и парсинг данных

Забираем у людей то, что они делают руками каждый день: собрать данные с сайтов, перебить прайс в нужный формат, свести выгрузки в отчёт, заметить изменение цены. Пишем на Python, отдаём исходники вам.

Оценить мою задачу Что делаем

Что делаем со скриптами

Шесть видов работ. От одной выгрузки по разовой просьбе до связки, которая работает сама и молчит, пока всё в порядке

01 / Парсинг

Сбор данных с сайтов

Самая частая задача направления. Данные лежат открыто, но собирать их руками — работа на человеко-недели.

  • Каталоги, прайсы, характеристики, контакты из открытых источников
  • Телеграм: посты и данные каналов — самый большой запрос темы
  • Выгрузка в Excel, Google Таблицы, CSV или прямо в вашу базу
  • Разовый сбор или регулярный — по расписанию, с историей изменений
  • Парсинг маркетплейсов — на своей странице: там другая задача и другие правила площадок
02 / Рутина

Скрипт под ежедневную рутину

То, что человек делает по одному и тому же порядку каждый день. Такие задачи находятся не в списке услуг, а в вопросе «на что уходит утро».

  • Переложить файлы, переименовать, разложить по папкам и датам
  • Собрать письма с вложениями и сложить данные в таблицу
  • Сверить два списка и показать расхождения, а не «глазами по строкам»
  • Разослать одно и то же по списку — с подстановкой и проверкой
  • Запуск по кнопке или по расписанию — как удобнее вам
03 / Прайсы

Конвертеры прайсов и выгрузок

У каждого поставщика свой формат, и обычно кто-то один в компании умеет их сводить. Это узкое место, а не работа.

  • Любой формат на входе: Excel, CSV, XML, YML, PDF-прайс, выгрузка из чужой системы
  • Приведение к вашей номенклатуре: сопоставление артикулов и названий
  • Наценки, округления, правила по группам товаров
  • Проверки на входе: пропали цены, съехали колонки, задвоился артикул
  • Результат в тот формат, который ждёт ваша система
04 / Мониторинг

Слежение за изменениями

Смысл не в том, чтобы собрать данные один раз, а в том, чтобы узнать об изменении раньше, чем оно ударит.

  • Цены и наличие у конкурентов и поставщиков
  • Появление и исчезновение позиций в категории
  • Изменения на нужных страницах: условия, тарифы, документы
  • Доступность ваших сайтов и сервисов, ошибки и время ответа
  • Уведомление в почту или мессенджер только тогда, когда что-то изменилось
05 / Отчёты

Обработка данных и отчёты

Когда данные уже есть, но лежат в пяти местах и сводятся вручную к каждому понедельнику.

  • Сведение выгрузок из разных систем в одну таблицу
  • Регулярный отчёт по расписанию: в почту, в мессенджер, в общую папку
  • Чистка данных: дубли, пустые поля, разные написания одного и того же
  • Расчёты, которые сейчас живут в формулах Excel у одного человека
  • Большие объёмы, на которых Excel перестаёт открываться
06 / Связки

Связки по API

Два сервиса, между которыми ходит человек с копипастом. Обычно самая быстрая по окупаемости работа на этой странице.

  • Обмен между сервисами, у которых нет готовой интеграции друг с другом
  • Заявки с сайта и из форм — в CRM, а не в почтовый ящик
  • Очередь с повтором: сервис недоступен — данные не теряются
  • Журнал обмена: видно, что ушло, что пришло и где встало
  • Обмены с 1С — на странице направления

Где это будет жить

Скрипт должен где-то запускаться, и от ответа зависит цена. Разбираем это до работ, а не после

Где запускается Что это значит Когда подходит Чего ждать
На вашем компьютере Файл, который вы запускаете сами: двойной клик или кнопка Задача разовая или редкая, данные не нужны, пока вы не спросили Ничего не стоит в месяц. Но пока компьютер выключен, ничего не происходит
На сервере по расписанию Работает сам: ночью, каждый час, по событию — как договоримся Данные нужны регулярно и без вашего участия: мониторинг, отчёты, обмены Нужен сервер — от нескольких сотен рублей в месяц. И присмотр: скрипт может встать
Сервис с интерфейсом Страница, куда заходят люди: настройки, история, выгрузки по кнопке Пользоваться будет не один человек, и настройки нужно менять без программиста Дороже разработки самого скрипта в разы. Окупается, когда людей больше одного
Готовый сервис вместо кода Задача уже решена кем-то и стоит подписку Источник популярный, а требования обычные: выгрузить, отследить, свести Дешевле и быстрее разработки. Скажем об этом, если увидим такой случай

○ Начнём с малого //

Пришлите ссылку на источник —
скажем, что оттуда достаётся

Страница каталога, канал, личный кабинет поставщика — что угодно, откуда вам нужны данные. Ни доступов, ни задания: посмотрим и ответим по делу.

Что пришлём в ответ

  • Какие поля с этого источника собираются, а какие нет
  • Что помешает: защита, авторизация, подгрузка при прокрутке
  • Разово это или придётся держать: как часто источник меняется
  • Стоит ли вообще писать код — или задача закрывается готовым сервисом

Бесплатно и ни к чему не обязывает.

Один шаг

Нажмите кнопку, вставьте ссылку и напишите, какие данные нужны. Остальное — наша работа.

○ Прямые ответы //

Что обычно настораживает

Шесть вопросов, которые задают почти всегда. Отвечаем до разговора, включая то, где ответ неудобный.

«Парсинг — это вообще законно?»

Смотря что собирать. Открытые данные, которые сайт показывает любому посетителю, — цены, описания, наличие — собирать можно, и это делают все, включая сами площадки. Персональные данные — телефоны, почты, имена живых людей — мы не собираем: это отдельная история с 152-ФЗ, и подставляться под неё ни вам, ни нам не нужно. Защиту, закрытые разделы и чужие личные кабинеты мы не обходим. Если ваша задача требует чего-то из второго списка, вы услышите отказ до начала работ, а не после.

«Сайт поменяется — и парсер встанет»

Встанет, это вопрос времени, а не вероятности: разметку чужого сайта меняют, не спрашивая нас. Поэтому парсер пишется так, чтобы поломка была видна сразу — он проверяет, что данные похожи на данные, и сообщает, если пришла пустота вместо цен. Молча собирать мусор он не будет. Починка после изменений — обычно работа на часы, и мы говорим об этом заранее, а не продаём «вечное решение».

«Нас заблокируют за сбор данных»

Блокируют не за сбор, а за нагрузку и наглость. Поэтому темп берётся человеческий: сайт не должен заметить разницы между нашим скриптом и посетителем, который листает каталог. Где у источника есть официальный API — идём через него, это и надёжнее, и быстрее. Если данные нужны в объёме, при котором аккуратно уже не получится, мы скажем это до работ.

«Мы и сами справляемся в Excel»

Часто справляетесь, и тогда разработка не нужна — это честный ответ. Считать стоит не по ощущению «неудобно», а по времени: сколько часов в месяц уходит на эту рутину и сколько стоит час того, кто её делает. Если выходит пара часов — оставьте как есть. Разработка окупается, когда рутина ежедневная, объём растёт или ошибка в ручной работе стоит дороже самой работы.

«Останемся привязаны к вам навсегда»

Не останетесь: исходный код ваш, отдаём вместе с работой, без ключей и «серверов подрядчика», без которых оно не запускается. Пишем на Python — на нём разберётся любой разработчик, а не только автор. К коду идёт короткая записка: что делает, где запускается, что настраивать. Наша задача — чтобы вы могли уйти, а не чтобы не могли.

«Сколько это стоит и сколько займёт»

Вилки на этой странице нет намеренно: между скриптом, который перекладывает файлы, и мониторингом с уведомлениями разница в разы, и средняя цифра обманула бы обе стороны. Что делаем вместо: разбираем задачу и присылаем оценку с разбивкой по работам, бесплатно и без обязательств. И называем, где придётся платить ежемесячно — за сервер, если скрипт должен работать сам.