Инженер данных с опытом в программной разработке, анализе данных и машинном обучении. Работаю на стыке BI и ML: проектирую и развиваю стек данных, ETL/ELT-пайплайны, data catalog, строю инженерные контуры для AI-продуктов и обеспечиваю качество данных. Сильные стороны: системная инженерия данных, глубокое погружение в бизнес-домен, автоматизация рутинных процессов, документация и доведение решений до production-эксплуатации.
Контактный email: irinyakov2016@yandex.ru
Работаю с Greenplum для проектирования высоконагруженных аналитических систем. Разрабатываю оптимизированные схемы данных, высокопроизводительные хранимые процедуры и функции на PL/pgSQL. Применяю техники партиционирования, индексации и параллельной обработки. Использую методологии Anchor и Data Vault для создания масштабируемых и гибких баз данных.
Использую ClickHouse как аналитическую СУБД для витрин, быстрых ad-hoc запросов, мониторинга качества данных и подготовки слоев для BI/ML. Проектирую таблицы, инкрементальные загрузки, SQL-проверки и производительные пайплайны вокруг колоночного хранения.
Развиваю data catalog и metadata governance: табличные контракты, семантический слой, теги, FQN-реестры, проверки покрытия и процессы синхронизации метаданных. Использую каталог как инструмент прозрачности данных для BI, ML и продуктовых команд.
Использую dbt-подход для декларативного описания трансформаций, документирования моделей, проверки качества данных и воспроизводимой сборки аналитических слоев. Ценю dbt за прозрачный lineage, тесты и близость к инженерным практикам разработки.
Использую Python для разработки и анализа данных: от высоконагруженных ETL-пайплайнов и масштабируемых веб-сервисов до продвинутых ML-моделей и интерактивных визуализаций. Создаю эффективный код с использованием asyncio, многопоточности и оптимизации узких мест. Разрабатываю модульные, тестируемые решения с применением современных фреймворков и библиотек (FastAPI, SQLAlchemy, Pandas, Scikit-learn, Plotly и т.д.). Автоматизирую бизнес-процессы через интеграционные решения, включая Telegram-ботов и системы с графическим интерфейсом на PyQt.
Написал множество скриптов на Bash и PowerShell для автоматизации процессов. Использую эти инструменты для управления файловой системой, git, управления процессами, создания резервных копий и мониторинга серверов. Работаю с cron и Windows Task Scheduler для планирования задач. Очень полезны, когда правила безопасности не допускают другого софта.
Применяю Docker для контейнеризации приложений. Постоянно пишу Dockerfile для разных проектов, используя многоэтапные сборки для минимизации размера образов, docker-compose для оркестрации контейнеров и CI/CD пайплайны с помощью GitHub Actions и GitLab Runner.
Использовал Apache Kafka для обработки потоковых данных и влюбился в этого брокера. Kafka Streams для преобразования данных, разделение тем на партиции для повышения производительности.
Работаю с Apache Airflow для создания надежных систем оркестрации данных. Разработал масштабируемый подход для автоматической генерации DAG'ов из декларативных YAML-конфигураций, что позволило сократить время разработки на 40% и минимизировать ошибки. Реализовал систему динамической генерации задач на основе метаданных, обеспечивающую адаптивность пайплайнов к изменениям в структуре данных.
Использую Selenium для автоматизации взаимодействия с веб-браузерами. Разрабатываю скрипты для парсинга данных с динамически генерируемых сайтов, тестирования пользовательских сценариев и автоматизации рутинных действий в браузере.
Больше всего работаю с PostgreSQL для создания баз данных, оптимизации запросов и реализации сложных бизнес-логик через хранимые процедуры и триггеры.
Использую LLM и AI-агентов для автоматизации рабочих задач, генерации кода, анализа документов и ускорения разработки. Работаю с Claude от Anthropic, Codex, Cursor, Ollama, Hugging Face, n8n и MCP-серверами, собираю агентные сценарии под разработку, поиск решений и поддержку data-пайплайнов.
Data engineering для BI, ML и AI-продуктов
Разработка ETL/ELT потоков в Airflow через YAML + JSON на фреймворке Python
Разработка AI-решений для бизнеса
Разработка и поддержка системы управления данными
Разработка ML-решений для стоматологической практики
Email: irinyakov2016@yandex.ru Telegram: Денис Developer Portfolio GitHub Profile