Работаю с Greenplum для проектирования высоконагруженных аналитических систем. Разрабатываю оптимизированные схемы данных, высокопроизводительные хранимые процедуры и функции на PL/pgSQL. Применяю техники партиционирования, индексации и параллельной обработки. Использую методологии Anchor и Data Vault для создания масштабируемых и гибких баз данных.
Использую Python для разработки и анализа данных: от высоконагруженных ETL-пайплайнов и масштабируемых веб-сервисов до продвинутых ML-моделей и интерактивных визуализаций. Создаю эффективный код с использованием asyncio, многопоточности и оптимизации узких мест. Разрабатываю модульные, тестируемые решения с применением современных фреймворков и библиотек (FastAPI, SQLAlchemy, Pandas, Scikit-learn, Plotly и т.д.). Автоматизирую бизнес-процессы через интеграционные решения, включая Telegram-ботов и системы с графическим интерфейсом на PyQt.
Написал множество скриптов на Bash и PowerShell для автоматизации процессов. Использую эти инструменты для управления файловой системой, git, управления процессами, создания резервных копий и мониторинга серверов. Работаю с cron и Windows Task Scheduler для планирования задач. Очень полезны, когда правила безопасности не допускают другого софта.
Применяю Docker для контейнеризации приложений. Постоянно пишу Dockerfile для разных проектов, используя многоэтапные сборки для минимизации размера образов, docker-compose для оркестрации контейнеров и CI/CD пайплайны с помощью GitHub Actions и GitLab Runner.
Использовал Apache Kafka для обработки потоковых данных и влюбился в этого брокера. Kafka Streams для преобразования данных, разделение тем на партиции для повышения производительности.
Работаю с Apache Airflow для создания надежных систем оркестрации данных. Разработал масштабируемый подход для автоматической генерации DAG'ов из декларативных YAML-конфигураций, что позволило сократить время разработки на 40% и минимизировать ошибки. Реализовал систему динамической генерации задач на основе метаданных, обеспечивающую адаптивность пайплайнов к изменениям в структуре данных.
Использую Selenium для автоматизации взаимодействия с веб-браузерами. Разрабатываю скрипты для парсинга данных с динамически генерируемых сайтов, тестирования пользовательских сценариев и автоматизации рутинных действий в браузере.
Больше всего работаю с PostgreSQL для создания баз данных, оптимизации запросов и реализации сложных бизнес-логик через хранимые процедуры и триггеры.
Использую LLM и агентоы для автоматизации простых задач и генерации кода, что значительно ускоряет прцоесс работы. Работал с Ollama, Huggingface, n8n, подключал MCP серверы. Использую в качестве ассистентов Cursor, Lingma, Windsuf
