кейс разработки
×
ND Move
Платформа для миграции больших данных: перенос информации между различными хранилищами с автоматической оптимизацией процессов, защищённым хранением секретов через Vault, детальным логированием и мониторингом выполнения в режиме реального времени.
Преимущества
Enterprise
для больших данных
Vault
защита секретов
ETL
автоматизация миграции
Мониторинг
логирование процессов
Что реализовали
Миграция между БД
ETL-конвейеры
Оптимизация переноса
Контроль ошибок
Логирование операций
Хранение секретов Vault
Планировщик задач
Мониторинг процессов
Повторные запуски
Конфигурация VPN
Технологический стек
TypeScript
Python
FastAPI
Apache Spark (PySpark)
PostgreSQL
ClickHouse
Vault
Docker
Docker Compose
JDBC
OpenVPN
MongoDB
Web Portal (TypeScript UI)
FastAPI Backend
Migration API
Migration Worker
Test Migration Service
Spark Cluster (Master + Workers)
Vault
PostgreSQL Meta Database (pg_meta)
PostgreSQL / ClickHouse / MongoDB
MinIO Object Storage
Spark Migration Engine
Logging Service
WebSocket Status Service
Архитектура решения
Этапы разработки
Этап 1
Проектирование архитектуры и поддерживаемых источников данных.
Этап 2
Разработка движка миграции, ETL-процессов и хранения конфигураций.
Этап 3
Интеграция Vault, мониторинга, логирования и оптимизации производительности.
Этап 4
Нагрузочное тестирование, отказоустойчивость и внедрение в промышленную эксплуатацию.
Галерея продукта
