clickhouse-otus

Запуск проекта:

# docker compose up --build --force-recreate  

DAG из OpenMetadata настраивается вручную из интерфейса OpenMetadata Логин/пароль для OpenMetadata стандартные: admin@open-metadata.org / admin Прочие пароли в файле .env

Цель созданного примера

1. Демонстрация работы ELT с DBT через Airflow.
   1. Создание витрины из слоя DDS
   2. Перекладывание в ClickHouse с созданием клонированием таблиц без дублирования кода
   3. Настройка и запуск задания DBT
2. Демонстрация обеспечения консистентности данных при передаче из PostgreSQL в ClickHouse.
   1. Настройка кластеров ClickHouse c кластером для записи и кластером для чтения
   2. Перекладывание из кластера для чтения в кластер для записи путем клонирования партиций
3. Data observability:
   1. Метаданные и статистика хранилищ. Надо настраивать из интерфейса OpenMetadata вручную. DAG создается автоматом.
   2. Причинно-следственные связи метаданных разных таблиц из слоев DWH/DataMart. TODO: импорт DBT pipeline в OpenMetadata