Архитектура данных на основе Lakehouse: современные подходы к построению модели управления образовательных организаций на основе анализа данных

Аннотация

Ермаков С.Г., Мандрика О.С., Патеюк Д.С.

Дата поступления статьи: 11.02.2025

В настоящее время образовательные организации сталкиваются с необходимостью эффективного управления растущими объемами разнородных данных – от академической успеваемости и цифровых образовательных ресурсов до административных процессов. Статья посвящена исследованию современных подходов к архитектуре данных с использованием LakeHouse, совмещающим элементы КХД и Data Lake. В статье рассматривается интеграция традиционных методов хранения структурированных данных с гибкостью и масштабируемостью Data Lake, что позволяет эффективно работать с большими объемами разнородных данных. Приводится описание архитектуры КХД, адаптированное для образовательных учреждений. Рассматривается первый уровень архитектуры КХД. Приводится описание платформы Apache Airflow.

Ключевые слова: Data Lake, корпоративное хранилище данных, Apache Airflow, Greenplum, ETL

1.2.2 - Математическое моделирование, численные методы и комплексы программ

5.8.7 - Методология и технология профессионального образования

.