Костыли ИИ Велосипеды
DataComrade. Проект по Self-BI
О чем этот проект
Это решение для OLAP-кубов без OLAP-кубов, c возможностью connectиться из Excel или через веб
Давайте простым языком. Есть некий аналитик, который хорошо знает Excel, плохо знает SQL, работает с целой кучей моделек, готовит еженедельные отчеты для руководства. Есть достаточно хорошее решение от Microsoft, которое соединяет базы данных и Excel. Это MS OLAP-кубы. Нужно иметь MS-сервер, к нему отлично цепляется Excel. Не человек работает с данными из куба точно так же, как в обычной сводной таблице.
Человеку нужно получать данные регулярно, в едином виде, не думая о том, как составить запрос, и, если нужно что-то поменять, не погружаться в схему данных, SQL и так далее.
Но тут есть проблемы.
Во-первых, импортозамещение. Майкрософтовское решение не open source, нам не продают со всеми вытекающими.
Во-вторых нужен конкретный сервер. Кубы необходимо делать самостоятельно. Необходим отдельный специалист.
А я хочу сделать так, чтобы этот продукт мог цепляться к любой базе данных, самостоятельно писать SQL-запросы и выдавать ответы.
Отличие от существующих продуктов Text to SQL в том, что здесь не будет ИИ. Только жесткие алгоритмы.
Схема работы на верхнем уровне
Data-инженеры (не в рамках контура продукта) готовят обновление таблиц. Это делается вне рамок контура этого продукта.
Внутри контура продукта живут метаданные:
1. База данных
2. Название таблиц
3. Название колонок
4. Тип данных
5. Отношение к домену
6. Доступ для доменов
7. Доступ для таблиц
8. И так далее
Пользователь заходит, видит в UI все доступные ему поля, выбирает нужные, выставляет калькуляции, если надо, и нажимает кнопку «Получить данные». Система выбирает те таблицы, которые отработают наиболее быстро, генерирует SQL-запрос, отправляет этот запрос к нужным таблицам, и отдает результат.