22 сентября 2026
Реклама
Оригинал
ИИ уже анализирует данные. Но умеет ли он делать это правильно? Нейросеть может быстро обработать таблицу, найти закономерности и подготовить выводы. Но без правильной постановки задачи легко получить ошибочные расчеты, неверные гипотезы и выводы, которым нельзя доверять. На открытом уроке 30 сентября в 20:00 МСК разберем, как применять ИИ в анализе данных: от подготовки запроса и очистки данных до поиска аномалий,…
253 просмотров
21 сентября 2026
Оригинал
Главный вопрос к AI не «умеет ли он», а «умеешь ли ты ставить ему задачу» Такую мысль услышал в подкасте о том, как AI трансформирует аналитику в Яндексе. Я часто ловлю себя: делегируешь LLM сбор проекта, радуешься скорости, а потом видишь вывод, который звучит логично, но не учитывает нюанс, который ты держал в голове. Контекст не передаётся по щелчку — его нужно выписывать, структурировать, формализовать. И это…
323 просмотров
16 сентября 2026
Оригинал
Обратный ETL через Superset и премудрости корп архитектуры Словарь архитектора по-простому. Прямой ETL это когда аналитики забирают информацию с прода. Обратный ETL - когда прод забирает полезное из дата стека. Открыл для себя что один из самый простых способов поставить данные из КХД на прод - через Superset API. Там есть несколько методов программно по HTTP выдрать датасет из-под чарта. Опа!…
509 просмотров
14 сентября 2026
Оригинал
Гайз, знаю что все ждали этого — новый сезон опроса State Of Data оч прошу потратить 10 минут времени всем и каждому + разослать по чатикам с коллегами в этом году, ожидаемо, появились вопросы про всякие llm и прочих агентов ) https://forms.gle/Fp6HrZxBw7Y5VbFw7 давайте посмотрим насколько помирает хадуп (особенно по сравнению с позапрошым годом) насколько выстреливает старрокс (или наоборот стагнирует) и прочие…
518 просмотров
14 сентября 2026
Оригинал
По заявкам. Разные движки воспринимают ролевую модель айсберг-лейкхауса по-разному. И с этим надо смириться и воспринимать как вариант нормы. Поэтому учимся защищать данные даже в тех ситуациях, когда конкретный движок решит забить на правила. Один из способов- начать работать с S3 ключами. А как? А вот так. 1️⃣ команде пользователю данных выдаем ключ не на весь бакет, а более гранулярно. Пользуемся тем, что если…
477 просмотров
14 сентября 2026
Оригинал
Безопасность в Iceberg-Lakehouse Берем Iceberg REST Catalog в виде Apache Polaris. Коннектим его к Трино как каталог. При этом передаем общие принципала и креды. Все подключается и успешно создаем, удаляем, работаем со схемами и таблицами. Теперь хотим подцепиться к тому же каталогу через PyIceberg. С теми же кредами. И Ловим 401 на попытке прочитать таблицу? Почему? Потому что PyIceberg честный и спрашивает креды…
367 просмотров