Data Analysis / Big Data

Как встроить LLM-анализ CSV в Airflow 3 Опрос Airflow содержит 5 856 строк и 168 столбцов. Для анализа собрали два DAG: интерактивный и плановый. В первом LLM переводит подтверждённый аналитиком вопрос в SQL, sqlglot пропускает только SELECT, а DataFusion выполняет запросы по CSV. Плановый DAG ежемесячно скачивает свежий CSV, сверяет его схему с эталоном, выполняет запрос и отправляет отчёт. Если столбец удалили или…

Почему подписка PostgreSQL замирает без ошибки Подписки могут занять все слоты пула: apply-процессы продолжат работать, но первичному копированию таблиц не хватит места. CREATE SUBSCRIPTION завершится успешно, а таблицы останутся в инициализации. Сценарий разобран в разборе пула логической репликации PostgreSQL . max_logical_replication_workers действует на весь кластер подписчика, а его процессы входят и в лимит…

Как ORAG ведёт документ от загрузки до гибридного поиска ORAG принимает текст через /documents:import и файлы через /documents , а статус загрузки доступен по /ingestion-jobs/{id} . Поиск объединяет векторные кандидаты из Qdrant и совпадения по словам из PostgreSQL, затем повторно ранжирует результаты. Для дата-инженера это карта пайплайна: загрузить данные, отследить обработку и передать корпус в поиск. Схема…

Как настроить параллельные процессы PostgreSQL для тяжёлых сканов Для таблицы на 270 МБ значение max_parallel_workers_per_gather = 64 не даст 64 процессов: планировщик выбирает их число по ожидаемному объёму чтения , а параметр задаёт верхнюю границу. max_parallel_workers ограничивает уже запущенные процессы во всём кластере. Начинайте настройку с max_worker_processes: учтите запросы, репликацию, расширения и…

Как Netflix обслуживает графы со скоростью около 10 млн операций в секунду Graph Abstraction в Netflix работает с 650 ТБ графовых данных и возвращает обходы за миллисекунды. Архитектура Graph Abstraction хранит актуальные узлы и рёбра в Key-Value Abstraction, исторические состояния подключает через TimeSeries Abstraction, а EVCache снижает задержку чтения. Строгая схема отсеивает некорректные записи и невозможные…

Как спланировать A/B-тест интерфейса и выбрать вариант по данным Вариант A дал 5% конверсий, вариант B — 6%. До запуска выберите основной показатель и защитные метрики, сформулируйте гипотезу и меняйте один элемент интерфейса. Трафик можно распределять через Optimizely или флаги функций. Схема A/B-теста охватывает цель и метрики, гипотезу, эксперимент и анализ. После сбора данных оцените статистическую уверенность…

Как Netflix дробит широкие партиции Cassandra для временных рядов В системе Netflix обычное чтение занимает единицы миллисекунд, но широкие партиции растягивают его до секунд. События одного временного ряда копятся, вызывая тайм-ауты, загрузку процессора и очереди потоков. Фоновый процесс анализирует размеры партиций Cassandra 4.x. Если проблема затрагивает отдельный идентификатор, сервер замечает её при чтении и…

Мы вернулись из Суздаля с новым взглядом на магазин у дома Были на tech-туре MAGNIT TECH «Без предела: Исходный код ритейла» и нам понравилось, как сошлись место и тема. Сначала купеческие ряды Суздаля, затем разговор о технологиях современной торговли на ГЭС на Нерли. В программе были и воздушный шар, и общение с инженерами у самовара. Получилась поездка, в которой было время и Суздалем полюбоваться, и…

А вы уже забрали свой подарок ко Дню программиста? Мы в Tproger вместе с нашими друзьями собрали целую коробку подарков к вашему профессиональному празднику. Переходите по ссылке, трясите коробку и забирайте свой презент: https://tprg.ru/2CiK

Визуальный поиск получил энкодер на 51 страницу в секунду Визуальный поиск по документам часто использует отдельный энкодер изображений и языковой декодер, хотя генерировать текст не нужно. NeoMME заменяет их одним двунаправленным трансформером: он превращает текст и фрагменты изображения в векторы. Версия на 260 млн параметров при 2048×2048 на NVIDIA L40S кодирует около 51 страницы в секунду, вдвое быстрее…