Школа Больших Данных

На слабом железе: какие инструменты не сдаются? Когда аналитик работает на ноутбуке или сервере с ограниченными ресурсами, важно выбрать правильные инструменты. Бенчмарк показал, что Spark часто избыточен для небольших объёмов данных, а Polars и DuckDB демонстрируют выдающуюся эффективность. Как проверили и что получили • запустили одинаковые операции на Pandas, Polars, DuckDB и Spark • проверили загрузку, фильтры, группировку, join и сортировку • оценили потребление памяти и скорость на данных до 180 млн строк • обнаружили, что Spark может терять данные при оконных функциях Polars и…

DuckDB: каталог данных без танцев с бубном Работа с озером данных может превратиться в кошмар, если каждый раз приходится раздавать списки путей к файлам и обновлять их. DuckDB предлагает элегантное решение: файл базы размером в сотни килобайт, который хранит только определения представлений и ссылки на Parquet-файлы в хранилище. Как это работает на практике • DuckDB создаёт представления, которые ссылаются на удалённые Parquet-файлы • Файл базы не растёт с увеличением объёма данных, превращаясь в каталог • Данные остаются в хранилище, а база содержит только инструкции чтения •…

Строки тормозят? Замените их на числа! GROUP BY по длинным строковым полям может быть медленным — сравнение и хеширование строк дорого обходится процессору. DuckDB предлагает хитрость: вынести все уникальные строки в отдельную таблицу измерений и заменить их на целочисленные ключи. Агрегация теперь будет работать с числами, а строки подставятся только на последнем шаге. Как это работает • Оцениваем кардинальность строк — сколько уникальных значений • Выбираем минимально возможный тип для ключей (smallint, integer) • Создаём таблицу измерений, где каждой строке сопоставлен числовой ключ • В…

Дата-агенты врут? Как проверить их точность на своих данных Готовые бенчмарки не отражают реальные бизнес-задачи компании. Агент может блестяще проходить открытые тесты, но ошибаться на ключевых метриках — и вы узнаете об этом только после внедрения. Как создать надёжный бенчмарк • используем не общие тесты, а вопросы из реальных дашбордов компании • фиксируем данные через теги в Iceberg, чтобы ответы не «уплывали» • сравниваем результаты побайтово через Arrow для точных выводов • добавляем проверку в CI-пайплайн и останавливаем мерж при падении точности • начинаем с 30-50 вопросов,…

Когда партиция закрыта? Маркеры завершения в Kafka и Flink Переход с пакетной на потоковую загрузку данных ставит перед командами новую задачу — как определить момент, когда данные за временной интервал (например, час) можно считать завершёнными. Без явного сигнала аналитики либо получают неполные данные, либо вынуждены ждать заранее заданное время, теряя оперативность. Pinterest предложил решение — маркеры завершения партиций. Как это работает на практике • Flink финализирует партицию и генерирует маркер завершения • Маркер записывается в отдельный Kafka-топик или Iceberg-таблицу •…