Trino в Авито. Возможности CedrusData Catalog | Lakehouse Meetup

‍

Спикеры:

Дмитрий Рейман, Tech Lead в Analytics Platform, Авито

Владимир Озеров, Генеральный директор, Кверифай Лабс

‍

На митапах Lakehouse показываем, как Trino и Iceberg работают в российских компаниях и разбираем архитектуру наших продуктов CedrusData. Если хотите поделиться своим кейсом или опытом — заполните форму докладчика.

В этом выпуске:

Trino в Авито спустя два года: от движка к аналитической экосистеме

«Trino стал основой нашей аналитики, но сам по себе движок не делает платформу. Чтобы построить современный DWH, мы развивали все ключевые компоненты Lakehouse: высоконагруженное и масштабируемое хранилище, стабильный и функциональный каталог, управляемую инфраструктуру — и дорабатывали сам Trino для поддержки моделей вроде Data Vault. Сегодня наша платформа обрабатывает до 1 ПБ данных в день и обслуживает 300 активных пользователей.

В этом докладе — практический опыт развития Lakehouse как системы: что пришлось строить вокруг Trino, и почему этого не избежать. Всё, что нужно знать, если вы собираетесь жить на Lakehouse.»‎

Дмитрий Рейман, Tech Lead в Analytics Platform, Авито

CedrusData Catalog — Современный каталог для lakehouse-платформ

«Каталог метаданных является центральным компонентом lakehouse-платформ, основанных на технологии Apache Iceberg. В докладе я рассказываю про CedrusData Catalog — бесплатный каталог метаданных для российского рынка.

Рассмотрим основные возможности продукта: ролевая модель доступа, maintenance таблиц Iceberg, поддержка time-travel, ускорение аналитических запросов с помощью материализации повторяющихся вычислений, расширение возможностей каталога с помощью плагинов, работа с S3/HDFS/Ozone.

Дальнейшие планы по развитию: fine-grained контроль доступа (маскирование, row-level security, ABAC), автоматическое обслуживание таблиц, продвинутый time-travel, расширенные метаданные для оптимизаторов движков, и другое.»‎