Skip to content

30 Ноября 2024 10:20

Спонсоры Осеннего бигдатника

Программа

i. Часть первая

Время Тема
10:20 - 11:00 🫱🏼‍🫲🏻 Регистрация и утренний кофе ☕️
11:00 - 11:50 Введение в потоковую обработку данных с примерами на Apache Flink
11:50 - 12:40 Расчёт эффективности сотрудников: эволюция витрин от батча к стримингу
12:40 - 13:00 ☕️ кофе-брейк ☕️
13:00 - 13:50 Streamhouse Architecture - единообразный способ работы с пакетными и потоковыми данными
13:50 - 14:40 Подготовка к промышленной эксплуатации баз данных. Проблемы и решения
14:40 - 15:40 🍜 обед 🍜
15:40 - 16:30 Опыт эксплуатации Apache Iceberg на петабайтных таблицах. Проблемы и решения
16:30 - 17:20 Debezium — инструмент получения данных с источников, используя паттерн CDC

ii. Нетворкинг

  • 👋🏼 Знакомимся 🙈
  • 🎙️ Общаемся 🗣️
  • 📸 Фоткаемся 🤳🏻
  • 🍺 Ну вы поняли 🪩

Доклады

Сергей Смирнов (Москва) Сбербанк

Введение в потоковую обработку данных с примерами на apache flink

Что такое потоковая обработка данных и в чем ее отличие от батча Определение, основные термины, на что стоит обратить внимание плюс примеры на Apache Flink


ksqlDB

Петр Островский (Москва) Wildberries

Расчёт эффективности сотрудников: эволюция витрин от батча к стримингу

Потоковые витрины для 10 команд с минимальной задержкой: звучит как утопия? Расскажем, как реализовали это с помощью Kafka и ksqlDB, какими инструментами пользовались, какие технические сложности в реализации и осознании потоковых операций есть (join’ы, нарушение порядка, консистентность), и почему стриминг — это больше про компромиссы, чем про магию.


Streamhouse Architecture

Сергей Смирнов (Москва) Сбербанк

Streamhouse Architecture - единообразный способ работы с пакетными и потоковыми данными

Расскажу про новый виток в способе ведения обработки данных. Унификация инфраструктуры хранения и инструмента обработки данных как для пакетных так и потоковых задач на примере flink, flink-cdc, paimon


Base about database

Дмитрий Блинов (Москва) ОК РУСАЛ

База про базы

Поговорим про подготовку к промышленной эксплуатации баз данных, обсудим потенциальные проблемы и способы их решений.


Apache Iceberg Tips and Tricks

Валерий Могильницкий (Москва) Wildberries

Apache iceberg: tips and tricks

Из этого доклада вы узнаете про наш опыт эксплуатации apache iceberg на петабайтных таблицах, о том с какими проблемами столкнулись и как решали. Бонусом набор полезных советов.


Debezium

Андрей Москалев и Андрей Романов (Москва и Казань) Купер и AB Digital

"Debezium

Расскажем про Debezium как о инструменте получения данных с источников, используя паттерн CDC. Два Андрея вам расскажут о том, какие есть плюсы и минусы в такой интеграции для разных баз и какие особенности есть у каждой из них в контексте данного инструмента. А также мы расскажем о полезных утилитах и случаях из практики масштабирования Debezium.


Место проведения

м. Таганская

Таганская ул., 9
Вход через магазин Vivasan

Фотки

yandex disk