30 Ноября 2024 10:20
Спонсоры Осеннего бигдатника
Программа
i. Часть первая
| Время | Тема |
|---|---|
| 10:20 - 11:00 | 🫱🏼🫲🏻 Регистрация и утренний кофе ☕️ |
| 11:00 - 11:50 | Введение в потоковую обработку данных с примерами на Apache Flink |
| 11:50 - 12:40 | Расчёт эффективности сотрудников: эволюция витрин от батча к стримингу |
| 12:40 - 13:00 | ☕️ кофе-брейк ☕️ |
| 13:00 - 13:50 | Streamhouse Architecture - единообразный способ работы с пакетными и потоковыми данными |
| 13:50 - 14:40 | Подготовка к промышленной эксплуатации баз данных. Проблемы и решения |
| 14:40 - 15:40 | 🍜 обед 🍜 |
| 15:40 - 16:30 | Опыт эксплуатации Apache Iceberg на петабайтных таблицах. Проблемы и решения |
| 16:30 - 17:20 | Debezium — инструмент получения данных с источников, используя паттерн CDC |
ii. Нетворкинг
- 👋🏼 Знакомимся 🙈
- 🎙️ Общаемся 🗣️
- 📸 Фоткаемся 🤳🏻
- 🍺 Ну вы поняли 🪩
Доклады
Apache Flink
Сергей Смирнов (Москва) Сбербанк
Введение в потоковую обработку данных с примерами на apache flink
Что такое потоковая обработка данных и в чем ее отличие от батча Определение, основные термины, на что стоит обратить внимание плюс примеры на Apache Flink
ksqlDB
Петр Островский (Москва) Wildberries
Расчёт эффективности сотрудников: эволюция витрин от батча к стримингу
Потоковые витрины для 10 команд с минимальной задержкой: звучит как утопия? Расскажем, как реализовали это с помощью Kafka и ksqlDB, какими инструментами пользовались, какие технические сложности в реализации и осознании потоковых операций есть (join’ы, нарушение порядка, консистентность), и почему стриминг — это больше про компромиссы, чем про магию.
Streamhouse Architecture
Сергей Смирнов (Москва) Сбербанк
Streamhouse Architecture - единообразный способ работы с пакетными и потоковыми данными
Расскажу про новый виток в способе ведения обработки данных. Унификация инфраструктуры хранения и инструмента обработки данных как для пакетных так и потоковых задач на примере flink, flink-cdc, paimon
Base about database
Дмитрий Блинов (Москва) ОК РУСАЛ
База про базы
Поговорим про подготовку к промышленной эксплуатации баз данных, обсудим потенциальные проблемы и способы их решений.
Apache Iceberg Tips and Tricks
Валерий Могильницкий (Москва) Wildberries
Apache iceberg: tips and tricks
Из этого доклада вы узнаете про наш опыт эксплуатации apache iceberg на петабайтных таблицах, о том с какими проблемами столкнулись и как решали. Бонусом набор полезных советов.
Debezium
Андрей Москалев и Андрей Романов (Москва и Казань) Купер и AB Digital
"Debezium
Расскажем про Debezium как о инструменте получения данных с источников, используя паттерн CDC. Два Андрея вам расскажут о том, какие есть плюсы и минусы в такой интеграции для разных баз и какие особенности есть у каждой из них в контексте данного инструмента. А также мы расскажем о полезных утилитах и случаях из практики масштабирования Debezium.
Место проведения
м. Таганская
Вход через магазин Vivasan