16 Ноября 2024 10:00
Спонсоры Осеннего бигдатника
Программа
i. Часть первая
| Время | Тема |
|---|---|
| 10:00 - 10:20 | 🫱🏼🫲🏻 Регистрация и утренний кофе ☕️ |
| 10:20 - 11:00 | Введение в потоковую обработку данных с примерами на Apache Flink |
| 11:00 - 11:40 | Опыт внедрения Catboost для Spark в процессы создания моделей розничного бизнеса банка ВТБ |
| 11:40 - 12:20 | Streamhouse Architecture - единообразный способ работы с пакетными и потоковыми данными |
| 12:20 - 13:00 | |
| 13:00 - 14:00 | 🍲 Кушаем 🥗 |
| 14:00 - 14:40 | |
| 14:40 - 15:20 | |
| 15:20 - 16:00 | |
| 16:00 - 16:40 | ☕️ Кофе-брейк ☕️ |
| 16:40 - 17:20 | |
| 17:20 - 18:00 | |
| 18:00 - 18:40 | |
| 18:40 - 19:20 | |
| 19:20 - 20:00 | Собираемся и переходим ко второй части |
ii. Нетворкинг
- 👋🏼 Знакомимся 🙈
- 🎙️ Общаемся 🗣️
- 📸 Фоткаемся 🤳🏻
- 🍺 Ну вы поняли 🪩
Доклады
Apache Flink
Сергей Смирнов (Москва) Сбербанк
Введение в потоковую обработку данных с примерами на apache flink
Что такое потоковая обработка данных и в чем ее отличие от батча Определение, основные термины, на что стоит обратить внимание плюс примеры на Apache Flink
Catboost for Spark
Тимур (Санкт-Петербург)
Опыт внедрения Catboost для Spark в процессы создания моделей розничного бизнеса банка ВТБ
В Банке создание различных моделей – одна из основ бизнеса. В той или иной мере модели создаются с начал зарождения современного банкинга. В исследованиях Google (Halevy A., Norvig P. and Pereira F. The Unreasonable Effectiveness of Data. Intelligent Systems, IEEE 24, no. 2 (2009): 8–12.) доказывается, что больший объем данных дает лучшие модели. Как следствие нужно постоянно увеличивать объем анализируемых данных. Это требует периодически переход на новый технологический инструментарий, когда старый уже не справляется. В докладе расскажу про переход с локального обучения моделей на кластерный, на примере catboost. В синтетических тестах это занимает примерно 12 минут. Но на практике, при попытке внедрить новый инструментарий в действующие процессы в корпорации, вы столкнётесь с проблемами ИБ, особенностями корпоративной инфраструктуры, требованиями внедрить новый инструментарий с теме же показателями качества и удобства, что и старый, отлаженный, и сопротивлением, вызванных сменой процессов. В докладе будут рассмотрены проблемы, с которыми столкнулся автор и пути их решения
Streamhouse Architecture
Сергей Смирнов (Москва) Сбербанк
Streamhouse Architecture - единообразный способ работы с пакетными и потоковыми данными
Расскажу про новый виток в способе ведения обработки данных. Унификация инфраструктуры хранения и инструмента обработки данных как для пакетных так и потоковых задач на примере flink, flink-cdc, paimon
Место проведения
м. Бауманская