Skip to content

16 Ноября 2024 10:00

Спонсоры Осеннего бигдатника

Программа

i. Часть первая

Время Тема
10:00 - 10:20 🫱🏼‍🫲🏻 Регистрация и утренний кофе ☕️
10:20 - 11:00 Введение в потоковую обработку данных с примерами на Apache Flink
11:00 - 11:40 Опыт внедрения Catboost для Spark в процессы создания моделей розничного бизнеса банка ВТБ
11:40 - 12:20 Streamhouse Architecture - единообразный способ работы с пакетными и потоковыми данными
12:20 - 13:00
13:00 - 14:00 🍲 Кушаем 🥗
14:00 - 14:40
14:40 - 15:20
15:20 - 16:00
16:00 - 16:40 ☕️ Кофе-брейк ☕️
16:40 - 17:20
17:20 - 18:00
18:00 - 18:40
18:40 - 19:20
19:20 - 20:00 Собираемся и переходим ко второй части

ii. Нетворкинг

  • 👋🏼 Знакомимся 🙈
  • 🎙️ Общаемся 🗣️
  • 📸 Фоткаемся 🤳🏻
  • 🍺 Ну вы поняли 🪩

Доклады

Сергей Смирнов (Москва) Сбербанк

Введение в потоковую обработку данных с примерами на apache flink

Что такое потоковая обработка данных и в чем ее отличие от батча Определение, основные термины, на что стоит обратить внимание плюс примеры на Apache Flink


Catboost for Spark

Тимур (Санкт-Петербург)

Опыт внедрения Catboost для Spark в процессы создания моделей розничного бизнеса банка ВТБ

В Банке создание различных моделей – одна из основ бизнеса. В той или иной мере модели создаются с начал зарождения современного банкинга. В исследованиях Google (Halevy A., Norvig P. and Pereira F. The Unreasonable Effectiveness of Data. Intelligent Systems, IEEE 24, no. 2 (2009): 8–12.) доказывается, что больший объем данных дает лучшие модели. Как следствие нужно постоянно увеличивать объем анализируемых данных. Это требует периодически переход на новый технологический инструментарий, когда старый уже не справляется. В докладе расскажу про переход с локального обучения моделей на кластерный, на примере catboost. В синтетических тестах это занимает примерно 12 минут. Но на практике, при попытке внедрить новый инструментарий в действующие процессы в корпорации, вы столкнётесь с проблемами ИБ, особенностями корпоративной инфраструктуры, требованиями внедрить новый инструментарий с теме же показателями качества и удобства, что и старый, отлаженный, и сопротивлением, вызванных сменой процессов. В докладе будут рассмотрены проблемы, с которыми столкнулся автор и пути их решения


Streamhouse Architecture

Сергей Смирнов (Москва) Сбербанк

Streamhouse Architecture - единообразный способ работы с пакетными и потоковыми данными

Расскажу про новый виток в способе ведения обработки данных. Унификация инфраструктуры хранения и инструмента обработки данных как для пакетных так и потоковых задач на примере flink, flink-cdc, paimon


Место проведения

м. Бауманская

Доброслободская д.5 А

Смотри видео на ютубе как выглядит зал