Avito Kafka meetup: коннекторы, интеграция, облака

Привет! В четверг, 23 января, пройдёт наш первый митап про Apache Kafka. Будем говорить об интеграции, source коннекторах и запуске масштабируемых приложений в Kubernetes. С докладами выступят инженеры Booking.com, Confluent и Авито.


Встречаемся в 18:00. Регистрируйтесь сами и приглашайте коллег. Под катом — анонсы выступлений, ссылка на регистрацию и видеотрансляцию митапа.



Доклады


Коннекторы: зачем вас так много — Анатолий Солдатов, Авито


image


Недавно Мартин Клеппман в своём твиттере прокомментировал статью Netflix про новый CDC коннектор: «Netflix создали собственный Change Data Capture (CDC) коннектор для MySQL и PostgreSQL… хотя, возможно, было бы лучше внести свой вклад в Debezium?». В своём выступлении я сделаю небольшой обзор source коннекторов. Далее рассмотрим преимущества и недостатки известных коннекторов для PostgreSQL, включая Debezium. Напоследок я постараюсь дать ответ на твит Мартина и расскажу, почему мы решили сделать свой CDC коннектор в Авито, и что из этого вышло.



Как приручить Apache Kafka? Опыт Booking.com — Александр Миронов, Booking.com


image


При всех возможностях Apache Kafka, её непросто интегрировать и поддерживать. В докладе расскажу, как мы решаем эту задачу в Booking.com, где Kafka и выстроенный вокруг неё сервис используются как основной продукт для стриминга данных. Мы в деталях рассмотрим, как сравнительно небольшая команда удерживает контроль над десятками кластеров и обеспечивает безопасность данных, а также вместе посмеёмся — или поплачем — над багами и проблемами, которые нам пришлось решать.



Kafka на Kubernetes: а по Хуану ли сомбреро? — Виктор Гамов, Confluent


image


Если нужно выбрать наиболее эффективную распределённую платформу поточной обработки данных, поступающих в реальном времени, на сегодняшний день ответ очевиден — это Apache Kafka! Если нужно развернуть масштабируемое приложение в облаке, с высокой устойчивостью, резервированием, распределением нагрузок и контейнерами, вам нужен Kubernetes.

А если скрестить этих ужа и ежа, вы получите масштабируемое приложение, обрабатывающее потоки в реальном времени в облаке. Здорово, не правда ли? Но всё ли так просто? Достаточно ли кирпичиков Lego, которые предоставляет базовый Kubernetes, чтобы запускать серьёзные распределённые системы, требующие хранения состояния?

Я Виктор Гамов, Developer Advocate из компании Confluent, помогу вам разобраться во всём этом зоопарке, а также попробую ответить на вопрос «Стоит запускать Apache Kafka и другие её компоненты, а также обрабатывающие потоки приложения на Kubernetes?».


Пароли и явки


Митап начнётся 23 января в 18:00. Участие бесплатное, но нужно зарегистрироваться. Пожалуйста, указывайте ваши настоящие имя и фамилию в анкете. Не забудьте взять с собой паспорт или водительское удостоверение, чтобы получить пропуск на ресепшене в день мероприятия.


Адрес: офис Авито, Лесная 7.


Если не сможете прийти на встречу, то смотрите прямую трансляцию на ютуб-канале AvitoTech. В прямом эфире можно будет задать вопросы, которые мы озвучим спикерам.


До встречи!

Источник: habr.ru