| Date | Title | Description |
| Sign up to see | Sign up to see | Sign up to see |
| Jul 13, 2026 | Почему шины данных не всегда лучшее решение для синхронизации систем | Вы запускаете новую ERP и настраиваете репликацию данных, развернули шину. Кажется, что все просто. Но сначала нужно реализовать в системе-источнике листенеры. Потом добавить буферные таблицы Outbox и Inbox для 100% надежности. Потом получи... |
| Apr 2, 2026 | Осваиваем replication slots в Postgres: как предотвратить разрастание WAL и другие проблемы в продакшене | Содержание
Используйте модуль вывода логического декодирования pgoutput
Задайте максимальный размер replication slot
Включите Heartbeats
Используйте публикации на уровне таблиц
Используйте фильтры по столбцам и строкам
Включите отказоустойч... |
| Mar 1, 2026 | Все не любят мониторинг. Настраиваю для CDC-пайплайна: Victoria Metrics, Grafana и алерты в Telegram | Седьмая статья цикла о построении CDC-пайплайна с нуля. Инфраструктура работает, данные текут из PostgreSQL через Kafka в HDFS. Займемся те, что никто не любит(по крайнее мере у нас на работе). Сегодня поднимаем мониторинг и настраиваем але... |
| Feb 22, 2026 | CDC Consumer с криптографической подписью: от Kafka до Hive | Шестая статья цикла о построении CDC-пайплайна с нуля. Данные уже текут из PostgreSQL в Kafka, но дальше просто исчезают по retention. Сегодня пишем Consumer на Python, реализуем криптографическую верификацию сообщений и строим трёхслойную ... |
| Feb 3, 2026 | Паттерн Transactional Outbox на примере двух микросервисов на java | Всем привет! В данной статье будет описан один из возможных вариантов реализации паттерна outbox transactional.
План данной статьи такой: вначале немного теории, а потом на примере двух микросервисов будет показала реализация данного паттер... |
| Feb 2, 2026 | О ключах идемпотентности | Всем известно, что в распределённых системах невозможно гарантировать доставку сообщений, выполняемую ровно один раз. А вот обеспечить однократную обработку сообщений можно. Добавляя к каждому из сообщений уникальный ключ идемпотентности, м... |
| Jan 31, 2026 | CDC своими руками: Kafka + Debezium в домашней лаборатории | Третья статья цикла о построении CDC-пайплайна с нуля. Сегодня — самое интересное: захватываем изменения из PostgreSQL и отправляем в Kafka. И разбираемся, почему WAL может съесть весь диск, даже если данные не меняются.Зачем я это пишу
Чес... |
| Jan 24, 2026 | PostgreSQL для CDC-пайплайна: настраиваем logical replication за 30 минут | Вторая статья цикла «CDC Pipeline в домашней лаборатории». В первой мы сделали Telegram-бота для парсинга банковских скриншотов. Теперь подготовим PostgreSQL к тому, чтобы Debezium мог захватывать изменения в реальном времени.Зачем я это пи... |
| Jan 18, 2026 | Хотели ускорить Postgres, а построили платформу репликации данных | Команда Go for Devs подготовила перевод статьи инженеров Datadog о том, как из разрозненных пайплайнов вырастить надёжную мультитенантную платформу репликации данных. В материале — практический опыт масштабирования PostgreSQL, переход к аси... |
| Dec 2, 2025 | Секреты Apache Kafka API: обработка сообщений без потерь и дублей | Меня зовут Андрей Серебрянский, и я люблю Apache Kafka. И гарантии доставки exactly once. И рассказывать обо всём этом на конференциях. Пять лет я строил платформы потоковой обработки данных в финтехе, а теперь вместе с командой работаю над... |
| Feb 10, 2025 | The Rise of Modern Database Solutions: Debezium and TrueSql | In the world of technology, databases are the backbone. They store our data, power our applications, and keep our businesses running. But as the landscape evolves, so do the tools we use to manage our data. Two standout solutions have emerg... |
| Feb 10, 2025 | Debezium в действии: сбор и синхронизация отчётной базы данных | Привет, меня зовут Максим Рыбалко, я директор по управлению проектами Т1 Иннотех.
На текущий момент мы занимаемся разработкой для сотрудников банка фронтального приложения, в котором они смогут в одном окне видеть всю необходимую информацию... |
| Jan 18, 2025 | Как перейти от монолита к микросервисам без сложностей и рисков? Четыре проверенных паттерна | При переходе от монолитной к микросервисной архитектуре разработчики часто сталкиваются с несколькими проблемами.
Во-первых, это необходимость переработки существующего кода и его разбиения на независимые сервисы, что может быть трудоемким ... |
| Dec 4, 2024 | Unleashing the Power of Data Caching: Kafka and Tarantool Integration | In the world of data processing, speed is king. Apache Kafka reigns supreme as a distributed messaging broker, adept at handling vast streams of data. But even the mightiest can falter. When real-time access to frequently requested data is ... |
| Dec 4, 2024 | Как в Sidec благодаря exactly-once сократили потребление ресурсов без потери производительности | Меня зовут Сергей Гребенюк, я лидер разработки Sidec (Росреестр). Расскажу, как решили задачу объединения двух топиков с соотношением один ко многим и почему не устроило решение на Kafka-streams (kafka docs) и RocksDB (github). А также о то... |
| Nov 29, 2024 | The crucial role of data pipelines in building strong GenAI apps [Q&A] | For GenAI to live up to its promise reliable flow of data is key. AI models are only as good as the data pipeline connections bringing in quality data.
Outdated connections mean more hallucinations and untrustworthy results with data engine... |
| Nov 28, 2024 | The Evolution of Data Replication: From Manual to Automated Solutions | In the digital age, data is the lifeblood of any organization. It flows like a river, constantly changing and expanding. As businesses grow, so does the need for reliable data replication. This is not just a technical necessity; it’s a stra... |
| Nov 27, 2024 | Репликация данных с использованием Debezium и Kafka | В этой статье мы рассмотрим эволюцию стратегий репликации данных, начиная с ручных подходов и заканчивая автоматизированными решениями, использующими современные технологии, такие как Kafka и Debezium. Ниже описан пример примененный в компа... |
| Oct 20, 2024 | Kafka как хранилище справочников | О чем статья
Хочу поделиться тем, как мы используем kafka для организации оперативного хранилища справочной информации. Архитектура системы и требования
Сейчас я работаю на достаточно высоконагруженном проекте по обработке финансовых транза... |
| Sep 23, 2024 | Как Notion обрабатывает 200 миллиардов объектов данных | Картинки автора поста
Переход от PosgreSQL-only решения к собственному DataLake для отделения read нагрузки под нужды аналитики и AI.Вступление
Если вы использовали Notion, то знаете, что он позволяет вам делать практически всё - создавать ... |
| Jul 15, 2024 | Как Notion проектировал свой data lake, чтобы успевать за быстрым ростом | За последние три года размер данных Notion увеличился в 10 раз из‑за роста количества пользователей и объёмов контента, с которым они работают. Удвоение этого показателя происходило каждые 6–12 месяцев. Нам нужно было справиться со стремите... |
| Jul 1, 2024 | Микросервисы в представлении среднего разработчика, и как всё на самом деле | Периодически общаемся с разработчиками о микросервисах, монолитах и прочих мифических существах. Порой такая эзотерика живёт в головах у людей и слышишь порой такое, что ёжики в тумане нервно курят в сторонке.
Я, когда спросил разработчика ... |
| May 13, 2024 | CDC на примитивах | Суть CDC в том, что он "захватывает" все изменения в базе данных.
Существует два вида CDC:
На основании запросов
На основании журнала
Если говорить про захват изменений на основании запросов, то есть следующие минусы:
Не самый луч... |
| Apr 22, 2024 | Как подойти к внедрению DWH, чтобы не было «больно»? Какие методологии использовать и какой стек выбрать? | Вне зависимости от отрасли количество данных для каждого бизнеса из года в год растет.
Например, в ритейле ежедневно обновляются данные из системы управления торговым залом и кассовых систем, строительство собирает данные из BPM или BIM-сис... |
| Mar 21, 2024 | Обновление кешей сервисов в реальном времени с помощью YDB CDC на примере Yandex Monitoring | Меня зовут Егор Литвиненко. Я старший разработчик Yandex Observability Platform. Летом 2023 года я рассказывал на Saint Highload в Санкт‑Петербурге о нашем пути внедрения YDB CDC для обновления данных в сервисах, чтобы решить проблему инвал... |
| Feb 26, 2024 | Практический пример декомпозиции монолитного PHP приложения | Введение
Стоит отметить, что сам по себе монолит не является антипаттерном и может отлично работать (и часто работает) при определенных условиях, обычно - когда он выбран осознанно. Но чаще всего монолитная архитектура в проекте не потому, ... |
| Dec 10, 2023 | Kafka Connect на примере Debezium PostgresConnector | В предыдущей статье про микросервисную архитектуру на основе событий с использованием Kafka Streams достаточно поверхностно был упомянут io.confluent.connect.jdbc.JdbcSourceConnector, который использовался для вычитания данных из SQLite и о... |
| Oct 16, 2023 | Потоковая обработка данных: анализ альтернативных решений | Всем привет! Я Алексей Понаморевский, разработчик решений для платформ сбора и обработки больших данных.
Два года назад мы в ITSumma создали решение для потоковой обработки данных с помощью Apache Spark и базы данных Greenplum — spark-green... |
| Aug 24, 2023 | Change Data Capture (CDC) в Yandex Data Transfer: гид по технологии с примерами | В современных микросервисных архитектурах регулярно встречаются потребности в кешах, индексах полнотекстового поиска, репликах, а также в реактивном взаимодействии компонентов. Решать все эти задачи по отдельности — тот ещё вызов, но оказыв... |
| Jul 7, 2023 | Реквием по красной панде | маскот redpanda.com смотрит прямо в душу :)
Apache Kafka - давно уже стала стандартом для распределенного лога, буфера для потоков данных. Можно сказать, что технология прочно вошла в разряд "скучных". Множество статей на хабре, м... |
| Jul 4, 2023 | Как Flink Table API упрощает разработку | Всем привет!
В этой статье мы посмотрим на два варианта решения "типичной" задачи потоковой обработки с учетом состояния при помощи фреймворка Apache Flink.
Если вы только начинаете знакомство с Flink, здесь можно найти обильное к... |
| May 23, 2023 | Как мы распиливаем монолит без даунтайма | Всем привет!
На связи Михаил, и я продолжаю делиться историями про рефакторинг одного из сервисов облачной платформы #CloudMTS. В прошлый раз я рассказывал о том, как мы аккуратно раскладывали по папочкам код в соответствии с принципами чис... |
| Mar 1, 2023 | Будни архитектора решений. Или кто он такой и чем занимается каждый день? | Предисловие
Отрасль ИТ уже перестает быть загадочным миром. Большинство людей, даже не работающих в этой сфере, имеют общее представление о том, чем занимаются люди разных наиболее популярных профессий. Аналитики прорабатывают требования к ... |
| Oct 26, 2022 | Когда и как переходить с монолита на микросервисы. Миграция данных | Привет, Хабр! Я Кирилл Рождественский, тим-лид в компании TCP-Soft. Это завершающая часть серии статей про миграцию с монолита на микросервисы. Мы готовим их совместно с коллегами из Mango Office, с которыми создаем общий продукт, поэтому с... |
| Aug 15, 2022 | Типы таблиц в PostgreSQL: logged, unlogged и temporary tables | В PostgreSQL существует большое количество разных типов таблиц. Каждая из них предназначена для решения конкретных задач. Самая распространённая и известная — heap table или стандартная таблица. Про её структуру я рассказывал в прошлой стат... |
| May 23, 2022 | Современный дата-стек: прошлое, настоящее и будущее | Мои размышления о том, откуда мы пришли и куда можем двигаться.
Недавно я выступал с докладом по этой теме на конференции Sisu Future Data, и, поскольку я мыслю в прозе, а не в Powerpoint, мне пришлось оформить свои измышления на бумаге, пр... |
| Apr 8, 2022 | Перенос данных из Oracle в PostgreSQL: секционирование, временные таблицы и инструменты | Поскольку тема «переезда» c СУБД Oracle на СУБД Postgres не теряет актуальности, продолжаем наш цикл о миграции. Это вторая статья о переносе данных из Oracle в Postgres (первая доступна по ссылке). На этот раз мы подробнее остановимся на с... |
| Mar 30, 2022 | Что нового в плане мониторинга в PostgreSQL (Алексей Лесовский) | Доклад Алексея Лесовского про то, что нового есть в PostgreSQL в плане мониторинга.
Охватывать Алексей будет 13 и 14 версии. Далее от его лица.
Пару слов о себе и о том, кто я такой.
Я начинал карьеру с системного администратора. Долгое вре... |
| Feb 8, 2022 | Готовим нагруженный Postgres в Yandex.Cloud | Перед тем как приступать к основной части статьи, наверное стоит начать с вопросов «зачем». В контексте данной статьи их три:
Почему Postgres?
Зачем Public Cloud?
Почему Yandex.Cloud (в контексте постгреса)?Почему Postgres?
Ну да, казалось ... |
| Nov 21, 2021 | Современный стек данных: прошлое, настоящее и будущее | Мои мысли о том, где мы и куда можем прийти
Недавно с такой темой я выступил на конференции Future Data*, организованной Sisu, и поскольку мыслю я в прозе, а не картинками в PowerPoint, мне пришлось написать пост, прежде чем собрать все сла... |
| Oct 12, 2021 | Cloudera : What is new in Cloudera Streaming Analytics 1.5? | At the end of May, we released the second version of Cloudera SQL Stream Builder(SSB) as part of Cloudera Streaming Analytics (CSA). Among other features, the 1.4 version of CSA surfaced the expressivity of Flink SQL in SQL Stream Builder v... |
| Sep 26, 2021 | Сравнение подходов к реализации распределенных транзакций для микросервисов | Автор Bilgin Ibryam
Оригинал здесь.
Вступление переводчика
Хотел освежить знания и посмотреть на новые подходы к реализации распределенных транзакций и наткнулся на, не побоюсь этого слова, монументальную статью по актуальной теме. Решил, ч... |
| Sep 25, 2021 | Как справиться с Debezium + MySql + Spring Could Streams, Part 1 | Добрый день, Хаброжители! Это моя первая статья на Хабре, любые замечания, предложения, пожелания приветствуются!Предистория
На предыдущем месте работы (в одной Британской компанни) существовала распиленная MySql DB под три микросевиса, наз... |
| Sep 2, 2021 | Шаблоны модернизации приложения с помощью Apache Kafka, Debezium и Kubernetes, часть 2 – постмиграционные задачи | Как правило, трудно бывает «продать» руководству чистую миграцию, без улучшения функциональности или каких-то других преимуществ для бизнеса. Вполне логично, что в русле долгосрочной модернизации хотелось бы улучшить существующие сервисы и ... |
| Cloudera Streaming Analytics: унификация пакетной и потоковой обработки в SQL | В октябре 2020 года Cloudera приобрела компанию Eventador, а в начале 2021 года был выпущен продукт Cloudera Streaming Analytics (CSA) 1.3.0. Это был первый релиз, который включал в себя SQL Stream Builder (SSB), полученный в результате инт... |
