| Date | Title | Description |
| 19.08.2026 | Программа Tantor JAM 2026 | 10 сентября (чт) в Москве пройдет Tantor JAM 2026. В этом году встреча пройдет в особенный момент: компании «Тантор Лабс» исполняется пять лет.
Мы приглашаем разработчиков СУБД, инженеров, архитекторов, администраторов, представителей заказ... |
| 07.08.2026 | ggrebalance: Часть 3. Выполнение ребаланса | В статье рассматривается исполнительная часть утилиты ggrebalance: механизм физического перемещения primary- и mirror-сегментов между хостами кластера Greengage DB (open-source форк Greenplum), устройство конечного автомата ребаланса, отсле... |
| 26.05.2026 | Пап, а это HTAP? — Ну такое, это две разные СУБД в длинном плаще | HTAP - одна из главных тем в мире СУБД. Вокруг PostgreSQL массово появляются конструкции с внешними аналитическими движками со своими моделями хранения данных и ограничениями совместимости, однако бизнесу не совсем комфортно жить в архитект... |
| 06.01.2026 | Каким будет энтерпрайз-СУБД в эпоху ИИ | Мы долго жили в парадигме «каждой задаче — свой инструмент».: для документов — Mongo, для аналитики — ClickHouse или Greenplum, для транзакций — старый добрый Postgres. Но опыт последних лет, особенно жесткий краш-тест российской отрасли, п... |
| 22.12.2025 | Хроники тестирования Data Quality | В современных data-процессах ключевую роль играет обеспечение качества данных. Рассмотрим четыре популярных подхода: DBT, SQL, Python (Pandas/SQLAlchemy) и Great Expectations, оценив их эффективность для различных сценариев проверки данных.... |
| 06.02.2025 | «МегаФон» импортозаместил ПО для обработки данных | «МегаФон» начал процесс переноса своей аналитической платформы на российское программное обеспечение. Партнёром в этом проекте стала компания Arenadata, специализирующаяся на разработке систем управления и обработки данных, рассказали Хабру... |
| 04.02.2025 | Цикл статей о Greenplum. Часть 3. Оптимизация | Приветствуем вас на заключительном этапе в цикле статей о Greenplum. Ранее мы уже обсудили то, как выглядит архитектура системы. Посмотрели «под капот», подробнее обсудили виды хостов и их предназначение, узнали, как обрабатываются запросы ... |
| 30.01.2025 | Бесплатные мероприятия по разным направлениям в IT | Всем привет!
Я — Дарья Касьяненко, эксперт Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ.
Современная IT‑индустрия развивается динамично, и своевременное освоение новых технологий, инструментов и методологий — ключево... |
| 24.12.2024 | Как мы проверяли качество данных после завершения миграции с Teradata на Greenplum | Привет, Хабр! Мы завершаем серию статей о миграции аналитического хранилища данных с платформы Teradata на GreenPlum. В предыдущих статьях мы рассказали о нашем опыте и результатах автоматизированного переписывания SQL‑скриптов с помощью ре... |
| 20.12.2024 | Рынок дата-инженеров и прогноз на 2025 | Резюме видеоРынок дата-инженеров
В своих видео и статьях я ни раз говорил о важности данных, не только потому что я работаю дата-инженером, но и также потому что все привыкли работать с данными.
Также стоит сказать, что в связи с событиями ... |
| 09.12.2024 | Каталог данных своими руками из PowerBi и небольшой БД | Привет! Я Николай, аналитик во ВкусВилле, я запустил и поддерживаю проект по каталогу данных в ВВ.
Поиск данных — нелегкая задача, особенно при большом объеме бизнеса. Много источников информации и множество аналитиков связаны со сложностям... |
| 04.12.2024 | Безграничная расширяемость: как экосистема плагинов помогает Trino работать в любом аналитическом ландшафте | "Trino — это PostgreSQL для аналитики" — нескромно охарактеризовали Trino в одном из блогов. Я не люблю кликбейтные заголовки, но эта фраза действительно емко описывает одну из самых сильных сторон Trino — расширяемость.
В этом бл... |
| 29.11.2024 | Как приготовить DataVault и не испортить Greenplum | Каждый повар в поисках своего фирменного рецепта проходит несколько стадий. Подбор нужных ингредиентов методом проб и ошибок. Неизбежный провал и разочарования. Вторая попытка: замена неподходящих ингредиентов, выбор новых инструментов и, н... |
| 29.11.2024 | В поисках потерянных данных: переход со StreamSets на Data Boring | В современноммире обработки данных обновление инструментов и технологий — необходимость. Казалось бы, непреложная истина, однако на практике к обновлению подкапотного пространства подходят, когда уже ресурсы прежнего решения исчерпаны на по... |
| 19.11.2024 | Как мы попробовали Apache Iceberg в связке со Spark и что из этого вышло | Тема преимуществ открытых табличных форматов при работе с озерами данных всё чаще поднимается в среде дата-инженеров. Предполагается, что их использование способно устранить недостатки популярного Apache Hive. Но так ли это на практике?
Мен... |
| 02.11.2024 | The Future of AI in Veterinary Care: A Deep Dive into Spring Petclinic's Integration | In the world of technology, the marriage of artificial intelligence (AI) and veterinary care is a match made in heaven. The Spring Petclinic project exemplifies this union, showcasing how AI can enhance the efficiency and effectiveness of v... |
| 01.11.2024 | AI и Spring Petclinic: Внедрение ИИ-ассистента с Spring AI (Часть II) | В продолжении статьи автор углубляется в возможности генерации с поддержкой поиска (RAG), чтобы LLM могла учесть некоторую контекстуальную информацию данных, первоначально невходившую в ее обучающую выборку.
В новом переводе от команды Spri... |
| 25.10.2024 | The Data Warehouse: A Crucial Component in the Age of Information | In today's data-driven world, the importance of a Data Warehouse (DWH) cannot be overstated. Think of a DWH as a vast library, where every book represents a piece of data collected from various sources. Just as a library organizes books for... |
| 24.10.2024 | Что такое DWH? | Дисклеймер
Cтатья написана с целью дать лишь общее представление о DWH, поэтому тут много упрощений и неточностей. Буду рад если исправите меня в комментариях. Спасибо
DWH (Data Warehouse или по русски Хранилище данных) - это специализирова... |
| 17.10.2024 | Кейс оптимизации запросов для Greenplum | Всем привет! Меня зовут Андрей, я работаю дата аналитиком в Data Team продукта Dialog.X5/Insights в X5 Tech. Мы предоставляем аналитику по продажам и покупательскому поведению на данных X5 Group. Для обработки больших объёмов данных в проду... |
| 12.10.2024 | Selectel's Bold Leap into Server Manufacturing: A Game Changer for the Tech Landscape | In the fast-paced world of technology, innovation is the lifeblood that keeps companies relevant. Selectel, a prominent player in the data center and cloud infrastructure arena, has taken a significant step forward by unveiling its own line... |
| 10.10.2024 | Партнерство Selectel и Arenadata | Анонсировали технологическое сотрудничество на Selectel Tech Day
Благодаря партнерству смогли предложить рынку новое решение в сфере управления большими данными — аналитическую СУБД Arenadata DB (ADB) уровня Enterprise на выделенных сервера... |
| 28.09.2024 | The Rise of Streaming Frameworks: Unpacking Apache Flink | In the digital age, speed is king. Users demand instant gratification. A few seconds of delay can feel like an eternity. This urgency drives the need for systems that can process vast amounts of data in real time. Enter streaming frameworks... |
| 27.09.2024 | Что такое Big Data | Биг Дата? | Big Data – термин, который вы можете часто встретить на просторах интернета. Вы можете найти множество статей, докладов и прочих материалов по этому термину, но давайте попробуем разобраться в нём, потому что он не так страшен, как о нём го... |
| 23.09.2024 | Покажем вживую, как мы мигрируем аналитическую отчетность с SAP BW на импортонезависимый стек | Приглашаем на вебинар, на котором обсудим вопросы миграции с SAP BW на импортонезависимый стек технологий (включая российские и open source решения, а также собственные разработки). Вебинар будут проводить архитекторы платформ данных, котор... |
| 19.09.2024 | Не потеряться в данных: оптимизируем аналитику с помощью DataHub | Как не потеряться в данных для аналитики?
Когда количество их источников ограничено, а аналитикой занимается пара человек, в целом всё понятно: обеспечить прозрачность вполне можно на уровне ведения документации (если заниматься этим ответс... |
| 10.09.2024 | Опыт перехода с Power Apps и Power Automate на AppSmith. Объясняю «на кошках» | Привет, Хабр!
Я работаю в сфере BI уже несколько лет, и за это время успела познакомиться со множеством инструментов и платформ для анализа и визуализации данных. Среди них, разумеется, популярные no-code BI-платформы: Qlik Sense, Power BI,... |
| 05.09.2024 | «Переезд» в другую СУБД: как не потерять данные | Вопросы «переезда» из одной СУБД в другую всплывают регулярно, особенно актуальны они для растущих компаний. В Modus мы сталкиваемся с такими кейсами все чаще и чаще. Поэтому начнем говорить о миграции и о том, как этот процесс проходит для... |
| 16.08.2024 | Три столпа функционального программирования в Rust: map, filter и fold | Привет, Хабр!
Представьте себе вот такую картину: вы сидите дома, и вокруг вас мирно мурлыкают котики. Но вдруг, что-то пошло не по плану: один начал ловить лазерный указатель, другой карабкается на шторы, третий — нагло укладывается на ваш... |
| 09.08.2024 | Новые инструменты Modus ETL для работы с 1С | Привет, Хабр! На связи Александр Чебанов, product owner Modus. Наша ETL-система может взаимодействовать с неограниченным количеством источников данных разных типов. В частности — с базами любых конфигураций «1С:Предприятия».
Недавно платфор... |
| 31.07.2024 | Greenplum: эффективное хранение данных с Hybrid Storage | В 2021 году мы запустили Greenplum в нашем облаке. И очень скоро столкнулись с тем, что эластичность систем расчёта и хранения — это must have в облачных аналитических БД. А Greenplum — совсем не такой.
Чтобы поменять ситуацию, мы научились... |
| 27.07.2024 | Navigating the IT Landscape: Insights from Recent Meetups and Database Evolution | In the ever-evolving world of technology, staying updated is crucial. Recent events in the IT community highlight this need. The first regional meetup by Beeline in Novosibirsk and discussions on modern database management systems (DBMS) re... |
| 24.07.2024 | Как реализовать и оптимизировать UPSERT в Greenplum 6 | Привет! Меня зовут Антон Васильев, я работаю инженером технической поддержки компании Arenadata и нередко сталкиваюсь с довольно каверзными задачами и багами. Одной из них была проблема оптимизации механизма UPSERT в Greenplum 6. В этой ста... |
| 22.07.2024 | СУБДиариум современного инфраструктурщика | При написании статьи использовались материалы из доклада Владимира Комарова «Автостопом по базам данных» с конференции PGConf2023 с целью популяризации информации о различных СУБД для широкого круга людей и помощи тем, кто сталкивается с ар... |
| 26.06.2024 | Разработка фреймворка для автоматизации загрузок данных из источников: Case Study для металлургической компании | Всем привет! Меня зовут Амир Розикзода, я Data Engineer в компании “ДЮК Технологии”. Хочу рассказать о кейсе, в котором я участвовал в качестве соавтора под руководством моего коллеги Хуснутдинова Артура, Data Engineer в компании “ДЮК Техно... |
| 21.06.2024 | Как эволюционировала платформа управления данными в Яндекс Go. Доклад Яндекса | С 2017 года мы строим и постоянно адаптируем к меняющимся требованиям и внешним факторам платформу управления данными. Для нас это инфраструктура, которая живёт и переиспользуется внутри разных сервисов, которые входят в Яндекс Go: Такси, Е... |
| 19.06.2024 | Интересные задачи, возможность найти себя и погружение в технологические процессы | Максим Феопентов
Максим Феопентов — член программного комитета новой конференции «Онтико» для айтишников в промышленности Industrial++. Он рассказал, что происходит в индустрии и зачем нужны конференции для программистов с заводов. Уже 5 ле... |
| 17.06.2024 | Что нового в Greenplum 7. Часть 2 | В прошлой части обзора изменений и нововведений Greenplum 7 мы рассмотрели миграцию движка Append Optimized таблиц на использование интерфейса табличных методов доступа, оптимизацию добавления столбцов в таблицы, а также изменения, связанны... |
| 13.06.2024 | Миграция витрины данных с СУБД Teradata в СУБД Greenplum | Миграция СУБД с одной технологии на другую — сложный процесс, который связан не только с конвертацией кода и переливкой данных из одной системы в другую. Хотя и здесь есть неочевидные нюансы. Часто это вопросы, связанные с совместимостью фу... |
| 13.06.2024 | Соединяя лучшее из двух миров: как мы построили мост между Spark и Greenplum в ITSumma | В этой статье ведущий администратор баз данных ITSumma Алексей Пономаревский расскажет о том, как мы интегрировали популярный фреймворк для распределенной обработки данных Apache Spark с мощной массивно-параллельной базой данных Greenplum.
... |
| 10.06.2024 | Что нового в Greenplum 7 | Привет! Меня зовут Василий Иванов, и я работаю в компании Arenadata. Одним из первых продуктов компании, вошедших в нашу платформу обработки больших данных, стала Arenadata DB (ADB). В ее основе лежит MPP СУБД с открытым исходным кодом Gree... |
| 06.06.2024 | К2Тех и Arenadata: «Ситуация с Greenplum не является неожиданностью» | Ситуация, возникшая вокруг международного проекта с открытым исходным кодом Greenplum, не окажет негативного влияния на развитие продукта Arenadata DB. Об этом официально заявили представители Arenadata — ведущего российского разработчика П... |
| 16.05.2024 | Postgres Pro Shardman: горизонтальное масштабирование реляционных СУБД | Последние несколько лет мы в Postgres Professional активно занимаемся разработкой своего решения для горизонтального масштабирования PostgreSQL. Пользователям нужен был простой способ увеличить производительность путем добавления узлов. Тра... |
| 13.05.2024 | Apache NiFi как доступный ETL инструмент: кейс применения + тестовый стенд Docker | Привет! Меня зовут Владимир Ходак, я работаю инженером данных в компании "ДЮК Технологии". В статье расскажу о практических аспектах использования Apache NiFi, опишу преимущества и проблемы, с которыми я столкнулся.
На Хабре есть ... |
| 25.04.2024 | Greenplum, NiFi и Airflow на страже импортозамещения: но есть нюансы | В статье описывается практическое применение популярных Open-Source технологий в области интеграции, хранения и обработки больших данных: Apache NIFI, Apache Airflow и Greenplum для проекта по аналитике учета вывоза отходов строительства.
С... |
| 22.04.2024 | Как подойти к внедрению DWH, чтобы не было «больно»? Какие методологии использовать и какой стек выбрать? | Вне зависимости от отрасли количество данных для каждого бизнеса из года в год растет.
Например, в ритейле ежедневно обновляются данные из системы управления торговым залом и кассовых систем, строительство собирает данные из BPM или BIM-сис... |
| 02.04.2024 | Шардирование (sharding). Эпизод 1: Начало и шардирование по идентификатору | Divide et impera (разделяй и властвуй) – древний принцип для управления чем-то большим и сложным.
Многие из нас программируют. Многие из нас делают системы, сложные системы. Но некоторым повезло работать в ситуации, когда объёмы по-настояще... |
| 24.08.2023 | Вам в хранилище или к озеру? Чем занимаются специалисты по работе с данными и как стать Data-инженером | Привет, Хабр! Сегодня рассказываем, чем отличаются подходы к построению распределённых хранилищ данных Data Warehouse (DWH) и Data Lake и в чём специфика задач специалистов, работающих с данными.
Этот материал — переработанная версия вебина... |
| 19.04.2023 | PGConf.Russia 2023: это было красиво | Вечер 1-го дня
Конференция началась с «вешалки»: огромная очередь на регистрацию. В данном случае это был не просчёт организаторов (лично я слышал только похвалы организаторам от посетителей конференции), просто неожиданно много зарегистрир... |
| 28.10.2022 | Тактовый механизм управления DWH: как разгрести бесконечную очередь и не умереть | Привет, Хабр! Я хочу поделиться с тобой тем, как работает наш сервис по управлению загрузками данных – в общих чертах, не погружаясь супер глубоко. Основная задача сервиса – снизить трудозатраты разработчиков и сопровождения DWH на всякую р... |
| 25.11.2021 | PostgreSQL в «Тензоре» — публикации за год (#2) | Добро пожаловать под кат, если вдруг вы пропустили какие-то из наших статей за прошедший год об интересных и полезных возможностях PostgreSQL, которые мы узнаем при разработке нашей системы полного цикла управления бизнесом СБИС — от кадров... |
| 24.10.2021 | Готовим Json в Apache NiFi или снова Jolt Transform | На текущем проекте у нас начинает активно использоваться Apache NiFi в качестве основного ETL/ELT-инструмента. NiFi используется для получения данных из различных источников (Kafka, REST, HDFS) и подготовки данных для их последующей загрузк... |
| 23.07.2021 | База данных как сервис: когда, зачем и как использовать DBaaS в облаке | Database by Julian-Faylona
Многие облачные платформы предлагают базы данных как сервис (Database as a Service, DBaaS). Базу можно создать в облаке в несколько кликов, не тратя время на настройку и поддержку. Но не всем приложениям облачные ... |
| 22.07.2021 | Как и зачем мы сделали Spark-коннектор к Greenplum | Всем привет! Меня зовут Андрей, я работаю системным архитектором в Arenadata. В этой статье расскажу, как и зачем мы сделали свой инструмент для обмена данными между Arenadata DB (аналитическая MPP-СУБД на базе Greenplum) и фреймворком для ... |
