| Date | Title | Description |
| 29.01.2025 | The Evolving Landscape of AI Text Detection and Look-a-Like Pseudolabeling | In the world of artificial intelligence, the line between human and machine-generated text is blurring. As AI models grow more sophisticated, the challenge of distinguishing between the two becomes a game of cat and mouse. This article expl... |
| 26.01.2025 | Зачем в Look-a-like pseudolabelling (или самый простой метод PU-learning на службе у рекламщиков) | Готовил семинар студентам и почему-то нигде не могу найти этот простой и действенный способ именно в контектсе Look-a-Like (если не прав -- поделитесь, пожалуйста, в комментариях ссылкой).Бизнес-задача
Представьте задачу:
К вам пришел предп... |
| 24.01.2025 | Mastering Data Cleaning: The Unsung Hero of Data Science | In the world of data science, data cleaning is the unsung hero. It’s the meticulous art of transforming raw data into a polished gem. Just like a sculptor chisels away at a block of marble, data scientists chip away at imperfections to reve... |
| 22.01.2025 | Основы очистки данных в data science | В реальной жизни данные, к сожалению, не идеальны и требуют тщательной предобработки. Проблемы с данными могут возникать по разным причинам: из-за их природы, способа сбора или ошибок при вводе.
Очистка данных позволит сделать анализ более ... |
| 24.12.2024 | The Cinematic Landscape: Trends, Data, and Box Office Battles | In the world of cinema, data is the new gold. As audiences flock to theaters, understanding what drives their choices is crucial. The recent analysis of film data from platforms like КиноПоиск and the box office performance of films like &q... |
| 20.12.2024 | Анализ фильмов с интернет-портала Кинопоиск | О. Р. Чумакова* , С. Р. Леонов* , И. В. Пятлин* и А. А. Антонов*
*Санкт-Петербургский политехнический университет Петра Великого, Санкт-Петербург, Россия
Данное исследование посвящено анализу данных о фильмах, собранных с крупнейшей российс... |
| 15.11.2024 | Harnessing Dask and Heatmaps for Data Analysis: A Dual Approach | In the realm of data analysis, two powerful tools stand out: Dask for time series analysis and heatmaps for game level optimization. Each serves a unique purpose, yet both share a common goal: transforming raw data into actionable insights.... |
| 15.11.2024 | Navigating the Skies: The Future of Drone Mapping and Game Design Analytics | In the realm of technology, innovation often emerges from necessity. Two recent articles shed light on this phenomenon, one focusing on drone mapping and the other on game design analytics through heatmaps. Both highlight the importance of ... |
| 15.11.2024 | Navigating the Skies: The Evolution of Drone Mapping with Litchi Add-ons | In the world of drone technology, efficiency is king. Pilots crave tools that simplify complex tasks. Enter Litchi, a popular app for drone flight planning. It’s like a Swiss Army knife for aerial photography. But what happens when it falls... |
| 14.11.2024 | Руководство по heatmap для анализа игрового уровня | Привет, Хабр! В этой статье мы разберемся, как тепловые карты (heatmaps) могут стать мощным инструментом для анализа поведения игроков и оптимизации дизайна игровых уровней. Тепловые карты позволяют выявить скрытые закономерности в том, как... |
| 13.11.2024 | Dask для анализа временных рядов | Привет, Хабр!
Сегодня расскажем, как с помощью Dask можно анализировать временные ряды. С временными рядами всегда заморочек много: большие данные, сложные расчеты. Но Dask отлично с этим справляется.
Для начала установим Dask:
!pip install... |
| 03.11.2024 | Возможности функции scatterplot() библиотеки seaborn | Диаграмма рассеяния показывает взаимосвязь двух переменных в виде точек на графике. В библиотеке seaborn диаграммы рассеяния строятся функцией scatterplot().
Перейдём сразу к практике!
Для начала нам нужны данные, на которых мы будем "... |
| 31.10.2024 | The Rise of AI-Powered Drone Technology in Railway Safety | In the realm of modern technology, drones are the new eyes in the sky. They hover above, capturing images with precision that rivals the best cameras. This innovation is not just for breathtaking landscapes or thrilling aerial shots. It’s m... |
| 30.10.2024 | Распознавание ж/д пикетных столбиков по фотографиям с беспилотника на основе PyTorch и YOLOv5 | Тенденция применения беспилотных летательных аппаратов (БПЛА) продолжает развиваться и процветать. Оснащение беспилотников камерами и навигационным оборудованием геодезического класса точности позволяет получать ортофотопланы с сантиметрово... |
| 23.10.2024 | Книга: «Causal Inference на Python. Причинно-следственные связи в IT-разработке» | Привет, Хаброжители!
Причинно-следственный анализ — одна из важнейших методологий современной науки о данных (data science), однако между теорией и практикой сохраняется большой пробел. Матеуш написал лучшую на сегодняшний день книгу, котор... |
| 07.10.2024 | The Art of Data Preprocessing in Machine Learning: A Crucial Step for Success | In the world of machine learning, data is the lifeblood. But raw data is often messy, like a canvas splattered with paint. Before we can create a masterpiece, we must first clean it up. This process is known as data preprocessing. It’s the ... |
| 07.10.2024 | Предварительная обработка данных в машинном обучении: инструкция, инструменты, полезные ресурсы для начинающих... | В статье рассказываем, зачем обрабатывать данные перед загрузкой в модель, как провести предобработку и какие инструменты использовать.
Мария Жарова
Data Scientist, Альфа-БанкЧто такое предобработка данных
Предобработка — это подготовка наб... |
| 19.09.2024 | Топ-5 библиотек для анализа данных на Python | Python — один из самых популярных языков для анализа данных благодаря множеству удобных и эффективных библиотек. Эти инструменты помогают обрабатывать, анализировать и визуализировать данные, делая вашу работу быстрее и проще.
Преподаватель... |
| 30.07.2024 | Кто такой Python-разработчик, что делает и какие навыки необходимы? | Разработчик Python / Python developer — это программист(developer), занимающийся разработкой программного обеспечения с использованием языка программирования Python.
Python — это высокоуровневый язык, широко применимый в разных сферах: от в... |
| 27.07.2024 | Navigating the Waters of Automated Trading: A Newbie's Journey | In the vast ocean of financial markets, many dream of sailing smoothly toward wealth. Automated trading, or algorithmic trading, is one vessel that promises to navigate these waters efficiently. However, for newcomers, the journey can be fr... |
| 26.07.2024 | Newbee торговый бот: часть вторая, скрининг рынка облигаций ОФЗ | После того как ко мне пришло небольшое понимание того, как минимизировать финансовые убытки, я начал заимствовать немного кода с Kaggle Learn. С помощью чего попытаюсь в этой статье показать, как определить на какие позиции лучше не лезть, ... |
| 16.07.2024 | Бутстрап и доверительные интервалы: от теории к практике на Python | Введение
Применение
Ограничения
Схема бутстрапа
Эфронов доверительный интервал
Доверительный интервал Холла
t-процентильный доверительный интервал
Реализация на Python
Проблемы
ПримечанияВведение
Бутстрап — это вычислительный статистический... |
| 15.07.2024 | Использование моделей EfficientNet для классификации изображений | Искусственные нейронные сети (ИНС) — мощный инструмент в области компьютерного зрения, особенно в задачах классификации изображений. Эта область применения была одной из первых, для которой ИНС были разработаны. Например, перцептрон Розенбл... |
| 28.06.2024 | Основы теории вероятностей для будущих программистов и дата-аналитиков | Теория вероятностей — важный инструмент, который помогает создавать случайные числа для симуляций и криптографии, улучшать алгоритмы и структуры данных, а еще — разрабатывать точные модели для машинного обучения.
Вместе с Ильей Котовым, спе... |
| 25.06.2024 | Маршрутизация обращений: автоматизация в ИТ-поддержке с помощью ИИ и языковых моделей | Передовые технологии ИИ могут не только ускорить, но и значительно повысить качество обработки обращений. Я занимаюсь в НЛМК генеративным искусственным интеллектом и расскажу, как нам совместно с ИТ‑вендором Аксеникс удалось преобразовать п... |
| 21.06.2024 | Кто выжил при крушении Титаника? | 15 апреля 1912 года потерпел крушение крупнейший пассажирский корабль первой половины ХХ века "Титаник". На его борту было 2240 пассажиров. В результате аварии с айсбергом более полутора тысяч человек погибли, и только около 700 с... |
| 18.06.2024 | Про что могут спросить аналитика данных о статистике на интервью: 3 темы | Привет, Хабр!
Когда проходит собес на позицию аналитика данных, одна из важных проверок - это знания по статистике. Компании хотят убедиться, что вы понимаете статистику и умеете применять ее на практике для принятия решений на основе данны... |
| 15.06.2024 | Мои мысли о Python in Excel | 22 августа 2023 года компания Microsoft выпустила предварительную версию «Python in Excel». Я разработчик xlwings и автор книги O’Reilly Python for Excel, поэтому мне, разумеется, стало интересно её потестировать. Не следует судить книгу по... |
| 14.06.2024 | Лучшие библиотеки Python для Data Science в 2024 году | Python — один из самых распространенных языков программирования в Data Science (третье место в опросе разработчиков StackOverflow). Популярность языка обусловлена наличием множества пакетов, которые можно использовать для решения различных ... |
| 07.06.2024 | Повышаем интерпретируемость SHAP-графиков | Привет, Хабр! В моей работе часто возникают задачи на исследование влияния факторов, на которые мы можем оказывать продуктовое влияние, на целевые метрики сообществ ВКонтакте. Один из возможных способов решения подобных задач — обучение ML‑... |
| 07.06.2024 | Где лучше всего пробовать идеи для обучающихся систем? | Для того, чтобы разобраться в сложной и объемной теме машинного обучения, попробовать свои силы и отточить навыки, оптимально подходит библиотека scikit-learn (sklearn). Это среда языка Python, она реализует множество различных алгоритмов о... |
| 27.05.2024 | Быстрая Data Quality проверка на базе алгоритма adversarial validation | Привет, Хабр! Всем привет, меня зовут Максим Шаланкин, я Data Science Team Lead в команде Финтеха Big Data МТС. Из этой статьи вы узнаете, как оценивать качество данных при помощи алгоритма adversarial validation с использованием spark user... |
| 22.05.2024 | Распознавание капчи при помощи CNN модели | Привет, Хабр!
Хочу поделиться своим опытом предобработки картиной с капчей и созданием модели, которая может определить, что же за символы в этой картинке. Код с архитектурой модели и обучением тоже будет, но основной упор часть с предобраб... |
| 22.04.2024 | Насколько быстрее стали терминалы в GNOME 46? | VTE (Virtual TErminal library) — это библиотека, лежащая в основе различных эмуляторов терминала GNOME. Она предоставляет GTK-виджет, отображающий элемент терминала, используемый в приложениях наподобие GNOME Terminal, Console, Black Box, T... |
| 18.04.2024 | T-test. Зависимость от независимости | Привет, Хабр! Теме А/Б-тестирования посвящено достаточно много статей, и вот держите ещё одну. Тема экспериментов для выявления эффективности внедрения доработок популярна не только последний год и она, скорее всего, освещена уже со всех во... |
| 03.04.2024 | Парадоксы в данных, и почему визуализация бывает необходима | В этой заметке я хочу разобрать несколько «парадоксов» в данных, о которых полезно знать как начинающему аналитику данных, так и любому человеку, кто не хочет быть введенным в заблуждение некорректными статистическими выводами.
За рассматри... |
| 27.03.2024 | Управление цветами в Seaborn: как визуализировать данные красиво | Привет, Хабр! В этой статье я расскажу про своё видение работы с цветом при визуализации графиков. Буду показывать все на примерах — уверен, они вам понравятся.
Я покажу не только картинки было-стало, но и приведу примеры кода, а также объя... |
| 18.03.2024 | Основные типы распределений вероятностей в примерах | Статистические исследования и эксперименты являются краеугольным камнем развития любой компании. Особенно это касается интернет-проектов, где учёт количества пользователей в день, времени нахождения на сайте, нажатий на целевые кнопки, поку... |
| 18.03.2024 | Классификация экзопланет (часть I обработка данных) | В космосе есть нечто завораживающее и прекрасное, в то же время человек устроен так, что если ему что то не известно, то он будет этого бояться (спасибо нашим мамам папам в n-ном поколении за столь широкий диапазон восприятия информации и р... |
| 07.03.2024 | 15+ полезных ссылок для начинающего специалиста по Data Science | Привет, Хабр! Меня зовут Раф. Сейчас я работаю аналитиком ценообразования в Яндекс Лавке, куда попал после стажировки в команде аналитики Яндекс Браузера. Параллельно учусь в НИУ ВШЭ и уже успел пройти курс «Специалист по Data Science» в Пр... |
| 18.01.2024 | Уникальные стили визуализации данных в Python: от Cyberpunk до элегантности | Содержание:
Введение
Стандартные библиотеки Matplotlib и Plotly
Уникальные стили (mplcyberpunk, Holoviews, Seaborn-style, plotnine, mpld3)
ЗаключениеВведение: Важность Визуализации Данных в Python
В современном мире, где данные управляют бо... |
| 16.12.2023 | Мамкин программист про ИИ, «программисты скоро будут не нужны» и прочие страшилки | Недавно на Habr вышел перевод статьи под названием: «Классическое программирование на грани вымирания» с постапокалиптической сгенерированной картинкой, где автор буквально пишет, что «Приближается конец эпохи классических компьютерных наук... |
| 22.08.2023 | Microsoft is bringing Python to Excel | Microsoft today announced the public preview of Python in Excel, which will allow advanced spreadsheet users to combine scripts in the popular Python language and their usual Excel formulas in the same workbook.
This feature will first roll... |
| 01.08.2023 | Работа с хребтами (ridge plot) в Seaborn | Введение
Визуализация данных является важной частью анализа данных, помогая нам лучше понять данные, выявлять закономерности и тенденции. Среди многих инструментов визуализации данных библиотека seaborn пользуется популярностью благодаря от... |
| 10.07.2023 | Опенсорс-библиотеки для Python: 40+ вариантов, как упростить жизнь начинающего дата-сайентиста | «Удовольствие от программирования на Python должно заключаться в том, чтобы видеть короткие, лаконичные, удобочитаемые классы, которые выражают множество действий в небольшом количестве ясного кода, а не в грудах пустых символов, утомляющих... |
| 08.05.2023 | Анализ таблиц сопряженности средствами Python. Часть 1. Визуализация | АКТУАЛЬНОСТЬ ТЕМЫ
Категориальные данные имеет огромное значение в DataScience. Как справедливо заметили авторы в [1], мы живем в мире категорий: информация может быть сформирована в категориальном виде в самых различных областях - от диагно... |
| 22.03.2023 | История о том, как прочитать 120 тысяч анекдотов и не рассмеяться раньше времени | Кейс изучения средств тематического моделирования для датасета анекдотов на русском языке. Датасет не размечен, поэтому в данной работе делается предварительное выделение топиков объединяющих анекдоты, с использованием различных методов:
би... |
| 17.12.2022 | Гистограммы и графики распределения в Python
Визуализация одномерных данных в Python
Гистограммы
Когда гистограммы бесполезны
Графики распределения (Density Plots)
Заключение... | Визуализация одномерных данных в Python
Построение графика одной переменной кажется простой задачей. Но насколько это просто в действительности — эффективно отобразить данные со всего одним измерением? Долгое время я обходился стандартной г... |
| 27.09.2022 | Регрессионный анализ в DataScience. Простая линейная регрессия. Библиотека statsmodels | АКТУАЛЬНОСТЬ ТЕМЫОбщие положения
Про регрессионный анализ вообще, и его применение в DataScience написано очень много. Есть множество учебников, монографий, справочников и статей по прикладной статистике, огромное количество информации в ин... |
| 19.05.2022 | Как рисовать диаграммы в Seaborn | 10 типов диаграмм, о которых вы должны знать
Начинающие аналитики могут смело класть эту шпаргалку в закладки, а мы приглашаем вас под кат за диаграммами и кодом, пока начинается наш курс по анализу данных. Для удобства мы сократили текст и... |
| 07.04.2022 | Как сравнивать распределения. От визуализации до статистических тестов | В подробном лонгриде к старту курса по анализу данных вы найдёте авторские визуализации, пояснения и комментарии об искусстве сравнивать распределения и делать выводы.
Сравнение эмпирического распределения переменной по разным группам — рас... |
| 29.12.2021 | TalkPython: лучшие пакеты Python по итогам 2021 года | На КДПВ в гостях у TalkPython вы видите Гвидо ван Россума — создателя Python, Марка Шеннона, план ускорения Python в 5 раз за 4 года и, конечно, автора подкаста. А мы делимся подборкой пакетов Python, о которых шла речь в выпусках за уходящ... |
| 27.09.2021 | Алгоритмы поиска схожих объектов в рекомендательных системах | «Досмотрю вот это видео на YouTube и пойду спать! Ой, в рекомендациях еще одно интересное. Сон, прости…». «Закажу в IKEA только стулья. Ах, сайт показал мне еще посуду, постельное белье и новую кухню в сборке. Когда там следующая зарплата?»... |
| 15.07.2018 | Где применяется Python: 3 основных назначения языка
1. Веб-разработка
2. Обработка данных (включая машинное обучение, анализ и визуализацию данных)
Анализ данных и визуализация данных
3. Написание... | Отдел новостей 15 июля 2018, 10:00 Где применяется Python: 3 основных назначения языка
Оставить комментарий |