о визуализации данных и развитии BI-систем
канал в телеграмме | подборки | видео

Избранное

Позднее Ctrl + ↑

Навыки для визуализации данных

Немного вводных мыслей. Если не интересно, листайте сразу к разделу с навыками.

Классный дизайн обычно свойственен B2C продуктам — часто именно удобство и эстетичность продукта это Unique Selling Point, который продвигает продажи товара или услуги. А вот B2B продукты с этим отстают. Да, B2B продукты сейчас тоже стараются делать классными или даже делают это основой и стратегией всего продукта, как, например BOX. Посмотрите видео их основателя в Y-Combiantor, который рассказывает как они смогли за счет дизайна отъесть долю рынка у гигантов бизнеса. Но всё равно, это скорее исключение из правил.

Ещё в более плачевной ситуации оказываются внутренние инструменты, которые делают для себя сами компании внутри для целей анализа или управления бизнесом. К таким инструментам относятся и системы аналитики (оно же BI — business intelligence) и визуализации данных. Да, сами системы могут быть крутыми и классными, но вот контент в них часто делают ужасный. И это не вина инструмента (хотя Тафти, например, прям ругает Power Point), это проблема отсутствия у сотрудников необходимых навыков.

Кто делает контент в BI системах
Контент (отчеты и дашборды) в этих системах создают или сами бизнес-пользователи, или аналитики данных. Если это делают бизнес-пользователи, то им часто не хватает технических скилов и понимания как в целом работать с данными (как правильно интерпретировать результаты анализа).

Если же отчеты делают аналитики, то эти отчеты зачастую излишне сложны, в них есть куча фильтров и обычно много-много таймсерий. Ещё, не хочу обобщать, но в целом у аналитиков часто есть проблемы с дизайном, ведь они никогда этому не учились или не обращали на это внимание.

Вот как выглядят типичные дашборды, который сделали бизнес-пользователи (таблицы с хайлайтами) или аналитики (много разбивок и сложные показатели):

Почему так происходит
На мой взгляд основная проблема в том, что визуализация данных требует большого кол-ва навыков из довольно противоположных областей. Получается так, что ребята, которые учатся на дизайнеров, редко изучают статистику и основы бизнес-анализа, а аналитики, наоборот, ничего не слышали про теорию близости или композицию. Поэтому найти классных специалистов очень сложно. Когда подбирал людей в команду, я решил составить матрицу компетенций по визуализации данных — это реально помогает понять что спросить на собеседовании.

Навыки для визуализации данных

Сделаю оговорку, что я говорю больше про визуализацию для бизнес аналитики, а не журналистику, дата-арт или что-то такое. Я выделяю такие основные навыки (порядок без приоритета, по мне все одинаково важны).

Больше «дизайнерские»

Визуализация данных
«Тафти скилз» — минимизация чернил, принципы визуального кодирования данных, принципы оформления графиков.
Читать: Тафти, Манзнер, Богачёв, Блог Тани

Графический дизайн
Правила верстки, композиция, модульные сетки, цвета и типографика, адаптивный дизайн, работа с динамичным контентом (изменение данных в графиках).
Читать: Советы на сайте Бюро и книги, которые там рекомендуют.

Дизайн интерфейсов и UX
Выбор подходящих элементов управления, паттерны использования UI элементов, сценарии работы.
Читать: Раскин, Норман

Сторителлинг
Нарратив анализа данных в дашборде, выделение идей и их презентация, аннотации, принципы журналистики данных и построение пирамиды Минто.
Читать: Минто, Роэм, Нафлик

Больше «технические»

Инструмент
Технические знания инструмента и сode style: лучшие практики совместной работы с кодом, источниками данных, нейминга и поддержания порядка. Тут для каждого инструмента своё. По Табло рекомендую смотреть их официальные обучалки, про организацию кода — читать Фаулер

Основы статистики
Распределения, медианы, доверительные интервалы и стат значимость, понимание расчетов метрик и их иерархий, понимание аддитивных и неаддитивных показателей.
Читать: Уилан.

Бизнес-навыки
Управления продуктом, знание предметной области и здравый смысл: сбор требований и постановка задачи, управление ожиданиями и т. п.
Читать: Советы Бюро и рекомендуемые там книги.
  
Каждый из этих навыков тянет на отдельную профессию, и я, например, ещё не успел прокачать все из них до прям хорошего уровня, но, так как чаще всего у аналитиков развиты больше «технические» навыки, то, даже обладая средними «дизайнерскими» навыками, я чувствую, что это позволяет делать продукты на голову выше, чем у многих ребят. Поэтому, если вы аналитик или технарь, то прокачайте дизайнерскую часть хоть немного и будете сильно круче и конкурентнее на рынке. А вот если вы дизайнер, то знайте, что в технических областях вас может ждать прям мега успех. Мне почему-то кажется, что технические навыки прокачать проще, но у меня байас, я сам вышел из инженеров и мне дизайн дается сложнее.

Используя этот поход, мы для своей команды составляем уровень текущих навыков и верстаем матрицу компетенций, а далее — план развития для каждого. Вот пример матрицы компетенций, в каждом столбце член команды:

Матрица компетенций

Подробнее про каждый навык с примерами на реальном дашборде рассказал на конференции KZ BI:

Шаблоны верстки дашбордов

Сейчас много приходится работать с различными дашбордами для бизнеса: делать самому или помогать придумывать коллегам макеты. Выработались некоторые стандартные шаблоны под разные задачи, хочу ими поделиться.

Условно я делю дашборды по решаемой ими задаче:
— Узнать что-то про определенную сущность (заранее знаю что хочу увидеть).
— Получить какой-то инсайт, не зная что именно ищу. Или сделать выводы, имея в голове определенный алгоритм поиска.
— Отслеживать операционные данные на «ежедневной» основе.

Шаблон «Страница сущности»
Задача: Узнать что-то про определенную сущность (заранее знаю что хочу увидеть)

Эта задача может быть в двух вариантах. Первый — когда сущность, которой вы интересуетесь можно определить в один клик (например, конкретный город из списка), или это какая-то сложносоставная сущность, для которой потребуется выделить несколько срезов (оборот продаж в определённом городе, определенного товара в определенный месяц, то есть потребуется применить несколько фильтров). Примером из обычной жизни будет поездка в другой город. Если вы турист и едете туда впервые, вы хотите узнать сводную информацию по этому городу и смотрите путеводитель — «страницу», где описана вся основная информация про этот город. Чтобы попасть на такую страницу вам было бы достаточно выбрать город из списка. Второй вариант задачи — вы уже были на каком-то курорте, но хотите посмотреть температуру воды за конкретные даты. Здесь вам понадобится выбрать и город, и даты, и саму метрику — температуру воды.

В первом случае можно использовать шаблон типа «лонгрид» или «сайт с закладками». При этом выбор ключевой сущности происходит в самом начале или ещё до начала работы с дашбордом (ссылка с фильтром). Это аналогично страницы на фейсбуке: вы нашли человека и видите все его метрики: когда родился, где учился, где работает, что сейчас постит. То же самое в бизнесе — вы региональный менеджер и отвечаете за город, попадаете на страницу города, а там продажи в разных разрезах, кол-во поставщиков, карта с магазинами и т. п. При этом в качестве сущности может быть не только что-то физичное, но и какая-то метрика. Например, вы следите за доходностью в разных разрезах: по городам, по продуктам и т. п.

Рецепт: «лонгрид» или «сайт с закладками», в которых есть всё про выбранную вами сущность в разных разрезах. Первый этаж или вкладка с овервью, остальные с детальной информацией по каким-то разрезам. Основных фильтров мало и они живут в шапке дашборда, есть доп. фильтры на каждом этаже/вкладке для тонкой настройки. Интерактивность такого отчета лучше сделать средней и в основном с помощью фильтров. Если система позволяет делать асинхронную загрузку и якорные ссылки на отдельные этажи «лонгнрида», то я бы выбрал «лонгрид». Если система так не умеет (например, Табло), то лучше делать «сайт с вкладками», желательно умещая каждую вкладку на один экран (но и лонгрид можно делать, нужно смотреть конкретные кейсы). Классно иметь такие страницы на разные бизнес сущности и делать кросс-линки между собой.

«Лонгрид»
«Сайт с закладками»

Когда мы хотим изучить какой-то узкий срез и выбрать его в один клик не получается, то лучше использовать другой подход. Часто пример такого среза — сочетание метрика-«место»-время: хочу посмотреть прирост продаж год к году в городе Б за месяц X. В таком случае хорошо работает шаблон: «утром деньги, вечером стулья», когда мы просим пользователя сначала выбрать какие-то параметры и после этого показываем ему данные. Фильтры располагаем слева, справа результат (согласно направлению чтения). Пока пользователь ничего не выбрал, можно показывать общие данные по тоталу или другую полезную информацию, например топ-10 чего-то с наибольшим изменением к предыдущему периоду и т. п. Примером из обычного мира будет сайт с билетами в кино: вы выбираете фильм → время → место в зале.

Рецепт: Слева фильтры → справа результат. Какие-то глобальные фильтры, которые применяются редко и могут быть сохранены заранее для группы пользователей, можно расположить в шапке. Такой дашборд лучше умещать на один экран.

«Утро деньги, вечером стулья»

 
 
Шаблон «Аналитический инструмент»
Задача: Получить какой-то инсайт, не зная что именно ищу. Или сделать выводы, имея в голове определенный алгоритм

Такая задача возникает, когда вы хотите исследовать какую-то область бизнеса, найти какие-то взаимосвязи и принять решение. Или понять как принятые ранее или планируемые действия повлияли или повлияют на бизнес.
В этом случае важно видеть общую картину и иметь возможность провалиться ниже для детального анализа. Такие инструменты подходят для задач, для которых дорого делать ML и подобные алгоритмы, но при этом «слепые» решения на интуиции будут неэффективны. Дизайн для таких инструментов, пожалуй, одна из самых трудных задач среди всех описанных в статье шаблонов и всегда очень сильно затачивается под задачу.

Примером задачи может быть такой кейс. Предположим, что вы отвечаете за поставки в магазины какого-то города. На прошлой неделе произошел сбой в одном из распределительных центров. Вы хотите понять отразилось ли это как-то на работе магазинов. При этом вы не знаете точно за какой именно метрикой будете следить, вам нужно проанализировать разные метрики и сделать вывод. Примером из обычного мира будет сайт с афишей или карта дешевых авиабилетов, когда вы еще не решили куда лететь, но хотите посмотреть какие бывают варианты. В UX такое называется discovery сценарием.

Ещё очень похожей задачей будет, если у вас в голове уже есть алгоритм, которым можно воспользоваться для того, чтобы сделать вывод. Тогда нужен или просто удобный инструмент, чтобы это сделать быстро и наглядно, или всевозможные инструменты what-if анализа. Их тоже очень класно показывать через визуализацию данных, особенно если вы следите сразу за несколькими сложными сценариями с несколькими переменными.

Рецепт (краткая версия): Разбираемся в бизнес-задаче и какими метриками описывается эта задача. Здесь важно идти от того, что происходит в реальности, к тому как это превращается в метрики и срезы. Если можем, то выбираем главные и вспомогательные метрики. Хорошо, если можем следить за изменением какой-то одной метрики, чтобы понять общий ход событий, а на остальные смотреть, если нужно прокопать причинно-следственные связи. Делаем несколько визуализацией в разных срезах. Чем мельче детализация, тем лучше (вместо средних продаж, показываем значения продаж каждого магазина и т. п.). Слева основные визуализации, справа доп. информация и различные срезы по основной метрике (если есть). Много интерактива — графики фильтруют друг друга, возможно проваливаемся в другие дашборды или показываем доп. графики и срезы при наведении. Сам «шаблон», по сути, не шаблон, а подстраивается под каждую задачу.

Рецепт (полная версия) — задачи такого класса ИМХО хорошо описаны в алгоритме Лаборатории данных Тани Бибиковой. Подробнее в статье на Хабре или на учебном курсе .

«Аналитический инструмент»

 

 
Шаблон «Приборная панель»
Задача: Отслеживать операционные данные на «ежедневной» основе

Это как раз те самые дашборды, про которые говорят упоминая «дашборд». Это системы мониторинга, основная их задача — как можно быстрее дать понимание текущей ситуации. Это тот случай, когда, приходя на работу с утра, нужно взглянуть на дашборд и понять, что происходит в вашем королевстве. Недавно для своей команды мы тоже сделали такой дашборд и повесили на стенку телевизор. Я понял, что недооценивал этот инструмент и он работает очень классно. Работа команды как на ладони при таком подходе. В обычной жизни такие вещи встречаются нам в виде спидометров автомобилей, виджетов с остатками на счету мобильного и личными кабинетами банков.

Рецепт: Разрабатывая дашборд для операционного мониторинга точно придется разбираться с иерархией метрик и выбрать что-то, за чем хотим следить в первую очередь. Важно давать контекст, а не только текущие значения (спарклайны с динамикой, значки приростов, средние и референсные значения). Хорошо работают регулярные структуры и small multiples, если пользователь отвечает за группу метрик. Такие отчеты должны быть наименее интерактивны, но могут вести на более детальные отчеты в виде «страниц сущностей» и т. п.

«Приборная панель»

Вместо вывода
Я постарался рассказать свои идеи, но конечно же они не покрывают все задачи и не могут являться стандартом. Можно смешивать их, они отлично работают в комбинации, а можно делать как-то совсем по-другому. Основная идея из серии «капитана очевидность»  — определяйте задачу вашего пользователя, стройте дашборды вокруг них и старайтесь при этом выделять повторяющиеся паттерны.

Gap minder или Hans Rosling — мой кумир

В этом посте расскажу, про одного замечательного человека и его проект, которые вдохновили меня на занятие визуализацией данных.

Я уже не помню где я увидел это видео. Толи наткнулся на TED’е или ещё как-то. Идеи о которых говорил автор понравились мне и вдохновили. Они были просты, красивы и очень важны. Именно это видео дало мне желание находить интересные данные и представлять их в интересном и «правильном» виде.

Думаю, что Ганс сделал огромный подарок миру создав очень простую и в то же время мощную визуализацию. Как она работает он объясняет вот здесь.

Почему я вспомнил про это видео и Ганса Розлинга. Он выпустил новый фильм. В этот раз тема «нищета». Я ещё не успел посмотреть его и не знаю чего ожидать. Предлагаю вам посмотреть его самим и сделать свои выводы. Очень рекомендую творчество этого ученого и оратора.

UPD: Ганс ушел из жизни 7-ого февраля 2017 года. Он считал — всё в наших руках, статистика лишь инструмент анализа.

Ресурсы по визуализации данных

В этой заметке я разберу какие ресурсы по визуализации данных существуют в интернете и что на них можно найти. Речь пойдет именно о информационном дизайне, ресурсы по инструментам для визаулизации в одной из следующих заметок.

Лучшие и поддерживаемые сайты

Сайт flowingdata.com

На этом сайте можно найти множество статей, которые точно пригодятся, ресурс регулярно обновляется. Можно вдохновится идеями для своих визуализаций или найти полезные приёмы и примеры. Есть подборка проектов автора сайта и туториолов по визуализации при помощи R и d3.js.

Сайт visualisingdata.com

Этот сайт — агрегатор новостей посвященных визуализации данных. Статьи обычно являются ссылками на другие ресурсы. Больше всего мне нравятся сводки лучших визуализаций за прошедший месяц, где можно найти очень классные примеры, например такой как этот.

Сайт informationisbeautiful.net

Это авторский проект Дэвида МакКандлесса — английского журналиста и дизайнера, которые делает инфографику и иногда интерактивные визуализации. У сайта интересная эстетика, которая проходит через все работы автора, о которых он очень классно рассказывает на TED’е. Правда из-за особенностей дизайна, на мой взгляд, сайт имеет не самую лучшую навигацию.

Сайт datavizcatalogue.com

На этом классном ресурсе собрано большое количество различных типов диаграмм и графиков, для которых подробно описано, как они строятся и когда их лучше использовать. Must have. Сайт автора проекта.

Персональный сайт Стэфани Эвергрин

Это сайт инфомрационного дизайнера, которая написала диссертацию по тематики и книгу. Книгу ещё не читал, но видел, что её рекомендуют. Также она ведёт блог, где много интересных заметок

Блог Роберта Косары

Очень хороший блог с полезными статьями.

Блог datavizblog.com

В этом блоге автор собирает инфорграфику и свои наблюдения.

Сборник примеров от infogr.am

На этом сайте уйма примеров (1660 штук), много просто инфографики, но есть и интерактивные визуализации.

Сборник визуализаций данных всемирного банка

В этом блоге собрано много примеров. Интересно, что все они построены на данных всемирного банка.

Сборник антипримеров

В этом блоге автор собирает плохие примеры. Бывает полезно!

Давно не обновлявшиеся сайты или сайты на которых немного информации.

Сайт datavisualization.ch

Хороший ресурс с большим количеством полезных статей. К сожалению, последнее обновление — сентябрь прошлого года.

Сайт infosthetics.com

Этот сайт поддерживается бельгийским профессором Эндрю Ванд Муром. В основном статьи на сайте — это ссылки на примеры различных визуализаций и инфографик. Последний апдейт на сайте от сентября 14 года.

Сайт chartporn.org

Это сборник примеров графиков, инфографики и визуализаций. Последнее обновление в феврале этого года.

Галерея www.visualcomplexity.com

Этот сайт — галерея различных примеров (906 штук). Последнее обновление ноябрь прошлого года.

Персональный сайт Роксаны Тории

Это страничка информационного дизайнера из Голандии. Есть примеры её работ.

Блог про картограммы

Это блог Энли Вудрофа. Он один из создателей (на ровне с Синтеей Брюер)) замечательного инструмента для подбора цветов colorbrewer. Блог посвящён картам и всему что с ними связанно. Статьи выходят не очень часто — последняя февраль 2015 года.

Подводя итоги

В глобальном интернете достаточно большое количество ресурсов по визуализации данных, но не так много как хотелось бы. ))) Если знаете ещё полезными ресурсы, делитесь ссылками.
Вот здесь собраны большинство перечисленных ресурсов и на них можно подписаться скопом.

Ресурсы в рунете по визуализации данных

В этой заметке я расскажу о том какие есть ресурсы в интернете на русском языке и что на них есть полезного.

Хаб «Визуализация данных» на хабрахабре

На этом хабе (тематическом разделе) размещены все статьи с тэгом Визуализация данных. Статей много (на момент написания заметки было 143 публикации), но далеко не все они напрямую связанны с интерактивной инфографикой. Статьи, в основном, технического характера, также много про математику и big data. В любом случае, ресурс полезный.

Блог Тани Бибиковой и её советы в бюро

Таня — руководитель Лаборатории данных, она ведёт свой блог в котором много полезной информации, а главное есть классные примеры из рубрики вопрос-ответ, где каждый месяц появляется решение и, чаще всего, прототип какой-нибудь интересной задачи по визуализации.
Также Таня вела рубрику советов по инфодизайну во время работы в бюро Горбунова.

Блог Константина Варика

Этот блог похоже уже не поддерживается (последний пост 24 декабря 2014 г.). Впечатления от блога смешанные — есть полезные статьи, есть мура. Плюс все стрёмно оформлено. У этого же автора есть сайт с примерами его работ.

Блог R: Анализ и визуализация данных

Блог Сергея Мастицкого про применение языка R для анализа данных. Блог очень технический и больше про анализ, зато много информации про подготовку и обработку данных, что бывает очень полезно. Блог ведется очень активно и на базе него даже выпущена книга.

Сайт infogra.ru

Этот сайт — новостной портал по тематике. В разделе с интерактивной инфографикой можно найти примеры. В основном это просто ссылки на зарубежные сайты и краткое описание проекта.

Сайт infographer.ru

Был ещё хороший сайт infographer.ru, но на момент написания заметки он выдает ошибку 404, надеюсь с ним все хорошо. На сайте можно найти примеры и статьи — в основном это переводы или ссылки на зарубежные ресурсы.

Подводя итоги

Ресурсов в рунете совсем немного, просто чертовски мало. Интересно это связанно с непопуляроностью тематики или просто всем хватает зарубежных ресурсов (про них в следующей заметке). Пишите если знаете ещё какие-то источники.

Курсы по визуализации данных

В этой заметке я размещу ссылки и описание курсов по визуализации данных.

Курс лаборатории данных

Единственный курс на русском языке, посвящённый данной тематике. Курс проводиться как в живую, с возможностью онлайн трансляции. Так и бесплатно онлайн онлайн. Причем лекции онлайн курса доступны в открытом доступе на странице курса. Они состоят из трёх небольших лекций по теории информационного дизайна и трёх практических примеров по использованию d3.js. К сожалению, этого чертовски мало и хочется больше, было бы здорово попасть на живой курс. Также надо быть готовым к тому, что придется программировать и если раньше вы этого не делали, то поначалу это может показаться очень сложным.

Курс Data Visualization and D3.js

Это курс от компании Udacity по структуре похож на курс лаборатории — в нем есть теоретическая часть про информационный дизайн и практическая часть про применение d3.js и библиотек основанном на нём. Курс отличный: он бесплатный, большой и там более подробно рассмотрены основы программирования, есть тесты и задания, а также он содержит кучу ссылок на классные примеры. Как и в случае с войной и миром можно просмотреть только ту часть курса (теория или программирование) которая вам интересна и ничего не потерять.

Курс Data Visualization

Этот курс от Иллинойского Университета расположен на Coursera. Эта платформа у меня уже давно в любимчиках за свои замечательные и, о чудо, бесплатные курсы. Курс еще не закончен, но опишу текущее впечатление — много теории, не всегда нужной (ощущение, что добавляли для массы), но при этом даже эти дополнительные разделы и главы интересны. Более подробно когда пройду его весь.

Мини-курс по картограммам

Этот курс Андрея Карматского выделил отдельно, так он на русском языке. Будет интересен тем, кто хотел бы визуализировать карты. В курсе есть полезная информация где взять геоданные для России. К курсу прилагается статья на Хабре.

Ещё курсы

Эти курсы я ещё не прошел/просмотрел или они стартуют позже в этом году:

UPD: Помимо куросов по визуализации данных полезным могут быть курсы по программированию, веб-дизайну или графическому дизайну.

Ранее Ctrl + ↓