Системы деловой осведомленности (Business Intelligence Systems) и хранилища данных

Архитектура систем бизнес-уровня

Состав архитектуры современной системы бизнес-аналитики

Задачами любой системы бизнес-аналитики являются эффективное хранение, обработка и анализ данных. В настоящее время накоплен значительный опыт в этой области.

Эффективное хранение информации достигается наличием в составе системы бизнес-аналитики целого ряда источников данных. Обработка и объединение информации достигается применением инструментов извлечения, преобразования и загрузки данных. Анализ данных осуществляется при помощи современных инструментов делового анализа данных.

Архитектура современной системы бизнес-аналитики организации в обобщенном виде представлена на рис. 4.3.

Рис. 4.3. Архитектура современной системы бизнес-аналитики

Приведенная архитектура демонстрирует длинный путь, который проходят данные, прежде чем попасть на стол аналитику.

Разнообразие источников данных и необходимость их использования в каждом конкретном случае объясняется потребностью по-разному хранить информацию в зависимости от стоящих перед организацией задач. Если попытаться классифицировать источники данных по типам и назначению, то каждый из них можно условно отнести к одной из трех групп: транзакционные источники данных, ХД, витрины данных, информационные панели.

Данные в систему могут заноситься как вручную, так и автоматически. На этапе первоначальной фиксации данные поступают через системы сбора и обработки информации в так называемые транзакционные БД. Транзакционных БД в организации может быть несколько.

Поскольку транзакционные источники данных, как правило, не согласованы друг с другом, для анализа таких данных требуется их объединение и преобразование. Поэтому на следующем этапе решается задача консолидации данных, их преобразования и очистки, в результате чего данные поступают в так называемые аналитические БД. Аналитические БД, будь то ХД или витрины данных, и есть те основные источники, из которых аналитик черпает информацию, используя соответствующие инструменты делового анализа.

При этом система бизнес-аналитики среднего и крупного предприятия или организации должна обеспечивать пользователям доступ к аналитической информации, защищенной от несанкционированного использования и открытой как через внутреннюю сеть организации, так и пользователям сетей Интранет и Интернет. Таким образом, архитектура современной системы бизнес-аналитики является многоуровневой и включает следующие уровни:

1. сбор и первичная обработка данных;
2. извлечение, преобразование и загрузка данных;
3. складирование данных;
4. представление данных в витринах данных;
5. анализ данных;
6. Web-портал.

Рассмотрим перечисленные уровни архитектуры и остановимся на примерах типовых инструментов, которые могут служить основой для построения каждого из них.

Сбор и первичная обработка данных

К первому уровню архитектуры системы бизнес-аналитики относятся упоминавшиеся уже источники данных, обычно именуемые транзакционными или операционными источниками (базами) данных, являющиеся частью так называемых OLTP-систем (online transactional processing). Транзакционные БД включают в себя источники данных, ориентированные на фиксацию результатов повседневной деятельности организации. Требования, предъявляемые к транзакционным БД, обусловили их следующие отличительные особенности: способность быстро обрабатывать данные и поддерживать высокую частоту их изменения, ориентированность, как правило, на обслуживание одного процесса, а не всей деятельности организации в целом.

Примерами здесь могут служить БД, которые используются в биллинговых системах операторами сотовой связи, в автоматизированных банковских системах коммерческих и государственных банков, в интернет-магазинах.

Информация в таких БД ориентирована на конкретное приложение и управляется транзакциями, она сильно детализирована и часто корректируется.

Транзакционные БД отлично справляются с валом повседневной информации, которая должна рутинно обрабатываться каждый день, но не позволяют получить общую картину положения дел в организации в целом и редко могут служить источниками для проведения комплексного анализа.

Итак, совокупность транзакционных источников данных образует нижнее звено архитектуры системы бизнес-аналитики любой организации. В дальнейшем будем исходить из того, что такая система предприятия строится на основе уже имеющихся на вооружении систем сбора и первичной обработки данных, включающих транзакционные источники данных.

Извлечение, преобразование и загрузка данных

Процесс извлечения, преобразования и загрузки данных поддерживается так называемыми ETL-инструментами (extraction, transformation, loading), предназначенными для извлечения данных из различных транзакционных источников нижнего уровня, их преобразования и консолидации, а также загрузки в целевые аналитические БД — ХД и витрины данных. На этапе преобразования устраняется избыточность данных, проводятся необходимые вычисления и агрегирование данных. Трехступенчатый процесс извлечения, преобразования и загрузки должен осуществляться на основе установленного регламента.

Складирование данных

К третьему уровню архитектуры системы бизнес-аналитики относятся источники данных, которые называют ХД (от англ. Data Warehouse). ХД включают в себя источники данных, ориентированные на хранение и анализ информации. Такие источники могут объединять информацию из нескольких транзакционных систем и позволяют анализировать ее в комплексе с применением современных программных инструментов делового анализа данных.

Напомним, что по определению ХД является предметно-ориентированной, интегрированной, некорректируемой, зависимой от времени коллекцией данных, предназначенной для поддержки принятия управленческих решений.

Характерные особенности ХД: относительно редкая корректируемость большинства данных, обновляемость данных на периодической основе, единый подход к именованию и хранению данных вне зависимости от их организации в исходных источниках.

ХД, являясь одним из главных звеньев архитектуры системы бизнес-аналитики любой средней или крупной организации, выступает в качестве основного источника данных для всестороннего анализа всей имеющейся в организации информации.

Представление данных в витринах данных

К четвертому уровню архитектуры системы бизнес-аналитики относятся источники данных, называемые витринами данных или киосками данных (data marts) и предназначенные для проведения целевого делового анализа. Витрины данных строятся, как правило, на основе информации из ХД, но могут также формироваться из данных, взятых непосредственно из транзакционных систем, когда ХД в организации по каким-либо причинам не реализовано.

По типу хранения информации витрины подразделяются на реляционные и многомерные. Витрины первого типа организуются в виде реляционной БД со схемой "звезда", где центральная таблица, таблица фактов, предназначенная в основном для хранения количественной информации, связана с таблицами-справочниками.

Многомерные витрины организуются в виде многомерных БД OLAP (Online Analytical Processing), где справочная информация представляется в виде измерений, а количественная — в виде показателей (метрик). Информация в многомерной витрине данных представляется в терминах бизнеса в виде, максимально доступном конечным пользователям, что позволяет существенно снизить время на получение требуемой для принятия решений информации.

С точки зрения пользователя, отличие витрин данных от ХД заключается в том, что ХД соответствует уровню всей организации, а каждая витрина обычно обслуживает уровень не выше отдельного подразделения и иногда может создаваться для индивидуального использования, отличаясь достаточно узкой целевой специализацией.

Отличие витрин данных от транзакционных БД заключается в том, что первые служат для удовлетворения потребностей конечных пользователей, не являющихся профессиональными программистами: аналитиков, менеджеров разных уровней, решающих различные задачи бизнеса. Транзакционные же БД используются в основном операторами, отвечающими за ввод и обработку первичной информации, а не за ее анализ, нацеленный на поддержку принятия решений.

Применение витрин данных, многомерных и реляционных, в сочетании с современными инструментами делового анализа данных позволяет превратить просто данные в полезную информацию, на основе которой можно принимать эффективные решения.

Анализ данных

К следующему уровню архитектуры системы бизнес-аналитики организации относятся современные программные средства, именуемые инструментами интеллектуального или делового анализа данных (Business Intelligence Tools), или BI-инструменты.

BI-инструменты позволяют управленческому звену организации проводить всесторонний анализ информации, помогают успешно ориентироваться в больших объемах данных, анализировать информацию, делать на основе анализа объективные выводы и принимать обоснованные решения, строить прогнозы, сводя риски принятия неверных решений к допустимому минимуму.

Инструменты интеллектуального анализа данных используются конечными пользователями для доступа к информации, ее визуализации, многомерного анализа и формирования как предопределенных по форме и составу, так и произвольных отчетов, создаваемых управленцем или аналитиком (без программиста). Как уже было сказано, в качестве входной информации для делового анализа выступают не столько "сырые" данные из транзакционных систем, сколько заранее обработанные данные из хранилища или представленные в витринах данных.

Web-портал

В настоящее время российские компании, вслед за западными коллегами, все активнее начинают внедрять у себя различные интернет-технологии. Уже сегодня все больше специалистов, работающих не только в сфере информационных технологий, начинают понимать выгоду от использования этих решений в целях повышения эффективности своего бизнеса. Проведение интеллектуального анализа данных с применением программных решений не только в локальной среде, но и в средах Интранет и Интернет, открывает аналитикам новые возможности работы с данными.

Современные тенденции развития архитектуры системы бизнес-аналитики базируются на применении интернет-технологий. Традиционный вид архитектуры системы бизнес-аналитики в недавнем прошлом дополнился web-порталом, постепенно приобретающим все более весомую роль в ее архитектуре. Возможность доступа к информации через привычный web-браузер позволяет экономить на затратах, связанных с закупкой и поддержкой настольных аналитических приложений для большого числа клиентских мест. Реализация web-портала позволяет снабжать аналитической информацией как пользователей внутри офиса, так и мобильных пользователей-аналитиков в любой точке мира, подключенных к порталу через Интернет.

Реализация архитектуры системы бизнес-аналитики

Сегодня на рынке информационных технологий представлен широкий спектр инструментальных средств, предназначенных для быстрой реализации компонентов архитектуры системы бизнес-аналитики. Применение таких инструментов позволяет не разрабатывать аналитические приложения заново, а воспользоваться готовыми современными технологиями и, следовательно, сократить время и затраты на их создание.

Решение задачи обеспечения пользователей информацией в системе бизнес-аналитики определяется в основном правильным подбором инструментов делового анализа. Но немаловажным является и выбор инструментов поддержки процессов извлечения, преобразования, загрузки и хранения данных.

При реализации системы бизнес-аналитики предприятия могут быть использованы программные решения как разных фирм-производителей (смешанные решения), так и одного производителя (платформенно-базированные решения). И в первом, и во втором случае имеются свои преимущества и недостатки. Поэтому выбор инструментов для реализации архитектуры системы бизнес-аналитики, несмотря на их многообразие, – задача не из простых.

На рынке не существует одного производителя, предлагающего лучшие решения всех требуемых для построения системы бизнес-аналитики программных компонентов. Поэтому совместное использование наиболее подходящих решений от различных производителей позволяет повысить функциональную мощность системы бизнес-аналитики. Критериями оценки инструментов могут выступать как их технические и стоимостные характеристики, так и скорость внедрения, а также уместность использования в каждом конкретном случае.

Однако использование продуктов от разных производителей приводит к значительному усложнению архитектуры системы из-за разнородности инструментальных решений. Это усложнение объясняется необходимостью интегрирования не связанных друг с другом инструментальных решений. Кроме того, администрирование системы оказывается непростой задачей, учитывая несогласованность данных и метаданных, управляемых отдельными, не связанными друг с другом модулями платформ от разных производителей.

При реализации архитектуры системы бизнес-аналитики от одного производителя (если пользоваться терминологией исследовательского центра Gartner, платформенно-базированное решение) решение необходимо искать среди фирм-производителей так называемых BI-платформ (Business Intelligence Platforms).

Данный сегмент рынка информационных технологий представлен более чем 20-ю компаниями, такими как (в алфавитном порядке): AlphaBlox, Arcplan, CA, Comshare, Crystal, Hyperion, Info Builders, Microsoft, Microstrategy, Oracle, PeopleSoft, ProClarity, Sagent, SAP, SAS, Whitelight и др. Среди них выделяются следующие семь лидеров и претендентов на лидерство в данной области: Microsoft, SAS, Oracle, SAP, PeopleSoft, Info Builders, Hyperion

Двое из перечисленных производителей, Microsoft и Oracle, в состоянии реализовать все уровни системы бизнес-аналитики своими силами, не прибегая к инструментам третьих фирм. Решающий критерий, выделяющий этих производителей, — наличие собственной СУБД.

Рассмотрим пример реализации системы бизнес-аналитики организации инструментами Microsoft.