Метаданные в хранилищах данных

Проектирование логической модели метаданных хранилища данных

Обращаясь к изучению вопроса логического проектирования модели метаданных, мы преследуем цель разобраться в сути процесса представления метаданных в ХД и получить навыки построения модели метаданных, которые можно в дальнейшем применить для управления метаданными через репозитории метаданных, поставляемых производителями программного обеспечения для создания ХД.

В разделе "Логическая структура метаданных хранилища данных" мы рассмотрели примеры описания метаданных для различных объектов ХД. Мы будем использовать эти примеры при создании нашей модели метаданных.

Создадим сначала логическую модель данных для метаданных таблиц фактов. Она может быть такой, как на рис. 14.8.

увеличить изображение
Рис. 14.8. Модель метаданных для таблицы фактов

Метаданные о таблице фактов целесообразно разместить в двух сущностях, одна из которых — "Таблицы фактов" — содержит практически не меняющуюся информацию о таблице фактов, а другая — "История загрузки" — содержит данные, которые меняются согласно параметру "Частота загрузки".

В сущность "Таблицы фактов" включена информация:

• о наименовании таблицы фактов;
• о бизнес-определении таблицы фактов;
• об альтернативном имени;
• об ответственном сотруднике;
• о качестве данных;
• о точности данных.

В сущность "История загрузки" включена информация:

• о статистике загрузки данных;
• о статистике использования данных;
• о правилах архивирования данных;
• о статистике архивирования;
• о правилах удаления данных;
• о статистике удаления.

Оставшиеся элементы метаописания таблицы фактов находятся с сущностью "Таблицы фактов" в отношении наследования. Для представления этих элементов метаописания на рисунке введены дополнительные сущности, которые мы будем моделировать далее.

Таблица фактов многомерной модели содержит данные о фактах и метриках. Построим соответствующий фрагмент модели метаданных ( рис. 14.9).

увеличить изображение
Рис. 14.9. Модель метаданных для метрик таблицы фактов

Сущности "Факты", "Метрики фактов", "Метрики" и "Поля схемы "звезда" представляют описание характеристик фактов. Сущности "Атрибуты" и "Домены атрибутов" представляют физические определения метрик фактов в ХД.

Заметим, что в сущности "Атрибуты" присутствует атрибут "Ключ измерения", поскольку эта сущность также должна описывать атрибуты измерений.

Рассмотрим моделирование метаданных измерений ( рис. 14.10).

увеличить изображение
Рис. 14.10. Модель метаданных для таблиц измерений

Сущности "Измерения" и "Измерения и метрики" описывают измерения и их связи с метриками таблицы фактов. Сущность "Атрибуты" описывает атрибуты измерений.

Дополним разработанную модель метаданных для нашего примера информацией об источниках данных, как показано на рис. 14.11.

увеличить изображение
Рис. 14.11. Модель метаданных для хранилища данных

Источники данных для ХД описаны в сущностях "Источники данных", "Таблицы", "Колонки", "Загрузка данных" и "Правила преобразования".

Таким образом, мы построили логическую модель метаданных ХД для нашего примера из раздела "Логическая структура метаданных хранилища данных" настоящей лекции.

Заметим, что не все элементы описания метаданных были использованы при конструировании модели метаданных ХД. Это право проектировщика ХД, основанное на изучении требований к системе складирования данных.

Также обратим внимание на то, что была создана частная модель, которая не учитывает ряд требований, предъявляемых к модели метаданных. Как правило, при построении модели метаданных ХД должен быть учтен ряд обязательных элементов представления метаданных в модели, а именно:

• предметная направленность бизнес-окружения ХД. Этот фрагмент модели метаданных должен описывать направления административно-хозяйственной деятельности организации, т.е. описание бизнес-модели деятельности организации;
• описание качества данных. Этот фрагмент модели метаданных должен описывать требования к качеству данных, загружаемых в ХД;
• описание программно-аппаратной среды ХД. Этот фрагмент модели метаданных должен описывать таблицы, колонки, ключи и процессы обработки данных в ХД;
• описание информационной безопасности. Этот фрагмент модели метаданных описывает процедуры разграничения доступа и аутентификации пользователей в системе, которая использует доступ к ХД.

Обратим внимание на то, что вопросам представления информации об информационной безопасности в этой лекции не было уделено никакого внимания. Как правило, программно-аппаратные решения в области обеспечения информационной безопасности носят конфиденциальный характер, и давать какие-либо общие рекомендации по их описанию в модели метаданных нецелесообразно. Это будет определяться руководителем ИТ-проекта создания ХД.

Резюме

В настоящей лекции мы рассмотрели понятие метаданных как совокупности спецификаций и элементов данных, содержащих описание данных ИС и процессов их обработки. Были определены основные функции и дана классификация метаданных в ХД. Был дан краткий обзор спецификации "Общая метамодель хранилища данных".

На примере конкретного киоска данных было подробно показано, как формировать метаданные для модели, таблиц фактов, фактов, таблиц измерений и источников данных. Приведенное описание метаданных послужило основой для логического проектирования модели метаданных ХД.

Метаданные — это информация о данных, которая требуется для управления ХД, а управление метаданными — существенный компонент архитектуры хранения. К техническим метаданным относится вся информация, которая требуется для настройки и использования ХД. Предметно-ориентированных метаданных включают в себя бизнес-термины и определения данных ХД. Структурные метаданные – это описание объектов ХД и их характеристик. Метаданные процесса обработки данных — это информация, собранная во время работы ХД, такая как происхождение перенесенных и преобразованных данных; статус использования данных (активные, архивированные или удаленные); данные мониторинга, такие как статистика использования, сообщения об ошибках и результаты аудита.

Метаданные часто размещаются в репозитории, который позволяет совместное использование метаданных различными инструментами и процессами при проектировании, установке, применении, эксплуатации и администрировании ХД.