Igro-zon.ru

Работа и жизнь
1 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Администратор хранилища данных

Пользователи баз данных. Администратор базы данных, его функции

Хранилища данных.

ХД— предметно-ориентированная, интегрированная содержащая историю Д не разрушающая совокупность Д, предназначенная для поддержки принятия управленческих решений.

1.При создании ХД возникают проблемы с необходимостью состыковать различные обороты

2.Производить настройку ОС и СУБД

3.Разрабатывать схемы Д, индексы запросы и процедуры загрузки Д.

OLAP (опер. аналит. обраб.)

Конечному пользователю предоставляется ряд аналитических и навигационных ф-ций:

*расчеты и вычисления по нескольким измерениям, иерархиям и/или членам

*выборка подмножеств Д для просмотра на экране

*углубление в Д для просмотра инфы на более детализированном уровне

*переход к летальным Д лежащим в основе анализа

*повороты таблицы отражаемых Д

В настоящее время используются различные типы хранения многомерных Д:

*MOLAP-все хранятся в многомерной БД,

*ROLAP-детальные Д хранятся в реляционной БД, агрегаты- в спец служебных таблицах этой же БД

*HOLAP – детальные Д хранятся в реляционной БД, агрегаты в многомерных БД.

Многомерность в OLAP-приложения может быть разделена на три уровня:

-многомерное представление Д

FASMI, FAST, Analysis, Shared.

Пользователь БД — это физическое или юридическое лицо, которое имеет доступ к БД и пользуется услугами информационной системы для получения информации. Категории: — конечный пользователь; — администратор БД; — разработчики и администраторы приложений.

Проблемы многопользовательских БД:

Естественным следствием развития СУБД является проблема организации совместной работы нескольких пользователей с одной и той же совокупностью данных, или, проблемы многопользовательского доступа к данным.

Прежде всего ситуация разделения одной и той же совокупности данных между несколькими пользователями может приводить к возникновению конфликтов (попытка единовременного изменения одной и той же записи, совпадение операций чтения и удаления информации и т. д.).

С точки зрения организации совместного доступа к данным со стороны нескольких пользователей режимы работы с ними делятся на режим монопольного (эксклюзивного) доступа и режим общего (разделенного) доступа.

Режим монопольного доступа к базе данных предусматривает, что только один из пользователей (программных процессов) может работать с ней, а возможность ее открытия другими пользователями (процессами) блокируется. Открытие базы данных в монопольном режиме, как правило, используется для выполнения операций по изменению структуры таблиц и связей между ними, экспорта большого количества информации, выполнения служебных операций с данными (сохранение, восстановление, сжатие) и т. п.

Соответственно, в режиме разделенного доступа сразу несколько пользователей могут работать с базой данных. Для предотвращения возможных конфликтов при попытках со стороны различных пользователей изменить одни и те же записи в СУБД используется механизм блокировок. Блокировка того или иного объекта в случае работы с ним какого-либо пользователя означает предотвращение любых других попыток изменить этот объект, но при этом сохраняется возможность его чтения. Таким образом, механизм блокировок предоставляет более гибкие возможности для манипуляций с данными по сравнению с режимом монопольного доступа.

Читать еще:  Что должен делать администратор гостиницы

Администратор БД – это лицо или группа лиц, отвечающих за выработку требований к базе данных, ее проектирование, создание, эффективное использование и сопровождение.

Осн. ф-и администратора:

— анализ предметной области

— проектирование структуры БД

— задание ограничений целостности при описании структуры БД

— первоначальная загрузка и ведение БД

— обеспечение восстановления БД

— анализ обращений пользователей

— анализ эффективности функционирования БД

— работа с конечными пользователями

— подготовка и поддержание системных ср-в

— организационно-методическая работа по проектированию БД

Дата добавления: 2015-05-09 ; Просмотров: 1028 ; Нарушение авторских прав?

Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет

Корпоративные хранилища данных. Интеграция систем. Проектная документация.

Архитектура корпоративного хранилища данных

Основными компонентами корпоративного хранилища данных являются:

  • Модель данных;
  • База данных;
  • ETL-приложение;
  • BI-приложение.

Архитектура области хранения данных базы данных корпоративного хранилища, как правило, состоит из следующих областей:

  • область временного хранения данных (Staging Area) – предназначена для временного хранения данных, извлеченных из систем-источников; является промежуточным слоем между операционными системами компании и хранилищем данных;
  • область постоянного хранения данных, которая включает:
    • детальные данные (System of records) – область хранения детальных данных, приведенных к структуре модели данных корпоративного хранилища, прошедших очистку и обогащение;
    • агрегаты (Summary area) – сгруппированные по времени (чаще просуммированные) детальные данные;
    • витрины данных (Data Marts) – тематические наборы данных, хранящиеся в виде пригодном для их анализа (например, схема «звезда»); ориентированны на поддержку конкретных бизнес-процессов, приложений, подразделений компании, бизнес-целей;
  • интерфейсы обмена данными с другими системами (Data Exchange Interface или Feedback Area) – таблицы БД, в которых храняться подготовленные для передачи в другие информационные системы компании данные из области постоянного хранения данных;
  • метаданные (Metadata) – являются важной частью архитектуры хранилища данных. Метаданные — это данные, описывающие правила, по которым «живет» хранилище. Например, с точки зрения базы данных хранилища, метаданными является описание структур таблиц, взаимосвязей между ними, правил секционирования, описание витрин данных и т.п. С точки зрения ETL, метаданными являются описания правил извлечения и преобразования данных, периодичность выполнения ETL-процессов и т.п.

Обычно приведенные выше области хранения данных реализуются в виде отдельных схем одной или нескольких баз данных.

Читать еще:  Что должен уметь системный администратор список

Ниже представлена общая схема организации областей хранения данных.

Область временного хранения данных (Staging Area)

Область временного хранения данных является промежуточным слоем между источниками данных и областью постоянного хранения. В данной области сохраняются извлеченные из операционных систем-источников (СУБД, csv, dbf, xml файлов, web-сервисов и т.д.) данные, производится их очистка, трансформация, обогащение, подготовка к загрузке в область постоянного хранения. Зачастую очередной цикл обработки и загрузки данных в хранилище не может быть начат пока не будут извлечены все необходимые данные из различных систем-источников, а в силу ряда причин (географической распределенности, разных циклов функционирования систем и т.п.) данные в источниках могут быть доступны в разные моменты по времени. Область временного хранения служит для сбора всех необходимых данных перед началом трансформации.

Одной из наиболее важных задач при построении хранилища данных является определение соответствия (mapping) сущностей систем-источников данных и сущностей модели хранилища данных. Обычно подобное соответствие представляет собой отношение десятков (а иногда и сотен) таблиц систем-источников к десяткам таблиц области постоянного хранения данных. Правильно организованная область временного хранения данных позволяет значительно упростить организацию процессов загрузки данных из области временного в область постоянного хранения.

Ниже представлены основные принципы формирования области временного хранения.

  1. В области временного хранения данных должно быть относительно небольшое количество сущностей — до 20, в которые сохраняются все необходимые данные, извлеченные из систем-источников.
  2. Основой для проектирования состава сущностей области временного хранения должны являться предметные области (Subject Area) модели данных.
  3. При извлечении данных из систем-источников сами данные и их типы не должны принципиально изменяться.

Детальные данные (System of records)

Данная область является основной хранилища данных. В этой области хранятся преобразованные и очищенные детальные данные, полученные из систем-источников, и основные классификаторы. Хорошо спроектированная модель данной области является залогом дальнейшего успешного функционирования базы данных и BI-приложения.

Данная область содержит следующие типы сущностей:

  • справочники и классификаторы;
  • сущности, содержащие фактические значения;
  • сущности, описывающие связи.

Справочники и классификаторы определяют:

  • участников основных бизнес-процессов – клиентов, поставщиков, филиалы, услуги, продукты и т.п.
  • базовые справочники – дата и время, валюта, страны и т.п.
  • прочие справочники – отражающие потребности бизнеса в необходимой аналитике данных, определяющие в разрезе каких справочников необходимо анализировать фактические данные.

Сущности, содержащие фактические значения, – транзакционные данные из систем источников. Например, информация о совершенных телефонных звонках, выставленных счетах, проводках, проданных товарах и т.п.

Сущности, содержащие связи, определяют взаимосвязи между остальными сущностями. Например, Клиент-Услуга.

Читать еще:  Сис администратор это

Область детальных данных не содержит никаких агрегатов. Только детальные, очищенные и структурированные в соответствии с моделью данные.

Агрегаты (Summary area)

В данной области хранятся агрегаты данных, которые в основном строятся для сущностей, описывающих участников бизнес-процессов. Например, агрегаты строятся для данных по продажам товаров, оказанию услуг, клиентам и т.п. Данные агрегируются в разрезе времени – от часа, дня к неделе, месяцу. Для каждого агрегата может быть определена своя степень агрегации данных.

Витрины данных (Data Marts)

Витрины данных являются объектами хранения аналитической информации, нацеленными на поддержку конкретных бизнес-функций, конкретных подразделений компании. На уровне базы данных витрины обычно реализуются по схеме «звезда» или «снежинка» и содержат данные из области детальных данных (System of records). Также могут быть реализованы в виде многомерного OLAP-куба. Витрины данных являются основой, обеспечивающей возможность проведения многомерного анализа (OLAP) данных.

Ниже представлены основные принципы проектирования витрин данных.

  1. Витрины данных ориентированы на бизнес и при их проектировании необходимо учесть все измерения, показатели и иерархии, необходимые пользователям.
  2. При проектировании витрин данных необходимо учитывать особенности BI-приложения, используемого на проекте. Например, в Oracle Discoverer нет возможности создавать несбалансированные иерархии и это нужно учитывать.

Интерфейсы обмена данными (Data Exchange Interface)

Хранилище обычно строится с целью консолидации в нем данных компании, и поэтому оно зачастую является источником данных для других информационных систем. Для обмена данными создаются интерфейсы обмена (обычно это таблицы базы данных), в которых и хранятся специально подготовленные (возможно, перед передачей данных потребуется их предобработка) для передачи данные. Интерфейсы обмена желательно создавать как можно более универсальными.

Метаданные (Metadata)

Разработка и сопровождение системы с хорошо спроектированными и описанными метаданными является более простой задачей, нежели при отсутствии таковых. Метаданные хранилища включают:

  • информацию о данных, их бизнес-описание и структуру хранения;
  • описание структур источников данных, их доступности;
  • информацию о структуре процессов ETL, периодичности их выполнения, применяемых правил очистки и преобразования данных;
  • описание бизнес-представления данных, помогающее пользователю работать с BI-приложением;
  • информацию о настройках безопасности, правил аутентификации и назначенных прав доступа;
  • статистику утилизации ресурсов, обращений к данным и др., которая помогает администратору оптимизировать работу базы данных хранилища.

Обычно управление метаданными осуществляется отдельными инструментами для каждого из компонентов хранилища. Например, для базы данных Oracle, метаданные которой хранятся в системных таблицах и настроечных файлах, это будет Oracle Enterprise Manager.

голоса
Рейтинг статьи
Ссылка на основную публикацию
Adblock
detector