Oracle Enterprise Metadata Management (OEMM): обзор и инсталляция

Обзор

В последнее время необходимость управления метаданными становится очевидной задачей во все большем количестве крупных компаний. Почти все компоненты современных информационных технологий (CASE средства, ETL, хранилища данных, BI, EAI содержат метаданные. Эти метаданные распределены, часто дублируют друг друга, меняются со временем, зависят от используемой методологии и технологий, в которых они используются.

Особенно остро проблема управления метаданными встает в компаниях, использующих инструменты от разных вендоров. В этом случае отсутствует единое представление движения данных в компании. Что влечет за собой дублирование данных (разные команды не знаю об уже существующих в хранилище данных), сложность определения источника некачественных данных (причиной ошибки в отчете может быть как ошибка в BI, так и в ETL) и, как следствие, общее недоверие бизнес-пользователей к аналитике.

Oracle Enterprise Metadata Management (OMM) обеспечивает следующие возможности по управлению метаданными:

  • Data Governance
  • Аннотирование и комментирование метаданных
  • Сравнение, интеграцию и маппинг метаданных
  • Версионирование и управление конфигурацией
  • Управление жизненным циклом метаданных
  • Lineage и impact analysis

 

image


В сердце Oracle Enterprise Metadata Management (OMM) лежит его репозиторий, который содержит такие объекты как Модели и Маппинги, сгруппированные по папкам.  Модели могут извлекаться из хранилищ данных (Data Warehouse), инструментов моделирования данных (Data Modeling), инструментов интеграции данных (Data Integration) и инструментов бизнес анализа (Business Intelligence). Специальный тип объекта репозитория, называемый Конфигурацией, может “сшивать” Модели и Маппинги для того, чтобы представить единую корпоративную архитектуру (Enteprise Architecture). Это позволяет анализировать корпоративную инфраструктуру, выполнять анализ lineage и impact analysis, а также работать с semantic lineage definitions.

Семейство решений Oracle Metadata Management (OMM) включает в себя 2 продукта:

  • Oracle Metadata Management for Oracle Business Intelligence (OMM4OBI)
  • Oracle Enterprise Metadata Management (OEMM)

Эти продукты отличаются в двух измерениях: список источников метаданных и функции, доступные для этих источников.

Продукт Поддерживаемые источники метаданных Доступные функции
OMM4OBI
  • RDBMS:
    • Oracle
    • IBM DB2
    • MSSQL
    • Netezza
    • PostgreSQL
    • Teradata
    • Greenplum.
  • ETL 
    • Oracle Data Integrator (11g, 12c)
  • BI
    • Oracle BI (10g, 11g)
  • Oracle Business Intelligence Applications:
    • Oracle Business Intelligence Applications (OBIA 10g and OBIA 11g)
  • Metadata Harvesting
  • Metadata Configuration and Stitching
  • Metadata Browsing, Search and Reporting
  • Metadata Collaboration (external URL, tagging, comments and review)
  • Data Flow Lineage & Impact Analysis
  • Metadata Explorer (simplified metadata user interface for business users)
OEMM

Все то, что есть в OMM4OBI плюс

  • RDBMS
    • Hive (Cloudera, Datastax, Hortonworks и MapR)
    • Файлы данных (XML с XSD)
  • Инструменты для моделирования:
    • Oracle Data Modeler
    • CA ERwin
    • Embarcadero ER/Studio
    • IBM InfoSphere Data Architect
    • SAP (Sybase) PowerDesigner
  • Стандарты метаданных такие как OMG UML и CWM XMI
  • ETL от разных вендоров:
    • IBM DataStage
    • Informatica PowerCenter
    • Microsoft SSIS
  • BI от разных вендоров:
    • IBM Cognos
    • Microsoft SSAS, Reporting Services
    • Microstrategy
    • SAP BO
    • Tableau.

Все то, что есть в OMM4OBI плюс

  • Metadata Harvesting from multi-vendor technologies
  • Metadata Version and Configuration Management (change management)
  • Data Model Diagram Visualizer and Navigator
  • Business Glossary for Data Governance
  • Semantic Lineage & Impact Analysis
  • Semantic Mapping Editor
  • Data Flow Mapping Specifications Editor

     

Инсталляция

Требования

Оборудование:

  • 2 GHZ или более быстрый четырехядерный CPU
  • 4 GB RAM (8 GB если у вас 64-битная OS с 64-битным сервером приложений).
  • 10 GB свободного пространства на диске (в основном место используется сервером баз данных)

Операционная система:

  • Windows – эта конфигурация работает лучше всего, потому что OEMM сильно зависит от Windows COM API, с помощью которого он получает доступ к многим репозиториям 
  • Linux, Solaris, other Unix (требует ручной инсталляции)

Сервер приложений:

  • Apache Tomcat (комплекте)
  • IBM WebSphere (требует ручной инсталляции)

Java Runtime:

  • Oracle JRE 6 (в комплекте)

База данных:

  • Oracle, начиная с  10gR2 до 12cR1 64-bit (рекомендовано для крупных компаний, эта версия поддерживается по умолчаниб)
    • Character set AL32UTF8 (UTF8) (требуется для Oracle Text)
    • Должен быть проинсталлирован CTXSYS (скрипт <ORACLE_HOME>/ctx/admin/catctx.sql)
    • Редакция Enterprise
    • Лучше поставить последний Service Pack
    • Для 11.2.0.4 обязательно поставить патч 17501296. Для Windows достаточно иметь Bundle 6+. Для Exadata PSU 11.2.0.4.10+
  • Microsoft SQL Server 2008 R2 64-bit
    • Должен быть проинсталлирован Text search
  • Microsoft SQL Server 2012 64-bit
    • Должен быть проинсталлирован Text search
    • Microsoft update (2840628(v2))

Инсталляция OEMM

Чтобы скачать OEMM заходим на edelivery.oracle.com. Соглашаемся с лицензионными условиями и выбираем группу Oracle Fusion Middleware, операционная систем Microsoft Windows x64.

image

 

В появившемся списке выбриаем Oracle Fusion Middleware 12c Media Pack.  Скачиваем Oracle Enterprise Metadata Management 12.1.3.0.0.

После закачки и распаковки получаем файл OMM-win32-800-20140930.exe. Это инсталляционный файл, содержащий в том числе и документацию. Инсталляция не представляет никаких сложностей. Основной вопросы в рамках этой инсталляции:

– это в каком режиме мы будем инсталлировать OEMM – OMM4OBI или OEMM.

image

- на второй закладке будет очень важная ссылка, которая содержит инструкцию по инсталляции

image

- по-умолчанию OEMM инсталлируется на встроенный Apache Tomcat и нам нужно будет выбрать порты:

image

Далее переходим к конфигурированию OEMM.

 

Конфигурирование

Запуск сервиса OEMM

1. Конфигурируем OEMM как сервис. Для этого запускаем

Пуск->Все программы->Oracle Metadata Management->Configure Server as Service

2. Запускаем сервис Oracle Metadata Management Service

Конфигурация базы данных Oracle

Я буду показывать на пример Oracle, но в C:\Program Files (x86)\Oracle\Metadata Management\Documentation\ReadMe\README.HTML есть настройки и для MSSQL.

CREATE USER MIR  IDENTIFIED BY oracle;
GRANT CREATE SESSION TO MIR;
GRANT EXECUTE ON CTXSYS.CTX_DDL TO MIR;
GRANT EXECUTE ON SYS.DBMS_LOCK TO MIR;  — Эту привилегию может выдать только SYS
ALTER USER MIR QUOTA quota ON USERS;
GRANT CREATE PROCEDURE,CREATE SEQUENCE,CREATE TABLE,CREATE TRIGGER,CREATE TYPE,CREATE VIEW TO MIR;

Настройка OEMM для использования базы данных

Для этого заходим по адресу http://oemm:11580/MM/ и вводим параметры для подключения к СУБД.

image

 

После нажатия кнопки Save начнется загрузка данных в базу.

image

Все – система установлена и мы можем входить. Имя пользователя и пароль – Administrator.

image

Заключение

В последующих статьях я планирую написать побольше про использование OEMM для сбора информации о метаданных из различных источников. Удачного использования.

Обращение к веб-сервисам из OEP 12.1.3

Пишу больше для себя:

  1. На сервере поднимаем JDK 1.6.0.45 (почему-то не с 1.7 не взлетело — не было времени экспериментировать)
  2. Генерация обертки для веб-сервисов
    java -cp /u02/Oracle/OEP_Clean/wlserver/modules/com.bea.core.ws.glassfish.jaxws.tools_12.0.0.0.jar com.sun.tools.ws.WsImport EchoService.WSDL
  3. В lib в проекте OEP включаем jar со сгенерированной оберткой плюс com.sun.xml.ws.jaxws-rt_2.2.jar
  4. В манифест прописываем

 

Continue reading ‘Обращение к веб-сервисам из OEP 12.1.3’ »

Инсталлируем GoldenGate Veridata и Monitor 12.1.3

image Ну вот и вышли долгожданные GoldenGate Veridata и Monitor 12.1.3. Как можно видеть версия выровнена со всеми другими продуктами из стека Oracle Fusion Middleware. С одной стороны это хорошо, т.к., очевидно, происходит некая структуризация и совместное развитие всего стека продуктов. С другой стороны это, похоже, иногда приводит к задержке выхода версий. Хотелось бы в будущем видеть более частые релизы всего стека, чтобы новые возможности появлялись как можно быстрее.

Итак, новая версия GoldenGate Veridata и Monitor содержит множество новых возможностей, но в этой статье я не буду подробно о них говорить — это тема отдельное статьи. Я лишь кратко назову наиболее важные:

  • тотальный переход на Weblogic (раньше использовался Tomcat)
  • использование Oracle Universal Installer для инсталляции
  • Veridata научилась восстанавливать рассинхронизированные данные
  • Monitor теперь умеет не только отслеживать состояние, но и управлять GoldenGate

Первый и второй пункт с точки зрения инсталляции наиболее важные. Переход на стандартные инструменты Oracle несколько усложняет инсталляцию , но делает ее более упорядоченной.

Continue reading ‘Инсталлируем GoldenGate Veridata и Monitor 12.1.3’ »

Fusion Middleware Infrastructure

Как оказалось многие продукты в Fusion Middleware 12.1.3 требуют инсталляции Fusion Middleware Infrastructure. А точнее каких-то не понятных wls_jrf_generic.jar или fmw_12.1.3.0.0_infrastructure_Disk1_1of1.zip. Еще ее называют Weblogic with JRF. Ее можно скачать вот здесь http://www.oracle.com/technetwork/developer-tools/adf/downloads/index.html

Continue reading ‘Fusion Middleware Infrastructure’ »

Глобальное обновление Oracle Fusion Middleware 12.1.3

image Oracle выложил, но еще глобально не анонсировал масштабное обновление стека продуктов Fusion Middleware до версии 12.1.3. Это первый релиз так называемых продуктов верхнего слоя.

К нижнему слою (выпущенному в рамках 12.1.2) относятся Weblogic, Coherence, Tuxedo, ODI, JDeveloper. Продукты нижнего уровня, в свою очередь, являются базой для построения верхнего слоя — SOA, BPM, Webcenter, IDM, GoldenGate Monitor & Veridata, ODSI и т.д. Продукты верхнего уровня сразу же выпускаются более высокой версии — 12.1.3 параллельно с обновление продуктов нижнего слоя.

Ключевые направления развития:

  • более тесная интеграция с облачными технологиями
  • интернет вещей
  • мобильные компьютеры
  • Big Data/Fast Data

Презентация Oracle Database In-Memory

db12c_inmemory_cup Сижу в главном офисе Oracle на сходке Data Integration Software Community (OGG, ODI, EDQ, ODSI). А в соседней комнатке Ларри Эллисон готовится презентовать Oracle Database In-Memory. На входе в главный конференц-зал стоят охранники и, похоже, не пускают. Зато вот маркетинговый стаканчик себе зачетный взял (см. слева).

Трансляция будет доступна по следующей ссылке в 10:00 AM Pacific Time, в Москве это 21:00.

Бесплатный мастер-класс по технологиям интеграции данных 25 февраля с 13:00 до 19:00 в Москве

image002 

На семинаре будут рассмотрены следующие темы

  • Экономический эффект от внедрения платформы интеграции данных для конкретных индустрий
  • Влияние роста объемов данных и количества источников на ИТ-инфраструктуру
  • Анализ типичных внедрений и основные проблемы, которые мы видели в организациях при реализации единого подхода к перемещению/обмену/интеграции данных в масштабе предприятия
  • Обзор и демонстрация технологий
  • Использование технологий интеграции данных в современной IT архитектуре: BigData, InMemory, Real-time и Mobile Apps

 

Continue reading ‘Бесплатный мастер-класс по технологиям интеграции данных 25 февраля с 13:00 до 19:00 в Москве’ »

Использование GoldenGate в Oracle Data Integrator 12c

image Одним из крупных нововведений Oracle Data Integrator 12c является более тесная интеграция с GoldenGate:

  • Oracle GoldenGate теперь описывается как сервер данных в топологии. Процессы extract и replicat описываются с помощью физических и логических схем. Такая конфигурация позволяет использовать стандартные подходы ODI по отделению непосредственно проектирования в логических терминах от физического размещения
  • Большинство параметров GoldenGate Extract и Replicat могут быть настроены в рамках конфигурирования физической схемы.
  • Один и тот же mapping может быть использован для пакетной и CDC загрузки
  • Файлы параметров GoldenGate могут быть автоматически загружены в GoldenGate, а соответствующие процессы стартованы. Достигается это за счет использования технологии JAgent.

В этой статье я рассмотрю совместное конфигурирование ODI и GoldenGate для инкрементального обновления хранилища в режиме, близком к реальному времени.

Continue reading ‘Использование GoldenGate в Oracle Data Integrator 12c’ »

Oracle BI 11.1.1.7.1 и SampleApp V309R2

В открытом доступе появилась новая версия Oracle BI SampleApp — это набор демонстраций, призванных показать, что может быть реализовано на базе продуктов Oracle. В новой версии расширены демонстрации по интеграции с:

  • Spatial
  • Enterprise R
  • Endeca
  • Oracle 12c
  • Oracle Text
  • Oracle Data Mining

Публичная демка доступна по адресу http://slc02okm.oracle.com:7780/analytics/saw.dll?bieehome&startPage=1

Логин: Prodney/Admin123

Кому хочется развернуть у себя качайте виртуальную машину вот здесь: http://www.oracle.com/technetwork/middleware/bi-foundation/obiee-samples-167534.html

Некоторые особенности работы с Oracle GoldenGate в режиме downstream

У меня в последнее время было уже 3 крупных и весьма успешных проекта, где GoldenGate Capture настраивали в режиме Integrated Downstream. Этот режиме уникален для GoldenGate и принципиально не может быть реализован в других продуктах (Attunity, SharePlex, Informatica и т.д.), поскольку требует использования XStream, который лицензируется как часть GoldenGate.

Его особенности в том, что (я буду иллюстрировать с помощью рисунка для Standby, но для Downstream все практически также):

  • нагрузка на источник нулевая. Ресурсы тратятся только на пересылку потока журналов). При этом, если мы настраиваем режим LGWR+ASYNC (а так обычно и делается), то пересылкой журналов занимаются процессы LNSn, которыхМенжинская может быть несколько.
    lgwrasync
  • В то же время обеспечивается real-time захват изменений данных. Как можно видеть из рисунка выше передачу журналов обеспечивают процессы LNSn, которые не ждут переключения журнала, а шлют их в потоковом режиме. На Downstream базе их принимает RFS и пишет в Standby Redo Log File (на Downstream они тоже называются Standby Redo).
  • захват изменений осуществляет с помощью XStream, который великолепно масштабируется (для баз с нагрузкой около 500 Гб журналов в час это означает принципиальную возможность репликации, а для ненагруженных это значит, что имеется большая свобода действий)
  • поддерживаются все часто используемые типы данных
  • интеграция с Data Guard. Если будет выполнено переключение на резервный сервер, то GoldenGate продолжит корректно работать

В то же время этот режим имеет и ряд особенностей, о которых мне задают вопросы что делать, если:

  • база данных источника использует старую версию СУБД (10.1, 10.2, 11.1)? 
  • downstream-базе лежала в течение некоторого времени и за это время журналы базы данных источника успели прокрутиться, а иногда даже уехать на ленту?
  • downstream-база умерла и ее невозможно восстановить

Я не буду в этой статье рассказывать о начальной настройке — это уже было сделано в статье Новые возможности GoldenGate 11.2: режим Downstream. Итак, начнем.

Continue reading ‘Некоторые особенности работы с Oracle GoldenGate в режиме downstream’ »