Oracle Enterprise Metadata Management (OEMM): обзор и инсталляция

Обзор

В последнее время необходимость управления метаданными становится очевидной задачей во все большем количестве крупных компаний. Почти все компоненты современных информационных технологий (CASE средства, ETL, хранилища данных, BI, EAI содержат метаданные. Эти метаданные распределены, часто дублируют друг друга, меняются со временем, зависят от используемой методологии и технологий, в которых они используются.

Особенно остро проблема управления метаданными встает в компаниях, использующих инструменты от разных вендоров. В этом случае отсутствует единое представление движения данных в компании. Что влечет за собой дублирование данных (разные команды не знаю об уже существующих в хранилище данных), сложность определения источника некачественных данных (причиной ошибки в отчете может быть как ошибка в BI, так и в ETL) и, как следствие, общее недоверие бизнес-пользователей к аналитике.

Oracle Enterprise Metadata Management (OMM) обеспечивает следующие возможности по управлению метаданными:

  • Data Governance
  • Аннотирование и комментирование метаданных
  • Сравнение, интеграцию и маппинг метаданных
  • Версионирование и управление конфигурацией
  • Управление жизненным циклом метаданных
  • Lineage и impact analysis

Continue reading ‘Oracle Enterprise Metadata Management (OEMM): обзор и инсталляция’ »

Обращение к веб-сервисам из OEP 12.1.3

Пишу больше для себя:

  1. На сервере поднимаем JDK 1.6.0.45 (почему-то не с 1.7 не взлетело — не было времени экспериментировать)
  2. Генерация обертки для веб-сервисов
    java -cp /u02/Oracle/OEP_Clean/wlserver/modules/com.bea.core.ws.glassfish.jaxws.tools_12.0.0.0.jar com.sun.tools.ws.WsImport EchoService.WSDL
  3. В lib в проекте OEP включаем jar со сгенерированной оберткой плюс com.sun.xml.ws.jaxws-rt_2.2.jar
  4. В манифест прописываем

 

Continue reading ‘Обращение к веб-сервисам из OEP 12.1.3’ »

Инсталлируем GoldenGate Veridata и Monitor 12.1.3

image Ну вот и вышли долгожданные GoldenGate Veridata и Monitor 12.1.3. Как можно видеть версия выровнена со всеми другими продуктами из стека Oracle Fusion Middleware. С одной стороны это хорошо, т.к., очевидно, происходит некая структуризация и совместное развитие всего стека продуктов. С другой стороны это, похоже, иногда приводит к задержке выхода версий. Хотелось бы в будущем видеть более частые релизы всего стека, чтобы новые возможности появлялись как можно быстрее.

Итак, новая версия GoldenGate Veridata и Monitor содержит множество новых возможностей, но в этой статье я не буду подробно о них говорить — это тема отдельное статьи. Я лишь кратко назову наиболее важные:

  • тотальный переход на Weblogic (раньше использовался Tomcat)
  • использование Oracle Universal Installer для инсталляции
  • Veridata научилась восстанавливать рассинхронизированные данные
  • Monitor теперь умеет не только отслеживать состояние, но и управлять GoldenGate

Первый и второй пункт с точки зрения инсталляции наиболее важные. Переход на стандартные инструменты Oracle несколько усложняет инсталляцию , но делает ее более упорядоченной.

Continue reading ‘Инсталлируем GoldenGate Veridata и Monitor 12.1.3’ »

Fusion Middleware Infrastructure

Как оказалось многие продукты в Fusion Middleware 12.1.3 требуют инсталляции Fusion Middleware Infrastructure. А точнее каких-то не понятных wls_jrf_generic.jar или fmw_12.1.3.0.0_infrastructure_Disk1_1of1.zip. Еще ее называют Weblogic with JRF. Ее можно скачать вот здесь http://www.oracle.com/technetwork/developer-tools/adf/downloads/index.html

Continue reading ‘Fusion Middleware Infrastructure’ »

Глобальное обновление Oracle Fusion Middleware 12.1.3

image Oracle выложил, но еще глобально не анонсировал масштабное обновление стека продуктов Fusion Middleware до версии 12.1.3. Это первый релиз так называемых продуктов верхнего слоя.

К нижнему слою (выпущенному в рамках 12.1.2) относятся Weblogic, Coherence, Tuxedo, ODI, JDeveloper. Продукты нижнего уровня, в свою очередь, являются базой для построения верхнего слоя — SOA, BPM, Webcenter, IDM, GoldenGate Monitor & Veridata, ODSI и т.д. Продукты верхнего уровня сразу же выпускаются более высокой версии — 12.1.3 параллельно с обновление продуктов нижнего слоя.

Ключевые направления развития:

  • более тесная интеграция с облачными технологиями
  • интернет вещей
  • мобильные компьютеры
  • Big Data/Fast Data

Презентация Oracle Database In-Memory

db12c_inmemory_cup Сижу в главном офисе Oracle на сходке Data Integration Software Community (OGG, ODI, EDQ, ODSI). А в соседней комнатке Ларри Эллисон готовится презентовать Oracle Database In-Memory. На входе в главный конференц-зал стоят охранники и, похоже, не пускают. Зато вот маркетинговый стаканчик себе зачетный взял (см. слева).

Трансляция будет доступна по следующей ссылке в 10:00 AM Pacific Time, в Москве это 21:00.

Бесплатный мастер-класс по технологиям интеграции данных 25 февраля с 13:00 до 19:00 в Москве

image002 

На семинаре будут рассмотрены следующие темы

  • Экономический эффект от внедрения платформы интеграции данных для конкретных индустрий
  • Влияние роста объемов данных и количества источников на ИТ-инфраструктуру
  • Анализ типичных внедрений и основные проблемы, которые мы видели в организациях при реализации единого подхода к перемещению/обмену/интеграции данных в масштабе предприятия
  • Обзор и демонстрация технологий
  • Использование технологий интеграции данных в современной IT архитектуре: BigData, InMemory, Real-time и Mobile Apps

 

Continue reading ‘Бесплатный мастер-класс по технологиям интеграции данных 25 февраля с 13:00 до 19:00 в Москве’ »

Использование GoldenGate в Oracle Data Integrator 12c

image Одним из крупных нововведений Oracle Data Integrator 12c является более тесная интеграция с GoldenGate:

  • Oracle GoldenGate теперь описывается как сервер данных в топологии. Процессы extract и replicat описываются с помощью физических и логических схем. Такая конфигурация позволяет использовать стандартные подходы ODI по отделению непосредственно проектирования в логических терминах от физического размещения
  • Большинство параметров GoldenGate Extract и Replicat могут быть настроены в рамках конфигурирования физической схемы.
  • Один и тот же mapping может быть использован для пакетной и CDC загрузки
  • Файлы параметров GoldenGate могут быть автоматически загружены в GoldenGate, а соответствующие процессы стартованы. Достигается это за счет использования технологии JAgent.

В этой статье я рассмотрю совместное конфигурирование ODI и GoldenGate для инкрементального обновления хранилища в режиме, близком к реальному времени.

Continue reading ‘Использование GoldenGate в Oracle Data Integrator 12c’ »

Oracle BI 11.1.1.7.1 и SampleApp V309R2

В открытом доступе появилась новая версия Oracle BI SampleApp — это набор демонстраций, призванных показать, что может быть реализовано на базе продуктов Oracle. В новой версии расширены демонстрации по интеграции с:

  • Spatial
  • Enterprise R
  • Endeca
  • Oracle 12c
  • Oracle Text
  • Oracle Data Mining

Публичная демка доступна по адресу http://slc02okm.oracle.com:7780/analytics/saw.dll?bieehome&startPage=1

Логин: Prodney/Admin123

Кому хочется развернуть у себя качайте виртуальную машину вот здесь: http://www.oracle.com/technetwork/middleware/bi-foundation/obiee-samples-167534.html

Некоторые особенности работы с Oracle GoldenGate в режиме downstream

У меня в последнее время было уже 3 крупных и весьма успешных проекта, где GoldenGate Capture настраивали в режиме Integrated Downstream. Этот режиме уникален для GoldenGate и принципиально не может быть реализован в других продуктах (Attunity, SharePlex, Informatica и т.д.), поскольку требует использования XStream, который лицензируется как часть GoldenGate.

Его особенности в том, что (я буду иллюстрировать с помощью рисунка для Standby, но для Downstream все практически также):

  • нагрузка на источник нулевая. Ресурсы тратятся только на пересылку потока журналов). При этом, если мы настраиваем режим LGWR+ASYNC (а так обычно и делается), то пересылкой журналов занимаются процессы LNSn, которыхМенжинская может быть несколько.
    lgwrasync
  • В то же время обеспечивается real-time захват изменений данных. Как можно видеть из рисунка выше передачу журналов обеспечивают процессы LNSn, которые не ждут переключения журнала, а шлют их в потоковом режиме. На Downstream базе их принимает RFS и пишет в Standby Redo Log File (на Downstream они тоже называются Standby Redo).
  • захват изменений осуществляет с помощью XStream, который великолепно масштабируется (для баз с нагрузкой около 500 Гб журналов в час это означает принципиальную возможность репликации, а для ненагруженных это значит, что имеется большая свобода действий)
  • поддерживаются все часто используемые типы данных
  • интеграция с Data Guard. Если будет выполнено переключение на резервный сервер, то GoldenGate продолжит корректно работать

В то же время этот режим имеет и ряд особенностей, о которых мне задают вопросы что делать, если:

  • база данных источника использует старую версию СУБД (10.1, 10.2, 11.1)? 
  • downstream-базе лежала в течение некоторого времени и за это время журналы базы данных источника успели прокрутиться, а иногда даже уехать на ленту?
  • downstream-база умерла и ее невозможно восстановить

Я не буду в этой статье рассказывать о начальной настройке — это уже было сделано в статье Новые возможности GoldenGate 11.2: режим Downstream. Итак, начнем.

Continue reading ‘Некоторые особенности работы с Oracle GoldenGate в режиме downstream’ »