Oracle Data Integrator - это законченная платформа для интеграции данных, в которой реализованы все требования, вытекающие из необходимости интеграции данных больших объемов, высокой производительности при пакетной обработке, событийно-ориентированных и SOA-определяемых сервисов данных. Основа технологии Oracle Data Integrator: Extract, Load, Transform (E-LT) является архитектурной основой, позволяющей разделить нагрузку на экземпляры РСУБД, чтобы обрабатывать и трансформировать данные - позволяя таким образом оптимизировать производительность, масштабируемость и снижать общую стоимость решений.
Слушатели изучают:
- Использование Oracle Data Integrator, чтобы выполнить трансформацию данных между различными платформами.
- Конструирование ODI маппингов, процедур, и пакетов для выполнения ELT трансформаций.
- Администрирование ODI ресурсов и настройка безопасности ODI.
- Выполнение интеграции данных и трансформации между разными платформами.
- Использование графического интерфейса ODI для создания процедур, пакетов и ELT заданий..
- Настройка и обслуживание безопасности, многопользовательности в ODI среде.
- Реализация захвата измененных данных в ODI.
- Использование ODI веб-сервисов и практическая реализация интеграции данных в SOA-архитектуре на ODI
Необходимая предварительная подготовка:
- Общее понятие о ELT процессах
Рекомендуемая предварительная подготовка:
- Практические навыки использования SQL
Рекомендуемые связанные курсы:
- Oracle Enterprise Data Quality: Match and Parse
- Oracle Data Integrator 11g: Advanced Integration and Development
- Oracle Enterprise Data Quality: Profile, Audit and Operate
- Oracle Database: Introduction to SQL
Цель курса:
Описание концепций ODI модели.
Описание архитектуры Oracle Data Integrator 12c.
Применение концепции ODI топологиий для интеграции данных.
Конструирование ODI маппингов, процедур, пакетов, планов загрузки для выполнения ELT трансформаций.
Исследование, аудит данных и применение процедур качества данных в ODI.
Администрирование ODI ресурсов и настройка безопасности в ODI.
Реализация процедур захвата измененных данных в ODI.
Использование ODI веб-сервисов и практическая реализация интеграции ODI с SOA-архитектурой
Аудитория курса:
Архитекторы
Разработчики
Технические специалисты, реализующие ELT процедуры в хранилищах данных
Аналитики
Введение
Обзор тем и задач курса. Что есть Oracle Data Integrator? Зачем нужен Oracle Data Integrator? Обзор архитектуры ODI. Обзор компонентов ODI. О графическом описании единичных действий при интеграции данных. Типы ODI агентов. Обзор Oracle Data Integrator репозитариев.
Администрирование ODI репозитариев и агентов
Администрирование ODI репозитариев. Создание простраства хранения репозитария. Создание и соединение с мастер-репозитарием. Создание и соединение с рабочим репозитарием. Управление ODI агентами. Создание агента на физическом уровне. Вызов Listener, Scheduler и веб-агента.
Пример балансирования нагрузки.
Концепции ODI топологии
Обзор топологии ODI. О серверах данных и физических схемах в них. Определение физической архитектуры. Определение логической архитектуры. Отображение логических и физических ресурсов. Определение Агентов. Определение Топологии. Планирование Топологии.
Описание физической и логической архитектур
Обзор Topology Navigator. Создание физической архитектуры. Создание серверов данных. Тестирование сокдинения с сервером данных. Создание физической схемы. Создание логической архитектуры. Обзор логической архитектуры и применение понятия контекста. Соединение логической и физической архитектур.
Создание и настройка нового проекта в ODI
Обзор ODI проектов. Создание нового проекта. Создание и наполнение папок проекта. Организация проектов и папок. Понятие о Knowledge Modules. Возможности ODI объектов и использование глобальных объектов в проектах. Экспорт и импорт объектов. Создание маркеров, использование маркеров для наглядной работы с объектами в проектах.
Концепции модели Oracle Data Integrator
Что есть модель? Понятие метаданных в ODI. Понятие Reverse Engineering. Создание моделей. Организация моделей. Создание Data stores. Определение ограничений и условий в ODI. Создание ключей и ссылок для поддержания целостности данных.
Организация ODI моделей и создание Data stores
Что есть маппинг? Бизнес-правила для маппингов. Создание простого маппинга. Что есть операция объединения? Что есть фильтр? Что есть ограничение? Что такое Staging Area?
Концепция ODI маппингов
Что есть маппинг? Бизнес-правила для маппингов. Что есть маппинг, фильтр и объединение? Обзор интеграционного процесса. Что есть Staging Area?
Месторасположение зоны исполнения команд и инструкций. Маппинг, основанный на Knowledge Modules (KM). Создание маппинга для передачи аттрибутов между объектами.
Проектирование маппингов
Проектирование маппинга. Множество источников в виде Data stores. Создание объединений. Фильтрация данных. Временное выключение части трансформаций в маппинге. Обзор потока данных. Определение местонахождения Staging Area. Выбор Knowledge Modules.
Маппинги: Мониторинг и Отладка
Мониторинг Маппингов. Обзор объектов, видимых на вкладке Operator. Обзор Sessions and Tasks. Как мониторировать исполнение маппинга?
Как найти причины неуспешности сессии исполнения? Основы просмотра и анализа исполняемого кода. Работа с ошибками. Советы по предотвращению ошибок.
Проектирование Маппингов: Расширенные Возможности
Бизнес-правила в маппинге. Обзор элементов бизнес-правил. Создание и отслеживание значений переменных. Создание пользовательских функций. Методы вызова подстановочных переменных в маппинге. Модификация KM. Просмотр значений переменных в логе. Настройка процедуры Reverse Engineering, используя RKM.
Создание и запуск ODI процедур
Что есть Procedure? Примеры использования Procedures. Создание Procedures. Добавление команд. Добавление опций. Запуск процедуры. Просмотр результатов исполнения на вкладке Operator. Создание и запуск ODI пакетов. Что есть пакет? Создание пакета. Исплнение пакета. Расширение возможностей пакета. Обработка ошибок. Управление путями исполнения. Создание циклов. Использование закладки Advanced.
Управление ODI Сценариями и версиями
Что есть сценарий? Управление сценариями через планы загрузки. Подготовка сценария к Deployment. Автоматизация управления сценарием. Запуск сценария по расписанию в ODI. Обзор ODI управления версиями. Обработка конкурирующих изменений.
Применение процедур Data Quality (качества данных) и Auditing Data в ODI
Зачем необходимо Data Quality? Когда применяются процедуры Data Quality? Data Quality приложениях-источниках данных. Управление Data Quality в интеграционном процессе. Data Quality в приложениях-приемниках данных. Применение процедур Data Quality. Познавайте свои данные. Аудирование Data Quality.
Работа с захватом измененных данных (CDC)
Обзор управления над контролем версий в ODI. Техника захвата измененных данных. Захват измененных данных в ODI. CDC стратегии и инфраструктура. CDC консистентное чтение. Создание Change Data Capture (CDC). Просмотр данных/измененных данных. Журнализация.
Администрирование ODI ресурсов: Расширенные Возможности
Использование Open Tools. Инсталляция Open Tools. Использование Open Tools в пакетах. Использование Open Tools в процедурах или KM. Разработка собственного Open Tools. Настройка ODI безопасности. Определение политик безопасности. Определение политик, накладываемых на пароли.
Создание Web Services и интеграция ODI с SOA архитектурой
Веб-сервисы внутри шагов процедур. Использование Data Services. Настройка Data Services. Тестирование Data Services. Инсталляция публичных Web Services. Использование публичных Web Services. Вызов Web Services. Интеграция ODI с SOA архитектурой.
Расширение возможностей ODI через применение SDK
Написание на SDK публичных интерфейсов. Интеграция данных через ODI SDK. Примеры применения SDK.
