По окончании курса слушатели смогут:
Представлять концепцию и архитектуру хранилища данных
Выбирать подходящую аппаратную платформу для хранилищ данных
Планировать и создавать хранилища данных
Реализовывать потоки данных в SSIS пакетах
Производить отладку и устранение неполадок SSIS пакетов
Реализовывать ETL решение, которое поддерживает инкрементную загрузку хранилища и изменение данных
Осуществлять интеграцию данных из облака в хранилище данных
Реализовывать очистку данных с помощью службы Microsoft Data Quality
Реализовывать Master Data Services для обеспечения целостности данных
Расширять пакеты SSIS пользовательскими скриптами и компонентами
Разворачивать и настраивать пакеты SSIS
Описать роль хранилища данных в работе BI-решений
Необходимая предварительная подготовка:
Минимум 2 года опыта работы с реляционными базами данных
Опыт проектирования нормализованных баз данных
Опыт создания таблиц и связей
Опыт написания запросов на Transact-SQL
Знание базовых структур программирования (как ветвление и циклы)
Понимание ключевых приоритетов бизнеса – доход, прибыль, финансовые исчисления
Цель курса:
Предоставить слушателям знания и навыки, необходимые для реализации хранилища данных для поддержки BI-решений. Курс рассказывает как создать хранилище данных в Microsoft SQL Server 2016, как использовать ETL со службами интеграции SQL Server, как проверить и очистить данные с SQL Server Data Quality Services и SQL Server Master Data Services.
Аудитория курса:
Этот курс предназначен для профессионалов, создающих и поддерживающих различные хранилища данных, настраивающих загрузку и преобразование данных, проверяющих целостность данных и обеспечивающих очистку устаревшей информации.
Введение в хранилища данных
Описание концепции и архитектуры хранилища данных. Решение для хранилища данных. Лабораторная работа: Изучение решения для хранилища данных.
Планирование инфраструктуры хранилищ данных
Рекомендации по созданию инфраструктуры хранилищ данных. Планирование аппаратного обеспечения для хранилища данных. Лабораторная работа: Планирование инфраструктуры хранилищ данных.
Проектирование и реализация хранилищ данных
Проектирование логической инфраструктуры хранилища данных. Проектирование физической инфраструктуры хранилища данных. Лабораторная работа: Реализация схемы хранилища данных.
Индексы колоночного хранения (columnstore)
Введение в индексы columnstore. Создание columnstore индексов. Работа с columnstore индексами. Лабораторная работа: Использование columnstore индексов.
Реализация хранилища данных в Azure
Преимущество хранилища данных в Azure. Реализация хранилища данных в Azure. Разработка хранилища данных в Azure. Миграция данных в хранилище Azure. Лабораторная работа: Реализация хранилища данных в Azure.
Создание ETL решения
Введение в ETL с SSIS. Изучение источников данных. Реализация потока данных. Лабораторная работа: Реализация потока данных в пакете служб SSIS.
Реализация потока управления в пакете SSIS
Введение в поток управления. Создание динамических пакетов. Использование контейнеров. Лабораторная работа: Реализация потока управления в пакете SSIS. Лабораторная работа: Использование транзакций и контрольных точек.
Отладка и устранение неполадок служб SSIS
Отладка пакетов служб SSIS. Ведение журнала событий пакетов служб SSIS. Обработка ошибок в пакете служб SSIS. Лабораторная работа: Отладка и устранение неполадок пакетов служб SSIS.
Реализация инкрементального ETL-процесса загрузки данных
Основы инкрементальной загрузки данных. Извлечение измененных данных. Использование временных таблиц. Лабораторная работа: Извлечение измененных данных. Лабораторная работа: Загрузка данных в хранилище данных.
Обеспечение качества данных
Введение в качество данных. Использование Data Quality Services для очистки данных. Использование Data Quality Services для сведения данных.
Лабораторная работа: Очистка данных. Лабораторная работа: Исключение дублирования данных.
Использование Master Data Services
Основные понятия Master Data Services. Реализация модели Master Data Services. Управление основными данными. Создание концентратор основных данных Лабораторная работа: Реализация Master Data Services.
Расширение SSIS
Использование пользовательских компонентов в SSIS. Использование сценариев в SSIS. Лабораторная работа: Использование скриптов и пользовательских компонентов.
Развертывание и настройка пакетов служб SSIS
Обзор развертывания. Развертывание проектов служб SSIS. Планирование выполнения пакетов служб SSIS. Лабораторная работа: Развертывание и настройка пакетов служб SSIS.
Использование данных в хранилище
Введение в бизнес аналитику (BI). Введение в системы отчетности. Введение в анализ данных. Анализ данных с использованием хранилища Azure
Лабораторная работа: Использование средств бизнес аналитики.