Skip to Content

Структура работ по созданию решения на базе технологий DWH (Data WareHousing)

Содержание

Общие положения
Введение
1. Определение потребностей бизнеса
2. Формирование детальных бизнес-требований
3. Информационное исследование
4. Концепция решения на базе технологий DWH. Представление и согласование.
5. Техническое задание на разработку решения на базе технологий DWH. Представление и согласование.
6. DWH - проект. Проектирование.
7. DM (Data Mart) - проект. Проектирование.
8. ETL - проект. Проектирование.
9. ETL - проект. Разработка.
10. OLAP - проект. Разработка.
11. Решение на базе технологий DWH. Опытная эксплуатация.
Приложения:
Приложение 1. Содержание BRD
Приложение 2. Содержание отчета об исследовании бизнеса
Приложение 3. Содержание концепции решения на базе технологий DWH

Общие положения

Настоящий документ предназначен для использования бизнес руководителями и менеджерами проектов при согласовании проектных заданий, проектных планов и организации проектных работ.

Структура проекта представлена в виде иерархической последовательности работ, необходимость которых выявляется в процессе согласования проектного задания. Некоторые работы могут потребоваться в ходе оперативного управления изменениями в проекте.

Список работ может пополняться или сокращаться менеджерами проектов и руководителями бизнес направлений после соответствующего согласования на технологическом комитете.

Введение

Проекты по созданию решения на базе технологий DWH могут проходить в двух организационных схемах: с выявлением приоритетности бизнес-задач и от готовой бизнес-задачи.

Технологические схемы создания решения на базе технологий DWH могут быть тоже двух типов: от бизнес-задачи и от источников.

Пересечение организационной и технологической схемы дает окончательную структуру работ проекта.

Основой для проектного плана, структуры и содержания работ на проекте является настоящий документ.

Сопровождение этого документа производится руководителем технологического подразделения на основании опыта организации реальных проектов и лучших мировых практик в области организации проектов.

1. Определение потребностей бизнеса

  1. Определение потребностей бизнеса
    1. Согласовать проектный план исследования потребностей бизнеса, список респондентов, программу исследования и роли на основе информации от руководителя БН
    2. Подготовиться к интервью
    3. Провести и согласовать с респондентами интервью
    4. Выявить и исключить (согласовать) разночтения (терминологические различия) и содержательные противоречия в интервью различных респондентов
    5. Согласовать предварительный состав группы Joint Application Development (JAD) 0 (роли: бизнес-спонсор, бизнес-заказчик - обязательны).
    6. Ознакомить участников JAD 0 с предварительными результатами исследования в виде: отчета об исследовании, ожидаемого списка бизнес-задач и ключевых процессов бизнеса в рамках бизнес-задач (если необходимо).
    7. Провести предварительное совещание с целью формулирования и фиксации предложений и замечаний к предварительным результатам
    8. Провести требуемые минимальные по времени доработки (если в них есть необходимость) по замечаниям, выявленным на предварительном совещании
    9. Подготовить рабочую записку JAD 0 совещания, в которой отразить все предложения и альтернативные мнения по бизнеса-задачам и остальным результатам отчета об исследовании потребностей бизнеса
    10. Подготовиться к совещанию, согласовать повестку
    11. Провести совещание JAD 0
      1. Обсудить все имеющиеся предложения и замечания участников группы JAD 0, изложенные в плане встречи, с целью поиска аргументов для отказа или принятия.
      2. Утвердить список задач бизнеса и приоритеты
      3. Утвердить этапы реализации задач бизнеса
      4. Согласовать ожидания (может быть несколько на этап) от реализации первого этапа
      5. Согласовать состав объединенной рабочей группы JAD I
    12. Подготовить и представить (если потребуется, то в виде презентации) результаты исследования и рекомендации (оценка готовности к выполнению проекта, рекомендации по повышению готовности, рекомендуемый состав команд и требования к исполнителю каждого этапа)

2. Формирование детальных бизнес-требований

  1. Формирование детальных бизнес-требований
    1. Согласовать проектный план исследования потребностей бизнеса, список респондентов, программу исследования и роли на основе информации от руководителя БН
    2. Подготовиться к интервью
    3. Провести и согласовать с респондентами интервью
    4. Выявить и исключить (согласовать) разночтения (терминологические различия) и содержательные противоречия в интервью различных респондентов
    5. Подобрать (разработать ) аналитические методики в форме «как есть».
    6. Составить список и описания недостающих (требующих доработки) методик анализа данных
    7. Описать ключевые, в т.ч. существующие (AS-IS), изменяющиеся (TO-BE) и новые (TO-BE), бизнес-процессы
    8. Провести инвентаризацию информационных ресурсов и систем, применяемых для решения поставленной задачи
    9. Согласовать предварительный состав группы JAD I (роли: бизнес-спонсор, бизнес-заказчик - обязательны)
    10. Ознакомить участников JAD I с предварительными результатами исследования в виде предварительного BRD и приложений к нему.
    11. Провести предварительное совещание с целью формулирования и фиксации предложений и замечаний к предварительным результатам
    12. Провести требуемые минимальные по времени доработки (если в них есть необходимость) по замечаниям, выявленным на предварительном совещании
    13. Подготовить рабочую записку JAD I совещания в которой отразить все предложения и альтернативные мнения по тексту BRD и приложений к нему
    14. Подготовиться к совещанию, согласовать повестку
    15. Провести совещание JAD I
      1. Обсудить терминологию (если были разночтения) и все имеющиеся предложения и замечания участников группы JAD I, изложенные в плане встречи, с целью поиска аргументов для отказа или принятия.
      2. Сформулировать миссию на основе ожиданий пользователей от первого этапа (см. п. 1.11.4)
      3. Утвердить результативные критерии по целям и методики их оценки
      4. Утвердить ответственного за миссию первого этапа со стороны заказчика (в виде подписи на BRD).
      5. Согласовать ключевые функциональные требования к системе в терминах бизнеса.
      6. Согласовать общие положения и обязанности заказчика в рамках первого этапа
      7. Согласовать состав объединенной рабочей группы JAD II
    16. Представить (если потребуется, то в виде презентации) результаты исследования и рекомендации (оценка нетехнических рисков выполнения проекта, и меры уменьшения этих рисков, состав команд, особенности управления проектом, список заинтересованных в результатах проекта подразделений заказчика)

3. Информационное исследование

  1. Информационное исследование
    1. Проанализировать и согласовать методики получения необходимых отчетных показателей
    2. Согласовать технические и бизнес-понятия, условия и ограничения.
    3. Разработать семантическую модель решения (СМ)
    4. Разработать информационную модель (ИМ) источников данных
    5. Сформировать условия к исходным данным на основе условий и ограничений на бизнес-понятия, входящие в методики получения необходимых отчетных показателей
    6. Согласовать условия и ограничения к исходным данным
    7. Разработать эскиз ключевого функционала4 интеграции, трансформации, визуализации
    8. Разработать варианты архитектуры решения (платформы, программное обеспечение, источники данных, потоки и трансформации данных), удовлетворяющие требованиям Заказчика
    9. Сформировать список критических с точки зрения рисков разделов проектирования
    10. Уточнить предварительный проектный план

4. Концепция решения на базе технологий DWH. Представление и согласование.

  1. Концепция решения на базе технологий DWH. Представление и согласование.
    1. Утвердить состав группы JAD II.
    2. Разработать Концепцию решения на основе материалов информационного исследования (см. Приложение 3).
    3. Ознакомить участников JAD II с Концепцией решения.
    4. Провести предварительное совещание.
    5. Подготовить рабочую записку JAD II совещания.
    6. Подготовиться к совещанию, согласовать повестку.
    7. Провести совещание JAD II.
      1. Провести презентацию Концепции решения.
      2. Утвердить список первоочередных проектных задач и критериев оценки их достижения.
      3. Утвердить ответственного за проектные задачи со стороны заказчика.
      4. Согласовать состав объединенной рабочей группы JAD III.
    8. Представить результаты совещания JAD II в итоговом документе.

5. Техническое задание на разработку решения на базе технологий DWH. Представление и согласование.

  1. Техническое задание на разработку решения на базе технологий DWH. Представление и согласование.
    1. Подготовить рабочую записку совещания JAD III
    2. Провести предварительное совещание
    3. Подготовиться к совещанию, согласовать повестку
    4. Провести совещание JAD III
      1. Утвердить общие трудозатраты и план проекта
      2. Утвердить окончательный список технических требований к подсистеме визуализации многомерных и плоских отчетов
      3. Утвердить контрольные эксплуатационные показатели подсистемы визуализации многомерных и плоских отчетов (время формирования и т.п.)
      4. Утвердить окончательный список технических требований к процессам перегрузки данных (начальной загрузки и обновляющей загрузки)
      5. Утвердить контрольные эксплуатационные показатели подсистемы перегрузки данных (время перегрузки и т.п.)
      6. Утвердить окончательный список технических требований к подсистеме технических метаданных (требования к функциональности ETLAdmin)
      7. Утвердить контрольные эксплуатационные показатели подсистемы технических метаданных (требования к эксплуатационным характеристикам ETLAdmin)
      8. Утвердить требования к исходным данным, необходимым для реализации требований Заказчика к отчетности
      9. Утвердить дополнительные условия и порядок сдачи проекта в опытную и постоянную эксплуатацию (документация, обучение)
    5. Отразить результаты совещания JAD III в техническом задании на разработку решения на базе технологий DWH

6. DWH - проект. Проектирование.

  1. DWH - проект. Проектирование.
    1. Разработать альтернативы доработки модели.
    2. Утвердить альтернативы в соответствии с критериями выбора и внести корректировки в модель.
    3. Разработать ландшафт потоков данных среднего уровня Backroom.
    4. Подготовить список критических замечаний по загрузке данных в модель данных.
    5. Разработать пояснительную записку к проекту DWH.

7. DM (Data Mart) - проект. Проектирование.

  1. DM (Data Mart) - проект. Проектирование.
    1. Разработать альтернативные варианты информационной модели (ИМ) витрин данных.
    2. Утвердить альтернативные варианты в соответствии с критериями выбора и внести корректировки в информационную модель (ИМ) витрин данных.
    3. Разработать ландшафт потоков данных среднего уровня Frontroom.
    4. Подготовить список критических замечаний по загрузке данных в модель DM.
    5. Разработать пояснительную записку к проекту DM.

8. ETL - проект. Проектирование.

  1. ETL - проект. Проектирование.
    1. Разработать спецификации потоков данных нижнего уровня для сложных случаев трансформации данных.
    2. Определить и утвердить способы захвата изменившихся данных в источниках данных.
    3. Разработать спецификации контроля качества данных и, при возможности и необходимости, автоматического повышения качества данных.
    4. Разработать спецификации аудита загруженных данных.
    5. Подготовить пояснительную записку к проекту ETL.

9. ETL - проект. Разработка.

  1. ETL - проект. Разработка.
    1. Установить технологическое ПО и согласовать спецификации потоков данных с аналитиком;
    2. Разработать фазы захвата архивных данных;
    3. Создать структуру метаданных качества;
    4. Разработать процедуры начальной загрузки данных для хранилища данных без контроля качества;
    5. Разработать процедуры начальной загрузки данных для витрины данных без контроля качества;
    6. Тестировать начальную загрузку данных в хранилище и витрину (без контроля качества) на соответствие техническим требованиям к подсистеме загрузки данных;
    7. Корректировать начальную загрузку данных по запросам на изменение (по результатам контроля списка показателей корректности и качества визуализации многомерных и плоских отчетов);
    8. Составить отчет об отклонениях от проекта в результате внесенных корректировок в начальную загрузку данных.
    9. Разработать и объединить с процессами начальной загрузки шаги проверки качества
    10. Тестировать подсистему качества данных на соответствие техническим требованиям к подсистеме качества;
    11. Оценить существующее качество реальных данных в источниках с использованием подсистемы контроля качества (провести инструментальную оценку);
    12. Доработать подсистему качества с учетом результатов инструментальной оценки;
    13. Составить отчет об отклонениях от проекта в результате внесенных корректировок в подсистему качества.
    14. Реализовать фазы захвата измененных данных;
    15. Объединить захват измененных данных с процессами начальной загрузки и контроля качества;
    16. Тестировать загрузку данных процессами ETL, которые содержат фазу захвата, на соответствие техническим требованиям к подсистеме загрузки данных;
    17. Корректировать фазы захвата измененных данных по результатам тестирования;
    18. Составить отчет об отклонениях от проекта в результате внесенных корректировок в фазы захвата измененных данных.
    19. Доработать спецификации аудита загруженных данных по результатам тестирования загрузки данных интегрированными процессами загрузки;
    20. Создать и оформить в виде отдельных процессов ETL и моделей данных подсистему аудита загруженных данных;
    21. Тестировать подсистему аудита загруженных данных на соответствие техническим требованиям к подсистеме аудита;
    22. Корректировать подсистему аудита загруженных данных по результатам тестирования;
    23. Составить отчет об отклонениях от проекта в результате внесенных корректировок в подсистему аудита загруженных данных.
    24. Собрать технические метаданные и интегрировать ETL - проект с системой управления техническими метаданными и системой управления заданиями;
    25. Заполнить структуру метаданных качества;
    26. Доработать проектную документацию на подсистему загрузки данных по отчетам об отклонениях от проекта в результате внесенных корректировок в подсистемы начальной загрузки данных, качества данных, захвата измененных данных, аудита загруженных данных.

10. OLAP - проект. Разработка.

  1. OLAP - проект. Разработка.
    1. Установить ПО и согласовать спецификации с аналитиком;
    2. Разработать систему бизнес-метаданных подсистемы визуализации и OLAP;
    3. Разработать функции расчета аналитических показателей;
    4. Тестировать подсистему визуализации многомерных и плоских отчетов на соответствие техническим требованиям к подсистеме визуализации;
    5. Тестировать подсистему визуализации многомерных и плоских отчетов на соответствие контрольным эксплуатационным показателям подсистемы визуализации;
    6. Доработать подсистему визуализации по результатам тестирования;
    7. Составить отчет об отклонениях от проекта в результате внесенных корректировок в подсистему визуализации данных.
    8. Доработать проектную документацию на подсистему визуализации данных по отчету об отклонениях от проекта в результате внесенных корректировок.

11. Решение на базе технологий DWH. Опытная эксплуатация.

  1. Решение на базе технологий DWH. Опытная эксплуатация.
    1. Утвердить список технических специалистов и бизнес пользователей Заказчика для проведения обучения во время опытной эксплуатации.
    2. Обучить через практическую работу6 с решением бизнес-пользователей работе с подсистемой визуализации данных.
    3. Обучить через практическую работу с решением на базе технологий DWH технических специалистов работе с подсистемой загрузки данных (системой управления заданиями ETL).
    4. Обучить через практическую работу с решением на базе технологий DWH технических специалистов работе с подсистемой технических метаданных DWH.
    5. Разработать и передать Заказчику эксплуатационную документацию на разработанную систему в установленных форме и объеме.
    6. Согласовать список замечаний к работе решения, содержанию и форме представления документации.
    7. Разработать и согласовать способы устранения замечаний.
    8. Устранить замечания к системе и внести необходимые изменения в эксплуатационную документацию.
    9. Сдать систему в постоянную эксплуатацию

Приложения:

Приложение 1. Содержание BRD
Приложение 2. Содержание отчета об исследовании бизнеса
Приложение 3. Содержание концепции решения на базе технологий DWH