· 1С конфигурации «Зарплата и Кадры» - основная система учета в области кадров, содержит информацию о зарплатном фонде, иерархии персонала, а также организационной структуре и демографических атрибутах сотрудников;
· Microsoft Excel - система используется для подготовки и хранения плановых показателей;
Информационный уровень модели является одним из важнейших. Он включает в себя 3 связанных компонента:
Компонент интеграции данных
Компонент интеграции данных состоит из набора процедур по экстракции, трансформации и загрузки данных (ETL - extract, transform, load). Основное назначение ETL-процедур в рамках решения:
· извлечение исходных данных из систем-источников и их загрузка в буферную зону;
· проверка данных на корректность и полноту;
· преобразование форматов и кодировок разрезов и показателей из исходных систем;
· отслеживание ошибок, их корректировка, обогащение данных и осуществление агрегации;
· перенос данных из буферной зоны в компонент итогового хранения данных.
Техническая реализация интеграционного компонента выполняется на базе инструмента Microsoft SQL Server Integration Services (SSIS).
Буферная зона
Буферная зона является компонентом промежуточного хранения данных в процессе их загрузки из операционных систем в компонент итогового хранения. Компонент предназначен для первичной консолидации данных из исходных систем в структуре, аналогичной системам-источникам, подготовки и преобразованию данных на этапе их переноса в компонент итогового хранения, контроля общего качества загрузки данных, а также обеспечения историчности данных.
Компонент хранения данных
Данная подсистема информационного уровня модели представляет собой итоговое предметно-ориентированное хранилище данных, спроектированное для максимально быстрой передачи чистых данных (агрегированных и детальных) для решения аналитических задач. Таким образом, в рамках решения компонент итогового хранения данных выступает связующим звеном с аналитическим уровнем модели.
Техническая базой для реализации компонентов промежуточного и итогового хранения данных выступает инструмент Microsoft SQL Server Management Studio.
Аналитический уровень
Аналитический уровень модели состоит из 2 связанных компонентов. Технической базой для реализации аналитического уровня выступают продукты компании Tableau которая, согласно результатам «магического квадранта» Gartner 2020, уже 8 лет к ряду держит лидерство в области визуализации данных и бизнес-аналитики.
Персональный BI
Компонент представлен инструментом Tableau Desktop, который предназначен для прямого подключения к хранилищу данных, реализации сотрудниками компании оперативного визуального анализа показателей деятельности организации, представления аналитических результатов в графическом или табличном виде, группировки визуализаций на аналитических инструментальных панелях (дашбордах) и последующей публикации результатов на сторону компонента корпоративной аналитики. Продукт позволяет реализовать сложные аналитические методы за короткое время без необходимости использовать языки программирования, обладает эргономичным интерфейсом и высокой производительностью даже на объемах данных более 100 миллионов строк.
Корпоративная аналитика
Компонент корпоративной аналитики представлен инструментом Tableau Server, который является единой точкой входа для получения аналитических результатов большей частью подразделений. Помимо отражения опубликованных результатов из компонента self-service BI портал корпоративной аналитики также отдельно обеспечивает проведение анализа, визуальное представление его результатов в виде аналитических дашбордов и тиражирование контента на использование подразделениям и менеджменту организации с предоставлением необходимых уровней доступа, обеспечением актуальности и защиты данных.
Клиентский уровень
Клиентский уровень архитектуры состоит из 3 видов сред, с которых пользователи осуществляют доступ к аналитическим результатам, размещенным на портале корпоративной аналитики:
1. персональные компьютеры - подключение к данным, проведение анализа и публикация результатов в виде аналитических дашбордов осуществляется за счет использования инструмента персональной аналитики Tableau Desktop.
2. веб-браузеры - доступ к результатам анализа осуществляется через использование сервера приложений компонента корпоративной аналитики Tableau Server.
3. мобильные устройства - доступ в корпоративный аналитический портал осуществляется через использование приложения Tableau Mobile.
2.5 Выводы по главе 2
Таким образом, глава 2 исследования была посвящена анализу деятельности предмета исследования, определению рамок реализации решения, формированию требований к информационно-аналитической модели поддержки корпоративного управления и проектированию целевой архитектуры.
Исследование предприятия позволило выделить его организационную структуру, основное направление деятельности и сегменты клиентской базы, а также миссию и основные векторы развития для укрепления на рынке.
Рамки реализации решения позволили выделить основную корпоративную цель и предпосылки для реализации информационно-аналитической модели, зафиксировать текущие трудозатраты на основных этапах процесса проведения анализа, а также определить основные задачи, которые необходимо выполнить в рамках реализации решения.
На следующем этапе производилась разработка требований к информационно-аналитической модели. Сформированные виды требований: функциональные, требования к надежности, масштабируемости решения, а также требования по безопасности и защите информации.
На основании разработанных требований производилось проектирование трехуровневой многокомпонентной архитектуры решения с выделением информационного и аналитического уровней в качестве основных, а также определения технической базы для последующей реализации модели.
3. Реализация информационно-аналитической модели для организации лизинговой организации на основе технологий Business Intellgence
3.1 Реализация информационного уровня модели
В рамках реализации исследования на основании сформированных требований была реализована информационно-аналитическая модель поддержки корпоративного управления лизинговой организации (Рисунок 7).
Рисунок 7 Информационно-аналитическая модель поддержки корпоративного управления лизинговой организации
Реализация информационно-аналитической модели предполагает унификацию данных и их консолидацию на едином информационном уровне, обеспечивающем сбор данных из разрозненных источников, их обработку, повышение качества и финальную загрузку в подсистему хранения. В рамках исследования реализация информационного уровня проводилась на базе технологий Microsoft.
Источниками данных в рамках решения выступают 4 системы:
1. Microsoft Dynamics NAV - главная учетная система организации, содержащая основной массив данных по операционной деятельности.
2. Microsoft Excel - в файлах excel по большей части хранятся плановые значения показателей по тем областям, которые не охвачены функционалом NAV.
3. 1C «Зарплата и кадры» - основная система организации в области учета персонала, организационной структуры и оплаты труда.
4. 1С «Управление лизинговым холдингом» - основная система организации в области финансового учета и бухгалтерской отчетности.
Информационный уровень модели представлен 3 компонентами.
Компонент загрузки и трансформации данных
В рамках решения определен следующий порядок загрузки и трансформации данных:
1. Для загрузки данных определено общее временное окно с 22:00 до 04:00 по московскому времени
2. Основной способ загрузки данных - полное обновление. Невозможность реализации инкрементного обновления данных обусловлена частым исправлением ошибок в базах данных учетных систем за исторические периоды.
В случае возникновения ошибок на любом этапе процесса загрузки и трансформации данных предусмотрен механизм остановки и отката процесса, а также уведомления основных ответственных лиц (Рисунок 8).
Рисунок 8 Уведомление об ошибке процесса загрузки данных
Процесс загрузки и трансформации данных реализован в 3 основных этапа:
1. Загрузка данных из систем-источников в компонент промежуточного хранения
На первом этапе данные в сыром виде (AS-IS) извлекаются из учетных систем в буферную зону промежуточного хранения (STG) в исходной структуре. Загрузка данных из систем Navision и Excel производится средствами интеграционных пакетов Microsoft SQL Server Integration Services. Загрузка данных из учетной системы 1С конфигураций «Зарплата и кадры» и «Управление лизинговым холдингом» производится за счет встроенного функционала 1С. В случае возникновения ошибок на данном этапе загрузки процесс обработки данных останавливается и производится автоматическая операция отката до начального состояния информационного уровня на момент старта процесса загрузки. Высылается уведомление об ошибке (Рисунок 9).
Рисунок 9 Уведомление об ошибке на этапе загрузки данных из excel
2. Загрузка данных из буферной зоны в хранилище
На втором этапе осуществляется экстракция данных из буферной зоны, их коррекция и трансформация, а также итоговое наполнение объектов хранилища данных. В рамках решения предусматриваются следующие манипуляции с данными, направленные на их обогащение, согласованность и повышение качества:
· корректировка типов данных и форматов полей
· дедупликация данных
· исправление ошибок (изменение пропущенных значений в строковых и числовых полях на значения «N/A» и 0, устранение лишних символов и т.д.)
· выравнивание наименований справочников
· агрегирование данных.
Порядок загрузки данных на данном этапе заключается в последовательной загрузке таблиц измерений и последующей загрузке таблиц фактов. В случае возникновения ошибок на данном этапе загрузки процесс обработки данных останавливается и производится автоматическая операция отката до начального состояния на момент старта этапа.
3. Постзагрузочные операции
Финальным этапом процесса загрузки и обновления данных является выполнения постзагрузочных мероприятий для обеспечения максимального быстродействия хранилища при решении аналитических задач, а именно:
· верификация сверочных сумм по всем показателям
· переиндексация основных полей, используемых для фильтрации и соединения таблиц.
Зона промежуточного хранения (STAGE)
В компоненте буферного хранения (компонент STG) структура таблиц базы данных была реализована по аналогии со структурой в исходных системах-источниках 1С и Dynamics NAV. Это реализовано для уменьшения нагрузки на учетные системы в процессе переноса данных в хранилище, поскольку ввиду представленности лизинговой организации на всей территории РФ в нескольких часовых поясах источники данных всегда находятся под нагрузкой. Особенностью таблиц буферной зоны информационного уровня является добавление поля Loaddate типа datetime, определяющего дату и время загрузки данных в таблицу и предназначенного для контроля качества работы компонента интеграции данных.
Хранилище данных (DWH)
В рамках практической реализации 3 компонент информационного уровня информационно-аналитической модели на физическом уровне был развернут в СУБД Microsoft SQL Server Management Studio 2016 Enterprise Edition. Для обеспечения максимальной скорости отдачи данных аналитическому уровню, ссылочной целостности и оптимальности хранения хранилище данных было спроектировано по схеме «звезда» с выделением таблиц измерений (справочников) и нескольких таблиц фактов (Рисунок 10).
Рисунок 10 Развернутая модель хранилища данных в СУБД
В рамках решения основными таблицами измерений и фактов в хранилище являются:
1. d_Date - содержит справочную информацию о датах (календарь)
2. d_Leasing_Agreement - содержит справочную информацию о договорах лизинга из карточек договора в учетной системе NAV
3. d_Leasing_Agreement_Type_Sale - справочник договоров лизинга компании по объекту продажи. Содержит 3 значения:
a. «Фабрика» - относится к договорам лизинга для микро, малого и среднего бизнеса на приобретение легкового автомобиля, коммерческого, грузового транспорта или спецтехники стоимостью до 24 миллионов рублей;
b. «Конвейер» - относится к договорам лизинга для среднего, крупного и крупнейшего бизнеса на приобретение транспорта, спецтехники или оборудования на сумму до 300 миллионов рублей;
c. «Корпоратив» - относится к договорам лизинга для сделок с объемом финансирования до 15 миллиардов рублей за исключением клиентов, осуществляющих закупки по 44-ФЗ, унитарных предприятий и юридических лиц, применяющих упрощенную систему налогообложения.