Материал: Студент и наука. Драпалюк Н.А., Хахулина Н.Б

________________________________________________________Выпуск № 3 (18), 2021

К.А. Мамонова, А.А. Паскова

ОЗЕРА ДАННЫХ В УПРАВЛЕНИИ

Аннотация. Озеро данных представляет собой огромное хранилище, в котором разные данные хранятся в «сыром», то есть неупорядоченном и необработанном виде. В повседневной жизни мы чаще всего сталкиваемся именно с неструктурированными данными. Видеоролики, книги, журналы, документы Word и PDF, аудиозаписи и фотографии — все это неструктурированные данные, и все они могут храниться в озерах данных. Озера данных стали основным компонентом для компаний, переходящих на современные платформы данных, по мере того, как они масштабируют свои операции с данными и инициативы по машинному обучению. Инфраструктура озера данных предоставляет пользователям и разработчикам доступ в режиме самообслуживания к тому, что традиционно было разрозненной информацией. Статья рассматривает особенности использования озер данных для задач управления, преимущества и проблемы, связанные с таким подходом к аналитике данных.

Ключевые слова: хранилище, данные, «озеро данных», большие данные, машинное обучение, Интернет вещей.

K.А. Mamonova, A.A. Paskova

DATA LAKES IN MANAGEMENT

Introduction. Data lake is a huge repository in which different data is stored in a «raw», that is, unordered and unprocessed form. In everyday life, we most often come across unstructured data. Videos, books, magazines, Word and PDF documents, audio tapes and photographs are all unstructured data, and they can all be stored in data lakes. Data lakes have become a major component for companies migrating to modern data platforms as they scale up their data operations and machine learning initiatives. The data lake infrastructure gives users and developers self-service access to what has traditionally been disparate information. The article examines the features of using data lakes for management tasks, the advantages and problems associated with such an approach to data analytics.

Keywords: storage, data, data lake, big data, machine learning, Internet of Things.

Сейчас появляется все больше данных, поступающих из все большего числа источников и во все большем количестве форм.

Для успешной работы с BIG DATA (большими данными) необходимо знать, какие именно данные требуются для получения желаемых результатов и как эти правильные данные получить. Достаточно взглянуть на IoT (Интернет вещей), где в ближайшие годы ожидается стремительный рост промышленного Интернета вещей. И с этим ростом действительно приходит больше данных, которые обрабатываются с помощью аналитики больших данных для дальнейшего использования.

Озеро данных – это место для размещения всех данных: структурированных, полуструктурированных и неструктурированных, которые предприятия (возможно) захотят собирать, хранить, анализировать и использовать. Традиционные подходы к управлению данными не подходят для обработки больших данных и аналитики больших данных. С помощью аналитики BIG DATA осуществляется поиск корреляции между различными

© Мамонова К.А., Паскова А.А., 2021

51

________________________________________________________Выпуск № 3 (18), 2021

наборами данных, которые нужно объединить для достижения бизнес-результатов [1]. Обычно данные хранятся в разрозненных хранилищах в рамках экосистемы, в которой

они работают (внешние данные). Это затрудняет их совместное использование. Озеро данных – это хранилище, содержащее множество данных в их исходном формате. Озера больших данных – это один из двух подходов к управлению информацией. В аналитике существует два подхода к управлению информацией. Первый – сверху вниз (хранилище данных), второй – снизу вверх, озеро данных. Озера данных предназначены для анализа больших данных и решения проблемы разрозненности в больших данных.

Прием данных в озере осуществляется независимо от источника или структуры. Эти «потоки» данных бывают нескольких форматов: структурированные (данные из традиционной реляционной базы данных или), неструктурированные данные (социальные сети, видео, электронная почта, и т. д.) и полуструктурированные данные (данные из всех видов Web-журналов, анализа трафика, XML, межмашинного взаимодействия, Интернета вещей и т.д.). Все эти наборы хранятся в озере данных, одновременно данные продолжают поступать через протоколы интерфейса приложений (API) [2].

Проанализированные данные необходимо визуализировать для дальнейшего их использования и принятия управленческих решений. Для того, чтобы озеро данных не превратилось в «болото», существует довольно много технологий и протоколов.

Рассмотрим основные особенности использования озер данных.

1.Проблема с исторически унаследованной архитектурой данных. Аналитика данных с использованием традиционных архитектур затруднена, т. к. эти архитектуры не учитывали появление новых внешних источников данных.

2.Использование озер данных позволяет осуществлять аналитику данных в режиме реального времени. [3,5].

3.Конвергенция данных: возможность собирать, смешивать, интегрировать и объединять все типы данных, независимо от источников и формата.

4.Организация процесса анализа данных. В случае больших озер данных приложения для анализа находятся рядом с тем местом, где хранятся данные, при этом приложения для анализа перемещаются на периферию, а не в хранилище, что позволяет ускорить процесс анализа и снизить нагрузку на сети. В этом суть периферийных вычислений в области анализа данных в контексте подключенных производств Индустрии 4. 0 и промышленного Интернета вещей.

5.Масштабируемость и гибкость. Систему и процессы можно легко масштабировать для обработки еще большего количества данных.

6.Сохранение ресурсов корпоративного хранилища данных. Озеро данных может служить промежуточной областью для корпоративного хранилища данных с возможностью дальнейшей передачи только релевантных данных в хранилище.

Наряду с преимуществами озер данных существует ряд проблем. Одной из них является упомянутый риск того, что озера данных могут превратиться в «болота данных», если они не будут правильно стратегически спроектированы с учетом необходимых целей. По этой причине организации переходят от традиционного подхода к озеру данных, как к обычному большому хранилищу, к целевому и бизнес-ориентированному подходу, в котором управление метаданными является важным элементом. Второй проблемой можно назвать пересмотр подхода изменяющемуся озеру данных – облако, гибкость, аналитика, ценность и AI / ML. В самом начале озера данных в основном были связаны с добавлением Hadoop со всеми локальными функциями, сегодня организации больше обращаются к озерам данных в облаке [4].

В настоящее время рассматривают два подхода к бизнес-аналитике: возможность напрямую запрашивать данные и извлечение данных в специализированную базу данных. В зависимости от источника большинство данных все еще находится в локальной среде, но использование облаков быстро растет, как и в целом в бизнесе.

52

________________________________________________________Выпуск № 3 (18), 2021

Озера данных уже сейчас достаточно широко используются в различных сферах. Многие компании используют сервисы облачного хранения, такие как Google Cloud Storage и Amazon S3, или распределенную файловую систему, такую как Apache Hadoop . Интерес к концепции озер данных постепенно растет.

Озера корпоративных данных чаще всего подразделяются на две общие отраслевые тенденции: озера данных на локальных компьютерах и озера данных в облаке.

Влокальном озере данных компании должны управлять как программными, так и аппаратными активами, в которых хранятся их данные. Если объемы данных превышают емкость приобретенного оборудования, у компаний нет другого выбора, кроме как покупать дополнительные вычислительные мощности самостоятельно.

Воблачных озерах данных компании могут платить только за необходимое им хранилище данных и вычислительные ресурсы. Это означает, что они могут увеличивать или уменьшать масштаб по мере необходимости. Эта масштабируемость стала огромным прорывом в распространении больших данных, что привело к росту популярности озер данных.

Основная полезность озера данных состоит в том, чтобы иметь единый источник для всех данных в компании: от необработанных данных, подготовленных данных и сторонних активов данных. Каждый из этих типов данных используется для различных операций, включая преобразование данных, создание отчетов, интерактивную аналитику и машинное обучение. Управление эффективным озером производственных данных также требует организации, управления и обслуживания данных.

Например, Personal DataLake в Кардиффском университете – это новый тип озера данных, который направлен на управление большими данными путем предоставления единой точки сбора, организации и обмена личными данными. Раньше озеро данных имело ограниченные возможности в связи с пакетной обработкой. Взаимодействие с озером данных означало, что нужно было иметь опыт работы с Java, Apache Pig , Apache Spark и Apache Hive (которые сами по себе были ориентированы на пакетную обработку) [6].

Организации теперь больше внимания уделяют полученным с использованием аналитики данных результатам и их ценности, а искусственный интеллект и машинное обучение становятся все более важными, наряду с необходимостью аналитики в реальном времени, расширенной аналитики и визуализации. Прогнозы относительно роста рынка озера данных на ближайшие годы различаются, но все они показывают двузначные среднегодовые темпы роста. Многие организации заявляют, что у них есть планы по развертыванию озера данных с переходом на облако. Ландшафт озер данных быстро развивается, суть по-прежнему заключается в превращении данных в ценность и средствах сделать это лучше, традиционных решениях, новых тенденциях в области технологий [5].

Библиографический список

1.Паскова А.А. Перспективы использования BIG DATA в промышленности [Текст] / А.А. Паскова // Материалы XXXVII Недели науки МГТУ: XXXIV Всероссийская научнопрактическая конференция «Образование-наука-технологии», XXXIII Всероссийская научно-практическая конференция «Агропромышленный комплекс и актуальные проблемы экономики регионов», XXXIII Международная научно-практическая конференция «Экологические проблемы и современность» – Майкоп: Изд-во «ИП Кучеренко В.О.», 2019 – С. 140-143

2.Озера данных и аналитика в AWS / AWS // URL: https://aws.amazon.com/ru/big-

%20analytics/"analytics HYPERLINK "https://aws.amazon.com/ru/big-data/datalakes-%20and- %20analytics/"/ (дата обращения: 5.03.2021)

53

________________________________________________________Выпуск № 3 (18), 2021

3.Озера данных: как устроены data lakes и зачем они нужны// URL: h HYPERLINK "https://hightech-fm.turbopages.org/hightech.fm/s/2021/01/11/data-lakes%20(дата"ttps://hightech- fm.turbopages.org/hightech.fm/s/2021/01/11/data-lakes HYPERLINK "https://hightech- fm.turbopages.org/hightech.fm/s/2021/01/11/data-lakes%20 HYPERLINK "https://hightech- fm.turbopages.org/hightech.fm/s/2021/01/11/data-lakes%20(дата"(дата" (дата обращения 11.05.2021).

4.Фил Саймон Озеро данных и хранилище данных – в чем разница? // URL: https://www.sas.com/ru_ru/insights/articles/data-management/data-lake-and-data-warehouse-know- the-difference.html (дата обращения: 29.02.2021).

5.Что такое «озера данных» и почему они должны быть чистыми? About Data // URL: https://aboutdata.ru/2017/06/01/data-lakes/ (дата обращения: 4.03.2021).

6.Introduction to Data Lakes /Databricks // URL: https://databricks.com/discover/datalakes/introduction (дата обращения: 7.03.2021).

54

________________________________________________________Выпуск № 3 (18), 2021

ОБЩЕСТВЕННЫЕ НАУКИ

А.Р. Степанов, Н.П. Матыцина

МОТИВАЦИЯ ПРИ ВЫБОРЕ ВОЕННОГО ВУЗА ДЛЯ ОБУЧЕНИЯ

Аннотация. В статье рассматриваются особенности определения и поступления абитуриентов в военные ВУЗы. Освещается и анализируется процесс обучения курсантов. Характеризуются мотивационные подходы, улучшающие качество подготовки будущих офицеров. Подчеркиваются профессиональные качества командира, которые являются основой хорошего и дружного коллектива, а также дают базу для самореализации и развития курсантов. Все эти составляющие являются залогом подготовки и воспитания достойных офицеров.

Ключевые слова: мотивация, курсанты, военный Вуз.

A.R. Stepanov, N.P. Matytsina

MOTIVATION WHEN CHOOSING A MILITARY UNIVERSITY FOR TRAINING

Introduction. The article discusses the features of determining and enrolling applicants in military universities. The process of training cadets is highlighted and analyzed. Motivational approaches that improve the quality of training of future officers are characterized. The professional qualities of the commander are emphasized, which are the basis of a good and friendly team, as well as provide a basis for self-realization and development of cadets. All these components are the key to the training and education of worthy officersi.

Keywords: motivation, cadets, military university.

Поступление в военный ВУЗ - это девиз, это цель, к которой выпускник школы приходит осознанно. Курсант военной академии - это человек, с конкретными и определенными взглядами на жизнь. Твердо знающий, что он хочет и к какой цели идет.

Учебный процесс в военном ВУЗе, как и любой другой процесс, состоит из пяти составляющих функций: планирование, организация, мотивация, контроль, руководство. Каждая из этих составляющих функций очень важна. Но они по своей составляющей не одинаково распределены в учебном процессе.

Хотелось бы остановить свое внимание на одной из функций - это мотивация. Мотивация - побуждение к действию; психофизиологический процесс, управляющий

поведением человека, задающий его направленность, организацию, активность и устойчивость; способность человека деятельно удовлетворять свои потребности [1].

Как свидетельствует изучение данного вопроса, мотивация влияет в большей степени, чем другие составляющие функции в получении качественного конечного результата, влияет на временной промежуток.

Большинство абитуриентов, поступая в ВУЗ, видят пред собой эмоционально окрашенный, романтический образ избираемой профессии, возможность преимущества при

© Степанов А.Р., Матыцина Н.П., 2021

55