Заключительная стадия Reduce Reduce (Свертка списка) - в программировании - это функция высшего порядка, которая производит преобразо-вание структуры данных к единственному значению при помощи заданной функции.. На ее вход попадает группа, сформированная на стадии Shuffle. Для отдельной группы вычисляется окончательный результат (при этом функция Reduce задается пользователем).
Итоговым результатом MapReduce-задачи является огромное число значений, полученных функцией Reduce(), т.е. решением задачи, которая изначально формулировалась.
В связи с непрерывным ростом количества данных, с которыми приходится иметь дело в крупных компаниях, интерес к технологиям Big Data резко увеличивается. Обработка данных, накопленных компаниями, становится все сложнее и дороже, хотя она необыкновенно важна для многих организаций. Растет необходимость в математиках с IT-образованием для решения таких задач.
Например, Департамент информатизации Москвы [5] набирает специалистов, способных анализировать и работать с данными. В Москве уже собрана статистика о каждой группе людей и даже о каждом человеке по большому количеству критериев. Все данные хранятся в классических системах управления базами данных, из которых надо получать нужную информацию.
Другая трудность при работе с большими данными связана с тем, что как бы разработчики ни добивались увеличения пропускной способности линий связи и увеличения объемов хранилищ информации, всегда будут появляться источники (например, физические эксперименты), которые будут производить информации больше, чем можно передать.
По закону Мура происходит постоянный рост производительности одновременно работающих вычислительных систем, соответственно растут скорости сетей передачи данных. Полученные данные необходимо быстро извлекать с электронного носителя и сохранять.
По мнению ИТ-издания TAdviser (крупнейшая в России база знаний о технологиях, ИТ-проектах и профессионалах отрасли, на основании этих данных профессиональные аналитики издания ежегодно составляют детальные обзоры различных секторов ИТ-рынка) интерес к теме BIG DATA закономерно велик, хотя отечественный рынок BIG DATA находится на начальной стадии развития [5].
Не случайно издательство «Открытые системы» в 2017 году в шестой раз проводило форум BIG DATA, посвященный обсуждению опыта, актуальных задач, этапов становления отрасли больших данных в России, достижениям компаний и организаций, которые строят бизнес, основанный на данных [8].
Внедрением технологий класса Big Data занимается компания DIS Group. Специалисты компании создают решения по детальной проработке технических аспектов применения этих технологий, а также определению их места в инфраструктуре возможных пользователей.
Одна из крупнейших фирм, работающая в области IT- технологий, IBM предлагает решения для больших данных:
- Модуль IBM Spectrum Scale - хранилище объектов и файлов с горизонтальным масштабированием, использующий эффективные методы управления хранением бесструктурных данных, в том числе находящихся в облаке, а также больших данных.
- Модуль IBM Cloud Object Storage - масштабируемая подсистема для организации вторичного облачного хранилища данных с различными вариантами применения (масштабирование производительности или емкости от нескольких терабайт до эксабайт).
- Модуль IBM Elastic Storage Server, позволяющий обрабатывать большие данные непосредственно в корпоративном хранилище.
В 2018 году в Москве прошла Конференция по большим Данным и искусственному интеллекту «Big Data Moscow 2018», посвященная техническим докладам в областях больших данных, высоких нагрузок, обработки и анализа данных и машинного обучения [9].
В 2019 году предстоит Международная конференция по большим данным Big Data Days 2019 [10]. На конференции среди прочих вопросов планируется обсудить методы машинного обучения для обнаружения аномалий, использование искусственного интеллекта для анализа и обработки данных, создание облачных приложений, управляемых событиями, машинное обучение в музыке и искусстве. Кроме докладов будут проведены мастер-классы.
Одновременно с повышением интереса к большим данным стремительно вырос интерес к «машинному обучению».
Под термином «Машинное обучение (англ. machine learning, ML)» понимается класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение в процессе применения решений множества сходных задач.
Для построения таких методов используются средства математической статистики, численных методов, методов оптимизации, теории вероятностей, теории графов, различные техники работы с данными в цифровой форме [11].
Какой язык программирования лучше всего подходит для машинного обучения? Это, во-первых, Питон. Python стоит на первом месте в списке всех языков разработки из-за своей простоты. Во-вторых, это язык R. R является одним из наиболее эффективных языков и сред для анализа и обработки данных в статистических целях. А также это языки Lisp, Пролог, Ява.
Самым тесным образом с большими данными связан «интернет вещей». Огромное количество информации, генерируемой различного вида датчиками, всевозможными расходомерами, оборудованием на заводах, умным транспортом передается от машины к машине, а потом исследуется и обрабатывается людьми [5].
Направление больших данных и машинного обучения на сегодняшний день является одним из самых развивающихся и перспективных.
В связи с тем, что кооперативный сектор играет существенную роль в структуре национальной экономики, важно понять, как наиболее эффективно использовать применительно к нему методы и технологии системы обработки больших данных. Объективной основой для такого использования является существующая структура первичных поставщиков продукции и услуг в систему кооперации.
Если рассматривать сельское хозяйство, то выясняется, что сбор фактов по технологическим операциям, который происходит в поле, - очень непростая задача. Обычно эти данные собираются и записываются вручную. Хотя существует программное решение, с помощью которого можно получить идентификацию этих параметров.
Далее возникает вопрос, как обработать информацию, полученную с техники. Информацию обычно получают из трех источников: 1С, Excel и датчики. Поэтому, самая сложная задача для агропредприятия - это поиск специалистов, способных применять IT-технологии в сельском хозяйстве. Возникает целый ряд проблем: недостаток IT-специалистов, приспособленных к агрономической сфере, нехватка грамотных агрономов, способных работать на вычислительных машинах, невысокая квалификация специалистов, призванных работать на новом оборудовании. Быстрое и грамотное решение этих проблем приведет к успеху всего процесса цифровой трансформации сельского хозяйства в нашей стране [12].
За последние десятилетия более чем в два раза сократилось количество работников в сельском хозяйстве (по данным Росстата). И только автоматические системы смогут поднять сельскую местность и сохранить там производство.
Вместе с ростом числа разработок в сфере автоматизации сельхозпроизводства растет и сам рынок этого оборудования, увеличивается спрос на устройства «интернета вещей». Согласно существующей «дорожной карте» внедрения высоких технологий в сельское хозяйство в 2019 году примерно треть российских хозяйств будут использовать интернет и большие данные [13].
Индивидуальность первичных поставщиков продукции и услуг, как производителей, и огромное количество точек производства на территории России в совокупности создают все предпосылки для успешного использования системы больших данных. Для этого надо провести оценку потенциальной базы применения и определить тенденции развития кооперативных и рыночных систем, работающих с населением.
В результате будет определена степень их влияния на экономику, а также уровень удовлетворения социально необходимых потребностей людей. Все типы кооперативов: коллективные, частные, государственные, публичные, фирменные, корпоративные, предпринимательские, некоммерческие могут эффективным образом быть втянуты в BIG DATA. При этом их форма организации в разных секторах экономики и социальной сферы не окажет существенного влияния на применимость используемых инструментов. Как отмечается специалистами Организации экономического сотрудничества и развития (ОЭСР) [14] в ближайшие годы большое влияние на развитие экономической и социальной сфер деятельности во всем мире будут оказывать кооперативные и самоорганизующиеся структуры.
Применительно к тенденциям развития экономики нашей страны по имеющимся оценкам экспертов значительное улучшение результатов социально-экономического развития страны и ее регионов может произойти в результате скоординированного сотрудничества отдельных структур между собой, а также с государственными и частными предприятиями.
Список используемых источников
1. Халин В.Г., Чернова Г.В. Цифровизация и ее влияние на российскую экономику и общество: преимущества, вызовы, угрозы и риски // Управленческое консультирование. - 2018. - № 10. - С.46-63.
2. Основные направления бюджетной, налоговой и таможенно-тарифной политики на 2019 год и на плановый период 2020 и 2021 годов (утв. Минфином России). Текст документа приведен в соответствии с публикацией на сайте https://www.minfin.ru по состоянию на 02.10.2018. [Электронный ресурс] // СПС Консультант плюс. - URL: http://www.consultant.ru/ document/cons_doc_LAW_ 308390/4b8af8bcbffd0a58fc980c11f6e5d2fb12304cf0/.
3. Протасов С. Что такое Big Data? [Электронный ресурс]. - URL: https://postnauka.ru/ faq/46974.
4. Big Data от А до Я. Часть 1: Принципы работы с большими данными, парадигма MapReduce [Электронный ресурс]. - URL: https://habr.com/ru/company/dca/blog/267361/.
5. Большие_данные (Big_Data) [Электронный ресурс]. - URL: http://www.tadviser.ru/ index.php/.
6. Большие данные вокруг нас: о прошедшей конференции Big Data Moscow 2018 и о будущем больших данных [Электронный ресурс]. - URL: https://12news.ru/doc16370.html.
7. Джеффри Дин, Санджай Гемават. MapReduce: упрощенная обработка данных на больших кластерах [Электронный ресурс]. - URL: https://research.google.com/archive/ mapreduce.html.
8. Издательство «Открытые системы» [Электронный ресурс]. - URL: http:// ospcon.osp.ru/bigdata.
9. Big Data Moscow 2018 [Электронный ресурс]. - URL: https://bigdatadays.ru/2018.
10. Big Data Days 2019 [Электронный ресурс]. - URL: https://bigdatadays.ru/ru/.
11. Машинное_обучение [Электронный ресурс]. - URL: https://ru.wikipedia.org/wiki/.
12. Давлетшин Ирек, Трофимов А. Цифровой передел. Преимущества и риски цифро- визации сельского хозяйства. // Агротехника и технологии. - 2018. - № 5. - С. 21-25.
13. Дашковский И. Под контролем. Искусственный интеллект следит за порядком на агропредприятиях. // Агротехника и технологии. - 2019. - № 1. - С. 3-7.
14. Столярова А. Н. Кооперативный сектор в структуре национальной экономики [Электронный ресурс]. - URL: https://cyberleninka.ru/article/v/kooperativnyy-sektor-v-strukture- natsionalnoy-ekonomiki
References
1. Halin V.G., Chernova G.V. Cifrovizaciya i ee vliyanie na rossijskuyu ekonomiku i obshchestvo: preimushchestva, vyzovy, ugrozy i riski // Upravlencheskoe konsul'tirovanie. - 2018. - № 10. - С. 46-63.
2. Osnovnye napravleniya byudzhetnoj, nalogovoj i tamozhenno-tarifnoj politiki na 2019 god i na planovyj period 2020 i 2021 godov (utv. Minfinom Rossii). Tekst dokumenta priveden v sootvetstvii s publikaciej na sajte https://www.minfin.ru po sostoyaniyu na 02.10.2018. [Elektronnyj resurs] // SPS Konsul'tant plyus. - URL: http://www.consultant.ru/ cons/cgi/ online.cgi?req= doc&base=LAW&n= 308390&fld=134&dst=1004 26,0&rnd=0.8157045612703653#09389955885473682.
3. Protasov S. Chto takoye Big Data? [Elektronnyy resurs]. - URL: https://postnauka.ru/ faq/46974.
4. Big Data ot A do Ya. Chast 1: Printsipy raboty s bolshimi dannymi. paradigma MapReduce [Elektronnyy resurs]]. - URL: https://habr.com/ru/company/dca/blog/267361/.
5. Bolshiye_dannyye (Big_Data) [Elektronnyy resurs]. - URL: http://www.tadviser.ru/index.php/.
6. Bolshiye dannyye vokrug nas: o proshedshey konferentsii Big Data Moscow 2018 i o budushchem bolshikh dannykh [Elektronnyy resurs]. - URL: https://12news.ru/doc16370.html.
7. Dzheffri Din. Sandzhay Gemavat. MapReduce: uproshchennaya obrabotka dannykh na bolshikh klasterakh [Elektronnyy resurs]. - URL: https://research.google.com/archive/ mapreduce.html.
8. Izdatelstvo «Otkrytyye sistemy» [Elektronnyy resurs]. - URL: http://ospcon.osp.ru/ bigdata.
9. Big Data Moscow 2018 [Elektronnyy resurs]. - URL: https://bigdatadays.ru/2018.
10. Big Data Days 2019 [Elektronnyy resurs]. - URL: https://bigdatadays.ru/ru/.
11. Mashinnoye_obucheniye [Elektronnyy resurs]. - URL: https://ru.wikipedia.org/wiki/.
12. Davletshin Irek, Trofimov A. Cifrovoj peredel. Preimushchestva i riski cifrovizacii sel'skogo hozyajstva. // Agrotekhnika i tekhnologii. - 2018. - № 5. - С. 21-25.
13. Dashkovskij I. Pod kontrolem. Iskusstvennyj intellekt sledit za poryadkom na agropredpriyatiyah. // Agrotekhnika i tekhnologii. - 2019. - № 1. - С. 3-7.
14. Stolyarova A. N. Kooperativnyy sektor v strukture natsionalnoy ekonomiki [Elektronnyy resurs]. - URL: https://cyberleninka.ru/article/v/kooperativnyy-sektor-v-strukture- natsionalnoy-ekonomiki.