1.3 Обзор состояния науки о данных и машинного обучения
Kaggle — система организации конкурсов по исследованию данных, а
также социальная сеть специалистов по обработке данных и машинному
обучению.
Согласно отчету Kaggle на конец 2021 года: [15]
•наиболее популярными инструментами разработки моделей являются Jupyter Notebook (1 место), Visual Studio Code (2 место), JupyterLab (3 место);
•наиболее часто используемыми методами и алгоритмами машинного обучения являются линейная или логистическая регрессия (1 место),
деревья решений или «случайный лес» (2 место), алгоритмы градиентного бустинга (3 место), сверточные сети (4 место), подход Байеса (5 место), глубокие сети (6 место), рекуррентные (7 место),
сети transformer (8 место), генеративно-состязательные сети (9
место);
•наиболее часто используемыми инструментами являются библиотеки
Python: scikit-learn (1 место), tensorflow (2 место), xgboost (3 место), keras (4 место), pytorch (5 место);
•большинство исследователей не использует AutoML решения, но интерес к ним растет.
Таким образом, исследование современных моделей и алгоритмов искусственного интеллекта чаще всего проводится в Jupyter-подобном ПО на
CPython, графическую оболочку (рис. 1.4) которого можно охарактеризовать следующим образом:
•в основной рабочей области отображаются вкладки документов;
•документ Jupyter-Notebook (.ipynb) содержит блоки с текстом и блоки с кодом на СPython и выводом;
•блоки с текстом используются для комментирования;
16
•блоки с кодом можно запускать в любом порядке любое количество раз, причем состояния переменных сохраняются, т.е. переменные запущенного ранее блока доступны в следующем запускаемом блоке;
•имеется функция остановки выполнения блока;
•имеется функция перезапуска ядра, которая сбрасывает состояние интерпретатора к исходному (память освобождается).
Все эти характеристики необходимо принять во внимание перед
построением архитектуры приложения.
1.4Выводы
Вразделе описана предметная область, подробно рассмотрены
выбранные задачи машинного обучения, представлен жизненный цикл данных и модели, приведены существующие решения вместе с обзором состояния науки о данных и машинного обучения. В таблице 1.1 представлен краткий анализ решений.
Таблица 1.1 — Краткий анализ существующих решений
Решение |
Графические |
MATLAB |
|
Neural |
|
|
Deep |
|
Network |
|
|||
|
приложения на |
Simbrain |
Net Maker |
|||
|
Learning |
Console |
||||
Функция |
основе IPython |
|
|
|||
Toolbox |
|
WinAPP |
|
|||
|
|
|
|
|||
Выбор готовых |
|
|
|
|
|
|
архитектур, их |
|
|
|
|
|
|
изменение и |
с помощью кода |
+ |
+ |
+ |
+ |
|
настройка процесса |
|
|
|
|
|
|
обучения |
|
|
|
|
|
|
|
|
|
|
|
|
|
Визуализация и |
|
|
|
|
|
|
отображение |
с помощью кода |
+ |
+ |
+ |
+ |
|
результатов |
||||||
|
|
|
|
|
||
процесса обучения |
|
|
|
|
|
|
|
|
|
|
|
|
|
Наличие |
|
|
|
|
|
|
стандартных |
|
|
|
автозагрузка |
|
|
наборов данных |
|
|
в |
|
||
с помощью кода |
в комплекте |
из |
− |
|||
и/или их загрузка из |
комплекте |
|||||
|
|
Интернета |
|
|||
Интернета по |
|
|
|
|
||
|
|
|
|
|
||
запросу |
|
|
|
|
|
|
|
|
|
|
|
|
|
Создание и |
|
с помощью |
|
|
|
|
редактирование |
с помощью кода |
в таблице |
− |
− |
||
кода |
||||||
набора данных |
|
|
|
|
||
|
|
|
|
|
||
Интерактивная |
|
|
|
|
|
|
визуализация |
с помощью кода |
+ |
+ |
− |
− |
|
работы сети |
|
|
|
|
|
|
|
|
|
|
|
|
17
Экспорт модели в |
с помощью кода |
+ |
− |
− |
− |
|
ONNX формат |
||||||
|
|
|
|
|
||
|
|
|
|
|
|
|
Разработка |
|
только в |
|
|
|
|
сценариев/программ |
только для |
полном |
+ |
− |
− |
|
с графическим |
поддерживаемых |
пакете |
||||
|
|
|
||||
отображением |
|
MATLAB |
|
|
|
|
|
|
|
|
|
|
|
Пользовательские |
− |
+ |
+ |
− |
− |
|
шаблоны кода |
||||||
|
|
|
|
|
||
|
|
|
|
|
|
|
Разделение и |
|
|
|
|
|
|
объединение |
− |
− |
− |
− |
− |
|
проектов по средам |
||||||
|
|
|
|
|
||
исполнения |
|
|
|
|
|
|
Операционная |
Windows, Linux |
Windows, |
Windows |
Windows |
Windows |
|
система |
Linux |
|||||
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
30 дней |
|
|
|
|
Лицензия |
Бесплатно |
условно- |
Бесплатно |
Бесплатно |
Бесплатно |
|
|
|
бесплатно |
|
|
|
Заключение
В результате прохождения преддипломной практики мои профессиональные навыки, необходимые выпускнику направления
«программная инженерия», были значительно расширены.
Список использованных источников
1.John McCarthy. FAQ: «What is artificial intelligence?». 2007. URL: http://www-formal.stanford.edu/jmc/whatisai/node1.html (Дата обращения:
01.06.2022)
2.Симанков Владимир Сергеевич, Теплоухов Семен Васильевич.
Аналитическое исследование методов и алгоритмов искусственного интеллекта // Вестник Адыгейского государственного университета. Серия
4: Естественно-математические и технические науки. 2020. №3 (266). URL: https://cyberleninka.ru/article/n/analiticheskoe-issledovanie-metodov-i- algoritmov-iskusstvennogo-intellekta (дата обращения: 01.06.2022)
3.SoTA Methodology // [Электронный ресурс]: PapersWithCode. – URL: https://paperswithcode.com/area/methodology (Дата обращения: 01.06.2022)
18
4.Deep Learning Toolbox // [Электронный ресурс]: MATLAB. – URL: https://www.mathworks.com/products/deep-learning.html (Дата обращения:
01.06.2022)
5.JupyterLite // [Электронный ресурс]: Jupyter. – URL: https://jupyter.org/tryjupyter/ (Дата обращения: 01.06.2022)
6.Working with Jupyter Notebooks in Visual Studio Code // [Электронный ресурс]: Visual Studio Code. – URL: https://code.visualstudio.com/docs/datascience/jupyter-notebooks (Дата обращения: 01.06.2022)
7.Google Colab // [Электронный ресурс]: Google. – URL: https://colab.research.google.com/ (Дата обращения: 01.06.2022)
8.Run Data Science & Machine Learning Code Online // [Электронный ресурс]: Kaggle. – URL: https://www.kaggle.com/code (Дата обращения: 01.06.2022)
9.Use machine learning to make anything with Gradient // [Электронный ресурс]:
Paperspace. – URL: https://gradient.run/ (Дата обращения: 01.06.2022) 10.SageMaker Studio Lab // [Электронный ресурс]: Amazon. – URL:
https://studiolab.sagemaker.aws/ (Дата обращения: 01.06.2022)
11.Запуск записных книжек Jupyter Notebook в рабочей области Azure Machine Learning // [Электронный ресурс]: Microsoft Docs. – URL: https://docs.microsoft.com/azure/machine-learning/how-to-run-jupyter- notebooks (Дата обращения: 01.06.2022)
12.Neural Network Console Windows App // [Электронный ресурс]: Sony. – URL: https://dl.sony.com/app/ (Дата обращения: 01.06.2022)
13.NetMaker // [Электронный ресурс]: Robert Sulej. – URL: https://www.ire.pw.edu.pl/~rsulej/NetMaker/ (Дата обращения: 01.06.2022)
14.Simbrain // [Электронный ресурс]: Simbrain. – URL: http://www.simbrain.net/ (Дата обращения: 01.06.2022)
15.State of Data Science and Machine Learning 2021 // [Электронный ресурс]: Kaggle. – URL: https://www.kaggle.com/kaggle-survey-2021 (Дата
обращения: 01.06.2022)
19