Курсовая работа: Основы технологий машинного обучения

Все же, почему метод ансамблей превосходит отдельно стоящие прогнозные модели?

§ Он минимизирует влияние случайностей. Агрегированный классификатор «усредняет» ошибку каждого из базовых классификаторов -- соответственно, влияние случайностей на усредненную гипотезу существенно уменьшается.

§ Он снижает дисперсию. Совокупное мнение целого множества моделей лучше, чем мнение отдельно взятой модели. В экономике это называется диверсификацией -- расширение ассортимента выпускаемой продукции повышает эффективность производства и предотвращает банкротство. Ансамбль моделей имеет больший шанс найти глобальный оптимум, поскольку поиск идет из разных точек исходного множества гипотез.

§ Он предотвращает выход за пределы множества. Вероятен следующий случай: агрегированная гипотеза находится за пределами множества базовых гипотез. При построении комбинированной гипотезы любым путем (логистическая регрессия, усредненное значение, голосование), множество гипотез расширяется, следовательно, полученный результат не выходит за его рамки.

2.1.2 Неконтролируемое обучение

2.1.2.1 Алгоритмы кластеризации

Задача кластеризации состоит в группировании множества объектов таким образом, чтобы поместить максимально похожие между собой элементы в одну группу (рис.5).

Рисунок 4

Алгоритмов кластеризации существует довольно много, и все они отличаются друг от друга. Самые популярные из них:

§ алгоритмы на базе центра тяжести треугольника;

§ алгоритмы на основе подключения;

§ алгоритмы плотности на основе пространственной кластеризации;

§ вероятностный алгоритм;

§ алгоритм уменьшения размерности;

§ нейронные сети и машинное обучение.

Алгоритмы кластеризации используются в биологии, социологии и информационных технологиях. Например, в биоинформатике с помощью кластеризации анализируются сложные сети взаимодействующих генов, состоящие порой из сотен или даже тысяч элементов. А при анализе результатов социологических исследований рекомендуется осуществлять анализ методом Уорда, при котором внутри кластеров оптимизируется минимальная дисперсия, в итоге создаются группы приблизительно равных размеров.

2.1.2.2 Метод главных компонент

Метод главных компонент (PCA) -- это статистическая процедура, которая использует ортогональное преобразование с целью конвертации набора наблюдений за возможно коррелированными переменными в набор значений линейно некоррелированных переменных, называемых главными компонентами(рис.6).

Рисунок 5

Отдельные области применения PCA включают в себя сжатие и упрощение данных для облегчения обучения, а также визуализацию. Решение об использовании метода главных компонент зависит от уровня познания предметной области. PCA не подходит для применения в случаях с плохо упорядоченными данными (все компоненты метода имеют довольно высокую дисперсию).

2.1.2.3 Сингулярное разложение

В линейной алгебре под сингулярным разложением (SVD) понимают разложение прямоугольной вещественной или комплексной матрицы. Для матрицы M размерностью [m*n] существует такое разложение, что M = UУV, где U и V -- унитарные матрицы, а У - диагональная матрица.

Метод главных компонент является простым применением сингулярного разложения. Первые алгоритмы компьютерного виденья использовали PCA и SVD, чтобы представить лица в виде суммы базисных компонент, выполнить уменьшение размерности, а затем сопоставить их с изображениями из обучающей выборки. И хотя современные методы характеризуются более сложной реализацией, многие из них по-прежнему работают на базе подобных алгоритмов.

2.1.2.4 Анализ независимых компонент

Анализ независимых компонент (ICA) представляет собой статистический метод выявления скрытых факторов, которые лежат в основе множества случайных величин, сигналов и прочих измерений. ICA определяет порождающую модель для исследуемых многофакторных данных, которые обычно подаются в виде большой базы данных образцов. В модели переменные подаются как линейная смесь некоторых скрытых переменных, а любая информация о законах смешивания отсутствует. Предполагается, что скрытые переменные независимы друг от друга и представляются как негауссовские сигналы, поэтому они называются независимыми компонентами исследуемых данных. Анализ независимых компонент непосредственно связан с методом главных компонент, но это гораздо более мощная техника, способная найти скрытые факторы источников, когда классические методы в лице PCA дают сбой. Алгоритм ICA применяется в телекоммуникациях, астрономии, медицине, распознавании речи и изображений, диагностировании и тестировании сложных электронных систем и, наконец, поиске скрытых факторов и источников движения финансовых показателей.

2.2 Возможности машинного обучения

2.2.1 Кредитный скоринг

Все чаще компании, действующие в сфере кредитования, используют машинное обучения для прогнозирования кредитоспособности клиентов, а также для построения моделей кредитных рисков. Среди таких компаний -- Kabbage, Inc., финансирующая малый бизнес посредством платформы кредитования, сервис удаленного микрокредитования LendUp и признанный лидер отрасли финансовых технологий Lending Club. В частности, команда Kabbage специализируется на разработке алгоритмов машинного обучения нового поколения и аналитики для построения моделей кредитного риска и анализа существующего портфеля. В числе множества алгоритмов машинного обучения для определения рейтинга кредитоспособности заемщика используются следующие: многослойный перцептрон, логистическая регрессия, метод опорных векторов, а также алгоритм усиления классификаторов AdaBoost (или Adaptive Boosting) и квантизация векторов при обучении.

2.2.2 Принятие решений

Финансовые вычисления и принятие решений могут осуществляться посредством алгоритмов машинного обучения, которые позволяют компьютерам эффективнее и быстрее обрабатывать данные и принимать решения касательно кредитования, страхования, защиты от мошенничества и т. д. Модели машинного обучения широко используются такими компаниями как Affirm, BillGuard и ZestFinance. Последней удалось найти новый подход к традиционным задачам благодаря машинному обучению и анализу больших массивов данных. Компания анализирует тысячи потенциальных кредитных переменных - от финансовой информации до использования технологий, - чтобы лучше оценить такие факторы как возможности потенциального мошенничества, риск невыполнения обязательств и вероятность долгосрочных отношений с клиентами. Как результат, предприятие может принимать более «правильные» решения о предоставлении кредитов, что приводит к повышению доступности кредитов для заемщиков и более высокому проценту их погашения.

2.2.3 Извлечение информации

Время поговорить о разновидности информационного поиска, целью которого является автоматическое получение структурированных данных при обработке неструктурированной или слабоструктурированной информации. Как правило, это касается работы с веб-контентом, то есть статьями, публикациями в социальных сетях и различными документами. Например, специализированная система поиска AlphaSense для финансовых компаний использует алгоритмы обработки естественного языка и сложные алгоритмы машинного обучения.

Благодаря мощным алгоритмам собственной разработки фирма Dataminr способна совершить моментальный анализ потоков публикаций Twitter и других данных из социальных сетей и веб-источников и преобразовать их в полезную информацию, которая может быть применена на практике. Компания нацелена на клиентов из сферы финансов и новостей, а также государственного сектора и корпоративной безопасности. Обрабатывая по 500 млн.твитов ежедневно, алгоритмы Dataminr способны отыскать релевантную информацию об интересующих клиентов новых восходящих трендах и последних горячих новостях на минуты и даже часы ранее того момента, когда они, собственно, станут таковыми.

2.2.4 Защита от мошенничества и управление идентификационной информацией пользователей

По результатам проведенных IBM исследований, ежегодно мошенничество наносит финансовой индустрии ущерб, равный примерно 80 млрд долларов. Машинное обучение дает более эффективные методы выявления мошенничества. Благодаря созданным решениям можно проводить анализ истории транзакций для построения модели, которая могла бы распознать мошеннические действия. Кроме того, технологии машинного обучения также применяются финтех-компаниями для разработки систем биометрической аутентификации пользователей. Стартап EyeVerify разработал технологию с применением алгоритмов машинного обучения, позволяющую использовать модное «селфи» для обеспечения безопасности своих финансовых операций. Их флагманский продукт Eyeprint ID - программное обеспечение, которое идентифицирует пользователя по рисунку вен на белках глаз и других микроскопических особенностям глаза.

Компания Feedzai, специализирующаяся на обработке и анализе данных, использует машинное обучение и большие массивы данных для повышения уровня безопасности информации предприятий. Разработанные ими модели машинного обучения распознают мошенничество на 30% быстрее, нежели при использовании более традиционных методов обнаружения фрода.

2.2.5 Алгоритмические стратегии для торговли

Машинное обучение применяется для создания высокоэффективных алгоритмических стратегий для торговли. Основной формой алгоритмической торговли является высокочастотный трейдинг, в котором для быстрой торговли ценными бумагами задействованы специальные алгоритмы и торговые роботы. Машинное обучение предоставляет мощные инструменты для изучения закономерностей рынка. Благодаря предиктивному моделированию, программированию и алгоритмам машинного обучения компания KFL Capital Management Ltd., управляющая фондом инвестиций, стала экспертом в области прогнозирования изменений поведения рынка на основании финансовых данных. Торговая фирма Binatix внедряет сверхсовременные алгоритмы машинного обучения, которые помогают обнаружить закономерности, дающие преимущество в инвестировании.

Наряду с развитием других технологий, машинное обучение вносит значительные изменения в финтех-индустрию, предлагая эффективные решения для анализа данных и принятия решений. Алгоритмы машинного обучения используются для многих задач в различных сферах финтеха - от кредитования до повышения безопасности финансовых операций, при этом они могут быть направленны как на индивидуальных клиентов, так и на корпорации.

Заключение

В ходе написания курсового проекта мною были подробно рассмотрены два основных метода машинного обучения: контролируемое обучение, неконтролируемое обучение, а также возможности машинного обучения такие как:

· Кредитный скоринг

· Принятие решений

· Извлечение информации

· Защита от мошенничества

· Алгоритмические стратегии для торговли

При написании курсовой работы по теме исследования мною была изучена специальная литература, включающая научные статьи по информационным технологиям, учебники по машинному обучению, рассмотрено практическое применение машинного обучения на производстве и бизнесе.

В результате анализа возможностей машинного обучения, мною было выявлено, что сфера применений машинного обучения постоянно расширяется. Повсеместная информатизация приводит к накоплению огромных объёмов данных в науке, производстве, бизнесе, транспорте, здравоохранении. Возникающие при этом задачи прогнозирования, управления и принятия решений часто сводятся к обучению по прецедентам. Раньше, когда таких данных не было, эти задачи либо вообще не ставились, либо решались совершенно другими методами.

С каждым годом большие данные становятся все более сложными и человеку становится уже недостаточно аналитических способностей. Некоторые задачи перейдут к искусственному интеллекту, который справится с ними лучше и быстрее, чем человек.

Прогнозируется, что в ближайшее десятилетие искусственный интеллект займет около 7% рабочих мест в России. Часть процессов в организациях автоматизируют и управлять этими процессами поручат самообучающимся алгоритмам.

Огромное место займет ИИ в интернете вещей. Интернет вещей требует обработки большого потока информации в реальном времени.

Устройства, подключенные к сети, генерируют гигантские массивы данных, которые необходимо будет обрабатывать, анализировать и хранить. Как пример, зубные щетки с функцией bluetooth, которые будут отправлять информацию о состоянии зубов стоматологу или дроны, которые станут незаменимы в сельском хозяйстве. Они будут собирать информацию о зрелости урожая, о состоянии почвы, о вредителях и болезнях растений. И во всех технологиях будет использовать машинное обучение. Поэтому машинное обучение готовит для нас перспективное будущее и массу интересных инноваций.

Список использованных источников

1.Педро Домингос Верховный алгоритм. Как машинное обучение изменит наш мир.-М.: Манн, Иванов и Фербер,2016.-336 с.

2. Флах Питер Машинное обучение.-М.: ДМК-Пресс, 2015 г.-400 с.

3. Бринк Хенрик, Ричардс Джозеф, Феверолф Марк Машинное обучение.-М.: Питер, 2017 г.-336 с.

Размещено на Allbest