Материал: Плагіат

Метод CHAID (Chi-Square Automatic Interaction Detection – автоматичний детектор взаємозв'язків на основі критерію χ2) розроблений в 1980 р. Є найбільш вживаним і швидкодіючим багатовимірним статистичним методом побудови дерева рішень, що базується на використанні критерію зв’язку χ2 для пошуку оптимального розбиття між категоріальними змінними. При необхідності кожна вершина дерева може бути поділена більше ніж на дві вершини наступного рівня. У випадку інтервальної залежної змінної в якості критерія оптимізації використовується F-критерій Фішера. Якщо незалежні змінні є інтервальними, то вони автоматично перетворюються в категоріальні, окрім того кількість категорій можна змінювати [24].

В 1991р. був розроблений метод Вичерпний (Exhaustive) CHAID, що є модифікацією методу CHAID. Перевага даного методу полягає в тому, що при побудові дерева відбувається попередній аналіз всіх можливих розбиттів на наступних етапах алгоритму. Звичайно таки аналіз потребує більше ресурсів та часу.

Метод QUEST (Quick, Unbiased, Efficient Statistical Trees) – швидкі, незсунені, результативні статистичні дерева) був розроблений для усунення недоліків попереднього методу. Цей статистичний метод призначений для швидкої і ефективної побудови бінарних дерев був розроблений в 1997 р. Однак, цей метод застосовується, тільки в тому випадку якщо цільова змінна є номінальною. В залежності від типу тої чи іншої незалежної змінною використовуються різні статистичні критерії, а тому незалежні змінні можуть бути будь-якими.

У роботі Чаван П. М. проводиться опис різних алгоритмів аналізу даних, та їх поєднання за допомогою техніки Bagging [24]. Навчання методів проводиться на банківських даних, проте на вибірках різних країн. Результати показали, що на різних даних деякі алгоритми працюють краще, деякі гірше. Саме в роботі найкраще показав себе Random Forest, хоча прогнози на основі техніки Bagging показали гарні результати.

Лінійна імовірнісна модель (ЛІМ) – це модель у формі лінійної регресії, залежна змінна якої набуває значення 0 або 1 залежно від того, яким є результат повернення особою наданого споживчого кредиту.

Логістична регресія – є корисним класичним інструментом для вирішення завдань регресії та класифікації. В останні роки логістична регресія набула поширення в скорингу для розрахунку рейтингу позичальників і управління кредитними ризиками. Логістична регресія є різновидом множинної регресії. Призначення логістичної регресії – аналіз зв’язку між цільовою змінної та незалежними змінними, або, як їх ще називають, регресорами чи предикторами . Якщо цільова змінна приймає тільки два значення (наприклад, 0 або 1), тобто є бінарною, то в такому випадку застосовується бінарна логістична регресія [23]. Логістична регресія дозволяє оцінити ймовірність того, що відбудеться якась конкретна подія для певного випробування (наприклад, повернення кредиту).

Логістична регресія фактично служить не для передбачення значень цільової змінної, а скоріше для оцінки ймовірності того, що залежна змінна прийме задане значення.

Системи підтримки прийняття рішень

Система підтримки прийняття рішень (СППР) – це комп’ютеризована автоматизована система, метою якої є допомога людям, які приймають рішення в складних умовах для повного і об’єктивного аналізу предметної області. СППР, на основі вхідних даних, видає інформацію, що допомагає людині швидко і точно оцінити ситуацію та прийняти рішення. Особливу увагу потрібно надати надзвичайним ситуаціям, в моменти яких, людині складно оцінювати проблему та її ознаки об’єктивно, та приймати зважені рішення, у чому можуть зіграти ключову роль СППР [25, 26].

СППР використовують різні методи для аналізу та видачі інформації. Найпоширеніші з методів аналізу даних у СППР:

• інформаційний пошук;

• інтелектуальний аналіз даних;

• пошук знань у базі даних;

• висновки на основі прецедентів;

• імітаційне моделювання;

• еволюційні обчислення;

• генетичні алгоритми;

• нейронні мережі.

Концептуальна модель СППР зображена на рисунку 1.6.

Рис. 1.6 – Концептуальна модель СППР

Розробка СППР, як правило є результатом дослідження проведеного не тільки в рамках комп’ютерних наук, а й в рамках предметної області та методів її аналізу. Існує декілька видів СППР на рівні взаємодії з користувачем, а саме активні, пасивні та кооперативні СППР. Пасивна СППР характеризується лише допомогою процесу прийняття рішень, та не може видати прогноз, яке саме рішення потрібно прийняти. Активна СППР може зробити прогноз щодо прийняття рішення. Кооперативна СППР дозволяє людині, що приймає рішення змінювати, додавати і покращувати рішення, які прогнозуються системою. Процес продовжується до отримання однакового рішення.

На концептуальному рівні виділяються наступні типи СППР:

• на основі управління повідомленнями;

• на основі управління даними;

• на основі управління документами;

• на основі управління моделями.

Кожен тип, що приведений вище виконує кінцеву задачу у підтримці прийняття рішення за допомогою окремих особливостей.

Постановка задачі

У рамках атестаційної роботи для досягнення мети, щодо класифікації банківських кредитів потрібно вирішити наступні задачі:

• провести аналіз досліджуваної предметної області;

• провести аналіз та структуризацію кредитних ризиків;

• провести дослідження СППР та їх розробки.

• провести аналіз існуючих методів інтелектуального аналізу даних;

• вибір методу оцінювання параметрів моделей;

• розробити комбінований метод аналізу даних на основі алгоритмів CART та SVM.

• спроектувати СППР, що використовує комбінований метод;

• провести тестування комбінованого методу та провести аналіз його точності.

Для проектування системи необхідно виконати наступні задачі:

• визначити сферу застосування системи, що розроблюється;

• розробити системні та функціональні вимоги до системи, що проектується;

• побудувати діаграму варіантів використання;

• провести обґрунтування вибору СУБД;

• провести логічне та фізичне моделювання даних з реалізацією бази даних.

2. Комбінування методів аналізу даних

Основні положення методу CART

Основне призначення методу – це визначення класу, поданого на вхід об’єкту. Кожне бінарне дерево складається з вузлів, кожен вузол має лише два нащадки, що розділяє об’єкти на виділені групи. Ці нащадки мають назви лівий «left» і правий «right». Для розбиття нащадків на виділені групи виконується перевірка правила, що формується на кожному вузлі дерева. Якщо умова виконується, то ці нащадки відносять до правої групи, якщо ні, то до лівої. На рисунку 2.1 представлений приклад дерева рішень на основі даних для апроксимації синусоїдальної кривої.

Рис. 2.1 - Приклад дерева рішень на основі даних для апроксимації синусоїдальної кривої.

Метод CART застосовується для номінальних (зазвичай дворівневих) і порядкових змінних. У цьому методі перебираються всі можливі варіанти розгалуження для кожного вузла, і вибирається та змінна, при якій оцінна функція дає найкращий показник [28]. Для вирішення задач атестаційної роботи, було обрано застосовувати метод на номінальних змінних, для вирішення задачі класифікації заявок на отримання банківських кредитів.

Метод CART має свої переваги та недоліки, які представлені на приведеній нижче таблиці 2.1.

Табл. 2.1 – Переваги та недоліки методу CART.

Дано вектор для навчання , i = 1,…, l та вектор мітки  , дерево рішень рекурсивно розділяє простір так, що зразки з однаковими мітками групуються разом. Нехай дані на вузлі будуть представлені як . На кожного кандидата розділити що складається з ознаки і поріг , розділити дані на і підмножини (формула 2.1).

Домішка при обчислюється за допомогою домішкової функції , вибір якого залежить від вирішуваного завдання (формула 2.2) .

Для мінімізації домішок використовують критерій (формула 2.3)

Рекурсивно застосувати для підмножин та до тих пір, поки не буде досягнена максимально дозволена глибина.

Якщо ціль - це результат класифікації, який приймає значення 0,1,…, K-1 для вузла, що представляє регіон з спостереження, нехай (формула 2.4)

Звичайно для оцінки якості моделі використовують індекс Gini (формула 2.5), також ентропію (формула 2.6) та неправильну класифікацію (формула 2.7)

Де – це дані навчання у вузлі .

В результаті, на виході можна візуалізувати наше дерево, для кращого сприйняття та аналізу. На рисунку 2.2 представлений приклад візуалізації дерева рішень для вирішення задачі класифікації, навчений на тестових даних про рослини.

Рис. 2.2 – Приклад візуалізації дерева рішень, для вирішення задачі класифікації.

Основні положення методу SVM

Основне призначення методу – вирішення задачі бінарної класифікації. Бінарна класифікація – це тоді коли дані необхідно розділити лише на два класи. Спочатку алгоритм тренується на об'єктах з навчальної вибірки, для яких заздалегідь відомі мітки класів. Далі вже навчений алгоритм пророкує мітку класу для кожного об'єкта з тестової вибірки. Мітки класів можуть набувати значень . Об'єкт - вектор з N ознаками в просторі . При навчанні алгоритм повинен побудувати функцію , Яка приймає в себе аргумент - об'єкт з простору і видає мітку класу [29].

Головна мета SVM як класифікатора - знайти рівняння розділяє гіперплощини в просторі , яке б розділила два класи якимось оптимальним чином [30].

Загальний вигляд перетворення об'єкта в мітку класу : . Якщо . Після налаштування вагових коефіцієнтів алгоритму і для навчання, всі об'єкти, які потрапляють по одну сторону від побудованої гіперплощини, будуть позначені як перший клас, а об'єкти, що потрапляють по іншу сторону – другий клас. Функція використовує лінійну комбінацію ознак об’єкта, з ваговими коефіцієнтами алгоритму, саме тому алгоритм SVM відноситься до лінійних алгоритмів Data Mining.