Дипломная работа: Оценка надёжности заёмщика банка в условиях неполноты информации

Всего наблюдений в наборе 150000. Статистика по пропускам следующая (Таблица 8):

Таблица 8. Первый набор данных. Пропуски

Для дальнейшего анализа разобьём имеющуюся выборку на обучение и тест: 30% - тест, 70% - обучение. Разбиение производится случайным образом с сохранением соотношения «плохие»/«хорошие», результат разбиения приведён в таблице ниже (Таблица 9).

Таблица 9. Первый набор данных. Разбиение на обучение и тест

Построение моделей

Построение моделей проводилось с использованием различных подходов к устранению пропусков.

Исключение пропусков

Из имеющихся выборок для обучения и тестирования были исключены наблюдения, содержащие пропуски. Получившиеся выборки для обучения и тестирования следующие:

Таблица 10. Первый набор данных. Исключение пропусков. Обучение и тест.

На новых выборках, не содержащих наблюдений с пропущенными значениями, была построена и протестирована модель логистической регрессии. Коэффициенты полученной регрессионной модели и ROC-кривая на тестовой выборке приводятся в приложении (Приложение 1. Модели первого набора данных: Таблица 21 и Рисунок 20). Полученная модель продемонстрировала на тестовой выборке разделяющую способность с Gini 0.3851, и средней точностью 0.2373

Заполнение пропусков в данных

На данном этапе исследования пропуски в данных были заполнены одним из следующих способов:

· Средними значениями соответствующих столбцов

· Нулями

· Средними или нулями, в зависимости от предполагаемого экономического смысла пропуска

Замена пропусков на нули и средние была произведена исходя из экономического смысла переменных. Так пропуски в переменной MonthlyIncome могут быть заменены на среднее значение из предположения, что доход заёмщиков, с большей вероятностью, не равен нулю. Пропуски в переменной NumberOfDependents были заменены нулями из предположения, что для заемщиков, не имеющих иждивенцев, данный признак мог быть не заполнен.

Графики ROC-кривых и коэффициенты в полученных моделях приводятся в приложении (Рисунок 21, Рисунок 22, Рисунок 23, Таблица 22, Таблица 23, Таблица 24).

В таблице ниже (Таблица 11) приводятся значения метрик качества построенных моделей:

Таблица 11. Метрики качества моделей без использования WoE

Использование WoE

С учётом характеристик рассматриваемого набора данных существует три возможных сценария использования WoE:

· Заменить на WoE только те переменные, где есть пропуски

· Заменить на WoE все те переменные, где возможно найти значимое разбиение, и использовать только их

· Заменить на WoE все те переменные, где возможно найти значимое разбиение, и использовать в исходном виде те переменные, где разбиение не было найдено

Замена на WoE-факторы только тех переменных, где есть пропуски, является способом устранения пропусков в данных. Путём применения предлагаемого подхода, было получено следующее разбиение (Рисунок 7, Рисунок 8):

Рисунок 7. WoE-разбиение для переменной MonthltyIncome

Рисунок 8. WoE-разбиение для переменной NumberOfDependents

По представленным выше графикам полученных разбиений видна обнаруженная монотонная зависимость среднего уровня значений целевой переменной от бакета.

В результате отбора переменных и построения логистической регрессии были получены следующие оценки коэффициентов в модели (Таблица 12):

Таблица 12. Коэффициенты модели с заменой на WoE переменных с пропусками

Полученная регрессионная модель показывает разделяющую способность с Gini = 0.4020. На рисунке ниже (Рисунок 9) приводится график ROC-кривой полученной модели:

Рисунок 9 - ROC-кривая модели с заменой на WoE переменных с пропусками

Однако, помимо устранения проблемы пропусков в данных замена на WoE-факторы может позволить учесть нелинейные зависимости и снизить влияние шума. С этой целью была произведена на WoE-факторы всех тех переменных, где удаётся найти значимое разбиение. Данная процедура так же позволяет на ранних стадиях исключить из анализа незначимые переменные. Ниже приводятся найденные WoE-разбиения по тем переменным, которые не были обработаны на предыдущем этапе (Рисунок 10 - Рисунок 14). Разбиение переменных MonthlyIncome и NumberOfDependents такое же, как на предыдущем этапе.

Рисунок 10. WoE-разбиение для переменной age

Рисунок 11. WoE-разбиение для переменной DebtRatio

Рисунок 12. WoE-разбиение для переменной NumberOfTime30_59DaysPastDueNotWorse

Рисунок 13. WoE-разбиение для переменной NumberOfOpenCreditLinesAndLoans

Рисунок 14. WoE-разбиение для переменной RevolvingUtilizationOfUnsecuredLines

банковский кредитный риск управление

На полученных WoE-разбиениях была построена модель логистической регрессии, оценки коэффициентов которой представлены в таблице ниже (Таблица 13):

Таблица 13. Коэффициенты модели с заменой на WoE всех переменных

Полученная регрессионная модель обладает разделяющей способностью с Gini = 0.6535, и сильно превосходит по предсказательной силе модель, где на WoE были заменены только переменные с пропусками. На рисунке ниже (Рисунок 9) приводится график ROC-кривой полученной модели:

Рисунок 15 - ROC-кривая модели с заменой на WoE всех переменных

Замена на WoE-факторы всех тех переменных, где удаётся найти значимое разбиение, и дополнительное использование переменных, для которых разбиение найдено не было, позволяет уменьшить потери информации, и, если переменные без WoE-разбиения оказываются значимы (как в рассматриваемом наборе данных), учесть даже малое влияние экзогенных факторов. Была построена модель с использованием найденных разбиений и переменных, для которых значимое разбиение значимо не было.

В таблице ниже (Таблица 14) приводятся полученные оценки коэффициентов модели:

Таблица 14. Коэффициенты расширенной модели с заменой на WoE всех переменных

Полученная регрессионная модель обладает разделяющей способностью с Gini = 0.6569. Таким образом добавление переменных, для которых не было найдено значимого разбиения, оказывает положительное, но не сильное влияние на ранжирующую силу модели. На рисунке ниже (Рисунок 16) приводится график ROC-кривой полученной модели:

Рисунок 16 - ROC-кривая расширенной модели с заменой на WoE всех переменных

Характеристики моделей с использованием WoE приводятся в таблице ниже (Таблица 15):

Таблица 15. Метрики качества моделей с использованием WoE

Сравнение полученных моделей

В таблице ниже (Таблица 16) приводятся метрики качества построенных с использованием различных подходов моделей:

Таблица 16. Первый набор данных. Метрики качества всех моделей.

Можно заметить, что использование WoE преобразования только там, где были пропуски дало несильный прирост ранжирующей силы модели. Однако, применение предлагаемого подхода на всех переменных дало существенный прирост как ранжирующей силы, так и средней точности оценок. Из этого можно сделать вывод, что применение предлагаемого подхода позволило учесть нелинейные зависимости целевой переменной от объясняющих.

3.3 Второй набор данных. Поведенческий скоринг

Данные были собраны в ходе построения поведенческой модели оценки вероятности дефолта заёмщиков одного из коммерческих банков России. В связи с тем, что разработанная в рамках работы модель применяется при принятии решений и оценке резервов, здесь не приводятся вошедшие в модель переменные и коэффициенты при них. Некоторые характеристики портфеля были изменены. В тексте работы приводится общее описание данных и значения метрик качества модели.