4. Briggs, A., Clark, T., Wolstenholme, J., Clarke, P. Missing... presumed at random: cost-analysis of incomplete data. Health Economics 12, 377-392. (2003)
5. Chen SF, Goodman J. "An empirical study of smoothing techniques for language modeling". Proceedings of the 34th annual meeting on Association for Computational Linguistics. (1996)
6. Good I. J., Osteyee D.B. «Information, Weight of Evidence. The Singularity Between Probability Measures and Signal Detection», (1974)
7. Hosmer D.W., Lemeshow S. Applied Logistic Regression Second Edition, John Wiley & Sons, Inc. (2000)
8. Iden Gilmore V. The Federal Reserve Act: The History and Digest. The National Bank News (1914)
9. Mitchell Tom M., Machine Learning. The Mc-Graw-Hill Companies, Inc., (1997)
10. Powers, David M W "Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation" (PDF). Journal of Machine Learning Technologies. 2 (1): 37-63. (2011)
11. Rokach L., Maimon O. Data mining with decision trees: theory and applications 2nd Edition World Scientific Publishing Co. Pte. Ltd. (2015)
12. SAS Institute Multiple Imputation for Missing Data: Concepts and New Approaches. (2005)
13. Schafer, J. L., Analysis of Incomplete Multivariate Data, New York: Chapman and Hall (1997)
14. Shannon Claude E. "A Mathematical Theory of Communication". // Bell System Technical Journal, Vol 27 p. 379-423 (July-October 1948)
15. Siddiqi N. Credit Risk Scorecards: Developing and Implementing Intelligent Credit Scoring, (2006)
16. Soley-Bori M., Dealing with missing data: Key assumptions and methods for applied analysis. Boston University. (2013)
17. Stehman, Stephen V. "Selecting and interpreting measures of thematic classification accuracy". Remote Sensing of Environment. 62 (1): 77-89. doi:10.1016/S0034-4257(97)00083-7 (1997).
18. Stephen A. Rhoades The Herfindahl-Hirschman index. // Federal Reserve Bulletin, issue Mar, pp. 188-189 (1993)
19. Witten Ian; Frank Eibe; Hall Mark Data Mining. Burlington, MA: Morgan Kaufmann. pp. 102-103 (2011)
20. Блэк Дж., Экономика. Толковый словарь. -- М.: "ИНФРА-М", Издательство "Весь Мир". Общая редакция: д.э.н. Осадчая И.М. 2000.
21. Жарковская Е. П., Учебник для студентов вузов, обучающихся по специальности «Финансы и кредит»-- 7-е изд., испр, и доп. -- М.: Издательство «Омега-Л», 2010. -- 479 с. -- (Высшее финансовое образование).
22. Морсман Э. Управление кредитным портфелем. - М.: Альпина Паблишер, 2005. - 208 с.
23. Basel Committee on Banking Supervision (BCBS). Principles for the Management of Credit Risk (2000)
24. Basel Committee on Banking Supervision (BCBS). The Internal Ratings-Based Approach (2001)
25. Basel Committee on Banking Supervision (BCBS). International Convergence of Capital Measurement and Capital Standards: A Revised Framework (2004)
26. Basel Committee on Banking Supervision (BCBS). International Convergence of Capital Measurement and Capital Standards (1988)
27. Конституция Российской Федерации
28. Положение Банка России от 6 августа 2015 г. N 483-П "О порядке расчета величины кредитного риска на основе внутренних рейтингов"
29. Указание Банка России от 15 апреля 2015 года N 3624-У "О требованиях к системе управления рисками и капиталом кредитной организации и банковской группы"
30. Федеральный закон Российской федерации № 86-ФЗ «О Центральном банке Российской Федерации (Банке России)»
Электронные ресурсы:
1. AVERAGE PRECISION [Электронный ресурс] https://sanchom.wordpress.com/tag/average-precision/ (Дата обращения: 03.03.2018)
2. Give Me Some Credit [Электронный ресурс] / Kaggle. - URL: https://www.kaggle.com/c/GiveMeSomeCredit (Дата обращения 28.12.2017).
3. Официальный сайт Банка международных расчётов [Электронный ресурс] https://www.bis.org (Дата обращения: 09.05.2018)
4. Сайт библиотеки NumPy [Электронный ресурс] http://www.numpy.org/ (Дата обращения: 16.05.2018)
5. Сайт проекта Pandas [Электронный ресурс] http://pandas.pydata.org/index.html http://www.numpy.org/ (Дата обращения: 16.05.2018)
6. Сайт библиотеки scikit-learn [Электронный ресурс] http://scikit-learn.org/stable http://www.numpy.org/ (Дата обращения: 16.05.2018)
7. Git репозиторий проекта riskpy [Электронный ресурс] https://github.com/Falconwatch/riskpy http://www.numpy.org/ (Дата обращения: 16.05.2018)
Приложение 1. Модели первого набора данных
Модель с исключёнными пропусками
Таблица 21. Коэффициенты модели с исключёнными пропусками
|
Коэфф. |
Ст. ошибка |
z |
P>|z| |
||
|
Intercept |
-1,4975 |
0,056 |
-26,959 |
0,0000 |
|
|
age |
-0,0255 |
0,001 |
-22,882 |
0,0000 |
|
|
NumberOfTime30_59DaysPastDueNotWorse |
0,5144 |
0,014 |
36,278 |
0,0000 |
|
|
MonthlyIncome |
-3,56E-05 |
3,77E-06 |
-9,457 |
0,0000 |
|
|
NumberOfOpenCreditLinesAndLoans |
-0,0049 |
0,003 |
-1,489 |
0,1360 |
|
|
NumberOfTimes90DaysLate |
0,4722 |
0,02 |
23,481 |
0,0000 |
|
|
NumberRealEstateLoansOrLines |
0,0785 |
0,014 |
5,745 |
0,0000 |
|
|
NumberOfTime60_89DaysPastDueNotWorse |
-0,9512 |
0,023 |
-40,9 |
0,0000 |
|
|
NumberOfDependents |
0,0925 |
0,012 |
7,951 |
0,0000 |
Рисунок 20 - ROC-кривая модели с исключёнными пропусками
Модель с заменой на средние
Таблица 22. Коэффициенты модели с заменой на средние
|
Коэфф. |
Ст. ошибка |
z |
P>|z| |
||
|
Intercept |
-1,331 |
0,05 |
-26,513 |
0,0000 |
|
|
RevolvingUtilizationOfUnsecuredLines |
-0,0284 |
0,001 |
-28,643 |
0,0000 |
|
|
age |
0,5046 |
0,013 |
38,359 |
0,0000 |
|
|
NumberOfTime30_59DaysPastDueNotWorse |
-1,345E-05 |
0,0000115 |
-1,172 |
0,2410 |
|
|
DebtRatio |
-3,194E-05 |
3,63E-06 |
-8,791 |
0,0000 |
|
|
MonthlyIncome |
-0,008 |
0,003 |
-2,660 |
0,0080 |
|
|
NumberOfOpenCreditLinesAndLoans |
0,4836 |
0,018 |
26,576 |
0,0000 |
|
|
NumberOfTimes90DaysLate |
0,0665 |
0,013 |
5,154 |
0,0000 |
|
|
NumberRealEstateLoansOrLines |
-0,9567 |
0,021 |
-45,160 |
0,0000 |
|
|
NumberOfTime60_89DaysPastDueNotWorse |
0,0887 |
0,011 |
8,142 |
0,0000 |
|
|
NumberOfDependents |
-1,331 |
0,05 |
-26,513 |
0,0000 |
Рисунок 21 - ROC-кривая модели с заменой на среднее
Модель с заменой на нули
Таблица 23. Коэффициенты модели с заменой на нули
|
Коэфф. |
Ст. ошибка |
z |
P>|z| |
||
|
Intercept |
-1,3681 |
0,05 |
-27,495 |
0,0000 |
|
|
age |
-0,0291 |
0,001 |
-29,452 |
0,0000 |
|
|
NumberOfTime30_59DaysPastDueNotWorse |
0,5064 |
0,013 |
38,485 |
0,0000 |
|
|
DebtRatio |
-4,9E-05 |
1,41E-05 |
-3,442 |
0,0010 |
|
|
MonthlyIncome |
-2,6E-05 |
3,39E-06 |
-7,668 |
0,0000 |
|
|
NumberOfOpenCreditLinesAndLoans |
-0,0071 |
0,003 |
-2,359 |
0,0180 |
|
|
NumberOfTimes90DaysLate |
0,483 |
0,018 |
26,541 |
0,0000 |
|
|
NumberRealEstateLoansOrLines |
0,0665 |
0,013 |
5,079 |
0,0000 |
|
|
NumberOfTime60_89DaysPastDueNotWorse |
-0,9582 |
0,021 |
-45,223 |
0,0000 |
|
|
NumberOfDependents |
0,0951 |
0,011 |
8,691 |
0,0000 |
Рисунок 22 - ROC-кривая модели с заменой на нули
Модель с заменой на нули и средние
Таблица 24. Коэффициенты модели с заменой на нули и средние
|
Коэфф. |
Ст. ошибка |
z |
P>|z| |
||
|
Intercept |
-1,3681 |
0,05 |
-27,495 |
0,0000 |
|
|
age |
-0,0291 |
0,001 |
-29,452 |
0,0000 |
|
|
NumberOfTime30_59DaysPastDueNotWorse |
0,5064 |
0,013 |
38,485 |
0,0000 |
|
|
DebtRatio |
-4,87E-05 |
1,41E-05 |
-3,442 |
0,0010 |
|
|
MonthlyIncome |
-2,60E-05 |
3,39E-06 |
-7,668 |
0,0000 |
|
|
NumberOfOpenCreditLinesAndLoans |
-0,0071 |
0,003 |
-2,359 |
0,0180 |
|
|
NumberOfTimes90DaysLate |
0,483 |
0,018 |
26,541 |
0,0000 |
|
|
NumberRealEstateLoansOrLines |
0,0665 |
0,013 |
5,079 |
0,0000 |
|
|
NumberOfTime60_89DaysPastDueNotWorse |
-0,9582 |
0,021 |
-45,223 |
0,0000 |
|
|
NumberOfDependents |
0,0951 |
0,011 |
8,691 |
0,0000 |
Рисунок 23 - ROC-кривая модели с заменой на нули и средние
Приложение 2. Второй набор данных
Таблица 25. Объясняющие переменные второго набора данных
|
Имя фактора |
Код фактора |
|
|
Общее кол-во просрочек по клиенту длительностью от 90 до 120 дней до текущей даты среза |
CL_PAID_DLQ_90120 |
|
|
Общее кол-во просрочек по клиенту длительностью более 120 дней до текущей даты среза |
CL_PAID_DLQ_120P |
|
|
Тип залога |
CL_PLEDGE_TYPE |
|
|
Вид экономической деятельности (индустрия) |
INDUSTRY_ID |
|
|
Тип клиента (ИП, ФЛ, ООО) |
CLIENT_TYPE_ID |
|
|
Срок от открытия первого договора |
MOB_FIRST_ACC |
|
|
Срок от открытия последнего договора |
MOB_LAST_ACC |
|
|
Время прошедшее с текущей даты до начала первой просрочки по клиенту |
DTREP_M_FSTDLQBEG_DAY_CL |
|
|
Время прошедшее с текущей даты до начала последней просрочки по клиенту |
DTREP_M_FSTDLQEND_DAY_CL |
|
|
Максимальное по клиенту, за последние 12 месяцев, до текущей даты среза, отношение (ПОД и ПРПР) к (ОД, ПОД, ПР и ПРПР) |
CL_MAX_PODAMT2ODAMT12M |
|
|
Максимальное по клиенту, до текущей даты среза, отношение (ПОД и ПРПР) к (ОД, ПОД, ПР и ПРПР) |
CL_MAX_PODAMT2ODAMT |
|
|
Доля: кол-во погашенных без просрочек договоров клиента от общего кол-ва погашенных договоров клиента |
CL_TOT_PAIDNODEL_RATE |
|
|
Отношение кол-ва действующих договоров ко всем имевшим место |
CL_TOT_OPEN_ACC_RATE |
|
|
Задолженность (сроч ОД + просроч ОД) к сумме лимита |
PORTF2LIMIT |
|
|
Задолженность ( ОД, ПОД, ПР и ПРПР по действующим договорам клиента на дату среза) к сумме лимита |
AMT2LIMIT |
|
|
Отношение суммы выплаченных денег по клиенту к сумме долга(ОД, ПОД, ПР и ПРПР по действующим договорам клиента на текущую дату среза) |
PAIDAMT2AMT_CL* |
|
|
Отношение суммы максимальной погашенной просрочки по клиенту к сумме выплаченных денег |
MAXDLQAMT2PAIDAMT_CL |
|
|
Ставка на выдаче |
RATE1 |
|
|
Кол-во договоров открытых клиентом за последние 3 мес. до текущей даты среза |
CL_TOT_ACC_OPEND3M |
|
|
Кол-во договоров открытых клиентом за последние 6 мес. до текущей даты среза |
CL_TOT_ACC_OPEND6M |
|
|
Кол-во договоров открытых клиентом за последние 12 мес. до текущей даты среза |
CL_TOT_ACC_OPEND12M |
|
|
Текущие дни просрочки |
CL_CUR_DLQ |
|
|
Максимальная глубина просрочки по договорам клиента за последние 3 мес. до текущей даты среза |
CL_MAX_DLQ3M |
|
|
Максимальная глубина просрочки по договорам клиента за последние 6 мес. до текущей даты среза |
CL_MAX_DLQ6M |
|
|
Максимальная глубина просрочки по договорам клиента за последние 12 мес. до текущей даты среза |
CL_MAX_DLQ12M |
|
|
Максимальная глубина просрочки по договорам клиента до текущей даты среза |
CL_MAX_DLQ |
|
|
Общее кол-во дней погашенных просрочек по договорам клиента за все время до текущей даты среза |
CL_DAYS_IN_DLQ |
|
|
Общее кол-во погашенных просрочек по клиенту за последние 3 мес. до текущей даты среза |
CL_PAID_DLQ3M |
|
|
Общее кол-во погашенных просрочек по клиенту за последние 6 мес. до текущей даты среза |
CL_PAID_DLQ6M |
|
|
Общее кол-во погашенных просрочек по клиенту за последние 12 мес. до текущей даты среза |
CL_PAID_DLQ12M |
|
|
Общее кол-во просрочек по клиенту длительностью от 1 до 5 дней до текущей даты среза |
CL_PAID_DLQ_5 |
|
|
Общее кол-во просрочек по клиенту длительностью до 30 дней до текущей даты среза |
CL_PAID_DLQ_30 |
|
|
Общее кол-во просрочек по клиенту длительностью от 30 до 60 дней до текущей даты среза |
CL_PAID_DLQ_3060 |
|
|
Общее кол-во просрочек по клиенту длительностью от 60 до 90 дней до текущей даты среза |
CL_PAID_DLQ_6090 |
|
|
Отношение суммы выплаченных денег по клиенту к сумме долга |
PAIDAMT2PORTF_CL |
|
|
Отношение суммы выплаченных денег (3 мес.) по клиенту к сумме долга |
PAIDAMT3M2AMT_CL |
|
|
Отношение суммы выплаченных денег (3 мес.) по клиенту к сумме долга (ОД) |
PAIDAMT3M2PORTF_CL |
|
|
Отношение суммы выплаченных денег (6 мес.) по клиенту к сумме долга |
PAIDAMT6M2AMT_CL |
|
|
Отношение суммы выплаченных денег (6 мес.) по клиенту к сумме долга (ОД) |
PAIDAMT6M2PORTF_CL |
|
|
Отношение суммы выплаченных денег (12 мес.) по клиенту к сумме долга |
PAIDAMT12M2AMT_CL |
|
|
Отношение суммы выплаченных денег (12 мес.) по клиенту к сумме долга (ОД) |
PAIDAMT12M2PORTF_CL |
|
|
Отношение суммы максимальной погашенной просрочки по клиенту к сумме долга по клиенту |
MAXDLQAMT2AMT_CL |
|
|
Отношение суммы погашенных просрочек по клиенту к сумме долга |
PAIDDLQAMT2AMT_CL |
|
|
Сумма текущей просрочки по действующим договорам клиента на дату среза к сумме ОД (сроч. ОД + просроч. ОД) |
CL_CUR_DLQ_AMT2PORTF_CL |
|
|
Общее кол-во просроченных погашенных платежей по клиенту за все время до текущей даты среза к Общему кол-во погашенных платежей по клиенту за все время до текущей даты среза |
CL_PAID_PAYM_DLQ_RATE |
|
|
Отношение суммы максимальной за 12 мес. просрочки к сумме долга по клиенту |
CLMAXDLQAMT12M2CLAMT |
|
|
Отношение суммы максимальной за 6 мес. просрочки к сумме долга по клиенту |
CLMAXDLQAMT6M2CLAMT |
|
|
Отношение суммы максимальной за 3 мес. просрочки к сумме долга по клиенту |
CLMAXDLQAMT3M2CLAMT |
|
|
Количество действующих договоров клиента с длительностью текущей просрочки 1 день и более на дату среза, отнесенное к общему кол-ву действующих договоров клиента на текущую дату среза |
CL_CUR_DLQ_ACC_RATE |
Таблица 26. Доли пропусков в объясняющих переменных второго набора данных
|
Код фактора |
Доля пропусков |
|
|
CL_PAID_DLQ_90120 |
4% |
|
|
CL_PAID_DLQ_120P |
13% |
|
|
CL_PLEDGE_TYPE |
12% |
|
|
INDUSTRY_ID |
5% |
|
|
CLIENT_TYPE_ID |
17% |
|
|
MOB_FIRST_ACC |
5% |
|
|
MOB_LAST_ACC |
18% |
|
|
DTREP_M_FSTDLQBEG_DAY_CL |
11% |
|
|
DTREP_M_FSTDLQEND_DAY_CL |
9% |
|
|
CL_MAX_PODAMT2ODAMT12M |
5% |
|
|
CL_MAX_PODAMT2ODAMT |
17% |
|
|
CL_TOT_PAIDNODEL_RATE |
4% |
|
|
CL_TOT_OPEN_ACC_RATE |
17% |
|
|
PORTF2LIMIT |
17% |
|
|
AMT2LIMIT |
13% |
|
|
PAIDAMT2AMT_CL* |
10% |
|
|
MAXDLQAMT2PAIDAMT_CL |
5% |
|
|
RATE1 |
12% |
|
|
CL_TOT_ACC_OPEND3M |
15% |
|
|
CL_TOT_ACC_OPEND6M |
10% |
|
|
CL_TOT_ACC_OPEND12M |
16% |
|
|
CL_CUR_DLQ |
5% |
|
|
CL_MAX_DLQ3M |
4% |
|
|
CL_MAX_DLQ6M |
13% |
|
|
CL_MAX_DLQ12M |
15% |
|
|
CL_MAX_DLQ |
5% |
|
|
CL_DAYS_IN_DLQ |
11% |
|
|
CL_PAID_DLQ3M |
8% |
|
|
CL_PAID_DLQ6M |
4% |
|
|
CL_PAID_DLQ12M |
14% |
|
|
CL_PAID_DLQ_5 |
18% |
|
|
CL_PAID_DLQ_30 |
9% |
|
|
CL_PAID_DLQ_3060 |
15% |
|
|
CL_PAID_DLQ_6090 |
13% |
|
|
PAIDAMT2PORTF_CL |
17% |
|
|
PAIDAMT3M2AMT_CL |
6% |
|
|
PAIDAMT3M2PORTF_CL |
15% |
|
|
PAIDAMT6M2AMT_CL |
9% |
|
|
PAIDAMT6M2PORTF_CL |
12% |
|
|
PAIDAMT12M2AMT_CL |
12% |
|
|
PAIDAMT12M2PORTF_CL |
5% |
|
|
MAXDLQAMT2AMT_CL |
5% |
|
|
PAIDDLQAMT2AMT_CL |
16% |
|
|
CL_CUR_DLQ_AMT2PORTF_CL |
18% |
|
|
CL_PAID_PAYM_DLQ_RATE |
15% |
|
|
CLMAXDLQAMT12M2CLAMT |
6% |
|
|
CLMAXDLQAMT6M2CLAMT |
13% |
|
|
CLMAXDLQAMT3M2CLAMT |
18% |
|
|
CL_CUR_DLQ_ACC_RATE |
13% |