При построении оценки качества модели стоит принимать во внимание тот факт, что использование одних и тех же данных для обучения и для оценки качества (например, когда в качестве множества Q берем все множество T) может привести к переоценке точности модели. Поэтому логичней всего было бы разбить данные на 2 группы: первую группу можно было бы использовать для обучения, а вторую для подсчета точности. С другой стороны, при таком разбиении данные могут распределиться неоднородно: например, в первую и вторую группу могут попасть те данные, которые относились соответственно к периоду до и после отмены Центральным Банком Российской федерации системы валютных коридоров. Такая ситуация приведет к тому, что наша модель “приспособится” лишь к определённому режиму курсов валют, и предсказание для другого режима не сможет считаться релевантным.
Чтобы избежать подобной ситуации при построении модели принято использовать метод скользящего контроля или, иначе, метод кросс-валидации. Общий принцип данного подхода заключается в том, что вся выборка делится на две части: обучающую и контрольную. Как уже было сказано выше, по первой выборке производится настройка параметров модели, по второй - оценка качества предсказания. Данная процедура производится несколько раз, окончательная оценка качества модели является усредненным значением по всем полученным оценкам. Основным параметром кросс-валидации является то, в каком соотношении выборка делится на обучающие и контрольные, к примеру, мы можем делить данные пополам, или в отношении 2:1, или 4:1. Как правило, данные делятся на K равных частей из которых K-1 часть берется в качестве обучающей выборки, а оставшаяся часть - в качестве тестовой. Кроме того, дополнительным параметром является то, сколько раз и каким образом производится разбиение выборки при фиксированном K. Например, мы можем проделать процедуру всего один раз, либо взять для оценки качества все возможные разбиения данных на обучающие и тестовые. Существует несколько типов кросс-валидации:
· Hold-out (или контроль на отложенных данных) - разбиение производится один раз. Оценка точности модели совпадает с оценкой для данного разбиения.
· K-fold (или контроль по K блокам) - данные делятся на K частей, каждая из этих частей берется в качестве тестовой выборки. В результате получаем K различных оценок точности модели, окончательная оценка получается путем усреднения полученных оценок. Наиболее популярным выбором для K является значение, равное пяти.
· Leave-one-out (LOO или контроль по отдельным объектам) - является частным случаем K-fold при K равном размеру выборки. Таким образом, в качестве тестовой выборки берется последовательно по одному элементу, а количество построенных оценок качества модели равно размеру выборки.
· RxK-fold (или контроль по RxK блокам) - процедура K-fold повторяется R раз, причем каждый раз выборка случайным образом делится на K частей.
У каждого из вышеперечисленных методов есть свои плюсы и минусы,
например, Leave-one-out
требует больших вычислений и, как следствие, не может быть использован при
большом количестве данных. K-fold при K=5, наоборот, плохо подходит при сравнительно небольшом
количестве данных. Hold-out в силу отсутствия усреднения может
привести к неточным оценкам и ситуации, описанной выше.
. Предварительная обработка данных
Одним из факторов, влияющих на точность модели, является ненормированность данных. Рассмотрим простейший пример: пусть мы хотим классифицировать какой-то объект, с помощью метода ближайших соседей. Пусть у объекта первый фактор лежит в пределах от 0 до 1, а второй фактор - в пределах от -1000 до 1000. Тогда выборка будет более протяженной вдоль второго фактора, и, при подсчете расстояний, больший вес будет иметь вклад, даваемый вторым фактором, вклад первого фактора будет практически незаметен. Таким образом, близость между точками будет определяться только расположением вдоль второго фактора, что может привести к некоторым ошибкам классификации.
Чтобы избежать такой однобокости модели, можно произвести одну из следующих нормировок данных:
· Из каждого фактора вычесть его математическое ожидание и
поделить на стандартное отклонение
. Здесь,
обозначает оценку математического
ожидания фактора
,
- оцека стандартного отклонения.
· Из каждого фактора вычесть его максимальное значение и
поделить на размах
Присутствие элементов, не равных нулю, вне диагонали говорит о зависимости между факторами. Для решения данной проблемы используются следующие подходы:
. Существует возможность выбора одного из факторов (например,
фактора X1) в качестве основного, для всех остальных же строятся
линейные регрессии вида
. Тогда в нашей модели, по сути, мы будем учитывать только влияние фактора
на отклик, а влияние оставшихся факторов будет
выражаться через коэффициенты линейных регрессий и значения первого фактора.
. Более продвинутым подходом является использование метода главных компонент. По сути дела, он заключается в поиске новой системы координат, в которой бы матрица ковариаций K приняла бы диагональный вид. Поиск базиса осуществляется по следующему алгоритму:
· Централизуем наши данные. То есть
· Как мы знаем, если зафиксировать единичный вектор
(направление) ai, то любой вектор
может быть представлен в виде
проекции нашего вектора на направление a1, вычисляемой по формуле
, и ортогональной проекции
. Круглые скобки
в данном случае означают скалярное
произведение. На втором шаге мы ищем первую главную компоненту - такой
единичный вектор a1, который минимизирует сумму
квадратов длин всех ортогональных проекций
. Иначе говоря (если обозначить |
длину вектора), то первая главная
компонента равна:
· Вычитаем из каждого вектора его проекцию на первую главную
компоненту
· Точно так же, как на втором шаге, но уже для новых
, находим вторую главную
компоненту a2. Если такое вектор не единственен, то выбираем любой
из них.
· После нахождения
процедура прекращается. Построенные
векторы будут образовывать искомый ортонормированный базис.
Литература
1.Haddad K. and M. Salehizadeh, 1988. An Application of Options to Foreign Exchange Rate Forecasting. Quarterly Journal of Business and Economics, 27(1). pp. 42-69.
. Martin D. D. Evans, Richard K. Lyons, 2005. Meese-Rogoff Redux: Micro-Based Exchange-Rate Forecasting. The American Economic Review, 95 (2). pp. 405-414.
. Ian H. Giddy, Gunter Dufey, 1975. The Random Behavior of Flexible Exchange Rates: Implications for Forecasting. Journal of International Business Studies, 6(1). pp. 1-32.
. Andrew C. Pollock, 1990. Alternative exchange rate forecasting models: an application to quarterly movements of the lira/pound-sterling. Giornale degli Economisti e Annali di Economia, 11/12. pp. 527-555.
. Kenneth Rogoff, 2009. Exchange Rates in the Modern Floating Era: What Do We Really Know? Review of World Economics, 145 (1). pp. 1-12.
. Barbara Rossi. Exchange Rate Predictability. Journal of Economic Literature, Vol. 51, No. 4 (DECEMBER 2013), pp. 1063-1119.
. Richard J. Rogalski, Joseph D. Vinso. Price Level Variations as Predictors of Flexible Exchange Rates. Journal of International Business Studies, Vol. 8, No. 1 (Spring - Summer, 1977), pp. 71-81.
. Heinrich W. Ursprung. On the Value of Free Foreign-Exchange Forecasts Managerial and Decision Economics, Vol. 8, No. 2 (Jun., 1987), pp. 161-165.
. Thomas H. Lubecke, Robert E. Markland, Chuck C. Y. Kwok, Joan M. Donohue. Forecasting Foreign Exchange Rates Using Objective Composite Models. MIR: Management International Review, Vol. 35, No. 2 (2nd Quarter, 1995), pp. 135-152.
. Walter Wasserfallen. The Behavior of Flexible Exchange Rates: Evidence and Implications. Financial Analysts Journal, Vol. 44, No. 5 (Sep. - Oct., 1988), pp. 36-44.
. Jorge R. Calderon-Rossell, Moshe Ben-Horim. The Behavior of Foreign Exchange Rates.Journal of International Business Studies, Vol. 13, No. 2 (Autumn, 1982), pp. 99-111.
. Robert A. Driskill. Exchange-Rate Dynamics: An Empirical Investigation. Journal of Political Economy, Vol. 89, No. 2 (Apr., 1981), pp. 357-371.
. J. V. Hansen, J. B. McDonald, R. D. Nelson. Some Evidence on Forecasting Time-Series with Support Vector Machines. The Journal of the Operational Research Society, Vol. 57, No. 9 (Sep., 2006), pp. 1053-1063.
. Charles Engel, Kenneth D. West. Exchange Rates and Fundamentals. Journal of Political Economy, Vol. 113, No. 3 (June 2005), pp. 485-517.
. B. Mizrach. Multivariate Nearest-Neighbor Forecasts of EMS Exchange Rates. Journal of Applied Econometrics, Vol. 7, Supplement: Special Issue on Nonlinear Dynamics and Econometrics (Dec., 1992), pp. S151-S163.
. Agnieszka Markiewicz. MODEL UNCERTAINTY AND EXCHANGE RATE VOLATILITY. International Economic Review, Vol. 53, No. 3 (August 2012), pp. 815-843.
. Luca Antonio Ricci. Exchange Rate Regimes, Location, and Specialization. IMF Staff Papers, Vol. 53, No. 1 (2006), pp. 50-62.
. Simon Van Norden. Regime Switching as a Test for Exchange Rate Bubbles. Journal of Applied Econometrics, Vol. 11, No. 3 (May - Jun., 1996), pp. 219-251.
. Barbara Rossi. Exchange Rate Predictability. Journal of Economic Literature, Vol. 51, No. 4 (DECEMBER 2013), pp. 1063-1119.
. M. J. Manohar Rao. On Predicting Exchange Rates. Economic and Political Weekly, Vol. 35, No. 5, Money, Banking and Finance (Jan. 29 - Feb. 4, 2000), pp. 377-386.
. Tony Caporale, Khosrow Doroodian. Exchange Rate Regimes and Uncertainty. Weltwirtschaftliches Archiv, Bd. 131, H. 3 (1995), pp. 569-576.