Ошибка обобщения модели это

Характер приближений в информационных моделях

Специфичность информационных моделей проявляется не только в способах их синтеза, но и характере делаемых приближений (и связанных с ними ошибок). Отличия в поведении системы и ее информационной модели возникают вследствие свойств экспериментальных данных.

Информационные модели ab initio являются неполными. Пространства входных и выходных переменных не могут, в общем случае, содержать все параметры, существенные для описания поведения системы. Это связано как с техническими ограничениями, так и с ограниченностью наших представлений о моделируемой системе. Кроме того, при увеличении числа переменных ужесточаются требования на объем необходимых экспериментальных данных для построения модели (об этом см. ниже). Эффект опущенных (скрытых) входных параметров может нарушать однозначность моделируемой системной функции F.
База экспериментальных данных, на которых основывается модель G рассматривается, как внешняя данность. При этом, в данных всегда присутствуют ошибки разной природы, шум, а также противоречия отдельных измерений друг другу. За исключением простых случаев, искажения в данных не могут быть устранены полностью.
Экспериментальные данные, как правило, имеют произвольное распределение в пространстве переменных задачи. Как следствие, получаемые модели будут обладать неодинаковой достоверностью и точностью в различных областях изменения параметров.
Экспериментальные данные могут содержать пропущенные значения (например, вследствие потери информации, отказа измеряющих датчиков, невозможности проведения полного набора анализов и т.п.). Произвольность в интерпретации этих значений, опять-таки, ухудшает свойства модели.

Такие особенности в данных и в постановке задач требуют особого отношения к ошибкам информационных моделей.

Ошибка обучения и ошибка обобщения

Итак, при информационном подходе требуемая модель G системы F не может быть полностью основана на явных правилах и формальных законах. Процесс получения G из имеющихся отрывочных экспериментальных сведений о системе F может рассматриваться, как обучение модели G поведению F в соответствии с заданным критерием, настолько близко, насколько возможно. Алгоритмически, обучение означает подстройку внутренних параметров модели (весов синаптических связей в случае нейронной сети) с целью минимизации ошибки модели E = left| {G - F}right| .

Прямое измерение указанной ошибки модели на практике не достижимо, поскольку системная функция F при произвольных значениях аргумента не известна. Однако возможно получение ее оценки:

$E_L = sumlimits_{X in X}{left| {Gleft( X right) - Y}right|},$

где суммирование по X проводится по некоторому конечному набору параметров X, называемому обучающим множеством. При использовании базы данных наблюдений за системой, для обучения может отводиться некоторая ее часть, называемая в этом случае обучающей выборкой. Для обучающих примеров X отклики системы Y известны^{7С учетом описанных выше особенностей экспериментальных данных.}. Норма невязки модельной функции G и системной функции Y на множестве X играет важную роль в информационном моделировании и называется ошибкой обучения модели.

Для случая точных измерений (например, в некоторых задачах классификации, когда отношение образца к классу не вызывает сомнений) однозначность системной функции для достаточно широкого класса G моделей гарантирует возможность достижения произвольно малого значения ошибки обучения E_L. Нарушение однозначности системной функции в присутствии экспериментальных ошибок и неполноты признаковых пространств приводит в общем случае к ненулевым ошибкам обучения. В этом случае предельная достижимая ошибка обучения может служить мерой корректности постановки задачи и качества класса моделей G.

В приложениях пользователя обычно интересуют предсказательные свойства модели. При этом главным является вопрос, каковым будет отклик системы на новое воздействие, пример которого отсутствует в базе данных наблюдений. Наиболее общий ответ на этот вопрос дает (по-прежнему недоступная) ошибка модели E. Неизвестная ошибка, допускаемая моделью G на данных, не использовавшихся при обучении, называется ошибкой обобщения модели E_G.

Основной целью при построении информационной модели является уменьшение именно ошибки обобщения, поскольку малая ошибка обучения гарантирует адекватность модели лишь в заранее выбранных точках (а в них значения отклика системы известны и без всякой модели!). Проводя аналогии с обучением в биологии, можно сказать, что малая ошибка обучения соответствует прямому запоминанию обучающей информации, а малая ошибка обобщения — формированию понятий и навыков, позволяющих распространить ограниченный опыт обучения на новые условия. Последнее значительно более ценно при проектировании нейросетевых систем, так как для непосредственного запоминания информации лучше приспособлены не нейронные устройства компьютерной памяти.

Важно отметить, что малость ошибки обучения не гарантирует малость ошибки обобщения. Классическим примером является построение модели функции (аппроксимация функции) по нескольким заданным точкам полиномом высокого порядка. Значения полинома (модели) при достаточно высокой его степени являются точными в обучающих точках, т.е. ошибка обучения равна нулю. Однако значения в промежуточных точках могут значительно отличаться от аппроксимируемой функции, следовательно ошибка обобщения такой модели может быть неприемлемо большой.

Поскольку истинное значение ошибки обобщения не доступно, в практике используется ее оценка. Для ее получения анализируется часть примеров из имеющейся базы данных, для которых известны отклики системы, но которые не использовались при обучении. Эта выборка примеров называется тестовой выборкой. Ошибка обобщения оценивается, как норма уклонения модели на множестве примеров из тестовой выборки.

Оценка ошибки обобщения является принципиальным моментом при построении информационной модели. На первый взгляд может показаться, что сознательное не использование части примеров при обучении может только ухудшить итоговую модель. Однако без этапа тестирования единственной оценкой качества модели будет лишь ошибка обучения, которая, как уже отмечалось, мало связана с предсказательными способностями модели. В профессиональных исследованиях могут использоваться несколько независимых тестовых выборок, этапы обучения и тестирования повторяются многократно с вариацией начального распределения весов нейросети, ее топологии и параметров обучения. Окончательный выбор «наилучшей» нейросети выполняется с учетом имеющегося объема и качества данных, специфики задачи, с целью минимизации риска большой ошибки обобщения при эксплуатации модели.

Источник

From Wikipedia, the free encyclopedia

For supervised learning applications in machine learning and statistical learning theory, generalization error^[1] (also known as the out-of-sample error^[2] or the risk) is a measure of how accurately an algorithm is able to predict outcome values for previously unseen data. Because learning algorithms are evaluated on finite samples, the evaluation of a learning algorithm may be sensitive to sampling error. As a result, measurements of prediction error on the current data may not provide much information about predictive ability on new data. Generalization error can be minimized by avoiding overfitting in the learning algorithm. The performance of a machine learning algorithm is visualized by plots that show values of estimates of the generalization error through the learning process, which are called learning curves.

Definition[edit]

In a learning problem, the goal is to develop a function ${displaystyle f_{n}({vec {x}})}$ that predicts output values $y$ for each input datum ${vec {x}}$ . The subscript $n$ indicates that the function $f_{n}$ is developed based on a data set of $n$ data points. The generalization error or expected loss or risk $I[f]$ of a particular function $f$ over all possible values of ${vec {x}}$ and $y$ is the expected value of the loss function ${displaystyle V(f)}$ :^[3]

${displaystyle I[f]=int _{Xtimes Y}V(f({vec {x}}),y)rho ({vec {x}},y)d{vec {x}}dy,}$

where ${displaystyle rho ({vec {x}},y)}$ is the unknown joint probability distribution for ${vec {x}}$ and $y$ .

Without knowing the joint probability distribution $rho$ , it is impossible to compute $I[f]$ . Instead, we can compute the error on sample data, which is called empirical error (or empirical risk). Given $n$ data points, the empirical error of a candidate function $f$ is:

${displaystyle I_{n}[f]={frac {1}{n}}sum _{i=1}^{n}V(f({vec {x}}_{i}),y_{i})}$

An algorithm is said to generalize if:

${displaystyle lim _{nrightarrow infty }I[f]-I_{n}[f]=0}$

Of particular importance is the generalization error ${displaystyle I[f_{n}]}$ of the data-dependent function $f_{n}$ that is found by a learning algorithm based on the sample. Again, for an unknown probability distribution, ${displaystyle I[f_{n}]}$ cannot be computed. Instead, the aim of many problems in statistical learning theory is to bound or characterize the difference of the generalization error and the empirical error in probability:

${displaystyle P_{G}=P(I[f_{n}]-I_{n}[f_{n}]leq epsilon )geq 1-delta _{n}}$

That is, the goal is to characterize the probability ${displaystyle 1-delta _{n}}$ that the generalization error is less than the empirical error plus some error bound $epsilon$ (generally dependent on $delta$ and $n$ ).
For many types of algorithms, it has been shown that an algorithm has generalization bounds if it meets certain stability criteria. Specifically, if an algorithm is symmetric (the order of inputs does not affect the result), has bounded loss and meets two stability conditions, it will generalize. The first stability condition, leave-one-out cross-validation stability, says that to be stable, the prediction error for each data point when leave-one-out cross validation is used must converge to zero as $nrightarrow infty$ . The second condition, expected-to-leave-one-out error stability (also known as hypothesis stability if operating in the $L_{1}$ norm) is met if the prediction on a left-out datapoint does not change when a single data point is removed from the training dataset.^[4]

These conditions can be formalized as:

Leave-one-out cross-validation Stability[edit]

An algorithm $L$ has ${displaystyle CVloo}$ stability if for each $n$ , there exists a ${displaystyle beta _{CV}^{(n)}}$ and ${displaystyle delta _{CV}^{(n)}}$ such that:

${displaystyle forall iin {1,...,n},mathbb {P} _{S}{|V(f_{S^{i}},z_{i})-V(f_{S},z_{i})|leq beta _{CV}^{(n)}}geq 1-delta _{CV}^{(n)}}$

and ${displaystyle beta _{CV}^{(n)}}$ and ${displaystyle delta _{CV}^{(n)}}$ go to zero as $n$ goes to infinity.^[4]

Expected-leave-one-out error Stability[edit]

An algorithm $L$ has $Eloo_{err}$ stability if for each $n$ there exists a $beta_{EL}^m$ and a $delta_{EL}^m$ such that:

${displaystyle forall iin {1,...,n},mathbb {P} _{S}left{left|I[f_{S}]-{frac {1}{n}}sum _{i=1}^{N}Vleft(f_{S^{i}},z_{i}right)right|leq beta _{EL}^{(n)}right}geq 1-delta _{EL}^{(n)}}$

with ${displaystyle beta _{EL}^{(n)}}$ and ${displaystyle delta _{EL}^{(n)}}$ going to zero for $nrightarrow infty$ .

For leave-one-out stability in the $L_{1}$ norm, this is the same as hypothesis stability:

${displaystyle mathbb {E} _{S,z}[|V(f_{S},z)-V(f_{S^{i}},z)|]leq beta _{H}^{(n)}}$

with ${displaystyle beta _{H}^{(n)}}$ going to zero as $n$ goes to infinity.^[4]

Algorithms with proven stability[edit]

A number of algorithms have been proven to be stable and as a result have bounds on their generalization error. A list of these algorithms and the papers that proved stability is available here.

Relation to overfitting[edit]

This figure illustrates the relationship between overfitting and the generalization error I[f_n] — I_S[f_n]. Data points were generated from the relationship y = x with white noise added to the y values. In the left column, a set of training points is shown in blue. A seventh order polynomial function was fit to the training data. In the right column, the function is tested on data sampled from the underlying joint probability distribution of x and y. In the top row, the function is fit on a sample dataset of 10 datapoints. In the bottom row, the function is fit on a sample dataset of 100 datapoints. As we can see, for small sample sizes and complex functions, the error on the training set is small but error on the underlying distribution of data is large and we have overfit the data. As a result, generalization error is large. As the number of sample points increases, the prediction error on training and test data converges and generalization error goes to 0.

The concepts of generalization error and overfitting are closely related. Overfitting occurs when the learned function $f_S$ becomes sensitive to the noise in the sample. As a result, the function will perform well on the training set but not perform well on other data from the joint probability distribution of $x$ and $y$ . Thus, the more overfitting occurs, the larger the generalization error.

The amount of overfitting can be tested using cross-validation methods, that split the sample into simulated training samples and testing samples. The model is then trained on a training sample and evaluated on the testing sample. The testing sample is previously unseen by the algorithm and so represents a random sample from the joint probability distribution of $x$ and $y$ . This test sample allows us to approximate the expected error and as a result approximate a particular form of the generalization error.

Many algorithms exist to prevent overfitting. The minimization algorithm can penalize more complex functions (known as Tikhonov regularization), or the hypothesis space can be constrained, either explicitly in the form of the functions or by adding constraints to the minimization function (Ivanov regularization).

The approach to finding a function that does not overfit is at odds with the goal of finding a function that is sufficiently complex to capture the particular characteristics of the data. This is known as the bias–variance tradeoff. Keeping a function simple to avoid overfitting may introduce a bias in the resulting predictions, while allowing it to be more complex leads to overfitting and a higher variance in the predictions. It is impossible to minimize both simultaneously.

References[edit]

^ Mohri, M., Rostamizadeh A., Talwakar A., (2018) Foundations of Machine learning, 2nd ed., Boston: MIT Press
^ Y S. Abu-Mostafa, M.Magdon-Ismail, and H.-T. Lin (2012) Learning from Data, AMLBook Press. ISBN 978-1600490064
^ Mohri, M., Rostamizadeh A., Talwakar A., (2018) Foundations of Machine learning, 2nd ed., Boston: MIT Press
^ ^a ^b ^c Mukherjee, S.; Niyogi, P.; Poggio, T.; Rifkin., R. M. (2006). «Learning theory: stability is sufficient for generalization and necessary and sufficient for consistency of empirical risk minimization» (PDF). Adv. Comput. Math. 25 (1–3): 161–193. doi:10.1007/s10444-004-7634-z. S2CID 2240256.

Definition[edit]

${displaystyle I[f]=int _{Xtimes Y}V(f({vec {x}}),y)rho ({vec {x}},y)d{vec {x}}dy,}$

where ${displaystyle rho ({vec {x}},y)}$ is the unknown joint probability distribution for ${vec {x}}$ and $y$ .

${displaystyle I_{n}[f]={frac {1}{n}}sum _{i=1}^{n}V(f({vec {x}}_{i}),y_{i})}$

An algorithm is said to generalize if:

${displaystyle lim _{nrightarrow infty }I[f]-I_{n}[f]=0}$

${displaystyle P_{G}=P(I[f_{n}]-I_{n}[f_{n}]leq epsilon )geq 1-delta _{n}}$

These conditions can be formalized as:

Leave-one-out cross-validation Stability[edit]

An algorithm $L$ has ${displaystyle CVloo}$ stability if for each $n$ , there exists a ${displaystyle beta _{CV}^{(n)}}$ and ${displaystyle delta _{CV}^{(n)}}$ such that:

${displaystyle forall iin {1,...,n},mathbb {P} _{S}{|V(f_{S^{i}},z_{i})-V(f_{S},z_{i})|leq beta _{CV}^{(n)}}geq 1-delta _{CV}^{(n)}}$

and ${displaystyle beta _{CV}^{(n)}}$ and ${displaystyle delta _{CV}^{(n)}}$ go to zero as $n$ goes to infinity.^[4]

Expected-leave-one-out error Stability[edit]

An algorithm $L$ has $Eloo_{err}$ stability if for each $n$ there exists a $beta_{EL}^m$ and a $delta_{EL}^m$ such that:

${displaystyle forall iin {1,...,n},mathbb {P} _{S}left{left|I[f_{S}]-{frac {1}{n}}sum _{i=1}^{N}Vleft(f_{S^{i}},z_{i}right)right|leq beta _{EL}^{(n)}right}geq 1-delta _{EL}^{(n)}}$

with ${displaystyle beta _{EL}^{(n)}}$ and ${displaystyle delta _{EL}^{(n)}}$ going to zero for $nrightarrow infty$ .

For leave-one-out stability in the $L_{1}$ norm, this is the same as hypothesis stability:

${displaystyle mathbb {E} _{S,z}[|V(f_{S},z)-V(f_{S^{i}},z)|]leq beta _{H}^{(n)}}$

with ${displaystyle beta _{H}^{(n)}}$ going to zero as $n$ goes to infinity.^[4]

Algorithms with proven stability[edit]

A number of algorithms have been proven to be stable and as a result have bounds on their generalization error. A list of these algorithms and the papers that proved stability is available here.

Relation to overfitting[edit]

References[edit]

^ Mohri, M., Rostamizadeh A., Talwakar A., (2018) Foundations of Machine learning, 2nd ed., Boston: MIT Press
^ Y S. Abu-Mostafa, M.Magdon-Ismail, and H.-T. Lin (2012) Learning from Data, AMLBook Press. ISBN 978-1600490064
^ Mohri, M., Rostamizadeh A., Talwakar A., (2018) Foundations of Machine learning, 2nd ed., Boston: MIT Press
^ ^a ^b ^c Mukherjee, S.; Niyogi, P.; Poggio, T.; Rifkin., R. M. (2006). «Learning theory: stability is sufficient for generalization and necessary and sufficient for consistency of empirical risk minimization» (PDF). Adv. Comput. Math. 25 (1–3): 161–193. doi:10.1007/s10444-004-7634-z. S2CID 2240256.

Определение

В задаче обучения цель — разработать функцию $f (x)$ прогнозирует выходные значения $у$ на основе некоторых исходных данных $Икс$ . В ошибка обобщения или ожидаемая ошибка, ${ displaystyle I [f_ {n}]}$ конкретной функции $f_ {n}$ по всем возможным значениям $Икс$ и $у$ является:^[3]

${ displaystyle I [f_ {n}] = int _ {X times Y} V (f_ {n} (x), y) rho (x, y) dxdy,}$

куда $V$ обозначает функция потерь и $rho (х, у)$ неизвестно совместное распределение вероятностей за $Икс$ и $у$ .

Не зная совместного распределения вероятностей, невозможно вычислить $Если]$ . Вместо этого мы можем вычислить эмпирическую ошибку на выборочных данных. Данный $п$ точек данных, эмпирическая ошибка составляет:

${ displaystyle I_ {S} [f_ {n}] = { frac {1} {n}} sum _ {i = 1} ^ {n} V (f_ {n} (x_ {i}), y_ {я})}$

Алгоритм называется обобщающим, если:

${ displaystyle lim _ {n rightarrow infty} I [f_ {n}] - I_ {S} [f_ {n}] = 0}$

В ошибка обобщения ${ displaystyle I [f_ {n}]}$ не может быть вычислен для неизвестного распределения вероятностей. Вместо этого цель многих задач в теории статистического обучения состоит в том, чтобы ограничить или охарактеризовать разницу ошибки обобщения и эмпирической ошибки в вероятности:

${ displaystyle P_ {G} = P (I [f_ {n}] - I_ {S} [f_ {n}] leq epsilon) geq 1- delta _ {n}}$

То есть цель — охарактеризовать вероятность ${ displaystyle 1- delta _ {n}}$ что ошибка обобщения меньше, чем эмпирическая ошибка плюс некоторая граница ошибки $epsilon$ (обычно зависит от $дельта$ и $п$ Для многих типов алгоритмов было показано, что алгоритм имеет границы обобщения, если он удовлетворяет определенным требованиям. стабильность критерии. В частности, если алгоритм является симметричным (порядок входных данных не влияет на результат), имеет ограниченные потери и удовлетворяет двум условиям устойчивости, он будет обобщен. Первое условие устойчивости, перекрестная проверка с исключением по одному стабильность, говорит, что для обеспечения стабильности ошибка прогнозирования для каждой точки данных при использовании перекрестной проверки с исключением одного и другого должна сходиться к нулю, как $п стрелка вправо infty$ . Второе условие, устойчивость к ожидаемой устранению единственной ошибки (также известное как устойчивость гипотез, если работа в $L_ {1}$ норма ) выполняется, если прогноз для оставленной точки данных не изменяется при удалении одной точки данных из набора обучающих данных.^[4]

Эти условия можно формализовать как:

Стабильность перекрестной проверки без исключения

Алгоритм $L$ имеет ${ displaystyle CVloo}$ стабильность, если для каждого $п$ , существует ${ displaystyle beta _ {CV} ^ {(n)}}$ и ${ displaystyle delta _ {CV} ^ {(n)}}$ такой, что:

${ displaystyle forall i in {1, ..., n }, mathbb {P} _ {S} {| V (f_ {S ^ {i}}, z_ {i}) - V (f_ {S}, z_ {i}) | leq beta _ {CV} ^ {(n)} } geq 1- delta _ {CV} ^ {(n)}}$

и ${ displaystyle beta _ {CV} ^ {(n)}}$ и ${ displaystyle delta _ {CV} ^ {(n)}}$ перейти к нулю как $п$ уходит в бесконечность.^[4]

Ожидаемая ошибка с единичным исключением Стабильность

Алгоритм $L$ имеет $Элоо_ {err}$ стабильность, если для каждого $п$ существует $beta_ {EL} ^ m$ и $delta_ {EL} ^ m$ такой, что:

${ displaystyle forall i in {1, ..., n }, mathbb {P} _ {S} {| I [f_ {S}] - { frac {1} {n}} sum _ {i = 1} ^ {N} V (f_ {S ^ {i}}, z_ {i}) | leq beta _ {EL} ^ {(n)} } geq 1- дельта _ {EL} ^ {(n)}}$

с ${ displaystyle beta _ {EL} ^ {(n)}}$ и ${ displaystyle delta _ {EL} ^ {(n)}}$ идет к нулю для $п стрелка вправо infty$ .

Для стабильности в $L_ {1}$ норма, это то же самое, что и устойчивость гипотезы:

${ Displaystyle mathbb {E} _ {S, z} [| V (f_ {S}, z) -V (f_ {S ^ {i}}, z) |] leq beta _ {H} ^ {(n)}}$

с ${ displaystyle beta _ {H} ^ {(n)}}$ идет к нулю как $п$ уходит в бесконечность.^[4]

Алгоритмы с доказанной стабильностью

Доказано, что ряд алгоритмов устойчивы и, как следствие, имеют ограничения на ошибку обобщения. Список этих алгоритмов и документов, доказавших стабильность, доступен. здесь.

Отношение к переобучению

Этот рисунок иллюстрирует взаимосвязь между переобучением и ошибкой обобщения. я[ж_п] — я_S[ж_п]. Точки данных были получены из отношения у = Икс с добавлением белого шума к у значения. В левом столбце набор тренировочных точек показан синим цветом. Полиномиальная функция седьмого порядка соответствовала обучающим данным. В правом столбце функция тестируется на данных, взятых из базового совместного распределения вероятностей Икс и у. В верхнем ряду функция соответствует образцу набора данных из 10 точек. В нижнем ряду функция соответствует набору данных из 100 точек. Как мы видим, для небольших размеров выборки и сложных функций ошибка обучающего набора мала, но ошибка основного распределения данных велика, и мы переобучили данные. В результате ошибка обобщения велика. По мере увеличения количества точек выборки ошибка прогнозирования обучающих и тестовых данных сходится, а ошибка обобщения становится равной 0.

Понятия ошибки обобщения и переобучения тесно связаны. Переобучение происходит, когда изученная функция $f_S$ становится чувствительным к шуму в образце. В результате функция будет хорошо работать на обучающем наборе, но не будет хорошо работать на других данных из совместного распределения вероятностей $Икс$ и $у$ . Таким образом, чем больше происходит переобучение, тем больше ошибка обобщения.

Величину переобучения можно проверить с помощью перекрестная проверка методы, которые разбивают выборку на моделируемые обучающие выборки и тестовые выборки. Затем модель обучается на обучающей выборке и оценивается на тестовой выборке. Тестовая выборка ранее невидима для алгоритма и поэтому представляет собой случайную выборку из совместного распределения вероятностей $Икс$ и $у$ . Этот тестовый образец позволяет нам аппроксимировать ожидаемую ошибку и, как результат, приблизить конкретную форму ошибки обобщения.

Существует множество алгоритмов предотвращения переобучения. Алгоритм минимизации может наказывать более сложные функции (известные как Тихоновские регуляризация ), либо пространство гипотез может быть ограничено либо явно в виде функций, либо путем добавления ограничений к функции минимизации (регуляризация Иванова).

Подход к поиску функции, которая не переоснащается, расходится с целью поиска функции, которая является достаточно сложной, чтобы улавливать определенные характеристики данных. Это известно как компромисс между смещением и дисперсией. Сохранение простой функции во избежание переобучения может привести к смещению в результирующих прогнозах, в то время как допущение ее усложнения приведет к переобучению и более высокому разбросу прогнозов. Невозможно минимизировать и то, и другое одновременно.

дальнейшее чтение

Bousquet, O., S. Boucheron и G. Lugosi. Введение в статистическую теорию обучения. Расширенные лекции по машинному обучению Лекционные заметки по искусственному интеллекту 3176, 169-207. (Ред.) Буске, О., У. фон Люксбург и Г. Ратч, Springer, Гейдельберг, Германия (2004)
Буске, О. и А. Элиссиф (2002), Стабильность и обобщение, Журнал исследований в области машинного обучения, 499-526.
Деврое Л., Л. Дьёрфи и Г. Лугоши (1996). Вероятностная теория распознавания образов. Springer-Verlag. ISBN 978-0387946184.
Поджио Т. и С. Смейл. Математика обучения: работа с данными. Уведомления AMS, 2003 г.
Вапник В. (2000). Природа статистической теории обучения. Информатика и статистика. Springer-Verlag. ISBN 978-0-387-98780-4.
Бишоп, К. (1995), Нейронные сети для распознавания образов, Oxford: Oxford University Press, особенно раздел 6.4.
Финке М., Мюллер К.-Р. (1994), «Оценка апостериорных вероятностей с использованием стохастических сетевых моделей, «Мозер, Смоленский, Турецкий, Эльман и Вайгенд, ред., Материалы Летней школы коннекционистских моделей 1993 г., Hillsdale, NJ: Lawrence Erlbaum Associates, стр. 324–331.
Геман, С., Биненшток, Э. и Дурсат, Р. (1992), «Нейронные сети и дилемма смещения / дисперсии «, Нейронные вычисления, 4, 1-58.
Хусмайер, Д. (1999), Нейронные сети для оценки условной вероятности: прогнозирование помимо точечных прогнозов, Берлин: Springer Verlag, ISBN 1-85233-095-3.
Маккаллах П. и Нелдер Дж. А. (1989) Обобщенные линейные модели, 2-е изд., Лондон: Chapman & Hall.
Мохри, М., Ростамизаде А., Талвакар А., (2018) Основы машинного обучения, 2-е изд., Бостон: MIT Press.
Муди, Дж. Э. (1992) «Эффективное число параметров: анализ обобщения и регуляризации в нелинейных обучающих системах «, в Moody, J.E., Hanson, S.J., and Lippmann, R.P., Достижения в системах обработки нейронной информации 4, 847-854.
Рипли, Б. (1996) Распознавание образов и нейронные сети, Кембридж: Издательство Кембриджского университета.
Ровер, Р., и ван дер Рест, Дж. К. (1996) «Минимальная длина описания, регуляризация и мультимодальные данные,» Нейронные вычисления, 8, 595-609.
Рохас, Р. (1996) «Краткое доказательство апостериорного вероятностного свойства нейронных сетей-классификаторов,» Нейронные вычисления, 8, 41-43.
Уайт, Х. (1990) «Коннекционистская непараметрическая регрессия: многослойные сети прямого распространения могут изучать произвольные сопоставления,» Нейронные сети, 3, 535-550. Печатается в белом цвете (1992).
Уайт, Х. (1992a) «Непараметрическая оценка условных квантилей с помощью нейронных сетей, «в Пейдж, К. и Ле Пейдж, Р. (ред.), Материалы 23-го симпсума по интерфейсу: вычислительная наука и статистика, Александрия, Вирджиния: Американская статистическая ассоциация, стр. 190–199. Перепечатано в белом цвете (1992b).
Уайт, Х. (1992b), Искусственные нейронные сети: теория приближения и обучения, Блэквелл.

Источник

В предыдущих статьях мы определили, что такое ошибка обобщения в контексте машинного обучения и как ограничить ее с помощью различных неравенств. Мы также определили переобучение и то, как его можно исправить с помощью набора для проверки. Мы могли бы избежать парадокса выбора размера для нашего набора проверки, используя перекрестную проверку, которая оказалась несмещенной оценкой для E_out (N — 1). В этой статье мы дадим несколько практических примеров того, какие неравенства использовать в случае набора проверки и перекрестной проверки.

Пример — набор для проверки

Представьте, что у нас есть набор данных D с размером выборки N = 100. Мы разбиваем наш набор данных на две части; обучающий набор размером 75 и проверочный набор размером 25. Мы хотим оценить 100 моделей, что означает, что у нас есть 100 наборов гипотез и найти модель с наилучшей производительностью на нашем проверочном наборе. Мы скажем, что все модели имеют d_VC = 10. Затем мы хотим дать верхнюю границу нашей ошибки вне выборки. Давайте сначала проиллюстрируем процесс, который нам предстоит пройти:

Как уже говорилось, у нас есть 100 моделей для оценки, что дает 100 наборов гипотез. Нам неизвестны размеры этих наборов гипотез — это означает, что они могут иметь бесконечные размеры. Каждый набор гипотез обучается на обучающих данных и дает окончательную гипотезу g_n-. Это косвенно создает новую гипотезу для наших данных проверки:

Теперь мы знаем размеры нашей новой гипотезы, которая составляет M = 100. Мы оцениваем наши гипотезы на проверочном наборе и выбираем ту с минимальной ошибкой, E_val (g_m * -). Это наша оценка E_out (g_m *) в выборке. Мы помним, что после того, как мы нашли gm *, мы тренируем гипотезу на всех данных и возвращаем модель. Поскольку мы знаем размер нашего набора гипотез, мы можем дать верхнюю границу нашей ошибки вне выборки с помощью:

Мы помним, что наша ошибка в выборке в данном случае — E_val (g_m * -), которую мы используем для привязки E_out (g_m * -). Мы выводим не gm * -, а gm *. Однако мы можем представить, что E_out (g_m *) меньше или равно E_out (g_m * -), поскольку мы будем тренировать нашу окончательную гипотезу на всем нашем наборе данных. В целом можно сказать, что у нас есть:

Важно отметить, что в этом случае N равно размеру нашего набора для проверки! Представим, что мы выбираем уровень достоверности 95%, т. Е. Δ = 0,05, и ошибку выборки 0,20. Тогда имеем следующую оценку:

Вместо этого представьте, что мы просто обучили каждую модель на всех данных и выбрали функцию с минимальной ошибкой выборки. Это привело бы к совершенно другому процессу. Давайте сначала проиллюстрируем это:

В этом случае наш набор гипотез представляет собой объединение всех наших 100 наборов гипотез — мы не знаем, сколько их в каждом, поэтому мы не знаем М. Мы также не используем набор проверки — вместо этого мы делаем то, что каждый Модель Hm в нашем наборе гипотез дает окончательную гипотезу, и мы выбираем ту, которая имеет минимальную ошибку. Это то же самое, что выбрать окончательную гипотезу из объединения всех наших наборов гипотез — следовательно, мы не можем сказать, что это простой конечный набор гипотез. Вместо этого нам нужно найти размерность VC объединения нашей гипотезы. В итоге мы получим следующую оценку:

Мы помним, что каждый набор гипотез имеет d_VC = 10. Следовательно, нам нужно сначала вычислить границу VC для нашего набора гипотез, что можно сделать с помощью:

Допустим, наша окончательная гипотеза все еще имеет ошибку выборки 0,20. Тогда мы получим следующую оценку:

Мы ясно видим, что в первом случае граница более жесткая.

Пример — перекрестная проверка

Представьте, что у нас есть набор данных с N образцами. Вы отдаете его двум своим друзьям. Один из них применяет 5-кратное перекрестное тестирование: данные разделяются на 5 частей, а затем каждый раз, когда одна из складок резервируется для тестирования, а остальные четыре используются для обучения модели прогнозирования. Каждая из 5 складок используется для тестирования только один раз. Таким образом, ваш друг получает 5 моделей прогнозов и дает вам ту, которая имеет наименьшую ошибку теста. Другой друг применяет 10-кратное перекрестное тестирование таким же образом и возвращает вам модель с наименьшей ошибкой теста. Два друга работают независимо друг от друга. Пусть h_1 ∗ будет моделью, созданной первым другом, и E_in (h_1 *) его тестовой потерей, и пусть h_2 * будет моделью, созданной вторым другом, а E_in (h_2 *) его тестовой потерей. Мы хотим ограничить ошибку вне выборки для каждой гипотезы, выдвинутой вашими друзьями.

Давайте начнем с первого друга и его последней гипотезы, которая была найдена с помощью 5-кратной перекрестной проверки. Сначала мы можем визуализировать процесс:

Мы помним, что E_cv — это несмещенная оценка E_out (N — K). Можно сказать, что:

Мы используем неравенство для конечного набора гипотез, где M = 5, поскольку наш первый друг выдвигает всего 5 гипотез. Наша ошибка в выборке равна E_cv. N по-прежнему равно N, поскольку все данные были использованы в сумме. Следовательно, мы имеем следующее:

Давайте теперь сделаем то же самое для друга, который реализует 10-кратную перекрестную проверку. Тогда у нас было бы:

Теперь у нас есть 10 моделей, поэтому мы получим следующую оценку:

Заключение

Мы видели несколько примеров того, как разные границы могут использоваться в разных сценариях при использовании перекрестной проверки или простого набора проверки. В следующей статье мы увидим, как мы можем оценить ошибку обобщения в конкретном случае использования машин опорных векторов.

Источник

Ошибка обобщения модели это

Характер приближений в информационных моделях

Ошибка обучения и ошибка обобщения

Definition[edit]

Leave-one-out cross-validation Stability[edit]

Expected-leave-one-out error Stability[edit]

Algorithms with proven stability[edit]

Relation to overfitting[edit]

References[edit]

Further reading[edit]

Definition[edit]

Leave-one-out cross-validation Stability[edit]

Expected-leave-one-out error Stability[edit]

Algorithms with proven stability[edit]

Relation to overfitting[edit]

References[edit]

Further reading[edit]

Определение

Стабильность перекрестной проверки без исключения

Ожидаемая ошибка с единичным исключением Стабильность

Алгоритмы с доказанной стабильностью

Отношение к переобучению

Рекомендации

дальнейшее чтение

А вот еще интересные материалы: