Advice for Applying Machine Learning

https://www.coursera.org/course/ml

После линейной регрессии была логистическая регрессия. А потом начались нейросети — Neural Networks. Потом нас учили правильно применять изученные алгоритмы.

В частности, как оценивать успешность обучения машины, удачность выбранных параметров.

Внезапно, самым толковым способом оценки успешности обучения машины оказалась оценка среднеквадратичной ошибки. Это значит — надо посмотреть на выдаваемую ошибку (разница между вычисленным значением и желаемым), результат Cost Function.

Фишка в том, что во время обучения алгоритм занимался минимизацией ошибки для известного набора данных — training set (тренировочный набор). Поэтому, очевидно, для оценки успешности нам нужен другой набор данных, test set. Если такового нет, его надо заранее выделить из трен.набора. Ошибка выдаваемая на тестовом наборе показывает, насколько успешно справляется обученная машина с предсказанием будущего результата. Фактически — это метрика для оценки успешности обучения.

Есть еще нюанс. В процессе обучения машины алгоритму скармливаются разные параметры, например значение параметра регуляризации. Правильный способ подбора этого параметра — скармливать машине разные варианты и смотреть, какой из них даст меньшую ошибку на cross validation наборе данных. Этот набор кросс валидации очень похож по сути на тестовый набор данных, только служит не для оценки успешности обучения, а для выбора оптимальных параметров алгоритма/модели.

Потом нас научили как оценивать склонность алгоритма к high bias/high variance — суть underfitting/overfitting (high bias, партийная кличка underfitting — это когда, условно говоря, график функции недостаточно кривой, когда дуга описывается ее хордой, к примеру; high variance, партийная кличка overfitting — это наоборот, когда вместо прямой, соединяющей две точки, алгоритм строит кривую, проходящую через эти точки). Все это под соусом – «не торопитесь собирать больше данных для трен.сета».

Фишка тут в том, что надо построить learning curves — значения ошибки для трен.сета и набора кросс валидации в зависимости от размера трен.сета (а можно — в зависимости от какого-либо параметра модели).

Если алгоритм склонен к андерфиттингу, две кривые показывают относительно большую ошибку и быстро сходятся.

Если же алгоритм склонен к оверфиттингу, то ошибка для трен.сета будет относительно небольшой, тогда как ошибка кросс валидации будет значительно больше и сходится они будут очень медленно.

Этот метод кривых обучения позволяет провести диагностику, после чего можно решить, что делать дальше:

• набрать еще данных? помогает только при high variance
• уменьшить количество фичей? только при high variance
• добавить фичей? может помочь при high bias
• добавить степеней в полином? может помочь при high bias
• уменьшить лямбду? при high bias
• увеличить лямбду? при high variance

А еще было про важность изучения тех записей из набора кросс валидации, на которых алгоритм ошибается. А еще было про skewed classes:

Accuracy = (true positives + true negatives) / (total examples)

Precision = (true positives) / (true positives + false positives)

Recall = (true positives) / (true positives + false negatives)

F1 score = (2 * precision * recall) / (precision + recall)

но мне уже лениво расписывать эти фишки. Притомился. Может быть потом, если будет стимул.

Короче, профессор растолковал нам, неразумным, что надо двигаться от простого к сложному — построить простую модель, оценить (с помощью разных наборов данных и Cost Function) ее эффективность, и потом уж решать, что делать дальше.

original post http://vasnake.blogspot.com/2014/05/advice-for-applying-machine-learning.html