После линейнойрегрессии нас обучали логистической
регрессии — Logistic Regression из класса
Supervised Learning. Logistic Regression применяется в
задачах классификации, где надо разделить
кучу всякого на классы, категории. Или,
просто, сказать типа «будет дождик или
нет». Хотя я не уверен, что методами
логистической регрессии можно ответить
на вопрос «перестал ли ты пить коньяк
по утрам? Да или нет?».
Суть в том, что
машина обучается, пожирая тренировочные
наборы данных, предсказывать вероятность
того, что входные данные соотносятся с
неким классом, объектом, событием. В
пределе, ответ всегда «1» или «0». На
практике, конечно, ответ может быть
любым, в диапазоне от 0% до 100%.
Вы будете
смеяться, но вычислительный процесс
основывается на таком же полиноме, что
и для линейной регрессии. Только этот
полином запихиваетя еще внутрь функции
sigmoid,
чтобы обеспечить бинарное деление
результата, вместо получения непрерывной
функции.
Ценовая функция
(Cost Function), применяемая в обучении (задача
— снизить цену, ошибку), тоже очень
похожа на таковую из линейной регрессии,
только добавлены логарифмы, чтобы Cost
Function была выпуклой. Чтобы можно было
найти глобальный минимум фунции, который
означает, что параметры полинома
подобраны наилучшим возможным образом.
В общем, вся
метода похожа на таковую из линейной
регрессии, что не удивительно, ибо
правильный профессор учит от простого
к сложному.
Да, чуть не
забыл. Чтобы с помощью Logistic Regression провести
классификацию, скажем, писем на несколько
категорий, типа «работа», «рассылки»,
«родня», «хобби», … Нужно проделать
хитрую штуку. Называется штука One vs all.
Один против всех. Если у нас, скажем, 3
категории, нам надо провести обучение
машины по трем логистическим регрессиям.
Первая категория / все остальные
категории, бинарное деление, как и
положено. Потом Вторая категория / все
остальные категории. Ну вы поняли. А
потом, выработав три «гипотезы», суть
три набора параметров для полинома, для
каждого нового письма применять
вычисление всех трех гипотез. Какая
выдаст большую вероятность, в ту категорию
письмо и складывать. Очень просто.
В конце этой
темы мы смогли научить машину распознавать
рукописные цифры, десять штук, от 0 до
9. С точностью 95%. Во как.
original post http://vasnake.blogspot.com/2014/05/logistic-regression.html
Комментариев нет:
Отправить комментарий