Transfer learning и поиск похожих изображений

ML, transfer learning.

Использование уже построенных моделей, наработанных знаний, для решения других задач.

В качестве аналогии приводится мой любимый пример, когда мозг перестраивается и обучается распознавать визуальные образы через вкусовые или слуховые центры.

Авторы проводят четкую границу между стандартным машинным обучением и transfer learning. В стандартном подходе у вас есть только цель и набор данных, а задача заключается в том, чтобы какими-либо методами достичь этой цели. В рамках решения задачи вы можете построить глубокую сеть, предобучить ее жадным алгоритмом, построить еще с десяток таких же и каким-либо образом сделать ансамбль из них. Но все это будет в рамках решения какой-то одной проблемы, и время, потраченное на решение такой проблемы, будет сравнимо с суммарным временем, потраченным на обучение каждой модели, и ее предобучение.

А теперь представьте, что есть две задачи, и решали их, возможно, даже разные люди. Один из них использует часть модели другого (source task) для уменьшения временных затрат на создание модели с нуля и улучшения производительности своей модели (target task). Процесс передачи знаний от одной проблемы к другой и есть transfer learning. А наш мозг, вероятно, так и поступает. Как в примере выше, его реальная задача почувствовать вкус рецепторами языка и видеть глазами. Встает задача — воспринимать визуальную информацию рецепторами языка. И вместо того, чтобы вырастить новые нейроны или же сбросить веса старых и обучить их заново, мозг просто слегка корректирует имеющуюся нейронную сеть для достижения результата

http://habrahabr.ru/company/mailru/blog/252965/

Во второй части статьи рассматривается практический пример, в котором решалась задача поиска похожих изображений.

При этом, на первом этапе выделения свойств картинки, была использована уже обученная сеть победителей конкурса ImageNet.

При такой вариативности датасета логично предположить, что где-то в сети присутствует эффективный извлекатель признаков, а также классификатор, который и решает, к какому классу относится изображение. Хотелось бы достать этот самый извлекатель, отделить его от классификатора и поиспользовать его для обучения глубокого автоенкодера из статьи о семантическом хешировании

http://habrahabr.ru/company/mailru/blog/252965/

Очень интересно.

original post http://vasnake.blogspot.com/2015/03/transfer-learning.html