Machine Learning Example Application

Продолжим.

Две предыдущие статьи (раз, два) содержат начало и продолжение рассказа о 10-ой неделе обучения (https://www.coursera.org/course/ml), тема «Large-scale Machine Learning». Были рассмотрены темы: Stochastic Gradient Descent, Mini-batch Gradient Descen, Online Learning, Map-Reduce and Data Parallelism.

Завершилась 10-я неделя обучения (и курс в целом) рассказом о построении комплексного приложения, использующего техники Machine Learning.

Приложение «Photo OCR» должно находить на фотографиях надписи и превращать их в текст.

В отличие от распознавалки текста в документах, разпознавать текст на фотографиях окружающего мира значительно сложнее.

Чтобы построить такое приложение, надо решить целый ряд задач.

Задача первая — нормализация изображений, что означает приведение к общему знаменателю цветности, контрастности, яркости, ориентации в пространстве и тому подобное.

Вообще, задачи, решаемые в рамках приложения, выстраиваются в pipeline: найти на фотке текст, разбить текст на буквы, распознать буквы. Можно еще в конце запустить спелл чекер. Pipeline/последовательность алгоритмических блоков/задач — это разбиение проблемы на отдельные шаги. Правильный pipeline ведет к успеху предприятия в целом.

В нашем Photo OCR пайплайн будет такой: Image → Text Detection → Character Segmentation → Character Recognition.

Задача Text Detection может быть решена применением техники известной как Sliding window classifier.

В целом, классификатор по скользящему окну работает так (на примере пешеходов): сперва мы готовим тренировочный датасет с картинками пешеходов и всего остального, что попадает в объектив фотокамеры; мы тренируем нейросеть на распознавание пешеходов на картинках из трен.сета.

Имея классификатор (нейросеть), обученный отличать пешеходов от всего остального, мы можем подавать ему на вход куски (patch) интересующей нас картинки, получая ответ — пешеход или нет.

Фишка в том, как готовить эти патчи — техника скользящего окна. Для начала надо выбрать некий исходный размер этого окна и перемещать его по всей картинке, чтобы пошагово в рамку/окно попали все детали изображения. Потом размер окна увеличивается и цикл повторяется. И так столько раз, сколько надо, чтобы покрыть все возможные варианты фигур пешеходов на картинке.

Так вот, с текстом практически также, только вместо пешеходов — буквы.

После отработки детектора текста методом скользящего окна мы получаем картинку, где на черном фоне есть белые блоки. Каждый белый блок представляет найденную букву, интенсивность белого цвета говорит нам о вероятности того, что это именно буква.

На такую картинку мы натравливаем Expansion Operator. Этот оператор работает так: для каждого пикселя он смотрит, нет ли в его окрестности белого пикселя, если есть, данный пиксель тоже окрашивается белым. Так мы получаем эффект размытия, что дает нам вместо отдельных букв границы надписей. Мы находим регионы с белым цветом и находим для них рамки/боксы. Далее убираем боксы с неправильным aspect ratio — обычно текст ширше чем выше. В результате получаем боксы/рамки для скармливания распознавателю текста.

Следующий этап в pipeline — это character segmentation.

Задача этого этапа: получив на вход изображения надписей (полученный на предыдущем шаге), найти пробелы между буквами. Лично я не очень понял, почему поиск пробелов между буквами проще/легче чем поиск самих букв.

Мы строим и тренируем классификатор (нейросеть, к примеру), умеющий распознавать промежутки между буквами. Для этого нам нужен, разумеется, датасет с тренировочными данными, его надо готовить.

После получения такого классификатора мы можем найти отдельные буквы в надписи методом сдвигающегося окна.

В итоге мы подобрались вплотную к модулю распознавания буков, а это нам знакомо по предыдущим занятиям.

Осталось заключение: как добывать данные для датасетов, что можно сделать, чтобы увеличить/улучшить датасет, что делать для повышения качества продукта — во что вложиться для более точной классификации/предсказания/...

Продолжение следует …

original post http://vasnake.blogspot.com/2014/08/machine-learning-example-application.html