Getting Lots of Data and Artificial Data

https://www.coursera.org/course/ml

Получилось так, что мое изложение материала последней, 10-ой недели обучения Machine Learning (тема «Large-scale Machine Learning») растянулось аж на четыре статьи. Stochastic Gradient Descent, Map-Reduce, Photo OCR app Example и эта, Getting Lots of Data and Artificial Data + Ceiling Analysis.

Сделав оговорку, что нам не всегда нужны огромные датасеты, можно сказать, что

low biased learning algorithm + masive training set может привести к успеху предприятия.

Есть два подхода к получению больших датасетов:

* генерация данных в дополнение к сбору (расширяя собранные данные);

* генерация данных с нуля.

Допустим, у нас есть датасет для распознавателя букв. Чтобы увеличить этот датасет, мы можем взять пачку шрифтов, напечатать буквы из них на разных подложках и использовать это как синтетические данные для трен.сета.

Это был пример по созданию данных с нуля.

Другой подход — использовать уже имеющиеся данные для генерации новых. Взяв изображение буквы, мы можем внести в это изображение некие искажения, получив расширение набора данных.

Но надо помнить: произвольные искажения малополезны. Надо использовать искажения, примеры которых могут встретиться в тестовом наборе данных, при решении поставленной задачи.

Часто оказывается, что даже вручную собирая/обрабатывая данные, нужно потратить всего несколько дней для получения набора в 10 раз большего чем уже есть. Данные можно собирать вручную, можно построить автоматический генератор — попробуйте оценить, сколько на это уйдет времени.

Ceiling Analysis: What Part of the Pipeline to Work on Next

Самый ценный ресурс — это наше разработческое время. тратить его надо только на то, что принесет явную пользу. Очень плохо, когда мы тратим недели, месяцы на разработку направления, которое по итогам не даст серьезного улучшения в решении задачи.

Профессор Эндрю знает историю, когда два инженера работали полтора года над удалением фона с картинок (задача была – распознавание лиц или вроде того), сделали офигенную работу и опубликовали научный труд. Но для их задачи этот модуль был не важен, как оказалось. Увы.

Вопрос можно поставить так: на чем сконцентрироваться? Какая часть pipeline, в случае ее улучшения, даст максимальный эффект?

Тут появляется методика Ceiling Analysis.

Для начала нам нужна числовая метрика (например accuracy) для всей системы.

Теперь мы по очереди, один за одним имитируем достижение 100% точности каждого блока pipeline. И замеряем точность всей системы. Какой блок дает наибольший вклад в увеличение точности всей системы, тот блок и надо совершенствовать в первую очередь.

That's all Folks!

original post http://vasnake.blogspot.com/2014/08/getting-lots-of-data-and-artificial-data.html