Week 1

Курс Scalable Machine Learning.

В прошлый раз я рассказал о том, как мы делали лабораторки. Теперь материал первой недели.

Topics:

• Apache Spark overview,
• basic machine learning concepts,
• steps of typical supervised learning pipelines,
• linear algebra review,
• computational complexity / big O notation review.

Lab 1:

NumPy, Linear Algebra, and Lambda Function Review.

Gain hands on experience using Python's scientific computing library to manipulate matrices and vectors, and learn about lambda functions which will be used throughout the course.

Apache Spark это такая кластерная вычислялка, основная идея которой заключается в том, что исходный набор данных оборачивается в RDD – Resilient Distributed Dataset, который кусками раскидывается на по вычислительным нодам и эти куски там параллельно обрабатываются (стадия Map). На стадии Reduce результаты вычислений возвращаются на ноду-driver, инициировавшую обработку. Особенно отмечается тот факт, что, в отличие от традиционного MapReduce, в Spark данные крутятся в оперативной памяти, что позволяет достичь стократного превосходства по быстродействию.

Дальше – machine learning, концепция.

Галопом-по-европам, огромные датасеты, их надо очистить, преобразовать, извлечь фичи/свойства, нормализовать, найти по ним оптимум для разных моделей, оценить модели, выбрать лучшую и, в светлом будущем, использовать модель для предсказаний.

Линейная алгебра.

Векторы, матрицы, inner product, outer product, разные свойства операций над матрицами. В общем, там где сумма произведений – там ищи применение умножению матриц.

А еще транспонированные матрицы, инвертированные матрицы, identity matrix, Euclidean norm for vectors, вот это все.

В наших вычислениях (ML) используется повсеместно и очень плотно.

Big O notation.

Довольно важная штука. Чтобы оценить, потянет машины или кластер обработку набора данных, определенного размера, надо уметь оценить предполагаемые затраты на хранение и вычисления. Для используемого алгоритма. Разные алгоритмы имеют разные оценки по времени/размеру.

Время оценивается в количестве элементарных операций, размер оценивается в единицах хранения – 8 байт под плавующую точку.

А потом была лабораторка.

https://github.com/spark-mooc/mooc-setup/blob/master/ML_lab1_review_student.ipynb

Сначала на бумажке вычисляли результаты умножения матриц, записывая результаты в нотебук.

Потом умножали матрицы по всякому с помощью NumPy.

Посмотрели на DenseVector.

Потом занялись lambda и имитацией map().reduce() под соусом «функциональный подход».

На этом первая неделя как-то закончилась.

Ничего серьезного.

original post http://vasnake.blogspot.com/2015/08/week-1.html