Dynamic Programming

Всё, что вы хотели знать про Dynamic Programming
-- brute-force, memoization, subproblems, guess, recursion.

Лекции от Erik Demaine (MIT)
https://youtu.be/ENyox7kNKeY


http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-006-introduction-to-algorithms-fall-2011/lecture-videos/

В частности,
1. что такое memoization, почему так называется?
2. Почему Dynamic Programming, откуда такое название?

1: Memo pad, внесение заметок в memo pad -- memoization.
2: Ученый работал на вояк и не мог сказать, что занимается "исследованиями", поэтому придумал загадочный термин, чтобы генералы не доебались.

original post http://vasnake.blogspot.com/2016/07/dynamic-programming.html

Spark 2

Apache Spark 2: DataFrames, Datasets, Streaming.

Серьезные изменения в скорости и возможностях
https://www.youtube.com/playlist?list=PL-x35fyliRwiz70bTSSK4HmOZ4JazCFUj

https://www.google.com/search?q=spark+2+dataframe+dataset+streaming

https://spark-summit.org/2016/schedule/





original post http://vasnake.blogspot.com/2016/07/spark-2.html

FP

Всем, кто начал вникать в functional programming, смотреть и слушать обязательно:

https://youtu.be/E8I19uA-wGY

Основные принципы объясняются настолько доступно, что даже я всё понял.

О чём речь, собственно:

Core Principles of FP design

– functions, types, composition

Functions as parameters

– functions as interface

– partial application & dependency injection

– continuations, chaining & the pyramid of doom

Monads

– error handling, async

Maps

– dealing with wrapped data

– functors

Monoids

– aggregating data and operations

types are not classes (more like sets, valid input/output values)

types separate data from behaviour, can compose types

algebraic types; product types; sum types (choice/union)

totality, total/partial functions

for composition you need functions with one parameter:

currying – every function is a one parameter function

currying/partial application – dependency injection, continuations

chaining continuations takes us to monads: monadic bind;

use bind to chain error handlers, Railway Oriented Programming

Mappable types are 'functors':

Option.map: lifting operations to Option world / List, Future, … other monads and wrapped types

monoid: math term: closure + 'zero' (identity element) + associativity

semigroup = monoid – zero

any combination of monoids = monoid; define a combinator and get aggregation for free (reduce);

incremental updates, parallelizm, missing data handling

convert non-monoid (customer) to a monoid (customerStats), using map;

… reduce // 'Hadoop make me a sandwich'

convert expensive monoids to cheap monoids: map blocks to aggregated data, incremental updates;

monoid homomorphism

monoid from functions? input type == output type: endomorphism (remember monoid closure?);

all endomorphisms are monoids, you can aggregate them

example: Event Sourcing

monads are monoids: monoid in the category of endofunctors.

Hadoop make me a sandwich:

оригинал ищите в твиттере

Отсмотрено по наводке http://thedeemon.livejournal.com/112356.html

original post http://vasnake.blogspot.com/2016/07/fp.html

Подрезово-1

Сегодня устроили себе каталку в Подрезово - 1, на Пироговском водохранилище.
Я про это место ранее писал: http://vasnake.blogspot.com/2016/07/blog-post.html

На парковку пляжную, за шлагбаумом, пустили за 250 рублей. Деньги пошли вратарю на карман -- ни чека, ни карточки я не видел. Несмотря на это, подъехать поближе к воде не разрешили, даже на 5 минут для разгрузки/погрузки. Не положено.
Пришлось матчасть на горбу тащить метров 150.

Пляж хороший, но грязновато.

Прогноз был: юго-западный ветер 8-12 м/с. На самом деле было что-то вроде 5-10 м/с с редкими порывами до 12. Что хуже -- ветер на редкость рваный, порывы по нескольку секунд, тольком разогнаться не успеешь. Все руки себе оборвал.

Хреновая каталка получилась.

original post http://vasnake.blogspot.com/2016/07/1.html

Scala Type Classes

Что-то поперло про type classes, просто поперло.

Только на днях я упоминал зачетные слайды https://speakerdeck.com/raulraja/typeclasses-tour

Не прошло и недели, как мне попадается изумительный материал про тайп классы

http://danielwestheide.com/blog/2013/02/06/the-neophytes-guide-to-scala-part-12-type-classes.html

Настолько все доступно изложено, что даже я всё понял.

И применил на практике:

https://gist.github.com/vasnake/e7957b16ca0ee4eaa815e3639751be7c

Идея очень проста и отвечает на запрос: как нам облегчить ad-hoc polymorphism в системах со строгой типизацией? Нужно абстрагировать некий алгоритм, повысить степень DRY.

Ну как, делаем интерфейс, реализуем алгоритм в терминах этого интерфейса. Реализацию интерфейса подмешиваем в нужный класс – опля, этот класс можно пихать в упомянутый алгоритм.

Проверка типов в Scala делается через implicit переменные.

Повторюсь: как же люди без дактайпинга мучаются. Зато всё под контролем.

original post http://vasnake.blogspot.com/2016/07/scala-type-classes.html

About Typeclasses, Spark and other FP shit

Я просто оставлю это здесь.

Пара материалов, опубликованных в недельной подборке на 47 Degrees
http://www.47deg.com/blog/fp-news-update-week-of-7-01

Как люди мучаются без ducktyping: вот, придумали typeclasses для выхода на следующий уровень абстракции. Зато всё под контролем
https://speakerdeck.com/raulraja/typeclasses-tour


12 видеороликов про Спарк
The video presentations from Spark Summit this June
https://www.youtube.com/watch?list=PL-x35fyliRwiz70bTSSK4HmOZ4JazCFUj&v=1a4pgYzeFwE






original post http://vasnake.blogspot.com/2016/07/about-typeclasses-spark-and-other-fp.html

Пара пляжей на Пироговском

Сегодня разведали два пляжа на Пироговском водохранилище.
На обоих виндсерфер может выйти на воду относительно легко.
А если одолеет шлагбаум, так и вовсе заипца.
https://maps.yandex.ru/?um=constructor:WaVdZ4EoSLnD3jjLMAjycx1l4Y0d-XtV&source=constructor

Подробнее

Parallel computing: Amdahl's law

Закон Амдала ограничивает применимость параллельных вычислений.

Нет, не так. Закон устанавливает границы на количество параллельных процессов.

Обратно не так. Бляха. Короче:

любая задача, которую можно посчитать параллельно, имеет границу, после которой увеличение параллелизма уже не помогает ускорить вычисления.

Два прикольных видео на тему

Understanding Parallel Computing: Amdahl's Law

https://youtu.be/WdRiZEwBhsM

Understanding Parallel Computing (Part 2): The Lawn Mower Law

https://youtu.be/ehyO7mxeU74

И одно серъезное

Amdahl's Law in the Multicore Era

https://youtu.be/KfgWmQpzD74

original post http://vasnake.blogspot.com/2016/07/parallel-computing-amdahls-law.html