Spark.ml.Transformer Spatial Join

Как некоторые могут догадаться, по работе я довольно плотно связан с гео-аналитикой и пространственными данными. Тема интересная, хотя, наверное, не настолько как бухгалтерия.

На днях выродился очередной побочный продукт упражнений с гео-бигдатой: так называемый spark.ml.transformer, задача которого участвовать в пайплайнах (ml.pipeline) обработки данных.

Называется трансформер BroadcastSpatialJoin и, очевидно, он умеет в join входного датасета с заданным внешним датасетом по пространственным отношениям между их элементами.

Как лицо благодарное (сообществу проектов с открытым кодом) и ответственное, трансформер я оформил как открытый проект:

https://github.com/vasnake/spark.ml.SpatialJoinTransformer

Кому надо, тот разберется.

Базовый механизм джойна позаимствован (и изрядно переработан) из другого проекта:

https://github.com/vasnake/SpatialSpark

Как оказалось, всякие другие GeoSpark-и, Magellan-ы и прочие GeoMesa-ы для наших задач были оверкиллом и/или требовали слишком много работы крупным напильником.

https://pro.arcgis.com/en/pro-app/tool-reference/big-data-analytics/spatial-relationships-with-big-data.htm

Вы прослушали передачу на тему "какой я за?пательский программист".

Всем спасибо, все свободны.

original post https://vasnake.blogspot.com/2019/04/sparkmltransformer-spatial-join.html

Scala for the impatient

Перфекционизм -- страшная штука. Даже той небольшой доли, что есть у меня, достаточно для того, чтобы отжирать какое-то безумное количество времени.

Вот, к примеру, букварь: Scala for The Impatient (второе издание).

Прочитать книгу и разобраться в концепциях можно за неделю. Второе издание я читал в дороге из-дома-на-работу и обратно несколько месяцев. Пять дней в неделю, час в день, полсотни часов или около того. Но в процессе чтения меня не покидало желание не просто запомнить всякое, но проштудировать тщательно и сделать конспект, прорешать упражнения.

Первая попытка штудирования и конспектирования закончилась в состоянии заброшенки на полпути -- хроническая нехватка времени, я не умею делать вещи, требующие концентрации, в стиле "по полчаса в день". Мне полчаса надо только чтобы сконцентрироваться, еще полчаса на то, чтобы вспомнить, на чем я остановился в прошлый раз.

Второй подход к снаряду получился гораздо продуктивнее: будучи в отпуске, я смог выделять по нескольку часов в день на задачу. В результате, через какой-то месяц плотного штудирования букваря, я наклепал подробный конспект и прорешал все задачки:

https://github.com/vasnake/scala-for-the-impatient
21 глава, по 500..800 строк кода на каждую, получился неслабый такой проект среднего размера.

Что характерно, метрика "200 отлаженных строк кода в день" по прежнему состоятельна. В среднем, за день удается наваять как раз около 200 строк.

В общем, если кто не понял, я, в некотором роде хвастаюсь: у меня есть еще один проект, доведенный до победного конца. Ура, товарищи.

P.S.
Страшно подумать, сколько времени занимает написание такого букваря.
Кстати, несмотря на уже второе издание, в книге овердохуа опечаток и неточностей. Некоторый код никто не проверял в работе.

P.P.S
Интересные заметки про нашего мальчика:
https://community.oracle.com/people/cayhorstmann-3071947/content?customTheme=otn




original post https://vasnake.blogspot.com/2019/04/scala-for-impatient.html