Big Data + ArcGIS

В ArcGIS 10.1 есть много новых и очень интересных особенностей. Похоже, ESRI движется в правильном направлении.

Вот, скажем, практически готовый пример распределенной обработки фичекласса с использованием техники map-reduce.

* Export a FeatureClass to an HDFS folder

* Register that folder as a Hive table

* Run command line Hive queries

* Execute Hive queries from ArcPy and show the results in ArcMap

* Execute a MapReduce Job as a GP Tool

* Import an HDFS Folder (result of MapReduce Job) as a FeatureClass

http://thunderheadxpler.blogspot.ru/2012/11/bigdata-hdfs-featureclass-etl-and.html

в статье приведен пошаговый, со слайдами, процесс любви к родине конвертации и обсчета данных. В ходе обработки используются (помимо ArcGIS):

* The Hadoop Distributed File System (HDFS)

* Hive is a data warehouse system for Hadoop that facilitates easy data summarization, ad-hoc queries, and the analysis of large datasets stored in Hadoop compatible file systems.

Для «пощупать» предлагают виртмашины с предустановленным и настроенным Apache Hadoop (CDH).

Мне вообще нравятся темы высоких нагрузок и бигдата, а тут, помимо этого, зацепило еще тем, что можно сделать даже ArcGIS GP Tool по схеме map-reduce поверх распределенных данных. Раньше о таком инструментарии и не мечтали, а тут — вот он, бери-не-жалко.

original post http://vasnake.blogspot.com/2012/12/big-data-arcgis.html