BigData & ArcGIS

Модная тема, что уж там — BigData. А в сочетании с пространственной привязкой (geolocation) — вообще на переднем краю прогресса.

In the GIS tools for Hadoop, we store and retrieve feature classes in Esri JSON or GeoJSON formats to and from HDFS. This post is about a set of experiments in different storage and serialization technics of feature classes. The two environments I evaluated are Apache Avro and Parquet. All the source code can be found here.

Полностью тут: http://thunderheadxpler.blogspot.ru/2013/08/bigdata-experiments-with-apache-avro.html

Мансур рассказывает об очередной серии экспериментов: он попробовал сериализацию данных от Apache Avro и хранилище от Parquet выполняя загрузку фичеклассов в HDFS; MapReduce задачи по кластеризации фичей; с помощью Hive делая выборки данных SQL-подобными запросами; при выборке использовал User Defined Functions.

Ему понравилось:

Twitter is so impressed with Parquet that they are already moving it into production - I like Avro, as it enables a future proof schema changes - after all you cannot "readjust" your data to fit a new schema when it is in the petabytes :-)

https://github.com/mraad/AvroToolbox

http://esri.github.io/gis-tools-for-hadoop/

original post http://vasnake.blogspot.ru/2014/04/bigdata-arcgis.html