Записки программиста, обо всем и ни о чем. Но, наверное, больше профессионального.

2015-05-22

Apache Drill

v.1.0 Apache Drill – это серъезная заявка.
Развелось тут, понимаешь, всяких датастораджей, плюнуть некуда – попадешь в Hadoop или в МонгоДБ какой-нибудь.
Приходится извращаться, делать поверх всей этой чехарды слой шоколада SQL запросов. Надо же как-то данные смотреть/вынимать, правда?

Представлен первый значительный релиз проекта Apache Drill, в рамках которого развивается движок для организации выполнения SQL-запросов над полуструктурированными данными, хранящимися в NoSQL-хранилищах. Особенностью движка является независимость от схемы хранения данных, что позволяет организовать анализ данных в различных хранилищах без предварительного определения их структуры (schema-free). В частности, Apache Drill даёт возможность выполнять интерактивные запросы на языке ANSI SQL для сложных или постоянно изменяющихся структур данных, включая форматы JSON, ProtoBuf, XML, AVRO и Parquet, а также таблицы HBase, без необходимости задания схемы хранения.

Структура данных в хранилище распознаётся на лету и преобразуется во внутреннюю JSON-подобную модель данных, которая предоставляет информацию о структуру БД при выполнении SQL-запросов. Для обработки сложных и вложенных типов данных в Apache Drill предусмотрен ряд расширений SQL. В качестве одного из практических применений Apache Drill называется возможность интеграции завязанных на SQL систем бизнес-аналитики и хранилищ больших объёмов данных на основе Apache Hadoop или MongoDB



"The production-ready 1.0 release represents a significant milestone for the Drill project," said Tomer Shiran, member of the Apache Drill Project Management Committee. "It is the outcome of almost three years of development involving dozens of engineers from numerous companies. Apache Drill's flexibility and ease-of-use have attracted thousands of users, and the enterprise-grade reliability, security and performance in the 1.0 release will further accelerate adoption."

With the exponential growth of data in recent years, and the shift towards rapid application development, new data is increasingly being stored in non-relational, schema-free datastores including Hadoop, NoSQL and Cloud storage. Apache Drill revolutionizes data exploration and analytics by enabling analysts, business users, data scientists and developers to explore and analyze this data without sacrificing the flexibility and agility offered by these datastores. Drill processes the data in-situ without requiring users to define schemas or transform data.







original post http://vasnake.blogspot.com/2015/05/apache-drill.html

Комментариев нет:

Отправить комментарий

Архив блога

Ярлыки

linux (241) python (191) citation (185) web-develop (170) gov.ru (157) video (123) бытовуха (112) sysadm (100) GIS (97) Zope(Plone) (88) Book (81) programming (81) бурчалки (81) грабли (77) development (73) Fun (72) windsurfing (72) Microsoft (64) hiload (62) opensource (58) internet provider (57) security (57) опыт (55) movie (52) Wisdom (51) ML (47) language (45) hardware (44) JS (41) curse (40) driving (40) money (40) DBMS (38) bigdata (38) ArcGIS (34) history (31) PDA (30) howto (30) holyday (29) Google (27) Oracle (27) virtbox (27) health (26) vacation (24) AI (23) Autodesk (23) SQL (23) Java (22) humor (22) knowledge (22) translate (20) CSS (19) cheatsheet (19) hack (19) tourism (19) Apache (16) Manager (15) web-browser (15) Никонов (15) happiness (14) music (14) todo (14) PHP (13) course (13) functional programming (13) weapon (13) HTTP. Apache (12) SSH (12) frameworks (12) hero (12) im (12) settings (12) HTML (11) SciTE (11) crypto (11) game (11) map (11) scala (11) HTTPD (9) ODF (9) купи/продай (9) benchmark (8) documentation (8) 3D (7) CS (7) DNS (7) NoSQL (7) Photo (7) cloud (7) django (7) gun (7) matroska (7) telephony (7) Microsoft Office (6) VCS (6) bluetooth (6) pidgin (6) proxy (6) Donald Knuth (5) ETL (5) NVIDIA (5) REST (5) bash (5) flash (5) keyboard (5) price (5) samba (5) CGI (4) LISP (4) RoR (4) cache (4) display (4) holywar (4) nginx (4) pistol (4) xml (4) Лебедев (4) IDE (3) IE8 (3) J2EE (3) NTFS (3) RDP (3) USA (3) holiday (3) mount (3) spark (3) Гоблин (3) кухня (3) урюк (3) AMQP (2) ERP (2) IE7 (2) NAS (2) Naudoc (2) PDF (2) address (2) air (2) british (2) coffee (2) font (2) ftp (2) messaging (2) notify (2) sharepoint (2) ssl/tls (2) stardict (2) tests (2) tunnel (2) udev (2) APT (1) CRUD (1) Canyonlands (1) Cyprus (1) DVDShrink (1) Jabber (1) K9Copy (1) Matlab (1) Palanga (1) Portugal (1) VBA (1) WD My Book (1) autoit (1) bike (1) cannabis (1) chat (1) concurrent (1) dbf (1) ext4 (1) idioten (1) krusader (1) license (1) mindmap (1) pneumatic weapon (1) quiz (1) regexp (1) robot (1) science (1) serialization (1) tie (1) vim (1) Науру (1) крысы (1) налоги (1) пианино (1)

Google+ Followers