Mint az áll, mondja Mike Olson, a Cloudera vezérigazgatója, a Hadoop elemzési platformon van néhány jelentős korlátozás, beleértve a sebességet és a bonyolultságot. Az iparág vezetői - beleértve a saját cégén dolgozókat is - azon dolgoznak, hogy megváltoztassák ezt, bízik abban, hogy ez a kutatási eszköz az elkövetkező években alapvetően fejlődik.
A tavalyi Strata konferencián Olson arra kérte a közönséget, hogy képzelje el, hogyan lehetne a Hadoopot másképp megtervezni, ha ma létrejönne, és azt állítja, hogy bizonyos konkrét változások új kapukat nyithatnak a kutatás területén olyan területeken, mint az oktatás, az energia és a mezőgazdaság. Hivatkozva a kozmológusra és Carl Sagan tudományos íróra, Olson hangsúlyozta annak fontosságát, hogy a nagyközönség számára elkülönítsék a magas szintű adatokat.
"Azt hiszem, hogy az üzleti és a társadalmi szempontból fontos felfedezések szélén állunk" - mondta Olson.
Példaként említette: a tudományos felfedezés, amelyet a tudományos szakemberek munkája tett lehetővé a svájci Nagy Hadron-ütközőnél. Olson szerint 37 terabájt adatainak napi kiértékelése vezetett olyan kulcsfontosságú haladásokhoz, mint például a vízgyűjtő Higgs-Boson felfedezés, amely felfedte az anyag és az energia kulcsfontosságú aspektusait. Olson hozzátette, hogy a Hadoop segítséget nyújt ezekben az alapkutatási projektekben azáltal, hogy hatalmas mennyiségű adatot gyűjt egyetlen tárolóba, ám ezekkel az adatokkal valós időben nem lehet kölcsönhatásba lépni.
Bemutatva, hogy a Hadoop és hasonló technológiák hogyan tudnak segíteni a kulcsfontosságú területeken, például az egészségügyben működő tudósoknak, Olson bejelentette az Impala projektet is, amelyen a cég két éve dolgozik, kétnegyedes béta teszteléssel, a nagy ügyfelek. Az Impala projekt - mondta Olson - "100% -ban nyílt forrású" technológia Apache licenccel, amely a Hadoop-nal "valósidejű lekérdezőmotorként" működik. Olson elmondta, hogy ez lehetővé teszi azt, amit „gondolatkérések gyorsaságának” nevez, ahol a felhasználók feltehetnek egy kérdést, választ kaphatnak és új kérdést fogalmazhatnak meg a nagy adatcsoportok hatékony felhasználása érdekében.
"Ez új módszert kínál az Ön adatainak megszerzéséhez" - mondta Olson, és felvázolta, hogy ez a fajta haladás hogyan nyithatja meg a további lehetőségeket a nagyobb problémák megoldására az Egyesült Államokban és külföldön.
