Pontosan mi a hadoop? a cinikus elmélete

Általában bármi, ami túl jónak tűnik ahhoz, hogy igaz legyen. Ilyen lehet az Apache Hadoop, a sokkal bálványozott nyílt forrású projekt, amelyről mindenki beszél. Tehát pontosan mi ez a dolog? Jó kérdés!

Kérdéses szakértők

Mark Madsen, a Harmadik Természet elemzője egy darabig a falhoz szegezte a falhoz, az InsideAnalysis.com oldalán: "Mi a Hadoop. Mi az a Hadoop?" Mivel valaki tudja, hogyan kell valós megoldásokat tervezni, majd azokat ténylegesen telepíteni, tanácsát nem szabad figyelmen kívül hagyni.

De itt van egy mélyebb áramlás, és már itt az ideje, hogy feltárja ennek a lenyűgöző növénynek a gyökereit, hogy megnézhessük, nézzünk-e némi perspektívát arra, hogy mi történik inkább makro szinten. Végül is, az eladók továbbra is azt mondják, hogy ez nagy ügy, és oly sok résztvevő van.

Alkalmazza a kötelezőket! (?)

Jelenleg három vállalat birtokolja a Hadoop kialakuló piacának többségét: a Cloudera, a Hortonworks és a MapR. A Boulder BI Brain Trust (#BBBT) révén egy nemrégiben meglehetősen vitatott eligazításon Jim Walker, a Hortonworks ezt a furcsa megjegyzést tette:

"Nem haladhatja meg a technikát, ha nem alkalmazza az elkövetőket!"

Újra eljön?

Nem úgy hangzik, mint amit Palpatine szenátor mondhatna egy Csillagok háborújában?

Palpatine szenátor: "Alkalmazza az elkövetőket!"

Közeli Minion: "De, de uram! Gondolj csak a gyerekekre!"

Azoknak a laikusoknak, akik csak próbálnak dolgokat tenni, az elkövetők olyan emberek, akik elkötelezettek egy adott nyílt forráskódú projekt mellett. Az Apache Alapítvány szigorú protokollokkal rendelkezik, amelyekkel projektjeik előrehaladnak, ami gyakran jó dolog.

Ennek ellenére Walker megjegyzése indokolja a vizsgálatot. Egy hegyes kérdés (a játszótéri napok felidézésének kockázatával) a következő lenne: Ez ígéret vagy fenyegetés? Azt mondja, hogy a Hortonworks elfoghatja a labdát és hazamegy?

Együttműködés vagy verseny?

Az érdekes, ha paradox helyzet ebben az esetben az, hogy állítólag a Hadoop csapat elkövetőinek többsége (összesen körülbelül 30) Hortonworks-ből és Cloudera-ból származik - akik versenytársak. Ez egy nagyon furcsa versenyverseny.

Szóval, mi az üzlet? Íme egy kitalált kitalálás: a Hadoop nagy hírnevének köszönhető egy okos tervnek, amelyet a Szilícium-völgy kockázatitőke-befektetői és mérnökei alkottak meg, akik lényegében megpróbálják fedezni a fogadásaikat az Oracle ellen.

Az általános elképzelés az, hogy a piacot olyan kód alapokkal vetik el, amelyet továbbfejleszthetnek és megerősíthetnek egy fejlett fejlesztők flottája, akik ideálisan idővel mindenféle adatkezelő eszközt létrehoznak, ideértve az adatbázis termékeket is. A kockázatitőke-befektetők befektethetnek és készpénzt kereshetnek egy nap. De vannak komoly kihívások a játékban.

Mint minden monolit vállalkozás, az Oracle gyakran sok kisebb játékos kereszteződésében található meg. És ki nem akarna csak egy szelet szándékos számú bevételt? Csak az utolsó negyedévben az Oracle ~ 9 milliárd dollárt könyvelt el. A kihívás és a nagyvörös megverése azonban két nagyon különböző valóság.

Ingyenes internetes közvetítés: Mi a Hadoop és hová megy? Csatlakozzon Eric Kavanagh, Robin Bloor és a Techopedia beszélgetéshez arról, hogy a Hadoop mennyiben különbözik nagyban a Linuxtól vagy a SOA-tól, és miért marad a jövője nagyrészt írhatatlan.

Csomagolási problémák

A Hadoop önmagában az, hogy ez semmilyen módon nem csomagolt megoldás. Inkább egy összetett modulgyűjtemény, amely lehetővé teszi a kiváló minőségű programozók számára, hogy masszív párhuzamos feldolgozási algoritmusokat használhassanak nagyon specifikus dolgok elvégzéséhez. De nincs képzeletbeli felhasználói felület, és a kézikönyvek brutálisak.

Ehhez a kihíváshoz adjuk hozzá ezt a kritikus akadályt: olyan üzletemberekre is szükségünk van, akiknek legalább általános ismerete van arról, mit tehet. Ezeknek a személyeknek képeseknek kell lenniük arra, hogy felvegyék a felhasználási ötleteket, majd kommunikálhassanak a fejlesztőkkel, akiknek ezt követően alkalmazásokat kell készíteniük, tesztelniük, végrehajtaniuk és támogatniuk kell.

Ezt a táncot irányítva Cloudera és Hortonworks keresnek sok pénzt. Probléma az, hogy az ezzel a módszerrel létrehozott megoldások többsége egyedi, és általában az operációs rendszerekre összpontosít, szemben az analitikus megoldásokkal. Fordítás? Az ilyen dolgok nem igazán alkalmasak a csomagolt szoftvertermékekre.

Csomagolás jövedelmezőség!

Ami visszavezet minket az Oracle-hez. Larry Ellison és a fiúk elkészítik szénakereskedelmi adatbázis-technológiájukat, hardverüket, szolgáltatásaikat és (várjatok meg …) csomagolt szoftvereiket. Cloudera ezt nyilvánvalóan kitalálta, következésképpen Impala-ra összpontosítva. De Hortonworks?

Úgy tűnik, hogy modelljük jobban utánozza a RedHat modelljét, akik milliárd dolláros üzletet építettek a Linux operációs rendszer tetejére. Nary, a vállalati szoftverek egyik legfontosabb szállítója nem ír Linux-ot, az operációs rendszert, amelyen keresztül az IBM a Microsoft felé vezette. De a Hadoop nem Linux, nem távolról sem.

Dr. Geoffrey Malafsky, az Egyesült Államok Haditengerészetének korábbi nanotechnológusa, most a Phasic Systems és a PSIKORS Intézet adattudósa, így disztillálja a Hadoop értékre vonatkozó javaslatát:

"A Hadoop nagyszerű kutatásokhoz, nagyon nagy tendencia-elemzéshez sztochasztikus eredményekhez, és valószínűleg nagyon olcsó, okos párhuzamos feldolgozása olyan dolgokhoz, mint amilyen volt volt feleségem: a kvantummechanikai hullámfüggvény kiszámítása a szilárdtest és a kémiai reakciók során. Ez a valódi tudomány támaszkodik szuperszámítógépeken, és kissé párhuzamos feldolgozásba került, de ez keményen változtatja meg a programozási megközelítést. Fiatal, okos, energikus végzős hallgatók fogják ezt megtenni. Gyanítom, hogy a kutatási ösztöndíjak ebből az irányból indulnak néhány nagy teljesítményű számítástechnika számára. alkalmazások.”

Észre fogja venni, hogy nem hangzik úgy, mint az adattárolás, üzleti intelligencia, adatintegráció vagy akár nagy adatok. Úgy hangzik, mint a szuperszámítás. És valamilyen érdekes ok miatt a nagy teljesítményű számítástechnika és az üzleti intelligencia világai soha nem ütköztek össze vagy összekapcsolódtak jelentősebb módon.

Hosszú út előre Hortonworks és Cloudera felé

És itt van az igazán rossz hír Hortonworksnek és esetleg Clouderanak. Azok a nagy gyártók, mint az IBM, az SAP, az Oracle és a Teradata - enyhén szólva, és idézve a Dire Straits-t: "Srácok nem hülye!" Három és több évvel ezelőtt mindannyian komoly Hadoop stratégiákat vezettek be.

E tervek középpontjában azok a dolgok állnak, amelyeket az üzleti felhasználók várnak: grafikus felhasználói felületek, drag-and-drop funkciók, modellező és felfedező eszközök, munkafolyamat, irányítás, biztonság; Röviden: az összes olyan bit és darab, amely felhasználhatóvá teszi a vállalati szoftvert. És természetesen ezeknek a nagy gyártóknak hatalmas telepítési alapjai vannak.

Biztos vagyok abban, hogy Cloudera és Hortonworks jó üzlet, de csak egy apró része annak, amit ezek a főbb szereplők kapnak évente. Matematikailag végezze el, hogy a kihívók mennyit számítanak fel ügyfeleiknek, összehasonlítva azzal, hogy valószínűleg mekkora a költségeik, és a kép nem annyira rózsás. Nyilvánvaló, hogy ez megegyezik a tanfolyamgal a korai szakaszban levő szoftverrel kapcsolatos aggodalmakkal, de még mindig …

A Hadoop jövője?

Tehát láthatnánk a klasszikus akvizíciós hullámot, mint amilyeneket még a szomorúságban elõttünk láttak, amikor az IBM megvásárolta a Cognos-t, az Oracle megkapta a Hyperion-ot és az SAP-t a BusinessObjects? Talán, de ezen a blokon az új gyerekek nem a Hadoop tulajdonosai; csak kölcsön vesznek. És olyan ígéretes, mint a YARN és a Tez, úgy tűnik, hogy a kiadási ciklusok elmaradnak attól, amit a nehéz ütőerők termelnek.

Másnap egy iparági bennfentes kommentálta, hogy az Apache politikája komoly szűk keresztmetszet lehet. Ez nem meglepően meglepő, főleg, ha figyelembe vesszük a részt vevő dollárokat - az innovátorok nagy motivációt mutatnak arra, hogy gazdagok legyenek. És észrevette-e valaki, hogy a Chrome miként látszik a közelmúltban a Firefox felett a funkcionalitás és a működőképesség szempontjából? Zárt forrású, bárki?

Az egy dolog biztos: ez a játék érdekes módon fog játszani. Igen, az emlősök (lásd: kiskereskedők) gyakran túllépik a dinoszauruszokat; de még mindig vannak aligátorok és krokodilok az egész világon; és ha váratlanul rábotlik, akkor felfedezheti, milyen élesek lehetnek ezek a fogak. Néhány krokk együtt elvehet egy vagy két elefántot.