A nagy adatok fejlődése

A 2000-es évek elején egyértelmű volt, hogy az adatok terén óriási szükség van innovációra. Az a korlátozás, hogy mit tehetnek a cégek az adatokkal, csalódott vezetőkkel és óriási mértékben csökkentette a hatékonyságot. Sok vállalat nagy mennyiségű információt tárolt, de egyszerűen képtelenek voltak kezelni, elemezni vagy manipulálni azt az előnyeik érdekében. Ez a növekvő nyomás adta helyet a nagy adathatár felé.

2003-ban a Google létrehozta a MapReduce-t, egy olyan alkalmazást, amely lehetővé tette a cég számára, hogy rövid idő alatt feldolgozza és elemezze a több ezer szerverre kiterjedő keresési lekérdezéseivel kapcsolatos információkat. A skálázható és az alkalmazkodhatóság szempontjából a program lehetővé tette a Google számára, hogy több ezer adatfeladatot hajtson végre mindössze percek alatt, ami javította a termelékenységet és újradefiniálta az észlelt határokat az adatokkal kapcsolatban. Majdnem 10 évvel később a nagy adat az informatika központi tévévé vált. Mélyreható hatóköre és képessége alapvetően megváltoztatta a munkahelyi adatkezelést. De mi ösztönözte ezt a fejlődést, és hogy pontosan hogyan fogják a nagy adatok befolyásolni a jövőt? Arra gondoltuk, hogy soha nem kérdezel. (A nagy adatokról szóló háttérolvasáshoz olvassa el a Big Data: Hogyan rögzítik, összecsukják és hogyan használják üzleti döntéseket.)

Válaszok keresése a Big Data kérdésekre

A MapReduce szépsége révén egyszerűsítették a rendkívül összetett feladatokat. A kommunikáció gépeken keresztül irányítható, a rendszerhibákat orvosolhatják, és a bemeneti adatok automatikusan megszervezhetők. Ezt a folyamatot olyan személyek felügyelhetik, akiknek már nincs szükségük rendkívül műszaki ismeretekre. Azáltal, hogy az adatfeldolgozást nemcsak lehetővé, hanem megközelíthetővé is tette, a Google inspirálta az adatkezelés kulturális változását. Nem sokkal ezelõtt a nagy cégek ezrei használták a MapReduce-t adataikhoz.

De volt egy probléma: a MapReduce egyszerűen egy programozási modell volt. Noha megkönnyítette az adatfeldolgozás alapjait, önmagában nem volt a válasz a meglévő adathiányokra; ez csak egy nagyon szükséges lépés volt a helyes irányba. A vállalatoknak továbbra is szükségük volt egy olyan rendszerre, amely képes kielégíteni egyedi adatigényeiket, és meghaladja az adatkezelés puszta alapjait. Röviden: a fejlődéshez szükséges technológia.

Lépjen be a Hadoopba

Írja be a Hadoop, egy nyílt forráskódú szoftver, amelyet több programozó készített, köztük a Doug Cutting-t is. Ahol a MapReduce alapvető és széles volt, a Hadoop frissítő jellegzetességet nyújtott. A vállalatok megtervezhetik saját testreszabott alkalmazásukat, amelyek az adatigények kielégítésére oly módon vonatkoztak, mint amit más szoftver nem tudna, és általában kompatibilis volt más fájlrendszerekkel. A tehetséges programozókkal rendelkező cég olyan fájlrendszert tervezhet, amely egyedi feladatokat érhet el olyan adatokkal, amelyek korábban elérhetetlennek tűntek. Valószínűleg a legjobb az egészben az volt, hogy a fejlesztők megosztják egymással az alkalmazásokat és programokat, amelyeket meg lehet fejleszteni és tökéletesíteni lehet.

Egy ilyen fontos erőforrás demokratizálásával Hadoop trendgé vált. Végül is sok nagyvállalat, különösen a keresőmotor-cégek érezte, hogy évtizedek óta szükségük van rá! Nem sokkal azelőtt, hogy a keresőmotor-óriások, mint például a Yahoo, bejelentették a nagy Hadoop alkalmazások megvalósítását, amelyek az internetes keresési lekérdezésekben felhasznált adatokat generálják. Hullámként úgy tűnt, hogy számos kiemelkedő vállalat bejelentette ennek a technológiának a bevezetését masszív adatbázisaihoz, köztük a Facebook, az Amazon, a Fox, az Apple, az eBay és a FourSquare számára. A Hadoop beállította az adatfeldolgozás új szabványát.

Nagy adatok, nagy problémák

Míg az adattechnika fejlődése átalakította a vállalatok adatkezelési módját, sok vezető még mindig úgy látja, hogy nem rendelkezik a szükséges feladatok teljes skálájával. Az Oracle 2012 júliusában kiadta a több mint 300 C szintű vezetõ felmérését, amelyből kiderült, hogy míg a vállalatok 36 százaléka támaszkodik informatikai adatok kezelésére és elemzésére, 29 százalékuk úgy érzi, hogy rendszereik nem rendelkeznek megfelelõ képességekkel ahhoz, hogy megfeleljenek vállalataiknak. igények. A tanulmány valószínűleg legszembetűnőbb megállapítása az volt, hogy a válaszadók 93 százaléka úgy gondolta, hogy vállalkozásuk bevételének akár 14 százalékát veszíti el, mert nem tudja felhasználni az összegyűjtött adatokat. Ezt a bevételt jobb termékek előállítására és több munkavállaló felvételére lehet fordítani. Abban az időben, amikor a vállalatok küzdenek a jövedelmezőség megőrzésén, szükség van az adatok javítására, hogy a cégek nyereségesebbé váljanak. A felmérés rámutat arra, hogy annak ellenére, akik úgy vélik, hogy a nagy adatoknak a kereskedelemre gyakorolt ​​befolyása már elmúlt, a növekedés és a haladás lehetőségeit még nem sikerült teljes mértékben kiaknázni.

Mit jelent a jövő a nagy adatok számára?

A jó hír az, hogy a Hadoop és a MapReduce számos más adatkezelő eszközt inspirált. Sok új cég kiterjedt adatplatformokat hoz létre, amelyek a Hadoop rendszeren futnak, de széles választékot kínálnak az analitikai funkciókkal és könnyebb rendszerintegrációval. Úgy tűnik, hogy a vállalatok nagy erőforrásokat fektettek be az adatokkal kapcsolatos aggályok kezelésére, és ezt bizonyítják az adatcégek pénzügyi sikere. 2010-ben az adatszolgáltatók becslések szerint 3, 2 milliárd dollár kiskereskedelmi forgalmat realizáltak. Sok szakértő becslése szerint ez a szám csak 2015-ig 17 milliárd dollárra növekszik. Ezt a tényt nem veszítették el a legnagyobb technológiai társaságok egyikének sem. Mind az IBM, mind az Oracle milliókra költött az elmúlt néhány hónapban adatcégek megszerzésére. Sok más vállalkozás hasonló lépéseket fog tenni az elkövetkező években, mivel továbbra is versenyképes piaci részesedést kívánnak elérni.

A nagy adathatár

Az összegyűjtött adatok mennyisége továbbra is exponenciálisan növekszik, ami néhányan aggódik, mások pedig izgatottak. A fejjel feljebb esik, hogy az emberek továbbra is termelékenyebbé és alkalmazkodóbbá válnak, amikor az adatok elemzésével új dolgokat tanulunk a világunkról. A hátránya, hogy olyan hatalmas mennyiségű adat áll rendelkezésre, hogy sokan attól tartanak, hogy képtelenek vagyunk mindent megfelelően tárolni, még kevésbé megfelelő módon kezelni, hogy mindenki felhasználhassa, akinek szüksége van rá.

Ugyanakkor a nagy adatok fejlődése példátlan lehetőségeket kínálhat az adatokkal kapcsolatos sürgős kérdések megoldására. Például a szakértők azt sugallták, hogy ha a nagy adatszolgáltatást megfelelően hajtják végre, hangsúlyozva a hatékonyságot és a minőséget, akkor évente mintegy 300 milliárd dollárt takaríthat meg csak az egészségügyi ellátási kiadásokban; a kiskereskedők javíthatnák működési haszonkulcsukat, az állami szektor jobb szolgáltatásokat tudna nyújtani, és a nagyvállalatok milliárdot takarítanának meg. Tehát úgy tűnik, hogy adatkérdéseink megoldására nem csak a vállalati tanácsteremben, hanem mindenhol szükség van. Ami jó dolgokat mond a nagy adatok jövőjéről - és talán a miénkről is.