Milyen körülmények vezettek a nagy adatökoszisztéma növekedéséhez?

K:

Milyen körülmények vezettek a nagy adatökoszisztéma növekedéséhez?

Számos tényező hozzájárult a mai nagy adatökoszisztéma kialakulásához, de általános egyetértés van abban, hogy a nagy adatok a sokféle hardver és szoftver tervezés miatt jöttek létre, amelyek egyszerűen lehetővé tették a nagy adatok létezését.

A nagy adatok szokásos meghatározása a következő: Olyan adatsorok, amelyek elég nagyok és összetettek, hogy megkönnyítsék az iteratív vagy az egyszerű kezelést. A nagy adatkészleteket gyakran olyan adatkészletekként azonosítják, amelyek nem férnek el az egyszerű adatbázis-hálózatban, mivel elemzésük túl sok munkát igényel az adatokat kezelő szerverek részéről.

Tekintettel erre, a nagy adatok létrehozásának nagy része az a gondolat, amelyet Moore-törvényként ismerünk, vagy a tranzisztorok megkétszereződése egy áramkörön kétévente, egyre kisebb hardver- és adattároló eszközök (valamint erősebb mikroprocesszorok) létrehozása révén. . A Moore törvényével összefüggésben, és valószínűleg emiatt, a hozzáférhető szoftveres rendszerek számítási képessége folyamatosan nőtt, egészen addig a pontig, amikor még a személyi számítógépek is sokkal nagyobb adatmennyiséget tudtak kezelni, és az üzleti és az élenjáró rendszerek képesek voltak kezelni az adatméreteket csak néhány évvel korábban elképzelhetetlen. A személyes rendszerek kilobájtból megabájtba, majd gigabájtba költöztek, a fogyasztók számára átlátható módon. Az Vanguard rendszerek átmentek a gigabájtból a terabájtba és a petabájtba, és olyan nagyságrendre, mint a zetabájt, oly módon, hogy az átlagpolgár számára sokkal kevésbé legyen átlátható.

Egy másik előrelépés, amely nagy adatot tartalmazott, az adathalmazok kezelőinek megváltoztatása volt. A hagyományos relációs adatbázis-tervezésen keresztüli lineáris feldolgozás helyett a kezelők olyan eszközöket kezdtek használni, mint az Apache Hadoop és a kapcsolódó hardverkezelő elemek, hogy megszüntessék az adatfolyamatok szűk keresztmetszeteit.

Az eredmény a nagy adatvilág, amelyben élünk, ahol hatalmas adatkészleteket tárolnak és karbantartanak az adatközpontokban, és egyre több technológiával hozzáférnek széles körű felhasználáshoz. A kereskedelemtől az ökológiáig, a köztervektől az orvostudományig a nagy adatok egyre hozzáférhetőbbé válnak. Eközben a kormányhivatalok és más nagyobb szervezetek továbbra is a nagy adatméretek határait tolják fel, és még fejlettebb megoldásokat vezetnek be.