A magánéletünkről szóló óriási NSA adatközpontok iránti óriási adatközpontokkal kapcsolatos zümmögés miatt van egy dolog, amiről nem sokat beszéltek, legalábbis a CNN-en. Ez magában foglal egy olyan mérnöki problémát, amely felmerült a felhőtechnológiával, a nagy adatokkal és a lenyűgöző fizikai adattároló központokkal, amelyeket most építenek az egész világon. Tehát mi az? Nos, függetlenül attól, hogy ki adminisztrálja az ezeket a létesítményeket üzemeltető mammut IT rendszereket, szükség van olyan szoftver rendszerekre, amelyek elősegítik az összes adat gyors bejutását és elkerülését a folyamatból. Ez a szükséglet képviseli az egyik legérdekesebb informatikai kérdést vagy rejtvényt, amellyel a szakemberek szembesülnek.
Mint sok szakértő rámutatott, az adatfeldolgozás mai szélsőséges igénye messze túlmutat a hagyományos megközelítéseken. Egyszerűen fogalmazva: az egyszerű adatbázis-struktúrák és eszközök, például az SQL lekérdezési felület használata nem biztosítja elegendő feldolgozási teljesítményt vagy funkcionalitást az elmúlt években kifejlesztett védett rendszerekhez hasonlóan. A mai nagy technológiai vállalatok archívumához rendkívül skálázható technológiára van szükség. Olyan adatfeldolgozó eszközökre van szükségük, amelyek be- és kimenetet eredményezhetnek sokkal nagyobb mennyiségben, mint amit egyetlen szerver megkönnyíthet. Szüksége van olyan megoldásokra, amelyek gyorsan felgyorsíthatók a növekedéshez, olyan megoldásokra, amelyek tartalmazzák a komplex mesterséges intelligencia szintjét, olyan megoldásokra, amelyeket egy informatikai részleg könnyen kezelhet.
A kérdés az, hogy a vállalatok és kormányzati ügynökségek hogyan hódítják meg a hagyományos adatkezelési útvonal korlátait? Itt megvizsgálunk egy nagyon ígéretes lehetőséget: Szoftver, amely nagy adatokat kezel és több adatközpont adminisztrációját.