Tartalomjegyzék:
Meghatározás - Mit jelent a MapReduce?
A MapReduce egy olyan programozási modell, amelyet a Google vezetett be nagy adatkészletek feldolgozására és generálására a számítógépcsoportokon.
A Google először megfogalmazta a keretet a Google weblapok indexelésének kiszolgálására, és az új keret váltotta fel a korábbi indexálási algoritmusokat. A kezdõ fejlesztõk számára a MapReduce keretrendszer hasznosnak bizonyul, mivel a könyvtári rutinok felhasználhatók párhuzamos programok létrehozására anélkül, hogy aggódnának az infrafürt kommunikáció, a feladatfigyelés vagy a hibakezelési folyamatok miatt.
A MapReduce egy haszongépjármű-gépek nagy csoportján fut, és nagyon skálázható. A megvalósítás többféle formátumát számos programozási nyelv biztosítja, például Java, C # és C ++.
A Techopedia magyarázza a MapReduce-t
A MapReduce keret két részből áll:
- A "Térkép" elnevezésű funkció lehetővé teszi az elosztott fürt különböző pontjai számára a munka elosztását
- A "Reduce" elnevezésű funkció célja, hogy a klaszterek eredményeinek végső formáját egyetlen kimenetre redukálja
A MapReduce keretrendszer fő előnye a hibatűrés, ahol a fürt minden csomópontjáról időszakos jelentések várhatók a munka befejezésekor.
A feladat átvitele egyik csomópontról a másikra. Ha a főcsomópont észreveszi, hogy egy csomópont a vártnál hosszabb ideig néma volt, akkor a fő csomópont elvégzi a befagyasztott / késleltetett feladathoz való újra-hozzárendelési folyamatot.
A MapReduce keretrendszert a funkcionális programozásban használt "Térkép" és "Reduce" funkciók ihlette. A számítógépes feldolgozás a fájlrendszerben vagy az adatbázisban tárolt adatokon történik, amelyek egy sor bemeneti kulcs értéket vesznek fel, és a kimeneti kulcs értékek halmazát állítják elő.
Minden nap számos MapReduce program és MapReduce feladat végrehajtódik a Google klaszterein. A programokat automatikusan párhuzamosítják és végrehajtják az árucikkek nagy klaszterén. A futásidejű rendszer a bemeneti adatok particionálásával, a program végrehajtásának ütemezésével állítja össze a gépeket, a gépi hibakezeléssel és a szükséges gépeken belüli kommunikáció kezelésével. A párhuzamos és elosztott rendszerekkel kapcsolatos tapasztalatok nélküli programozók könnyen használhatják a nagy elosztott rendszerek erőforrásait.
A MapReduce elosztott grep-ben, elosztott rendezésben, web-link-gráf megfordításban, webes hozzáférési napló statisztikában, dokumentum-csoportosításban, gépi tanulásban és statisztikai gépi fordításban használható.
