K:
Miért gyakran nehéz a mesterségesen visszatérő ideghálókat kiképzni?
A:A mesterségesen visszatérő ideghálózatok kiképzésének nehézsége a komplexitásukkal függ össze.
Az egyik legegyszerűbb módszer annak magyarázatára, hogy miért nehéz a visszatérő ideghálózatokat kiképezni, az, hogy nem visszatérő ideghálózatok.
Az előremenő neurális hálózatokban a jelek csak egyirányban mozognak. A jel egy bemeneti rétegről különféle rejtett rétegekre mozog, és továbblép a rendszer kimeneti rétegére.
Ezzel szemben a visszatérő ideghálózatok és más típusú ideghálózatok bonyolultabb jelmozgással rendelkeznek. „Visszacsatolásos” hálózatoknak tekintve a visszatérő ideghálózatoknak előre és hátra egyaránt lehet jeleik, és tartalmazhatnak különböző „hurkokat” a hálózatban, ahol a számok vagy értékek visszakerülnek a hálózatba. A szakértők ezt a visszatérő ideghálózatok azon aspektusával társítják, amely a memóriájukhoz kapcsolódik.
Ezen felül létezik egy másik típusú bonyolultság, amely befolyásolja az ismétlődő ideghálózatokat. Ennek egyik kiváló példája a természetes nyelvfeldolgozás.
A kifinomult természetes nyelvfeldolgozás során a neurális hálózatnak képesnek kell lennie arra, hogy emlékezzen a dolgokra. A kontextusban is be kell vonnia a bemeneteket. Tegyük fel, hogy van egy program, amely egy szót elemezni akar vagy megjósolni szeretne más szavak mondatában. Lehet például egy rögzített ötszó hosszúság a rendszer számára, amelyet ki kell értékelni. Ez azt jelenti, hogy az ideghálózatnak bemeneteket kell tartalmaznia ezekhez a szavakhoz, és képesnek kell lennie arra, hogy „emlékezzen” vagy edzjen e szavak kontextusára. Ezen és más hasonló okok miatt a visszatérő ideghálózatok általában tartalmazzák ezeket a kis rejtett hurkokat és visszajelzéseket a rendszerben.
A szakértők sajnálják, hogy ezek a komplikációk megnehezítik a hálózatok kiképzését. Az egyik leggyakoribb módszer ennek magyarázatára a robbanó és eltűnő gradiens probléma idézése. Alapvetõen a hálózat súlya akár robbant vagy eltûnik az értékeknél, nagy számú áthaladással.
A neurális hálózat úttörője, Geoff Hinton azzal magyarázza ezt a jelenséget az interneten, hogy a visszafelé irányuló lineáris áthaladás esetén a kisebb súlyok exponenciálisan csökkennek és a nagyobb súlyok felrobbannak.
Ez a probléma - folytatja - hosszabb szekvenciákkal és sokkal több idő lépéssel súlyosbodik, amikor a jelek növekednek vagy romlanak. A súlyos inicializálás segíthet, de ezeket a kihívásokat beépítik a visszatérő ideghálózati modellbe. Mindig ez a kérdés kapcsolódik a saját tervezésükhöz és építkezésükhöz. Lényegében a neurális hálózatok néhány bonyolultabb típusa valójában meghiúsítja képességünket, hogy könnyen kezeljük azokat. Létrehozhatunk gyakorlatilag végtelen mennyiségű bonyolultságot, de gyakran látjuk, hogy növekednek a kiszámíthatóság és a skálázhatóság kihívásai.
