Tartalomjegyzék:
Meghatározás - Mit jelent a Lexical Analysis?
A lexikális elemzés olyan fogalom, amelyet a számítógépes tudományhoz nagyon hasonló módon alkalmaznak, mint a nyelvészetre. Lényegében a lexikai elemzés azt jelenti, hogy a betűk vagy hangok áramát csoportosítják egy egységcsoportba, amely értelmes szintaxist képvisel. A nyelvészetben elemzésnek nevezik, a számítástechnikában pedig elemzést vagy tokenizálást.
A Techopedia magyarázza a Lexical Analysis-t
A számítógépes tudomány lexikális elemzésének gondolata az, hogy a lexikális elemzés lexémekké bomlik, ahol egy token jelentése a jelentés alapvető egységét. A tokeneket úgy össze vannak kötve, hogy a nyelvfordítónak vissza kell térnie, és el kell választania őket a helyes számítási utasítások végrehajtása érdekében. Alapvetően mind az emberek, mind a számítógépek lexikai elemzést végeznek, de a számítógépek másként, és sokkal technikaibb módon is. A számítógépek lexikális elemzésének nem kell átláthatónak lennie az emberek számára - azt csak be kell programozni a számítási rendszerbe. A számítógépes tudományban lexikai elemzést végző programokat gyakran lexernek, tokenizátornak vagy szkennernek nevezik.
