Análisis léxico

En informática, el análisis léxico, la lexificación o la tokenización es el proceso de convertir una secuencia de caracteres (como en un programa informático o una página web) en una secuencia de tokens (cadenas con un significado asignado y, por tanto, identificado). Un programa que realiza el análisis léxico puede denominarse léxico, tokenizador o escáner, … Leer más