Funciones del analizador léxico
Descomponer el código fuente en unidades léxicas (tokens)
- Palabras reservadas: if while break
- Operadores: + <= :=
- Constantes: 3.14 1024 ‘\n’
- Símbolos de puntuación: ( ) , ;
- Identificadores: i, alfa, beta
- Eliminar comentarios y separadores
- Insertar identificadores en la tabla de símbolos