Descripción de los tokens
Identificador
- Un identificador es una secuencia de letras y dígitos de los cuales el primer carácter ha de ser una letra. El símbolo ‘_’ se considera una letra más. Las letras mayúsculas y minúsculas se consideran diferentes. Si los caracteres de la entrada han sido convertidos en tokens hasta un determinado carácter, para generar el siguiente token habrá que considerar la cadena más larga posible de caracteres que pudiera constituir un token. Los espacios en blanco, tabuladores, retornos de carro y comentarios se ignorarán salvo por el hecho de que sirven para separar tokens. Se necesitan espacios en blanco para separar elementos léxicos adyacentes: identificadores, palabras reservadas y constantes.