Básico:¿que es un token?

un token es un carácter o cadena de caracteres que identifican un ente que queremos reconocer.


La tarea de Flex es dividir una cadena de entrada en unidades elementales, los denominados tokens.


así por ejemplo podemos reconocer un dígito como digito [0-9]