Analyse lexicale avec Lex ou Flex^[3]

Sommaire du document

Structure du fichier Lex

Le fichier Lex peut se décomposer en trois parties, séparées chacune par une ligne qui ne comporte que deux signes pourcent (%%).

%{
//declarations en C
%}
//declarations Lex
%%
//regles de traduction
%%
//code C additionnel

Pour le code additionnel, ainsi que pour les méthodes utilisées dans les règles de traductions, nous utiliserons le langage C.

Exemple de fichier Lex

%{
#include <stdio.h>
int lineNbr=0;
%}
 
%%
"\n"  {++lineNbr;}
.     {}
 
%%
int main()
{
  yylex();
  printf("%d lines found\n",lineNbr);
  return 0;
}

Ce fichier Lex nous permet de compter le nombre de lignes rencontrées dans le fichier analysé.
Il capture l'expression \n et associe comme action l'incrémentation^[4] de notre compteur lineNbr.
Pour tout autre caractère^[5] nous n'associons aucune action.

Première partie du fichier Lex : déclarations

%{...%}

Nous retrouverons ici les déclarations, dans notre cas en langage C, entourées par %{ et %}.
Tout ce que nous écrirons entre ces accolades sera placé dans le fichier lex.yy.c.

Dans notre cas, comme nous utiliserons Lex avec Yacc, nous définirons nos constantes dans le fichier Yacc, mais nous pouvons les définir ici.

%option ...

Expressions rationnelles^[6]

Nous pouvons définir dans cette première partie du fichier Lex des notations raccourcies pour des expressions rationnelles que nous utiliserons par la suite, entourées par des accolades.

%s ...

Deuxième partie du fichier Lex : productions

Nous retrouverons ici les les règles de traduction de la grammaire, chaque règle étant composée d'une production suivie le plus souvent par l'action sémantique qui correspond.

Troisième partie du fichier Lex : code

Si nous ne spécifions pas une fonction main, celle par défaut de la bibliothèque Lex sera utilisée. La fonction main par défaut de la bibliothèque Lex se contente de boucler sur un appel de la fonction yylex jusqu'à la fin du fichier, et dans ce cas elle renvoie la valeur 0.

Commandes Lex à exécuter

Voici un exemple d'utilisation des commandes Lex ou Flex.

steph@astate:∼$ cd /mnt/steph_docs/FUNDP/lsd010
steph@astate:/mnt/steph_docs/FUNDP/lsd010$ flex *l
steph@astate:/mnt/steph_docs/FUNDP/lsd010$

Reprenons notre exemple (fichier test.l)... Une fois que nous avons exécuté la commande flex test.l, nous avons un nouveau fichier lex.yy.c qui comporte le code compilé par Lex.

Lex inclut à ce moment le fichier y.tab.c qui a été généré par Yacc, dans lequel nous pouvons retrouver les déclarations des différents jetons sous la forme de constantes (il est ensuite nettement plus facile de manipuler ces constantes sous la forme d'entiers au lieu du jeton lui-même).

Lex génère ensuite un analyseur lexical dans un fichier lex.yy.c qui inclut entre-autres la fonction yylex.

Pour un simple exemple comme celui-ci, Lex nous génère un fichier de 1755 lignes de codes C.

Voici quelques extraits de ce fichier, qui montrent certaines correspondances avec ce que nous avions défini dans le fichier test.l :

// ...debut du fichier
// ligne 445
char *yytext;
#line 1 "test.l"
#line 2 "test.l"
#include <stdio.h>
int lineNbr=0;
#line 461 "lex.yy.c"
// ...
// ligne 733
/* rule 1 can match eol */
YY_RULE_SETUP
#line 7 "test.l"
{++lineNbr;}
	YY_BREAK
// ...
// ligne 1746
#line 10 "test.l"
 
 
int main()
{
  yylex();
  printf("%d lines found\n",lineNbr);
  return 0;
}

Nous pouvons remarquer la déclaration que nous avions fait de lineNbr, son incrémentation quand un saut de ligne est rencontré dans le fichier, et la fonction main.

Vous pouvez consulter le code source de l'exemple du compilateur LSD⁰10 pour un fichier lex.yy.c complet à cette adresse : http://www.gaudry.be/langages-lsd10-source-rf-project/source/lex.yy.c.html.

Directives spéciales de Lex

• ECHO permet de copier yytext dans la sortie de l'analyseur.
• BEGIN suivi d'un nom, place au démarrage l'analyseur dans l'état souhaité.
• REJECT force l'analyseur à évaluer la "deuxième meilleur règle".
• yymore() force l'analyseur à concaténer la valeur actuelle de yytext à la prochaine valeur que prendra yytext.< /li>
• unput(c) remplace le caractère c sur le flux d'entrée.
• YY_FLUSH_BUFFER vide le tampon interne de l'analyseur.
• yyterminate() normalement appelée lorsque EOF est rencontré. Cette directive arrête l'analyseur et renvoie la valeur 0, comme si tout le texte avait été traité.

Variables Lex

• char *yytext élément lexical courant.
• int yyleng taille de l'élément lexicat courant.
• FILE *yyin fichier à partir duquel Lex lit.
• FILE *yyout fichier de sortie (dans lequel Lex affiche les ECHO).
• int YY_START état courant de démarrage de l'analyseur.

Notes

1. ↑ Gnu's Not Unix : correspond à « GNU n'est pas UNIX” en français
   
   
2. ↑ GNU : “Gnu's Not Unix” (en français, « GNU n'est pas UNIX ») Groupement de logiciels libres. Il s'agit d'un acronyme récursif, car nous retrouvons l'acronyme dans sa propre définition.
   
   
3. ↑ Lex et Flex : Nous emploierons le terme Lex pour désigner l'outil d'analyse lexicale, mais il peut s'agir de Flex, son équivalant GNU
   
   
4. ↑ Incrémentation : Opération qui consiste à ajouter une valeur (de type entier) à une variable, généralement un compteur.
   
   
5. ↑ Expression "." : Le point dans l'expression de notre fichier Lex correspond à "n'importe quel caractère".
   
   
6. ↑ Expressions rationnelles : Le terme « expressions régulières » est souvent employé comme traduction textuelle de l'anglais “regular expressions”, mais nous devrions bien employer « expressions rationnelles ».
   
   
7. ↑ LSD⁰10 : Langage Simple et Didactique Il existe une un certain nombre d'interprétations de l'acronyme LSD (Langage Symbolique Didactique, Langage Sans Difficulté, Langage Simple et Didactique). LSD⁰10 est la version 2010 de la suite LSD80, LSD_02, LSD⁰3, LSD⁰4, LSD⁰5, LSD⁰6, LSD⁰7, LSD⁰8, et LSD⁰9.
   
   

Références

1. IHDCB332 - Théorie des langages : Syntaxe et sémantique : PY Schobbens, Syntaxe et sémantique (Janvier 2010)
2. Compilateurs : Dick Grune, Henry E. Bal, Ceriel J.H. Jacobs, Koen G. Langendoen, Cours et exercices corrigés
3. Compilateurs : A. Aho, M. Lam, R. Sethi, J. Ulman, Principes; techniques et outils

Ces références et liens indiquent des documents consultés lors de la rédaction de cette page, ou qui peuvent apporter un complément d'information, mais les auteurs de ces sources ne peuvent être tenus responsables du contenu de cette page.
L'auteur de ce site est seul responsable de la manière dont sont présentés ici les différents concepts, et des libertés qui sont prises avec les ouvrages de référence. N'oubliez pas que vous devez croiser les informations de sources multiples afin de diminuer les risques d'erreurs.

Structure du document