Analyse lexicale avec Lex ou Flex3

Structure du fichier Lex

Le fichier Lex peut se décomposer en trois parties, séparées chacune par une ligne qui ne comporte que deux signes pourcent (%%).

  1. %{
  2. //declarations en C
  3. %}
  4. //declarations Lex
  5. %%
  6. //regles de traduction
  7. %%
  8. //code C additionnel

Pour le code additionnel, ainsi que pour les méthodes utilisées dans les règles de traductions, nous utiliserons le langage C.

Inhoudsopgave Haut

Exemple de fichier Lex

  1. %{
  2. #include <stdio.h>
  3. int lineNbr=0;
  4. %}
  5.  
  6. %%
  7. "\n" {++lineNbr;}
  8. . {}
  9.  
  10. %%
  11. int main()
  12. {
  13. yylex();
  14. printf("%d lines found\n",lineNbr);
  15. return 0;
  16. }

Ce fichier Lex nous permet de compter le nombre de lignes rencontrées dans le fichier analysé.
Il capture l'expression \n et associe comme action l'incrémentation4 de notre compteur lineNbr.
Pour tout autre caractère5 nous n'associons aucune action.

Inhoudsopgave Haut

Première partie du fichier Lex : déclarations

%{...%}

Nous retrouverons ici les déclarations, dans notre cas en langage C, entourées par %{ et %}.
Tout ce que nous écrirons entre ces accolades sera placé dans le fichier lex.yy.c.

Dans notre cas, comme nous utiliserons Lex avec Yacc, nous définirons nos constantes dans le fichier Yacc, mais nous pouvons les définir ici.

%option ...

Expressions rationnelles6

Nous pouvons définir dans cette première partie du fichier Lex des notations raccourcies pour des expressions rationnelles que nous utiliserons par la suite, entourées par des accolades.

%s ...

Inhoudsopgave Haut

Deuxième partie du fichier Lex : productions

Nous retrouverons ici les les règles de traduction de la grammaire, chaque règle étant composée d'une production suivie le plus souvent par l'action sémantique qui correspond.

Inhoudsopgave Haut

Troisième partie du fichier Lex : code

Si nous ne spécifions pas une fonction main, celle par défaut de la bibliothèque Lex sera utilisée. La fonction main par défaut de la bibliothèque Lex se contente de boucler sur un appel de la fonction yylex jusqu'à la fin du fichier, et dans ce cas elle renvoie la valeur 0.

Inhoudsopgave Haut

Commandes Lex à exécuter

Voici un exemple d'utilisation des commandes Lex ou Flex.

Convensions

Les commandes introduites dans le terminal sont affichées de cette manière, et les réponses du terminal de cette manière.

steph@astate:∼$ cd /mnt/steph_docs/FUNDP/lsd010
steph@astate:/mnt/steph_docs/FUNDP/lsd010$ flex *l
steph@astate:/mnt/steph_docs/FUNDP/lsd010$

Reprenons notre exemple (fichier test.l)... Une fois que nous avons exécuté la commande flex test.l, nous avons un nouveau fichier lex.yy.c qui comporte le code compilé par Lex.

Lex inclut à ce moment le fichier y.tab.c qui a été généré par Yacc, dans lequel nous pouvons retrouver les déclarations des différents jetons sous la forme de constantes (il est ensuite nettement plus facile de manipuler ces constantes sous la forme d'entiers au lieu du jeton lui-même).

Lex génère ensuite un analyseur lexical dans un fichier lex.yy.c qui inclut entre-autres la fonction yylex.

Pour un simple exemple comme celui-ci, Lex nous génère un fichier de 1755 lignes de codes C.

Voici quelques extraits de ce fichier, qui montrent certaines correspondances avec ce que nous avions défini dans le fichier test.l :

  1. // ...debut du fichier
  2. // ligne 445
  3. char *yytext;
  4. #line 1 "test.l"
  5. #line 2 "test.l"
  6. #include <stdio.h>
  7. int lineNbr=0;
  8. #line 461 "lex.yy.c"
  9. // ...
  10. // ligne 733
  11. /* rule 1 can match eol */
  12. YY_RULE_SETUP
  13. #line 7 "test.l"
  14. {++lineNbr;}
  15. YY_BREAK
  16. // ...
  17. // ligne 1746
  18. #line 10 "test.l"
  19.  
  20.  
  21. int main()
  22. {
  23. yylex();
  24. printf("%d lines found\n",lineNbr);
  25. return 0;
  26. }

Nous pouvons remarquer la déclaration que nous avions fait de lineNbr, son incrémentation quand un saut de ligne est rencontré dans le fichier, et la fonction main.

Vous pouvez consulter le code source de l'exemple du compilateur LSD010 pour un fichier lex.yy.c complet à cette adresse : https://www.gaudry.be/nl/langages-lsd10-source-rf-project/source/lex.yy.c.html.

Inhoudsopgave Haut

Directives spéciales de Lex

  • ECHO permet de copier yytext dans la sortie de l'analyseur.
  • BEGIN suivi d'un nom, place au démarrage l'analyseur dans l'état souhaité.
  • REJECT force l'analyseur à évaluer la "deuxième meilleur règle".
  • yymore() force l'analyseur à concaténer la valeur actuelle de yytext à la prochaine valeur que prendra yytext.
  • unput(c) remplace le caractère c sur le flux d'entrée.
  • YY_FLUSH_BUFFER vide le tampon interne de l'analyseur.
  • yyterminate() normalement appelée lorsque EOF est rencontré. Cette directive arrête l'analyseur et renvoie la valeur 0, comme si tout le texte avait été traité.

Inhoudsopgave Haut

Variables Lex

  • char *yytext élément lexical courant.
  • int yyleng taille de l'élément lexicat courant.
  • FILE *yyin fichier à partir duquel Lex lit.
  • FILE *yyout fichier de sortie (dans lequel Lex affiche les ECHO).
  • int YY_START état courant de démarrage de l'analyseur.

Nederlandse vertaling

U hebt gevraagd om deze site in het Nederlands te bezoeken. Voor nu wordt alleen de interface vertaald, maar nog niet alle inhoud.

Als je me wilt helpen met vertalingen, is je bijdrage welkom. Het enige dat u hoeft te doen, is u op de site registreren en mij een bericht sturen waarin u wordt gevraagd om u toe te voegen aan de groep vertalers, zodat u de gewenste pagina's kunt vertalen. Een link onderaan elke vertaalde pagina geeft aan dat u de vertaler bent en heeft een link naar uw profiel.

Bij voorbaat dank.

Document heeft de 26/02/2010 gemaakt, de laatste keer de 28/10/2018 gewijzigd
Bron van het afgedrukte document:https://www.gaudry.be/nl/langages-flex.html

De infobrol is een persoonlijke site waarvan de inhoud uitsluitend mijn verantwoordelijkheid is. De tekst is beschikbaar onder CreativeCommons-licentie (BY-NC-SA). Meer info op de gebruiksvoorwaarden en de auteur.

Notes

  1.  Gnu's Not Unix : komt overeen met « GNU n'est pas UNIX » en français

  2.  GNU : “Gnu's Not Unix” (en français, « GNU n'est pas UNIX ») Groupement de logiciels libres. Il s'agit d'un acronyme récursif, car nous retrouvons l'acronyme dans sa propre définition.

  3.  Lex et Flex : Nous emploierons le terme Lex pour désigner l'outil d'analyse lexicale, mais il peut s'agir de Flex, son équivalant GNU

  4.  Incrémentation : Opération qui consiste à ajouter une valeur (de type entier) à une variable, généralement un compteur.

  5.  Expression "." : Le point dans l'expression de notre fichier Lex correspond à "n'importe quel caractère".

  6.  Expressions rationnelles : Le terme « expressions régulières » est souvent employé comme traduction textuelle de l'anglais “regular expressions”, mais nous devrions bien employer « expressions rationnelles ».

  7.  LSD010 : Langage Simple et Didactique Il existe une un certain nombre d'interprétations de l'acronyme LSD (Langage Symbolique Didactique, Langage Sans Difficulté, Langage Simple et Didactique). LSD010 est la version 2010 de la suite LSD80, LSD_02, LSD03, LSD04, LSD05, LSD06, LSD07, LSD08, et LSD09.

Inhoudsopgave Haut

Referenties

  1. boek Taal van het document:fr IHDCB332 - Théorie des langages : Syntaxe et sémantique : PY Schobbens, Syntaxe et sémantique (January 2010)
  2. boek Taal van het document:fr Compilateurs : Dick Grune, Henry E. Bal, Ceriel J.H. Jacobs, Koen G. Langendoen, Cours et exercices corrigés
  3. boek Taal van het document:fr Compilateurs : A. Aho, M. Lam, R. Sethi, J. Ulman, Principes; techniques et outils

Deze verwijzingen en links verwijzen naar documenten die geraadpleegd zijn tijdens het schrijven van deze pagina, of die aanvullende informatie kunnen geven, maar de auteurs van deze bronnen kunnen niet verantwoordelijk worden gehouden voor de inhoud van deze pagina.
De auteur Deze site is als enige verantwoordelijk voor de manier waarop de verschillende concepten, en de vrijheden die met de referentiewerken worden genomen, hier worden gepresenteerd. Vergeet niet dat u meerdere broninformatie moet doorgeven om het risico op fouten te verkleinen.

Inhoudsopgave Haut