Les fonctions du tokenizer fournissent une interface avec
l'analyseur interne de PHP, intégré dans le moteur Zend.
En utilisant ces fonctions, vous pouvez écrire votre propre
système d'analyse des sources PHP, ou bien des outils de
modification du code, sans avoir à refaire toute l'analyse
lexicale.
À partir de PHP 4.3.0, ces fonctions sont activées par défaut.
Pour les anciennes versions, vous devez compiler PHP avec
l'option --enable-tokenizer. Vous
pouvez désactiver le support de l'extension tokenizer avec
l'option --disable-tokenizer.
La version Windows de PHP
dispose du support automatique de cette extension. Vous n'avez pas à ajouter
de bibliothèque supplémentaire pour disposer de ces fonctions.
Note :
Le support automatique du tokenizer est disponible depuis PHP 4.3.0.
Voici un exemple simple de script PHP qui utilise le tokenizer
pour lire un fichier, supprimer tous les commentaires de la source,
et afficher uniquement du code.
Exemple 1. Suppression de commentaires avec le tokenizer
<?php /* T_ML_COMMENT n'existe pas en PHP 5.
* Les trois lignes suivantes définissent l'ordre
* pour préserver une compatibilité ascendante.
*
* Les deux lignes suivantes la constante T_DOC_COMMENT uniquement présente en PHP 5,
* que nous appelerons T_ML_COMMENT pour PHP 4.
*/ if (!defined('T_ML_COMMENT')) { define('T_ML_COMMENT', T_COMMENT);
} else { define('T_DOC_COMMENT', T_ML_COMMENT);
}
Cette page ne possède pas encore de mots clés manuels, ceci est donc un exemple automatique (les niveaux de pertinence sont fictifs, mais les liens sont valables). Pour tester le nuage avec une page qui contient des mots définis manuellement, vous pouvez cliquer ici.
Ces références et liens indiquent des documents consultés lors de la rédaction de cette page, ou qui peuvent apporter un complément d'information, mais les auteurs de ces sources ne peuvent être tenus responsables du contenu de cette page. L'auteur de ce site est seul responsable de la manière dont sont présentés ici les différents concepts, et des libertés qui sont prises avec les ouvrages de référence. N'oubliez pas que vous devez croiser les informations de sources multiples afin de diminuer les risques d'erreurs.