Partie 2 : L'IA peut-elle extraire avec précision des données d'urbanisme à partir des règlements de zonage ?
La partie 1 présentait le problème : L'IA (en particulier les modèles de langage de grande taille) est-elle capable d'extraire des données d'urbanisme à partir des règlements de zonage avec une précision suffisante pour être utile ? Elle examinait les différents types de modèles de LLM, la méthode pour choisir le modèle adapté à la tâche, ainsi que les risques et limites inhérents à chacun d'eux.
Comme conclu dans la partie 1, les meilleurs modèles de LLM pour cette tâche sont les modèles de questions-réponses (QA) basés uniquement sur l'encodeur, tels que BERT (Bidirectional Encoder Representations from Transformers) et RoBERTa (Robustly Optimized BERT Approach). La partie 2 de ce blogue se concentre sur l'évaluation et la comparaison de la précision des LLM dans l'extraction d'informations d'urbanisme à partir des règlements de zonage. Pour ce faire, nous devons 1) sélectionner les métriques appropriées et 2) préparer les données en vue de l'évaluation.
Comment choisir la bonne métrique d'évaluation
Il existe de nombreuses métriques standardisées pour évaluer les différents modèles de LLM, et il n'existe pas d'approche universelle (« taille unique »).
Il est essentiel de comprendre les performances d'un modèle d'IA pour une tâche donnée, en particulier lorsqu'il est utilisé dans des domaines où la fiabilité des résultats prime (tels que les demandes de développement et/ou l'urbanisme). Il existe de nombreuses métriques standardisées pour évaluer les différents modèles de LLM, et il n'existe pas d'approche universelle. Le choix de la bonne métrique dépend en grande partie de l'utilisation du LLM ou de la nature de la tâche qu'il exécute.
On distingue trois grandes catégories de métriques :
- Les métriques génériques s'appliquent à diverses situations et jeux de données (précision et exactitude).
- Les métriques propres à une tâche sont conçues pour un cas d'usage précis. Par exemple : « BLEU » est couramment utilisé pour la traduction automatique et « seqeval » pour la reconnaissance d'entités nommées (REN).
- Les métriques spécifiques aux jeux de données mesurent la performance d'un modèle sur des étalons de référence particuliers. Certains jeux de données intègrent leurs propres métriques, à l'instar de « SQuAD », détaillé ci-dessous.
Le jeu de données SQuAD (Stanford Question Answering Dataset) constitue une métrique (référence) largement répandue pour évaluer les modèles de réponse aux questions, comme nous le ferons ici. L'article original (Rajpurkar et al., 2016) a introduit deux indicateurs d'évaluation clés devenus depuis des standards du domaine. Ces deux indicateurs principaux sont l'Exact Match (EM) et le score F1.
Exact Match (EM) : Cette métrique mesure le pourcentage de questions pour lesquelles la réponse du modèle correspond exactement à l'une des réponses de référence.
Score F1 : Cette métrique calcule le chevauchement entre la réponse prédite et les réponses de référence. Elle prend en compte à la fois la précision (le nombre de réponses correctes fournies par le modèle) et le rappel (le nombre de réponses correctes qui auraient dû être fournies). Un score F1 élevé témoigne d'une meilleure performance du modèle. Ce score s'avère particulièrement pertinent pour les jeux de données déséquilibrés où l'exactitude peut induire en erreur. En savoir plus sur le score F1.
Ce diagramme illustre le fonctionnement du score F1. Consultez les liens de lecture complémentaire pour plus d'informations !
Pour aller plus loin :
- Hugging Face – Choisir une métrique adaptée à votre tâche
- Encord – Le score F1 en apprentissage automatique
Préparation des données pour l'évaluation !
Les données constituent le socle fondamental des grands modèles de langage (LLM). Des données propres et de haute qualité sont requises pour garantir des performances optimales.
Les données constituent le socle fondamental des grands modèles de langage (LLM). Les modèles LLM de réponse aux questions nécessitent des données propres et de haute qualité pour fonctionner de manière optimale. Pour alimenter un tel modèle, les données doivent être structurées selon trois champs :
La question à évaluer : « Quel est le coefficient d'occupation du sol maximal pour un immeuble d'habitation en hauteur, à condition que toutes les exigences relatives à la superficie de plancher résidentiel soient respectées ? »
Contexte (il s'agit d'un extrait du règlement de zonage transmis au modèle LLM. Le modèle y extrait la réponse à la question) : « Dans le district R5-2, pour un immeuble d'habitation en hauteur : a) le mode d'occupation doit être locatif résidentiel pour 100 % de la superficie de plancher résidentiel ; et b) le coefficient d'occupation du sol maximal est de 5,50 à condition que : i) un minimum de 20 % de la superficie de plancher résidentiel soit réservé à des logements locatifs à prix abordable, ou ii) 100 % de la superficie de plancher résidentiel soit aménagée en logements sociaux. »
Référence ou réponse correcte souhaitée : « 5,50 »
Si le contexte ne contient pas la réponse à la question posée, le modèle risque d'être perturbé et de mal gérer ces cas de figure, ce qui nécessite une gestion des erreurs distincte. L'objectif de cette expérience étant de tester les performances et l'exactitude du modèle lui-même, et non son aptitude à détecter les lacunes d'information, tout contexte dépourvu de réponse a été exclu du jeu de données d'évaluation. Cela garantit que chaque cas de test se concentre exclusivement sur les capacités d'extraction de réponses du modèle.
Contrairement aux LLM génératifs tels que GPT, les modèles spécifiquement entraînés pour la réponse aux questions sont conçus pour interpréter uniquement le texte et ne restituent pas la mise en forme. Par conséquent, les extraits des règlements de zonage doivent être nettoyés pour supprimer la mise en forme des tableaux, les puces et les sauts de paragraphe.
Pour évaluer rigoureusement l'efficacité des modèles dans l'extraction des données de zonage, il convient d'utiliser une variété de questions et de contextes issus de règlements de zonage de tout le Canada. Plus les questions et les contextes sont diversifiés, meilleurs sont les résultats.
Un jeu de données de 50 exemples de questions d'urbanisme sera soumis au modèle LLM de réponse aux questions, et ses réponses seront évaluées à l'aide des scores d'exactitude (Exact Match ou EM) et F1. Cette approche, où le modèle exécute une tâche sans phase d'apprentissage préalable ni entraînement spécifique sur ces exemples, est appelée « Zero-Shot » (apprentissage zéro-shot).
Quels ont été les niveaux de performance de DistilBERT et RoBERTa ?
Exemple d'extrait des résultats :
Extrait du tableau de résultats présentant les réponses du LLM. Veuillez vous référer au lien GitHub pour consulter l'intégralité du tableau.
Métriques de DistilBERT
- Exact Match : Un score de 40 % de prédictions correspondant exactement aux données de référence.
- Score F1 : 66,10 % de chevauchement au niveau des tokens entre les prédictions et la vérité terrain.
Métriques RoBERTa
- Correspondance exacte : Un score de 50 % des prédictions correspondant exactement à la vérité terrain.
- Score F1 : 73,62 % de chevauchement au niveau des tokens entre les prédictions et la vérité terrain.
À première vue, il est compréhensible que les scores de correspondance exacte (EM) pour les deux modèles ne dépassent guère 50 %, voire moins. La métrique EM est très stricte et la moindre différence dans la formulation ou la ponctuation est considérée comme une erreur. Par exemple, si la vérité terrain est « on a corner lot » mais que le modèle fournit la réponse « a corner lot », la métrique EM comptera la réponse comme incorrecte. Le score F1 est plus indulgent et reflète mieux une exactitude partielle.
En examinant les scores F1, un score de 70 % ou plus est considéré comme « acceptable » dans l'industrie. Cependant, dans ce scénario où la précision est extrêmement importante en raison de la nature juridique des réponses, un score de 90 à 95 % ou plus est souhaitable. Le fait qu'il y ait un écart significatif entre les scores EM et F1 indique que les modèles produisent souvent des réponses partiellement correctes qui ne correspondent pas exactement à la vérité terrain.
Il n'est pas surprenant que RoBERTa surpasse DistilBERT sur les deux métriques, car il est plus volumineux et finement ajusté sur le jeu de données SQuAD2 (dans cette expérience, une version finement ajustée appelée roberta-base-squad2 ou roberta-base pour l'AQ extractive a été utilisée). DistilBERT est un modèle plus rapide et compressé qui sacrifie la précision au profit de la vitesse (étant 40 % plus petit, il est 60 % plus rapide pour les tâches de TAL telles que la classification de texte, l'analyse des sentiments et la réponse aux questions). Dans cette expérience, une version finement ajustée appelée distilbert base uncased distilled squad est utilisée.
Il est également important de noter que les modèles d'AQ ont été entraînés sur divers autres jeux de données, comme SQuAD, et que mon jeu de données zéro-shot peut s'avérer plus difficile à interpréter en raison du vocabulaire juridique et de sa spécificité sectorielle. Lorsqu'ils sont évalués sur SQuAD, les meilleurs modèles atteignent généralement des scores de EM > 85 et F1 > 90. Lors d'une évaluation par apprentissage zéro-shot sur des jeux de données hors domaine, les scores ont tendance à chuter de manière significative. Par conséquent, il pourrait être judicieux d'envisager un réajustement fin de RoBERTa sur du texte extrait de règlements d'urbanisme.
Réflexions finales
D'après ces expériences, l'utilisation de grands modèles de langage (LLM) comme outil d'extraction d'informations à partir de règlements d'urbanisme montre un potentiel avec une précision d'environ 70 %. L'étude de cas révèle que les modèles basés uniquement sur un encodeur nécessitent un réajustement fin supplémentaire spécifique au domaine pour observer des améliorations de la précision.
Il est primordial de soupeser les coûts, les ressources, le temps et la précision lorsque l'on envisage d'utiliser des LLM comme outil.
Il est important que les utilisateurs soient conscients des limites de l'outil et choisissent judicieusement le type de modèle qu'ils emploient.
Considérations supplémentaires :
- Coûts et ressources : Est-il judicieux de consacrer du temps à compiler et préparer les données utilisées pour amorcer le modèle ou l'entraîner ? Les données sont-elles disponibles dans un format propre exploitable par le modèle ? Dans ce blog, j'ai utilisé un tout petit jeu de données de 50 exemples pour évaluer le modèle. Pour une évaluation plus robuste, un jeu de données de plus de 10 000 exemples serait idéal. Mais à ce stade, vaudrait-il la peine d'investir le temps et l'effort nécessaires pour compiler un jeu de données d'une telle envergure ? Et disposons-nous seulement de suffisamment de données en matière de zonage pour atteindre 10 000 exemples ?
- Précision : Des hallucinations peuvent survenir selon le modèle. Si le modèle est destiné à être utilisé dans des domaines où la précision prime (médecine ou droit), est-il plus efficient et moins risqué de procéder manuellement ?
- Temps : Disposez-vous de la puissance de calcul, du temps et des ressources nécessaires pour exécuter le modèle et/ou procéder à son réajustement fin ? Avez-vous le temps de compiler et de préparer l'ensemble des données requises pour l'entraîner ?
Prochaine étape : la Partie 3 !
Maintenant que nous avons réalisé une évaluation zéro-shot de DistilBERT et RoBERTa dans l'extraction de données à partir de règlements d'urbanisme, la prochaine partie se concentre sur le réajustement fin spécifique au domaine d'un modèle d'AQ RoBERTa existant. La question centrale à laquelle il faut répondre est la suivante : un réajustement fin d'un modèle LLM sur des données de règlements d'urbanisme améliore-t-il sa précision ?
Voici quelques-uns des sujets abordés :
- Introduction au réajustement fin spécifique au domaine – la différence entre cette approche et l'entraînement d'un modèle de base (« foundation model ») à partir de zéro.
- Comment sélectionner la bonne stratégie de réajustement fin pour la tâche visée.
- Préparation d'un jeu de données d'entraînement – quelle doit être la taille de mon jeu de données d'entraînement pour cette tâche ?
- Brève introduction à la compréhension des courbes d'apprentissage de l'entraînement.
