2e partie : L'IA est-elle réellement capable d'extraire avec précision des données d'urbanisme à partir des règlements d'urbanisme ?
2e partie : L'IA est-elle capable d'extraire avec précision des données d'urbanisme à partir des règlements de zonage ?
1re partie a présenté la problématique suivante : l'IA (et plus particulièrement les modèles de langage à grande échelle, ou LLM) est-elle capable d'extraire des données d'urbanisme à partir des règlements de zonage avec une précision suffisante pour que ces données soient exploitables ? Elle a examiné les différents types de modèles LLM, la manière de choisir le modèle le mieux adapté à la tâche, ainsi que les risques et les limites propres à chaque modèle.
Comme nous l’avons conclu dans la première partie, les meilleurs modèles LLM pour cette tâche sont les modèles de réponse aux questions (QA) basés uniquement sur un encodeur, tels que BERT (Bidirectional Encoder Representations from Transformers) et RoBERTa (Robustly Optimized BERT Approach). La deuxième partie de cet article se concentre sur l'évaluation et la comparaison de la précision des LLM dans l'extraction d'informations de planification à partir des règlements de zonage. Pour ce faire, nous devons 1) choisir les indicateurs appropriés et 2) préparer les données en vue de l'évaluation.
Comment choisir le bon indicateur d'évaluation
Il existe de nombreux indicateurs standardisés utilisés pour évaluer les différents modèles de LLM, et il n'existe pas d'approche « universelle ».
Il est important de comprendre dans quelle mesure un modèle d'IA est performant pour une tâche donnée, en particulier s'il est utilisé dans des domaines où la précision des résultats est cruciale (tels que les applications de développement et/ou l'urbanisme). Il existe de nombreux indicateurs standardisés utilisés pour évaluer les différents modèles LLM, et il n'existe pas d'approche « universelle ». Le choix de l'indicateur approprié dépend en grande partie de l'utilisation qui est faite du LLM ou de la tâche qu'il est amené à accomplir.
On distingue trois grandes catégories d'indicateurs :
- Les indicateurs génériques peuvent être appliqués à diverses situations et à divers ensembles de données (précision et exactitude)
- Les indicateurs spécifiques à une tâche s'appliquent à une tâche donnée. Par exemple : « BLEU » est couramment utilisé pour la traduction automatique et « seqeval » pour la reconnaissance d'entités nommées (NER).
- Les indicateurs spécifiques à un ensemble de données permettent de mesurer les performances d'un modèle sur des benchmarks précis. Certains ensembles de données sont associés à des indicateurs, comme par exemple « SQuAD », dont nous parlerons plus en détail ci-dessous.
Le Stanford Question Answering Dataset (SQuAD) est un indicateur spécifique à un ensemble de données (référence) largement utilisé pour évaluer les modèles de réponse à des questions, comme nous allons le faire. L'article original (Rajpurkar et al., 2016) a introduit deux indicateurs d'évaluation clés qui sont depuis devenus la norme dans ce domaine. Ces deux indicateurs clés sont appelés « Exact Match » (EM) et « score F1 ».
Correspondance exacte (EM) : cet indicateur mesure le pourcentage de questions pour lesquelles la réponse du modèle correspond exactement à l'une des réponses de référence.
Score F1 : cet indicateur calcule le chevauchement entre la réponse prédite et les réponses de référence. Il prend en compte à la fois la précision (le nombre de réponses correctes fournies par le modèle) et le rappel (le nombre de réponses correctes qui auraient dû être fournies). Un score F1 élevé indique un modèle plus performant. Le score F1 est particulièrement adapté aux ensembles de données déséquilibrés, pour lesquels la précision peut être trompeuse. Plus d'informations sur le score F1.
Ce schéma explique le score F1. Consultez les liens vers les ressources complémentaires pour en savoir plus !
Pour en savoir plus :
- Hugging Face – Choisir un indicateur pour votre tâche
- Encord – F1 Score en apprentissage automatique
Préparez les données en vue de leur évaluation !
Les données constituent la pierre angulaire des modèles de langage à grande échelle (LLM). Pour fonctionner de manière optimale, ceux-ci ont besoin de données de haute qualité et propres.
Les données constituent la pierre angulaire des modèles de langage à grande échelle (LLM). Pour fonctionner de manière optimale, les modèles LLM dédiés à la réponse aux questions ont besoin de données de haute qualité et propres. Pour alimenter un modèle de réponse aux questions, les données doivent comporter trois champs :
Question à examiner : « Quel est le coefficient d'occupation des sols maximal pour un immeuble d'habitation de grande hauteur, à condition qu'il respecte toutes les exigences en matière de surface habitable ? »
Contexte (le contexte est un extrait du règlement d’urbanisme fourni au modèle LLM chargé de répondre à la question. Le modèle extraira la réponse à la question à partir du contexte donné) : « Dans la zone R5-2, pour les immeubles d’habitation de grande hauteur : (a) le régime d’occupation doit être celui de la location résidentielle pour 100 % de la surface habitable ; et (b) le coefficient d’occupation des sols maximal est de 5,50, à condition que : (i) au moins 20 % de la surface habitable soit réservée à des logements locatifs à loyer modéré, ou (ii) 100 % de la surface habitable soit affectée à des logements sociaux.»
Réponse de référence ou réponse correcte et souhaitée : « 5,50 »
Si le contexte ne contient pas la réponse à la question posée, le modèle peut être désorienté et se trouver dans l'incapacité de gérer ces scénarios, ce qui nécessite une gestion des erreurs distincte. L'objectif de cette expérience étant de tester les performances et la précision du modèle lui-même, plutôt que sa capacité à détecter les réponses manquantes, tout contexte ne contenant pas la réponse a été retiré de l'ensemble de données d'évaluation. Cela garantit que tous les cas de test se concentrent exclusivement sur les capacités d'extraction de réponses du modèle.
Contrairement aux modèles de langage génératifs (LLM) tels que GPT, les modèles spécialement conçus pour la réponse à des questions sont entraînés à comprendre uniquement le texte et ne sont pas capables d'interpréter la mise en forme de celui-ci. Par conséquent, les extraits tirés du règlement d'urbanisme doivent être nettoyés afin de supprimer la mise en forme des tableaux, les listes à puces et les sauts de paragraphe.
Pour évaluer véritablement l'efficacité des modèles dans l'extraction des informations relatives au zonage, il convient d'utiliser un éventail de questions et de contextes variés, issus de différents règlements de zonage à travers le Canada. Plus les questions et les contextes sont variés, mieux c'est.
Un ensemble de données comprenant 50 exemples de questions relatives au zonage sera utilisé pour alimenter le modèle LLM de réponse aux questions, et ses réponses seront évaluées à l'aide des scores « Exact Match » (EM) et F1. Ce type d'alimentation, dans lequel un modèle effectue une tâche sans reconnaître le concept ou les données, ou sans avoir reçu de formation spécifique sur les exemples, est appelé « Zero Shot ».
Quels ont été les résultats de DistilBERT et de RoBERTa ?
Exemple d'extrait de résultat :
Extrait du tableau de résultats contenant les réponses du LLM. Consultez le lien GitHub pour accéder au tableau complet.
Indicateurs DistilBERT
- Correspondance exacte : un score correspondant à 40 % des prédictions qui correspondent exactement à la valeur réelle.
- Score F1 : 66,10 % de chevauchement au niveau des tokens entre les prédictions et les données réelles.
Indicateurs RoBERTa
- Correspondance exacte : un score correspondant à 50 % des prédictions qui correspondent exactement à la valeur réelle.
- Score F1 : 73,62 % de chevauchement au niveau des tokens entre les prédictions et les données réelles.
À première vue, on comprend pourquoi les scores « Exact Match » (EM) des deux modèles ne dépassent pas environ 50 %, voire sont inférieurs. La métrique EM est très stricte et même une légère différence de formulation ou de ponctuation est considérée comme une erreur. Par exemple, si la réponse de référence est « sur un terrain d’angle », mais que le modèle fournit la réponse « un terrain d’angle », la métrique EM considérera cette réponse comme incorrecte. Le score F1 est plus indulgent et reflète mieux les réponses partiellement correctes.
Si l'on examine les scores F1, un score de 70 % ou plus est considéré comme « acceptable » dans le secteur. Cependant, dans ce scénario où la précision revêt une importance capitale puisqu'il s'agit de réponses juridiques, un score compris entre 90 et 95 % ou supérieur est souhaitable. L'écart significatif entre les scores EM et F1 indique que les modèles produisent souvent des réponses partiellement correctes qui ne correspondent pas exactement à la vérité de référence.
Il n’est pas surprenant que RoBERTa surpasse DistilBERT sur ces deux indicateurs, car il est plus volumineux et a été affiné sur l’ensemble de données SQuAD2 (dans cette expérience, une version affinée appelée roberta-base-squad2 ou roberta-base pour les questions-réponses extractives a été utilisée). DistilBERT est un modèle compressé plus rapide qui privilégie la vitesse au détriment de la précision (comme il est 40 % plus petit, il est 60 % plus rapide pour les tâches de TALN telles que la classification de textes, l’analyse des sentiments et la réponse aux questions). Dans cette expérience, une version finement ajustée appelée distilbert base uncased distilled squad est utilisée.
Il est également important de tenir compte du fait que les modèles d’assurance qualité ont été entraînés sur divers autres ensembles de données, comme SQuAD, et que mon ensemble de données « zero-shot » peut s’avérer plus difficile à interpréter, car il fait appel à un langage juridique et est spécifique à un domaine. Lorsqu’ils sont évalués sur SQuAD, les meilleurs modèles atteignent généralement des scores EM > 85 et F1 > 90. Lorsqu’ils sont évalués en mode « zero-shot » sur des ensembles de données hors domaine, ces scores ont tendance à baisser de manière significative. Il pourrait donc être judicieux d’envisager un ajustement fin (fine-tuning) de RoBERTa sur des textes extraits de règlements de zonage.
Réflexions finales
D'après ces expériences, l'utilisation des modèles de langage à grande échelle (LLM) comme outil d'extraction d'informations à partir des règlements de zonage semble prometteuse, avec un taux de précision d'environ 70 %. L'étude de cas montre que les modèles basés uniquement sur un encodeur nécessitent un ajustement spécifique au domaine pour améliorer leur précision.
Il est important de prendre en compte les coûts, les ressources, le temps nécessaire et la précision lorsqu'on envisage d'utiliser les modèles de langage de grande envergure (LLM) comme outil.
Il est important que les utilisateurs soient conscients des limites de cet outil et choisissent judicieusement le type de modèle qu'ils utilisent.
Quelques éléments supplémentaires à prendre en compte :
- Coûts et ressources : vaut-il la peine de consacrer du temps à la collecte et à la préparation des données utilisées pour alimenter le modèle ou pour l’entraîner ? Les données sont-elles disponibles dans un format propre que le modèle peut exploiter ? Dans cet article, j’ai utilisé un très petit ensemble de données de 50 exemples pour évaluer le modèle. Pour une évaluation plus solide, un ensemble de données de plus de 10 000 exemples serait idéal. Mais dans ce cas, cela vaudrait-il la peine de consacrer du temps et des efforts à la compilation d’un ensemble de données de cette taille ? Et en matière de zonage, disposons-nous même de suffisamment de données pour atteindre les 10 000 exemples ?
- Précision : des « hallucinations » peuvent survenir selon le modèle. Si le modèle est destiné à être utilisé dans des domaines où la précision est essentielle (médecine ou droit), n'est-il pas plus efficace et moins risqué de procéder manuellement ?
- Temps : Disposez-vous de la puissance de calcul, du temps et des ressources nécessaires pour exécuter le modèle et/ou l'entraîner et l'affiner ? Avez-vous le temps de rassembler et de préparer toutes les données nécessaires à l'entraînement du modèle ?
À suivre dans la 3e partie !
Maintenant que nous avons procédé à une évaluation « zero-shot » de DistilBERT et de RoBERTa pour l'extraction de données issues des règlements d'urbanisme, la partie suivante se concentre sur l'affinage spécifique à ce domaine d'un modèle RoBERTa existant dédié à la gestion des questions-réponses. La question principale à laquelle il convient de répondre est la suivante : l'affinage d'un modèle LLM à partir de données issues des règlements d'urbanisme améliore-t-il sa précision ?
Parmi les thèmes qui seront abordés, on peut citer :
- Introduction à l'affinage spécifique à un domaine : en quoi cela diffère-t-il de l'entraînement d'un modèle de base à partir de zéro ?
- Comment choisir la stratégie d'ajustement la mieux adaptée à la tâche.
- Préparation d'un ensemble de données d'apprentissage : quelle taille doit avoir mon ensemble de données d'apprentissage pour cette tâche ?
- Une brève introduction pour mieux comprendre les courbes d'apprentissage en matière de formation.
