Une première façon d’assigner une valeur numérique au degré de cooccurrence entre deux mots est le test du χ² [MS99]. Cette mesure a été imaginée dans le cadre du problème classique en statistique qu’est la validation d’hypothèses. Voici le problème à surmonter : le fait que deux mots présentent une fréquence élevée d’occurrence ensemble ne reflète pas nécessairement une association entre ceux-ci. Il peut s’agir d’un phénomène aléatoire. La question est alors de déterminer si la cooccurrence se produit plus souvent que par hasard. La façon classique de procéder commence par la formulation d’une hypothèse nulle H₀ selon laquelle il n’y aurait pas du tout d’association entre les mots. On calcule la probabilité qu’une cooccurrence se produise si H₀ était vraie et on rejette cette hypothèse si la probabilité s’avère trop faible. Sinon, on retient l’hypothèse d’indépendance. L’idée générale de la mesure du χ² est de comparer les fréquences observées dans un corpus avec les fréquences attendues s’il y avait indépendance. Si la différence entre les deux est grande, on peut rejeter l’hypothèse d’indépendance. Basée sur le tableau 4.1, l’équation qui traduit cette notion est la suivante :

χ² =

où

La statistique fait donc la somme des différences au carré entre les valeurs observées et attendues pour chaque cellule de la table, chaque différence étant normalisée par la valeur attendue. On peut la voir comme une sorte d’erreur quadratique moyenne. Les valeurs observées sont tout simplement calculées à partir des textes du corpus. Quant aux valeurs attendues, elles sont calculées à l’aide des probabilités marginales, c’est-à-dire à partir des totaux pour les lignes et pour les colonnes de la table, convertis en proportions. Par exemple, la probabilité attendue E₁₁ , qui est la probabilité que le mot 1 et le mot 2 soient tous deux présents dans un texte, se calcule de la façon suivante : on multiplie la probabilité marginale que le mot 1 apparaisse avec la probabilité marginale que le mot 2 apparaisse, ainsi qu’avec le nombre de documents. Sachant que N représente le nombre total de documents, on peut faire les calculs suivants :

Après quelques manipulations algébriques et simplifications, on arrive à l’expression suivante qui nous permet d’obtenir la valeur de χ² :

χ² =

Dans le même ordre d’idées que le test du χ², une autre façon d’effectuer des tests d’hypothèses est le ratio de vraisemblance ( «likelihood ratio» ). Ce test est réputé pour être plus approprié avec les données clairsemées. Également, il présente un autre avantage : la valeur numérique qui est calculée peut être plus facilement interprétée qu’avec le test du χ². En effet, il s’agit d’un nombre reflétant dans quelle proportion une hypothèse est plus probable qu’une autre. On considère les deux hypothèses présentées plus loin et le ratio indique laquelle est la plus probable. L’hypothèse 1 reflète le cas où il y aurait indépendance complète entre les deux mots : les probabilités conditionnelles que le mot 2 soit présent connaissant respectivement la présence ou l’absence du mot 1 sont les mêmes. Par contre, l’hypothèse 2 voulant que les deux mots soient dépendants implique que ces probabilités conditionnelles soient différentes.

Hypothèse 1 : P(mot 2 | mot 1 présent) = p = P(mot 2 | mot 1 absent) (indépendance)

Hypothèse 2 : P(mot 2 | mot 1 présent) = p1 ≠ p2 = P(mot 2 | mot 1 absent) (dépendance)

Partant de ces hypothèses, on désire évaluer la vraisemblance de chacune d’elles, étant donné les fréquences observées dans le corpus concernant l’apparition de mots, pour ensuite faire le rapport de ces valeurs de vraisemblance. Le tout se fait en supposant une distribution binomiale.

On fait d’abord un estimé du maximum de vraisemblance pour les probabilités suivantes, à partir des données de notre table de contingence initiale :

Ensuite, on considère l’expression L(H) comme étant la vraisemblance d’une hypothèse H . Le logarithme du ratio de vraisemblance des deux hypothèses en question se calcule donc comme suit :

En effet, la vraisemblance de H1, par exemple, correspond à la probabilité d’avoir a fois le mot 2 présent quand le mot 1 est présent ( a + b fois) multipliée par la probabilité d’avoir c fois le mot 2 présent quand le mot 1 est absent ( c + d fois). Un raisonnement similaire peut être fait pour la deuxième hypothèse.

Une simplification permet d’arriver à l’expression suivante :

log λ = log L( a , a + b , p ) + log L( c , c + d , p ) – log L( a , a + b , p₁ ) – log L( c , c + d , p₂ )

où L(k, n, x) = x^k (1 - x ) ^{n - k}

Comme il a déjà été mentionné, le score obtenu par le rapport des vraisemblances peut être interprété comme tel. Mais une propriété intéressante de cette mesure est que la quantité -2 log λ suit une distribution χ² asymptotiquement. Donc, il est possible de faire des tests d’hypothèses en consultant la table de distribution appropriée.

Une troisième mesure d’association possible est l’information mutuelle ( «pointwise mutual information» ou PMI). C’est une mesure qui est née de motivations provenant du domaine de la théorie de l’information. Elle mesure la quantité d’information apportée par la présence d’un mot au sujet de la présence d’un autre mot. L’équation suivante permet de calculer cette mesure et met en jeu, au numérateur, la proportion des documents où figurent les deux mots puis, au dénominateur, les proportions respectives des documents où figure un seul des deux mots.

I (mot 1, mot 2) = log ₂

Intuitivement, il est facile de voir que plus deux mots ont tendance à apparaître ensemble, plus le score sera élevé. En effet, si les deux mots étaient totalement indépendants, le rapport des probabilités serait de 1, donnant donc une valeur finale de 0. À l’opposé, si les deux mots ont une forte tendance à apparaître ensemble, alors la probabilité au numérateur dépassera l’autre, faisant croître le score d’information mutuelle. Toujours à partir de la table de contingence et après certaines manipulations, on arrive à la façon simplifiée de calculer la PMI :

I (mot 1, mot 2) = log ₂

L’information mutuelle est considérée comme étant une bonne mesure de l’indépendance entre deux mots. Sa valeur devient nulle si les deux mots sont parfaitement indépendants. Mais pour des paires de mots parfaitement dépendants (qui apparaissent toujours ensemble), la valeur de l’information mutuelle augmente plus ceux-ci sont rares, la raison étant que les probabilités au dénominateur diminuent. Ce phénomène est en fait un inconvénient lié à l’utilisation de cette mesure puisqu’il devient plus difficile de comparer les scores obtenus par des mots fréquents avec ceux obtenus par des mots rares.

Cette façon de calculer l’association entre des mots a entre autres été exploitée par [Tur01] au sein d’un algorithme d’apprentissage ayant pour but de reconnaître des synonymes. Le problème à résoudre était le suivant : devant un mot donné et une liste de mots alternatifs, il s’agissait de trouver parmi cette liste le mot dont le sens se rapprochait le plus du mot d’origine. La solution proposée consistait à calculer le degré de cooccurrence entre le mot d’origine et chacun des choix de réponse, puis à choisir comme meilleur synonyme le candidat ayant obtenu le plus haut score de cooccurrence. L’intuition à la base de cette façon de faire était qu’un mot est caractérisé par les mots qui l’entourent. Pour recueillir les statistiques nécessaires au calcul des scores, il a été proposé de tirer profit d’un corpus de textes accessible à tous : le Web. Pour chaque paire de mots, il suffit d’exécuter deux requêtes sur un moteur de recherche (en l’occurrence Altavista) et de faire un calcul à partir du nombre de documents retournés par chacune d’elles.

Score(choix) = log

où

Sachant que le but est de maximiser ce score, on peut laisser tomber le log et P(problème) qui restent constants. Puis, en utilisant de la façon la plus simple un moteur de recherche pour calculer les valeurs restantes, on obtient la formule suivante :

Score(choix) =

où

On a aussi raffiné cette équation en utilisant des opérateurs comme NEAR, en tentant d’éviter de favoriser les antonymes et en utilisant des mots du contexte, lorsque le problème le permettait.

Évalué à l’aide de questions sur les synonymes tirées d’un test d’anglais langue seconde, cette méthode a généré des résultats supérieurs à 70%, ce qui dépasse la performance moyenne des étudiants qui passent ce test, qui est de 65%. Cela dépasse aussi la performance de l’indexation sémantique latente, qui, lors d’une expérience précédente, avait généré des résultats 10% inférieurs à ceux obtenus par l’approche basée sur l’information mutuelle. Cette dernière tire probablement sa force de la taille importante du corpus de textes utilisé, soit l’ensemble des pages Web indexées par Altavista. Comme ces données sont accessibles assez facilement et rapidement, pourquoi ne pas en profiter ? On peut entrevoir d’autres applications à cette technique comme l’expansion de requêtes en recherche d’information ou l’extraction de mots-clés.