Glossaire

Système informatique composé d'un grand nombre d'unités de calcul simples (les « neurones ») reliées entre elles. En recevant des exemples, il ajuste progressivement la force de ces connexions pour apprendre à reconnaître des formes, traduire du texte ou prendre des décisions.

Groupe de neurones qui traitent l'information ensemble à une même étape du réseau. Les couches se succèdent : la première reçoit les données brutes, les suivantes extraient des caractéristiques de plus en plus abstraites, et la dernière produit le résultat final (par exemple, la catégorie d'une image).

Mesure qui indique à quel point les prédictions du modèle sont éloignées des bonnes réponses. Plus cette valeur est faible, mieux le modèle se comporte. L'entraînement consiste précisément à faire baisser cette mesure le plus possible.

Méthode d'optimisation qui consiste à ajuster les paramètres du modèle pas à pas, toujours dans la direction qui réduit le plus la fonction de coût. C'est l'équivalent de descendre une colline en choisissant à chaque instant la pente la plus raide vers la vallée.

Représentation numérique d'un mot (ou d'un concept) sous la forme d'une liste de nombres. Des mots proches syntaxiquement ou sémantiquement auront souvent des listes de nombres similaires. Cela permet à une machine de manipuler des mots comme s'ils étaient des points dans un espace géométrique.

Mesure statistique qui quantifie à quel point deux mots (ou événements) ont tendance à apparaître ensemble plus souvent que le hasard ne le prédirait. Si « café » et « tasse » cooccurrent fréquemment, leur PMI sera élevé, révélant leur association dans des textes.

Espace mathématique multidimensionnel dans lequel chaque mot, image ou concept est représenté par un point (son vecteur d'embedding). Les distances et directions dans cet espace ont un sens : des concepts similaires sont proches, et certaines directions correspondent à des propriétés sémantiques.

Description mathématique de l'ensemble des résultats possibles d'un phénomène aléatoire, accompagnée de leur chance respective d'occurrence. Par exemple, un modèle de langage produit une distribution sur tout le vocabulaire pour indiquer, à chaque pas, quelle est la probabilité de chaque mot possible.

Branche des mathématiques qui étudie les vecteurs, les matrices et les transformations linéaires. C'est le langage naturel de l'apprentissage machine : toutes les données et opérations d'un réseau de neurones s'expriment sous forme de tableaux de nombres (matrices) et de leurs transformations.

Règle mathématique qui associe à chaque valeur d'entrée exactement une valeur de sortie. On peut la voir comme une « machine » : on y insère un nombre (ou un vecteur), elle en ressort un autre selon une règle précise.

Fonction qui respecte deux propriétés fondamentales : elle préserve les additions et les mises à l'échelle. Concrètement, elle transforme des droites en droites et conserve l'origine. Les couches d'un réseau de neurones réalisent essentiellement des transformations linéaires (suivies de petites non-linéarités).

Terme général pour désigner une transformation qui agit sur des objets mathématiques (vecteurs, fonctions…) pour en produire d'autres. En algèbre linéaire, un opérateur linéaire transforme des vecteurs de manière cohérente et peut souvent être représenté par une matrice.

Valeur qui reste inchangée lorsqu'on lui applique une transformation donnée. Autrement dit, si f est une fonction et x un point fixe, alors f(x) = x. Ce concept est central dans l'analyse de la stabilité des systèmes dynamiques et des algorithmes itératifs.

Technique qui « démonte » n'importe quelle matrice en trois matrices plus simples, révélant sa structure profonde. Elle permet notamment de compresser des données, de réduire le bruit et de découvrir les dimensions les plus importantes cachées dans un jeu de données.

Vecteur qui, lorsqu'une transformation linéaire lui est appliquée, ne change pas de direction : il est simplement allongé ou raccourci. Ces vecteurs révèlent les « axes naturels » d'une transformation et jouent un rôle clé dans la compréhension de sa géométrie.

Nombre qui indique de combien un vecteur propre est allongé (ou raccourci, ou retourné) par une transformation linéaire. Une valeur propre de 2 signifie que le vecteur est doublé ; une valeur de −1 signifie qu'il est retourné sans changer de longueur.

Tableau rectangulaire de nombres organisés en lignes et en colonnes. En apprentissage machine, les matrices servent à stocker les données (par exemple, les pixels d'une image) et à encoder les paramètres (poids) d'un réseau de neurones.

Opération combinant deux matrices pour en produire une troisième, en effectuant des sommes de produits de leurs éléments selon une règle précise. C'est l'opération fondamentale qui permet d'enchaîner des transformations linéaires, et elle est au cœur de chaque calcul dans un réseau de neurones.

Décomposition d'une matrice en un produit de matrices plus simples ou plus petites. Cette technique permet de révéler une structure cachée dans les données, de réduire leur dimensionnalité ou d'accélérer les calculs. La SVD en est l'exemple le plus utilisé.

Branche des mathématiques qui étudie les structures et les relations entre structures de façon très abstraite, sans s'intéresser à la nature précise des objets mais uniquement à la manière dont ils se connectent. Elle est parfois appelée « mathématiques des mathématiques » et fournit un langage unificateur pour de nombreux domaines.

Structure mathématique composée d'objets et de flèches (morphismes) reliant ces objets, soumise à des règles de composition. Par exemple, les ensembles et les fonctions entre eux forment une catégorie. L'intérêt est de raisonner sur les relations plutôt que sur la nature interne des objets.

Généralisation d'un foncteur qui établit une relation entre deux catégories en associant à chaque paire d'objets (un de chaque catégorie) un ensemble de « preuves de relation ». Les profoncteurs servent notamment à modéliser des relations pondérées ou probabilistes entre structures, avec des applications en traitement du langage.

Foncteur contravariant d'une catégorie vers la catégorie des ensembles. Concrètement, il associe à chaque objet un ensemble de « données locales » et à chaque morphisme une façon de restreindre ces données. C'est un outil fondamental pour représenter des informations qui varient selon les contextes.

Application qui transforme une catégorie en une autre tout en respectant sa structure : il envoie les objets sur des objets et les flèches sur des flèches de façon compatible avec la composition. On peut le voir comme une « traduction » fidèle d'un langage mathématique dans un autre.

Ensemble des points fixes de l'opérateur distributionnel construit à partir d'un profoncteur

Flèche reliant deux objets au sein d'une catégorie, représentant une relation ou une transformation structurée entre eux. Selon la catégorie considérée, un morphisme peut être une fonction, une implication logique, une inégalité ou toute autre relation respectant les règles de la catégorie.

Construction catégorielle qui généralise l'idée de produit cartésien (paire ordonnée). Le produit de deux objets A et B est un objet qui « contient » toute l'information de A et de B conjointement, défini non par sa nature interne mais par ses relations avec les autres objets.

Construction duale du produit : là où le produit combine deux objets de façon conjointe (« A et B »), le coproduit les combine de façon disjonctive (« A ou B »). Dans la catégorie des ensembles, le coproduit correspond à l'union disjointe ; en programmation, il correspond au type somme.