Moins une observation est probable et plus elle est porteuse d'information.
Claude Shannon (1916-2001)
Shannon est le père de la théorie de l'information. Il s'est bien évidemment rapproché des grands théoriciens de l'après guerre, comme Turing, Von Neumann, ou encore Wiener pour ne citer qu'eux, qui bricolaient alors sur une toute nouvelle discipline qu'était l'informatique.
La théorie de l'information
Elle a permis de construire les grands moyens de communication actuels, en s’appuyant notamment sur le codage de l'information et sa gestion de la compression et de la redondance des données.
🗣️ Même les sociologues ont cherché à l'utiliser pour étudier les relations que l'on peut établir entre nous, car même si elle reste plutôt cantonnée au domaine des échanges numériques, elle modélise aussi les mécanismes sous-jacents à tout échange, quelqu'en soit la nature.
L'information
Shannon s'est avant tout focalisé sur la transmission des messages.
Son objectif 👉 qualifier et quantifier l'information contenue dans 1 message.
Un émetteur, grâce à un codage, envoie un signal à un récepteur qui effectue le décodage.
• La chaine de transmission
① Une source d'information produit le message.
② Un émetteur transforme le message en signaux, il utilise un codage pour le rendre transmissible.
③ Un canal transporte le signal. Le canal peut être bruité ce qui vient alors perturber la transmission.
④ Un récepteur décode le message, il reconstruit le message à partir des signaux.
⑤ Un destinataire reçoit enfin, le message reconstruit.
• L'entropie de distribution
Il convient de distinguer les données, de l'information transportée dans les messages. Pour faire court, il convient de distinguer la forme au sens. Plus les données sont redondantes, moins il y a d'information véhiculée. Au pire, si la source raconte toujours la même chose, la quantité d'information apportée par une répétition supplémentaire est nulle.
Si la théorie de l'information ne traite pas directement de la signification du message, elle arrive malgré tout à parler objectivement d'information.
✧ Cette théorie est probabiliste. Elle permet de quantifier le contenu moyen en information d'un ensemble de messages - on parle alors d'entropie de distribution - tout en s'appuyant sur un codage informatique répondant à une distribution statistique réputée connue.
• Le bit
✧ Cette théorie ne s'intéresse pas au contenu, mais seulement à la mise en forme et à la taille des informations à coder.💡 C’est l’idée lumineuse que toute information peut être portée par des suites de 0️⃣ et de 1️⃣, chacune des valeurs incarnant 1 quantité élémentaire d'information.
✧ Voilà désormais établi le concept du bit.
Le Bit
• Le canal bruité
Avec la théorie de l'information, on a compris que le bruit présent dans le canal ne limite pas la qualité de la communication, il ne limite que le débit de transmission. On sait que pour des ressources données et quoique l’on fasse, le débit relatif au meilleur des systèmes de communication ne pourra jamais dépasser une limite bien définie. A condition de ne pas dépasser la capacité du canal, la communication numérique peut être quasi-parfaite ! Cette découverte justifie à elle seule l’explosion du numérique aujourd’hui.
• Deux étapes pour transmettre
✧ La théorie de l'information montre que la meilleure manière d'envoyer un signal, est de procéder en deux temps : Tout d'abord opérer une compression des données pour ensuite effectuer un codage correcteur d’erreurs, codage qui va ajouter la redondance nécessaire pour que le récepteur ait les meilleures chances de reconstituer l’information utile.
Cela peut paraitre étonnant de devoir séparer l’encodage en deux étapes qui semblent contraires l’une de l’autre, d'une part la compression des données qui raccourcit, d'autre part le codage correcteur d’erreur qui lui rallonge, mais ce dont il est question ici c’est de retirer les mauvais types de redondance pour ensuite ajouter les bons.
Pour en savoir +
Codage non optimal d'un message
Résolution de l'incertitude
👨🎓👩🎓 L'information est un élément de connaissance.
✧ La forme la plus élémentaire d'un message est la suivante : le récepteur attend une information de type oui/non, le oui et le non étant a priori aussi vraisemblables l'un que l'autre. Ainsi, lorsque la source transmet soit un oui, soit un non, on considère que le récepteur reçoit 1 unité d'information. Autrement dit : une unité d'information, c'est quand on a un ensemble de deux possibilités et que l'une d’entre elles se réalise.
L'information est une résolution de l'incertitude
Le bit et le shannon
💯 Shannon popularise le terme de bit dont il attribue la paternité à J. Tukey.
Cependant, il complète la notion de bit informatique (binary digit) par la notion de bit d'information (binary unit).
Il définit cette unité de mesure que l'on nomme le shannon, comme la quantité d'information contenue dans 1 bit dont le résultat de la mesure est imprévisible et les 2 valeurs sont équiprobables.
✧ Un bit colporte au plus un shannon (sh).
L'information est portée par le bit
• Pour coder 2 états (pile ou face), 1 bit est nécessaire : 0 ou 1
• Pour coder 4 états, on doit utiliser 2 bits : 00, 01, 10, 11.
• 5 bits sont nécessaires pour coder les 26 lettres de l'alphabet :
2⁴ >26>2⁵
• Plus généralement, soit P le nombre d'états possibles et n le nombre de bits :
P = 2ⁿ
✧ La quantité d'information contenue dans un message correspond au nb minimal de bits nécessaires pour sa transmission. Soit, le logarithme en base 2 du nb de possibilités de messages différents dans le même code ☞ n = log₂P
L'entropie de Shannon
Nous venons de voir que la théorie de Shannon quantifie l'information dans une unité appelée le bit d’information (binary unit) qui va plus loin que le simple bit informatique (binary digit) car cette unité prend en compte l’aspect probabiliste de l’information. On parle d'entropie de distribution, par analogie à l’entropie thermo-dynamique.
✧ L'entropie de Shannon quantifie l'information à partir de la probabilité présumée de voir apparaitre chaque symbole parmi l'ensemble des données envoyées par la source.
L’entropie désigne une quantité moyenne d’information.
• Cas d'un système binaire
p = probabilité que 0 survienne
q = 1 − p, probabilité que 1 survienne
Entropie = −p log₂p − q log₂q
Entropie pour un système binaire équiprobable
La capacité du canal
Nous avons déjà dit qu’à condition de ne pas dépasser la capacité du canal, une communication numérique peut être quasi-parfaite !
Shannon a trouvé l’expression exacte et étonnamment simple de la capacité du canal.
Capacité du canal
où 𝑊 est la largeur de bande passante (en Hertz) et 𝑃/𝑁 le rapport signal-bruit, 𝑃 désignant la puissance du signal et 𝑁 la puissance du bruit.
✧ C’est certainement la formule la plus connue de Shannon, celle qui conclut son œuvre.
Pour en savoir encore +
Bit et entropie de Shannon
Modèle, correction d'erreur, et limites théoriques
Cross-entropie
Comments