| La
présentation par Claude Shannon dans les années 1940 de la théorie de
l’information est certainement une des grandes réalisations du 20ème
siècle.
La théorie de l’information a eu grande
influence sur les mathématiques en particulier sur la théorie des probabilités, et les
mathématiques de Shannon en elles mêmes sont une contribution importante aux
mathématiques pures.
Dans
son papier maintenant classique il a formulé un modèle de système de communication
remarquable par sa généralité et sa facilité à être
traité mathématiquement. Il a formulé les problèmes théoriques centraux
et leur a donné une solution élégante.
L’idée de base est que tout message
se résume à une suite de 0 et de 1. On peut en effet digitaliser tout signal sans perte
d’information pourvu que la fréquence d’échantillonnage soit supérieure au
double de plus haute fréquence à transmettre (Théorème de Shannon)
Shannon voit le processus de
communication comme stochastique par nature. L’aspect sémantique de
l’information ne joue aucun rôle dans son modèle.
L’information d’une
« source », définie comme un processus stochastique doit être transmise par
un « canal » défini par une loi de probabilité de transition reliant entrée et
sortie de celui-ci.
Le
concepteur du système peut placer un codeur entre source et canal qui peut introduire un
retard fixe et fini, et un décodeur entre canal et sortie.
Sa
théorie cherche à répondre à des questions telles que la rapidité et la fiabilité de
la transmission, en optimisant codeur et décodeur.
Shannon donne des réponses élégantes à
ces questions. Sa solution comprend deux parties :
La 1ère donne des limites
fondamentales, par exemple que pour une source et un canal donnés il est impossible
d’obtenir une fidélité et une fiabilité supérieures à des valeurs données.
La 2ème montre qu’on peut
atteindre la limite théorique moyennant un codeur pouvant apporter un retard important.
Pour ce faire ce codeur peut utiliser un code complexe, pas nécessairement implémentable
en pratique.
Un
de ses apports les plus importants a été de montrer qu’on pouvait étudier source
et canal indépendamment, en supposant qu’ils étaient connectés par une interface
digitale. On définira le codeur pour optimiser la performance source/canal et le
décodeur pour optimiser le canal comme transmetteur digital. La résolution des
problèmes de la source et du canal résout de facto celui de la liaison complète.
La
complexification des systèmes informatiques et de communication rend de plus en plus
nécessaires les apports théoriques de Shannon qui débordent même la pure technique
pour apporter des outils déterminants dans des sciences humaines telles que la
linguistique.
Nota
Les
lecteurs curieux et courageux peuvent consulter le texte original de Shannon sur http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html.
Bibliographie :
Le
site signalé ci-dessus
Le
numéro spécial de Science et vie, cité déjà à plusieurs reprises. |
