Théorie de l'Information
  2006/2007

Maria Joao RENDAS
rendas@i3s.unice.fr






Sommaire:
Le cours commence par une brève introduction aux notions basiques de la théorie de l'information : mesure d'information de Shannon, propriétés de l'entropie, entropie relative et  information mutuelle. Le problème de codage de source est alors abordé. Une attention spéciale sera donnée à la notion de codage universel. Cette notion est d'un intérêt fondamental non seulement pour la compréssion de données mais aussi pour les problèmes d'inférence statistique en général. Finalement, le lien avec le problème d'inférence statistique est traité : définition de complexité de Kolmogorov, compléxité stochastique comme solution d'un problème minimax, le principe de la longeur minimale de description (MDL) pour la sélection de modèles et les liens entre compression et prédiction.

Tout le long du cours, des exemples illustratifs seront proposés, tant que possible sur des signaux réels, ainsi que des exercices qui appliquent ou approfondissent les notions introduites.
Les devoirs proposés - en moyenne un par semaine -  ne sont pas obligatoires, mais les étudiants sont fortement conseillés de les résoudre. Les solutions de ces exercices seront mises sur le site web du cours (cette page), tant que possible dans la semaine suivante.

Des notes de cours seront disponibilisées périodiquement, résumant les points exposés pendant les cours. Ces notes sont complémentaires de la bibliographie indiquée en bas de cette page.

Un sommaire sera publié après chaque cours.

Notes de cours:


description
 scripts
 data
Illustration du calcul d'entropie, entropie conjointe et conditionnelle
(entropy is called by the other script, ExEntropy)
  ExEntropy
entropy
  image
Illustration de l'ensemble d-typique, codage avec pertes,...

 CountCandide.m
 Candide


Résume des cours

  1. 11/10/06 : Entropie, entropie conjointe et conditionnelle. Information mutuelle. Entropie relative (divergence de Kullback-Leibler).
  2. 13/10/05 : Propriété d'équi-répartition asymptotique, Theorème Shannon (Codage source)
  3. 25/10/05:  Codage source. Inégalité de Kraft-McMillan. Theorème codage source (sans pertes). Codes de Huffman
  4. 27/10/05:  Taux d'entropie. Notion de codage universel. Taux d'entropie pour les Chaînes de Markov.
  5. 8/11/05:   Algorithme de Lemple-Ziv (optimalité). Le principe MDL (Minimum Description Length) pour l'identification de modèles.
  6. 15/11/05   MDL: complexité parametrique d'un modèle. Relations avec GLRT, Bayes, et codage prédictif
  7. 29/11/05  Théorie de l'Information et Statistique. Lemmes de Sanov et de Stein. Borne de Chernov.

EXAM: 8 décembre 2006 9:00

Bibliograhie:

Notes additionnelles
Liens sur d'autres sites IT sur le Web: