Conceptes Fonamentals de la Teoria de la Informació

Quantitat d'Informació ($I$): Mesura la sorpresa d'un sol esdeveniment aïllat. Com menys probable és un fet, més informació aporta quan succeeix.

Bases del logaritme:

La base $b$ que utilitzis defineix la unitat en què mesures la informació: Base 2 == bits (la unitat per defecte). Base 3 == dits (unitat freqüent en preguntes trampa de teoria). Base $e$ == nats. Base 10 == hartleys o bans.

Entropia ($H$):

És la incertesa mitjana de tota una font d'informació (tenint en compte tots els seus símbols). També marca el límit teòric absolut de compressió d'aquelles dades.

Propietat fonamental:

L'entropia assoleix el seu valor màxim quan tots els esdeveniments són equiprobables (quan tenen exactament la mateixa probabilitat de sortir). En aquest cas, H = log_2(n), on $n$ és el nombre total de símbols.

2. Codificació de Font (Compressió):

L'objectiu aquí és assignar codis (com hem fet amb l'arbre de Huffman) per reduir la mida de la informació sense perdre'n res. Per avaluar si el codi que hem dissenyat és bo, usem dues mètriques:

Longitud Mitjana ($L$):

Indica quants bits estem gastant, de mitjana, per cada símbol transmès utilitzant el nostre codi.

Eficiència (n)

És la ràtio entre el límit teòric perfecte (Entropia) i el que realment estem gastant a la pràctica (Longitud Mitjana). Un codi es considera òptim si $L$ és el més propera possible a $H$. El valor ideal màxim és 1 (o 100%).

3. Canals de Comunicació:

aquesta part avalua què passa quan enviem dades i hi pot haver soroll. Treballarem amb matrius de probabilitat que relacionen els símbols d'Entrada (X o S) i els de Sortida rebuts (Y o R).
--Informació Mútua (I(X;Y)): Mesura quanta informació útil sobre l'entrada original ens proporciona el símbol que hem rebut a la sortida. (Nota: H(X|Y) és l'entropia condicionada, és a dir, la incertesa que encara ens queda sobre què es va enviar originalment, un cop ja hem vist què ha arribat a la sortida). --

Capacitat del Canal (C):

És el màxim teòric de transferència d'informació d'aquell canal net de soroll. Matemàticament, és el valor màxim possible de la Informació Mútua. Als exàmens acostumen a posar canals "totalment simètrics", on la capacitat es pot calcular ràpidament restant a l'entropia màxima de la sortida l'entropia d'una de les files de la matriu d'error.

4. Regles de Descodificació (Decisió):

Són els algorismes matemàtics per "endevinar" quin símbol ens van enviar originalment ($X$) a partir del símbol que hem rebut ($Y$). N'hi ha dues de principals: --Regla de Màxima Versemblança (MV): És la regla "ingènua". Només mira com deforma la informació el canal (la matriu d'errors). Per a un símbol rebut, tria l'entrada que tenia la probabilitat més gran de generar aquella sortida concreta. Ignora completament si un símbol s'envia més sovint que un altre en origen. Busca maximitzar P(Y|X). Regla de Màxim a Posteriori (MAP)
O Mínima Probabilitat d'Error (MPE)
: Aquesta és la regla "llesta". Té en compte les probabilitats de la font original. Combina la probabilitat inicial d'enviar un símbol amb la probabilitat d'error del canal per trobar la probabilitat conjunta (P(X, Y)). Presa decisions més precises.