Codificación y telecomunicaciones: entropía, Huffman, PCM y códigos eficientes

Codificación y telecomunicaciones: conceptos esenciales

✅ 1) Diferencia entre código instantáneo y separable

Un código separable garantiza que símbolos distintos produzcan secuencias distintas, aunque puede requerir mirar bits posteriores para decodificar. En cambio, un código instantáneo (o prefijo) asegura que ninguna palabra sea prefijo de otra, lo que permite la decodificación inmediata. Por ello, todos los códigos instantáneos son separables, pero no todos los separables son instantáneos.

✅ 2) ¿Cuándo es un código óptimo?

Un código es óptimo cuando su longitud media es mínima para una fuente dada; es decir, cuando la longitud media se iguala o se aproxima lo más posible a la entropía. Esto refleja el mejor uso posible de los bits para representar los símbolos.

✅ 3) ¿Qué mide la entropía?

La entropía mide la información promedio de una fuente y la incertidumbre asociada a sus símbolos. Representa el número mínimo de bits necesarios, en promedio, para codificar sin pérdidas.

✅ 4) ¿Qué es la eficiencia de un código?

La eficiencia de un código es la relación entre la entropía y la longitud media del código. Indica cuán cerca se está del límite teórico óptimo: cuanto mayor sea la eficiencia, más eficaz es la codificación.

✅ 5) Propiedades del código de Huffman

El código de Huffman genera un código prefijo con longitud media mínima según las probabilidades de los símbolos. Es instantáneo y óptimo dentro del conjunto de códigos de prefijo, asignando palabras más cortas a los símbolos más probables.

✅ 12) Para una fuente con 8 símbolos equiprobables, ¿es óptimo un código de longitud fija?

Sí. Con 8 símbolos equiprobables la probabilidad de cada símbolo es 1/8 = 2^-3, por lo que la fuente es diádica y su entropía vale 3 bits/símbolo. Un código de longitud fija usaría también 3 bits por símbolo, igual que Huffman; por tanto, ambos son óptimos y alcanzan la longitud mínima posible.

✅ 6) ¿Cuándo puede ser óptimo un código de longitud fija?

Un código de longitud fija es óptimo cuando la fuente es equiprobable o diádica (es decir, cuando las probabilidades son potencias de 1/2). En ese caso, todos los símbolos requieren el mismo número mínimo de bits.

✅ 7) ¿Qué es un código Rice‑m?

El código Rice‑m codifica números enteros dividiéndolos en cociente y resto respecto a 2^m. Es eficiente cuando los valores pequeños son mucho más probables que los grandes, como suele ocurrir en señales de voz o imagen.

✅ 8) Relación Δ – D – SNR en PCM

El tamaño del paso de cuantificación Δ determina el error de cuantización: cuanto menor es Δ, menor es la distorsión. Aproximadamente, la distorsión promedio D se relaciona con Δ como D ≈ Δ²/12. Reducir Δ mejora la precisión y la relación señal‑ruido (SNR), pero aumenta el número de bits necesarios para representar la señal.

✅ 9) ¿En qué consiste el teorema de muestreo?

El teorema de muestreo establece que una señal limitada en banda, con ancho de banda W, puede reconstruirse perfectamente si se muestrea a una frecuencia mayor que 2W (frecuencia de Nyquist). Si no se cumple esta condición, se produce aliasing y se pierde información.

✅ 10) Diferencia entre codificación independiente y vectorial

En la codificación independiente cada componente se codifica por separado, lo que simplifica el procesamiento. En la codificación vectorial se codifican varios valores conjuntamente para aprovechar correlaciones entre componentes, logrando mayor eficiencia a costa de una mayor complejidad.

✅ 11) Para una fuente con 10 símbolos equiprobables, ¿coincide la longitud media del código Huffman con la entropía?

No. Aunque Huffman produce la mejor longitud media posible para una fuente discreta y conocida, la longitud media coincide exactamente con la entropía únicamente cuando la fuente es diádica (es decir, cuando las probabilidades se expresan como potencias de 1/2). Con 10 símbolos equiprobables cada probabilidad es 1/10, que no es potencia de 1/2; por tanto, la longitud media obtenida por Huffman será necesariamente mayor que la entropía.