Fundamentos de la Teoría de la Información y Capacidad de Canal

--la capacidad de un canal de comunicación es la cantidad máxima de información que puede transportar dicho canal de información fiable. Es decir con una probabilidad de error tan pequema como se querrá normalmente expresar en pbs.

--existen 2 definicones equivalentes entre si del concepto capacidad de un canal una es para canales de tiempo continuo y otro es para canales en el tiempo discreto.

--canal discreto, sin memoria esta definido por un alfabeto de entrada x que es el conjunto de símbolos x={x1,x2,...Xn} que pueden ser transmitidos por el canal, el alfabeto de salida y={y1,y2,..Ym} que pueden ser recibidos por la salida del canal. Se define la entropía de entrada, entropía de salida y entropía de entrada condicionada por la salida como

--canales continuos para canales contiunos de capacidad es diferente y exige utilizar el teorema de muestreo y algunos otros conceptos estadísticos. Claude shannon demostró en 1949 que la capacidad teórica máxima de un canal de comunicaciones limitado en banda de ruido awgn (ruido blanco aditivo gausiano) responde a la ecuación l=Blog2(1+snr) esta ecuación muestra que la capacidad de un canal esta limitada por su ancho de banda B y por su señal/ruido SNR.

--la eficiencia espectral máxima depende de la calidad del canal (de su nivel de ruido)

--propiedad asintotica de equiparticion (AEP)
, es una propiedad desarrollada en la teoría de la información análoga, esta propiedad establece que la probabilidad de observar una secuencia x1,x2,x3,...,xn procedente de una fuente f es próxima 2 a la -nH

mientras que la ley de los grandes números nos decía que para variables aleatoria independientes e idénticamente distribuidas

cuando n tiende a infinito, en cualquier caso la AEP nos permite separar las secuencias generadas. Existen 2 tipos; típicas y atípicas.

-- es posible que podamos ser capaces de producir la probabilidadde la secuencia que observamos, al preguntar por la probabilidad p(x1,x2,...,xn) donde x1,x2,...,xn son independientes e idénticamente distribuidos, estamos aparentemente preguntando por un evento realizado de acuerdo con una misma distribución de probabilidad, procurando demostrar que p(x1,x2,...,xn) esta cerca de 2 a la -nH con alta probabilidad proponemos decir que si x1,x2,..,xn son independientes e idénticamente distribuidos se cumple que la probabilidad de la secuencia:

pr{(x1,x2,...,xn)/p(x1,x2,...,xn)=2 a la -nH) = 1

codificación de fuentes

- combinamos Ax={x1,x2,..Xn} al conjunto de símbolos de un alfabeto dado, se define un código como la de todas las secuencias de algún alfabeto D-ario Ad sin pedida a generalidades  podemos asumir que Ad={0,1,...D-1} Ax recibe el nombre de alfabeto fuente y Ad de alfabeto código.

- un código bloque es aquel que signa cada uno de los símbolos del alfabeto Ax a una secuencia fija de símbolos del alfabeto código Ad. Cada una de estas secuencias fijas reciben el nombre de palabra código.

Xi-------c----c(xi)

c=código bloque

la longitud de una plabra código c(xi) es _____________de símbolos del alfabeto Ad que la forman. Definimos longitud media de un código como

códigos no singulares, un código bloque se denomina no singular si todas son palabras distintas,

 ---códigos unívocamente decodificables, un código c no singular se denomina univocamnte decodificable si dos secuencias de fuente distintas y arbitrarias siempre tienen distintos códigos.

---existen 2 tipos de códigos univocamnete decodificables, 1. Código no prefijo 2. Códigos prefijo ó instantáneos.

un código unívocamente decodificable se denomina instantáneo cuando es posible decodificar las lpalabras de una secuencia sin prefijar el contenido de los símbolos que la suceden.

todos los códigos , código no singulares, condigo uniocamente decodificables, códigos instantáneos.

---codificación de datos,tipos de procesamiento de la información (codec),

1. Código de línea, se utiliza para enviar datos junto con el reloj por el mismo par.Utiliza los códigos de línea redundables.

2 codec vocal, es la codificación para comprimir la velocidad de 64 kbits/seg de los canales de telefonía satelital y celular. La codificación dpcm también se aplica para señales de video, la codificación p refictiva lineal LPC es mas efectiva que DPCM desde el punto de vista de reducion de velocidad costo de calidad y retardo de procesamiento. Dpcm se utiliza en telofonia satelital y lpc en celular.