La Teoría de la Información

in GEMS3 months ago


library.png
La foto de la portada es una imagen de libre uso de Pixabay y editada por @abdulmath con GIMP, los emoji son creados con Bitmoji



La Teoría de la Información responde a dos preguntas fundamentales en la teoría de la comunicación.


La primera es: ¿Cuál es la compresión de datos definitiva? cuya respuesta es la entropía H ).

Ls Segunda es: ¿Cuál es la máxima tasa de transmisión de la comunicación? en ese caso la respuesta es: la capacidad del canal C.



Por esta razón, algunos consideran que la Teoría de la Información es un subconjunto de la Teoría de la Comunicación.


Pero en realidad es mucho más que eso.

De hecho, está tiene contribuciones fundamentales en diversas áreas, como en la física estadística, por ejemplo la termodinámica; en la ciencia computacional, por ejemplo, la complejidad de Kolmogorov o complejidad algorítmica; en la inferencia estadística, por ejemplo, la navaja de Occam: La explicación más simple es la mejor; en la probabilidad y la estadística, por ejemplo en exponentes de error para la prueba de hipótesis y la estimación óptima.



information.png
Imagen de Pixabay y editada por @abdulmath con GIMP.


Ingeniería Eléctrica (Teoría de la Comunicación)


A principios de la década de 1940 se pensaba que era imposible enviar información a una tasa positiva con una probabilidad de error despreciable.


Shannon sorprendió a la comunidad de la teoría de la comunicación al demostrar que la probabilidad de error podía hacerse casi nula para todas las tasas de comunicación inferiores a la capacidad del canal.

La capacidad puede calcularse simplemente a partir de las características del ruido del canal.


Shannon argumentó además que los procesos aleatorios, como la música y el habla, tienen una complejidad irreducible por debajo de la cual la señal no puede comprimirse.


A esto lo denominó entropía, en deferencia al uso paralelo de esta palabra en termodinámica, y argumentó que si la entropía de la fuente es menor que la capacidad del canal, se puede lograr una comunicación asintóticamente libre de errores.


La teoría de la información representa hoy los puntos extremos del conjunto de todos los esquemas de comunicación posibles.


El mínimo de la compresión de los datos se encuentra en un extremo del conjunto de ideas de comunicación.

Todos los esquemas de compresión de datos requieren tasas de descripción al menos iguales a este mínimo. En el otro extremo se encuentra el máximo de transmisión de datos, conocido como la capacidad del canal. Así, todos los esquemas de modulación y compresión de datos se sitúan entre estos límites.


La teoría de la información también sugiere medios para alcanzar estos límites máximos de comunicación.


Sin embargo, estos esquemas de comunicación teóricamente óptimos, por muy bonitos que sean, pueden resultar poco prácticos desde el punto de vista computacional.

Sólo por la viabilidad computacional de los esquemas simples de modulación y demodulación los utilizamos en lugar de la codificación aleatoria y la regla de decodificación del vecino más cercano sugeridas por la prueba de Shannon del teorema de capacidad del canal.


Los avances en los circuitos integrados y en el diseño de códigos nos han permitido obtener algunas de las ventajas sugeridas por la teoría de Shannon.


La practicidad computacional se logró finalmente con la llegada de los códigos turbo. Un buen ejemplo de aplicación de las ideas de la teoría de la información es el uso de códigos de corrección de errores en discos compactos y DVD.


Los trabajos recientes sobre los aspectos de la teoría de la información relacionados con la comunicación se han centrado en la teoría de la información de redes: la teoría de las tasas simultáneas de comunicación de muchos emisores a muchos receptores en presencia de interferencias y ruido.


Algunas de las compensaciones de tasas entre emisores y receptores son inesperadas, y todas tienen una cierta simplicidad matemática. Sin embargo, queda por encontrar una teoría unificadora.



problem.png
Imagen de Pixabay y editada por @abdulmath con GIMP.


Ciencias de la Computación (Complejidad de Kolmogorov)


Kolmogorov, Chaitin y Solomonoff propusieron la idea de que la complejidad de una cadena de datos puede definirse por la longitud del programa informático binario más corto para calcular la cadena.


Así, la complejidad es la longitud mínima de la descripción.

Esta definición de complejidad resulta ser universal, es decir, independiente del ordenador, y tiene una importancia fundamental.



Así, la complejidad de Kolmogorov sienta las bases de la teoría de la complejidad descriptiva.


Resulta gratificante que la complejidad de Kolmogorov K sea aproximadamente igual a la entropía de Shannon H si la secuencia se extrae al azar de una distribución que tiene entropía H.

Por tanto, la relación entre la teoría de la información y la complejidad de Kolmogorov es perfecta.


De hecho, consideramos que la complejidad de Kolmogorov es más fundamental que la entropía de Shannon. Es la máxima compresión de datos y conduce a un procedimiento lógicamente consistente para la inferencia.


Existe una agradable relación complementaria entre la complejidad algorítmica y la complejidad computacional. Se puede pensar en la complejidad computacional (complejidad temporal) y en la complejidad de Kolmogorov (longitud del programa o complejidad descriptiva) como dos ejes correspondientes al tiempo de ejecución del programa y a la longitud del programa.

La complejidad de Kolmogorov se centra en minimizar a lo largo del segundo eje, y la complejidad computacional se centra en minimizar a lo largo del primer eje. Se han realizado pocos trabajos sobre la minimización simultánea de ambas.


Física (Termodinámica)



La mecánica estadística es la cuna de la entropía y de la segunda ley de la termodinámica.


La entropía siempre aumenta.

Entre otras cosas, la segunda ley permite descartar cualquier afirmación sobre las máquinas de movimiento perpetuo.


Matemáticas (teoría de la probabilidad y estadística)



Las magnitudes fundamentales de la teoría de la información --entropía, entropía relativa e información mutua--se definen como funcionales de las distribuciones de probabilidad.


A su vez, caracterizan el comportamiento de largas secuencias de variables aleatorias y nos permiten estimar las probabilidades de eventos raros (teoría de la gran desviación) y encontrar el mejor exponente de error en las pruebas de hipótesis.


Economía (Inversión)



La inversión repetida en un mercado de valores estacionario da lugar a un crecimiento exponencial de la riqueza.


La tasa de crecimiento de la riqueza es un dual de la tasa de entropía del mercado de valores.

Los paralelismos entre la teoría de la inversión óptima en el mercado de valores y la teoría de la información son sorprendentes. Desarrollamos la teoría de la inversión para explorar esta dualidad.



information.png
Imagen de Pixabay y editada por @abdulmath con GIMP.


Filosofía de la Ciencia (La Navaja de Occam)



Guillermo de Occam dijo: Las causas no deben multiplicarse más allá de lo necesario, o parafraseándolo, La explicación más sencilla es la mejor.


Solomonoff y Chaitin argumentaron de forma persuasiva que se obtiene un procedimiento de predicción universalmente bueno si se toma una combinación ponderada de todos los programas que explican los datos y se observa lo que imprimen a continuación.


Además, esta inferencia funcionará en muchos problemas no tratados por la estadística. Por ejemplo, este procedimiento acabará prediciendo los siguientes dígitos de pi.


Cuando se aplica al mercado de valores, el procedimiento debería encontrar esencialmente todas las leyes del mercado de valores y extrapolarlas de forma óptima.

En principio, este procedimiento habría encontrado las leyes físicas de Newton. Por supuesto, esta inferencia es muy poco práctica, porque eliminar todos los programas informáticos que no generan datos existentes llevaría un tiempo imposible. Predeciríamos lo que ocurre mañana dentro de cien años.


Computación vs. Comunicación



A medida que construimos computadores más grandes a partir de componentes más pequeños, nos encontramos con un límite de cálculo y un límite de comunicación.


La computación está limitada por la comunicación y la comunicación está limitada por la computación.

Estos límites se entrelazan y, por tanto, todos los desarrollos de la teoría de la comunicación a través de la teoría de la información deberían tener un impacto directo en la teoría de la computación.



science00.png
Imagen de Pixabay y editada por @abdulmath con GIMP, e Inkscape.


Espero que les haya gustado este interesante tema acerca de la Teoría de la Información, no te pierdas las próximas publicaciones donde abordaré otros temas interesantes. Si deseas ampliar más te invito a leer las siguientes referencias:

  1. N. M. Abramson. Information Theory and Coding. McGraw-Hill, New York, 1963.
  2. Y. S. Abu-Mostafa. Information theory. Complexity, pages 25–28, Nov. 1989.
  3. D. E. Knuth. Art of Computer Programming.
  4. A. N. Kolmogorov. On the Shannon theory of information transmission in the case of continuous signals. IRE Trans. Inf. Theory, IT-2:102–108, Sept. 1956.
  5. A. N. Kolmogorov. Logical basis for information theory and probability theory. IEEE Trans. Inf. Theory, IT-14:662–664, 1968.
  6. R. J. Solomonoff. A formal theory of inductive inference. Inf. Control, 7:1–22,224–254, 1964.


HiveFirma.png


Sort:  

Your post has been curated by us! Received 20.00% upvote from @opb. Do consider delegate to us to help support our project.

Do join our discord channel to give us feedback, https://discord.gg/bwb2ENt

* This bot is upvoting based on the criteria : 1. Not plagiarised, 2. Persistent previous quality posts, 3. Active engagement with other users
Do upvote this commment if you 💚 our service :)