Unas notas sobre Shannon, fundador de la era de la Información


Imagen: The Sound of Applause, sf, Claude Shannon. Legends of Computing. Fuente: https://society6.com/product/claude-shannon-legends-of-computing_print

Unas notas sobre Shannon, fundador de la era de la Información

José Pérez de Lama

Ando estudiando a Shannon (1916-2001) desde algún tiempo. Tenía ganas y tras la lectura de una muy buena “biografía científica,” – un género que me gusta mucho -, A Mind at Play. How Claude Shannon Invented the Information Age, de Soni & Goodman (2017), me he puesto a tratar de entender un poco su célebre Teoría de la información, entre otras cosas. Mi interés por Shannon viene de la lectura de los libros de Neil Gershenfeld (2005, 2017), y de sus clases para la Fab Academy. (Gershenfeld es profesor del MIT y el iniciador y principal promotor de la red Fab Lab.) También de un intrigante comentario de Karin Ohlenschläger tras una charla en la que hablé de Bateson, otro pionero cibernético (y ecologista), que se preguntaba cómo habría sido la revolución digital si en lugar de estar inspirada en las ideas y modelos de Shannon lo hubiera estado en las de Bateson… Como conozco un poco a Bateson, tocaba estudiar a Shannon, y la verdad es que hasta ahora no sabía cómo empezar salvo algunas referencias sueltas y el haber ojeado un poco sus principales trabajos. La bio de Soni y Goodman me ha servido de estupenda introducción.

¿Qué hizo Shannon entonces? Por un lado, en 1937-38, con 21-22 años escribió lo que Gershenfeld, y muchos otros, califican como la mejor tesis de máster jamás escrita. Sólo por eso ya me daba curiosidad. Tenía el quizás poco atractivo título de A Symbolic Analysis of Switches and Relay Circuits. En aquel trabajo, partiendo de los interruptores y relés (switches and relays) con los que trabajan en la época las redes telefónicas y que empezaban a aplicarse al control de los ordenadores analógicos, estableció que sus operaciones podían ser sustituidas por combinaciones de elementos que pudieran adoptar dos posiciones (on/off, 1/0), aplicando la lógica de Boole. Esta lógica, publicada en 1854, y hasta entonces considerada poco más que una curiosidad, se estructuraba completamente en torno a proposiciones que se resolvían alternativamente como true o false (verdadero/falso). Como consecuencia de este salto conceptual de Shannon aparecen lo que hoy se conoce como puertas lógicas (8 operaciones booleanas: AND, OR, NOT, NAND, NOR, XOR & XNOR)[1] que están en la base del funcionamiento de todos los dispositivos electrónicos, desde los pequeños transistores a los ordenadores. Y gracias a esto se produce la transición de los ordenadores analógicos (mecánicos y basados en las magnitudes continuas y el cálculo diferencial) que se habían usado durante algunas décadas del siglo XX, a los ordenadores digitales basados en unidades discretas 1/0.

La cosa, no obstante, fue más allá. Y 10 años después (1948) publicó un nuevo artículo – que luego se convertiría en libro – titulado A Mathematical Theory of Communication, en el que extendió su idea de operar con cantidades discretas, que aquí ya denomina bits, al mundo de la comunicación/información. Aquí sienta las bases definitivas para que la comunicación se produjera mediante unidades discretas de unos y ceros, con el potencial de unificar todas las formas de comunicación que hasta entonces se consideraban cualitativamente diferentes (texto, voz, imagen… cable, ondas…), así como de conectar en un mismo mundo – filum tecnológico quizás podría decirse – el territorio de la computación y el de la comunicación.

El libro, como indica el título, es bastante matemático en cuanto a su análisis de la comunicación y a las demostraciones de sus diferentes teoremas y conclusiones. Pero pueden hacerse, desde luego, algunas observaciones desde una perspectiva “laica.” Aún así, mirando los primeros capítulos más bien parece que son el enfoque y los conceptos lo que resultan sorprendentes y quizás a veces difíciles de entender, mientras que las matemáticas concretas – probabilidad y operaciones con logaritmos – no parecen tan complicadas. Ya dirán algo, a lo mejor, l*s amig*s matemátic*s.

La primera es que a través de una reconceptualización de la comunicación, establece una forma de medir la cantidad de información (los dígitos binarios o bits), algo que hasta entonces había sido impensable. La posibilidad de medir la cantidad de información, le permite a continuación establecer que cuando la comunicación se produce mediante códigos y señales discretas es posible, dentro de ciertos umbrales de ruido y capacidad del canal de comunicación, enviar y recibir mensajes con un margen de error extremadamente pequeños y que es posible conocer y corregir, dentro de ciertos umbrales. Esto es posible gracias a la manera en que se codifican los mensajes – usando la redundancia adecuada – y a la correcta adecuación entre la cantidad de información enviada (H) y la capacidad del canal (C). Las consecuencias de este descubrimiento son extraordinarias: podemos tener la seguridad que adecuadamente diseñada la comunicación será perfecta (y de aquí que podamos andar por casa con el móvil viendo un vídeo en streaming or wifi, por ejemplo), y también que nuestros ordenadores, al menos el hardware, también funcionarán sin fallos (o más bien con fallos infinitesimalmente pequeños y acotados que pueden ser corregidos con las configiraciones adecuadas). Gershenfeld subraya que se trata entonces de la posibilidad de producir operaciones perfectas de un sistema compuesto por elementos individuales imperfectos; una especie de milagro de los panes y los peces, esto lo digo yo.


Imagen: Representación del rango en que es posible enviar mensajes sin que haya error en un tipo de comunicación discreta. La entropía (H) en la terminología de Shannon es equivalente a la información. Shannon & Weaver, 1949, p. 71. Para una buena explicación de este asunto véase Gershenfeld 2005 pp. 231-233.

Trataré de escribir algo más sobre Shannon, pero de momento os dejo la traducción a su Mathematical Theory of Information, en la que se ve el estilo, y al menos yo, intuyo parte de lo que implican sus descubrimientos:

*

The (A) Mathematical Theory of Communication

by Claude E. Shannon (1949)

Fuente: http://www.magmamater.cl/MatheComm.pdf [2]

Traducción: JPL / 28/11/2018

Introducción

El reciente desarrollo de varios métodos de modulación tales como PCT y PPM [3] que intercambian ancho de banda por razón señal/ruido ha intensificado el interés en una teoría general de la comunicación. Una base para esta teoría se encuentra en los importantes artículos de Nyquist y Hartley sobre este tema. [a1] En el presente artículo extenderemos la teoría para incluir nuevos factores, en particular, (1) el efecto del ruido en el canal, y (2) los ahorros posibles gracias a la estructura estadística [nota 01] del mensaje original y (3) a la naturaleza del destino final de la información.

El problema fundamental de la comunicación es el de reproducir en un punto, bien exactamente, bien aproximadamente, un mensaje seleccionado en otro punto. Frecuentemente los mensajes tienen significado; esto es, refieren a, – o están correlacionados de acuerdo con algún sistema con -, ciertas entidades físicas o conceptuales. Estos aspectos semánticos de la comunicación son irrelevantes para el problema de ingeniería. El aspecto significativo es que el mensaje concreto es uno seleccionado entre un conjunto de posibles mensajes. El sistema debe ser diseñado para funcionar para cada una de las selecciones posibles, no sólo para la que será concretamente seleccionada, puesto que esto es desconocido en el momento del diseño.

Si el número de mensajes en el conjunto es finito, entonces este número o alguna función monotónica de este número puede ser considerada como una medida de la información producida cuando se elige un mensaje del conjunto cuando todas las opciones sean igualmente posibles. Tal como fue señalado por Hartley la opción más natural es la función logarítmica. Aunque esta definición deba ser considerablemente generalizada cuando consideremos la influencia de la estadística del mensaje y cuando tengamos un rango continuo de mensajes, usaremos en todos los casos una medida esencialmente logarítmica.

La medida logarítmica es más conveniente por varias razones:

1. Es prácticamente más útil. Los parámetros de importancia para la ingeniería tales como el tiempo, el ancho de banda, el numero de relés, etc. tienden a variar linealmente con el logaritmo del número de posibilidades. Por ejemplo, añadiendo un relé a un grupo duplica el número de posibles estados de los relés. Añade 1 al logaritmo de base 2 de este número. Duplicar el tiempo aproximadamente eleva al cuadrado el número de posibles mensajes o duplica el logaritmo, etc. [4]

2. Está más próximo a nuestra percepción intuitiva de la medida apropiada. Esto está estrechamente relacionado con el punto anterior ya que intuitivamente medimos las entidades por comparación lineal con los estándares comunes. Uno percibe, por ejemplo, que dos tarjetas perforadas deben tener el doble de capacidad que una sola tarjeta para el almacenamiento de información, y que dos canales idénticos duplican la capacidad de uno solo canal para transmitir la información.

3. Es matemáticamente más adecuado. Muchas de las operaciones con límites son sencillas en términos de logaritmos pero necesitarían de torpes transformaciones (restatements) en términos del número de posibilidades. La elección de una base logarítmica se corresponde con la elección de la unidad para medir la información. Si se usa la base 2 las unidades resultantes pueden ser denominadas dígitos binarios (binary digits), o más brevemente, bits, un término sugerido por J. W. Tukey. Un dispositivo con dos posiciones estables, tal como un relé o un circuito flip-flop, puede almacenar un bit de información. N dispositivos del mismo tipo pueden almacenar N bits, ya que el número de estados posibles es 2 elevado a N y el logaritmo base 2 de 2 elevado a N es igual a N. Si se usa la base 10 las unidades pueden ser llamadas dígitos decimales.[5] Puesto que:

un dígito decimal es aproximadamente 3+ 1/3 bits. Una rueda de dígitos en una máquina de computación tiene diez posiciones estables y por tanto tiene una capacidad de un dígito decimal. En un trabajo analítico que implica integrales y diferenciales la base e es útil en ocasiones. Las unidades de información resultantes se llamarán unidades naturales. El cambio de base a a base b simplemente requiere de multiplicar por logaritmo base a de b.

Con sistema de comunicación nos referiremos a un sistema del tipo indicado esquemáticamente en la figura 1. Consiste esencialmente de cinco partes:

1. Una fuente de información (source) que produce un mensaje o secuencia de mensajes (message) para ser comunicados a una terminal receptora. El mensaje puede ser de diferentes tipos: (a) una secuencia de letras como en un telégrafo o un sistema de teletipo; (b) una única función de tiempo f(t) como en la radio o la telefonía; (c) una función del tiempo y de otras variables como una la televisión en blanco y negro – aquí el mensaje puede pensarse como una función f(x,y,t) de dos coordenadas espaciales y del tiempo, la intensidad lumínica en el punto (x,y) y el tiempo t en la placa de un tubo receptor; (d) dos o más funciones, digamos f(t), g(t), h(t) – este es el caso de la transmisión “tridimensional” de sonido o si el sistema está destinado a servir a varios canales individuales en múltiplex; (e) varias funciones de varias variables – en la televisión en color el mensaje consiste en tres funciones f(x,y,t), g(x,y,t), h(x,y, t) definidas en un continuo tridimensional – también podemos pensar estas funciones como componentes de un campo de vectores definido en la región – de forma similar la televisión en blanco y negro produciría “mensajes” consistentes en un número de funciones de tres variables; (f) también ocurren diversas combinaciones, por ejemplo, en televisión con un canal de audio asociado.


Imagen: Shannon, 1949, p. 34. El diagrama de elementos de la comunicación que muchos conocerán, quizás de la educación secundaria. Siempre que me lo habían enseñado me había parecido algo simple. Veo aquí que se trata de un importante ejercicio de abstracción, que permite por un lado, equiparar todos los sistemas de comunicación, al menos como subraya Shannon, desde una perspectiva ingenieril o técnica, y por otro, permite a Shannon, definir, estudiar y establecer teoremas matemáticas para cada uno de sus componentes o procesos.

2. Un transmisor (transmitter) que opera sobre el mensaje de alguna manera para producir una señal (signal) adecuada para su transmisión a través del canal. En telefonía esta operación consiste simplemente en transformar las presiones de sonido en corriente eléctrica proporcional. En telegrafía tenemos una operación de codificación que produce en el canal una secuencia de puntos, lineas y espacios que se corresponden con el mensaje. En un sistema PCM múltiplex las diferentes funciones de habla deben ser sampleadas, comprimidas, cuantizadas (quantized) y codificadas, y finalmente adecuadamente intercaladas para construir la señal. Los sistemas Vocoder [6] son otros ejemplos de operaciones complejas aplicadas al mensaje para obtener la señal.

3. El canal (channel) es simplemente el medio usado para transmitir la señal desde el transmisor al receptor (receiver). Puede ser un par de cables (wires), un cable coaxial, una banda de radiofrecuencia, un haz de luz, etc. Durante la transmisión en alguna de las terminales, la señal puede ser perturbada por ruido (noise). Esto se indica esquemáticamente en la figura 1 mediante la fuente de ruido actuando sobre la señal transmitida para producir la señal recibida.

4. El receptor normalmente realiza la operación inversa del transmisor, reconstruyendo el mensaje a partir de la señal.

5. El destino (destination) es la persona (o cosa) a quien se trata de dirigir el mensaje.

Queremos considera ciertos problemas generales que afectan a los sistemas de comunicación. Para hacerlo es necesario representar como entidades matemáticas los diferentes elementos implicados, adecuadamente idealizadas respecto de sus contrapartes físicas. Podemos clasificar los sistemas de comunicación en tres grandes categorías: discretos, continuos y mixtos. Con sistema discreto nos referiremos a uno en el que el mensaje y la señal consisten en una secuencia discreta de símbolos. Un caso típico es el telégrafo en el que el mensaje es una secuencia de letras y la señal una secuencia de puntos, líneas y espacios. Una sistema continuo es uno en el que el mensaje y la señal son tratados como funciones continuas, e.g., la radio o la televisión. Un sistema mixto es uno en el que aparecen variables discretas y continuas, e.g., la transmisión PCM de voz.

Primero consideramos el caso discreto. Este caso tiene implicaciones no solo en teoría de la comunicación, sino también en la teoría de las máquinas de computación [nota xx], el diseño de centralitas de telefonía y otros campos. Adicionalmente, el caso discreto conforma los fundamentos para los casos continuo y mixto que serán tratados en la segunda parte del artículo.

*
*       *

#notas originales del texto de Shannon

[a1] Nyquist, H., “Certain Factors Affecting Telegraph Speed,” Bell System Technical Journal, April 1924, p. 324; “Certain Topics in Telegraph Transmission Theory,” A.I.E.E. Trans., v 47, April 1928, p 617 & Hartley, R. V. L., “Transmission of Information,” Bell System Technical Journal, July 1928, p. 535.

#notas a la presentación y la traducción

[1] Sobre puertas lógicas puede verse la entrada en Wikipedia: https://en.wikipedia.org/wiki/Logic_gate

[2] La traducción es de la edición de 1964 de The Mathematical Theory of Communication, pp. 31-35.

[3] PCT (Pulse Code Modulation) & PPM (Prediction by Partial Matching) eran sistemas de codificación de la señal y los códigos con los que se experimentaba en aquellos años, véase Chiu et al, p. 10.

[4] Para los “no demasiado matemáticos” esto se entiende bien con el típico cuadro de bits y posibles “elecciones,” o combinaciones de unos y ceros. Para un bit hay dos posibles elecciones, 1 & 0. Aumentando el número de bits las elecciones posibles son las diferentes combinaciones de unos y ceros, cuyo número es igual a 2 elevado a N, _ y a la inversa, la cantidad de información (medida en bits) es igual al logaritmo base 2 del número de elecciones posibles.


[5] Disculpas por la fea notación de los logaritmos; no he sabido hacerlo mejor de momento con este template de wp.

[6] Vocoder era una sistema de codificación de voz humana con el que se experimentaba desde los años 30.

#referencias

George Boole, (1854), An Investigation of the Laws of Thought: http://www.gutenberg.org/ebooks/15114 | accedido 29/11/2018

Chiu et al, 2001, Mathematical Theory of Claude Shannon. A study of the style and context of his work up to the genesis of information theory; documento online MIT disponible en: http://web.mit.edu/6.933/www/Fall2001/Shannon1.pdf | accedido 30/11/2018

Neil Gershenfeld et al, 2017, Designing Reality. How to Survive and Thrive in the Third Digital Revolution, Basic Books, Nueva York

Neil Gershenfeld, 2005, Fab. The Coming Revolution on Your Desktop – From Personal Computers to Personal Fabrication, Basic Books, Nueva York

Claude E. Shannon, 1938, Symbolic Analysis of Switches and Relay Circuitshttps://www.cs.virginia.edu/~evans/greatworks/shannon38.pdf | accedido 29/11/2018

____, 1948, A Mathematical Theory of Communication, Bell System Technical Journal, 27, pp. 379–423 & 623–656, July & October, 1948.

Claude E. Shannon & Warren Weaver, 1964 (primera edición de 1949), The Mathematical Theory of Communication, University of Illinois, Urbana | disponible en: http://www.magmamater.cl/MatheComm.pdf | accedido 30/11/2018

Jimmy Soni & Rob Goodman, 2017, A Mind at Play. How Claude Shannon Invented the Information Age, Simon & Schuster, Nueva York

Ian Stewart, 2013, 17 Equations that Changed the World, Profile Books, Londres; capítulo Codes, communications, and computers, pp. 265-282

Wikipedia, sf, Logic Gate, en: https://en.wikipedia.org/wiki/Logic_gate | accedido 29/11/2018

___, sf, Information Theory, en: https://en.wikipedia.org/wiki/Information_theory | accedido 30/11/2018

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.