Informatiọnstheorie

die Lehre vom Entstehen, Aufbewahren, Neuformen und Übermitteln einer Information als messbare Nachricht. Die Informationsmenge in einer Nachricht wird gemessen durch die Anzahl der Zeichen, die nötig sind, um die Nachricht in einem Code von lauter Nullen und Einsen auszudrücken. Die Einheit der Informationsmenge wird dann durch eines der Zeichen 0 oder 1 dargestellt; man nennt sie 1 bit (Bit). Das deutsche Alphabet z. B. umfasst mit den Satzzeichen und dem Wortzwischenraum 32 Zeichen, von denen jedes durch eine Dualzahl ausgedrückt werden kann, z. B. a ≙ 00001, b ≙ 00010 usw. Es kommt also jedem Buchstaben des Alphabets die Informationsmenge 5 bit zu. Allgemein enthält jedes Element einer Menge E_n von n Elementen die Informationsmenge:

Eine Information bedingt ein gewisses Maß an Ordnung, da sie Unbestimmtheiten (Unsicherheiten) ausschaltet. Ein Maß für die Geordnetheit ist die negative Entropie (Negentropie); dieser Begriff wurde in Analogie zur Entropie der Thermodynamik gebildet, wo er die Ungeordnetheit zum Ausdruck bringt.

Die Informationstheorie, die von C. E. Shannon und N. Wiener zwischen 1942 und 1948 begründet wurde, findet vor allem in der EDV- und Nachrichtentechnik ihre praktische Anwendung.