Lexikon
Informatiọnstheorie
die Lehre vom Entstehen, Aufbewahren, Neuformen und Übermitteln einer Information als messbare Nachricht. Die Informationsmenge in einer Nachricht wird gemessen durch die Anzahl der Zeichen, die nötig sind, um die Nachricht in einem Code von lauter Nullen und Einsen auszudrücken. Die Einheit der Informationsmenge wird dann durch eines der Zeichen 0 oder 1 dargestellt; man nennt sie 1 bit (Bit). Das deutsche Alphabet z. B. umfasst mit den Satzzeichen und dem Wortzwischenraum 32 Zeichen, von denen jedes durch eine Dualzahl ausgedrückt werden kann, z. B. a ≙ 00001, b ≙ 00010 usw. Es kommt also jedem Buchstaben des Alphabets die Informationsmenge 5 bit zu. Allgemein enthält jedes Element einer Menge En von n Elementen die Informationsmenge: 
