Shannon-Entropie-Rechner – Informationsentropie
Berechnen Sie Informationsentropie und Unsicherheit in Wahrscheinlichkeitsverteilungen
Wie zu Verwenden
- Geben Sie Wahrscheinlichkeitswerte für jedes Ereignis ein (muss 1 ergeben)
- Fügen Sie bei Bedarf Wahrscheinlichkeitsfelder hinzu oder entfernen Sie sie
- Klicken Sie auf Berechnen, um die Shannon-Entropie zu ermitteln
- Zeigen Sie Entropie, maximale Entropie und normalisierte Entropie an
Was ist die Shannon-Entropie?
Die Shannon-Entropie, eingeführt von Claude Shannon 1948, ist ein Maß für den durchschnittlichen Informationsgehalt oder die Unsicherheit in einer Wahrscheinlichkeitsverteilung. Sie quantifiziert, wie viel Information im Durchschnitt benötigt wird, um das Ergebnis einer Zufallsvariablen zu beschreiben.
Die Formel für die Shannon-Entropie lautet H(X) = -Σ(p(x) × log₂(p(x))), wobei p(x) die Wahrscheinlichkeit des Ereignisses x ist. Die Entropie wird in Bits gemessen, wenn der Logarithmus zur Basis 2 verwendet wird.
Interpretation von Entropiewerten
Die Shannon-Entropie reicht von 0 bis log₂(n), wobei n die Anzahl möglicher Ereignisse ist:
- Minimale Entropie (0 Bits): Tritt auf, wenn ein Ereignis die Wahrscheinlichkeit 1 hat und alle anderen die Wahrscheinlichkeit 0 - vollständige Gewissheit, keine Unsicherheit
- Maximale Entropie (log₂(n) Bits): Tritt auf, wenn alle Ereignisse gleich wahrscheinlich sind - maximale Unsicherheit und Zufälligkeit
- Zwischenwerte: Zeigen teilweise Unsicherheit in der Verteilung an
Die normalisierte Entropie teilt die Entropie durch die maximale Entropie, um einen Wert zwischen 0 und 1 zu erhalten, was den Vergleich von Verteilungen mit unterschiedlichen Ereigniszahlen erleichtert.
Anwendungen der Shannon-Entropie
- Informationstheorie: Messung des Informationsgehalts bei der Datenübertragung
- Datenkompression: Bestimmung optimaler Kompressionsalgorithmen
- Maschinelles Lernen: Merkmalsauswahl und Konstruktion von Entscheidungsbäumen
- Kryptographie: Bewertung der Zufälligkeit und Sicherheit der Verschlüsselung
- Biologie: Analyse genetischer Vielfalt und Proteinsequenzen
- Wirtschaft: Messung der Marktdiversität und des Portfoliorisikos
- Natürliche Sprachverarbeitung: Analyse von Sprachmustern und Vorhersagbarkeit
Beispiele für Shannon-Entropie
Betrachten Sie diese Beispiele für Wahrscheinlichkeitsverteilungen:
| Verteilung | Wahrscheinlichkeiten | Entropie | Interpretation |
|---|---|---|---|
| Münzwurf | [0.5, 0.5] | 1 Bit | Maximale Entropie für 2 Ereignisse |
| Verzerrte Münze | [0.9, 0.1] | 0.47 Bits | Niedrigere Entropie - vorhersagbarer |
| Fairer Würfel | [1/6, 1/6, 1/6, 1/6, 1/6, 1/6] | 2.58 Bits | Maximale Entropie für 6 Ereignisse |
| Sicheres Ergebnis | [1.0, 0.0] | 0 Bits | Minimale Entropie - keine Unsicherheit |
Häufig gestellte Fragen
- Was misst die Shannon-Entropie?
- Die Shannon-Entropie misst den durchschnittlichen Informationsgehalt oder die Unsicherheit in einer Wahrscheinlichkeitsverteilung. Höhere Entropie deutet auf mehr Unsicherheit und Zufälligkeit hin, während niedrigere Entropie auf mehr Vorhersagbarkeit und Ordnung hinweist.
- Warum wird sie in Bits gemessen?
- Bei Verwendung des Logarithmus zur Basis 2 (log₂) wird die Entropie in Bits gemessen, da sie die durchschnittliche Anzahl binärer Fragen (Ja/Nein) darstellt, die zur Bestimmung des Ergebnisses erforderlich sind. Die Verwendung des natürlichen Logarithmus (ln) ergibt die Entropie in Nats.
- Was ist maximale Entropie?
- Maximale Entropie tritt auf, wenn alle Ereignisse gleich wahrscheinlich sind. Für n Ereignisse beträgt die maximale Entropie log₂(n) Bits. Dies stellt maximale Unsicherheit dar, bei der kein Ergebnis besser vorhergesagt werden kann als ein anderes.
- Wie wird die Shannon-Entropie im maschinellen Lernen verwendet?
- Im maschinellen Lernen wird die Shannon-Entropie zur Merkmalsauswahl, zur Messung des Informationsgewinns in Entscheidungsbäumen und zur Bewertung der Modellunsicherheit verwendet. Sie hilft zu identifizieren, welche Merkmale die meisten Informationen für Klassifizierungsaufgaben liefern.
- Kann die Entropie negativ sein?
- Nein, die Shannon-Entropie ist immer nicht-negativ. Der Mindestwert ist 0 (vollständige Gewissheit) und sie steigt mit der Unsicherheit. Das Maximum hängt von der Anzahl möglicher Ereignisse ab.