Shannon Entropie Calculator – Informatie-entropie
Bereken informatie-entropie en onzekerheid in waarschijnlijkheidsverdelingen
Hoe te Gebruiken
- Voer waarschijnlijkheidswaarden in voor elke gebeurtenis (moet optellen tot 1)
- Voeg waarschijnlijkheidsvelden toe of verwijder ze indien nodig
- Klik op berekenen om Shannon entropie te verkrijgen
- Bekijk entropie, maximale entropie en genormaliseerde entropie
Wat is Shannon Entropie?
Shannon Entropie, geïntroduceerd door Claude Shannon in 1948, is een maat voor de gemiddelde informatie-inhoud of onzekerheid in een waarschijnlijkheidsverdeling. Het kwantificeert hoeveel informatie gemiddeld nodig is om de uitkomst van een willekeurige variabele te beschrijven.
De formule voor Shannon Entropie is H(X) = -Σ(p(x) × log₂(p(x))), waarbij p(x) de waarschijnlijkheid van gebeurtenis x is. Entropie wordt gemeten in bits bij gebruik van logaritme met grondtal 2.
Interpretatie van Entropiewaarden
Shannon Entropie varieert van 0 tot log₂(n), waarbij n het aantal mogelijke gebeurtenissen is:
- Minimale entropie (0 bits): Treedt op wanneer één gebeurtenis waarschijnlijkheid 1 heeft en alle anderen waarschijnlijkheid 0 - volledige zekerheid, geen onzekerheid
- Maximale entropie (log₂(n) bits): Treedt op wanneer alle gebeurtenissen even waarschijnlijk zijn - maximale onzekerheid en willekeur
- Tussenliggende waarden: Duiden op gedeeltelijke onzekerheid in de verdeling
Genormaliseerde entropie deelt entropie door maximale entropie om een waarde tussen 0 en 1 te geven, wat het vergelijken van verdelingen met verschillende aantallen gebeurtenissen vergemakkelijkt.
Toepassingen van Shannon Entropie
- Informatietheorie: Meten van informatie-inhoud in gegevensoverdracht
- Gegevenscompressie: Bepalen van optimale compressie-algoritmen
- Machine Learning: Feature-selectie en constructie van beslissingsbomen
- Cryptografie: Beoordelen van willekeur en veiligheid van versleuteling
- Biologie: Analyseren van genetische diversiteit en eiwitsequenties
- Economie: Meten van marktdiversiteit en portefeuillerisico
- Natuurlijke Taalverwerking: Analyseren van taalpatronen en voorspelbaarheid
Shannon Entropie Voorbeelden
Beschouw deze voorbeelden van waarschijnlijkheidsverdelingen:
| Verdeling | Waarschijnlijkheden | Entropie | Interpretatie |
|---|---|---|---|
| Muntenworp | [0.5, 0.5] | 1 bit | Maximale entropie voor 2 gebeurtenissen |
| Bevooroordeelde munt | [0.9, 0.1] | 0.47 bits | Lagere entropie - voorspelbaarder |
| Eerlijke dobbelsteen | [1/6, 1/6, 1/6, 1/6, 1/6, 1/6] | 2.58 bits | Maximale entropie voor 6 gebeurtenissen |
| Zekere uitkomst | [1.0, 0.0] | 0 bits | Minimale entropie - geen onzekerheid |
Veelgestelde vragen
- Wat meet Shannon Entropie?
- Shannon Entropie meet de gemiddelde informatie-inhoud of onzekerheid in een waarschijnlijkheidsverdeling. Hogere entropie duidt op meer onzekerheid en willekeur, terwijl lagere entropie op meer voorspelbaarheid en orde duidt.
- Waarom wordt het gemeten in bits?
- Bij gebruik van logaritme met grondtal 2 (log₂) wordt entropie gemeten in bits omdat het het gemiddelde aantal binaire vragen (ja/nee) vertegenwoordigt dat nodig is om de uitkomst te bepalen. Gebruik van natuurlijke logaritme (ln) geeft entropie in nats.
- Wat is maximale entropie?
- Maximale entropie treedt op wanneer alle gebeurtenissen even waarschijnlijk zijn. Voor n gebeurtenissen is de maximale entropie log₂(n) bits. Dit vertegenwoordigt maximale onzekerheid waarbij geen uitkomst beter voorspeld kan worden dan een andere.
- Hoe wordt Shannon Entropie gebruikt in machine learning?
- In machine learning wordt Shannon Entropie gebruikt voor feature-selectie, het meten van informatiewinst in beslissingsbomen en het evalueren van modelonzekerheid. Het helpt identificeren welke features de meeste informatie bieden voor classificatietaken.
- Kan entropie negatief zijn?
- Nee, Shannon Entropie is altijd niet-negatief. De minimumwaarde is 0 (volledige zekerheid) en neemt toe met onzekerheid. Het maximum hangt af van het aantal mogelijke gebeurtenissen.