Shannon Entropi Kalkylator – Informationsentropi
Beräkna informationsentropi och osäkerhet i sannolikhetsfördelningar
Hur man Använder
- Ange sannolikhetsvärden för varje händelse (måste summera till 1)
- Lägg till eller ta bort sannolikhetsfält efter behov
- Klicka på beräkna för att få Shannon entropi
- Visa entropi, maximal entropi och normaliserad entropi
Vad är Shannon Entropi?
Shannon Entropi, introducerad av Claude Shannon 1948, är ett mått på det genomsnittliga informationsinnehållet eller osäkerheten i en sannolikhetsfördelning. Den kvantifierar hur mycket information som behövs i genomsnitt för att beskriva utfallet av en slumpvariabel.
Formeln för Shannon Entropi är H(X) = -Σ(p(x) × log₂(p(x))), där p(x) är sannolikheten för händelse x. Entropi mäts i bitar när man använder logaritm med bas 2.
Tolkning av Entropivärden
Shannon Entropi varierar från 0 till log₂(n), där n är antalet möjliga händelser:
- Minimal entropi (0 bitar): Inträffar när en händelse har sannolikhet 1 och alla andra har sannolikhet 0 - fullständig säkerhet, ingen osäkerhet
- Maximal entropi (log₂(n) bitar): Inträffar när alla händelser är lika sannolika - maximal osäkerhet och slumpmässighet
- Mellanliggande värden: Indikerar partiell osäkerhet i fördelningen
Normaliserad entropi delar entropin med maximal entropi för att ge ett värde mellan 0 och 1, vilket gör det lättare att jämföra fördelningar med olika antal händelser.
Tillämpningar av Shannon Entropi
- Informationsteori: Mäta informationsinnehåll i dataöverföring
- Datakomprimering: Bestämma optimala komprimeringsalgoritmer
- Maskininlärning: Feature-urval och konstruktion av beslutsträd
- Kryptografi: Bedöma slumpmässighet och säkerhet för kryptering
- Biologi: Analysera genetisk mångfald och proteinsekvenser
- Ekonomi: Mäta marknadsmångfald och portföljrisk
- Naturlig Språkbehandling: Analysera språkmönster och förutsägbarhet
Shannon Entropi Exempel
Betrakta dessa exempel på sannolikhetsfördelningar:
| Fördelning | Sannolikheter | Entropi | Tolkning |
|---|---|---|---|
| Myntkast | [0.5, 0.5] | 1 bit | Maximal entropi för 2 händelser |
| Partiskt mynt | [0.9, 0.1] | 0.47 bitar | Lägre entropi - mer förutsägbar |
| Rättvis tärning | [1/6, 1/6, 1/6, 1/6, 1/6, 1/6] | 2.58 bitar | Maximal entropi för 6 händelser |
| Säkert utfall | [1.0, 0.0] | 0 bitar | Minimal entropi - ingen osäkerhet |
Vanliga frågor
- Vad mäter Shannon Entropi?
- Shannon Entropi mäter det genomsnittliga informationsinnehållet eller osäkerheten i en sannolikhetsfördelning. Högre entropi indikerar mer osäkerhet och slumpmässighet, medan lägre entropi indikerar mer förutsägbarhet och ordning.
- Varför mäts det i bitar?
- När man använder logaritm med bas 2 (log₂) mäts entropi i bitar eftersom det representerar det genomsnittliga antalet binära frågor (ja/nej) som behövs för att bestämma utfallet. Användning av naturlig logaritm (ln) ger entropi i nats.
- Vad är maximal entropi?
- Maximal entropi inträffar när alla händelser är lika sannolika. För n händelser är maximal entropi log₂(n) bitar. Detta representerar maximal osäkerhet där inget utfall kan förutsägas bättre än något annat.
- Hur används Shannon Entropi i maskininlärning?
- I maskininlärning används Shannon Entropi för feature-urval, mätning av informationsvinst i beslutsträd och utvärdering av modellens osäkerhet. Det hjälper till att identifiera vilka features som ger mest information för klassificeringsuppgifter.
- Kan entropi vara negativ?
- Nej, Shannon Entropi är alltid icke-negativ. Minimivärdet är 0 (fullständig säkerhet) och ökar med osäkerhet. Maximum beror på antalet möjliga händelser.