Calcolatore di Entropia di Shannon – Entropia dell'Informazione
Calcola l'entropia dell'informazione e l'incertezza nelle distribuzioni di probabilità
Come Usare
- Inserisci i valori di probabilità per ogni evento (devono sommare a 1)
- Aggiungi o rimuovi campi di probabilità secondo necessità
- Fai clic su calcola per ottenere l'entropia di Shannon
- Visualizza entropia, entropia massima ed entropia normalizzata
Cos'è l'Entropia di Shannon?
L'Entropia di Shannon, introdotta da Claude Shannon nel 1948, è una misura del contenuto medio di informazione o incertezza in una distribuzione di probabilità. Quantifica quanta informazione è necessaria, in media, per descrivere il risultato di una variabile casuale.
La formula per l'Entropia di Shannon è H(X) = -Σ(p(x) × log₂(p(x))), dove p(x) è la probabilità dell'evento x. L'entropia è misurata in bit quando si usa il logaritmo in base 2.
Interpretazione dei Valori di Entropia
L'Entropia di Shannon varia da 0 a log₂(n), dove n è il numero di eventi possibili:
- Entropia minima (0 bit): Si verifica quando un evento ha probabilità 1 e tutti gli altri hanno probabilità 0 - certezza completa, nessuna incertezza
- Entropia massima (log₂(n) bit): Si verifica quando tutti gli eventi sono ugualmente probabili - massima incertezza e casualità
- Valori intermedi: Indicano incertezza parziale nella distribuzione
L'entropia normalizzata divide l'entropia per l'entropia massima per dare un valore tra 0 e 1, facilitando il confronto di distribuzioni con diversi numeri di eventi.
Applicazioni dell'Entropia di Shannon
- Teoria dell'Informazione: Misurare il contenuto informativo nella trasmissione dei dati
- Compressione dei Dati: Determinare algoritmi di compressione ottimali
- Machine Learning: Selezione delle caratteristiche e costruzione di alberi decisionali
- Crittografia: Valutare la casualità e la sicurezza della crittografia
- Biologia: Analizzare la diversità genetica e le sequenze proteiche
- Economia: Misurare la diversità del mercato e il rischio del portafoglio
- Elaborazione del Linguaggio Naturale: Analizzare modelli linguistici e prevedibilità
Esempi di Entropia di Shannon
Considera questi esempi di distribuzioni di probabilità:
| Distribuzione | Probabilità | Entropia | Interpretazione |
|---|---|---|---|
| Lancio di moneta | [0.5, 0.5] | 1 bit | Entropia massima per 2 eventi |
| Moneta truccata | [0.9, 0.1] | 0.47 bit | Entropia più bassa - più prevedibile |
| Dado equo | [1/6, 1/6, 1/6, 1/6, 1/6, 1/6] | 2.58 bit | Entropia massima per 6 eventi |
| Risultato certo | [1.0, 0.0] | 0 bit | Entropia minima - nessuna incertezza |
Domande frequenti
- Cosa misura l'Entropia di Shannon?
- L'Entropia di Shannon misura il contenuto medio di informazione o incertezza in una distribuzione di probabilità. Un'entropia più alta indica più incertezza e casualità, mentre un'entropia più bassa indica più prevedibilità e ordine.
- Perché è misurata in bit?
- Quando si usa il logaritmo in base 2 (log₂), l'entropia è misurata in bit perché rappresenta il numero medio di domande binarie (sì/no) necessarie per determinare il risultato. L'uso del logaritmo naturale (ln) dà l'entropia in nat.
- Cos'è l'entropia massima?
- L'entropia massima si verifica quando tutti gli eventi sono ugualmente probabili. Per n eventi, l'entropia massima è log₂(n) bit. Questo rappresenta la massima incertezza dove nessun risultato può essere previsto meglio di un altro.
- Come viene usata l'Entropia di Shannon nel machine learning?
- Nel machine learning, l'Entropia di Shannon è usata per la selezione delle caratteristiche, misurare il guadagno di informazione negli alberi decisionali e valutare l'incertezza del modello. Aiuta a identificare quali caratteristiche forniscono più informazioni per i compiti di classificazione.
- L'entropia può essere negativa?
- No, l'Entropia di Shannon è sempre non negativa. Il valore minimo è 0 (certezza completa) e aumenta con l'incertezza. Il massimo dipende dal numero di eventi possibili.