Stati misti, intrecciati e... il gatto!

Come anticipato nel post "Stati puri, miscele e sovrapposizioni!", ora analizziamo un sistema composto da due elettroni e verifichiamo se si tratta di uno stato di spin puro o misto grazie alla matrice densità prima definita*. 

Consideriamo ad esempio un sistema composto da due elettroni preparati separatamente nei seguenti stati di spin (dove u e d sta per up e down):

|Ψ>=ψ_u|u>+ψ_d|d>   e   |Φ>=φ_u|u>+φ_d|d>.

Lo stato prodotto che descrive il sistema combinato è:

|ΨΦ>=(ψ_u|u>+ψ_d|d>)⊗(φ_u|u>+φ_d|d>)

quindi sviluppando il prodotto tensoriale indicato con ⊗ si ottiene:

|ΨΦ>=ψ_uφ_u|uu>+ψ_uφ_d|ud>+ψ_dφ_u|du>+ψ_dφ_d|dd>.

con le condizioni di normalizzazione:

ψ_uψ_u+ψ_dψ_d=1   e   φ_uφ_u+φ_dφ_d=1.

Nota: ψ_u è il complesso coniugato di ψ_u e lo stesso vale per gli altri valori.

Tuttavia si osservi che in generale un sistema composto da due elettroni è descritto dal seguente stato di spin:

|Ψ>=ψ_uu|uu>+ψ_ud|ud>+ψ_du|du>+ψ_dd|dd>

che non è sempre rappresentabile da uno stato prodotto (vedi sopra) e per il quale vale la condizione di normalizzazione:

ψ_uuψ_uu+ψ_udψ_ud+ψ_duψ_du+ψ_ddψ_dd=1.

Nota: questo stato combinato è detto stato entangled (o intrecciato) quando non può essere fattorizzato in due stati separati.

Ad esempio consideriamo una coppia di elettroni, preparata con spin opposti, il cui stato combinato non fattorizzabile è:

|Ψ>=(1/2)^1/2|ud>+(1/2)^1/2|du>

dove la somma degli stati |ud> e |du> rappresenta due coppie di elettroni con spin opposti in sovrapposizione quantistica, mentre il fattore (1/2)^1/2 indica che la misura di uno dei due stati è equiprobabile poiché:

ψ_udψ_ud=ψ_duψ_du=1/2.

Nota: possiamo ad esempio pensare al caso descritto nell'esperimento EPR (per chiarimenti vedi il post "Un esperimento chiave: EPR").

Calcoliamo quindi la matrice densità, già introdotta nel post "Stati puri, miscele e sovrapposizioni!", che è così definita:

ρ=|Ψ><Ψ|=(1/2)(|ud>+|du>)(<ud|+<du|)

dalla quale svolgendo il prodotto si ottiene:

ρ=(1/2)(|ud><ud|+|ud><du|+|du><ud|+|du><du|).

Premesso che indicheremo i vettori colonna come vettori riga trasposti, scegliamo due vettori di base: |u>=(1,0)^T e |d>=(0,1)^T (dove T indica la matrice trasposta)** e sviluppiamo i prodotti tensoriali:

|ud>=(1,0)^T⊗(0,1)^T=(0,1,0,0)^T   ,   |du>=(0,1)^T⊗(1,0)^T=(0,0,1,0)^T

 <ud|=(1,0)⊗(0,1)=(0,1,0,0)   ,   <du|=(0,1)⊗(1,0)=(0,0,1,0).

Quindi, svolgendo i prodotti sopra definiti, si ottiene la matrice [4x4]:

Infatti come visto nel precedente post, gli elementi di ρ sono i prodotti delle ampiezze di probabilità per i coniugati; in particolare nel nostro caso risulta:

ψ_udψ_ud=ψ_udψ_du=ψ_duψ_ud=ψ_duψ_du=1/2

mentre gli altri elementi di ρ sono tutti nulli (si ricordi che in |Ψ>=ψ_ud|ud>+ψ_du|du> risulta ψ_ud=ψ_du=(1/2)^1/2).

A questo punto possiamo verificare facilmente la relazione ρ=ρ² (basta moltiplicare la matrice ρ per se stessa); ciò significa che siamo in presenza di uno stato puro quindi la conoscenza del sistema combinato è completa***.
Nota: il sistema è stato preparato in uno stato definito di spin perciò è puro, inoltre ciò implica una forte correlazione tra gli spin delle due particelle (poiché se un elettrone è misurato up l'altro è down e viceversa).

Tuttavia la matrice densità ρ riguarda tutto il sistema combinato mentre noi vorremmo descrivere lo stato di ogni singolo elettrone (chiamiamoli A e B) e questo può essere fatto grazie all'introduzione della matrice densità ridotta (che viene giustificata fisicamente dalla teoria della decoerenza).
Nota: come vedremo nella matrice ridotta i termini fuori diagonale, responsabile delle interferenze quantistiche, si annullano.

Introduciamo quindi la matrice densità ridotta che permette di studiare uno dei due sottosistemi (supponiamo A) ed è così definita:

ρ_A=∑<i|ρ|i>=Tr_Bρ

rispetto ad una base di vettori |i> del sistema B.

Nota: Tr_B è l'operatore traccia parziale sulla base di B; in modo equivalente si ha ρ_B=Tr_Aρ. Inoltre se |Ψ> è uno stato prodotto risulta ρ=ρ_A⊗ρ_B.

Perciò nel caso considerato possiamo calcolare la matrice ridotta dello stato di spin dell'elettrone A (oppure di quello B) e risulta:

ρ_A=1/2(|u><u|+|d><d|)=1/2(1,0)^T(1,0)+1/2(0,1)^T(0,1)=(1/2)I₂

dove con I₂ abbiamo indicato la matrice identità [2x2]; da ciò si deduce subito che ρ_A≠ρ_A² cioè siamo in presenza di uno stato composto(!)
Nota: I è una matrice diagonale con tutti gli elementi pari a 1 perciò I²=I.

Ciò significa che gli stati dell'elettrone A (oppure di quello B) non sono in sovrapposizione quantistica, l'incertezza sullo spin è in realtà dovuta alla non completa conoscenza dello stato del sistema totale (poiché stiamo considerando solo il sottositema A) e la probabilità statistica che lo spin di un elettrone sia up oppure down è pari a 1/2.
Nota: a differenza del caso classico però, nemmeno in linea di principio si può stabilire lo stato del sotto sistema A (o B) prima della misura.

È interessante osservare che il famoso Paradosso del gatto di Schrödinger può essere trattato come lo stato entangled che abbiamo ora considerato; ciò significa che anche in questo caso non si ha sovrapposizione di due stati distinti (gatto vivo e gatto morto) poiché il sottosistema "gatto" si trova in uno stato misto di tipo statistico e non è in sovrapposizione quantistica.

(*) Nel precedente post abbiamo definito, per uno stato puro, la matrice densità ρ=|Ψ><Ψ| per la quale risulta ρ²=|Ψ><Ψ|Ψ><Ψ|=ρ; invece per uno stato misto si pone ρ=∑p_i|Ψ_i><Ψ_i| dove p_i è la probabilità che il sistema si trovi nello stato i-esimo e in questo caso risulta ρ≠ρ².
(**) Si osservi che i vettori di base scelti soddisfano correttamente le condizioni di ortonormalità: <u|u>=<d|d>=1 e <u|d>=<d|u>=0.
(***) Le teorie a variabili nascoste affermano invece che la conoscenza quantistica del sistema composto non è completa proprio perché lo stato dei singoli sottositemi non è definito con certezza.

[Si noti che lo stato |Ψ>=(1/2)^1/2|ud>+(1/2)^1/2|du> è lo stato di tripletto con spin S=1 nonostante le particelle abbiano spin opposto (come accade nello stato di singoletto |Ψ>=(1/2)^1/2|ud>-(1/2)^1/2|du> dove però S=0)]

Stati puri, miscele e sovrapposizioni!

Come è noto, definito uno stato |Ψ> di un qualsiasi sistema quantistico la sua evoluzione temporale, una volta fissato lo stato iniziale, è descritta dalla equazione di Schrödinger (vedi Wikipedia), scritta nella notazione di Dirac:

i(h/2π)∂|Ψ>/∂t=H|Ψ>

dove il valore medio dell'operatore hamiltoniano <H> rappresenta il valore di aspettazione dell'energia del sistema.

Si osservi che qui ci limitiamo a trattare il caso di uno spazio finito-dimensionale (cioè definito da n vettori di base |i>) per il quale si ha:

|Ψ>=∑ψ_i|i>

dove ψ_i sono le ampiezze di probabilità relative ai vettori di base |i>.
Nota: per chiarimenti sul vettore di stato di un sistema quantistico vedi i post "I numeri Compessi e la M.Q." e "Le grandezze Osservabili!".

È però possibile dare una descrizione alternativa ma equivalente a quella di Schrödinger definendo il seguente Operatore di densità*:

ρ=|Ψ><Ψ|

dove ρ è rappresentato da una matrice quadrata che si ottiene moltiplicando il vettore colonna |Ψ> per il suo duale vettore riga <Ψ|.
Nota: l'operatore |Ψ><Ψ| è un proiettore poiché applicato ad uno stato |Φ> si ha |Ψ><Ψ|Φ>=k|Ψ> con k=<Ψ|Φ> (cioè proietta |Φ> lungo |Ψ>).

Poiché il vettore di stato è definito rispetto ad una base ortonormale di vettori |i> si ha che gli elementi di matrice ρ_ij sono dati da**

ρ_ij=<i|ρ|j>

da cui segue subito (sostituendo ρ=|Ψ><Ψ| ed essendo ψ_i=<i|Ψ>):

ρ_ij=<i|Ψ><Ψ|j>=ψ_iψ_j

cioè gli elementi di ρ sono i prodotti delle ampiezze di probabilità (associate ai vettori di base dello stato considerato) per i coniugati.
Nota: solo quando i=j il prodotto ψ_iψ_i=|ψ_i|² rappresenta la probabilità che il sistema venga misurato nello stato i-esimo.

Inoltre se abbiamo a che fare con un sistema il cui stato non è ben definito, ma è dato da un ensemble statistico di stati possibili {Ψ_i} si può porre:

ρ=∑p_i|Ψ_i><Ψ_i|

dove p_i è la probabilità statistica che il sistema si trovi nello stato i-esimo: in pratica è la media pesata su tutti gli stati possibili del sistema con ∑p_i=1.
Nota: la probabilità p_i è di tipo statistico poiché è dovuta alla non esatta conoscenza dello stato del sistema (non è una sovrapposizione quantistica).

Si parla quindi di stato puro quando le p_i sono tutte nulle tranne una (e pari a 1), mentre negli altri casi avremo uno stato misto poiché si determina una media pesata su tutti gli stati |Ψ_i> in cui si potrebbe trovare il sistema.

Facciamo subito un esempio di stato puro e consideriamo lo stato di spin di un singolo elettrone (vedi il post "I numeri Complessi e la M.Q.") che può essere descritto in generale (ad es. rispetto alle basi |u> e |d> lungo Z):

|Ψ>=ψ_u|u>+ψ_d|d>.

Ciò significa che, dato uno spin preparato in uno stato qualunque |Ψ> e un apparato di misura orientato lungo l'asse Z, i prodotti ψ_uψ_u e ψ_dψ_d sono le rispettive probabilità che lo spin si trovi nello stato |u> oppure |d>.
Nota: secondo i postulati quantistici, prima della misura lungo l'asse Z gli stati |u> e |d> sono in sovrapposizione quantistica.

Si ricordi infatti che il principale postulato della meccanica quantistica stabilisce che il prodotto ψ_iψ_i (cioè |ψ_i|²) dà la probabilità che il sistema si trovi nello stato i-esimo (ψ_i è il complesso coniugato di ψ_i).

Perciò, come mostrato sopra, le componenti della matrice ρ sono:

ρ_uu=ψ_uψ_u , ρ_ud=ψ_uψ_d , ρ_du=ψ_dψ_u , ρ_dd=ψ_dψ_d

e in particolare risulta: Trρ=∑ρ_ii=∑ψ_iψ_i=1.
Nota: Tr è l'operatore traccia cioè la somma degli elementi ψ_iψ_i della diagonale di ρ quindi si ha Trρ=1 (essendo normalizzata a 1).

Ad esempio se prepariamo (misuriamo) lo stato di spin dell'elettrone nella direzione dell'asse X positivo (detto stato right) allora possiamo scrivere (vedi il post "I numeri Complessi e la M.Q."):

|Ψ_r>=(1/2)^1/2|u>+(1/2)^1/2|d>

quindi risulta per tutti gli elementi della matrice ρ [2x2]:

ρ_uu=ρ_ud=ρ_du=ρ_dd=1/2

dove correttamente si ha Trρ=ρ_uu+ρ_dd=1/2+1/2=1 (cioè la condizione di normalizzazione ψ_uψ_u+ψ_dψ_d=1 è soddisfatta).
Nota: perciò la probabilità che lo spin, misurato lungo l'asse Z, sia up oppure down è pari a 1/2.

Ma ciò che risulta di grande interesse è che per uno stato puro, come quello appena trattato, vale la condizione*** ρ=ρ² e ciò ci permette di distinguere, come vedremo nel prossimo post, uno stato puro da uno stato misto!
Nota: moltiplicando per se stessa la matrice ρ composta da elementi uguali a 1/2 si ottiene di nuovo la matrice ρ.

(*) L'evoluzione di ρ nel tempo è descritta dalla equazione di Von Neumann:
i(h/2π)∂ρ/∂t=[H,ρ] dove [H,ρ]=Hρ-ρH è il commutatore di H e ρ. 
(**) Posto |Ψ>=∑ψ_j|j> si ha <i|Ψ>=∑ψ_j<j|i>=ψ_i poiché solo quando j=i si ha <i|i>=1; inoltre dato un operatore A risulta A_ij=<i|A|j> infatti possiamo scrivere <i|A|Ψ>=∑ψ_j<i|A|j>=∑ψ_jA_ij $<=$$>$ <i|A|Ψ>=<i|∑Φ_j|j>=Φ_i (per j=i), che rappresenta l'equazione A|Ψ>=|Φ> in forma matriciale.
(***) Per uno stato puro si ha ρ=|Ψ><Ψ| quindi ρ²=|Ψ><Ψ|Ψ><Ψ|=ρ essendo per la condizione di normalizzazione <Ψ|Ψ>=1.

Informazione, codici e bit!

Mostreremo qui che è grazie all'entropia informazionale (trattata nel post "L'Entropia dell'informazione") che si può rispondere ad una fondamentale questione relativa alla memorizzazione e trasmissione di un messaggio:

"Qual è il numero minimo di bit che servono per memorizzare in media il messaggio di una sorgente?" (vedi Wikipedia).
Nota: si vuole cioè stabilire qual è la quantità minima di bit che si devono trasmettere per comunicare un dato messaggio.

Ricordiamo che nel post "L'Entropia dell'Informazione" abbiamo così definito l'entropia H(x) di una sorgente discreta (cioè con un numero finito di elementi):

H(x)=<I(x)>

dove <I(x)> è il contenuto medio di informazione della sorgente: 

<I(x)>=∑P(x_i)ln(1/P(x_i))

mentre P(x_i) definisce la probabilità che ogni simbolo x_i venga trasmesso.

In particolare se P(x) è la stessa per tutti i simboli (cioè P(x)=1/N) risulta:

<I(x)>=ln(1/P(x))=I(x).

Nota: se P(x)=1/N si ha <I(x)>=lnN∑P(x_i)=lnN=I(x) essendo ∑P(x_i)=1.

Poiché in generale risulta <I(x)>≤I(x) l'entropia è sempre minore (o al massimo uguale) del contenuto di informazione* di una sorgente che trasmette simboli equiprobabili, cioè risulta: H(x)≤I(x).

Ora nella trasmissione di dati si sceglie quasi sempre la codifica binaria** indicata dai simboli 0 e 1 — sia per semplicità (perché è costituita da soli due simboli) ma soprattutto per affidabilità (poiché è difficile confondere fisicamente i due simboli) — la cui unità di informazione è detta bit.

Il contenuto di informazione I(x), per questo tipo di sorgente a due valori, viene definito in base-2:

I(x)=log₂(1/P(x))

e se l'emissione dei due simboli è equiprobabile (cioè P(x)=1/2) si ha:

I(x)=log₂(1/P(x))=1 bit

che è l'unità minima di informazione binaria.

Nota: per cambiare unità di misura e passare da bit a nat (cioè da log₂ a ln) basta porre lnx=log₂x/log₂e≈log₂x/1,4 (per le proprietà dei logaritmi).

In particolare con soli due simboli è possibile creare stringhe (cioè sequenze di 0 e 1) la cui lunghezza n determina 2ⁿ messaggi distinti.

Per esempio con stringhe composte da 3 bit possiamo codificare 2³=8 messaggi diversi:

000 001 011 111 110 100 101 010

a cui possiamo far corrispondere altrettanti simboli.

Nota: ad esempio possiamo far corrispondere i numeri da 1 a 8 oppure i giorni della settimana (in questo caso sfrutteremmo solo 7 codici).

Ma vediamo un esempio legato all'alfabeto inglese composto da 26 lettere: se ogni lettera fosse trasmessa in modo equiprobabile (P(x)=1/26) il contenuto di informazione per ogni simbolo sarebbe:

I(x)=log₂(1/P(x))=log₂26≈4,7 bit.

Quindi dovremmo utilizzare esattamente 5 bit per comporre messaggi con l'alfabeto inglese e codificarli in binario***.
Nota: essendo 2⁵=32 sono disponibili sufficienti combinazioni binarie per codificare tutte le 26 lettere dell'alfabeto inglese.

Tuttavia sappiamo che ogni lettera dell'alfabeto viene usata con frequenze diverse (non solo nella lingua inglese) e quindi è opportuno calcolare il contenuto medio di informazione o entropia della sorgente:

H(x)=∑P(x_i)ln(1/P(x_i))

dove le P(x_i) sono le probabilità di ogni lettera calcolate empiricamente.
Nota: un recente studio ha stabilito statisticamente il contenuto medio di informazione dell'alfabeto inglese pari a <I(x)>≈4,1 bit/simbolo.

Consideriamo ad esempio una sorgente S con soli quattro simboli:

S{A, B, C, D} 

che possiamo codificare utilizzando una sorgente binaria:

A=00, B=01, C=10 e D=11.

Supponiamo che le probabilità di emissione dei simboli sia diversa:

P(A)=1/2, P(B)=1/4 e P(C)=P(D)=1/8

possiamo quindi calcolare l'entropia della sorgente in base-2:

H(x)=∑P(x_i)log₂(1/P(x_i))=(1/2)*1+(1/4)*2+2*(1/8)*3=1,75 bit/simbolo.

Si noti che se la probabilità di emissione fosse la stessa (cioè P(x)=1/4) avremmo:

H(x)=log₂(1/P(x))=2 bit/simbolo

poiché l'entropia è in generale maggiore se i simboli sono equiprobabili e in effetti l'entropia è massima per quelle sorgenti completamente casuali.

Ora però ci chiediamo (data la diversa frequenza dei simboli) se non sia possibile ottimizzare il codice, in modo da utilizzare il minor numero possibile di bit nella trasmissione di messaggi.

Proponiamo quindi il seguente abbinamento simbolo-codice:

A=0, B=10, C=110 e D=111.

Nota: coerentemente ai simboli con maggior frequenza facciamo corrispondere meno bit e viceversa (come accade nel codice Morse).

Calcoliamo quindi il numero medio <N(x)> di bit usati per ogni simbolo (calcoliamo cioè la media pesata del numero di bit usati per ogni simbolo):

<N(x)>=∑N(x_i)P(x_i)=1*(1/2)+2*(1/4)+2*3*(1/8)=1,75 bit/simbolo

dove N(x_i) è il numero di bit dell'i-esimo simbolo.

In effetti se avessimo usato la codifica precedente, con lo stesso numero di bit per ogni simbolo, avremmo ottenuto un valore più alto:

<N(x)>=∑N(x_i)P(x_i)=2*(1/2)+2*(1/4)+2*2*(1/8)=2 bit/simbolo

confermando che in generale risulta: H(x)≤<N(x)>.

Infine si osservi che per questo particolare esempio risulta (vedi sopra):

<N(x)>=H(x)=1,75 bit/simbolo

poiché le probabilità di emissione dei simboli sono diverse.

Ma il fatto che H(x)=<N(x)> è notevole poiché ciò significa, secondo il primo teorema di Shannon, che questa è la migliore codifica possibile(!)
Nota: il teorema è valido per una sorgente senza memoria, cioè quando ogni simbolo viene trasmesso in modo indipendente dal precedente.

(*) Si osservi che la misura dell'informazione non riguarda il significato semantico di un messaggio ma la sua composizione in simboli.
(**) In quasi tutti gli elaboratori elettronici si usa la logica binaria, rappresentata fisicamente da due diversi livelli di tensione elettrica.
(***) Calcoliamo ad esempio il contenuto minimo di informazione necessario per esprimere un orario in forma digitale: 00:00:00. In totale gli stati dell'orario sono: 24 (ore) x 60 (min.) x 60 (sec.) = 86.400 stati, quindi I(x)=log₂86.400=16,4 bit cioè servono 17 bit.
Ma possiamo anche scrivere: I(ore)+I(min.)+I(sec.) dove I(ore)=log₂24=4,6 bit e I(min.)=I(sec.)=log₂60=5,9 bit per un totale di 5+6+6=17 bit.

L'Entropia dell'Informazione

In generale possiamo così definire il termine informazione:
"L'informazione è l'insieme di dati, correlati tra loro, con cui un'idea (o un fatto) prende forma ed è comunicata" (vedi Wikipedia).

Tuttavia la definizione data sopra può essere meglio specificata: in particolare nel campo dell'elaborazione e della trasmissione dei dati si afferma che l'informazione è il fattore che diminuisce l'incertezza sulla conoscenza di un evento.

Ci poniamo quindi il problema di come misurare l'informazione associata alla comunicazione di un evento*.

Introduciamo quindi una nuova definizione, proposta da Claude Shannon, che specifica il contenuto di informazione di un dato messaggio relativo alla comunicazione di un evento.

Se assegnamo ad un evento x la probabilità P(x) di verificarsi, il contenuto di informazione I(x) della comunicazione dell'evento è così definito:

I(x)=ln(1/P(x))

o anche per le proprietà dei logaritmi: I(x)=-lnP(x)
(infatti essendo ln(1/P(x))=ln1-lnP(x)=-lnP(x) poiché ln1=0).

Quindi questa definizione del contenuto di informazione è legata alla probabilità che un evento si possa verificare e non al contenuto semantico di un messaggio (come vedremo meglio di seguito).
Nota: ln indica il logaritmo naturale ma se la sorgente è, ad esempio, binaria si userà il logaritmo in base-2 per definire I(x) (misurata in bit).

Si osservi che questa particolare definizione è l'unica che rispetta, grazie alle proprietà dei logaritmi, i seguenti requisiti (vedi Wikipedia):
1) se l'evento è certo (cioè P(x)=1) allora il contenuto di informazione della comunicazione è nullo (poiché I(x)=ln1=0);
2) poiché in generale P(x)≤1 l'informazione aumenta (I(x)->∞) al diminuire della probabilità dell'evento (cioè quando P(x)->0);
3) dati due eventi indipendenti x e y la probabilità che si verifichino entrambi è P(x,y)=P(x)P(y) quindi in questo caso: I(x,y)=I(x)+I(y).
Nota: la definizione del contenuto di informazione può essere estesa a due (o più eventi): I(x,y)=ln(1/P(x,y))=ln[(1/(P(x))(1/P(y))]=I(x)+I(y).

In generale una data informazione viene generata da una sorgente che trasmette un insieme di simboli x_i (ad esempio le lettere dell'alfabeto) ciascuno caratterizzato da una certa probabilità P(x_i) di essere trasmesso dalla sorgente (che può anche essere la stessa per tutti i simboli): ciò significa che la trasmissione di ogni simbolo della sorgente viene valutato come un evento con la sua probabilità.

Perciò il contenuto medio <I(x)> di informazione per una data sorgente è definito dalla seguente relazione:

<I(x)>=∑P(x_i)ln(1/P(x_i))

si calcola cioè il valore medio di I(x) pesandolo con i coefficienti P(x_i).
Nota: nel post "Informazione, codici e bit!" vengono descritti alcuni esempi.

Possiamo quindi definire la quantità H(x) detta entropia della sorgente:

H(x)=k<I(x)> 

che viene misurata in nat/simbolo (se poniamo k=1).
Nota: se invece poniamo k=1/ln2 possiamo esprime l'entropia in base-2 (poiché vale la relazione log₂x=lnx/ln2).

In particolare se la probabilità è la stessa per tutti gli N simboli (cioè se P(x_i)=1/N per ogni x_i) allora

H(x)=∑P(x_i)ln(1/P(x_i))=lnN∑P(x_i)=lnN

essendo ∑P(x_i)=1 e quindi per la definizione data sopra di Informazione I(x)=ln(1/P(x))=lnN segue subito

H(x)=I(x).

Nota: si può dimostrare che <I(x)>≤I(x) quindi in generale: H(x)≤I(x) cioè l'entropia è massima quando la sorgente è completamente casuale.

Poiché come abbiamo visto I(x)÷1/P(x) si può affermare che H(x) misura l'incertezza o meglio il livello di casualità di una data sorgente.
Ma per quale motivo la grandezza H(x) viene chiamata entropia?

Per capirlo ricordiamo innanzitutto che in termodinamica per definire l'entropia statistica – introdotta per la prima volta da Ludwig Boltzmann (vedi il post "L'Entropia secondo Boltzmann") – si considera ad esempio un sistema composto da N particelle distribuite sui vari livelli di energia E_i.

Quindi il numero di tutti i possibili microstati, corrispondenti ad un macrostato assegnato, è dato da (posto N=∑n_i):

W=N!/(n₁!n₂!n₃!...)

dove n₁, n₂, n₃... è il numero di particelle per ogni livello E₁, E₂, E₃... e l'entropia termodinamica è per definizione pari a

S=K_BlnW

dove K_B è la costante dimensionale di Boltzmann.
Nota: nel post "Entropia statistica e termodinamica" abbiamo dimostrato la equivalenza fisica della definizione statistica e di quella termodinamica (qui invece l'equivalenza tra entropia e informazione è solo formale).

In particolare si può dimostrare per N molto grande la seguente relazione**:

lnW≈N∑P(n_i)ln(1/P(n_i))

dove P(n_i)=n_i /N è la probabilità di trovare le particelle nello stato E_i.
Ma per analogia lnW può anche indicare, come visto sopra, la probabilità che un dato simbolo x_i venga trasmesso da una sorgente:

lnW≈N∑P(x_i)ln(1/P(x_i))=N<I(x)>.

Quindi in definitiva si può scrivere:

S=K_BlnW≈K_BN<I(x)>

essendo come visto sopra lnW≈N<I(x)> e ciò giustifica almeno formalmente il nome di entropia attribuito al valore H(x)=<I(x)>.
Nota: è chiaro che nella analogia con H(x), la quantità N non indica il numero di simboli della sorgente ma il numero totale di simboli trasmessi.

Perciò se il numero N di particelle è molto grande la definizione delle due entropie è formalmente equivalente risultando:

S÷H(x).

Nota: ad ogni modo la definizione di H(x) resta valida per qualsiasi sorgente e non solo quando N è molto grande.

Tale equivalenza formale ha tuttavia spinto Léon Brillouin ad affermare che in realtà al contenuto di informazione <I(x)> corrisponde fisicamente una entropia termodinamica pari a S=K_B<I(x)>, da calcolare ad esempio nel computo dell'entropia di un sistema in cui si fa uso di bit d'informazione***.
Nota: in pratica Brillouin ipotizza che acquisire informazione non è mai gratis ma ha sempre un costo in termini di energia.

(*) Con il termine incertezza di un evento in pratica si collega l'informazione alla probabilità che questo si possa verificare: per esempio sapere che ad agosto ha piovuto contiene più informazione di sapere che a novembre pioverà (essendo più probabile).
(**) Per l'approssimazione di Stirling se N è molto grande vale la relazione lnN!≈NlnN-N ed essendo lnW=lnN!-ln(n₁!n₂!n₃!...) segue sostituendo: lnW≈NlnN-∑n_ilnn_i. Perciò poiché n_i=NP(n_i) ed essendo ∑P(n_i)=1 si ha: lnW≈NlnN-[Nln∑P(n_i)+N∑P(n_i)lnP(n_i)]≈N∑P(n_i)ln(1/P(n_i)).
(***) Il paradosso del diavoletto di Maxwell, che sembra violare il secondo Principio della termodinamica, può essere spiegato proprio grazie all'introduzione di S=K_B<I(x)> nel calcolo dell'entropia del sistema.
Tuttavia la soluzione generale al paradosso deriva dal Principio di Landauer secondo cui l'eliminazione di 1 bit di informazione produrrebbe una quantità ciclica minima di calore non eliminabile pari a K_BTln2.

Le grandezze Osservabili!

Come afferma Wikipedia "in fisica si definisce osservabile una qualsiasi grandezza che è in qualche modo misurabile"; dove in qualche modo significa "misurabile direttamente tramite le operazioni e gli opportuni strumenti di misura oppure indirettamente attraverso calcolo analitico".
Nota: ad esempio i campi e i potenziali, come quelli elettromagnetici, sono grandezze fisiche ma non sono direttemente misurabili.

In generale se in un esperimento vogliamo misurare una grandezza è opportuno, per eliminare gli errori casuali, ripetere la misurazione molte volte per poter determinare un valore medio, che per definizione è il valore più vicino a quello reale (in assenza di errori sistematici).
Nota: si suppone che gli errori casuali, in senso statistico, tendano a compensarsi nel calcolo del valore medio.

Supponiamo ad esempio che durante la misurazione di una certa grandezza A sia stato misurato c₁ volte il valore a₁, c₂ volte il valore a₂ e in generale c_n volte il valore a_n; il valore medio, pesato dai coefficienti c_n, sarà quindi:

<A>=(c₁a₁+c₂a₂+...+c_na_n)/N=∑a_nP(a_n)

dove P(a_n)=c_n/N (N=c₁+c₂+...+c_n) è la probabilità di ottenere il valore a_n.
Nota: è implicito che il numero di misure deve essere sufficientemente alto affinché questa relazione sia statisticamente valida.

La definizione di valore medio di una grandezza osservabile è valida anche in meccanica quantistica, dove però A è rappresentato da un operatore lineare, cioè una funzione tra due spazi vettoriali "che conserva le operazioni di somma di vettori e di moltiplicazione per uno scalare" (vedi Wikipedia).
Nota: se gli spazi vettoriali hanno dimensione finita un operatore lineare è sempre rappresentabile da una matrice associata.

Come abbiamo già anticipato nel post "I numeri Complessi e la M.Q." gli stati di un sistema quantistico vengono descritti nello spazio vettoriale di Hilbert che generalizza lo spazio euclideo (vedi Wikipedia). Ciò in pratica significa che se un operatore A agisce su uno stato |S> produce un nuovo vettore di stato, che viene indicato con A|S> (secondo la notazione di Dirac).
Nota: ricordiamo che il vettore |S> viene chiamato ket ma è possibile definire anche il suo duale <S| chiamato bra (vedi oltre).

Ora, come tutti i vettori, anche quello di stato può essere definito come combinazione lineare di una base dello spazio (ad esempio |a₁>, |a₂>, ..., |a_n>) moltiplicata per le relative componenti* (𝜶₁, 𝜶₂, ..., 𝜶_n):

|S>=𝜶₁|a₁>+𝜶₂|a₂>+...+𝜶_n|a_n>=∑𝜶_n|a_n>.

Nota: l'insieme (|a₁>, |a₂>, ..., |a_n>) può essere scelto come una base ortonormale (cioè vettori di norma unitaria e ortogonali tra loro).

In particolare, per motivi che diventeranno subito chiari, scegliamo come base quella che soddisfa la seguente relazione:

A|a_n>=a_n|a_n>

dove a_n rappresenta il valore ennesimo di una misura dell'osservabile A.
Nota: qui dobbiamo considerare tutti gli esiti possibili della misura di A, inoltre come vedremo di seguito A deve essere hermitiano.

Si osservi che la relazione sopra afferma che quando A agisce su una delle basi |a_n> restituisce la stessa base moltiplicata per a_n: si dice perciò che a_n è l'autovalore del relativo autovettore |a_n> ed è un numero reale (essendo il valore di una misura) perciò A è un operatore autoaggiunto (o hermitiano).

Facciamo quindi agire l'operatore A sullo stato |S> (e quindi sulle sue basi):

A|S>=∑𝜶_nA|a_n>

da cui ricordando che A|a_n>=a_n|a_n> si ha:

A|S>=∑𝜶_na_n|a_n>.

Prima di compiere l'ultimo passaggio dobbiamo definire un nuovo elemento, cioè il duale del vettore |S> (detto ket) che viene indicato con <S| (chiamato bra)** prendendo il suo complesso coniugato:

 <S|=∑<a_n|𝜶_n

dove con 𝜶_n abbiamo indicato il complesso coniugato di 𝜶_n.

Nota: se ad esempio |S> viene rappresentato da un vettore colonna il duale <S| è un vettore riga i cui elementi sono i complessi coniugati di |S>.

A questo punto possiamo far agire il vettore duale <S| sul vettore di stato A|S> prima derivato, cioè sostituendo quanto ottenuto sopra:

 <S|A|S>=∑<a_n|𝜶_n𝜶_na_n|a_n>.

Nota: usando la notazione bra-ket basta applicare in sequenza i bra e i ket di <S| e A|S> derivati sopra, nel simbolo di sommatoria.

Se si osserva che la sequenza <a_n|𝜶_n𝜶_na_n|a_n> può essere riscritta come 𝜶_n𝜶_na_n<a_n|a_n> (poiché 𝜶_n𝜶_na_n è solo un coefficiente moltiplicativo) ed inoltre essendo <a_n|a_n>=1 (dato che la base scelta è normalizzata)*** si ha:

<S|A|S>=∑𝜶_n𝜶_na_n.

Quindi poiché il prodotto 𝜶_n𝜶_n rappresenta per ipotesi la probabilità P(a_n) che si verifichi l'evento a_n (è uno dei postulati della meccanica quantistica), allora segue dalla definizione di valor medio (introdotta all'inizio del post):

<S|A|S>=∑𝜶_n𝜶_na_n=∑P(a_n)a_n=<A>.

Ciò in definitiva significa che ogni volta che desideriamo ottenere il valor medio di una grandezza osservabile in meccanica quantistica, basta inserire l'operatore che la rappresenta tra il bra e il ket del relativo vettore di stato.

(*) Ricordiamo che le componenti del campo dello spazio vettoriale di Hilbert sono in generale numeri complessi.

(**) Per chiarimenti sullo spazio vettoriale duale vedi anche il post "Trasformazioni di basi, vettori e... co-vettori!". 

(***) Con la notazione < | > si indica il prodotto scalare tra due vettori, in particolare <a_n|a_n> indica il quadrato della norma di |a_n> che è pari a 1.

I numeri Complessi e la M.Q.

In questo post cercheremo di mostrare, attraverso l'esame di un semplice sistema quantistico, il ruolo dei numeri complessi nella rappresentazione formale di uno stato quantico.

Ricordiamo innanzitutto che un numero complesso z è così definito:

z=a+ib

dove a e b sono due numeri reali mentre i=(-1)^1/2 è l'unità immaginaria; i numeri complessi sono perciò una diretta estensione dei numeri reali.
Nota: il valore di i è stato introdotto per risolvere equazioni come x²+1=0 che non hanno soluzioni nel campo dei numeri reali.

Come è noto gli stati di un sistema quantistico vengono descritti nello spazio vettoriale di Hilbert che generalizza lo spazio euclideo (vedi Wikipedia):
"Uno spazio di Hilbert H=(H, < , >) ${\displaystyle \mathbf {H} =(H,\langle \cdot ,\cdot \rangle )}$ è uno spazio vettoriale ${\displaystyle H}$reale o complesso sul quale è definito un prodotto interno < , > (${\displaystyle \langle \cdot ,\cdot \rangle }$tale che, detta ${\displaystyle \mathrm {d} }$ d la distanza indotta da < , >${\displaystyle \langle \cdot ,\cdot \rangle }$ su H${\displaystyle H}$, lo spazio metrico  (H,d)${\displaystyle (H,\mathrm {d} )}$ sia completo)".
Nota: uno spazio metrico è un insieme di elementi, detti punti, nel quale è definita una distanza, detta anche metrica (vedi Wikipedia).

Per i nostri scopi non è necessario entrare nei dettagli dello spazio vettoriale H ma possiamo procedere illustrando un semplice sistema quantistico. Per farlo utilizzeremo un singolo elettrone che, come è noto, è dotato di una proprietà detta Spin che può assumere solo due stati.

La cosa interessante è che nello spazio di Hilbert, possiamo indicare gli stati come vettori; cioè se ad esempio misuriamo lo spin lungo l'asse Z possiamo porre, a seconda del risultato della misura*, uno dei seguenti vettori come stato del sistema (secondo la notazione di Dirac):

|u> (stato up) oppure |d> (stato down)

dove la probabilità di trovare lo spin in uno dei 2 stati è la stessa.
Nota: per definizione |u> punta lungo l'asse positivo di Z mentre |d> lungo quello negativo.

Se sommiamo questi due stati (vettori), in modo da ottenerne un terzo, questo descriverà il generico stato di spin |S> lungo uno qualsiasi degli assi:

|S>=a|u>+b|d>

dove a e b sono le componenti di |S> (a valori reali o complessi) rispettivamente lungo |u> (asse positivo di Z) e |d> (asse negativo di Z).
Nota: abbiamo in pratica scelto le due basi |u> e |d> per descrivere qualsiasi stato del nostro sistema quantistico a due dimensioni.

Si osservi che secondo un noto postulato della meccanica quantistica i prodotti aa e bb indicano rispettivamente la probabilità di trovare (misurare) lo spin nello stato up oppure down.
Nota: con a e b indichiamo il complesso coniugato rispettivamente di a e di b; come vedremo a e b sono in generale numeri complessi.

Ora la cosa poco intuitiva dello spin è che se lo misuriamo lungo un qualsiasi asse, il suo valore è sempre definito nel verso positivo oppure negativo dell'asse di misura (ci aspetteremmo invece di misurare la sua proiezione, come accade nel caso classico per una grandezza vettoriale).

Supponiamo quindi di aver misurato lo spin dell'elettrone nello stato |u> (cioè lungo l'asse Z positivo) e subito dopo eseguiamo una misura lungo l'asse X: se lo spin si trova lungo l'asse X positivo indicheremo tale stato con il vettore |r> (right) definendolo rispetto alle basi |u> e |d>:

|r>=a|u>+b|d>

dove come detto i prodotti aa e bb indicano la probabilità di trovare lo spin lungo l'asse Z positivo oppure negativo rispettivamente.
Nota: in questo caso si dice che la misura prepara lo stato di spin lungo l'asse X positivo indicato con |r>.

Gli esperimenti indicano che dobbiamo porre a=b=(1/2)^1/2 poiché la probabilità di trovare lo stato |u> oppure |d> lungo l'asse Z (dopo aver eseguito la misura lungo X) è sempre la stessa:

aa=bb=1/2

cioè si ha il 50% di probabilità per entrambi gli stati e perciò risulta:

 |r>=(1/2)^1/2|u>+(1/2)^1/2|d>.

Nota: la somma delle probabilità è correttamente normalizzata a 1 infatti P=aa+bb=1.

Possiamo fare la stessa misura lungo l'asse Y e troveremo lo stesso risultato: cioè se misuriamo prima lo spin lungo l'asse Z e subito dopo lungo l'asse X oppure Y, allora lo stato dell'elettrone lungo l'asse Z non è più definito, ha cioè la stessa probabilità di trovarsi nello stato up oppure down(!)
Nota: se invece eseguiamo più volte di seguito la misura dello spin lungo lo stesso asse si ottiene sempre lo stesso valore.

Se inoltre indichiamo con |l> (left) lo stato dello spin preparato lungo l'asse X negativo, si può dimostrare la relazione (vedi la Nota sotto):

|l>=(1/2)^1/2|u>-(1/2)^1/2|d>.

Ed infine considerando anche lo stato lungo l'asse Y positivo |i> (in) oppure negativo |o> (out), si ha rispettivamente:

|i>=(1/2)^1/2|u>+i(1/2)^1/2|d>

|o>=(1/2)^1/2|u>-i(1/2)^1/2|d>

dove abbiamo dovuto introdurre** l'unità immaginaria i (in modo che per tutti questi stati risulti correttamente per le probabilità: aa=bb=1/2).
Nota: gli stati di spin si ottengono ponendo, oltre ai dati sperimentali che definiscono le probabilità, anche le relazioni di indipendenza lineare: <u|d>=<d|u>=<r|l>=<l|r>=<i|o>=<o|i>=0.

Si osservi quindi come sia stato necessario inserire l'unità immaginaria i nella definizione degli ultimi due stati di spin per soddisfare le condizioni richieste (sia sperimentali che formali)***.

È altresì corretto supporre che ciò non riguardi solo questo semplice esempio ma sia vero in generale: senza i numeri complessi, non potremmo definire correttamente gli stati di un sistema quantistico e le relative probabilità (se vogliamo ottenere i giusti risultati sperimentali).

(*) Dopo la misura lo stato di spin dell'elettrone è definito e si dice che l'elettrone è stato preparato nello stato di spin relativo all'asse di misura.
(**) Si può dimostrare che non possiamo fare a meno dell'introduzione dell'unità immaginaria i nella definizione degli stati di spin (da non confondere con lo stato in: |i>).
(***) Questo elementare sistema quantistico può essere definito qubit (quantum bit), poiché presenta solo due stati; in effetti sembra che tutti i sistemi quantistici possano essere costruiti combinando solo qubit.

Il Teorema di Bayes e... un Test!

Per derivare il teorema di Bayes o teorema della probabilità delle cause, dovuto al reverendo Thomas Bayes (1702-1761), dobbiamo innanzitutto introdurre la definizione di probabilità condizionata (vedi Wikipedia):
"In teoria della probabilità la probabilità condizionata di un evento A rispetto a un evento B è la probabilità che si verifichi A, sapendo che B si è verificato"; la indicheremo di seguito con il simbolo P(A|B) (viceversa con P(B|A) indicheremo la probabilità di B quando A è noto).
Nota: è chiaro che la conoscenza dell'evento B non cambia l'esito di A ma solo la sua probabilità di verificarsi*.

È inoltre utile definire in modo preliminare quello che nel calcolo delle probabilità viene chiamato spazio campionario (vedi Wikipedia):
"Lo spazio campionario S o insieme universo è l'insieme dei possibili risultati di un esperimento casuale"; ad esempio, nel caso del lancio di un dado a sei facce, è l'insieme dei sei elementi {1, 2, 3, 4, 5, 6} cioè S=6.

Per dimostrare il teorema di Bayes introduciamo quindi il seguente grafico dove, all'interno di un universo S di possibili eventi, sono definiti:
- l'insieme A: che contiene gli elementi (x+y) che corrispondono all'evento dato A (ad esempio il lancio di un dado);
- l'insieme B: che contiene gli elementi (y+z) che corrispondono all'evento dato B (ad esempio l'uscita di un numero dispari nell'evento A).

Inoltre supponiamo che gli eventi A e B siano dipendenti, cioè che il verificarsi di uno cambi la probabilità di verificarsi dell'altro*.

Quindi per definire la probabilità P(A|B) che accada l'evento A noto l'evento B (o viceversa la probabilità P(B|A)) basta osservare che y rappresenta la parte di elementi comuni ad A e B e quindi (vedi grafico):

P(A|B)=y/(y+z)   o viceversa   P(B|A)=y/(x+y).

Inoltre se indichiamo con ${\displaystyle \Omega }$S lo spazio di tutti i possibili eventi avremo S=x+y+z+w (dove w indica gli elementi non compresi in A o in B) e quindi la probabilità di verificarsi di A e di B è:

P(A)=(x+y)/S${\displaystyle \Omeg$   e   P(B)=(y+z)/S

cioè P(A) e P(B) esprimono il rapporto tra i casi favorevoli e quelli possibili.

A questo punto è semplice ottenere la formula di Bayes:

P(A|B)=P(B|A)*P(A)/P(B)

basta infatti sostituire i valori delle varie probabilità (viste sopra) per verificare questa relazione.

Ma vediamo, come esempio significativo, quello di un test diagnostico: consideriamo ad esempio l'esame di una data patologia, il cui rischio di ammalarsi della popolazione è già stato misurato ed è pari all'1%.
Nota: nella interpretazione bayesiana la probabilità P(malato)=1% può non essere nota a priori ma solo presunta e aggiornata in funzione dei risultati.

Stabiliamo quindi l'uso dei seguenti simboli:
P(+): indica la probabilità che il test abbia esito positivo;
P(malato): definisce la probabilità che il paziente sia malato;
P(+|malato): è la probabilità che il test sia positivo se il paziente è malato;
P(malato|+): è la probabilità che il paziente sia malato se il test è positivo.

Inoltre poiché un test non è mai certo al 100%, supponiamo che gli esiti positivi o negativi del test in seguito rivelati infondati, siano i seguenti:
P(+|sano)=7% (falsi positivi: sono i test errati nel riscontrare la malattia);
P(-|malato)=10% (falsi negativi: i test errati nel non rivelare la malattia).

Applicando la formula di Bayes si può quindi calcolare P(malato/+) cioè la probabilità che il paziente sia malato quando il test risulta positivo:

P(malato/+)=P(+|malato)*P(malato)/P(+)

dove sappiamo già che:
P(+|malato)=90% (poiché per il 10% dei malati si ha un falso negativo);
P(malato)=1% (dato che questo è il dato verificato per la popolazione).

Dobbiamo perciò calcolare la probabilità P(+) che il test abbia esito positivo. Per questo si devono sommare le probabilità condizionate con esito positivo del test (cioè P(+|sano) e P(+|malato)), che vanno moltiplicate rispettivamente per le probabilità che il paziente sia sano oppure malato (cioè P(sano) e P(malato))**. In sintesi possiamo scrivere:

P(+)=P(+|sano)*P(sano)+P(+|malato)*P(malato)=7,83%

essendo come già descritto sopra:

P(+|sano)*P(sano)=(7%)*(99%)   e   P(+|malato)*P(malato)=(90%)*(1%).

Siamo infine in grado di calcolare P(malato/+) in termini percentuali con la formula di Bayes:

P(malato/+)=(90%)*(1%)/(7,83%)=11,49%

che è una probabilità piuttosto bassa che il paziente sia malato quando il test risulta positivo, contrariamente alla nostra aspettativa***.

È quindi evidente come il test diagnostico dell'esempio (con quei dati valori di falsi positivi e negativi) non sia sufficiente per stabilire, con una probabilità significativa, la malattia del paziente!

(*) Ad esempio sapendo che il lancio di un comune dado ha dato esito dispari, la probabilità a posteriori di indovinare il numero uscito sarà di 1/3 e non più di 1/6 come supposto a priori prima del lancio. Infatti in riferimento al grafico avremo S=6, x=0, y=1 e z=2 da cui P(A|B)=1/3.
(**) Per chiarire come si ottiene P(+) poniamo gli eventi A=malato, B=+ e A=(S-A)=sano (sono gli elementi non contenuti in A). Quindi in riferimento a quanto visto sopra con i diagrammi si ha: P(B|A)=y/(x+y), P(A)=(x+y)/S, P(B/A)=z/(S-A) e P(A)=(S-A)/S perciò essendo P(B)=(y+z)/S si può verificare la relazione di P(B)=P(+) indicata sopra.
(***) È possibile anche fare un calcolo di tipo frequentista. Se consideriamo 1.000 persone, si ha che 10 (1%) sono malate e di queste 1 non risulta al test (10% di falsi negativi); perciò le altre 9 risultano positive al test. Le restanti 990 (99%) sono sane di cui 69,3 risultano positive (7% di falsi positivi); mentre le altre 920,7 risultano negative al test. In definitiva si hanno 9 persone malate e positive al test su un totale di 69,3+9=78,3 positive al test. Quindi risulta P(malato/+)=9/78,3=11,49% come visto sopra.

${\displaystyle \Omega }$