Parte XIII — Informazione, compressione e canali
La Parte XII ha trattato i segnali: grandezze che variano e portano informazione, da campionare e filtrare per portarle dentro un computer. Ma cos’è, esattamente, l’informazione che un segnale porta? E quanto se ne può comprimere, quanto se ne può trasmettere su un canale rumoroso senza errori? Questa Parte risponde con il linguaggio fondato da Claude Shannon nel 1948, l’anno in cui la comunicazione smette di essere solo ingegneria fisica e diventa una teoria con dei teoremi. Il filo parte dall’idea che l’informazione misuri la riduzione di incertezza — la sorpresa, non il significato — e dall’entropia come incertezza media di una sorgente. Da lì si dipana tutto: i canali, il rumore e la capacità; la ridondanza e la correzione d’errore; la compressione e il minimum description length; la complessità di Kolmogorov che misura l’informazione di un singolo oggetto; l’informazione mutua che misura la dipendenza tra variabili; la compressione lossy con perdita accettabile; il legame tra informazione e apprendimento; e il ponte diretto verso gli LLM. Per chi lavora con l’AI questa Parte non è teoria d’archivio: la loss di ogni language model è la cross-entropy, la metrica di valutazione è la perplexity (cioè entropia esponenziata), e l’idea che “comprimere bene equivalga a predire bene” è la lente con cui leggere i modelli generativi come compressori. È la Parte dove si capisce perché la teoria dell’informazione e il machine learning parlano, in fondo, la stessa lingua.
Stato della Parte: 9 di 9 capitoli scritti.
- Informazione come riduzione di incertezza —
informazione-shannon - Canali, rumore, capacità —
canali-rumore-capacita - Ridondanza, error correction, robustezza —
codifica-ridondanza-errori - Minimum Description Length —
compressione-mdl - Compressione e complessità algoritmica —
kolmogorov-complessita - Informazione mutua e dipendenza —
mutual-information - Compressione lossy e perdita accettabile —
rate-distortion - Learning come estrazione di struttura —
informazione-apprendimento - Token prediction, compressione, rappresentazioni —
ponte-informazione-llm