Entropia

Article

June 26, 2022

L'entropia è uno dei concetti di base e più importanti della fisica, della teoria della probabilità e della teoria dell'informazione, della matematica e di molte altre aree della scienza teorica e applicata. Si verifica ovunque si lavori con la probabilità di possibili stati di un dato sistema. Nelle interpretazioni popolari, c'è spesso un'approssimazione dell'entropia come una quantità che indica il "grado di disordine" del sistema in esame. Il problema con questa spiegazione è che questa "definizione" usa il termine "disordine", che è esso stesso indefinito. Una nozione più intuitiva di entropia come misura dell'incertezza del sistema è più appropriata. Mentre le distribuzioni di probabilità "affilate" (come la soglia) hanno una bassa entropia, le distribuzioni di probabilità "affilate" o "sfocate" hanno un'alta entropia. La distribuzione di probabilità con la più alta entropia può essere considerata una distribuzione normale (per una data media e deviazione standard) o uniforme (per un dato intervallo). L'origine della parola "entropia" deriva dal greco εντροπία, "verso", (εν- "k" + τροπή "verso").

Storia

Il concetto di entropia (termodinamica) è stato introdotto da Rudolf Clausius nel contesto della termodinamica classica per spiegare perché alcuni processi sono spontanei e altri no. La definizione microscopica di entropia fu presentata da Ludwig Boltzmann nel 1887, come uno dei concetti centrali del suo nuovo campo della fisica - la meccanica statistica. Claude Elwood Shannon nel 1948, ipotizzando che l'informazione sia un fattore legato al grado di rivelazione della "verità" eternamente nebulosa ricercata dall'uomo, costruì un'ipotesi matematica che portava a una relazione precedentemente nota come entropia. Ha quindi utilizzato l'unica rappresentazione linguistica conosciuta dell'incertezza: la probabilità, e quindi è arrivato a questa relazione. Ha così posto le basi della teoria dell'informazione come scienza esatta (nell'articolo: Claude Elwood Shannon, Warren Weaver: "Una teoria matematica della comunicazione" nel 1948).

Definizione

Nel caso di stati discreti e probabilità, l'entropia è più spesso definita (Josiah Willard Gibbs) come una quantità del tipo: INSIEME A - a ∑ e P e ln ⁡ P e {\ displaystyle S -k \ sum _ {i} P_ {i} \ ln P_ {i} \!} dove S è il simbolo comunemente usato per l'entropia. La somma viene eseguita su tutti i microstati corrispondenti al macrostato specificato e P e {\ displaystyle P_ {i} ~} è la probabilità dell'i-esimo microstato. La costante k corrisponde alla scelta delle unità in cui si misura l'entropia S. In unità SI, k kB costante di Boltzmann 1.380 649 × 10−23 J K − 1. L'unità di entropia è quindi formalmente la stessa dell'unità di capacità termica. In unità, il bit è k 1 / ln (2), quindi INSIEME A - ∑ P e tronco d'albero 2 ⁡ P e {\ displaystyle S - \ somma P_ {i} \ log _ {2} P_ {i}} .Da un punto di vista matematico, l'entropia è un certo additivo funzionale alle distribuzioni di probabilità. Dal punto di vista della fisica, l'entropia è una grandezza chiave per la formulazione del secondo principio della termodinamica. Questa legge pone dei limiti fondamentali per la possibilità di ottenere lavoro utile da un sistema termodinamico. Il concetto di entropia e la seconda legge della termodinamica possono essere applicati anche per risolvere la questione se un dato processo avverrà spontaneamente. Processi spontanei in chiuso