Entropia w termodynamice
- funkcja stanu określająca kierunek przebiegu procesów samorzutnych w
odosobnionym układzie termodynamicznym. Zgodnie z drugą zasadą
termodynamiki, jeżeli izolowany układ przechodzi spontanicznie od
jednego stanu równowagi do drugiego, jego entropia nigdy nie maleje -
każdy układ zamknięty dąży do równowagi, w której entropia osiąga
maksimum.
Entropia w teorii informacji
- miara niepewności związana z poszczególnymi realizacjami zmiennej
losowej. Oznacza średnią ilość informacji, przypadającą na pojedynczy
znak przekazu.