Informacja w dzisiejszych-szybkich czasach jest ważna, ale jaka informacja jest ważna a jaka mniej znacząca. Nie mówię tutaj o informacji prawdziwej czy fałszywej tylko o ilościowej (jakościowej) ciężarze informacji. Tutaj przychodzi z pomocą matematyka i rachunek prawdopodobieństwa. Krótko mówiąc, czym informacja jest mniej prawdopodobna, tym bardziej jest cenniejsza i niesie w sobie więcej informacji.
Na przykład komunikat „pada deszcz”, dla Londynu nie wywoła zdziwienia bo dla tej części świata to raczej dość typowe zjawisko. Jednak ten sam komunikat w odniesieniu do pustyni Sahary może już wywołać małą sensacje.