Об информационном смысле энтропии в случае счетного алфавита

Abstract

Исследованы информационные свойства энтропии Шеннона на пространстве испытаний Бернулли со счетным алфавитом. В отличие от классического подхода мерой информации, содержащейся в сообщении длиной n, служит не логарифм вероятности этого сообщения, а логарифм мощности множества типичных сообщений. Сообщение считается типичным, если определяемое им эмпирическое распределение близко к исходному распределению на алфавите. Основная гипотеза состоит в том, что асимптотика вышеупомянутой мощности определяется энтропией, как и в случае конечного алфавита. Доказано, что для счетного алфавита эта гипотеза неверна, и предложена модификация понятия типичность (с помощью усечения счетного алфавита до конечного), для которого все же удается получить желаемую асимптотику. = In the paper we investigate the informational properties of Shannon entropy on the space of Bernoulli trials with a countable alphabet. Unlike the classical approach the measure of information contained in a message of length n is not the logarithm of the message probability, but rather the logarithm of cardinality of the set of typical messages. The message is regarded as typical if the empirical distribution generated by it is close to the original distribution on the alphabet. The basic hypothesis is that the asymptotic behavior of the cardinality mentioned above is determined by the entropy, like in the case of a finite alphabet. In the paper we prove that in the case of countable alphabet this hypothesis fails and modify the concept of typicalness (using truncation the countable alphabet to the final one) in such a way that an analog to the desired asymptotics may be proved.