Logo BSU

Пожалуйста, используйте этот идентификатор, чтобы цитировать или ссылаться на этот документ: http://elib.bsu.by/handle/123456789/166886
Заглавие документа: Об информационном смысле энтропии в случае счетного алфавита
Другое заглавие: On The Informational Sense Of Entropy In The Case Of Countable Alphabet / E. E. Sokal
Авторы: Сокол, Э. Э.
Тема: ЭБ БГУ::ЕСТЕСТВЕННЫЕ И ТОЧНЫЕ НАУКИ::Математика
Дата публикации: 2016
Издатель: Минск : БГУ
Библиографическое описание источника: Вестник БГУ. Серия 1, Физика. Математика. Информатика. - 2016. - № 1. - С. 96-100
Аннотация: Исследованы информационные свойства энтропии Шеннона на пространстве испытаний Бернулли со счетным алфавитом. В отличие от классического подхода мерой информации, содержащейся в сообщении длиной n, служит не логарифм вероятности этого сообщения, а логарифм мощности множества типичных сообщений. Сообщение считается типичным, если определяемое им эмпирическое распределение близко к исходному распределению на алфавите. Основная гипотеза состоит в том, что асимптотика вышеупомянутой мощности определяется энтропией, как и в случае конечного алфавита. Доказано, что для счетного алфавита эта гипотеза неверна, и предложена модификация понятия типичность (с помощью усечения счетного алфавита до конечного), для которого все же удается получить желаемую асимптотику. = In the paper we investigate the informational properties of Shannon entropy on the space of Bernoulli trials with a countable alphabet. Unlike the classical approach the measure of information contained in a message of length n is not the logarithm of the message probability, but rather the logarithm of cardinality of the set of typical messages. The message is regarded as typical if the empirical distribution generated by it is close to the original distribution on the alphabet. The basic hypothesis is that the asymptotic behavior of the cardinality mentioned above is determined by the entropy, like in the case of a finite alphabet. In the paper we prove that in the case of countable alphabet this hypothesis fails and modify the concept of typicalness (using truncation the countable alphabet to the final one) in such a way that an analog to the desired asymptotics may be proved.
URI документа: http://elib.bsu.by/handle/123456789/166886
ISSN: 1561-834X
Располагается в коллекциях:2016, №1 (январь)

Полный текст документа:
Файл Описание РазмерФормат 
96-100.pdf1,51 MBAdobe PDFОткрыть


Все документы в Электронной библиотеке защищены авторским правом, все права сохранены.