Синтаксические меры информации.

Общепринято, что информация является мерой организованности, упорядоченности, разнообразия.

Известно, что объем данных измеряется количеством какого-либо пакета в конкретном информационном объекте. Часто информация кодируется числовыми кодами в той или иной системе исчисления. В этом случае число возможных состояний объекта определяется формулой: N = mⁿ, где m - основание системы исчисления; n - число символов, разрядов, сообщений (длина сообщения).   

В различных системах один разряд имеет различный вес и единицы измерения объема данных, называемых по-разному: в двоичной системе – бит, в десятиричной – дит, в квантовой системе – кубит. Например: сообщение 10110111 – 8 бит, 67321905 – 8 дит.

1 бит – минимальная единица данных, 1байт – 8 бит.

    Синтаксическая мера информации основывается на понятии состояния объекта, который оценивается энтропией.

    Получение информации в рамках синтаксического подхода связано с изменением степени неосведомленности получателя о состоянии системы. До получения информации получатель мог иметь предварительные сведения о системе α и мера его неосведомленности о системе Н(α) является для него мерой неопределенности состояния системы. После получения некоего сообщения β он приобретает дополнительное количество информации I(β/α),уменьшающую его неосведомленность, таким образом, апостериорная информация становится неопределенной: H(α/β). Тогда количество информации можно определить как: I(β/α) = Н(α) - H(α/β).                           .

Т. е. если назвать I(β/α) количеством информации, то оно определяется как изменение (уменьшение) неопределенности состояния системы, т. е. увеличение нашей осведомленности о системе. Если обратится в 0, т. е. будем знать все о системе α, то наступит равенство: Таким образом, энтропия системы Н(α) может рассматриваться как мера недостающей информации о системе. К. Шеннон определил энтропию Н(α) системы α, способную находиться в N возможном состоянии, как:

Н(α) = ,

где p_i -вероятность нахождения системы в одном из N состояний.

В важном для практики случае, когда все состояния равновероятны, т. е. p_i = 1/N.- энтропия системы определяется формулой:

Н(α) = .

Это формула Хартли, она позволяет рассчитать количественные характеристики данных.

Пример: Сообщение имеет N разрядов и использует m различных символов, т. е. количество возможных комбинаций определяется формулой: N=mⁿ. При равновероятном появлении любой кодовой комбинации количество информации, приобретаемой абонентом в результате получения неискаженного сообщения, равно:

I = log_mN = log_mmⁿ = n,

I = n.

    Таким образом, при условии полного незнания абонентом содержания сообщение будет равно объему передаваемых данных

I = V_д = n

    Для неравноверных состояний системы (например, для передачи текста на известном языке есть буквы, которые встречаются неодинаково часто, тогда I<V_д), существует зависимость:

    Таким образом, степень информативности сообщения определяется соотношением:Y = I/V_д, причем, 0<Y<1 называется лаконичностью сообщения. С увеличением Y уменьшается объем работы по преобразованию данных, но растет время их передачи. Поэтому существует возможность оптимального кодирования информации, при которой объем данных выбирается в зависимости от способности системы производить кодирование с той или иной скоростью.