Энтропия пары случайных величин и ее связь с энтропиями самих случайных величин. Условная энтропия. Общая информация. Независимость и информация. Информационные неравенства и их вывод с помощью релятивизации. Диаграмма двух и трех случайных величин. Цепное правило.

Пример, когда общая информация трех случайных величин отрицательна. Связь количества информации со статистическим расстоянием через неравенство Пинскера.