Энтропия Шеннона. Теорема Шеннона об оптимальном блоковом кодировании для канала без шума. Взаимная информация пары случайных величин. Пропускная способность дискретного канала без памяти. Теорема Шеннона об оптимальном блоковом кодировании для канала с шумом (без доказательства).