情報理論

  [ GB12501 ]
Information Theory
対象:2学年 開設学期:秋C 曜日・時限:火3・4,金3・4 単位数:2単位
担当教員:伊藤誠

概要

情報理論とは情報伝送(通信)の数学的理論である。特に、1948年にシャノンが発表した確率論を基礎とした情報理論は、情報伝送のみならず現代の情報学の様々な分野で利用されている。情報学を学ぶ学生が知っていて当然と思われるシャノンの情報理論について演習を交えて解説する。

学習・教育目標

  1. 情報を測る様々な量(各種情報量)を理解する。
  2. 情報の効率的な表現方法について、その理論的限界と代表的手法を理解する。
  3. 情報の効率的な伝送方法について、その理論的限界と代表的手法を理解する。

キーワード

通信,符号化,情報量

Keywords

communication, encoding, information

時間割

講義内容/理解すべき項目
第1回情報とその表現
情報理論とは、情報とは何か、情報源の統計モデル、情報伝送系のモデル、標本化と量子化
CDのしくみ等の身近な例を使って、本講義で学ぶ内容を解説する。
第2回情報圧縮のための符号化(情報源符号化)
符号の種類、クラフトの不等式
第3〜5回情報源符号化の理論
情報量、エントロピー、マルコフ情報源、符号化の基本定理、ハフマン符号
第6〜7回信頼性向上のための符号化(通信路符号化)
誤り検出・訂正符号、パリティ検査符号、組織符号、ハミング距離
第8〜9回通信路符号化の理論
通信路と通信路行列、相互情報量、伝送情報量、通信路容量、通信路符号化の基本定理
第10回やや高度な話題
線形符号(巡回符号,特にCRC)

教材

manabaにて資料を適宜配布する

参考書籍

植松友彦,イラストで学ぶ情報理論の考え方,講談社
甘利俊一,情報理論,ダイヤモンド社
小林欣吾,森田啓義,情報理論講義,培風館
横尾英俊,情報理論の基礎,共立出版

予備知識・前提条件

確率論の知識を前提とする。

成績評価

授業中に実施するクイズ,レポートと試験により評価を行う.

教員メールアドレス

itoh.makoto.ge@u.tsukuba.ac.jp

TF・TA

TA 松本 隆芳(リスク工学専攻博士前期課程1年)

講義のWebページ

manabaを利用する予定

オフィスアワー

メールにて事前に問い合わせてください.