井上 純一（北海道大学大学院情報科学研究科）

情報理論は、情報の量を定義することから始まり、それを元にした理論を展開する。ここで学ぶ事柄、特に、エントロピーや相互情報量は、現在の通信技術の根幹を成すのみならず、パターン認識や、人工知能、あるいは統計物理、遺伝情報学などの多くの異なる分野において共有される重要な概念である。本講義ではこの理論の基礎を直感的に理解することに重点を置く。

japanese, 学部でさがす, 工学／情報, 工学部

2年生　工学部

相互情報量と相対エントロピー、情報源符号化、通信路符号化、通信路容量、誤り訂正符号、暗号

スケジュール

1.ウォーミングアップ （1回）
情報とは何か？、情報源のモデルと通信路のモデル

2.情報量とエントロピー（3回)
結合エントロピー、条件付エントロピー、相互情報量と相対エントロピー、情報源エントロピー

3.情報源符号化 （2回)
クラフトの不等式、ハフマン符号、ユニバーサル符号

4.通信路符号化 （2回)
通信路容量、通信路符号化定理

5.誤り訂正符号 （3回)
線形符号、パリティ検査行列、シンドロームによる復号法、巡回符号

6.連続信号の解析 （2回）
フーリエ解析、標本化定理

7.暗号 （時間があれば）
RSA暗号系とその正当性、安全性