学部専門教育
工学
2005
情報理論
井上 純一 (北海道大学大学院情報科学研究科)
Get Flash Player

学部専門教育 情報理論(2005)

教員
井上 純一 (北海道大学大学院情報科学研究科)
概要

情報理論は、情報の量を定義することから始まり、それを元にした理論を展開する。ここで学ぶ事柄、特に、エントロピーや相互情報量は、現在の通信技術の根幹を成すのみならず、パターン認識や、人工知能、あるいは統計物理、遺伝情報学などの多くの異なる分野において共有される重要な概念である。本講義ではこの理論の基礎を直感的に理解することに重点を置く。

講義資料

1.イントロダクション: 情報量とは何か? A4用紙一枚分の情報量を考える情報源と通信路の確率モデル.

 講義ノート | 講義スライド

2.エントロピーとその性質,複合事象, 条件付きエントロピー.

 講義ノート | 講義スライド

3.相互情報量.

 講義ノート | 講義スライド

4.KL情報量と相互情報量, Jensen の不等式とKL情報量の非負性の証明, 情報源符号化, 情報源圧縮の例, クラフト不等式.

 講義ノート | 講義スライド

5.情報源符号の平均符号長, n-元拡大情報源.

 講義ノート | 講義スライド

6.ハフマン符号とその構成法・最適性・問題点.

 講義ノート | 講義スライド

7.通信路符号化, 通信路容量, 伝送速度と通信路容量.

 講義ノート | 講義スライド

8.通信路符号化定理とその証明, 誤り訂正符号, ハミングの不等式.

 講義ノート | 講義スライド

9.線形符号, パリティ検査行列, 線形符号の符号化と復号化.

 講義ノート | 講義スライド

10.巡回符号, 既約多項式, 巡回符号の多項式表現, シフトレジスタで符号器/復号器を作る.

 講義ノート | 講義スライド

11.連続量の情報, 連続量のエントロピーと相互情報量.

 講義ノート | 講義スライド

12.連続信号の解析, 標本化定理 (周期関数, 非周期関数に対して).

 講義ノート | 講義スライド

13.暗号, ガロア体, 離散対数問題, 一方向性関数と公開鍵暗号, エルマガル暗号系.

 講義ノート | 講義スライド

14.演習問題14の解答と解説

 講義ノート

参考資料:期末試験解答総評

‡ これらの資料は制限資料です。

iTUnesU リンク
タグ
対象
2年生 工学部
単位等
講義, 必修, 2単位
キーワード
相互情報量と相対エントロピー、情報源符号化、通信路符号化、通信路容量、誤り訂正符号、暗号
シラバス

<到達目標>
基礎的な事項の理解度を測る指標として、下記に挙げた教科書の章末にある演習問題が自力で解けるようになることを目指す。

 

<授業計画>
(1) ウォーミングアップ (1回) 情報とは何か?、情報源のモデルと通信路のモデル
(2) 情報量とエントロピー(3回) 結合エントロピー、条件付エントロピー、相互情報量と相対エントロピー、情報源エントロピー
(3) 情報源符号化 (2回) クラフトの不等式、ハフマン符号、ユニバーサル符号
(4) 通信路符号化 (2回) 通信路容量、通信路符号化定理
(5) 誤り訂正符号 (3回) 線形符号、パリティ検査行列、シンドロームによる復号法、巡回符号
(6) 連続信号の解析 (2回) フーリエ解析、標本化定理
(7) 暗号 (時間があれば) RSA暗号系とその正当性、安全性

 

<評価の基準と方法>
出席、レポート、試験の結果を総合的に評価する。数回のレポート(それぞれ10点)と試験の得点(100点満点)を荷重平均して得点とする。 昨年度のページが公開中なので、参考にして頂きたい。 なお、昨年度の得点分布は

100 ~ 80 点 50%
79 ~ 70 点  30%
70 ~ 60 点   15%
60点未満       5%

であった(この分布は年度により変動することに注意)

(参考資料 期末試験 | 解答 | 総評)

<備考>
連続信号解析に関する記述は下記教科書にないので、担当者によるプリント、及び参考図書を指示する。

 

<教科書>
「情報伝達と符号の理論」 岩垂好裕 他編著、オーム社出版局 (2000)  定価 2300円 (税別)

備考
スケジュール

1.ウォーミングアップ (1回)
情報とは何か?、情報源のモデルと通信路のモデル

2.情報量とエントロピー(3回)
結合エントロピー、条件付エントロピー、相互情報量と相対エントロピー、情報源エントロピー

3.情報源符号化 (2回)
クラフトの不等式、ハフマン符号、ユニバーサル符号

4.通信路符号化 (2回)
通信路容量、通信路符号化定理

5.誤り訂正符号 (3回)
線形符号、パリティ検査行列、シンドロームによる復号法、巡回符号

6.
連続信号の解析 (2回)
フーリエ解析、標本化定理

7.暗号 (時間があれば)
RSA暗号系とその正当性、安全性
学生による動画紹介レビュー

News

カテゴリー
使い方
OCWとは
お知らせ
お問い合わせ
リンク
サイトマップ
閉じる