大学院教育
情報科学研究科
2004
混沌系工学特論
井上 純一(情報科学研究科)
Get Flash Player

大学院教育 混沌系工学特論 (2004)

教員
井上 純一(情報科学研究科)
概要

確率的情報処理に関する話題の提供 : 統計力学の考え方に基づく情報処理システムの設計と その動作の解析がどのように行われるのか, を具体例をあげて解説する.

次年度は「画像/符号/スペクトル拡散通信の数理 : ベイズ統計と情報処理」, 「ゲーム理論と経済現象の数理」をとりあげる予定です.

2005年度の資料も参照のこと.

講義資料

1.連想記憶の数理 (全4回)

a. 講義ノート講義スライド

b. 講義ノート講義スライド

c. 講義ノート講義スライド

d. 講義ノート講義スライド

2.最適化問題の数理 (計3回)

a. 講義ノート講義スライド

b. 講義ノート講義スライド

c. 配布資料等はありません

3.学習と汎化の数理 (計3回)

a. 講義ノート講義スライド

b. 講義ノート講義スライド

c. 講義ノート講義スライド

課題用資料

i.課題2 (PBM画像) ※準備中

ii.課題8 (Cプログラム)

iii.課題13 (Cプログラム)

‡ これらの資料は制限資料です。

iTUnesU リンク
タグ
対象
大学院修士課程, 博士課程/工学研究科,情報科学研究科
単位等
講義,2単位
キーワード
確率的情報処理, ニューラルネットワーク, 連想記憶, 最適化問題, 学習と汎化の理論, 情報統計力学
シラバス

<到達目標>

この講義の到達目標は各トピックスの内容に関する知識を身に付けるだけでなく, トピックス全体に該当するものとして

1.確率的に動作する多数の要素からなるシステムを可能な限り簡略化し, 数理モデル化することができるようになる.
2.数理モデルを解析するための手法 (応用数学的手法, 計算機による数値計算/シミュレーション技法)を身に付ける.

※ 多くの複雑な現象は数理モデルを簡略化したとしても, その振る舞いをを厳密に評価することは難しくなります. そこで, いくつかの近似を用いたり, 理想化された状況を考えることになるので, 用いた近似の精度評価/妥当性についても適切に行えるようになることが望ましいです.
※ 具体的には各トピックスの要所で[演習問題]を出しますので, それを自ら考え, 必要とあらば自分でプログラムを書き, その実行結果に関して自分なりの考察ができるようなレベルを目指します.

 

<授業計画>

1. ニューラルネットワーク (神経回路網) と連想記憶 (全4回) 到達目標 : 典型的な確率的動作を行う要素であるニューロンとその集合体である脳(ニューラルネットワーク)の機能の一つである連想記憶について理解する.

a.基本的な構成要素であるニューロンの論理素子, 非線形素子としての性質を理解する.
b. 多数のニューロンをつなげた場合のシステムの振る舞いを連想記憶を例にとって計算機シミュレーションレベルで理解する. この際, 各ニューロンの動作を追うのではなく, 回路網の状態ベクトルと記憶パターンベクトルの内積で定義される「重なり」という巨視的な変数を介してシステムの動きを理解する. これは当講義を通じて共通する重要な考え方なので, この部分でマスターしていただきたい.
c.記憶量の限界をシグナル/ノイズ解析によって定量的に議論できる.
d.[少し進んだ内容] 連想記憶の想起過程の近似理論について理解する.

 

2. 最適化問題/最適化アルゴリズム (全2回) 到達目標 : システムにコスト関数(エネルギー)という概念を導入し, システムの最適化をこの関数を評価基準に行う. 統計力学の導入としても重要なパートである.

a.システムに対するエネルギー関数の組み立て方を習得する.
b.マルコフ連鎖モンテカルロ法における「温度」と「熱揺らぎ」の関係について理解する.
c.アニーリング法の仕組みについて理解し, 簡単な問題に適用できるようになる.
d.統計力学における時間平均とアンサンブル平均の等価性を理解し, 同じ力学構造をもつ「アンサンブル」という概念になれる.

 

3. 学習理論 (全3回) 到達目標 : 一般的に「学習」というものを理解し, 汎化能力という指標を導入する. この指標を会して学習アルゴリズムの良し悪しに関して議論できるようになる.

a.学習における訓練誤差と汎化誤差の違いについて理解する.
b.バッチ学習とオンライン学習の違いを理解する.
c.いくつかのネットワークとその上で動作する学習アルゴリズムに関して学習曲線(汎化誤差の例題数依存性)を解析的/計算機実験により評価できるようになる.

 

<評価の基準と方法>
講義1回につき約1題数題ずつ簡単なレポート課題を出します. それらをレポートにて提出してもらい, その内容で評価します.

 

<備考>
講義資料および講義ノートはホームページ上で配布

 

<講義指定図書>
逐次, 講義中に紹介する.

備考
学生による動画紹介レビュー

News

カテゴリー
使い方
OCWとは
お知らせ
お問い合わせ
リンク
サイトマップ
閉じる