![]() ![]() |
科目一覧へ戻る | 2019/01/02 現在 |
科目名(和文) /Course |
情報理論 |
---|---|
科目名(英文) /Course |
Information Theory |
時間割コード /Registration Code |
21C14101 |
学部(研究科) /Faculty |
情報工学部 |
学科(専攻) /Department |
情報通信工学科 |
担当教員(○:代表教員)
/Principle Instructor (○) and Instructors |
○稲井 寛 |
オフィスアワー /Office Hour |
稲井 寛(水曜日5時限 2507) |
開講年度 /Year of the Course |
2018年度 |
開講期間 /Term |
前期 |
対象学生 /Eligible Students |
2年 |
単位数 /Credits |
2.0 |
更新日 /Date of renewal |
2018/03/12 |
---|---|
使用言語 /Language of Instruction |
日本語 |
オムニバス /Omnibus |
該当なし |
授業概略と目的 /Cource Description and Objectives |
情報理論は,情報の表現や伝送に関する基礎理論であり,確率論を基盤としている.本講義では,情報発生のモデルとして,ある確率でシンボルが発生するモデルを導入し,そこで発生する情報の量を定義する.そして,0と1の系列である符号を用いて情報を表現する.講義の前半では,ある情報をその意味を変えることなく可能な限り短い符号系列で表現する手法(圧縮の原理)について考察する.これに対して,後半では,冗長な符号系列を付加することにより,伝送中に発生するビット誤りの検出?訂正が可能となることを示す. |
履修に必要な知識?能力?キーワード /Prerequisites and Keywords |
履修に必要な知識:確率論の基礎知識 キーワード:情報量,エントロピー,符号,情報源,通信路,誤り検出,誤り訂正 |
履修上の注意 /Notes |
「確率統計」を修得していることが望ましい. |
教科書 /Textbook(s) |
稲井 寛,はじめての情報理論,森北出版,2011 |
参考文献等 /References |
|
自主学習ガイド /Expected Study Guide outside Coursework/Self-Directed Learning Other Than Coursework |
他科目との関連を常に意識することを心掛けると理解の助けとなると共に視野が拡がる.例えば,アナログ情報のディジタル化やデジタル情報伝送の具体的な方法については「通信方式」や「信号処理」で学ぶ.また,ビット誤りの検出?訂正の具体的な方法については「符号理論」で学ぶ. |
資格等に関する事項 /Attention Relating to Professional License |
|
備考 /Notes |
No. | 単元(授業回数) /Unit (Lesson Number) |
単元タイトルと概要 /Unit Title and Unit Description |
時間外学習 /Preparation and Review |
配布資料 /Handouts |
---|---|---|---|---|
1 | 1 | [概要説明] 情報理論の概要,講義目標,注意事項について説明する. |
||
2 | 2 | [情報量(1)] 情報量,エントロピーについて説明する. |
||
3 | 3 | [情報量(2)] エントロピーの性質,結合エントロピー,条件付エントロピーについて説明する. |
||
4 | 4 | [情報源(1)] 情報源のモデル,無記憶情報源について説明する. |
||
5 | 5 | [情報源(2)] マルコフ情報源について説明する. |
||
6 | 6 | [情報源符号化(1)] 符号の分類,瞬時に復号可能な符号であるための条件について説明する. |
||
7 | 7 | [情報源符号化(2)] クラフトの不等式,平均符号長,符号の効率と冗長度について説明する. |
||
8 | 8 | [情報源符号化(3)] コンパクト符号,情報源符号化定理について説明する. |
||
9 | 9 | [情報源符号化(4)] モールス符号,シャノン符号,ファノ符号,ハフマン符号について説明する. |
||
10 | 10 | [通信路(1)] 事前エントロピー,事後エントロピー,相互情報量について説明する. |
||
11 | 11 | [通信路(2)] 雑音のない通信路,確定的通信路,一様通信路について説明する. |
||
12 | 12 | [通信路(3)] 通信路容量について説明する. |
||
13 | 13 | [通信路符号化(1)] 受信シンボルの判定,通信路符号化について説明する. |
||
14 | 14 | [通信路符号化(2)] ハミング距離,誤り検出?訂正の原理について説明する. |
||
15 | 15 | [通信路符号化(3)] 通信路符号化定理について説明する. |
||
16 | 16 | [試験] 定期試験を行う. |
No. |
到達目標 /Learning Goal |
知識?理解 /Knowledge & Undestanding |
技能?表現 /Skills & Expressions |
思考?判断 /Thoughts & Decisions |
伝達?コミュニケーション /Communication |
協働 /Cooperative Attitude |
||
---|---|---|---|---|---|---|---|---|
1 | 情報量を理解し,エントロピーを計算することができる. | ○ | ○ | ○ | ||||
2 | 情報源のモデルを理解し,情報源のエントロピーを計算することができる. | ○ | ○ | ○ | ||||
3 | 情報源符号を構成し,平均符号長を計算することができる. | ○ | ○ | ○ | ||||
4 | 通信路のモデルを理解し,相互情報量,通信路容量を計算することができる. | ○ | ○ | ○ | ||||
5 | 誤り訂正の原理を理解し,平均誤り率,ハミング距離を計算することができる. | ○ | ○ | ○ |
No. |
到達目標 /Learning Goal |
定期試験 /Exam. |
レポート | ||||
---|---|---|---|---|---|---|---|
1 | 情報量を理解し,エントロピーを計算することができる. | ○ | ○ | ||||
2 | 情報源のモデルを理解し,情報源のエントロピーを計算することができる. | ○ | ○ | ||||
3 | 情報源符号を構成し,平均符号長を計算することができる. | ○ | ○ | ||||
4 | 通信路のモデルを理解し,相互情報量,通信路容量を計算することができる. | ○ | ○ | ||||
5 | 誤り訂正の原理を理解し,平均誤り率,ハミング距離を計算することができる. | ○ | ○ | ||||
評価割合(%) /Allocation of Marks |
80 | 20 |