【SC試験 午前I】情報量とエントロピー — 基礎理論

正解： ウ）

解説：

情報理論における自己情報量は、発生確率 p の事象に対して、次の式で定義されます。

情報量 I ＝ −log₂ p （単位：ビット）

本問では p ＝ 1/8 なので、

I ＝ −log₂(1/8) ＝ log₂8 ＝ 3（ビット）

となり、正解はウ）の3ビットです。

これは「発生確率が低い（珍しい）事象ほど、その発生を知らせる情報は多くの情報量を持つ」という直感とも一致します。例えば発生確率1/2（コイントスの結果など）の事象の情報量は −log₂(1/2) ＝ 1ビットであり、確率が小さくなるほど情報量（必要なビット数）は増加します。SC試験の午前Iでは、log₂の計算（2のべき乗との対応）を素早く行えることが求められます。