熱・統計力学

　本節では、多くの粒子でできている系に対し、相対エントロピーの概念を使って統計的考察を行ないます。

　考えている系はN個の同一粒子からできているものとし、個々の粒子の状態を表わすパラメター s は、ある範囲 Ω に存在するものとします。
　一般に Ω は連続的な無限集合ですが、数学的取扱を容易にするため、Ω をn個の小片 Ω_i ( i = 1 ,¼, n ) に分割し、各小片内の差は無視することにします。これは、各 s の取りうる値が n 個しかないと考えることに他なりません。
　系は同一粒子でできていますから、その物理的性質は、各 Ω_i に何個の粒子が含まれているかということだけで決まります。すなわち各 Ω_j に含まれる粒子の個数を N_i と書くとき、この系の任意の物理量 A は、N º (N_i)_i=1,¼,n のみの関数になります。

　さて、N は、系のミクロな状態を表わしていますが、マクロな存在である我々は N そのものを知ることはできず、あるいくつかの物理量 A_j ( j = 1 ,¼, m ) を通してのみ系を観測することができます。いいかえると、物理量の観測値である a º (a_j)_j=1,¼,m が与えられたとき、集合

(5-1)  Ω(a) º { N | Aj(N) = aj   ( j = 1 ,¼, m ) }

に属す２個の状態は、マクロには区別が付きません。それでは、N がある Ω(a) に属しているという条件だけから N を推定するにはどうしたらよいでしょうか。
　簡単のため、まず最初に N がどの Ω(a) に属しているか不明であるとして、ミクロな状態が N である確率を計算してみましょう。そのために、先見的に s が Ω_i にある確率（アプリオリ確率）が q_i であるとすると、これはアプリオリ確率に従って s を Ω の中から選ぶという独立試行をN回行なったとき、各 Ω_i から s が選ばれる回数が丁度 N_i になる確率を求める問題に他なりませんから、その確率を P(N) と書けば、多項分布の確率の公式により

(5-2)  P(N) =

N!  ————— N1!N2!¼Nn!

q1N1 ¼ qnNn       ( N = N1 + ¼ + Nn )

となります。一方、対数の積分：

(5-3)

M å  j=2

ò

j  j-1

log x dx =

ò

M 1

log x dx = x( log x - 1)

|

M 1

= M log M - M + 1

及び区間 [ j- 1 ,  j] 上での評価式：

(5-4)  log( j- 1) £ log x £ log j

から、階乗に関する評価式として、

(5-5)  log(M- 1)! =

M å  j=2

log( j- 1) £

M å  j=2

ò

j  j-1

log x dx = M log M - M + 1 £

M å j=2

log j = log M!

すなわち

(5-6)  M log M - M + 1 £ log M! £ (M + 1) log(M + 1) - M

が得られます。これからさらに、

(5-7)  1 £ log M! - M ( log M - 1 ) £ M { log(M + 1) - log M } + log(M + 1) = M log(1 + 1/M) + log(M + 1) £ 1 + log(M + 1)

が得られますから、(5-2) の対数をとると、

(5-8)  log P(N)	= log N! -  n å i=1 log Ni! +  n å i=1 Ni log qi
	= N ( log N - 1 ) +  n å i=1 { - Ni ( log Ni - 1 ) + Ni log qi } + Ne(N)
	=  n å i=1 Ni ( log N - log Ni + log qi ) + Ne(N)
	= N ì í î  n å i=1  Ni —–  N  æ è log qi - log  Ni —–  N  ö ø + e(N) ü ý þ

　ただし、(5-7) から

(5-9)  |e(N)| £

1 + log(N + 1) —————– N

+

n å i=1

1 + log(Ni + 1) ——————  N

£

(n + 1){1 + log(N + 1)} —————————– N

® 0      ( N ® ¥ )

が成り立ちます。そこで、和が 1 となる非負実数からなるN次元ベクトルを確率ベクトルとよぶことにして、確率ベクトル p の確率ベクトル q に対する相対エントロピー S( p | q ) を

(5-10)  S( p | q ) =

n å i=1

pi ( log qi - log pi )

で定義します。この相対エントロピーを用いると、(5-8) は、

(5-11)

log P(N) ———— N

= S(

N —–  N

| q ) + e(N)

と書くことができます。
　さて、粒子数 N は、一般には非常に大きく、したがって N ® ¥ としたときに P(N) がどうなるかを知れば十分です。そこで、相対エントロピーの性質を調べてみることにしましょう。

　関数 f(x) = log x - x + 1 を微分すると f'(x) = 1/x - 1 となるので f(x) は x = 1 で最大値 0 を取ります。ゆえに x > 0 に対して

(5-12)  log x £ x - 1

が成り立ちます。なお、(5-12) で等号が成り立つのは x = 1 の場合に限ることに注意します。(5-12) の x に q_i / p_i を代入して両辺に p_i を乗じると

(5-13)  pi ( log qi - log pi ) £ qi - pi

が成り立ち、等号は p_i = q_i の場合に限り成り立ちます。(5-13) を i について加えれば、p と q が共に確率ベクトルであることから右辺は 0 となるので

(5-14)  S( p | q ) £ 0

かつ等号は p = q のときに限り成り立つことがわかります。すなわち相対エントロピーは、p の関数とみなすとき、p = q で最大値 0 を取ることがわかりました。
　また、相対エントロピーは凹関数である、すなわちもう一つの確率ベクトル p' に対し、

(5-15)  S( tp + (1 - t)p' | q ) ³ t S( p | q ) + (1 - t) S( p' | q )       ( 0 £ t £ 1 )

が成り立つこともわかります。実際、p" º tp + (1 - t)p' と置けば、

(5-16)  t S( p | q ) + (1 - t) S( p' | q )	=  n å i=1 { tpi + (1 - t)p'i }( log qi - log p"i ) + t S( p | p" ) + (1 - t) S( p' | p" )
	£  n å i=1 { tpi + (1 - t)p'i }( log qi - log p"i )       ( ∵ (5-14) )
	=  n å i=1 p"i( log qi - log p"i )
	= S( p" | q )

となるからです。なお、(5-15) で等号が成り立つのは p = p" = p' の場合のみであることもわかります。

　次に、相対エントロピーの加法性を確かめましょう。p , q をn次元の確率ベクトル、p' , q' をm次元の確率ベクトルとし、p_i p'_j あるいは q_i q'_j を成分に持つnm次元の確率ベクトルをそれぞれ pp' , qq' と書くと、

(5-17)  S( pp' | qq' ) = S( p | q ) + S( p' | q' )

が成り立ちます。実際、左辺は p_i p'_j { log (q_i q'_j) - log ( p_i p'_j) } の総和ですが、これは p_i p'_j ( log q_i - log p_i ) の総和と p_i p'_j ( log q'_j - log p'_j ) の総和に分割でき、前者の j に関する総和は p_i ( log q_i - log p_i ) になり、後者の i に関する総和は p'_j ( log q'_j - log p'_j ) になるからです。

　また、r をk次元の確率ベクトル、各 i = 1, 2 ,¼, k に対して p⁽ⁱ⁾ と q⁽ⁱ⁾ をn_i次元の確率ベクトルとします。このとき、第n₁ + ¼ + n_i-1 + j番目の成分が r_i p⁽ⁱ⁾_j あるいは r_i q⁽ⁱ⁾_j であるような n₁ + ¼ + n_k 次元の確率ベクトルをそれぞれ p , q と書くと、

(5-18)  S( p | q ) =

k å i=1

ri S( p(i) | q(i) )

が成り立ちます。実際、左辺は r_i p⁽ⁱ⁾_j { log (r_i q⁽ⁱ⁾_j) - log (r_i p⁽ⁱ⁾_j) } の総和ですが、この各項は r_i p⁽ⁱ⁾_j { log q⁽ⁱ⁾_j - log p⁽ⁱ⁾_j } と変形されるからです。

　さて、(5-14) から、P(N) は、N ® ¥ のとき、相対頻度 p º N/N が q 一点に限りなく集中する、正確に言うと、任意の正数 d > 0 に対し、

(5-19)  | p - q | º max { | pi - qi |  | 1£ i £ N } £ d

が成り立つ確率を P_N,d と書くとき、

(5-20)

lim N®¥

PN,d = 1

が成り立つことが証明できます。実際、ある h > 0 が存在して、| p - q | > d なら S( p | q ) £ - 2h となり、N を十分大きく取れば |e(N)| £ h となるので、(5-11) により

(5-21)  log P(N) £ - Nh

すなわち

(5-22)  P(N) £ e- Nh

となりますが、| p - q | > d となる N の個数は高々 N ⁿ なので、| p - q | > d となる確率は N ⁿ e^{- Nh} 以下となり、これは N ® ¥ のとき 0 に収束します。これは (5-16) が成り立つことを意味します。

　以上の結果は“独立試行の回数を増やせば相対頻度はアプリオリ確率に限りなく近づく”という、いわゆる大数の法則に他なりません。しかし、以上の議論を NÎΩ(a) という条件を付けて考察すると、以下のように、自明でない結果が得られます。

　条件 NÎΩ(a) のもとで系の状態が N である確率 P_a(N) は、いわゆる条件付確率の問題ですから

(5-23)  Pa(N) =

P(N) ————— å P(N') N'ÎΩ(a)

で与えられます。

　ところで (5-15) を用いると、相対エントロピーは、p の関数として、任意の凸コンパクト集合上で、最大値を唯一点でとることがわかります。
　実際、相対エントロピーは、コンパクト集合上の連続関数ですから最大値の存在は明らかです。また、最大値を異なる2点 p , p' でとったとすると、(5-15) により、それらの中点 p" での値の方が大きくなり、S( p | q ) = S( p' | q ) が最大値であることに反します。これで一意性が証明されました。

　ここで数学的取扱の便宜のため、N も変数であるとし、n - 1次元のアファイン多様体 { pÎRⁿ |  p₁ + ¼ + p_n = 1 ,  p_i ³ 0 } の内点を持つ凸閉集合 D が存在して、十分大きな任意の N に対して

(5-24)  NÎΩ(a)  Û  N/N Î D

が成り立つものと仮定します。D は凸コンパクト集合ですから、相対エントロピー S( p | q ) が最大値を取る p = p₀ が唯一つ存在します。このとき (5-23) の P_a(N) は、N ® ¥ のとき、相対頻度 p º N/N が p₀ 一点に限りなく集中することが証明できます。実際、任意の正数 d > 0 に対し、

(5-25)  | p - q | º max { | pi - qi |  | 1£ i £ N } > d

が成り立つ pÎD の全体を Ω_d と書き、N/NÎΩ_d となる確率を Q_N,d と書くとき、

(5-26)  QN,d =

å P(N) N/NÎΩd         ————— å P(N) NÎΩ(a)

が成り立ちますから、この右辺が N ® ¥ のとき 0 に近づくことを証明すれば十分です。まず、相対エントロピーが最大値を p₀ のみにおいてとることから、ある h > 0 が存在して、

(5-27)  S( p | q ) £ S( p0 | q ) - 4h       ( pÎΩd )

が成り立ちます。また、N が十分大きければ (5-9) により e(N) £ h となるので、N/NÎΩ_d なら (5-11) により

(5-28)

log P(N) ———— N

= S(

N —–  N

| q ) + e(N) £ S( p0 | q ) - 3h

となります。また、N が十分大きければ、N₀ /N が p₀ に十分近くなるような N₀ÎΩ(a) が存在して

(5-29)

S(

N0 —–  N

| q ) ³

S( p0 | q ) - h

とできるので、これと e(N₀) ³ - h により

(5-30)

log P(N0) ————  N

= S(

N0 —–  N

| q ) + e(N0) ³ S( p0 | q ) - 2h

となります。すなわち (5-28) の右辺を a 、(5-30) の右辺を b と書けば、

(5-31)  a < b

かつ

(5-32a)  P(N) £ eNa       ( N/NÎΩd )

(5-32b)  P(N0) ³ eNb

となります。N/NÎΩ_d であるような N の個数は高々 N ⁿ ですから、(5-26) により

(5-33)  QN,d £

N neNa ———– eNb

= N ne-N(b - a) ® 0       ( N ® ¥ )

つまり、N ® ¥ のとき Q_N,d は 0 に収束します。
　この N₀ というのは、制約条件 NÎΩ(a) のもとで、相対エントロピー S( N/N | q ) を最大にするものでしたから、以上をまとめると次の原理が得られたことになります：

統計的相対エントロピー最大の原理 　ある多粒子系のマクロな観測値が a であるということだけが知られているならば、そのミクロな状態は、ほぼ確実に、Ω(a) において相対エントロピー S( N/N | q ) を最大にする N で与えられる。

　さて、今までは系が単一の粒子でできている場合を考えましたが、次に複数の種類の粒子からなる系（混合系）の場合を考えてみましょう。この場合は、粒子の種類 (1) , (2) , … ごとにアプリオリ確率のベクトル q⁽ⁱ⁾ とミクロな状態 N⁽ⁱ⁾ が定まり、各物理量 A_i も全ての N⁽ⁱ⁾ の関数となり、ミクロな状態が (N⁽¹⁾, N⁽²⁾, ¼) になっている確率 P(N⁽¹⁾, N⁽²⁾, ¼) は、(5-2) の P を使って

(5-34)  P(N(1), N(2), ¼) = P(N(1)) P(N(2)) ¼

で与えられます。ゆえに N º N⁽¹⁾ + N⁽²⁾ + ¼ と置けば、(5-34),(5-11) により、

(5-35)

log P(N(1), N(2), ¼) ————————  N

=

N(1) ——  N

S(

N(1) ——  N(1)

| q(1) ) +

N(2) ——  N

S(

N(2) ——  N(2)

| q(2) ) + ¼ + e(N(1), N(2), ¼) = S(

N —–  N

| q ) + e(N)

となります。ただし

(5-36a)  N º (N(1), N(2), ¼)

(5-36b)  q º (

N(1) ——  N

q(1) ,

N(2) ——  N

q(2) , ¼ )

であり、e(N⁽¹⁾, N⁽²⁾, ¼) は N ® ¥ のとき 0 に収束する“誤差”項です。また、２番目の等号は (5-18) によります。
　ゆえに、上と全く同様な議論により、混合系に対しても統計的相対エントロピー最大の原理が成り立ちます。