Transcript 発表資料(ppt版)

交換モンテカルロ法における
交換率の解析
永田賢二 渡辺澄夫
東京工業大学
１．交換モンテカルロ法[Hukushima,96]
＜MCMC法＞
ある確率分布に法則収束する
サンプル系列を生成するアルゴリズム
1
d
目標分布： P ( w ) 
exp(  nH ( w ))  ( w ) ( w  R )
Z (n)
交換モンテカルロ法では、以下の同時分布からのサンプリングを考える。
t k : k
K
P ( w1 ,  , w K ) 
 P (w
k
 1,  , K ：温度パラメータ
| tk )
k 1
P(w | t) 
1
Z ( nt )
exp(  ntH ( w ))  ( w )
１．交換モンテカルロ法
＜アルゴリズム＞
以下の2種類の更新を交互に実行する。
１．メトロポリス法やギブスサンプラーなどの従来のMCMC法により、
それぞれの分布 P ( w k | t k )からのサンプリングを並列に実行する。
２．上記の操作に加えて、適当なステップごとにサンプル w k と w k  1 を
確率 u  min( 1, r ) で交換する。
r 
P ( w k 1 | t k ) P ( w k | t k 1 )
P ( w k | t k ) P ( w k 1 | t k 1 )
以後、
 exp  n ( t k  1  t k )  H ( w k  1 )  H ( w k ) 
u を交換率と呼ぶことにする。
１．交換モンテカルロ法
＜従来のMCMC法＞
P (w)
＜交換モンテカルロ法＞
P ( w1 | t1 )
P (w2 | t2 )
P ( w3 | t3 )
P (w4 | t4 )
１．交換モンテカルロ法
1
P(w | t) 
exp(  ntH ( w ))  ( w )
Z (n)
u  min( 1, r )
r  exp n ( t k 1  t k )  H ( w k 1 )  H ( w k ) 
w  x , y   R
n  1000
t  0
2
H (w)  x y
2
2
 ( w ) :標準正規分布
0  t 1
t 1
１．交換モンテカルロ法
従来のMCMC法
交換モンテカルロ法
２．交換モンテカルロ法の設計
＜温度パラメータの設定＞
交換率との関わり
r  exp n ( t k 1  t k )  H ( w k 1 )  H ( w k ) 
•細かく刻むと ・・・ 用意するサンプル系列数が増える ⇒ 計算量が膨大！
•粗く刻むと
・・・ サンプルが交換される割合が減る ⇒ 効率が悪くなる！
サンプル交換の割合（平均交換率）が、各温度間でほぼ一定になるように
温度パラメータを設定することが望ましい。
２．交換モンテカルロ法の設計
＜対称カルバック距離＞
I ( t k , t k 1 ) 

P ( w k | t k ) log
P (wk | tk )
P ( w k | t k 1 )
dw k 

P ( w k  1 | t k  1 ) log
P ( w k 1 | t k 1 )
P ( w k 1 | t k )
＜性質＞
１．P ( w k | t k )  P ( w k 1 | t k 1 ) における log r の期待値 E [log r ] との間に
E [log r ]   I ( t k , t k 1 ) が成り立つ。
２．自由エネルギー F ( nt )   log
 F
2
I ( t k , t k 1 ) 
t
2
 exp(  ntH ( w ))  ( w ) dw
nt k   t k 1  t k 2
との間に
dw k  1
目的


n  （低温極限）における対称カルバック距
離と平均交換率を解明する。
両者の性質および関係を明らかにする。
３．主定理
＜問題設定＞
以下の2つの確率分布間で交換モンテカルロ法を行った場合を考える。
1
P1 ( w ) 
exp(  ntH ( w ))  ( w )
(w  R )
d
Z ( nt )
1
P2 ( w ) 
Z ( n ( t   t ))
exp(  n ( t   t ) H ( w ))  ( w )
＜対称カルバック距離＞
I 
P1 ( w1 )
 P ( w ) log
1
1
P2 ( w1 )
dw 1 
 P (w
2
＜平均交換率＞
J 
  uP ( w ) P ( w
1
1
2
2
) dw 1 dw 2
2
) log
P2 ( w 2 )
P1 ( w 2 )
dw 2
３．主定理
＜定理１＞
対称カルバック距離 I は、
n   において以下に収束する。
2
2




t

t

t

 


I  
 O
 1
 
 t  
t
 t  


Im z
 ：有理数
 (z) 
  H ( w )   ( w ) dw
z

0
Re z
３．主定理
＜定理１の証明の概要＞
I  nt
 H ( w ) P ( w ) dw   H ( w
1
n  t  H ( w ) P1 ( w ) dw
1
1
1

 nt

0

) P2 ( w 2 ) dw 2

ds s exp   nts    s  H ( w )  ( w ) dw

0
2
ds exp   nts    s  H ( w )  ( w ) dw
   s  H ( w )  ( w ) dw  cs
 1
(  log s )

t

t
m 1
[Watanabe,2001]
2
2




t

t

t

t

t



 


 I  

 O
  
 1
 
 t  
t  t 
t
 t
 t  


３．主定理
＜定理２＞
平均交換率 J は、
n   において以下に収束する。
2

|  t |    1 
t  

J  1
 O
 
 t  
t
   


Im z
 ：有理数
 (z) 
  H ( w )   ( w ) dw
z

0
Re z
３．主定理
u  min 1, r  r 
＜定理２の証明の概要＞

H ( w1 )  H ( w 2 )
P1 ( w1 ) P2 ( w 2 ) dw 1 dw 2 
 2
H ( w1 )  H ( w 2 )

 2

0


0
 1
H ( w1 )  H ( w 2 )
r P1 ( w1 ) P2 ( w 2 ) dw 1 dw 2
P1 ( w1 ) P2 ( w 2 ) dw 1 dw 2
s2
ds 2  ds 1 e
 nts 1
ds 2  ds 1 e
 nts 1
0

e
e
 n (t  t ) s2
 n (t  t ) s2
0
 t    1 
t

P1 ( w1 ) P2 ( w 2 )
 exp  n  t  H ( w 2 )  H ( w1 ) 
 t  0 のとき、交換率 u の定義から
J 
P1 ( w 2 ) P2 ( w1 )
  t 2 
 O
 
 t  
   


  s
  s
1
1
 H ( w1 )  ( w1 ) dw 1    s 2  H ( w 2 )  ( w 2 ) dw 2
 H ( w1 )  ( w1 ) dw 1    s 2  H ( w 2 )  ( w 2 ) dw 2
４．考察
本定理の適用範囲
密度の大半が H ( w ) の基底状態の
周りに集中している
n
w  x , y   R
n  1000
t  0
2
H (w)  x y
2
2
 ( w ) :標準正規分布
0  t 1
t 1
４．考察
＜両者の性質および関係＞
2
  t 2  
t
  t  
対称カルバック距離： I   
 O
 1
 
 t  
t
 t  


2

| t | 2 (2 )
  t  

平均交換率： J  1 
O 


2


t 4  ( )
t




１、対称カルバック距離が一定になるように温度パラメータを設定することで、
平均交換率も一定になる。
２、その際の温度パラメータは等比数列になる。
３、対称カルバック距離は２次形式であるのに対し、
平均交換率は１次形式である。
４．考察
＜目標分布の形状と温度パラメータの設定＞
1.4
J  1
  t 2 
 O
 
 t  
  ( )


|  t |  (   1)
t
1.2
1
0.8
0.6
0.4
0.2
0
0
 ：大
 ：小
t
t
2
3
4
5
：小
サンプル系列の数：多
：大
サンプル系列の数：少
t
t
1
6
４．考察
＜目標分布の形状と温度パラメータの設定＞
 ：大
 ：小
特異モデルにおける
ベイズ事後分布
特異モデルにおけるベイズ学習では、
交換モンテカルロ法が特に有効である。
５．まとめ



n   （低温極限）における対称カルバック距離と平均交換率を解
明することで、両者の性質および関係を明らかにした。
結果として、以下のことが明らかになった。
 対称カルバック距離を一定にするように温度パラメータを設定するこ
とで、平均交換率も一定になる。
 その際の温度パラメータの設定は等比数列になる。
今後の課題
 本定理に基づいた交換モンテカルロ法の設計法の構築
 ベイズ学習などの実問題への適用