Transcript 無投影片標題

利用碎形維度計算對連續影像
進行壓縮
指導教授
蔣依吾
研 究 生
王崇任
中山大學應用數學系資訊組
大綱

簡介

碎形維度

區塊切割

研究成果

結論
簡介
• 研究主題
針對連續影像進行壓縮
• 連續影像
一連串單張影像組成，如電視、電影、視訊
會議（Video conference）等等
簡介
• 單張畫面之冗餘
• 連續畫面間之冗餘
變動劇烈之區域 眼睛、嘴巴
變動緩和之區域 背景
簡介
• 區塊估計移動（Motion Estimation）
不須將每張畫面均記錄下來，只須記錄
區塊變動之位移量、區塊位置圖及參考
影像
• 失真壓縮法
簡介
• 切割原則
變動程度劇烈之區域 → 小區塊
變動程度緩和之區域 → 大區塊
• 主要問題
如何得到連續畫面間變動之資訊？
簡介
• 方法
利用碎形維度（Fractal Dimension）之觀念
提供連續影像變動之資訊
↓
進行區塊切割 ←
↓
矩形區塊
Delaunay三角形區塊
記錄區塊位移量以達到壓縮目的
簡介
• 測試影像群
Claire：352  240, 24 bit/pixel, 33張連續影像
醫學影像：600  600, 24 bit/pixel, 33張連續影像
灰階影像：352  240, 8 bit/pixel, 33張連續影像
雜訊影像：灰階影像加上25dB之雜訊
簡介
醫學影像
NLM 提供了男性與女性兩種人體
切片之醫學影像，其將人體以毫
米為單位，從頭部至腳部，高密
度切片
簡介
女性人體切片影像

0.33 mm 區間切片

1a, 1b, 1c ~ 285a, 285b, 285c

2048  1216, 24 bit/pixel
簡介
醫學影像群

23a, 23b, 23c ~ 33a, 33b, 33c
共 33 張彩色影像

600  600, 24 bit/pixel
研究方法
Claire 影像群為例
↓
RGB 彩色影像 轉換成 Y-Cb-Cr 分量影像
↓
Y-Cb-Cr 分量影像轉換成差值影像
↓
碎形維度
↓
區塊切割
RGB
Y-Cb-Cr
差值影像
碎形維度
切割區塊
• RGB 彩色影像轉換成 Y-Cb-Cr 分量影像
原本訊號平均分佈在R-G-B三分量之彩色影像，經過
轉換之後，會將大部份訊號集中至Y 分量影像
• 利用下列矩陣進行轉換
 Y   0 . 257
  
C b   0 . 148
  
 C r   0 . 439
0 . 504
 0 . 291
 0 . 368
0 . 098   R 
 
0 . 439
G 
 
 0 . 071   B 
 16 


128 .


128 
RGB
Y-Cb-Cr
差值影像
Y分量
碎形維度
Cb分量
切割區塊
Cr分量
• 第 1 張影像經過轉換之後，其 Y-Cb-Cr 分量影像
• 明顯發現訊號均集中於 Y 分量影像上
RGB
Y-Cb-Cr
差值影像
碎形維度
切割區塊
每一張影像均與參考影像進行差值計算
參考影像設定為第 17 張影像
第 17 張影像
RGB
Y-Cb-Cr
Y分量
差值影像
Cb分量
碎形維度
切割區塊
Cr分量
• 由第1張影像與參考影像進行差值計算，分別為
Y-Cb-Cr 三個分量， Y-Diff(x,y,l) ， Cb-Diff(x,y,l)
及 Cr-Diff(x,y,l)
• 每張差值影像均表現出其與參考影像間之變動程度
RGB
Y-Cb-Cr
差值影像
碎形維度
切割區塊
Y分量
Cb 分量
Cr 分量
32張差值影像
32張差值影像
32張差值影像
Y 碎形維度
Cb 碎形維度
Cr 碎形維度
Y 區塊切割
Cb 區塊切割
Cr 區塊切割
RGB
差值影像
Y-Cb-Cr
碎形維度
n
¡ ´ (x,y,1)
D iff(x ,y,1)
¡ ´ ( x,y,m/2 )
D iff(x ,y,m /2)
a
D iff(x,y,m )
a
D if f e r e nc e volu m e V
¡´ ¡´ ¡´
m
¡´ ¡´ ¡´
m
n
FD ( x , y , t ) 
log C 
¡ ´ (x ,y ,m )
a
M=32,a=2
S= m /a
cont  x , y , t   j  i  1
C 
 s
log 1

cont ( x  p , y  q , t  r )
 m 2 1  p , q , r  m 2
切割區塊
RGB
Y-Cb-Cr
Y分量
差值影像
Cb分量
碎形維度
切割區塊
Cr分量
分別就Y-Cb-Cr 三個分量，可得到三張碎形維
度影像，表示連續影像之變動程度，碎形維
度越大，變動程度越劇烈
RGB
差值影像
Y-Cb-Cr
碎形維度
切割區塊
已經得知影像變動之資訊
↓
切割區塊
矩
形
三
角
形
視影像變動程度劇烈或是緩和，來定義切割區塊之條件
RGB
Y-Cb-Cr
差值影像
碎形維度
切割區塊
切割條件：
Variance（平均變異數）
Threshold （最小碎形維度）
MiniBlock（區塊最小邊長）
切割流程
是
判斷變異數是否大於預設值
否
是
判斷碎形維度是否大於預設值
否
結束切割
進
入
下
一
階
段
是
是
否
小
於
最
小
區
塊
預
設
值
否
繼
續
切
割
• 為何使用 Delaunay 三角形切割？

三角形比矩形更能符合影像中自然之邊界形狀

給定相同點集合，可在平面上產生唯一之Delaunay
三角形切割
矩形切割
分別表示Y-Cb-Cr 三個分量之矩形區塊切割圖
合併之後可以得到另一張
區塊切割圖
三角形切割
分別表示Y-Cb-Cr 三個分量之三角形區塊切割圖
合併之後可以得到另一張
區塊切割圖
影像重建
第17張影像
第18張影像
第17張參考影像
區塊切割位置圖
每一區塊位移向量
重建影像
研究成果
程式壓縮端：（矩形區塊）

參考影像 參考影像.jpg，72704 bits

區塊切割圖 191 區塊  17 bits

區塊位移向量 191 區塊  32  10 bits  3
區塊位移範圍：32  32
研究成果
程式壓縮端：（三角形區塊）

參考影像 參考影像.jpg，72704 bits

區塊切割圖 83 點數  17 bits

區塊位移向量 188 區塊  32  10 bits  3
區塊位移範圍：32  32
研究成果
Y分量
Cb分量
Cr分量
第 1 張影像重建後之結果，分別就Y-Cb-Cr
三個分量觀察
研究成果
• 以Claire 連續影像為例
矩形切割：
壓縮倍數為 258 倍 平均PSNR為 35.92 dB
三角形切割：
壓縮倍數為 263 倍 平均PSNR為 36.02 dB
per  channel  PSNR  10
log 255
MSE
2
dB
Mpeg：壓縮倍數為50倍 平均 PSNR為 35.11
RGB
Y-Cb-Cr
差值影像
碎形維度
切割區塊
• 醫學影像
Y分量
Cb分量
RGB 彩色影像  Y-Cb-Cr 分量影像
Cr分量
RGB
Y-Cb-Cr
Y分量
差值影像
Cb分量
碎形維度
切割區塊
Cr分量
Y-Cb-Cr 分量影像  差值計算  差值影像
RGB
Y-Cb-Cr
Y分量
差值影像
Cb分量
差值影像  碎形維度影像
碎形維度
切割區塊
Cr分量
RGB
Y-Cb-Cr
差值影像
碎形維度
切割區塊
分別表示Y-Cb-Cr 三個分量之三角形區塊切割圖
合併之後可以得到另一張
區塊切割圖
RGB
Y-Cb-Cr
差值影像
碎形維度
切割區塊
分別表示Y-Cb-Cr 三個分量之矩形區塊切割圖
合併之後可以得到另一張
區塊切割圖
研究成果
程式壓縮端：（三角形區塊）

參考影像 參考影像.jpg，161200 bits

區塊切割圖 512 點數  20 bits

區塊位移向量 1243 區塊  32  10 bits  3
區塊位移範圍：32  32
研究成果
程式壓縮端：（矩形區塊）

參考影像 參考影像.jpg，161200 bits

區塊切割圖 1232 區塊  20 bits

區塊位移向量 1232 區塊  32  10 bits  3
區塊位移範圍：32  32
研究成果
Y分量
Cb分量
Cr分量
第 1 張影像重建後之結果，分別就Y-Cb-Cr
三個分量觀察
研究成果
矩形切割：
壓縮倍數為 208 倍 平均PSNR為 35.23 dB
三角形切割：
壓縮倍數為 212 倍 平均PSNR為 35.93 dB
研究成果
• 矩形區塊切割
切割區塊
壓縮率
平 均 P SN R
測試影像群
之數目
(bit/pix el)
(dB )
C laire
126
.069981
35.63
191
.092762
35.92
112
.033626
35.44
192
.043297
35.93
88
.040900
25.69
142
.046518
26.84
1232
.116731
35.23
1502
.143429
35.81
灰階影像群
雜訊影像群
M edical Im age
研究成果
• Delaunay三角形區塊切割
切割區塊
壓縮率
平 均 P SN R
測試影像群
之數目
(bit/pix el)
(dB )
C laire
132
.071768
35.78
188
.091174
36.02
121
.024316
35.60
199
.038131
36.11
105
.037023
25.50
182
.051413
26.93
1221
.101241
35.88
1823
.163062
36.21
灰階影像群
雜訊影像群
M edical Im age
結論
• 平均壓縮倍率為 200~300 倍，平均 PSNR 值
為 35 dB
• 三角形區塊切割之成果優於矩形區塊切割
• 若能與硬體上之配合，本程式在解壓縮可以達
到即時（Real time），此亦為本程式之特點