TWI489860B - 三維影像處理方法與應用其之三維影像顯示裝置 - Google Patents

Description

三維影像處理方法與應用其之三維影像顯示裝置

本案是有關於一種3D影像處理方法與應用其之3D影像顯示裝置。

現今，觀賞3D影像具有較佳娛樂效果，故而，愈來愈多的顯示裝置(比如3D電視機等)支援3D影像顯示。不過，3D顯示裝置所接收的影像信號可能只是2D影像信號，故而，3D顯示裝置將2D影像轉換成3D影像。

在將2D影像轉換成3D影像時，亦可稱為3D覆蓋(wrapping)，必需參考所謂的深度圖(depth map)。所謂的「深度」是指，人眼在看此影像中的物體時所感覺到物體的遠近程度。量深圖是由許多量深位元所組成，各深度位元代表相對應的2D影像中的一個像素的深度。如此，可從一張已知視角的影像與其相對應深度圖來提供立體影像給觀賞者。

將2D影像轉換成3D影像後，3D影像分成左眼影像信號與右眼影像信號。透過人眼在觀賞時，如果左眼所看的左眼影像信號與右眼所看的右眼影像信號有視差時，則人眼會感覺此物體有立體感。反之，如果無視差，則人眼會感覺此物體為平面。

一般來說，如果將物體顯示在遠方，要將左眼影像信號向左移並將右眼影像信號向右移。相對地，將物體顯示在近方，要將左眼影像信號向右移並將右眼影像信號向左移。在查詢深度圖後，即可得知，左眼影像信號與右眼影 像信號要往何方向移動，及其移動量為何。通常，移動量以像素為單位，比如，移動量可以是1/2像素、1/4像素、1/8像素等。

比如，以8位元深度圖為例，如果深度位元為255，代表人眼會覺得此物體距離很近；如果深度位元為0，代表人眼會覺得此物體距離很遠。

然而，為讓人眼感覺到物體的立體感而將左眼影像信號/右眼影像信號移動的話，如此將會導致人眼視覺上感覺到洞(hole)，也就是，有些補洞區域(disocclusion area)會被暴露出來，如果沒有適當的填補這些洞，影像的品質會大大的降低。

為減緩此問題，目前已提出一些解決之道，然而，這些解決之道雖可能減少洞的大小，但亦造成前景物體(foreground object，也就是人眼覺得比較近的物體)的邊界變得較為模糊/失真/變形/不連續。由於前景物體的邊界變化程度較大，導致人眼觀看感覺不舒服。

本案係有關於一種3D影像處理方法與3D影像顯示裝置，對深度圖進行非對稱低通濾波。

根據本案之一例，提出一種3D影像處理方法，包括：對一輸入深度圖進行彼此水平鏡射的複數個非對稱濾波，以得到複數個非對稱濾波結果；從該些非對稱濾波結果中，選擇以當成一輸出深度圖；以及根據該輸出深度圖，將一2D影像轉換成一3D影像。

根據本案之另一例，提出一種3D影像顯示裝置，包 括：一深度圖處理單元，對一輸入深度圖進行彼此水平鏡射的複數個非對稱濾波，以得到複數個非對稱濾波結果，並從該些非對稱濾波結果中，選擇以當成一輸出深度圖；以及一覆蓋單元，耦接至該深度圖處理單元，根據該輸出深度圖，將一2D影像轉換成一3D影像。

根據本案之更一例，提出一種3D影像處理方法，包括：對一輸入深度圖進行複數個非對稱濾波，以得到複數個非對稱濾波結果；從該些非對稱濾波結果中，選擇其大者以當成一輸出深度圖；以及根據該輸出深度圖，將一2D影像轉換成一3D影像。

根據本案之再一例，提出一種3D影像顯示裝置，包括：一深度圖處理單元，對一輸入深度圖進行複數個非對稱濾波，以得到複數個非對稱濾波結果，並從該些非對稱濾波結果中，選擇其大者以當成一輸出深度圖；以及一覆蓋單元，耦接至該深度圖處理單元，根據該輸出深度圖，將一2D影像轉換成一3D影像。

為了對本案之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式，作詳細說明如下：

於本案實施例中，對深度圖進行非對稱低通濾波，根據低通濾波後的深度圖，將2D影像轉為3D影像，以減緩前景物體邊界的模糊/失真/變形/不連續。

現請參考第1圖，其顯示根據本案實施例之3D影像顯示裝置100之功能方塊圖。如第1圖所示，3D影像顯示裝置100至少包括：深度圖處理單元110與覆蓋單元 120。深度圖處理單元110則至少包括非對稱低通濾波器(ALPF,asymmetric low pass filter)111與112，以及選擇單元113。

深度圖處理單元110將輸入深度圖DM處理成輸出深度圖DM’。深度圖處理單元110之細節將於後述。

覆蓋單元120則根據由深度圖處理單元110所傳來的輸出深度圖DM’，對2D輸入影像2D_IN進行3D覆蓋，以產生左眼影像LEI與右眼影像REI。人眼將左眼影像LEI與右眼影像REI合成時，即可感覺到3D影像。在本案實施例中，覆蓋單元120之功能與操作可不特別限定之。

現請參考第2圖，其顯示對深度圖進行非對稱低通濾波與對稱低通濾波之結果。如第2圖所示，於本案實施例中，將輸入深度圖DM輸入至非對稱低通濾波器111與112，其可得到兩個非對稱低通濾波結果。接著，將此兩個非對稱低通濾波結果輸入至選擇單元113。

在本案實施例中，選擇單元113比如從兩個輸入值中擇較大者並輸出深度圖DM’。比如，假設深度圖DM包括9筆深度位元D1~D9。這9筆深度位元經過非對稱低通濾波器111與112後，分別得到深度位元D1’~D9’與D1”~D9”。選擇單元113比較深度位元D1’與D1”，擇其大者輸出；對於其他深度位元D2’~D9’與D2”~D9”，選擇單元113亦進行相同操作。藉此，選擇單元113輸出深度圖DM’。

為顯示本案實施例之特色，第2圖另外顯示將輸入深度圖DM輸入至對稱低通濾波器(SLPF,symmetric low pass filter)，得到對稱低通濾波結果DM”。

另外，非對稱低通濾波器111與112是彼此水平鏡射(horizontally mirrored)。如第2圖所示，以中心點C為例，對稱低通濾波器本身對稱於中心點C。非對稱低通濾波器111與112本身並不對稱於中心點C。但非對稱低通濾波器111的右半部與非對稱低通濾波器112的左半部則彼此對稱於中心點C；非對稱低通濾波器111的左半部與非對稱低通濾波器112的右半部則彼此對稱於中心點C。

現請再次參考第2圖，來說明本案實施例如何減緩前景物體邊界的模糊/失真/變形/不連續。如第2圖之深度差20所示，此輸入深度圖DM所對應之前景(FG,foreground)物體與背景(BG,background)物體間的深度相差甚大。觀看者所看到的前景物體與背景物體間之視差甚大，前景物體邊界的模糊/失真/變形/不連續程度甚大，令觀看者明顯察覺到。

如第2圖之深度差22所示，對於經過對稱低通濾波器所得到的對稱低通濾波結果DM”，其深度圖DM”所對應之前景物體的深度被改變，如此造成前景物體變形，甚至人眼無法對前景物體聚焦。

但經由本案實施例中之將深度圖經過兩個非對稱低通濾波器與選擇單元後，如第2圖之深度差21所示，其深度圖DM’所對應之前景物體的深度不變，也就是說，前景物體沒有變形。背景物體的深度改變大，使得背景物體變形比較嚴重。不過，人眼對於背景物體的變形所導致的不適感較不敏感。也就是說，人眼觀察變形背景物體所 引起的不適感低於人眼觀察變形前景物體所引起的不適感。故本案實施例可提高人眼觀察立體影像的舒適感。

此外，在本案實施例中，進行非對稱濾波並不會改變前景物體與背景物體之間的深度差。詳細地說，進行濾波，將由背景物體到前景物體間的深度改變趨勢變緩。進行對稱濾波的結果是，前景物體與背景物體的深度都被改變；但進行非對稱濾波的結果是，背景物體的深度雖被改變但前景物體的深度則維持不變。

現請參考第3圖，其顯示根據本案實施例之3D影像處理方法之流程圖。如第3圖所示，於步驟310中，對輸入深度圖分別進行多個非對稱低通濾波。其細節可如上述般，由非對稱低通濾波器111與112所進行，故於此不重述。

於步驟320中，從這些非對稱低通濾波結果，擇其大者以當成輸出深度圖。其細節可如上述般，由選擇單元113所進行，故於此不重述。

於步驟330中，根據輸出深度圖，將2D影像轉換成3D影像。其細節可如上述般，由覆蓋單元120所進行，故於此不重述。

另外，雖然上例說明中，以2個非對稱低通濾波器為例做說明，但當知本案並不受限於此，比如，可應用更多個非對稱低通濾波器，此皆在本案精神範圍內。

由上述說明可知，於本案實施例中，對深度圖進行非對稱低通濾波，使得背景物體到前景物體間的深度改變趨勢變緩，以減緩前景物體邊界的模糊/失真/變形/不連續程 度，提高人眼觀察的舒適感。

綜上所述，雖然本案已以實施例揭露如上，然其並非用以限定本案。本案所屬技術領域中具有通常知識者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾。因此，本案之保護範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧3D影像顯示裝置

110‧‧‧深度圖處理單元

120‧‧‧覆蓋單元

111、112‧‧‧非對稱低通濾波器

113‧‧‧選擇單元

20、21、22‧‧‧深度差

310~330‧‧‧步驟

第1圖顯示根據本案實施例之3D影像顯示裝置之功能方塊圖。

第2圖顯示對深度圖進行非對稱低通濾波與對稱低通濾波之結果。

第3圖顯示根據本案實施例之3D影像處理方法之流程圖。

310~330‧‧‧步驟

Claims (12)

1. 一種3D影像處理方法，包括：對一輸入深度圖進行彼此水平鏡射的複數個非對稱濾波，以得到複數個非對稱濾波結果；從該些非對稱濾波結果中，選擇以當成一輸出深度圖；以及根據該輸出深度圖，將一2D影像轉換成一3D影像。
2. 如申請專利範圍第1項所述之3D影像處理方法，其中，將該輸入深度圖輸入至複數個非對稱低通濾波器，以得到該些非對稱濾波結果。
3. 如申請專利範圍第2項所述之3D影像處理方法，其中，對於一中心點，該些非對稱低通濾波器本身並不對稱於該中心點；該些非對稱低通濾波器之一的一右半部與該些非對稱低通濾波器之另一的一左半部彼此對稱於該中心點；以及該些非對稱低通濾波器之該一的一左半部與該些非對稱低通濾波器之該另一的一右半部彼此對稱於該中心點。
4. 一種3D影像顯示裝置，包括：一深度圖處理單元，對一輸入深度圖進行彼此水平鏡射的複數個非對稱濾波，以得到複數個非對稱濾波結果，並從該些非對稱濾波結果中，選擇以當成一輸出深度圖；以及一覆蓋單元，耦接至該深度圖處理單元，根據該輸出 深度圖，將一2D影像轉換成一3D影像。
5. 如申請專利範圍第4項所述之3D影像顯示裝置，其中，該深度圖處理單元包括複數個非對稱低通濾波器，該輸入深度圖輸入至複數個非對稱低通濾波器，以得到該些非對稱濾波結果。
6. 如申請專利範圍第5項所述之3D影像顯示裝置，其中，對於一中心點，該些非對稱低通濾波器本身並不對稱於該中心點；該些非對稱低通濾波器之一的一右半部與該些非對稱低通濾波器之另一的一左半部彼此對稱於該中心點；以及該些非對稱低通濾波器之該一的一左半部與該些非對稱低通濾波器之該另一的一右半部彼此對稱於該中心點。
7. 一種3D影像處理方法，包括：對一輸入深度圖進行複數個非對稱濾波，以得到複數個非對稱濾波結果；從該些非對稱濾波結果中，選擇其大者以當成一輸出深度圖；以及根據該輸出深度圖，將一2D影像轉換成一3D影像。
8. 如申請專利範圍第7項所述之3D影像處理方法，其中，將該輸入深度圖輸入至複數個非對稱低通濾波器，以得到該些非對稱濾波結果。
9. 如申請專利範圍第8項所述之3D影像處理方法，其中，對於一中心點，該些非對稱低通濾波器本身並 不對稱於該中心點；該些非對稱低通濾波器之一的一右半部與該些非對稱低通濾波器之另一的一左半部彼此對稱於該中心點；以及該些非對稱低通濾波器之該一的一左半部與該些非對稱低通濾波器之該另一的一右半部彼此對稱於該中心點。
10. 一種3D影像顯示裝置，包括：一深度圖處理單元，對一輸入深度圖進行複數個非對稱濾波，以得到複數個非對稱濾波結果，並從該些非對稱濾波結果中，選擇其大者以當成一輸出深度圖；以及一覆蓋單元，耦接至該深度圖處理單元，根據該輸出深度圖，將一2D影像轉換成一3D影像。
11. 如申請專利範圍第10項所述之3D影像顯示裝置，其中，該深度圖處理單元包括複數個非對稱低通濾波器，該輸入深度圖輸入至複數個非對稱低通濾波器，以得到該些非對稱濾波結果。
12. 如申請專利範圍第11項所述之3D影像顯示裝置，其中，對於一中心點，該些非對稱低通濾波器本身並不對稱於該中心點；該些非對稱低通濾波器之一的一右半部與該些非對稱低通濾波器之另一的一左半部彼此對稱於該中心點；以及該些非對稱低通濾波器之該一的一左半部與該些非對稱低通濾波器之該另一的一右半部彼此對稱於該中心 點。