TWI478098B - 立體影像深度圖的校正系統及方法 - Google Patents

立體影像深度圖的校正系統及方法 Download PDF

Info

Publication number
TWI478098B
TWI478098B TW100129504A TW100129504A TWI478098B TW I478098 B TWI478098 B TW I478098B TW 100129504 A TW100129504 A TW 100129504A TW 100129504 A TW100129504 A TW 100129504A TW I478098 B TWI478098 B TW I478098B
Authority
TW
Taiwan
Prior art keywords
depth map
input
image
input image
correcting
Prior art date
Application number
TW100129504A
Other languages
English (en)
Other versions
TW201310387A (zh
Inventor
Liang Gee Chen
Chung Te Li
Chao Chung Cheng
Yen Chieh Lai
Chien Wu
Ling Hsiu Huang
Original Assignee
Univ Nat Taiwan
Himax Tech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taiwan, Himax Tech Ltd filed Critical Univ Nat Taiwan
Priority to TW100129504A priority Critical patent/TWI478098B/zh
Publication of TW201310387A publication Critical patent/TW201310387A/zh
Application granted granted Critical
Publication of TWI478098B publication Critical patent/TWI478098B/zh

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

立體影像深度圖的校正系統及方法
本發明係有關一種立體影像處理，特別是關於一種使用希爾伯特黃(Hilbert-Huang)轉換以校正立體影像深度圖的方法。
立體(或三維)顯示裝置可將立體深度感知(perception)傳遞給觀者。由於立體顯示裝置的逐漸普及，使得立體影像處理成為重要的課題。其中，深度圖(depth map)在立體影像處理中更是佔有重要地位。深度資訊的產生並沒有一個標準作法，目前有許多方法可用以產生深度圖，大致上可分為兩類：使用單眼深度提示(monocular depth cue)的單眼影像方法，以及使用雙眼像差(binocular disparity)的立體影像方法。
關於單眼影像方法，一般係使用對比或/且模糊資訊以產生深度資訊。然而，位於物體邊界的像素，所估算的深度圖通常並不可靠。至於立體影像方法，一般係使用闡述立體匹配(stereo matching)問題的信任傳遞(belief propagation)以產生深度資訊。然而，位於物體邊界的像素，深度圖的品質通常會降低。
因此，亟需提出一種新穎的機制，用以改善深度圖，因而提供優於傳統方法的深度品質。
鑑於上述，本發明實施例的目的之一在於提出一種立體影像深度圖的校正系統及方法，用以強化空間頻譜(spatial spectrum)的深度品質。
根據本發明實施例，立體影像深度圖的校正系統包含空間頻譜轉換單元及校正單元。空間頻譜轉換單元根據一輸入影像以萃取物體邊界像素，其中該空間頻譜轉換單元使用希爾伯特黃轉換(HHT)。校正單元根據物體邊界像素，用以校正相應於輸入影像的一輸入深度圖，因而產生一輸出深度圖。
10‧‧‧空間頻譜轉換單元
12‧‧‧校正單元
14‧‧‧改善單元
Din‧‧‧輸入深度圖
Dout‧‧‧輸出深度圖
I‧‧‧輸入影像
Q‧‧‧像素集
MB‧‧‧巨集區塊
第一圖顯示本發明實施例的立體影像深度圖的校正系統及方法的方塊圖。
第二A圖至第二C圖顯示第一圖之校正單元的最小生成樹圖的建構。
第一圖顯示本發明實施例的立體(三維)影像深度圖的校正系統及方法的方塊圖。
首先，使用空間頻譜轉換單元10處理二維輸入影像I，用以得到(或萃取)像素集Q，其由物體邊界所組成。在本實施例中，空間頻譜轉換單元10係使用希爾伯特黃(Hilbert-Huang)轉換(HHT)。希爾伯特黃轉換(HHT)提供一種方法以分解信號，特別是非穩態(nonstationary) 及非線性信號，使其分解為本質模態函數(intrinsic mode function,IMF)，因而獲得瞬時頻率(instantaneous frequency)資料。於希爾伯特黃轉換(HHT)中，通常使用經驗模態分解(empirical mode decomposition,EMD)將信號分解為數個元件或本質模態函數(IMF)。關於希爾伯特黃轉換(HHT)及經驗模態分解(EMD)的細節可參考黃(N.E.Huang)等人於Proc.of The Royal Society,vol.454,no.1971,pp.903-995,8 Mar.1998所提出之“The empirical mode decomposition and the Hilbert spectrum for nonlinear and nonstationary time series analysis”。
相較於其他的轉換，例如傅力葉(Fourier)轉換，希爾伯特黃轉換(HHT)具可調適性且具較佳局部性(locality)。因此，得以提供適當資訊並藉由本質模態函數(IMF)以估算不同頻率元件的轉變點。藉此，較低頻率之本質模態函數(IMF)的轉變點可定義出物體邊界，而較高頻率之本質模態函數(IMF)則用以得到紋理。在本說明書中，較低頻率之本質模態函數(IMF)係指頻率低於預設臨界值的本質模態函數(IMF)。
在本實施例中，並非對輸入影像I直接進行二維分解，而是對輸入影像I的列信號Hor或/且行信號Ver進行一維分解。列信號Hor及行信號Ver可定義如下：HorI,k(x)=I(x,k),VerI,m(y)=I(m,y)。
藉由分解可得到所有非負整數j的IMF(j,HorI,k(x))及IMF(j,VerI,m(y))。在本實施例中，像素集Q可定義如下： Q={(x,y)|grad(x,y)>threhsold}, 其中，p為定義低頻本質模態函數(IMF)的預設臨界值。
接下來，校正單元12根據像素集Q的物體邊界，對相應於輸入影像I的輸入深度圖Din進行自動校正，因而產生輸出深度圖Dout。在本實施例中，於校正單元12內建構最小生成樹(minimal spanning tree)的圖(graph)。詳而言之，如第二A圖所例示，將輸入影像I切割為多個巨集區塊(macro block,MB)，如圖式中的4x4巨集區塊。如第二B圖所示，該些巨集區塊被分別映射至生成樹的頂點。這些巨集區塊藉由邊緣(edge)予以連接，且邊緣的權重則由相鄰巨集區塊之間的平均色彩差異值(mean color difference)來定義。接著，使用相鄰巨集區塊之間的物體邊界像素用以將生成樹切割為多個互為獨立的片段(segment)，如第二C圖所例示的三個獨立片段。對於每一片段，相應的輸入深度圖Din的資料則予以平均，因而得到一平均值，用以分派作為輸出深度圖Dout的新深度資料。
再者，根據輸入影像I，選擇性使用改善單元14以處理輸出深度圖Dout。在本實施例中，改善單元14係使用交叉雙側(cross-bilateral)濾波器。使用交叉雙側濾波器以進行資料改善的細節可參考Elmar Eisemann等人於ACM Transactions on Graphics,vol.23,no.3,pp.673-678,July 2004所提出的“Flash photography enhancement via intrinsic relighting”。
上述實施例提供一種強化空間頻譜深度品質的自動深度校正方法。根據萃取的物體邊界，本實施例的深度校正提供較傳統方法(例如暗通道優先(dark channel prior)或立體匹配)更佳的改良效果。再者，本實施例還可適用於遮蔽(occlusion)的處理。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。
10‧‧‧空間頻譜轉換單元
12‧‧‧校正單元
14‧‧‧改善單元
Din‧‧‧輸入深度圖
Dout‧‧‧輸出深度圖
I‧‧‧輸入影像
Q‧‧‧像素集

Claims (12)

  1. 一種立體影像深度圖的校正系統，包含：一空間頻譜轉換單元，其根據一輸入影像以萃取物體邊界像素，其中該空間頻譜轉換單元使用希爾伯特黃轉換(HHT)；及一校正單元，其根據該物體邊界像素，用以校正相應於該輸入影像的一輸入深度圖，因而產生一輸出深度圖；其中該希爾伯特黃轉換(HHT)使用經驗模態分解(EMD)將該輸入影像分解為複數本質模態函數(IMF)，且頻率低於一預設臨界值的本質模態函數(IMF)的轉變點定義為該物體邊界像素。
  2. 如申請專利範圍第1項所述立體影像深度圖的校正系統，其中該空間頻譜轉換單元分解該輸入影像的列信號或該輸入影像的行信號。
  3. 如申請專利範圍第1項所述立體影像深度圖的校正系統，其中該校正單元根據該輸入深度圖及該物體邊界像素，用以建構一最小生成樹(minimal spanning tree)。
  4. 如申請專利範圍第3項所述立體影像深度圖的校正系統，其中該最小生成樹之建構包含以下步驟：分割該輸入影像為複數巨集區塊(MB)；分別映射該複數巨集區塊至一生成樹的頂點，其中該巨集區塊以邊緣(edge)連接，且該邊緣的權重定義為相鄰二巨集區塊之間的平均色彩差異值；以相鄰二巨集區塊之間的物體邊界像素，切割該生成樹為複數獨立片段；及對於每一該片段，平均該片段相應之輸入深度圖的資料，因而得到一平均值，用以分派作為該輸出深度圖的新深度資料。
  5. 如申請專利範圍第1項所述立體影像深度圖的校正系統，更包含一改善單元，其根據該輸入影像以改善該輸出深度圖。
  6. 如申請專利範圍第5項所述立體影像深度圖的校正系統，其中該改善單元使用一交叉雙測(cross-bilateral)濾波器以改善該輸出深度圖。
  7. 一種立體影像深度圖的校正方法，包含：根據一輸入影像，使用一空間頻譜轉換以萃取物體邊界像素，其中該空間頻譜轉換使用希爾伯特黃轉換(HHT)；及根據該物體邊界像素，以校正相應於該輸入影像的一輸入深度圖，因而產生一輸出深度圖；其中該希爾伯特黃轉換(HHT)使用經驗模態分解(EMD)將該輸入影像分解為複數本質模態函數(IMF)，且頻率低於一預設臨界值的本質模態函數(IMF)的轉變點定義為該物體邊界像素。
  8. 如申請專利範圍第7項所述立體影像深度圖的校正方法，其中該空間頻譜轉換分解該輸入影像的列信號或該輸入影像的行信號。
  9. 如申請專利範圍第7項所述立體影像深度圖的校正方法，其中該校正步驟根據該輸入深度圖及該物體邊界像素，用以建構一最小生成樹(minimal spanning tree)。
  10. 如申請專利範圍第9項所述立體影像深度圖的校正方法，其中該最小生成樹之建構包含以下步驟：分割該輸入影像為複數巨集區塊(MB)；分別映射該複數巨集區塊至一生成樹的頂點，其中該巨集區塊以邊緣(edge)連接，且該邊緣的權重定義為相鄰二巨集區塊之間的平均色彩差異值； 以相鄰二巨集區塊之間的物體邊界像素，切割該生成樹為複數獨立片段；及對於每一該片段，平均該片段相應之輸入深度圖的資料，因而得到一平均值，用以分派作為該輸出深度圖的新深度資料。
  11. 如申請專利範圍第7項所述立體影像深度圖的校正方法，更包含一改善步驟，其根據該輸入影像以改善該輸出深度圖。
  12. 如申請專利範圍第11項所述立體影像深度圖的校正方法，其中該改善步驟使用一交叉雙測(cross-bilateral)濾波器以改善該輸出深度圖。
TW100129504A 2011-08-18 2011-08-18 立體影像深度圖的校正系統及方法 TWI478098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW100129504A TWI478098B (zh) 2011-08-18 2011-08-18 立體影像深度圖的校正系統及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100129504A TWI478098B (zh) 2011-08-18 2011-08-18 立體影像深度圖的校正系統及方法

Publications (2)

Publication Number Publication Date
TW201310387A TW201310387A (zh) 2013-03-01
TWI478098B true TWI478098B (zh) 2015-03-21

Family

ID=48482021

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100129504A TWI478098B (zh) 2011-08-18 2011-08-18 立體影像深度圖的校正系統及方法

Country Status (1)

Country Link
TW (1) TWI478098B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795068B1 (en) * 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
TW201044317A (en) * 2009-06-03 2010-12-16 Chunghwa Picture Tubes Ltd Method of transforming two-dimensional image into three-dimensional image
TW201112161A (en) * 2009-07-30 2011-04-01 Prime Sense Ltd Depth mapping based on pattern matching and stereoscopic information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795068B1 (en) * 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
TW201044317A (en) * 2009-06-03 2010-12-16 Chunghwa Picture Tubes Ltd Method of transforming two-dimensional image into three-dimensional image
TW201112161A (en) * 2009-07-30 2011-04-01 Prime Sense Ltd Depth mapping based on pattern matching and stereoscopic information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Han et al,"Hilbert-Huang Transform-based Local Regions Descriptors,"2007, BMVC, Proceedings of the British Machine Conference, pp.1-10 Doulamis et al,"Unsupervised Semantic Object Segmentation of Stereoscopic Video Sequences,"1999, In Information Intelligence and Systems, International Conference on, pp.1-7 Liu,"Boundary Processing of Bidimensional EMD Using Texture Synthesis,"2005, IEEE SIGNAL PROCESSING LETTERS, VOL. 12, NO. 1, pp.33-36 Cheng et al, "A Block-based 2D-to-3D Conversion System with Bilateral Filter,"2009, Consumer Electronics, 2009. ICCE’09. Digest of Technical Papers International Conference on. IEEE, pp. 1-2 *

Also Published As

Publication number Publication date
TW201310387A (zh) 2013-03-01

Similar Documents

Publication Publication Date Title
CN111066065B (zh) 用于混合深度正则化的系统和方法
US8447141B2 (en) Method and device for generating a depth map
KR102104403B1 (ko) 단일영상 내의 안개 제거 방법 및 장치
EP3206185B1 (en) Image processing method, image processing device and display device
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
EP3311361B1 (en) Method and apparatus for determining a depth map for an image
TWI497980B (zh) 處理３ｄ立體影像的系統與方法
KR20100085675A (ko) 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
US20170270644A1 (en) Depth image Denoising Method and Denoising Apparatus
US20120051625A1 (en) Method and Apparatus for 2D to 3D Conversion Using Scene Classification and Face Detection
JP2013500536A5 (zh)
WO2009069958A3 (en) Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image
JP2017016663A (ja) 画像合成方法及び装置
US8655054B2 (en) System and method of correcting a depth map for 3D image
KR101720161B1 (ko) 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR20130118105A (ko) 평면 기반의 ３차원 공간 표현 방법 및 장치
KR20080047673A (ko) 입체영상 변환 장치 및 그 방법
KR101828814B1 (ko) 깊이 영상 변환 장치 및 방법
CN102957923B (zh) 立体影像深度图的校正系统及方法
TWI478098B (zh) 立體影像深度圖的校正系統及方法
Kao Stereoscopic image generation with depth image based rendering
KR101660808B1 (ko) 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
CN111192238B (zh) 基于自监督深度网络的无损血管三维测量方法
KR20170069635A (ko) 레티넥스 모델 기반 영상 신호 분리 장치 및 그 방법
JP2013128253A (ja) 画像処理装置、画像撮像装置、画像表示装置、画像処理方法およびプログラム