TWI497980B - 處理３ｄ立體影像的系統與方法 - Google Patents

處理３ｄ立體影像的系統與方法 Download PDF

Info

Publication number
TWI497980B
TWI497980B TW101115672A TW101115672A TWI497980B TW I497980 B TWI497980 B TW I497980B TW 101115672 A TW101115672 A TW 101115672A TW 101115672 A TW101115672 A TW 101115672A TW I497980 B TWI497980 B TW I497980B
Authority
TW
Taiwan
Prior art keywords
map
depth
stereoscopic image
aberration
depth map
Prior art date
Application number
TW101115672A
Other languages
English (en)
Other versions
TW201308981A (zh
Inventor
Tzung Ren Wang
Original Assignee
Himax Tech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Tech Ltd filed Critical Himax Tech Ltd
Publication of TW201308981A publication Critical patent/TW201308981A/zh
Application granted granted Critical
Publication of TWI497980B publication Critical patent/TWI497980B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G06T15/405—Hidden part removal using Z-buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

處理3D立體影像的系統與方法
本發明是關於一種影像處理系統，特別是關於一種三維(3D)立體影像處理系統。
為了增加影像的真實感，三維(3D)立體影像技術越來越多地應用在各種領域，例如廣播、遊戲、動畫及虛擬實境等。人類所看見的立體視覺是由橫向間隔的左右兩眼產生的像差所造成。由於兩眼的像差，左眼及右眼可分別接收同一景象在兩個不同角度下之影像。然後大腦可結合所述的兩個影像，以產生3D立體視覺的深度感。
若欲在影像呈現中產生立體感，通常需透過擷取或產生兩組影像，以模擬左眼視野或右眼視野。當所述的兩個影像顯示在二維的螢幕上時，可利用一種特殊觀看裝置(例如眼鏡)分離兩個影像，使得兩眼中的每一眼僅可看到其相應的影像。然後大腦再將所述的兩個不同的影像結合，以產生深度感。
為了呈現立體影像，可使用兩台攝影機擷取在稍微不同角度下的兩個影像。然後使用一種立體影像匹配技術來找出兩個影像間的像差，並建構出與兩個影像的像素相關的深度值。深度值通常用來代表攝影機的視角及影像中的多個點之間的距離資訊，且可與左視圖及右視圖搭配使用，以合成3D立體影像。依據電腦演算法的不同，像差圖及深度圖可能儲存不準確的像差值及深度值。例如，當某一特徵僅見於一影像並在另一個影像無法找到相應的匹配時，將產生遮蔽區域，其相應的像差值及深度值通常難以估計。雖然習知技術可使用一些更複雜的演算法解決遮蔽的問題，但其提高計算的成本。
有鑒於此，目前的需求為一種更有效處理立體影像，並可改善至少上述缺失的系統。
本發明提供一種處理立體影像之系統及方法。
依據本發明一實施例，該立體影像處理系統包括：一接收單元，用以接收一對立體影像；以及一影像處理單元，其中該影像處理單元配置以執行以下步驟：根據該立體影像對計算出一第一深度圖；於該第一深度圖中選取一視窗並從該視窗判斷複數極端深度值；根據該等極端深度值定義出一過濾圖；以及藉由結合該過濾圖及該第一深度圖計算出一第二深度圖。
依據本發明一實施例，該過濾圖由一個二次函數定義，該二次函數為αx 2 +βx +γ ，α、β及γ皆為常數。
依據本發明一實施例，該等極端深度值包括一最小深度值及一最大深度值，該最小深度值分配的常數為α及γ，該最大深度值分配的常數為β。
依據本發明一實施例，該第二深度圖藉由以一第一權重係數加重之該第一深度圖、及以一第二權重係數加重之該過濾圖相加後取得。
依據本發明一實施例，該第一權重係數與該第二權重係數的總和等於1。
依據本發明一實施例，該視窗的中心對應該第一深度圖的一中央區域。
依據本發明一實施例，該影像處理單元還可利用一雙向立體影像匹配方法計算出該立體影像對的一像差圖，並根據該像差圖取得該第一深度圖。
依據本發明一實施例，該影像處理單元可將該像差圖中的一遮蔽空洞由其鄰近像素區域的深度值填滿。
依據本發明一實施例，該影像處理單元可將該像差圖中的一邊界空洞由其鄰近像素區域的深度值填滿。
依據本發明另一實施例，提供一種處理立體影像的方法，包括：根據一對立體影像計算出一第一深度圖；產生一對應該第一深度圖的過濾圖；以及結合該第一深度圖及該過濾圖，以得到一第二深度圖。
依據本發明一實施例，產生該過濾圖的步驟包括：從該第一深度圖中選取一視窗；從該視窗中判斷複數極端深度值；以及根據該等極端深度值產生該過濾圖。
依據本發明一實施例，該過濾圖由一過濾函數所定義，該過濾函數F (x )=αx 2 +βx +γ ，α、β及γ皆為與該極端深度值有關的常數。
依據本發明一實施例，該極端深度值包括一最小深度值及一最大深度值，該最小深度值分配的常數為α及γ，該最大深度值分配的常數為β。
依據本發明一實施例，該視窗的中心對應於該第一深度圖的中央。
依據本發明一實施例，結合該第一深度圖及該過濾圖的步驟包括：以一第一權重係數加重該第一深度圖；以一第二權重係數加重該過濾圖；以及將加重後的該第一深度圖與該過濾圖相加。
依據本發明一實施例，該第一權重係數與該第二權重係數的總和等於1。
依據本發明一實施例，根據該立體影像對計算出該第一深度圖的步驟包括：利用一雙向立體影像匹配方法計算出該立體影像對的一像差圖；以及根據該像差圖取得該第一深度圖。
依據本發明一實施例，利用該雙向立體影像匹配方法計算出該立體影像對的該像差圖的步驟還包括：將該像差圖中的一遮蔽空洞由其鄰近像素區域的深度值填滿。
依據本發明一實施例，利用該雙向立體影像匹配方法計算該立體影像對的該像差圖的步驟包括：將該像差圖中的一邊界空洞由其鄰近像素區域的深度值填滿。
第1圖為繪示依據本發明一實施例所提供的立體影像處理系統100之簡化方塊圖。立體影像處理系統100可包括一接收單元102、一影像處理單元104及一顯示裝置106。當輸入影像資料時，接收單元102可接收影像資料，並將影像資料轉換為適當的格式後，再將影像資料傳送至影像處理單元104。舉例來說，輸入至接收單元102的影像資料可包括一左視角影像L(left-view image)以及一右視角影像R(right-view image)，左視角影像L及右視角影像R分別代表從兩個攝影機從兩個不同觀點(perspective)(即左眼及右眼觀點)擷取同一景象的二維(2D)影像。接收單元102可調整左視角影像L及右視角影像R為適當的格式，然後傳送左視角影像L及右視角影像R所組成之立體影像對(stereoscopic pair)至影像處理單元104。
影像處理單元104可包括一深度圖擷取單元110及一3D立體呈現引擎112，其中深度圖擷取單元110用以計算與左視角影像L及右視角影像R相關的一深度圖ZMAP，而3D立體呈現引擎112則用以根據深度圖ZMAP處理左視角影像L及右視角影像R，以產生顯示於顯示裝置106上之3D立體影像框(3D stereoscopic image frame)。
第2圖為繪示依據本發明一實施例在立體影像系統100中所提供的深度圖擷取單元110之方塊圖。深度圖擷取單元110可包括一像差估計器122、一深度圖產生器124及一深度圖過濾單元125，其中深度圖過濾單元125可包括一過濾產生器126及一組合模組128。像差估計器122可藉由估計左視角影像L及右視角影像R中相對應的像素或像素群組之間的位移量(amount of displacement)，來針對左視角影像L/右視角影像R中的每個像素計算出一像差值d(disparity value)，且像差估計器122可針對左視角影像L及右視角影像R產生一相對應的像差圖dMAP，像差圖dMAP包含所有的像差值d。
根據像差圖dMAP中的像差值d，深度圖產生器124可推得一深度圖zMAP，深度圖zMAP包含與左視角影像L/右視角影像R中的像素或像素群組有關的深度值z。其中深度值z為景象點及攝影機之間的距離，其反比於像差值d，並可根據下列方程式(1)推導得到：
其中C是一個與兩個攝影機之間的距離以及攝影機的焦距有關的參數函數。
深度圖過濾單元125可接收來自深度圖產生器124的某些參數，並可透過過濾產生器126產生一過濾圖fMAP，過濾圖fMAP所包含的深度值可根據一過濾函數來定義，其中該過濾函數為根據深度圖產生器124所提供的深度圖zMAP之某些特徵決定。過濾圖fMAP包含的深度值可用來修正可能出現在深度圖zMAP中的非正確深度值，例如不正確的邊界深度值。
組合模組128可接收來自深度圖產生器124輸出的深度圖zMAP，以及來自過濾產生器126輸出的過濾圖fMAP，並將深度圖zMAP與過濾圖fMAP結合，以推得修正後的深度圖ZMAP。
第3圖繪示依據本發明一實施例為產生像差圖dMAP所執行的估計像差值的方法之示意圖。為計算來自左視角影像L及右視角影像R的像差資料，可利用一種雙向立體影像匹配之方法(bidirectional stereo matching approach)測量左視角影像L及右視角影像R中相對應的像素或像素群組之間的位移量。雙向立體影像匹配之方法可包括正向及反向的匹配步驟。正向匹配之步驟中，左視角影像L的像素塊BK1中的像素值可視為參考值，可用來與右視角影像R的像素塊BK2中的像素值比較，而且像素塊BK2是從像素塊BK1的位置向右位移一位移量Δx。根據一實施例，可對於匹配之像素塊BK1與像素塊BK2計算其像素值間的綜合差別(aggregate of differences)，例如藉由傳統的絕對值差的總和(sum of absolute difference,SAD)，以便判斷是否匹配成功。如此，可針對左視角影像L的每一個像素或像素塊BK1估計其像差值，而這些像差值可以灰階值被記錄於像差圖dMAP中。
反向匹配的步驟中，右視角影像R的像素塊BK1'可視為參考值，可用來與左視角影像L的像素塊BK2'比較，而像素塊BK2'是從像素塊BK1'的位置向左位移一位移量Δx'。當像素塊BK1'與像素塊BK2'的匹配成功時，可針對右視角影像R的每一個像素或像素塊BK1'估計其像差值。藉由執行前述之雙向立體影像匹配的方法，可得到兩個像差圖，以便精確地偵測對應於像差圖中的「空洞(hole)」之邊界(boundary)及遮蔽(occlusion)。
第4圖為繪示依據本發明一實施例在像差圖中處理邊界及遮蔽等空洞的方法之示意圖。一個遮蔽的存在通常係指在被擷取的景象中，一特徵OB1(例如遮物)至少遮蔽部分另一個特徵OB2(例如開口)，使左視角影像L(或右視角影像R)中的部分特徵OB2在進行立體影像匹配時，於右視角影像R(或左視角影像L)中找不到任何匹配。藉此，相對應的遮蔽空洞202A及204A可分別出現在對應左視角影像L及右視角影像R的左像差圖dMAP(L)及右像差圖dMAP(R)(及深度圖)，其中左像差圖dMAP(L)可藉由執行一正向立體影像匹配步驟而取得，而右像差圖dMAP(R)則可藉由執行一反向立體影像匹配步驟而取得。另外，側邊邊界區域，例如左視角影像L中的左側邊邊界LB，以及右視角影像R中的右側邊邊界RB，亦可為沒有匹配的區域，使得左像差圖dMAP(L)及右像差圖dMAP(R)中分別產生相對應的側邊邊界空洞206A及208A。
根據一實施例，像差圖dMAP(L)及dMAP(R)中的遮蔽空洞202A及204A可由其鄰近像素的像差資料加以填滿。舉例來說，如第4圖所示，左像差圖dMAP(L)中的遮蔽空洞202A可由其左側邊的鄰近像素區域202B之像差值填滿，此像素區域202B可對應於顯示在左視角影像L中的部分特徵OB2的左側邊附近的像素區域。
在右像差圖dMAP(R)中，遮蔽空洞204A可類似地由其右側邊的鄰近像素區域204B之像差值填滿，此像素區域204B可對應於顯示在右視角影像R中的部分特徵OB2的右側邊附近的像素區域。
相同地，左像差圖dMAP(L)中的左側邊界空洞206A可由其右側邊的鄰近像素區域206B之像差值填滿。右像差圖dMAP(R)中的右側邊界空洞208A可由其左側邊的鄰近像素區域208B之像差值填滿。當左像差圖dMAP(L)中有一個右側邊界空洞，或右像差圖dMAP(R)中有一個左側邊界空洞時，可類似地使用其鄰近像素區域的像素值填滿這些邊界空洞(例如左像差圖dMAP(L)中的右側邊界空洞208A可由其鄰近左側邊像素區域的像素值填滿，右像差圖dMAP(R)中的左側邊界空洞206A則由其鄰近右側邊像素區域的像素值填滿)。
利用鄰近像素區域的像差值填滿對應於遮蔽及側邊邊界的空洞時，便可節省計算成本及時間。然而，根據另一個實施例，亦可視需求而運用其它方式(例如內插法)來填滿空洞。
請再次參考第2圖，深度圖產生器124可從像差估計器122建立的像差圖dMAP計算出一個或多個深度圖zMAP。實際實施時，產生深度圖的分析可反映出某些深度圖zMAP中在鄰近於側邊界的不連續區域可能含有錯誤的最大深度值，這些錯誤的深度值可能導致不正確的立體呈現。為了修正這些異常，過濾產生器126可建立一過濾圖fMAP，並以該過濾圖fMAP修正深度圖zMAP。
第5圖繪示依據本發明一實施例如何產生過濾圖fMAP之示意圖。假設需呈現為具有深度及立體感的主要物像位於影像的中央區域，則可於深度圖zMAP中選取一視窗W，其中視窗W的中心對應深度圖zMAP的中央區域，且在視窗W內估計出最大深度值Zmax 及最小深度值Zmin 。然後利用最大深度值Zmax 及最小深度值Zmin 定義出過濾圖fMAP的一過濾函數。根據一實施例，過濾函數可定義為一碗狀或拋物線狀的二次函數，如下列方程式(2)所示：F (x )=αx 2 +βx +γ (2)
其中α、β及γ可為常數。
過濾圖fMAP可具有與深度圖zMAP相同的像素尺寸。此外，過濾圖fMAP中所定義的深度值較佳地介於最大深度值Zmax 及最小深度值Zmin 之間。根據一實施例，指定參數α及γ為最小深度值Zmin (即α=γ=Zmin )，且指定參數β為最大深度值Zmax (即β=Zmax )。
產生過濾函數後，可藉由組合模組128將過濾圖fMAP與深度圖zMAP組合，以產生修正深度圖ZMAP。根據一實施例，可根據下列方程式(3)計算出修正深度圖ZMAP：ZMAP =w 1 ×zMAP +w 2 ×fMAP (3)
其中w1 及w2 為權重係數，兩者的總和等於1(即w1 +w2 =1)。
權重係數w1 及w2 可以是深度圖zMAP中根據像素位置的函數，例如權重係數w1 在接近深度圖zMAP的中央處為較大，在接近深度圖zMAP的邊界處則為較小，而權重係數w2 在接近深度圖zMAP的中央處為較小，在接近深度圖zMAP的邊界處則為較大。根據一較簡單的實施例，權重係數w1 及w2 亦可以是固定的常數係數，以減少計算成本，例如權重係數w1 可以約等於0.3，權重係數w2 可以約等於0.7。
第6圖繪示依據本發明一實施例計算深度圖ZMAP之流程圖。於起始步驟602中，由接收單元102接收一對立體影像，該立體影像對可包括左視角影像L及右視角影像R，左視角影像L及右視角影像R分別代表左眼及右眼的視覺觀點。在步驟604中，深度圖產生器124可根據左視角影像L及右視角影像R計算出第一深度圖zMAP。如上所述，第一深度圖zMAP可從像差估計器122產生的像差圖dMAP計算出來。特別的是，可運用一雙向立體影像匹配方法來估計像差圖dMAP，且像差圖dMAP中因遮蔽而產生的空洞可由其鄰近像素區域的像差值填滿，如先前第4圖所述。
在步驟606中，可從第一深度圖zMAP選擇一個視窗W。根據一實施例，視窗W的中心可對應第一深度圖zMAP的中央區域。在步驟608中，包括最大深度值Zmax 及最小深度值Zmin 的極端深度值可從視窗W擷取出來。在步驟610中，可將這些極端深度值從深度圖產生器124傳送至過濾產生器126，以建立過濾圖fMAP。如上所述，過濾圖fMAP可由具有碗形或拋物線形的二次方程式定義。在步驟612中，組合模組128可以權重係數w1 加重深度圖zMAP，並以權重係數w2 加重過濾圖fMAP後，再將兩者相加，如先前方程式(3)所示，從而運用過濾圖fMAP於深度圖zMAP。因此，從組合模組128輸出的修正深度圖ZMAP(第二深度圖)實質上已經移除了異常。
所述的立體影像處理系統具有至少一優點在於，可修正深度圖中的異常深度資料及遮蔽空洞，具有成本的效益。因此，可更流暢地顯示3D立體影像。
可以理解的是，本發明所述的元件可以不同形式的硬體、軟體或兩者的組合來實現，可透過專用硬體以及可執行軟體的硬體來提供元件的功能。舉例來說，可利用單一的專用處理器、共享處理器或複數個獨立的處理器來執行功能。
以上敍述依據本發明多個不同實施例，其中各項特徵可以單一或不同結合方式實施。因此，本發明實施方式之揭露為闡明本發明原則之具體實施例，應不拘限本發明於所揭示的實施例。進一步言之，先前敍述及其附圖僅為本發明示範之用，並不受其限囿。其他元件之變化或組合皆可能，且不悖于本發明之精神與範圍。
100．．．3D立體影像處理系統
102．．．接收單元
104．．．影像處理單元
106．．．顯示裝置
110．．．深度圖擷取單元
112．．．3D立體呈現引擎
122．．．估計器
124．．．深度圖產生器
125．．．深度圖過濾單元
126．．．過濾產生器
128．．．組合模組
L．．．左視角影像
R．．．右視角影像
dMAP．．．像差圖
fMAP．．．過濾圖
zMAP．．．深度圖
ZMAP．．．修正深度圖
w1 、w2 ．．．權重係數
BK1、BK2、BK1'、BK2'．．．像素塊
Δx、Δx'．．．位移量
LB．．．左側邊邊界區域
RB．．．右側邊邊界區域
OB1、OB2．．．特徵
202A、204A．．．遮蔽空洞
202B、204B．．．像素區域
206A．．．左側邊邊界空洞
206B．．．像素區域
208A．．．右側邊邊界空洞
208B．．．像素區域
dMAP(L)．．．左像差圖
dMAP(R)．．．右像差圖
W．．．視窗
Zmax ．．．最大深度值
Zmin ．．．最小深度值
第1圖為繪示依據本發明一實施例所提供的立體影像處理系統之簡化方塊圖。
第2圖為繪示依據本發明一實施例在立體影像系統中所提供的深度圖擷取單元之方塊圖。
第3圖繪示依據本發明一實施例為產生像差圖dMAP所執行的估計像差值的方法之示意圖。
第4圖繪示依據本發明一實施例在像差圖中處理邊界及遮蔽等空洞的方法之示意圖。
第5圖繪示依據本發明一實施例如何產生過濾圖fMAP之示意圖。
第6圖繪示依據本發明一實施例計算深度圖ZMAP之流程圖。
100‧‧‧3D立體影像處理系統
102‧‧‧接收單元
104‧‧‧影像處理單元
106‧‧‧顯示裝置
110‧‧‧深度圖擷取單元
112‧‧‧3D立體呈現引擎
122‧‧‧估計器
124‧‧‧深度圖產生器
125‧‧‧深度圖過濾單元
126‧‧‧過濾產生器
128‧‧‧組合模組
L‧‧‧左視角影像
R‧‧‧右視角影像

Claims (19)

  1. 一種立體影像處理系統，包括：一接收單元，用以接收一對立體影像；以及一影像處理單元，其中該影像處理單元配置以執行以下步驟：根據該立體影像對計算出一第一深度圖；於該第一深度圖中選取一視窗並從該視窗判斷複數極端深度值；根據該等極端深度值定義出一過濾圖；以及藉由結合該過濾圖及該第一深度圖計算出一第二深度圖。
  2. 如申請專利範圍第1項所述之立體影像處理系統，其中該過濾圖由一個二次函數定義，該二次函數為αx 2 +βx +γ ，α、β及γ皆為常數。
  3. 如申請專利範圍第2項所述之立體影像處理系統，其中該等極端深度值包括一最小深度值及一最大深度值，該最小深度值分配的常數為α及γ，該最大深度值分配的常數為β。
  4. 如申請專利範圍第1項所述之立體影像處理系統，其中該第二深度圖藉由以一第一權重係數加重之該第一深度圖、及以一第二權重係數加重之該過濾圖相加後取得。
  5. 如申請專利範圍第4項所述之立體影像處理系統，其中該第一權重係數與該第二權重係數的總和等於1。
  6. 如申請專利範圍第1項所述之立體影像處理系統，其中該視窗的中心對應該第一深度圖的一中央區域。
  7. 如申請專利範圍第1項所述之立體影像處理系統，其中該影 像處理單元還可利用一雙向立體影像匹配方法計算出該立體影像對的一像差圖，並根據該像差圖取得該第一深度圖。
  8. 如申請專利範圍第7項所述之立體影像處理系統，其中該影像處理單元可將該像差圖中的一遮蔽空洞由其鄰近像素區域的深度值填滿。
  9. 如申請專利範圍第7項所述之立體影像處理系統，其中該影像處理單元可將該像差圖中的一邊界空洞由其鄰近像素區域的深度值填滿。
  10. 一種處理立體影像的方法，包括：根據一對立體影像計算出一第一深度圖；產生一對應該第一深度圖的過濾圖；以及結合該第一深度圖及該過濾圖，以得到一第二深度圖。
  11. 如申請專利範圍第10項所述之處理立體影像的方法，其中產生該過濾圖的步驟包括：從該第一深度圖中選取一視窗；從該視窗中判斷複數極端深度值；以及根據該等極端深度值產生該過濾圖。
  12. 如申請專利範圍第11項所述之處理立體影像的方法，其中該過濾圖由一過濾函數所定義，該過濾函數F (x )=αx 2 +βx +γ ，α、β及γ皆為與該等極端深度值有關的常數。
  13. 如申請專利範圍第12項所述之處理立體影像的方法，其中該等極端深度值包括一最小深度值及一最大深度值，該最小深度值分配的常數為α及γ，該最大深度值分配的常數為β。
  14. 如申請專利範圍第11項所述之處理立體影像的方法，其中該視窗的中心對應於該第一深度圖的中央。
  15. 如申請專利範圍第10項所述之處理立體影像的方法，其中結合該第一深度圖及該過濾圖的步驟包括：以一第一權重係數加重該第一深度圖；以一第二權重係數加重該過濾圖；以及將加重後的該第一深度圖與加重後的該過濾圖相加。
  16. 如申請專利範圍第15項所述之處理立體影像的方法，其中該第一權重係數與該第二權重係數的總和等於1。
  17. 如申請專利範圍第10項所述之處理立體影像的方法，其中根據該立體影像對計算出該第一深度圖的步驟包括：利用一雙向立體影像匹配方法計算出該立體影像對的一像差圖；以及根據該像差圖取得該第一深度圖。
  18. 如申請專利範圍第17項所述之處理立體影像的方法，其中利用該雙向立體影像匹配方法計算出該立體影像對的該像差圖的步驟還包括：將該像差圖中的一遮蔽空洞由其鄰近像素區域的深度值填滿。
  19. 如申請專利範圍第17項所述之處理立體影像的方法，其中利用該雙向立體影像匹配方法計算該立體影像對的該像差圖的步驟包括：將該像差圖中的一邊界空洞由其鄰近像素區域的深度值填滿。
TW101115672A 2011-08-12 2012-05-02 處理３ｄ立體影像的系統與方法 TWI497980B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/208,977 US8817073B2 (en) 2011-08-12 2011-08-12 System and method of processing 3D stereoscopic image

Publications (2)

Publication Number Publication Date
TW201308981A TW201308981A (zh) 2013-02-16
TWI497980B true TWI497980B (zh) 2015-08-21

Family

ID=47677250

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101115672A TWI497980B (zh) 2011-08-12 2012-05-02 處理３ｄ立體影像的系統與方法

Country Status (3)

Country Link
US (1) US8817073B2 (zh)
CN (1) CN102957937B (zh)
TW (1) TWI497980B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2668640A4 (en) * 2011-01-30 2014-10-29 Nokia Corp METHOD, DEVICE AND COMPUTER PROGRAM PRODUCT FOR THREE-DIMENSIONAL STEREO DISPLAY
RU2014118585A (ru) * 2011-10-10 2015-11-20 Конинклейке Филипс Н.В. Обработка карты глубины
US9672609B1 (en) * 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9014463B2 (en) * 2011-11-25 2015-04-21 Kyungpook National University Industry-Academic Cooperation Foundation System for real-time stereo matching
TWI489418B (zh) * 2011-12-30 2015-06-21 Nat Univ Chung Cheng Parallax Estimation Depth Generation
US9137519B1 (en) 2012-01-04 2015-09-15 Google Inc. Generation of a stereo video from a mono video
EP2807827A4 (en) * 2012-01-25 2015-03-04 Lumenco Llc CONVERTING A DIGITAL STEREO IMAGE IN SEVERAL VIEWS WITH PARALLAX FOR 3D VISUALIZATION WITHOUT GLASSES
US9031356B2 (en) * 2012-03-20 2015-05-12 Dolby Laboratories Licensing Corporation Applying perceptually correct 3D film noise
KR20140016735A (ko) * 2012-07-31 2014-02-10 삼성전자주식회사 3ｄ 영상 변환 방법 및 이를 적용한 디스플레이 장치
US9098911B2 (en) 2012-11-01 2015-08-04 Google Inc. Depth map generation from a monoscopic image based on combined depth cues
KR101970563B1 (ko) * 2012-11-23 2019-08-14 엘지디스플레이 주식회사 3차원 입체 영상용 깊이지도 보정장치 및 보정방법
CN105452834A (zh) * 2013-07-18 2016-03-30 埃西勒国际通用光学公司 用于确定眼镜片的视觉效果的方法
US9582888B2 (en) * 2014-06-19 2017-02-28 Qualcomm Incorporated Structured light three-dimensional (3D) depth map based on content filtering
CN107211118B (zh) * 2014-12-31 2020-02-07 诺基亚技术有限公司 立体成像
EP3422708A1 (en) * 2017-06-29 2019-01-02 Koninklijke Philips N.V. Apparatus and method for generating an image
US10957063B2 (en) * 2018-03-26 2021-03-23 Adobe Inc. Dynamically modifying virtual and augmented reality content to reduce depth conflict between user interface elements and video content
CN111193918B (zh) * 2018-11-14 2021-12-28 宏达国际电子股份有限公司 影像处理系统及影像处理方法
CN109615646A (zh) * 2018-12-17 2019-04-12 石家庄爱赛科技有限公司 立体匹配系统及立体匹配方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324059A1 (en) * 2006-09-04 2009-12-31 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
WO2011013030A1 (en) * 2009-07-27 2011-02-03 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60325536D1 (de) * 2002-09-20 2009-02-12 Nippon Telegraph & Telephone Vorrichtung zum Erzeugen eines pseudo-dreidimensionalen Bildes
CN100584039C (zh) * 2002-10-23 2010-01-20 皇家飞利浦电子股份有限公司 3d数字视频信号的后处理方法
DE102005034597A1 (de) * 2005-07-25 2007-02-08 Robert Bosch Gmbh Verfahren und Anordnung zur Erzeugung einer Tiefenkarte
EP2160037A3 (en) * 2006-06-23 2010-11-17 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
KR100950046B1 (ko) * 2008-04-10 2010-03-29 포항공과대학교 산학협력단 무안경식 3차원 입체 ｔｖ를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법
FR2932911A1 (fr) * 2008-06-24 2009-12-25 France Telecom Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images.
KR101468267B1 (ko) * 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
US8866821B2 (en) * 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction
EP2384584B1 (en) * 2009-01-30 2017-03-15 Thomson Licensing Coding of depth maps
CN102369550B (zh) * 2009-03-31 2014-01-01 松下电器产业株式会社 立体图像处理器和立体图像处理方法
US8610758B2 (en) * 2009-12-15 2013-12-17 Himax Technologies Limited Depth map generation for a video conversion system
CN102096919B (zh) * 2010-12-31 2013-03-20 北京航空航天大学 一种基于双向加权聚合的实时立体匹配方法
US8532425B2 (en) * 2011-01-28 2013-09-10 Sony Corporation Method and apparatus for generating a dense depth map using an adaptive joint bilateral filter

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324059A1 (en) * 2006-09-04 2009-12-31 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
WO2011013030A1 (en) * 2009-07-27 2011-02-03 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data

Also Published As

Publication number Publication date
CN102957937A (zh) 2013-03-06
US8817073B2 (en) 2014-08-26
US20130038600A1 (en) 2013-02-14
TW201308981A (zh) 2013-02-16
CN102957937B (zh) 2015-09-16

Similar Documents

Publication Publication Date Title
TWI497980B (zh) 處理３ｄ立體影像的系統與方法
CN111066065B (zh) 用于混合深度正则化的系统和方法
EP1704730B1 (en) Method and apparatus for generating a stereoscopic image
US8447141B2 (en) Method and device for generating a depth map
US8953023B2 (en) Stereoscopic depth mapping
TWI469087B (zh) 深度圖產生方法
US9270977B2 (en) 3D photo creation system and method
JP5291755B2 (ja) 立体視画像生成方法および立体視画像生成システム
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
JP4828506B2 (ja) 仮想視点画像生成装置、プログラムおよび記録媒体
CN101247530A (zh) 增强图像的立体效果的三维图像显示设备和方法
JP5879713B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5402483B2 (ja) 擬似立体画像作成装置及び擬似立体画像表示システム
US9443338B2 (en) Techniques for producing baseline stereo parameters for stereoscopic computer animation
TW201206151A (en) Method and system for generating images of a plurality of views for 3D image reconstruction
JP7184748B2 (ja) 場面の積層深度データを生成するための方法
JP5691965B2 (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
Kao Stereoscopic image generation with depth image based rendering
KR101435611B1 (ko) 3차원 집적영상의 가려짐 문제 해결방법
Knorr et al. From 2D-to stereo-to multi-view video
JP5871113B2 (ja) 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
CN113132706A (zh) 基于逆向映射的可控位置虚拟视点生成方法及装置
KR101046580B1 (ko) 영상처리장치 및 그 제어방법
JP5981460B2 (ja) 立体シーンにおける焦点面の位置を管理するためのデバイスおよび方法
Tran et al. On consistent inter-view synthesis for autostereoscopic displays