TWI517096B - 用於立體影像合成之逆向深度映射方法 - Google Patents

用於立體影像合成之逆向深度映射方法 Download PDF

Info

Publication number
TWI517096B
TWI517096B TW104100910A TW104100910A TWI517096B TW I517096 B TWI517096 B TW I517096B TW 104100910 A TW104100910 A TW 104100910A TW 104100910 A TW104100910 A TW 104100910A TW I517096 B TWI517096 B TW I517096B
Authority
TW
Taiwan
Prior art keywords
pixel
depth
value
depth value
virtual
Prior art date
Application number
TW104100910A
Other languages
English (en)
Other versions
TW201626327A (zh
Inventor
劉育綸
杭學鳴
蔡文祥
Original Assignee
國立交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立交通大學 filed Critical 國立交通大學
Priority to TW104100910A priority Critical patent/TWI517096B/zh
Priority to US14/799,639 priority patent/US10110873B2/en
Application granted granted Critical
Publication of TWI517096B publication Critical patent/TWI517096B/zh
Publication of TW201626327A publication Critical patent/TW201626327A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

用於立體影像合成之逆向深度映射方法
本發明係關於一種逆向深度映射方法，特別是指一種用於立體(三維)影像合成之逆向深度映射方法。
第1圖係繪示習知技術中以深度影像繪圖法產生新視角之示意圖。如圖所示，由於視點合成是立體(3D)內容產生的一個重要部分，故通常使用複數交錯設置之參考相機11與虛擬相機12以產生立體影像10之虛擬視點，並使用深度影像繪圖法以進行視點合成，且使用色彩與深度的資訊以創造新視角。
第2圖係繪示習知技術中參考視點與虛擬視點之映射狀態示意圖。如圖所示，虛擬視點v中之物體15之尺寸係大於參考視點r中之物體14之尺寸，這種特性尤其會發生在斜物體13或合成外插影像中。在此種情形下，若以該參考視點r當作參考，並將該參考視點r之每一像素映射至該虛擬視點v中，則會有一些在該虛擬視點v中之像素不會被該參考視點r中之任何像素映射到。為了修正此種瑕疵，傳統方法在映射後之深度圖上使用中值濾波器以填補 該些像素之像素間隙，但該中值濾波器卻會破壞該虛擬視點v之深度邊緣。
第3A圖與第3B圖係分別繪示習知技術中以正向深度映射法映射參考視點至虛擬視點之示意圖，第4A圖與第4B圖係分別繪示習知技術中以正向深度映射法產生立體影像之虛擬視點之深度圖。
如第3A圖與第3B圖所示，在傳統的深度映射法中，正向映射被使用在左深度圖與右深度圖中以產生虛擬視點v之深度圖。但由於該虛擬視點v之像素17之水平座標uv與垂直座標均為整數值的限制，以致映射後之深度圖可能會於複數像素17中產生部分的像素間隙172，因而形成第4A圖與第4B圖中立體影像10之虛擬視點v之裂縫173。在第3A圖與第3B圖中，該參考視點r之像素16之深度值可由視差值(disparity)161推導而得，該虛擬視點v之像素17之深度值可由視差值171推導而得。
在第3A圖之正向深度映射法之第一種量化誤差中，斜物體中會出現第4A圖與第4B圖之裂縫173。在第3B圖之正向深度映射法之第二種量化誤差中，當該參考視點r之像素16映射至該虛擬視點v時，該參考視點r之像素16之視差值161(或深度值)會映射至該虛擬視點v之像素17之像素間隙172中以作為該視差值171(或深度值)，因而導致背景18a之內容會出現在前景18b之內容中。
上述二種量化誤差之發生原因，主要是習知技術從該參考視點r對應每一像素16至該虛擬視點v中，所以該參 考視點r之像素16之水平座標ur、垂直座標與視差值161(或深度值)在經過四捨五入後，該參考視點r之複數像素16無法全部對應到該虛擬視點v之複數像素17中，以致該虛擬視點v之複數像素17之間會產生像素間隙172及裂縫173。
因此，如何克服上述先前技術之問題，實已成為目前亟欲解決的課題。
本發明係提供一種用於立體影像合成之逆向深度映射方法，可以避免虛擬視點產生像素間隙與裂縫，並避免背景之像素出現在前景之裂縫中。
該逆向深度映射方法係包括：提供立體影像中虛擬視點之像素之第一座標與第一(預設)深度值；依據該虛擬視點之像素之第一座標與第一(預設)深度值，計算出該虛擬視點於映射後之參考視點之像素之第二座標與第二深度值；依據該映射後之參考視點之像素之第二座標與第二深度值，計算出該虛擬視點之像素之第一(預設)深度值所對應之誤差值；以及依據該虛擬視點之像素之第一(預設)深度值所對應之誤差值，決定該虛擬視點之像素之第三(實際)深度值。
該逆向深度映射方法可進一步包括：在決定出該虛擬視點之像素之第三(實際)深度值前，先判斷該虛擬視點之像素之第一(預設)深度值所對應之誤差值是否小於該虛擬視點之像素之前一第一(預設)深度值所對應之誤差值。
若該虛擬視點之像素之第一(預設)深度值所對應之誤差值小於該前一第一(預設)深度值所對應之誤差值時，則提供該虛擬視點之像素之下一第一(預設)深度值，進而以降冪方式或升冪方式繼續計算該下一第一(預設)深度值所對應之誤差值。
若該虛擬視點之像素之第一(預設)深度值所對應之誤差值大於或等於該前一第一(預設)深度值所對應之誤差值時，則判斷該虛擬視點之像素之前一第一(預設)深度值所對應之誤差值是否小於門檻值。
當該虛擬視點之像素之前一第一(預設)深度值所對應之誤差值小於該門檻值時，則以該虛擬視點之像素之前一第一(預設)深度值作為該虛擬視點之像素之第三(實際)深度值。
該映射後之參考視點之像素之第二座標與第二深度值可依據下列逆向深度映射演算法計算之：
該誤差值可依據下列誤差值演算法計算之：
由上述內容可知，本發明中用於立體影像合成之逆向深度映射方法，係主要採用逆向深度映射演算法與誤差值 演算法，並將虛擬視點之像素之第一座標與第一(預設)深度值映射至參考視點之像素之第二座標與第二深度值，且依據該映射後之參考視點之像素之第二座標與第二深度值，計算出該虛擬視點之像素之第一(預設)深度值所對應之誤差值，再依據該誤差值進一步決定該虛擬視點之像素之第三(實際)深度值。
因此，本發明能解決習知技術之虛擬視點之複數像素之間產生像素間隙之問題，以避免立體影像之虛擬視點會產生裂縫，同時本發明亦能克服習知技術之參考視點之背景之像素映射至虛擬視點之像素之像素間隙中之狀況，以避免該背景之像素於映射後出現在前景之裂縫中，進而提升立體影像合成之虛擬視點之品質。
10、30‧‧‧立體影像
11‧‧‧參考相機
12‧‧‧虛擬相機
13‧‧‧斜物體
14、15‧‧‧物體
16、17、31、32‧‧‧像素
161、171、311、321‧‧‧視差值
172‧‧‧像素間隙
173‧‧‧裂縫
18a‧‧‧背景
18b‧‧‧前景
D1‧‧‧第一區域
D2‧‧‧第二區域
E、En、En-1‧‧‧誤差值
r‧‧‧參考視點
ur‧‧‧參考視點之像素之水平座標
uv‧‧‧虛擬視點之像素之水平座標
u'‧‧‧映射後之參考視點之像素之水平座標
v‧‧‧虛擬視點
vv‧‧‧虛擬視點之像素之垂直座標
v'‧‧‧映射後之參考視點之像素之垂直座標
zv‧‧‧第一深度值
z'‧‧‧第二深度值
S21至S26‧‧‧步驟
第1圖係繪示習知技術中以深度影像繪圖法產生新視角之示意圖；第2圖係繪示習知技術中參考視點與虛擬視點之映射狀態示意圖；第3A圖與第3B圖係分別繪示習知技術中以正向深度映射法映射參考視點至虛擬視點之示意圖；第4A圖與第4B圖係分別繪示習知技術中以正向深度映射法產生立體影像之虛擬視點之深度圖；第5圖係繪示本發明中用於立體影像合成之逆向深度映射方法之流程圖；第6A圖與第6B圖係分別繪示本發明中以逆向深度映 射方法映射虛擬視點至參考視點之示意圖；第7圖係繪示本發明中虛擬視點及其映射後之參考視點之像素之座標與深度值之對應關係圖；第8A圖與第8B圖係分別繪示本發明中虛擬視點之像素之預設深度值與誤差值之對應關係圖；以及第9A圖與第9B圖係分別繪示本發明中以逆向深度映射方法產生立體影像之虛擬視點之深度圖。
以下藉由特定的具體實施例說明本發明之實施方式，熟悉此技術之人士可由本說明書所揭示之內容輕易地了解本發明之其他優點與功效，亦可藉由其他不同的具體實施例加以施行或應用。
第5圖係繪示本發明中用於立體影像合成之逆向深度映射方法之流程圖，第6A圖與第6B圖係分別繪示本發明中以逆向深度映射方法映射虛擬視點至參考視點之示意圖，第7圖係繪示本發明中虛擬視點及其映射後之參考視點之像素之座標與深度值之對應關係圖，第8A圖與第8B圖係分別繪示本發明中虛擬視點之像素之預設深度值與誤差值之對應關係圖，第9A圖與第9B圖係分別繪示本發明中以逆向深度映射方法產生立體影像之虛擬視點之深度圖。
如第5圖至第8B圖所示，本發明之逆向深度映射方法可應用於電子裝置(如立體電視)、或各種具有立體影像合成功能之電子裝置(圖中未繪示)上，且該逆向深度映射 方法係主要包括下列步驟：在第5圖之步驟S21與第6A圖至第8B圖中，先提供該電子裝置之立體影像中虛擬視點v之像素32之第一座標與第一(預設)深度值zv，且該第一(預設)深度值zv係無單位並可表示為預先設定、假設、可能或潛在之深度值。該虛擬視點v之像素32之第一座標可包括水平座標uv與垂直座標vv，且該虛擬視點v之像素32之第一(預設)深度值zv係取自複數整數值所構成之序列(如深度值255至1)之一者。接著，進至第5圖之步驟S22。
在第5圖之步驟S22與第6A圖至第8B圖中，使用該電子裝置內部或外部之處理器(如中央處理器或算術邏輯單元)或處理程式，並依據該虛擬視點v之像素32之第一座標(水平座標uv、垂直座標vv)與第一(預設)深度值zv，計算出該虛擬視點v於映射後之參考視點r之像素31之第二座標(水平座標u'、垂直座標v')與第二深度值z'，如下列逆向深度映射演算法(1)。
該映射後之參考視點r之像素31之第二座標(水平座標u'、垂直座標v')與第二深度值z'可依據下列逆向深度映射演算法(1)計算之：
同時，上述逆向深度映射演算法(1)可依據下列習知技術中正向深度映射法(2)加以修正而得：
上述逆向深度映射演算法(1)與正向深度映射法(2)中，A-1表示反矩陣，b表示3乘1矩陣，uv、vv與zv分別表示該虛擬視點v之像素32之水平座標、垂直座標及深度值，u'、v'與z'分別表示該映射後之參考視點r之像素31之水平座標、垂直座標及深度值，zr表示該參考視點r之像素31之深度值(如255至1)。
上述逆向深度映射演算法(1)亦可包括下列公式(3)：
上述公式(3)中，A表示3乘3矩陣，Kv與Kr分別表示該虛擬視點v及該參考視點r之內部參數，Rv與Rr分別表示該虛擬視點v及該參考視點r之旋轉矩陣，tv與tr分別表示該虛擬視點v與該參考視點r之平移向量，T表示轉置矩陣。接著，進至第5圖之步驟S23。
在第5圖之步驟S23與第6A圖至第8B圖中，依據該映射後之參考視點r之像素31之第二座標(水平座標u'、垂直座標v')與第二深度值z'，計算出該虛擬視點v之像素32之第一(預設)深度值zv所對應之誤差值E(無單位)。
該誤差值E可依據下列誤差值演算法(4)計算之：
上述誤差值演算法(4)中，ur、vr與D(ur,vr)分別表示該參考視點r之像素31之水平座標、垂直座標及深度值，floor(u')與floor(v')分別表示取該映射後之參考視點r之像素31之水平座標u'及該垂直座標v'之地板函數，ceil(u')與ceil(v')分別表示取該映射後之參考視點r之像素31之水平座標u'及該垂直座標v'之天花板函數，min表示取最小值。
由於該映射後之參考視點r之像素31之水平座標u'、垂直座標v'及深度值z'均為浮點數，亦即帶有小數點之數值，故可以該地板函數floor(u')與地板函數floor(v')分別取得大於該映射後之參考視點r之像素31之水平座標u'及垂直座標v'之整數值，並以該天花板函數ceil(u')與天花板函數ceil(v')分別取得小於該映射後之參考視點r之像素31之水平座標u'及垂直座標v'之整數值。
而且，上述誤差值演算法(4)中，ur=floor(u')or ceil(u')與vr=floor(v')or u=ceil(v')係表示取得鄰近該參考視點r之像素31之水平座標與垂直座標(u',v')之四個整數值的像素，即第一像素(floor(u'),floor(v'))、第二像素(floor(u'),ceil(v'))、第三像素(ceil(u'),floor(v'))與第四像素(ceil(u'),ceil(v'))，如第7圖所示。
因此，假設該參考視點r之像素31之座標(u',v')=(1.23,3.45)，則該第一像素(floor(u'),floor(v'))=(1,3)，該第二像 素(floor(u'),ceil(v'))=(1,4)，該第三像素(ceil(u'),floor(v'))=(2,3)，該第四像素(ceil(u'),ceil(v'))=(4,4)。藉此，可將該第一像素至該第四像素之數值分別帶入上述誤差值演算法(4)中以計算出該誤差值E，並依據該誤差值E以初步判斷是否得出該虛擬視點v之像素32之深度值zv。
為了取得該虛擬視點v之像素32之正確或較佳的第三(實際)深度值zv，本發明可繼續進行下述第5圖之步驟S24至步驟S26。
在第5圖之步驟S24與第6A圖至第8B圖中，在決定出該虛擬視點v之像素32之正確或較佳的第三(實際)深度值zv前，可先判斷該虛擬視點v之像素32之第一(預設)深度值zv所對應之誤差值E是否小於該虛擬視點v之像素32之前一第一(預設)深度值zv所對應之誤差值E。若是，則返回第5圖之步驟S21；若否，則進至第5圖之步驟S25。
當返回步驟S21時，表示該虛擬視點v之像素32之第一(預設)深度值zv所對應之誤差值En小於該前一第一(預設)深度值zv所對應之誤差值E，則提供該虛擬視點v之像素32之下一第一(預設)深度值zv，進而以降冪方式或升冪方式繼續計算該下一第一(預設)深度值zv所對應之誤差值E。該降冪方式可為每次自複數第一(預設)深度值zv(如深度值255至1)中往下提取下一個小於目前深度值zv(如深度值101)之深度值zv(如深度值100)，而該升冪方式可為每次自複數第一(預設)深度值zv(如深度值1至255)中往上提取下一個大於目前深度值zv(如深度值101)之深度值zv(如深 度值102)，請參見第8A圖與第8B圖且圖式中僅顯示部分的深度值zv以供說明之。
在第5圖之步驟S25與第6A圖至第8B圖中，若該虛擬視點v之像素32之第一(預設)深度值zv所對應之誤差值En並非小於(即大於或等於)該前一第一(預設)深度值zv所對應之誤差值E時，則判斷該虛擬視點v之像素32之前一第一(預設)深度值zv所對應之誤差值E是否小於預設之門檻值δ。若否，則返回步驟S21；若是，則進至步驟S26。
當返回步驟S21時，表示該虛擬視點v之像素32之前一第一(預設)深度值zv所對應之誤差值E並非小於(即大於或等於)該門檻值δ，則同樣提供該虛擬視點v之像素32之下一第一(預設)深度值zv，進而以降冪方式或升冪方式繼續計算該下一第一(預設)深度值zv所對應之誤差值E。
在第5圖之步驟S26與第6A圖至第8B圖中，當該虛擬視點v之像素32之前一第一(預設)深度值zv所對應之誤差值E小於該門檻值δ時，則以該虛擬視點v之像素32之前一第一(預設)深度值zv作為該虛擬視點v之像素32之第三(實際)深度值zv，且該虛擬視點v之像素32之前一第一(預設)深度值zv所對應之誤差值E係為第一個小於該門檻值δ之最小誤差值。
關於上述第5圖中步驟S24至步驟26之實施例，舉例而言，如第8A圖所示(請一併參閱第6A圖至第7圖)，假設該虛擬視點v之像素32之第一(預設)深度值zv(如深度值zv=111)所對應之誤差值E(如誤差值En=0.01)，係大於或等於該虛 擬視點v之像素32之前一第一(預設)深度值zv(如深度值zv=110)所對應之誤差值E(如誤差值En-1=0.00615)，並進一步判斷出該誤差值E小於該門檻值δ(如門檻值δ=0.75)。藉此，即可以該虛擬視點v之像素32之前一第一(預設)深度值zv(如深度值zv=110)作為該虛擬視點v之像素32之第三(實際)深度值zv，且該前一第一(預設)深度值zv係位於第一區域D1內，亦即該前一第一(預設)深度值zv係為第一個小於該門檻值δ之誤差值E所對應之預設深度值zv。
再舉例而言，如第8A圖所示(請一併參閱第6A圖至第7圖)，假設該虛擬視點v之像素32之第一(預設)深度值zv(如深度值zv=84)所對應之誤差值E(如誤差值En=0.02)，係大於或等於該虛擬視點v之像素32之前一第一(預設)深度值zv(如深度值zv=83)所對應之誤差值E(如誤差值En-1=0.01)，並進一步判斷出該誤差值E小於該門檻值δ(如門檻值δ=0.75)。雖然該虛擬視點v之像素32之前一第一(預設)深度值zv(如深度值zv=83)也可作為該虛擬視點v之像素32之深度值zv，但因該前一第一(預設)深度值zv係位於第二區域D2內，亦即該前一第一(預設)深度值zv係為第二個小於該門檻值δ之誤差值E所對應之預設深度值zv，所以依據Z緩衝法(z-buffer)會選擇上述第一個小於該門檻值δ之誤差值E所對應之預設深度值zv，例如選擇第一區域D1之深度值zv=110而非第二區域D2之深度值zv=83，藉此避免該虛擬視點v之遮蔽區域內之像素32取得錯誤的深度值zv。
又舉例而言，如第8B圖所示(請一併參閱第6A圖至第7圖)，假設該虛擬視點v之像素32之第一(預設)深度值zv(如深度值zv=78)所對應之誤差值E(如誤差值En=230)，係大於該虛擬視點v之像素32之前一第一(預設)深度值zv(如深度值zv=77)所對應之誤差值E(如誤差值En-1=225.731)，並進一步判斷出該虛擬視點v之像素32之前一第一(預設)深度值zv所對應之誤差值E(如誤差值En-1=225.731)並非小於該門檻值δ(如門檻值δ=0.75)，則以降冪方式提供該虛擬視點v之像素32之下一第一(預設)深度值zv(如深度值zv=79)，並繼續計算該下一第一(預設)深度值zv所對應之誤差值E，亦即從上述第5圖之步驟S25返回步驟S21。
如上述第5圖至第8B圖所示，本發明係採用逆向深度映射方法，以映射該虛擬視點v之像素32之水平座標uv、垂直座標vv與預設深度值zv至該參考視點r之像素31之水平座標u'、垂直座標v'與深度值z'，藉此取得該虛擬視點v之像素32之正確或較佳的真實深度值zv。
在第6A圖與第6B圖中，本發明並未顯示虛擬視點v之像素32之深度值zv與參考視點r之像素31之深度值z'，因該深度值zv與深度值z'可分別由視差值321及視差值311(如第6A圖之視差值311,321之數值4,3,2,1)推導而得。而且，該視差值321(或視差值311)愈大，表示該深度值zv(或深度值z')愈小且距離愈近；反之，該視差值321(或視差值311)愈小，表示該深度值zv(或深度值z')愈大且距離愈遠。
同時，在第6A圖與第6B圖中，可明顯看出該虛擬視點v之每一像素32均可對應到該參考視點r之視差值311(或深度值)，使得第6A圖之複數像素32之間不會具有像素間隙，且第6B圖之參考視點r之背景33a之複數像素31於映射後不會出現在前景33b之複數像素31中，從而得到第9A圖與第9B圖中不具有裂縫或較佳的立體影像30之虛擬視點v。
因此，本發明能解決習知技術中如第3A圖所示之虛擬視點v之複數像素17之間會產生像素間隙172之問題，以避免習知技術中如第4A圖與第4B圖所示之立體影像30之虛擬視點v會產生裂縫173之情形。而且，本發明亦能克服第3B圖中該參考視點r之背景18a之像素16會映射至該虛擬視點v之像素17之像素間隙172內之狀況，以避免該背景18a之像素16於映射後出現在前景18b之像素16中。
由上述內容可知，本發明中用於立體影像合成之逆向深度映射方法，係主要採用逆向深度映射演算法與誤差值演算法，並將虛擬視點之像素之第一座標與第一(預設)深度值映射至參考視點之像素之第二座標與第二深度值，且依據該映射後之參考視點之像素之第二座標與第二深度值計算出該虛擬視點之像素之第一(預設)深度值所對應之誤差值，再依據該誤差值進一步決定該虛擬視點之像素之第三(實際)深度值。
因此，本發明能解決習知技術之虛擬視點之複數像素 之間產生像素間隙之問題，以避免立體影像之虛擬視點會產生裂縫，同時本發明亦能克服習知技術之參考視點之背景之像素映射至虛擬視點之像素之像素間隙中之狀況，以避免該背景之像素於映射後出現在前景之裂縫中，進而提升立體影像合成之虛擬視點之品質。
上述實施例僅例示性說明本發明之原理、特點及其功效，並非用以限制本發明之可實施範疇，任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施例進行修飾與改變。任何運用本發明所揭示內容而完成之等效改變及修飾，均應為本發明之申請專利範圍所涵蓋。因此，本發明之權利保護範圍，應如申請專利範圍所列。
S21至S26‧‧‧步驟

Claims (10)

  1. 一種用於立體影像合成之逆向深度映射方法，係包括下列步驟：提供立體影像中虛擬視點之像素之第一座標與第一深度值；依據該虛擬視點之像素之第一座標與第一深度值，計算出該虛擬視點於映射後之參考視點之像素之第二座標與第二深度值；依據該映射後之參考視點之像素之第二座標與第二深度值，計算出該虛擬視點之像素之第一深度值所對應之誤差值；以及依據該虛擬視點之像素之第一深度值所對應之誤差值，決定該虛擬視點之像素之第三深度值。
  2. 如申請專利範圍第1項所述之逆向深度映射方法，其中，該虛擬視點之像素之第一座標係包括水平座標與垂直座標，且該虛擬視點之像素之第一深度值係取自複數整數值所構成之序列之一者。
  3. 如申請專利範圍第1項所述之逆向深度映射方法，復包括在決定出該虛擬視點之像素之第三深度值前，先判斷該虛擬視點之像素之第一深度值所對應之誤差值是否小於該虛擬視點之像素之前一第一深度值所對應之誤差值。
  4. 如申請專利範圍第3項所述之逆向深度映射方法，其中，若該虛擬視點之像素之第一深度值所對應之誤差 值小於該前一第一深度值所對應之誤差值時，則提供該虛擬視點之像素之下一第一深度值，進而以降冪方式或升冪方式繼續計算該下一第一深度值所對應之誤差值。
  5. 如申請專利範圍第3項所述之逆向深度映射方法，其中，若該虛擬視點之像素之第一深度值所對應之誤差值大於或等於該前一第一深度值所對應之誤差值時，則判斷該虛擬視點之像素之前一第一深度值所對應之誤差值是否小於門檻值。
  6. 如申請專利範圍第5項所述之逆向深度映射方法，其中，當該虛擬視點之像素之前一第一深度值所對應之誤差值小於該門檻值時，則以該虛擬視點之像素之前一第一深度值作為該虛擬視點之像素之第三深度值。
  7. 如申請專利範圍第6項所述之逆向深度映射方法，其中，該虛擬視點之像素之前一第一深度值所對應之誤差值係為第一個小於該門檻值之最小誤差值。
  8. 如申請專利範圍第1項所述之逆向深度映射方法，其中，該映射後之參考視點之像素之第二座標與第二深度值係依據下列逆向深度映射演算法計算之： 其中，A-1表示反矩陣，b表示3乘1矩陣，uv、vv與zv分別表示該虛擬視點之像素之水平座標、垂直座 標及深度值，u'、v'與z'分別表示該映射後之參考視點之像素之水平座標、垂直座標及深度值。
  9. 如申請專利範圍第8項所述之逆向深度映射方法，其中，該逆向深度映射演算法復包括下列公式：A=Q v Q r -1 b=Q v (c r -c v ) Q v =K v ．R v Q r =K r ．R r c r =-R r T ．t r c v =-R v T ．t v 其中，A表示3乘3矩陣，Kv與Kr分別表示該虛擬視點及該參考視點之內部參數，Rv與Rt分別表示該虛擬視點及該參考視點之旋轉矩陣，tv與tr分別表示該虛擬視點與該參考視點之平移向量，T表示轉置矩陣。
  10. 如申請專利範圍第8項所述之逆向深度映射方法，其中，該誤差值係依據下列誤差值演算法計算之： 其中，E表示該誤差值，ur、vr與D(ur,vr)分別表示該參考視點之像素之水平座標、垂直座標及深度值，floor(u')與floor(v')分別表示取該水平座標u'及該垂直座標v'之地板函數，ceil(u')與ceil(v')分別表示取該水平座標u'及該垂直座標v'之天花板函數，min表示取最小值。
TW104100910A 2015-01-12 2015-01-12 用於立體影像合成之逆向深度映射方法 TWI517096B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW104100910A TWI517096B (zh) 2015-01-12 2015-01-12 用於立體影像合成之逆向深度映射方法
US14/799,639 US10110873B2 (en) 2015-01-12 2015-07-15 Backward depth mapping method for stereoscopic image synthesis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104100910A TWI517096B (zh) 2015-01-12 2015-01-12 用於立體影像合成之逆向深度映射方法

Publications (2)

Publication Number Publication Date
TWI517096B true TWI517096B (zh) 2016-01-11
TW201626327A TW201626327A (zh) 2016-07-16

Family

ID=55640350

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104100910A TWI517096B (zh) 2015-01-12 2015-01-12 用於立體影像合成之逆向深度映射方法

Country Status (2)

Country Link
US (1) US10110873B2 (zh)
TW (1) TWI517096B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6843319B2 (ja) * 2019-01-22 2021-03-17 三菱電機株式会社 情報処理装置、プログラム及び情報処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215496B1 (en) * 1998-07-23 2001-04-10 Microsoft Corporation Sprites with depth
US20110148858A1 (en) * 2008-08-29 2011-06-23 Zefeng Ni View synthesis with heuristic view merging
CN102831603A (zh) * 2012-07-27 2012-12-19 清华大学 基于深度图后向映射的图像渲染方法和图像渲染装置
US9253486B2 (en) * 2012-09-28 2016-02-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for motion field backward warping using neighboring blocks in videos
US9264691B2 (en) * 2012-09-28 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Method and system for backward 3D-view synthesis prediction using neighboring blocks
US20140098100A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Multiview synthesis and processing systems and methods
US9407896B2 (en) * 2014-03-24 2016-08-02 Hong Kong Applied Science and Technology Research Institute Company, Limited Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions

Also Published As

Publication number Publication date
TW201626327A (zh) 2016-07-16
US10110873B2 (en) 2018-10-23
US20160205375A1 (en) 2016-07-14

Similar Documents

Publication Publication Date Title
JP7181977B2 (ja) ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム
Oh et al. Hole filling method using depth based in-painting for view synthesis in free viewpoint television and 3-d video
Daribo et al. A novel inpainting-based layered depth video for 3DTV
US9445071B2 (en) Method and apparatus generating multi-view images for three-dimensional display
JP5442111B2 (ja) 画像から高速に立体構築を行なう方法
US20130162634A1 (en) Image processing method and apparatus using multi-layer representation
Cheng et al. Spatio-temporally consistent novel view synthesis algorithm from video-plus-depth sequences for autostereoscopic displays
KR20110090958A (ko) 이미지 속성들에 대한 오클루젼 데이터의 생성
US20100289815A1 (en) Method and image-processing device for hole filling
Reel et al. Joint texture-depth pixel inpainting of disocclusion holes in virtual view synthesis
CN109644280B (zh) 生成场景的分层深度数据的方法
JP2011170487A (ja) 大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム
Zhu et al. An improved depth image based virtual view synthesis method for interactive 3D video
Lee et al. Boundary filtering on synthesized views of 3D video
Jantet et al. Joint projection filling method for occlusion handling in depth-image-based rendering
TWI457857B (zh) 影像處理裝置，影像處理方法，及其電腦程式產品
Lee et al. View synthesis using depth map for 3D video
TWI517096B (zh) 用於立體影像合成之逆向深度映射方法
Lee et al. High-Resolution Depth Map Generation by Applying Stereo Matching Based on Initial Depth Informaton
US20120206442A1 (en) Method for Generating Virtual Images of Scenes Using Trellis Structures
CN111899293B (zh) Ar应用中的虚实遮挡处理方法
De Sorbier et al. Augmented reality for 3D TV using depth camera input
Zhang et al. Intermediate cubic-panorama synthesis based on triangular re-projection
Muddala et al. Disocclusion handling using depth-based inpainting
Wolinski et al. 3D view synthesis with inter-view consistency

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees