TWI419078B - 即時立體影像產生裝置與方法 - Google Patents

即時立體影像產生裝置與方法 Download PDF

Info

Publication number
TWI419078B
TWI419078B TW100110241A TW100110241A TWI419078B TW I419078 B TWI419078 B TW I419078B TW 100110241 A TW100110241 A TW 100110241A TW 100110241 A TW100110241 A TW 100110241A TW I419078 B TWI419078 B TW I419078B
Authority
TW
Taiwan
Prior art keywords
image
stereoscopic image
filling
instant
hole
Prior art date
Application number
TW100110241A
Other languages
English (en)
Other versions
TW201239809A (en
Inventor
Fang Hsuan Cheng
Yu Wei Chang
Original Assignee
Univ Chung Hua
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Chung Hua filed Critical Univ Chung Hua
Priority to TW100110241A priority Critical patent/TWI419078B/zh
Priority to CN201110127160.9A priority patent/CN102695064B/zh
Priority to US13/186,242 priority patent/US8704875B2/en
Publication of TW201239809A publication Critical patent/TW201239809A/zh
Application granted granted Critical
Publication of TWI419078B publication Critical patent/TWI419078B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

即時立體影像產生裝置與方法
本發明涉及一種影像處理技術，尤其是涉及將2D影像與影片轉換成3D影像與影片的裝置與方法。
一般產生立體影像的方式為DIBR(Depth-Image-Based Rendering)，其利用影像的深度資訊與立體攝影機(Toe-in或Off-axis的立體攝影機設置方式)的幾何關係，以改變影像中物體的位置，產生一組有視差的虛擬雙眼立體影像。產生立體影像後，必須填補因像素位置變動所造成的空洞問題，一般影像填補的方法必須經過空洞填補順序、影像方向性、相似度等複雜的計算，皆非常耗時；且為達及時產生立體影像，通常會以空洞旁的像素直接填補空洞區域。由於影像填補演算法必須不斷的更新填補優先權，所以計算量非常之龐大，且計算方式屬於變動的，不適於硬體設計，必須由比較固定規則的計算方式方能克服。
現在3D立體視覺的產品越來越多，但是還是沒有辦法普及到一般的使用者；因為立體影像取得不易，拍攝的儀器也非常昂貴，且一般的電視業者並沒有辦法提供這種立體影片的服務，因此現在大多都只有應用在遊戲以及電影上。現有的產生立體影像處理技術大都以軟體的運算方式來實現，且在應用上皆需要透過電腦的運算才能執行，無法達到即時運算即時應用的目的，若要即時應用則需配合高單價的高速運算器如Compute Unified Device Architecture(CUDA)來完成，成本太高，不符效益。
因之，各種提升影像處理速度的方式相繼出現，然其計算仍 佔了整體運算的一大部分，實際影像填補所佔的時間卻相對的少，主要是因其影像填補方式是以一個簡單的方式直接由空洞旁的像素向內來做填補，這種填補方式在空洞小的情況下效果差強人意，若是空洞過大則會造成填補效果極不理想，同時空洞填補演算法，計算優先權的動作不易於硬體電路設計，因為必須一直更新填補優先權的值，每填補一個空洞，就要重新更新一次，非常耗時。
爰此之故，申請人有鑑於習知技術之缺失，乃思一克服不規則的計算方式，完全以硬體的方式實現，簡化空洞填補演算法的步驟，達到2D影像即時轉換成3D雙眼立體影像的目標，同時可開發成晶片，具有低成本且可即時顯示的方法，進而發明出本案「即時立體影像產生裝置與方法」，用以改善上述習用手段之缺失。
本發明的目的即係將一複雜的影像填補方法予以簡化且設計成一個適合硬體執行的方法，並將其應用於立體影像產生時所需的空洞填補技術，因此本發明具有硬體直接運算與快速填補影像空洞以產生及時立體影像的功能。
為達前述目的，本發明提供一種即時立體影像產生裝置，耦接至一立體影像顯示裝置，其基於一原始2D影像及一深度地圖影像即時產生一立體影像，該即時立體影像產生裝置包含：一訊號控制器，耦接於該立體影像顯示裝置，用以控制該即時立體影像產生裝置之訊號時序及流程並輸出該立體影像至該立體影像顯示裝置；一3D影像產生器，耦接於該訊號控制器，用以接收該原始2D 影像及該深度地圖影像並轉換成一對有視差的雙眼影像；一雜散空洞處理器，耦接於該訊號控制器，其利用一第一遮罩，以填補一雜散空洞；一梯度產生器，耦接於該訊號控制器，其係利用一第二遮罩與一RGB像素值以計算該對有視差的雙眼影像的一梯度方向，並產生一梯度方向值；以及一空洞填補處理器，耦接於該訊號控制器，用以重複搜尋一空洞邊緣參考點並依循該梯度方向搜尋一填補候選點，再以該填補候選點方向性的一點回填該空洞，直到搜尋不到該空洞邊緣參考點後，即傳送該立體影像至該訊號控制器，並耦接至立體影像顯示裝置。
根據上述構想，其中該空洞填補處理器在搜尋該填補參考點時，會先作色彩空間的轉換，即將RGB的色彩空間轉換到YCbCr的色彩空間，並以YCbCr的色彩空間來計算一色差，並以該色差最接近的點做為該填補參考點，再以該填補參考點的一方向性的點填補該空洞邊緣點旁的一空洞內。
根據上述目的，本發明另一方面提出一種即時立體影像產生方法，應用於一立體影像顯示裝置，包含下列步驟：(a)轉換一原始影像成為一對雙眼立體影像；(b)填補該對雙眼立體影像的複數個細小空洞區域；(c)搜尋一空洞的一邊緣參考點；(d)搜尋該空洞的一填補候選點，以該邊緣參考點的方向性搜尋，並以顏色色差最接近之點作為該填補候選點；(e)以該填補候選點方向性的點填回該空洞；以及(f)重覆步驟(c)~(e)，當搜尋不到該邊緣參考點時，即傳輸一立體影像至該立體影像顯示裝置。
因此本發明的效能即在能夠將產生立體影像的處理加以硬體化，使得立體影像能夠即時產生，讓使用者能夠更容易的就可以 使用立體視覺的產品，符合3D顯示裝置的市場需求。
本案將可由以下的實施例說明而得到充分瞭解，使得熟習本技藝之人士可據以完成，然本案之實施並非可由下列實施例而被限制其實施型態。
請參見第1圖，其顯示本發明一種即時立體影像產生裝置的系統架構圖，為了將原始的2D影像12直接轉換成3D立體影像，必須利用深度攝影機取得深度資訊，或是利用立體攝影機來計算相對的深度資訊，或是以影像分析的方式利用顏色、清晰度、幾何位置、物體大小…等方法，來估算影像中的深度資訊，在本實施例中，係採影像分析的方式以獲得深度地圖影像11，接著將2D影像12與深度地圖影像11於3D影像位移13中，利用DIBR的方法產生一對左右立體影像。當我們產生立體影像的過程中，由於移動了影像的物體位置，造成影像中有空洞產生，必須利用影像填補(image inpainting)方法填補空洞，因此須分別實施左影像填補14與右影像填補15，填補完畢後將左影像與右影像輸出至3D影像顯示器，以供一般使用者更能方便地享受立體視覺。
請參見第2圖，其顯示本發明一種即時立體影像產生方法的系統流程圖，首先利用DIBR方法產生一對雙眼立體影像21，接著填補雜散空洞22，此空洞係因為深度連續變化時所產生的細小空洞區域，在本實施例中，以3 x 3的遮罩來執行，填補完細小的空洞區域後，再計算影像的梯度方向23，以便接下來的影像填補法使用，接著再搜尋空洞邊緣參考點24，找到邊緣參考點後再以邊緣參考點為顏色基礎，以方向性搜尋空洞填補候選點25，並以 顏色色差最接近之點做為填補候選點，再以填補候選點的方向性的點做為填補的點填補邊緣點旁的空洞區域26，重覆步驟24~26的搜尋與填補的動作直到沒有空洞為止，最後輸出立體影像27至一立體影像顯示裝置。
請參見第3圖，其顯示本發明一種即時立體影像產生裝置的方塊圖，包含一3D影像產生器31、一雜散空洞處理器32、一梯度產生器33、一空洞填補處理器34、一記憶體35、以及一訊號控制器36，其中記憶體35儲存立體影像的像素值以及梯度值，並以訊號控制器控制每個區塊的輸入輸出。
在3D影像產生器31中，以Shift-sensor立體攝影機的設定方式，可得到下列方程式：
此方程式用以設計3D影像位移的功能，並將影像產生的位址加上計算的位移量，再將輸入的像素儲存到對應的記憶體位址內。
請參見第4圖，其係本發明一雜散空洞示意圖，當產生雙眼影像時，會因為深度的變化較緩和，而產生雜散的空洞出現在影像中。為了填補這些雜散的區域，將兩組3x3遮罩對左右眼影像做掃描，兩組3x3的遮罩如第5圖(a)及(b)所示。以這兩組遮罩掃描，若有區塊符合任一個遮罩，則其空洞的像素值會由相符遮罩的其他像素色彩值的平均值填入，重複掃描直到完全沒有符合兩組遮罩為止，每一空格代表是否為空洞的旗標位元，若空格旗標=1表示有像素值，空格旗標=0則代表為空洞。處理完成之影像結果即如第6圖所示。
於雜散空洞處理器32中，由3 x 3遮罩所對應的記憶體位址讀出記憶體內的資料，再判斷是否有符合其中一組的3 x 3遮罩，將符合遮罩的空洞由四周的像素平均值填補回記憶體中。3x3遮罩所對應的位址以及遮罩的控制訊號(0000~1000)的對應位置如第7圖所示。
在梯度產生器33中，使用5 x 5的Sobel遮罩分別與影像之R、G、B像素值做計算，並計算影像中每一點的梯度方向，以便接下來的影像填補法來使用，計算梯度方向的公式如下，
g xx =|Gx R |2+|Gx G |2+|Gx B |2 g yy =|Gy R |2+|Gy G |2+|Gy B |2
g xy =Gx R * Gy R +Gx G * Gy G +Gx B * Gy B
其中tan-1的角度計算，係以查表的方式設計。
梯度計算的硬體設計概念與雜散空洞填補的設計概念相類似，因為都運用遮罩的方法，動作流程是由一5 x 5遮罩所對應的記憶體位址讀出記憶體內的資料，再計算出梯度方向，再將計算出的梯度方向值寫入儲存梯度方向值的記憶體內。
梯度方向之計算係以暫存5 x 5區塊內的像素值，依照其控制訊號計算梯度值以及梯度方向值，計有包含0°、22°、45°、67°、90°、112°、135°、157°及180°等九個方向值。
請參見第8圖，其係本發明一實施例的空洞填補演算法示意圖，其中(a)所示為在來源區域搜尋空洞區域邊緣的參考點，(b)所示為在來源區域搜尋空洞填補候選點(c)所示為填補空洞區域方式。於一實施例中，空洞填補演算法被簡化成下列三個主要步驟：
步驟1：搜尋空洞邊緣參考點，尋找空洞旁邊的點，當作搜尋的參考點。
步驟2：搜尋空洞填補候選點，以參考點的方向性，以方向性搜尋填補候選點，並以顏色色差最接近之點做為填補候選點。
步驟3：填補目標空洞，以填補候選點方向性的點填回原本的空洞。
重覆步驟1、2、3，直到搜尋不到空洞邊緣參考點。
在搜尋填補候選點時，會先作色彩空間的轉換，將RGB的色彩空間轉換到YCbCr的色彩空間，以YCbCr的色彩空間來計算色差。上一級參考點的位址與梯度方向值會依照方向性產生位址，以便記憶體35內的像素值與參考點的像素值計算色差，最後將色差最小的點的位址與梯度方向值輸出給下一級空洞填補使用。輸入空洞的位址與讀出的像素值，確定為有效像素值後，將像素值寫入至記憶體35中。
整個演算法的計算必須經過一次產生立體影像的圖像掃描，接著做3 x 3遮罩的多次掃描，再做計算梯度方向的5 x 5遮罩的一次掃描，最後再做填補空洞的多次圖片掃描。因此計算複雜度的表示式如下：
其中p表示圖片的大小，n為3x3遮罩掃描的次數，m為填補空洞時掃描的次數，fq為時脈的頻率。通常m會等於圖中最大空洞區塊的寬度。在一實施例中，於150MHz的時脈下(320 x 240 @30 fps)可達到即時計算的目標。
請參見第9圖，其係本發明一實施例的空洞邊緣示意圖，其中黑色代表空洞，灰色代表像素值，從未填補完的立體圖可知，由旗標訊號的上升緣與下降緣變化即可找出空洞邊緣參考點，將所找到的邊緣點像素值跟方向值與位址輸出至記憶體35。
為使本發明更清楚，請參閱第10圖及第11圖，第10圖係顯示本發明產生影像的流程示意圖。附件2係顯示本發明產生影像的流程示意圖。
接著，以六種不同背景類型的影像實施例做其結果的分析，六種影像的計算時間如下列表1所示，從中即可看出這個方法足以達到即時的計算。
請參閱第12圖，其係本發明實施例之人工背景的影像結果 圖，其中(a)原始影像(b)深度圖(c)未做任何填補的左眼圖(d)未做任何填補的右眼圖(e)含有空洞區域的左眼圖(f)含有空洞區域的右眼圖(g)完成填補之左眼圖(h)完成填補之右眼圖(i)左右眼插排圖。原始影像為保齡球及保齡球瓶放置於木製球道上，球道上各木片的顏色及紋路皆不同，填補結果的顏色與紋路大致都是正確的。
請參閱第13圖，其係本發明實施例之自然背景的影像結果圖，其中(a)原始影像(b)深度圖(c)未做任何填補的左眼圖(d)未做任何填補的右眼圖(e)含有空洞區域的左眼圖(f)含有空洞區域的右眼圖(g)完成填補之左眼圖(h)完成填補之右眼圖(i)左右眼插排圖。原始影像選擇了一個生物飛行於天空中的影像，背景是屬於自然不規則的影像。圖片顯示背景的填補較人工背景好，這是因為背景是屬於不規則的背景，所以填補優先順序的影響較小。(g)及(h)圖中，翅膀附近以及兩腳中間處有些地方填補不完美，這是因為翅膀附近的前景區域非常的窄造成這種填補錯誤的現象，以及兩腳中間區域的背景參考點太少，以致填補錯誤。
請參閱第14圖，其係本發明實施例之棋盤式背景的影像結果圖，其中(a)原始影像(b)深度圖(c)未做任何填補的左眼圖(d)未做任何填補的右眼圖(e)含有空洞區域的左眼圖(f)含有空洞區域的右眼圖(g)完成填補之左眼圖(h)完成填補之右眼圖(i)左右眼插排圖。原始影像選擇了棋盤背景的影像，棋盤影像是由深色及淺色的方塊所組成，填補結果有些許偏移的情形。
請參閱第15圖，其係本發明實施例之前景物件相互遮蓋的影像結果圖，其中(a)原始影像(b)深度圖(c)未做任何填補的左眼圖 (d)未做任何填補的右眼圖(e)含有空洞區域的左眼圖(f)含有空洞區域的右眼圖(g)完成填補之左眼圖(h)完成填補之右眼圖(i)左右眼插排圖。原始影像採用前景物件相互遮蓋的影像，即選擇一個有蘋果和柳橙重疊的影像，蘋果旁的空洞區域包含了背景及柳橙。結果顯示紋裡還是有一點點的偏移，以及柳橙的結果沒有那麼圓，但基本上顏色都是正確的。
請參閱第16圖，其係本發明實施例之室內照片的影像結果圖，其中(a)原始影像(b)深度圖(c)未做任何填補的左眼圖(d)未做任何填補的右眼圖(e)含有空洞區域的左眼圖(f)含有空洞區域的右眼圖(g)完成填補之左眼圖(h)完成填補之右眼圖(i)左右眼插排圖。原始影像採用室內物品照片，結果顯示只有邊緣的填補結果有一點偏移，但整體的效果是很好的。
請參閱第17圖，其係本發明實施例之戶外自然風景照片的影像結果圖，其中(a)原始影像(b)深度圖(c)未做任何填補的左眼圖(d)未做任何填補的右眼圖(e)含有空洞區域的左眼圖(f)含有空洞區域的右眼圖(g)完成填補之左眼圖(h)完成填補之右眼圖(i)左右眼插排圖。原始影像採用戶外自然風景照片的影像，結果顯示只有邊緣的填補結果有一點偏移，尤其是(g)及(h)圖中欄杆的部分特別明顯，但整體的效果是很好的。
綜上所述，本案提出了一種由2D影像立即轉換成3D雙眼立體影像的裝置與方法，不僅簡化影像填補的步驟，縮短影像空洞填補時程，更可即時將2D影像直接轉換為3D雙眼立體影像，且能應用於立體影像顯示裝置中，符合市場需求。
以上所述之實施例僅為說明本發明之最佳實施例原理及其功 效，而非用以限制本發明。因此，熟悉本技藝之人士可在不違背本發明之精神對上述實施例進行修改及變化，然皆不脫如附申請專利範圍所欲保護者。
11‧‧‧深度地圖影像
12‧‧‧2D影像
13‧‧‧3D影像位移
14‧‧‧左影像填補
15‧‧‧右影像填補
21-27‧‧‧步驟
31‧‧‧3D影像產生器
32‧‧‧雜散空洞處理器
33‧‧‧梯度產生器
34‧‧‧空洞處理填補器
35‧‧‧記憶體
36‧‧‧訊號控制器
第1圖：其顯示本發明之系統架構示意圖。
第2圖：其顯示本發明一種即時立體影像產生方法的系統流程圖。
第3圖：其顯示本發明一種即時立體影像產生裝置的方塊圖。
第4圖：其顯示本發明一雜散空洞示意圖。
第5圖：其係本發明一實施例的(a)、(b)兩組3 x 3雜訊濾除遮罩示意圖，其中‘1’代表正常像素，‘0’代表空洞像素，‘X’為不處理像素。
第6圖：其係本發明一實施例的雜散空洞填補處理完成影像示意圖。
第7圖：其係本發明一實施例3 x 3遮罩的控制訊號對應位置示意圖。
第8圖：其係本發明一實施例的空洞填補演算法示意圖，其中(a)搜尋空洞邊緣參考點(b)搜尋空洞填補候選點(c)填補空洞區域。
第9圖：其係本發明一實施例的空洞邊緣示意圖。
第10圖：其顯示本發明一產生影像的流程示意圖。
第11圖：其顯示本發明另一產生影像的流程示意圖。
第12圖：係本發明實施例之人工背景的影像結果圖，其中(a)原始影像(b)深度圖(c)未做任何填補的左眼圖(d)未做任何填補的右眼圖(e)含有空洞區域的左眼圖(f)含有空洞區 域的右眼圖(g)完成填補之左眼圖(h)完成填補之右眼圖(i)左右眼插排圖。
第13圖：係本發明實施例之自然背景的影像結果圖，其中(a)原始影像(b)深度圖(c)未做任何填補的左眼圖(d)未做任何填補的右眼圖(e)含有空洞區域的左眼圖(f)含有空洞區域的右眼圖(g)完成填補之左眼圖(h)完成填補之右眼圖(i)左右眼插排圖。
第14圖：係本發明實施例之棋盤式背景的影像結果圖，其中(a)原始影像(b)深度圖(c)未做任何填補的左眼圖(d)未做任何填補的右眼圖(e)含有空洞區域的左眼圖(f)含有空洞區域的右眼圖(g)完成填補之左眼圖(h)完成填補之右眼圖(i)左右眼插排圖。
第15圖：係本發明實施例之前景物件相互遮蓋的影像結果圖，其中(a)原始影像(b)深度圖(c)未做任何填補的左眼圖(d)未做任何填補的右眼圖(e)含有空洞區域的左眼圖(f)含有空洞區域的右眼圖(g)完成填補之左眼圖(h)完成填補之右眼圖(i)左右眼插排圖。
第16圖：係本發明實施例之室內照片的影像結果圖，其中(a)原始影像(b)深度圖(c)未做任何填補的左眼圖(d)未做任何填補的右眼圖(e)含有空洞區域的左眼圖(f)含有空洞區域的右眼圖(g)完成填補之左眼圖(h)完成填補之右眼圖(i)左右眼插排圖。
第17圖：係本發明實施例之戶外自然風景照片的影像結果圖，其中(a)原始影像(b)深度圖(c)未做任何填補的左眼圖(d) 未做任何填補的右眼圖(e)含有空洞區域的左眼圖(f)含有空洞區域的右眼圖(g)完成填補之左眼圖(h)完成填補之右眼圖(i)左右眼插排圖。
31‧‧‧3D影像產生器
32‧‧‧雜散空洞處理器
33‧‧‧梯度產生器
34‧‧‧空洞處理填補器
35‧‧‧記憶體
36‧‧‧訊號控制器

Claims (15)

  1. 一種即時立體影像產生裝置，耦接至一立體影像顯示裝置，其基於一原始2D影像及一深度地圖影像即時產生一立體影像，該即時立體影像產生裝置包含：一訊號控制器，耦接於該立體影像顯示裝置，用以控制該即時立體影像產生裝置之訊號時序及流程並輸出該立體影像至該立體影像顯示裝置；一3D影像產生器，耦接於該訊號控制器，用以接收該原始2D影像及該深度地圖影像並轉換成一對有視差的雙眼影像；一雜散空洞處理器，耦接於該訊號控制器，其利用一第一遮罩，以填補一空洞；一梯度產生器，耦接於該訊號控制器，其係利用一第二遮罩與一RGB像素值以計算該對有視差的雙眼影像的一梯度方向，並產生一梯度方向值；以及一空洞填補處理器，耦接於該訊號控制器，用以重複搜尋一空洞邊緣參考點並依循該梯度方向搜尋一填補候選點，再以該填補候選點方向性的一點回填該空洞，直到搜尋不到該空洞邊緣參考點後，即傳送該立體影像至該訊號控制器。
  2. 如申請專利範圍第1項之即時立體影像產生裝置，更包含一記憶體，耦接於該訊號控制器，用以儲存一位址、該RGB像素值及該梯度方向值。
  3. 如申請專利範圍第1項之即時立體影像產生裝置，其中該3D影像產生器係利用利用一深度影像繪圖法(DIBR)產生該對有視差的雙眼影像。
  4. 如申請專利範圍第1項之即時立體影像產生裝置，其中該對有視差的雙眼影像因深度連續變化，而產生該雜散空洞。
  5. 如申請專利範圍第1項之即時立體影像產生裝置，其中該第一遮罩係一3 x 3遮罩。
  6. 如申請專利範圍第1項之即時立體影像產生裝置，其中該第二遮罩係一5 x 5遮罩。
  7. 如申請專利範圍第1項之即時立體影像產生裝置，其中該空洞填補處理器在搜尋該填補參考點時，會先作色彩空間的轉換，即將RGB的色彩空間轉換到YCbCr的色彩空間，並以YCbCr的色彩空間來計算一色差，並以該色差最接近的點做為該填補參考點，再以該填補參考點的一方向性的點填補該空洞邊緣點旁的一空洞內。
  8. 如申請專利範圍第7項之即時立體影像產生裝置，其中該色差係由一前級填補參考點的一第一像素值與一次級填補參考點的一第二像素值計算而來，且各該像素值皆由各該填補參考點的位址與梯度方向值所產生，最後將色差最小的點的位址與梯度方向值輸出給下一級空洞填補使用。
  9. 一種即時立體影像產生方法，應用於一立體影像顯示裝置，包含下列步驟：(a)轉換一原始影像成為一對雙眼立體影像；(b)填補該對雙眼立體影像的複數個細小空洞區域；(c)搜尋一空洞的一邊緣參考點；(d)搜尋該空洞的一填補候選點，以該邊緣參考點的方向性搜尋，並以顏色色差最接近之點作為該填補候選點； (e)以該填補候選點方向性的點填回該空洞；以及(f)重覆步驟(c)~(e)，當搜尋不到該邊緣參考點時，即傳輸一立體影像至該立體影像顯示裝置。
  10. 如申請專利範圍第9項之即時立體影像產生方法，其中步驟(a)係利用一深度影像繪圖法(DIBR)產生該對雙眼立體影像，其中該對雙眼立體影像係一具有視差的虛擬影像，且因影像深度連續變化產生複數個空洞區域於其上。
  11. 如申請專利範圍第9項之即時立體影像產生方法，其中步驟(b)係利用一3 x 3遮罩實施掃描以進行空洞填補作業。
  12. 如申請專利範圍第9項之即時立體影像產生方法，其中步驟(c)係以一flag旗標訊號的上升緣與下降緣變化來找出該邊緣參考點。
  13. 如申請專利範圍第9項之即時立體影像產生方法，其中步驟(d)係利用一5 x 5遮罩分別與影像之RGB像素值，計算影像中每一點的梯度方向，產生一梯度方向值，以供後續影像空洞填補應用。
  14. 如申請專利範圍第9項之即時立體影像產生方法，其中步驟(d)在搜尋該填補參考點時，會先作色彩空間轉換，即將一RGB的色彩空間轉換到一YCbCr的色彩空間，並以該YCbCr的色彩空間來計算一色差。
  15. 如申請專利範圍第14項之即時立體影像產生方法，其中該色差係由一前級填補參考點的一第一像素值與一次級填補參考點的一第二像素值計算而來，且各該像素值皆由各該填補參考點的位址與梯度方向值所產生。
TW100110241A 2011-03-25 2011-03-25 即時立體影像產生裝置與方法 TWI419078B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW100110241A TWI419078B (zh) 2011-03-25 2011-03-25 即時立體影像產生裝置與方法
CN201110127160.9A CN102695064B (zh) 2011-03-25 2011-05-17 即时立体影像产生装置与方法
US13/186,242 US8704875B2 (en) 2011-03-25 2011-07-19 Apparatus for generating real-time stereoscopic image and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100110241A TWI419078B (zh) 2011-03-25 2011-03-25 即時立體影像產生裝置與方法

Publications (2)

Publication Number Publication Date
TW201239809A TW201239809A (en) 2012-10-01
TWI419078B true TWI419078B (zh) 2013-12-11

Family

ID=46860326

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100110241A TWI419078B (zh) 2011-03-25 2011-03-25 即時立體影像產生裝置與方法

Country Status (3)

Country Link
US (1) US8704875B2 (zh)
CN (1) CN102695064B (zh)
TW (1) TWI419078B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI736335B (zh) * 2020-06-23 2021-08-11 國立成功大學 基於深度影像生成方法、電子裝置與電腦程式產品

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101364860B1 (ko) * 2012-09-03 2014-02-20 강원대학교산학협력단 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
JP5903023B2 (ja) * 2012-10-04 2016-04-13 株式会社ジオ技術研究所 立体視地図表示システム
KR101720320B1 (ko) * 2012-11-09 2017-03-28 한국전자통신연구원 다중 스트림 기반 3차원 영상의 에러 보정 방법 및 장치
CN102932662B (zh) * 2012-12-05 2015-03-18 青岛海信信芯科技有限公司 单目转多目的立体视频生成方法、求解深度信息图以及生成视差图的方法
US9052746B2 (en) 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
EP2775723A1 (en) * 2013-03-07 2014-09-10 imcube labs GmbH Method, apparatus and computer program for generating a multiview image-plus-depth format
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9092657B2 (en) 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9380286B2 (en) 2013-04-19 2016-06-28 Adobe Systems Incorporated Stereoscopic target region filling
US9350969B2 (en) 2013-04-19 2016-05-24 Adobe Systems Incorporated Target region filling involving source regions, depth information, or occlusions
US20150097827A1 (en) * 2013-10-09 2015-04-09 Adobe Systems Incorporated Target Region Fill Utilizing Transformations
KR20150055441A (ko) * 2013-11-13 2015-05-21 삼성디스플레이 주식회사 입체 영상 표시 장치 및 입체 영상 표시 방법
US9979952B2 (en) 2013-12-13 2018-05-22 Htc Corporation Method of creating a parallax video from a still image
TW201528775A (zh) 2014-01-02 2015-07-16 Ind Tech Res Inst 景深圖校正方法及系統
KR102156410B1 (ko) 2014-04-14 2020-09-15 삼성전자주식회사 오브젝트 움직임을 고려한 영상 처리 장치 및 방법
CN103945206B (zh) * 2014-04-22 2015-08-26 冠捷显示科技（厦门）有限公司 一种基于相似帧比较的立体图像合成系统
US9953111B2 (en) * 2014-06-06 2018-04-24 Matterport, Inc. Semantic understanding of 3D data
CN104038753B (zh) * 2014-06-17 2016-01-13 四川虹微技术有限公司 三维图像空洞填充方法
KR102380862B1 (ko) 2015-09-01 2022-03-31 삼성전자주식회사 영상 처리 방법 및 장치
CN106611406B (zh) * 2015-10-27 2019-08-16 富士通株式会社 图像校正方法和图像校正设备
US10567739B2 (en) 2016-04-22 2020-02-18 Intel Corporation Synthesis of transformed image views
CN106713890A (zh) * 2016-12-09 2017-05-24 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及其装置
US10154176B1 (en) * 2017-05-30 2018-12-11 Intel Corporation Calibrating depth cameras using natural objects with expected shapes
CN107566753A (zh) * 2017-09-29 2018-01-09 努比亚技术有限公司 照片拍摄方法及移动终端
CN109961503A (zh) * 2017-12-25 2019-07-02 国民技术股份有限公司 一种图像处理方法及装置、终端及计算机可读存储介质
US10593024B2 (en) * 2018-04-04 2020-03-17 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Image inpainting on arbitrary surfaces
CN108765321B (zh) * 2018-05-16 2021-09-07 Oppo广东移动通信有限公司 拍照修复方法、装置、存储介质及终端设备
CN111951343A (zh) * 2019-05-16 2020-11-17 阿里巴巴集团控股有限公司 图像生成方法和装置、图像展示方法和装置
US20200294209A1 (en) * 2020-05-30 2020-09-17 Intel Corporation Camera feature removal from stereoscopic content
CN113963089B (zh) * 2021-12-23 2022-05-03 朗坤智慧科技股份有限公司 一种基于a*算法的三维空间疏散模拟方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW421969B (en) * 1999-03-19 2001-02-11 Asustek Comp Inc 3D image processing device and method
US20080130825A1 (en) * 2006-11-02 2008-06-05 Accuray Incorporated Target tracking using direct target registration
US20080150945A1 (en) * 2006-12-22 2008-06-26 Haohong Wang Complexity-adaptive 2d-to-3d video sequence conversion
US20080151263A1 (en) * 2006-08-25 2008-06-26 Gerhard Randers-Pehrson Systems and methods for focusing optics
US20090207067A1 (en) * 2008-02-14 2009-08-20 Raytheon Company Radar Imaging of Buildings Using Model-Based Focusing and Data-Based Focusing
TW201037574A (en) * 2009-04-10 2010-10-16 J Touch Corp Touch-control apparatus of three-dimensional imaging

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1127967A (zh) * 1995-01-26 1996-07-31 大宇电子株式会社 利用一个权函数的块匹配运动估算装置
US6466207B1 (en) * 1998-03-18 2002-10-15 Microsoft Corporation Real-time image rendering with layered depth images
US7512284B2 (en) * 2005-03-29 2009-03-31 General Electric Company Volumetric image enhancement system and method
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US20080143876A1 (en) * 2006-08-31 2008-06-19 James Kouramanis Video stream timing detection
KR101484487B1 (ko) * 2007-10-11 2015-01-28 코닌클리케 필립스 엔.브이. 깊이-맵을 프로세싱하는 방법 및 디바이스
KR20090055803A (ko) * 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US8395642B2 (en) * 2009-03-17 2013-03-12 Mitsubishi Electric Research Laboratories, Inc. Method for virtual image synthesis
CN101610423B (zh) * 2009-07-13 2010-09-08 清华大学 一种渲染图像的方法和装置
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
US8610758B2 (en) * 2009-12-15 2013-12-17 Himax Technologies Limited Depth map generation for a video conversion system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW421969B (en) * 1999-03-19 2001-02-11 Asustek Comp Inc 3D image processing device and method
US20080151263A1 (en) * 2006-08-25 2008-06-26 Gerhard Randers-Pehrson Systems and methods for focusing optics
US20080130825A1 (en) * 2006-11-02 2008-06-05 Accuray Incorporated Target tracking using direct target registration
US20080150945A1 (en) * 2006-12-22 2008-06-26 Haohong Wang Complexity-adaptive 2d-to-3d video sequence conversion
US20090207067A1 (en) * 2008-02-14 2009-08-20 Raytheon Company Radar Imaging of Buildings Using Model-Based Focusing and Data-Based Focusing
TW201037574A (en) * 2009-04-10 2010-10-16 J Touch Corp Touch-control apparatus of three-dimensional imaging

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI736335B (zh) * 2020-06-23 2021-08-11 國立成功大學 基於深度影像生成方法、電子裝置與電腦程式產品

Also Published As

Publication number Publication date
CN102695064B (zh) 2014-08-20
US8704875B2 (en) 2014-04-22
TW201239809A (en) 2012-10-01
CN102695064A (zh) 2012-09-26
US20120242789A1 (en) 2012-09-27

Similar Documents

Publication Publication Date Title
TWI419078B (zh) 即時立體影像產生裝置與方法
US11632537B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
CN109461181A (zh) 基于散斑结构光的深度图像获取方法及系统
CN108230384B (zh) 图像深度计算方法、装置、存储介质和电子设备
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
US10726612B2 (en) Method and apparatus for reconstructing three-dimensional model of object
JP7387434B2 (ja) 画像生成方法および画像生成装置
CN104301704A (zh) 内容感知显示适应方法
US20140300941A1 (en) Method and apparatus for generating hologram based on multi-view image
US20050151751A1 (en) Generation of texture maps for use in 3D computer graphics
US8633926B2 (en) Mesoscopic geometry modulation
CN112419165A (zh) 利用几何和光度变换进行图像修复
US9076249B2 (en) Hole filling method for multi-view disparity maps
KR20140126826A (ko) 키넥트 기반 실시간 다시점 영상 생성 방법
TWI547904B (zh) 多視角視差圖的補洞方法
CN114399610A (zh) 基于引导先验的纹理映射系统和方法
Narayan et al. Optimized color models for high-quality 3d scanning
Kim et al. Joint estimation of depth, reflectance and illumination for depth refinement
Jagtap et al. Depth accuracy determination in 3-d stereoscopic image retargeting using DMA
CN107610070A (zh) 基于三摄像采集的自由立体匹配方法
WO2022036338A2 (en) System and methods for depth-aware video processing and depth perception enhancement
Howard et al. Depth-based patch scaling for content-aware stereo image completion
Akyazi et al. Graph-based inpainting of disocclusion holes for zooming in 3d scenes
Liao et al. Stereo matching and viewpoint synthesis FPGA implementation