TWI676153B - 利用2d影像資訊修補不完整3d深度影像之方法 - Google Patents

利用2d影像資訊修補不完整3d深度影像之方法 Download PDF

Info

Publication number
TWI676153B
TWI676153B TW107125792A TW107125792A TWI676153B TW I676153 B TWI676153 B TW I676153B TW 107125792 A TW107125792 A TW 107125792A TW 107125792 A TW107125792 A TW 107125792A TW I676153 B TWI676153 B TW I676153B
Authority
TW
Taiwan
Prior art keywords
depth
matrix
reconstruction
block
blocks
Prior art date
Application number
TW107125792A
Other languages
English (en)
Other versions
TW202008307A (zh
Inventor
余業緯
Yeh-Wei Yu
劉治中
Chi-Chung Lau
孫慶成
Ching-Cherng Sun
楊宗勳
Tsung-Hsun Yang
王祖鎧
Tzu-Kai Wang
王家慶
Jia-Ching Wang
王建堯
Chien-Yao Wang
王冠中
Kuan-Chung Wang
Original Assignee
國立中央大學
National Central University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立中央大學, National Central University filed Critical 國立中央大學
Priority to TW107125792A priority Critical patent/TWI676153B/zh
Priority to US16/194,847 priority patent/US10685474B2/en
Application granted granted Critical
Publication of TWI676153B publication Critical patent/TWI676153B/zh
Publication of TW202008307A publication Critical patent/TW202008307A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本發明提供一種利用2D影像資訊修補不完整3D深度影像之方法，其包括下列步驟：取得2D影像資訊及3D深度影像資訊；將2D影像資訊劃分出2D重建區塊及2D重建邊界，又對應3D重建區塊及3D重建邊界；分析每3D重建區塊，劃分成殘存曲面區塊及待修補區塊；以及進行至少一次3D影像重建，其係以每一殘存曲面區塊之3D深度影像之初始深度值延伸並覆蓋所有對應之待修補區塊，以形成一修復區塊。藉此以達到利用2D影像資訊修補不完整3D深度影像之目的。

Description

利用2D影像資訊修補不完整3D深度影像之方法
本發明為一種利用2D影像資訊修補不完整3D深度影像之方法，其特別為一種應用於3D取像系統之利用2D影像資訊修補不完整3D深度影像之方法。
從黑白到彩色、從類比式到高畫質HD，單就顯示器的發明與演變，在過去不到一個世紀的時間，可說是相當神速。不過，現今我們在市面上所看到的顯示器，不論是哪一種類型，都還是屬於平面顯示； 3D影像已經是人類追求的3D影像顯示需求一個契機。
現今的彩色3D影像掃描技術通常結合兩種模組，一個是2D的彩色相機模組，一個是3D空間資訊擷取模組，常見的3D空間資訊擷取模組會使用結構光技術或是飛時測距(TOF, time of flight)技術。
然而上述的兩種技術，皆會受到環境當中雜訊影響，例如最常見的是紅外線雜訊，因而造成點雲破損，因此如何提出一個能從不完整的點雲，透過其二維影像資訊，提供物件位置、面資訊與邊界，還原出物件與點雲的演算法，以成為一重要課題。
本發明為一種利用2D影像資訊修補不完整3D深度影像之方法，其主要是要解決3D取像時，因為部分3D影像缺少深度資訊因而產生的失真問題。
本發明提供一種利用2D影像資訊修補不完整3D深度影像之方法，其包括下列步驟：取得影像資訊，其包括相互對應之一2D影像資訊及一3D深度影像資訊；劃分2D特定區塊，其係將2D影像資訊劃分出複數個2D重建區塊及其對應之2D重建邊界，又依照每一2D重建區塊轉換出對應之一3D重建區塊及其對應之一3D重建邊界；取得殘存曲面區塊，其係分析每一3D重建區塊，將其對應3D深度影像具有深度值資訊之部位，劃分成一殘存曲面區塊，又殘存曲面區塊以外之區域劃分成待修補區塊；以及進行3D重建步驟，其係至少一次以每一殘存曲面區塊之3D深度影像之初始深度值延伸並覆蓋所有對應之待修補區塊，以形成一修復區塊。
藉由本發明之實施，至少可以達成下列之進步功效： 一、 可以有效的分析出3D影像之缺陷。 二、 可以最經濟的方式，進行3D深度影像之修補。
如第1圖所示，本實施例為一種利用2D影像資訊20修補不完整3D深度影像之方法S100，其包括下列步驟：取得影像資訊S10；劃分2D特定區塊S20；取得殘存曲面區塊S25；以及進行3D重建步驟S30。
如第2A圖及第2B圖所示，取得影像資訊S10，其係藉由一3D取像裝置進行取像以取得所要的之影像資訊，又取得的影像資訊，其係包括了彼此相互對應之一2D影像資訊20及一3D深度影像資訊30。
如第3圖所示，有關劃分2D特定區塊S20，為了方便後續對不完整3D深度影像的修補，首先將上述之2D影像資訊20劃分出複數個2D重建區塊210，又每一2D重建區塊210均可對應到其本身之一2D重建邊界211。
該些2D重建區塊210係可以人工智慧、色塊、或一邊界進行劃分，其主要是藉由上述之劃分技術，試著找出所有可能是實體物件其對應的影像區塊，將其畫分成一個又一個作為重建單位的2D重建區塊210。
如第4圖所示，由於2D影像資訊20與3D深度影像資訊30係為彼此相互對應之關係，因此依照每一2D重建區塊210，就可以轉換出對應之一3D重建區塊310，而且每一3D重建區塊310，均具有可以對應到其本身之一3D重建邊界311。每一3D重建區塊310將作為修補不完整3D深度影像之修補單位。
有關取得殘存曲面區塊S25，是在進行不完整3D深度影像修補前，先在一3D重建區塊310中找到具有深度值的正常區塊，作為修補不完整3D深度影像的母體，也就是殘存曲面區塊320；然後以此殘存曲面區塊320去修補同一3D重建區塊310中缺乏深度值之待修補區塊330。
換句話說，取得殘存曲面區塊S25，其係分析每一3D重建區塊310，將每一3D重建區塊310對應到3D深度影像，然後將3D重建區塊310對應到具有深度值資訊之部位，劃分成一殘存曲面區塊320。然後以殘存曲面區塊320作為後續進行修復時所使用的母體，又在3D重建區塊310內，將殘存曲面區塊320以外之區域劃分成待修補區塊330。
如第5圖所示，其為一種殘存曲面區塊矩陣322產生過程實施例圖，為了方便演算，取得殘存曲面區塊S25將以矩陣方式進行運算，所以殘存曲面區塊矩陣322其係由一3D深度影像資訊30取其中具有3D重建區塊310之局部3D深度影像321，例如X軸由250至410畫素(250-410pixels)且Y軸由228至350畫素(228-350pixels)進行說明，又局部3D深度影像321可以對應出一殘存曲面區塊矩陣322，又為了方便瞭解殘存曲面區塊矩陣322，又提供了殘存曲面區塊矩陣322之局部放大圖323。
如第6A圖及第6B圖所示，有關進行3D重建步驟S301，在此選擇一3D重建區塊310，進行3D重建步驟S30第一實施方式之說明，其3D重建步驟S30係包括：定義框架矩陣S310；建立初始深度矩陣S320；以及再次進行3D深度影像重建步驟S330。
如第6B圖所示，其為一種運算框架矩陣332產生過程實施例圖，其係由一3D深度影像資訊30取其局部深度影像331進行說明，又局部深度影像331可以對應出一運算框架矩陣332，又為了詳細了解運算框架矩陣332的內容，因此又再提供運算框架矩陣之局部放大圖332A。
定義框架矩陣S310，其係先設定大小大於或等於3D重建區塊310之一運算框架矩陣332Zexp(x,y)332，運算框架矩陣332Zexp(x,y)332為一空矩陣，其主要是方便後續運算時，使相同空間的運算，能有共同的運算框架。
如第6C圖所示，其為一種初始/第一初始深度矩陣333產生過程實施例圖，其係由一3D深度影像取其中具有3D重建區塊310之局部3D深度影像321進行說明，又局部3D深度影像321可以對應出一運算框架矩陣332，接著將運算框架矩陣332與一殘存曲面區塊矩陣322，以產生一初始/第一初始深度矩陣333，又為了方便瞭解初始/第一初始深度矩陣333，又提供初始/第一初始深度矩陣333的局部放大圖334。
建立初始深度矩陣S320，其係將3D重建區塊310之深度值，填入上述之運算框架矩陣332，在深度值填入運算框架矩陣332的過程中，若無深度值者，係以0值填入，如此以形成一初始深度矩陣。
有關進行3D重建步驟S30，其係至少一次的以每一殘存曲面區塊320之3D深度影像之初始深度值，例如一3D深度影像初始深度矩陣，進行延伸並覆蓋所有對應之待修補區塊330，以使待修補區塊330形成一修復區塊340。
如第6D圖所示，其為一種第N運算深度矩陣333N產生過程實施例圖，其係由一3D深度影像資訊30取其中具有3D重建區塊310之局部3D深度影像321進行說明，又局部3D深度影像321可以對應出一運算框架矩陣332，接著將運算框架矩陣332與一殘存曲面區塊矩陣322N，以產生一第N運算深度矩陣333N，又為了方便瞭解第N運算深度矩陣333N，又提供第N運算深度矩陣333N的局部放大圖334N。
因為初始深度矩陣是作為後續進行修補的母體，所以初始深度矩陣之值係永遠保持不變，而為了後續的運作，因此於初始深度矩陣建立後，又進一步的將初始深度矩陣進行複製及生成一第一運算深度矩陣333N。
如第6E圖所示，進行3D深度影像重建步驟S330A，其包括：進行第N次延伸步驟S331；進行第N次取代步驟S332；及再次進行3D深度影像重建步驟S340。
進行第N次延伸步驟S331，其係將該第N運算深度矩陣333N進行延伸的修補動作，以產生一第N+1運算深度矩陣333N1；也就是說，第N+1運算深度矩陣333N1是以第N運算深度矩陣333N進行修補後的結果。
進行第N次取代步驟S332，其係以初始深度矩陣，將第N+1運算深度矩陣333N1之殘存區塊，還原成該初始深度值；也就是說，進行第N次取代步驟S332是使第N+1運算深度矩陣333N1之殘存區塊，還原到初始的狀態，以便能再次進行後續的延伸修補動作。
如第6F圖所示，其為一種經過數次修補之成果實施例圖30N及其局部放大圖340，又該局部放大圖又對應出一數次修補成果深度矩陣圖341。有關再次進行3D深度影像重建步驟S340，其係再次進行上述之進行 第 N 次延伸步驟S331及進行第N次取代步驟S332，並藉此可以達成逐步修補的結果。
如第7A圖所示，除了上述3D重建步驟之實施方式外，接著又進行3D重建步驟S302第二實施方式之說明，其係包括: 定義框架矩陣S310；建立第一初始深度矩陣S313；建立待修補區塊遮S315；建立殘存區塊遮罩S317；以及進行3D深度影像重建步驟S330。
請再次參閱第6B圖所示，有關定義框架矩陣S310，其同樣係先設定大小大於或等於3D重建區塊310之一運算框架矩陣Zexp(x,y) 332，運算框架矩陣Zexp(x,y) 332為一空矩陣，其主要是方便後續運算時，使相同空間的運算，能有共同的運算框架。
請再次參閱第6C圖所示，建立第一初始深度矩陣S313，其係將3D重建區塊310之深度值填入運算框架矩陣332，在深度值填入運算框架矩陣332的過程中，若無深度值者以0值填入，如此以形成一第一初始深度矩陣333。
請再次參閱第6D圖所示，同樣的第一初始深度矩陣333是作為後續進行修補的母體，而為了後續的運作，因此於初始深度矩陣建立後，又進一步的將第一初始深度矩陣333進行複製及生成一第N運算深度矩陣333N。
如第7B圖所示，其為一種建立待修補區塊遮S315產生過程實施例圖，其係由一3D深度影像資訊30取其中具有3D重建區塊310之局部3D深度影像321進行說明，又局部3D深度影像321可以對應出一待修補區塊遮罩矩陣MS1實施例。
有關建立待修補區塊遮S315，其主要是為了後續運算的方便使用，建立待修補區塊遮S315其係將每一第一初始深度矩陣333中有深度值者設為0，無深度值者設為1。
如第7C圖所示，其為一種殘存區塊遮罩MS2產生過程實施例圖，其係由一3D深度影像資訊30取其中具有3D重建區塊310之局部3D深度影像321進行說明，又局部3D深度影像321可以對應出一待修補區塊遮罩矩陣MS1。有關建立殘存區塊遮罩S317，其係將每一第一初始深度矩陣333中有深度值者設為1，無該深度值者設為以得到殘存區塊遮罩MS2；然後藉由殘存區塊遮罩MS2的使用，以方便對3D深度影像重建驟的運算。
如第7D圖所示，進行3D深度影像重建步驟S330B，其包括：進行第N次延伸步驟S331；產生一第一暫存深度矩陣S334；產生一第二初始深度矩陣S335；修改第N+1運算深度矩陣S336；及再次進行該3D深度影像重建步驟S337。
如第7E圖所示，其為一種第N+1運算深度矩陣333N1實施例圖及其局部放大圖，又該局部放大圖又對應出一N+1運算深度矩陣圖。有關進行第N次延伸步驟S331，其係使用第N運算深度矩陣333N進行延伸的修補動作，以產生第N+1運算深度矩陣333N1；第N+1運算深度矩陣333N1也就是第一次修補後的結果。
如第7F圖所示，其為一種第一暫存深度矩陣產生過程實施例圖，其係由一3D深度影像資訊30取其中具有3D重建區塊310之局部3D深度影像321進行說明，又局部3D深度影像321可以對應出一第一暫存深度矩陣333T1實施例。有關產生一第一暫存深度矩陣333T1，其係以待修補區塊遮罩MS1遮蔽第N+1運算深度矩陣333N1。
如第7G圖所示，其為一種第二初始深度矩陣361產生過程實施例圖，其係由一3D深度影像資訊30取其局部深度影像360進行說明，又局部深度影像可以對應出一第二初始深度矩陣361，又為了詳細了解第二初始深度矩陣361的內容，因此又再提供第二初始深度矩陣361之局部放大圖362。有關產生一第二初始深度矩陣S335，其係以殘存區塊遮罩MS2遮蔽第一初始深度矩陣333。
如第7H圖所示，其為一種修改第N+1運算深度矩陣S339過程實施例圖，其係由一3D深度影像資訊30取其中具有3D重建區塊310之局部3D深度影像321進行說明，又局部3D深度影像321可以對應出一修改第N+1運算深度矩陣333N1。有關修改一第N+1運算深度矩陣，其係將上述之第一暫存深度矩陣333T1與上述之第二初始深度矩陣361進行相加。
再次進行該3D深度影像重建步驟S337，其係反覆執行進行第N次延伸步驟S331；產生一第一暫存深度矩陣333T1；產生一第二初始深度矩陣S335；以及修改第N+1運算深度矩陣S339，直到第N+1運算深度矩陣333N1之殘存區塊與初始值之差異可接受為止。
上述之第N次延伸步驟係將運算深度矩陣進行一傅氏空間低通濾波，或者將運算深度矩陣進行逐次增加濾波孔徑之多次傅氏空間低通濾波。
上述第N次延伸步驟亦可將運算深度矩陣進行一外差運算或一內差運算，或者將運算深度矩陣進行一曲面擬合。
上述第N次延伸步驟又可將該運算深度矩陣進行一拉普拉斯空間低通濾波，或者將運算深度矩陣進行逐次增加濾波孔徑之多次拉普拉斯空間低通濾波。
上述第N次延伸步驟又可將該運算深度矩陣進行一小波轉換空間之低通濾波，或者將運算深度矩陣進行逐次增加濾波孔徑之多次小波轉換空間之低通濾波。
上述之第N次延伸步驟係可將該運算深度矩陣與一擴散函數進行一捲積運算，或者將運算深度矩陣進行逐次減少擴散函數寬度之多次捲積運算。
惟上述各實施例係用以說明本創作之特點，其目的在使熟習該技術者能瞭解本創作之內容並據以實施，而非限定本創作之專利範圍，故凡其他未脫離本創作所揭示之精神而完成之等效修飾或修改，仍應包含在以下所述之申請專利範圍中。
S100‧‧‧利用2D影像資訊修補不完整3D深度影像之方法
S10‧‧‧取得影像資訊
S20‧‧‧劃分2D特定區塊
S25‧‧‧取得殘存曲面區塊
S30‧‧‧進行3D重建步驟
S301‧‧‧進行3D重建步驟第一實施例流程圖
S302‧‧‧進行3D重建步驟第二實施例流程圖
S310‧‧‧定義框架矩陣
S313‧‧‧建立第一初始深度矩陣
S315‧‧‧建立待修補區塊遮
S317‧‧‧建立殘存區塊遮罩
S320‧‧‧建立初始深度矩陣
S330‧‧‧進行3D深度影像重建步驟
S330A‧‧‧進行3D深度影像重建步驟實施例流程圖一
S330B‧‧‧進行3D深度影像重建步驟實施例流程圖二
S331‧‧‧進行第N次延伸步驟
S332‧‧‧進行第N次取代步驟
S334‧‧‧產生一第一暫存深度矩陣
S335‧‧‧產生一第二初始深度矩陣
S336‧‧‧修改第N+1運算深度矩陣
S337‧‧‧再次進行該3D深度影像重建步驟
S339‧‧‧修改第N+1運算深度矩陣
S340‧‧‧再次進行3D深度影像重建步驟
20‧‧‧2D影像資訊
210‧‧‧2D重建區塊
211‧‧‧2D重建邊界
30‧‧‧3D深度影像資訊
30N‧‧‧經過數次修補之成果圖
310‧‧‧3D重建區塊
311‧‧‧3D重建邊界
320‧‧‧殘存曲面區塊
321‧‧‧局部3D深度影像
322‧‧‧殘存曲面區塊矩陣
323‧‧‧殘存曲面區塊矩陣之局部放大圖
330‧‧‧待修補區塊
331‧‧‧3D深度影像資訊取其局部深度影像
332‧‧‧運算框架矩陣
332A‧‧‧運算框架矩陣之局部放大圖
333‧‧‧初始第一初始深度矩陣
333N‧‧‧第N運算深度矩陣
333N1‧‧‧第N+1運算深度矩陣
333T1‧‧‧第一暫存深度矩陣
334‧‧‧初始第一初始深度矩陣的局部放大圖
334N‧‧‧第N運算深度矩陣的局部放大圖
340‧‧‧數次修補之成果局部放大圖
341‧‧‧數次修補成果深度矩陣圖
360‧‧‧局部深度影像
361‧‧‧第二初始深度矩陣
362‧‧‧第二初始深度矩陣之局部放大圖
MS1‧‧‧待修補區塊遮罩矩陣
MS2‧‧‧殘存區塊遮罩
[第1圖]為本發明之一種利用2D影像資訊修補不完整3D深度影像之方法實施例流程圖； [第2A圖]為本發明之一種2D影像資訊實施例圖； [第2B圖]為本發明之一種3D深度影像資訊圖； [第3圖]為本發明之一種2D重建區塊及其2D重建邊界實施例圖； [第4圖]為本發明之一種3D重建區塊及其3D重建邊界實施例圖； [第5圖]為本發明之一種具有深度值資訊之殘存曲面區塊實施例圖； [第6A圖]為本發明之一種進行3D重建步驟第一實施例流程圖； [第6B圖]為本發明之一種運算框架矩陣實施例圖； [第6C圖]為本發明之一種初始/第一初始深度矩陣實施例圖； [第6D圖]為本發明之一種第N運算深度矩陣實施例圖； [第6E圖]為本發明之一種進行3D深度影像重建步驟實施例流程圖一； [第6F圖]為本發明之一種經過數次修補之成果實施例圖； [第7A圖]為本發明之一種進行3D重建步驟第二實施例流程圖； [第7B圖]為本發明之一種待修補區塊遮罩實施例圖； [第7C圖]為本發明之一種殘存區塊遮罩實施例圖； [第7D圖]為本發明之一種進行3D深度影像重建步驟實施例流程圖二； [第7E圖]為本發明之一種第N+1運算深度矩陣實施例圖； [第7F圖]為本發明之一種第一暫存深度矩陣實施例圖； [第7G圖]為本發明之一種第二初始深度矩陣實施例圖；以及 [第7H圖]為本發明之一種修改第N+1深度運算矩陣實施例圖。

Claims (13)

  1. 一種利用2D影像資訊修補不完整3D深度影像之方法，其包括下列步驟：取得影像資訊，其包括相互對應之一2D影像資訊及一3D深度影像資訊；劃分2D特定區塊，其係將該2D影像資訊劃分出複數個2D重建區塊及其對應之2D重建邊界，又依照每一該2D重建區塊轉換出對應之一3D重建區塊及其對應之一3D重建邊界；取得殘存曲面區塊，其係分析每一該3D重建區塊，將其對應該3D深度影像具有深度值資訊之部位，劃分成一殘存曲面區塊，又該殘存曲面區塊以外之區域劃分成待修補區塊；以及進行3D重建步驟，其係至少一次以每一該殘存曲面區塊之該3D深度影像之初始深度值延伸並覆蓋所有對應之待修補區塊，以形成一修復區塊；其中該3D重建步驟，係包括：定義框架矩陣，其係設定大小大於或等於該3D重建區塊之一運算框架矩陣Zexp(x,y)；建立初始深度矩陣，其係將該3D重建區塊之該深度值填入該運算框架矩陣，若無該深度值者以0值填入以形成一初始深度矩陣且複製生成一第一運算深度矩陣；進行3D深度影像重建步驟，其包括：進行第N次延伸步驟，其係將該第N運算深度矩陣進行延伸，以產生一第N+1運算深度矩陣；進行第N次取代步驟，其係以該初始深度矩陣，將該第N+1運算深度矩陣之該殘存區塊還原成該初始深度值；以及再次進行該3D深度影像重建步驟。
  2. 如申請專利範圍第1項所述之方法，其中該些2D重建區塊係以人工智慧、色塊、或一邊界進行劃分。
  3. 一種利用2D影像資訊修補不完整3D深度影像之方法，其包括下列步驟：取得影像資訊，其包括相互對應之一2D影像資訊及一3D深度影像資訊；劃分2D特定區塊，其係將該2D影像資訊劃分出複數個2D重建區塊及其對應之2D重建邊界，又依照每一該2D重建區塊轉換出對應之一3D重建區塊及其對應之一3D重建邊界；取得殘存曲面區塊，其係分析每一該3D重建區塊，將其對應該3D深度影像具有深度值資訊之部位，劃分成一殘存曲面區塊，又該殘存曲面區塊以外之區域劃分成待修補區塊；以及進行3D重建步驟，其係至少一次以每一該殘存曲面區塊之該3D深度影像之初始深度值延伸並覆蓋所有對應之待修補區塊，以形成一修復區塊；其中該3D重建步驟，係包括：定義框架矩陣，其係設定大小大於或等於該3D重建區塊之一運算框架矩陣Zexp(x,y)；建立第一初始深度矩陣，其係將該3D重建區塊之該深度值填入該運算框架矩陣，若無該深度值者以0值填入又複製生成一第N運算深度矩陣；建立待修補區塊遮罩，其係將每一該第一初始深度矩陣中有該深度值者設為0，無該深度值者設為1；建立殘存區塊遮罩，其係將每一該第一初始深度矩陣中有該深度值者設為1，無該深度值者設為0；以及進行3D深度影像重建步驟，其包括：進行第N次延伸步驟，其係使用該第N運算深度矩陣進行延伸，以產生第N+1運算深度矩陣；產生一第一暫存深度矩陣，其係以該待修補區塊遮罩遮蔽該第N+1運算深度矩陣；產生一第二初始深度矩陣，其係以該殘存區塊遮罩遮蔽該第一初始深度矩陣；修改第N+1運算深度矩陣，其係將該第一暫存深度矩陣與該第二初始深度矩陣進行相加；及再次進行該3D深度影像重建步驟。
  4. 如申請專利範圍第1項所述之方法，其該延伸步驟係將該運算深度矩陣進行一傅氏空間低通濾波。
  5. 如申請專利範圍第1項所述之方法，其該延伸步驟係將該運算深度矩陣進行逐次增加濾波孔徑之多次傅氏空間低通濾波。
  6. 如申請專利範圍第1項所述之方法，其該延伸步驟係將該運算深度矩陣進行一外差運算或一內差運算。
  7. 如申請專利範圍第1項所述之方法，其該延伸步驟係將該運算深度矩陣進行一曲面擬合。
  8. 如申請專利範圍第1項所述之方法，其該延伸步驟係將該運算深度矩陣進行一拉普拉斯空間低通濾波。
  9. 如申請專利範圍第1項所述之方法，其該延伸步驟係將該運算深度矩陣進行逐次增加濾波孔徑之多次拉普拉斯空間低通濾波。
  10. 如申請專利範圍第1項所述之方法，其該延伸步驟係將該運算深度矩陣進行一小波轉換空間之低通濾波。
  11. 如申請專利範圍第1項所述之方法，其該延伸步驟係將該運算深度矩陣進行逐次增加濾波孔徑之多次小波轉換空間之低通濾波。
  12. 如申請專利範圍第1項所述之方法，其該延伸步驟係將該運算深度矩陣與一擴散函數進行一捲積運算。
  13. 如申請專利範圍第1項所述之方法，其該延伸步驟係將該運算深度矩陣進行逐次減少擴散函數寬度之多次捲積運算。
TW107125792A 2018-07-25 2018-07-25 利用2d影像資訊修補不完整3d深度影像之方法 TWI676153B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107125792A TWI676153B (zh) 2018-07-25 2018-07-25 利用2d影像資訊修補不完整3d深度影像之方法
US16/194,847 US10685474B2 (en) 2018-07-25 2018-11-19 Method for repairing incomplete 3D depth image using 2D image information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107125792A TWI676153B (zh) 2018-07-25 2018-07-25 利用2d影像資訊修補不完整3d深度影像之方法

Publications (2)

Publication Number Publication Date
TWI676153B true TWI676153B (zh) 2019-11-01
TW202008307A TW202008307A (zh) 2020-02-16

Family

ID=69178500

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107125792A TWI676153B (zh) 2018-07-25 2018-07-25 利用2d影像資訊修補不完整3d深度影像之方法

Country Status (2)

Country Link
US (1) US10685474B2 (zh)
TW (1) TWI676153B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586379B2 (en) * 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
CN111897433A (zh) * 2020-08-04 2020-11-06 吉林大学 一种集成成像显示系统中实现动态手势识别与控制方法
CN113066016B (zh) * 2021-02-18 2022-08-05 北京大学 一种基于图信号处理的三维动态点云修复方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200834471A (en) * 2007-02-15 2008-08-16 Ind Tech Res Inst Image filling methods, and machine readable medium thereof
US20100328311A1 (en) * 2009-06-24 2010-12-30 International Business Machines Corporation system and method for establishing correspondence, matching and repairing three dimensional surfaces of arbitrary genus and arbitrary topology in two dimensions using global parameterization
TW201206151A (en) * 2010-07-20 2012-02-01 Chunghwa Picture Tubes Ltd Method and system for generating images of a plurality of views for 3D image reconstruction
US20150302595A1 (en) * 2014-04-17 2015-10-22 Altek Semiconductor Corp. Method and apparatus for generating depth information
CN106651926A (zh) * 2016-12-28 2017-05-10 华东师范大学 一种基于区域配准的深度点云三维重建方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8669325B1 (en) * 1999-06-11 2014-03-11 Sydney Hyman Compositions image making mediums and images
US7239314B2 (en) * 2002-08-29 2007-07-03 Warner Bros. Animation Method for 2-D animation
US9734638B2 (en) * 2013-02-11 2017-08-15 Ramot At Tel-Aviv University Ltd. Three-dimensional modeling from single photographs
US9405994B2 (en) * 2013-05-08 2016-08-02 The University Of British Columbia Methods and systems for characterizing concept drawings and estimating three-dimensional information therefrom
CN103914874B (zh) * 2014-04-08 2017-02-01 中山大学 一种无特征提取的紧致sfm三维重建方法
US10332309B2 (en) * 2015-09-23 2019-06-25 Here Global B.V. Method and apparatus for identifying buildings in textured 3D mesh data and generating 3D building models
CN105487121B (zh) * 2015-12-03 2018-08-07 长江大学 基于ct扫描图像与电成像图像融合构建多尺度数字岩心方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200834471A (en) * 2007-02-15 2008-08-16 Ind Tech Res Inst Image filling methods, and machine readable medium thereof
US20100328311A1 (en) * 2009-06-24 2010-12-30 International Business Machines Corporation system and method for establishing correspondence, matching and repairing three dimensional surfaces of arbitrary genus and arbitrary topology in two dimensions using global parameterization
TW201206151A (en) * 2010-07-20 2012-02-01 Chunghwa Picture Tubes Ltd Method and system for generating images of a plurality of views for 3D image reconstruction
US20150302595A1 (en) * 2014-04-17 2015-10-22 Altek Semiconductor Corp. Method and apparatus for generating depth information
CN106651926A (zh) * 2016-12-28 2017-05-10 华东师范大学 一种基于区域配准的深度点云三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
唐政元等5人，"對有遮蔽物的建築物影像作影像修補"，2006，http://datf.iis.sinica.edu.tw/Papers/2006datfpapers/24.pdf *

Also Published As

Publication number Publication date
US20200035013A1 (en) 2020-01-30
TW202008307A (zh) 2020-02-16
US10685474B2 (en) 2020-06-16

Similar Documents

Publication Publication Date Title
TWI676153B (zh) 利用2d影像資訊修補不完整3d深度影像之方法
KR20040043157A (ko) 디지털 영상을 그 잡음을 고려하여 수정하기 위한 방법 및시스템
TWI526990B (zh) 用以轉換二維影像為三維模型的影像處理方法
JP6432214B2 (ja) 画像処理装置、画像処理方法、記憶媒体及びプログラム
KR102028469B1 (ko) 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
JP2014529756A5 (zh)
KR101746712B1 (ko) 안개 제거 방법 및 장치
KR102206899B1 (ko) 렌즈 이미지를 파노라마 이미지로 전개하는 방법 및 장치
CN109360212A (zh) 一种可抑制重采样误差的频域光场数字重聚焦算法
JP2016535485A (ja) デュアルバンドセンサからの画像の可視カラー画像への変換
CN107730554A (zh) 面阵结构光成像系统的标定方法和装置
KR102076494B1 (ko) 3차원 데이터 처리 장치 및 방법
CN113310432A (zh) 一种基于逐像素调控的自适应条纹投影三维测量方法
CN110501071A (zh) 一种基于模糊编码的压缩高光谱掩膜优化方法
JP6322058B2 (ja) 画像取得装置
TWI705413B (zh) 改善重建三維模型效率的方法及裝置
Bratsolis et al. A spatial regularization method preserving local photometry for Richardson-Lucy restoration
JP2010278890A (ja) 画像形成装置、画像形成方法
CN104952048A (zh) 一种基于像体重建的焦点堆栈照片合成方法
CN106683057A (zh) 任意连续曲面幕多投影显示墙的自动几何校正方法
Gao et al. Image enhancement algorithm based on NF-ICM
JP7198110B2 (ja) ３次元画像用の撮像装置および３次元画像用の撮像表示装置
CN116295114A (zh) 一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法
JPWO2019226366A5 (zh)
JP2012195902A (ja) カメラモジュール、画像処理装置及び画像処理方法