TW201816725A - 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法 - Google Patents

擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法 Download PDF

Info

Publication number
TW201816725A
TW201816725A TW105133677A TW105133677A TW201816725A TW 201816725 A TW201816725 A TW 201816725A TW 105133677 A TW105133677 A TW 105133677A TW 105133677 A TW105133677 A TW 105133677A TW 201816725 A TW201816725 A TW 201816725A
Authority
TW
Taiwan
Prior art keywords
image
group
plane
virtual
edge
Prior art date
Application number
TW105133677A
Other languages
English (en)
Other versions
TWI595446B (zh
Inventor
瞿志行
陳瑋萱
Original Assignee
國立清華大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立清華大學 filed Critical 國立清華大學
Priority to TW105133677A priority Critical patent/TWI595446B/zh
Priority to US15/649,147 priority patent/US10339702B2/en
Application granted granted Critical
Publication of TWI595446B publication Critical patent/TWI595446B/zh
Publication of TW201816725A publication Critical patent/TW201816725A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G06T15/405—Hidden part removal using Z-buffer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一種遮蔽邊緣品質改善方法，用於擴增實境系統中，此方法包含：一資料輸入步驟，利用一攝影機組拍攝一場景及於場景中的一物體組而取得一原始影像；一虛實遮蔽區域提取步驟，依據場景中設定的第一與第二虛擬平面與原始影像進行深度緩衝計算以獲得第一與第二影像，並對第一影像與第二影像進行差集運算以獲得一提取影像；以及一遮蔽影像產生步驟，於第一虛擬平面與第二虛擬平面之間設定一第三虛擬平面，並依據提取影像、第三虛擬平面及原始影像，將一虛擬物件插入原始影像中，以獲得具有平滑遮蔽邊緣之一遮蔽影像。

Description

擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
本發明是有關於一種遮蔽邊緣品質改善方法，且特別是有關於一種擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法。
近年來三維感測技術應用普及，人類的視覺經驗不再侷限於二維空間，而是追求更直覺的三維互動方式。商業化的紅綠藍-深度(RGB-D)攝影機，除了擷取真實物件的空間位置與顏色之外，亦能估算目標的深度。於擴增實境中整合RGB-D攝影機，配合行動裝置，提供高智能、人性化的互動應用，將成為未來的發展趨勢。然而於現有的擴增實境應用中，虛擬與真實物件之間，或是使用者人體與虛擬物件之間，皆可能發生相互遮蔽的情形。若是遮蔽問題處理不當，產生錯誤的物件前後關係，將造成不自然的虛實疊合效果，降低使用者經驗。
常見的深度攝影原理是運用紅外線，對場景物體連續發射以進行測量與編碼，經由感應器讀取反射光線，由晶片進行解碼與計算，產生具有深度資訊的圖像。
當紅外線投射於不同紋路的物體表面，或是物體具有相當的透明度時，反射斑點會隨機形成，造成對應深度值的遺失與錯誤，進而影響應用功能的正常運作。
傳統的深度感測技術，是針對給定的使用者視角，計算真實與虛擬物件之間的空間相對關係。以深度攝影機擷取真實世界場景資訊，會出現虛擬模型與深度資料間的互動，如遮蔽情形；為了顯示虛擬模型遮蔽效果，一般作法直接將深度資料，以目前攝影機視角，與模型進行深度緩衝(Z-buffer)運算，截掉被遮蔽部分，得知模型在目前視角，被場景物件遮蔽情形。深度緩衝的優點為算法簡單、易於硬體上的實現、不須預先排序即可以進行計算，尤其隨著硬體儲存容量的增大，更降低了使用上的限制。
然而此作法實現上會因為深度攝影機精度與解析度不足導致虛實遮蔽問題。此虛實遮蔽問題會使得深度緩衝計算有誤，應該被遮蔽的區域反而被繪製出來，尤其在虛實遮蔽的邊緣更為明顯，造成遮蔽邊緣區域不平整，進而影響擴增實境的視覺呈現效果。
因此，本發明之一個目的是提供一種擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法，利用虛擬平面的移動來改善遮蔽邊緣品質，使遮蔽邊緣平滑化。
為達上述目的，本發明提供一種遮蔽邊緣品質改善方法，用於一擴增實境系統中，此方法包含：一資料輸入步驟，利用一攝影機組拍攝一場景及於場景中的一物體組而取得一原始影像；一虛實遮蔽區域提取步驟，其中於場景中設定一第一虛擬平面及一第二虛擬平面，依據第一虛擬平面與原始影像進行深度緩衝計算，以獲得一第一影像，依據第二虛擬平面與原始影像進行深度緩衝計算，以獲得一第二影像，並對第一影像與第二影像進行差集運算，以獲得一提取影像，其中第一虛擬平面離開攝影機組的距離為k，第二虛擬平面離開攝影機組的 距離為(k-h)，k與h為大於零的正數，第二虛擬平面位於第一虛擬平面與攝影機組之間；以及一遮蔽影像產生步驟，其中於第一虛擬平面與第二虛擬平面之間設定一第三虛擬平面，並依據提取影像、第三虛擬平面及原始影像，將一虛擬物件插入原始影像中，以獲得具有平滑遮蔽邊緣之一遮蔽影像，其中虛擬物件局部被物體組遮蔽。
本發明的實施例針對攝影機精度及解析度不足所導致之虛實遮蔽邊緣品質不佳，發展出一項基於RGB-D攝影機的擴增實境應用改善方法。藉由計算虛擬平面與被遮蔽區域之交線，並將交線映射回影像中，修復不平整之遮蔽邊緣。在存在有多個遮蔽區域之情境下，此方法亦能透過區域成長法，分出屬於不同遮蔽區域之點群。另外，本發明的實施例的遮蔽邊緣品質改善方法，並不會導致結果影像產生縮小扭曲現象。再者，本發明的實施例也不須修補深度資料，即可以達到良好的遮蔽效果。
為讓本發明之上述內容能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。
IM‧‧‧原始影像
IM1‧‧‧第一影像
IM2‧‧‧第二影像
IM3‧‧‧提取影像
IM4‧‧‧遮蔽影像
P1‧‧‧第一虛擬平面
P2‧‧‧第二虛擬平面
P3‧‧‧第三虛擬平面
S1‧‧‧資料輸入步驟
S2‧‧‧虛實遮蔽區域提取步驟
S3‧‧‧遮蔽影像產生步驟
2‧‧‧物體組
3‧‧‧虛擬物件
3F‧‧‧前景面
4‧‧‧側牆面
5‧‧‧前牆面
10‧‧‧攝影機組
20‧‧‧擋板
30‧‧‧計算機裝置
圖1顯示依據本發明較佳實施例的擴增實境系統的俯視示意圖。
圖2顯示依據本發明較佳實施例的遮蔽邊緣品質改善方法的流程圖。
圖3A至3G顯示遮蔽邊緣品質改善方法的各步驟的結果的示意圖。
圖4A與4B分別顯示習知技術與本發明實施例的遮蔽結果的一個例子的示意圖。
圖5A與5B分別顯示習知技術與本發明實施例的遮蔽結果的另一 例子的示意圖。
圖6A至6E顯示分別對應至圖3A至3E的實際結果的示意圖。
圖7A與7B顯示分別對應至圖4A與4B的實際結果的示意圖。
圖8A與8B顯示分別對應至圖4A與4B的另一種實際結果的示意圖。
本發明的實施例的遮蔽邊緣品質改善方法，是基於三維點資訊，提出一種結合計算機視圖學與幾何運算計算流程，藉由計算遮蔽邊緣交線，來修復擴增實境中的遮蔽結果。
圖1顯示依據本發明較佳實施例的擴增實境系統的俯視示意圖。圖2顯示依據本發明較佳實施例的遮蔽邊緣品質改善方法的流程圖。如圖1與2所示，本實施例之遮蔽邊緣品質改善方法是用於一擴增實境系統中，此方法包含一資料輸入步驟S1、一虛實遮蔽區域提取步驟S2以及一遮蔽影像產生步驟S3。可利用一電腦主機、一手機或一伺服器的計算機裝置30來執行此方法。
首先需設定一範圍做虛實遮蔽區域之提取，目的為找到遮蔽邊緣附近之遮蔽區域，以進行受測物與虛擬平面間遮蔽範圍之平面迴歸。
於資料輸入步驟S1中，計算機裝置30利用一攝影機組10拍攝一場景1及於場景1中的一物體組2而取得一原始影像IM。計算機裝置30信號連接至攝影機組10。於本實施例中，物體組2包含兩件物體，攝影機組10包含深度攝影機及彩色(RBG)攝影機，但是彩色(RBG)攝影機也可以被黑白或灰階攝影機所替換，只要能拍出可見光影 像即可。因此，原始影像IM包含深度資料以及可見光影像資料。於資料輸入步驟S1中，更設置兩擋板20於物體組2的兩側，擋板的設置可以使拍攝環境光源趨於穩定。第一至第三虛擬平面P1至P3通過兩擋板20及物體組2。
於虛實遮蔽區域提取步驟S2中，計算機裝置30於場景1中設定第一虛擬平面P1及第二虛擬平面P2，依據第一虛擬平面P1與原始影像IM進行深度緩衝計算，以獲得一第一影像IM1(圖3A的示意結果，對應到圖6A的實際結果，其中兩側為位於前牆面5之兩側的側牆面4的影像)，依據第二虛擬平面P2與原始影像IM進行深度緩衝計算，以獲得一第二影像IM2(圖3B的示意結果，對應到圖6B的實際結果)，並對第一影像IM1與第二影像IM2進行差集運算，以獲得一提取影像IM3(圖3C的示意結果，對應到圖6C的實際結果)。於本實施例中，第一影像IM1與第二影像IM2皆包含深度資料以及可見光影像資料，而提取影像IM3僅有可見光影像資料。第一虛擬平面P1離開攝影機組10的距離為k，第二虛擬平面P2離開攝影機組10的距離為k-h，k與h為大於零的正數，可以由使用者給定或調整，或由計算機裝置自動依據資料庫及場景的參數來調整匹配。第二虛擬平面P2位於第一虛擬平面P1與攝影機組10之間。值得注意的是，「設定虛擬平面(放置虛擬平面於場景中)」以及「深度緩衝計算(三維點群緩衝檢查)」，這是虛擬模型與真實場景的前後景計算之前處理，目的為在擴增實境裡，將同一像素點中深度值較小的前景繪製於二維影像上，以得到較直覺的虛實遮蔽結果。
於遮蔽影像產生步驟S3中，計算機裝置30於第一虛擬平面P1與第二虛擬平面P2之間設定第三虛擬平面P2，並依據提取影 像IM3、第三虛擬平面P3及原始影像IM，將一虛擬物件3插入原始影像IM中，以獲得具有平滑遮蔽邊緣之一遮蔽影像IM4，其中虛擬物件3局部被物體組3遮蔽，如圖4B與5B所示。以下將作更詳細之說明。
於本實施例中，面對攝影機組10的虛擬物件3之一前景面3F位於第三虛擬平面P3上，第三虛擬平面P3位於第一虛擬平面P1與第二虛擬平面P2的正中間，也就是第三虛擬平面P3離開攝影機組10的距離為k-h/2，但這僅為了方便說明的目的，而非將本發明限制於此。
遮蔽影像產生步驟S3包含以下步驟：(a)依據提取影像IM3計算求得一平面方程式組；(b)計算平面方程式組與第三虛擬平面P3的一交線組；以及(c)依據交線組及原始影像IM，將虛擬物件3插入原始影像IM中，以獲得遮蔽影像IM4。
步驟(a)包含以下步驟：(a1)依據提取影像IM3進行邊緣輪廓偵測，以產生遮蔽區域組的多個邊緣點；(a2)依據此等邊緣點進行分群處理，以產生一分群結果，其中分群結果包含對應於遮蔽區域組之q個遮蔽區域的q個三維點群，其中q為大於或等於1的正整數；以及(a3)依據所述三維點群進行三維點群平面迴歸，以獲得平面方程式組。
提取影像IM3包含對應於一遮蔽區域組的遮蔽區域組資料。於本實施例中，遮蔽區域組包含兩個遮蔽區域。於步驟(a1)中，圖3C的提取影像IM3可以透過邊緣輪廓偵測的方法，譬如Canny邊緣輪廓偵測法，來找出遮蔽區域的邊緣點。首先用高斯濾波器去除雜訊以平滑圖像。接著對已平滑之影像，使用一階微分方式來計算X與Y方向的一階微分的梯度值及其方位角。取得像素梯度值和行進方向後，為了確保邊緣定位準確並且保持單一感應，就必須對邊緣進行細線化，保留局部梯度變化最大的像素點，此方法稱之為非最大值刪除(Non- Maximum Suppression)原則。完成非最大值刪除後的結果是包含許多雜訊或是假邊緣，所以需要進行雙閾值檢測以找出準確的邊緣。圖3D為進行邊緣輪廓偵測後的示意結果，對應到圖6D的實際結果。
執行完遮蔽區域邊緣輪廓偵測後，可知遮蔽區域邊緣點像素點的座標，可以利用譬如Zucker提出之區域成長法來進行分群的動作，將被遮蔽區域的物體進行分群。區域成長法的基本原理為先設定一個像素為種子(seed)，從此種子像素開始藉由灰階值的梯度變化，將附近變化較小的像素歸納為同一類，將新增的同類像素點設定為次種子(sub-seed)，繼續判斷與次種子相鄰的像素點灰階值差異，藉由此方法不斷向外擴張，最後形成一同灰階值相似的影像區塊。因此，步驟(a2)包含以下步驟：(a21)在提取影像IM3的一遮蔽區域點群陣列中隨機取一遮蔽區域點設定為一種子；(a22)檢查此種子的多個鄰近點是否屬於此等邊緣點，並將部署於此等邊緣點的鄰近位置的鄰近點設定為次種子；(a23)重複步驟(a22)，檢查各次種子的多個鄰近點，接著繼續處理此等鄰近點的鄰近位置的第二鄰近點並往外擴張，直到所有第二鄰近點皆屬於此等邊緣點為止；(a24)當步驟(a23)結束後，將種子與此等次種子從遮蔽區域點群陣列中剔除；及(a25)檢查遮蔽區域點群陣列中剩下的遮蔽區域點的數量是否大於此等邊緣點的總數，若否則結束，若是則重複步驟(a21)至(a25)。分群的結果如圖3E所示，可知具有兩群，對應到圖6E的實際結果。
接著，使用譬如隨機抽樣一致算法(Random Sample Consensus,RANSAC)概念來進行三維點群的平面迴歸以得到該點群之平面方程式組。因此，步驟(a3)包含以下步驟：(a31)在分群結果中隨機取n點進行三維點平面迴歸，以得到一初始平面方程式，其中n為大於 1的正整數；(a32)將屬於同一個遮蔽區域內的點群的所有m個點代入初始平面方程式來計算一平均殘差，其中n為大於1的正整數；(a33)重複步驟(a31)與(a32)共p-1次，得到p個平均殘差，其中p為大於1的正整數；(a34)尋找p個平均殘差中之最小的其中之一個最小平均殘差，定義最小平均殘差所對應的初始平面方程式為平面方程式組中之一平面方程式；以及(a35)若q大於1，則重複此等步驟(a31)至(a34)達到q-1次，以獲得平面方程式組中之q個平面方程式。根據圖3E的結果，可以得到2個平面方程式。
本發明的實施例在RANSAC過程中，使用最小平方法的概念進行線性迴歸式(1)的求解，將屬於同一群的點代入迴歸式。
z=ax+by+c (1)
將線性迴歸式(1)轉化為最小平方法來求解，可得出式(2)，其內容如下：
再由一次微分求方程式解之方法，分別求解,, 三未知方程式，可得式(3)：
上述式(3)之三式皆為線性方程式，故可將其轉換為 矩陣進行方程式求解，如式(4)。當左邊3×3矩陣可逆時，可利用反矩陣求方程式解，如式(5)：
透過上述使用最小平方法求解平面迴歸式之方法，就能得到受測物被虛擬平面遮蔽的部分裡，每群點群相對應的平面方程式。
以下說明步驟(b)與(c)的細節。得到迴歸出的平面方程式後，與虛擬平面進行交線運算。但此時得到的交線為一無限延伸沒有範圍的線段，所以需先求得此交線對應的起迄點為何。而因為第三虛擬平面P3的位置是事先決定好的，第三虛擬平面P3是垂直面向攝影機一固定的距離，因此可以搜尋每群三維點群裡Z座標值屬於第三虛擬平面P3放置距離附近的三維點，將這些點存下來並從中找出每群裡X座標值與Y座標值的最大最小值，此最大最小X座標值及Y座標值就是決定交線起訖位置的點，所構成的線就是圖3F的交線IL1與圖3G的交線IL2(因為不同角度下，紅外線反射回攝影機時會產生誤差，所以兩點群的平面方程式需要分開處理以得到交線IL1與IL2)。交線IL1與交線IL2構成交線組。有了起點與終點後，就能計算所有屬於交線上的三維座標點，接著利用深度攝影機提供的函式，找尋屬於交線上三維點對應之色彩值，最後將這些屬於交線上之三維座標點與色彩值映射回螢幕上之影 像中，即能修復不平整的虛實遮蔽邊緣(交線IL1與IL2的部分)，如圖4B與圖7B所示，其中虛擬物件3被設定為是一個平面，此平面與第三虛擬平面P3及前景面3F重合。圖4A與圖7A為沒有使用本發明的方法的結果，具有不平整的遮蔽邊緣。圖7A與7B的橢圓標記出需要注意的遮蔽邊緣的部分，並非是遮蔽結果。
因此，於本實施例的步驟(c)中，是將交線組之一條或多條交線的三維座標點及色彩值映射回虛擬物件3與原始影像IM的遮蔽結果中，以獲得遮蔽影像IM4。於另一例子中，也可以依據交線組之一條或多條交線來重新繪製虛擬物件3與原始影像IM的遮蔽結果，以獲得遮蔽影像IM4。
圖8A與8B顯示分別對應至圖4A與4B的另一種實際結果的示意圖。值得注意的是，此處的虛擬物件3為一長方體，且物體組2的兩物體的擺設位置有些變動。比較圖8A與8B也可以得知，在圖8B的交線IL1與IL2的遮蔽邊緣平整，不會有圖8A的遮蔽邊綠不平整的問題。圖8A與8B的橢圓標記出需要注意的遮蔽邊緣的部分，並非是遮蔽結果。
本發明的實施例針對攝影機精度及解析度不足(譬如現在的深度攝影機的512×424畫素，明顯小於彩色攝影機的1920×1082畫素)所導致之虛實遮蔽邊緣品質不佳，發展出一項基於RGB-D攝影機的擴增實境應用改善方法。藉由計算虛擬平面與被遮蔽區域之交線，並將交線映射回影像中，修復不平整之遮蔽邊緣。在存在有多個遮蔽區域之情境下，此方法亦能透過區域成長法，分出屬於不同遮蔽區域之點群。另外，本發明的實施例的遮蔽邊緣品質改善方法，並不會導致結果影像產生縮小扭曲現象。再者，本發明的實施例也不須修補深度資料，即可以 達到良好的遮蔽效果。
在較佳實施例之詳細說明中所提出之具體實施例僅用以方便說明本發明之技術內容，而非將本發明狹義地限制於上述實施例，在不超出本發明之精神及以下申請專利範圍之情況，所做之種種變化實施，皆屬於本發明之範圍。

Claims (10)

  1. 一種遮蔽邊緣品質改善方法，用於一擴增實境系統中，該方法包含：一資料輸入步驟，利用一攝影機組拍攝一場景及於該場景中的一物體組而取得一原始影像；一虛實遮蔽區域提取步驟，其中於該場景中設定一第一虛擬平面及一第二虛擬平面，依據該第一虛擬平面與該原始影像進行深度緩衝計算，以獲得一第一影像，依據該第二虛擬平面與該原始影像進行深度緩衝計算，以獲得一第二影像，並對該第一影像與該第二影像進行差集運算，以獲得一提取影像，其中該第一虛擬平面離開該攝影機組的距離為k，該第二虛擬平面離開該攝影機組的距離為(k-h)，k與h為大於零的正數，該第二虛擬平面位於該第一虛擬平面與該攝影機組之間；以及一遮蔽影像產生步驟，其中於該第一虛擬平面與該第二虛擬平面之間設定一第三虛擬平面，並依據該提取影像、該第三虛擬平面及該原始影像，將一虛擬物件插入該原始影像中，以獲得具有平滑遮蔽邊緣之一遮蔽影像，其中該虛擬物件局部被該物體組遮蔽。
  2. 如申請專利範圍第1項所述之遮蔽邊緣品質改善方法，其中面對該攝影機組的該虛擬物件之一前景面位於該第三虛擬平面上。
  3. 如申請專利範圍第1項所述之遮蔽邊緣品質改善方法，其中該第三虛擬平面離開該攝影機組的距離為(k-h/2)。
  4. 如申請專利範圍第1項所述之遮蔽邊緣品質改善方法，其中於該資料輸入步驟中，更設置兩擋板於該物體組的兩側，該第一至第三虛擬平面通過該兩擋板及該物體組。
  5. 如申請專利範圍第1項所述之遮蔽邊緣品質改善方法，其中該遮蔽影像產生步驟包含以下步驟：(a)依據該提取影像計算求得一平面方程式組；(b)計算該平面方程式組與該第三虛擬平面的一交線組；以及(c)依據該交線組及該原始影像，將該虛擬物件插入該原始影像中，以獲得該遮蔽影像。
  6. 如申請專利範圍第5項所述之遮蔽邊緣品質改善方法，其中該提取影像包含對應於一遮蔽區域組的遮蔽區域組資料，且該步驟(a)包含以下步驟：(a1)依據該提取影像進行邊緣輪廓偵測，以產生該遮蔽區域組的多個邊緣點；(a2)依據該等邊緣點進行分群處理，以產生一分群結果，其中該分群結果包含對應於該遮蔽區域組之q個遮蔽區域的q個三維點群，其中q為大於或等於1的正整數；以及(a3)依據所述三維點群進行三維點群平面迴歸，以獲得該平面方程式組。
  7. 如申請專利範圍第6項所述之遮蔽邊緣品質改善方法，其中該步驟(a2)包含以下步驟：(a21)在該提取影像的一遮蔽區域點群陣列中隨機取一遮蔽區域點設定為一種子；(a22)檢查該種子的多個鄰近點是否屬於該等邊緣點，並將部署於該等邊緣點的鄰近位置的鄰近點設定為次種子；(a23)重複步驟(a22)，檢查各該次種子的多個鄰近點，接著繼續處理該等鄰近點的鄰近位置的第二鄰近點並往外擴張，直到所有第二鄰近點皆屬於該等邊緣點為止；(a24)當步驟(a23)結束後，將該種子與該等次種子從該遮蔽區域點群陣列中剔除；及(a25)檢查該遮蔽區域點群陣列中剩下的遮蔽區域點的數量是否大於該等邊緣點的總數，若否則結束，若是則重複步驟(a21)至(a25)。
  8. 如申請專利範圍第6項所述之遮蔽邊緣品質改善方法，其中該步驟(a3)包含以下步驟：(a31)在該分群結果中隨機取n點進行三維點平面迴歸，以得到一初始平面方程式，其中n為大於1的正整數；(a32)將屬於同一個遮蔽區域內的點群的所有m個點代入該初始平面方程式來計算一平均殘差，其中n為大於1的正整數； (a33)重複步驟(a31)與(a32)共(p-1)次，得到p個平均殘差，其中p為大於1的正整數；(a34)尋找該p個平均殘差中之最小的其中之一個最小平均殘差，定義該最小平均殘差所對應的該初始平面方程式為該平面方程式組中之一平面方程式；以及(a35)若該q大於1，則重複該等步驟(a31)至(a34)達到(q-1)次，以獲得該平面方程式組中之q個平面方程式。
  9. 如申請專利範圍第5項所述之遮蔽邊緣品質改善方法，其中於該步驟(c)中，是將該交線組之一條或多條交線的三維座標點及色彩值映射回該虛擬物件與該原始影像的遮蔽結果中，以獲得該遮蔽影像。
  10. 如申請專利範圍第5項所述之遮蔽邊緣品質改善方法，其中於該步驟(c)中，是依據該交線組之一條或多條交線來重新繪製該虛擬物件與該原始影像的遮蔽結果，以獲得該遮蔽影像。
TW105133677A 2016-10-19 2016-10-19 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法 TWI595446B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW105133677A TWI595446B (zh) 2016-10-19 2016-10-19 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
US15/649,147 US10339702B2 (en) 2016-10-19 2017-07-13 Method for improving occluded edge quality in augmented reality based on depth camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105133677A TWI595446B (zh) 2016-10-19 2016-10-19 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法

Publications (2)

Publication Number Publication Date
TWI595446B TWI595446B (zh) 2017-08-11
TW201816725A true TW201816725A (zh) 2018-05-01

Family

ID=60189108

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105133677A TWI595446B (zh) 2016-10-19 2016-10-19 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法

Country Status (2)

Country Link
US (1) US10339702B2 (zh)
TW (1) TWI595446B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI719343B (zh) * 2018-08-28 2021-02-21 財團法人工業技術研究院 資訊顯示方法及其顯示系統
CN114077310B (zh) * 2020-08-14 2023-08-25 宏达国际电子股份有限公司 提供虚拟环境的方法与系统及非暂态电脑可读取储存介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5697989B2 (ja) * 2007-12-26 2015-04-08 コーニンクレッカ フィリップス エヌ ヴェ グラフィックスオブジェクトを重ね合わせるための画像プロセッサ
US9865043B2 (en) * 2008-03-26 2018-01-09 Ricoh Company, Ltd. Adaptive image acquisition and display using multi-focal display
CN104221031B (zh) * 2011-11-18 2019-06-11 苹果公司 将影像特征与参考特征相匹配之方法及其所用集成电路
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage

Also Published As

Publication number Publication date
US20180108173A1 (en) 2018-04-19
US10339702B2 (en) 2019-07-02
TWI595446B (zh) 2017-08-11

Similar Documents

Publication Publication Date Title
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
CN106228507B (zh) 一种基于光场的深度图像处理方法
US9234749B2 (en) Enhanced object reconstruction
US10846844B1 (en) Collaborative disparity decomposition
US10380796B2 (en) Methods and systems for 3D contour recognition and 3D mesh generation
WO2008029345A1 (en) Method for determining a depth map from images, device for determining a depth map
CN111107337B (zh) 深度信息补全方法及其装置、监控系统和存储介质
CN106023307B (zh) 基于现场环境的快速重建三维模型方法及系统
JP2001067463A (ja) 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体
JP6185385B2 (ja) 空間構造推定装置、空間構造推定方法及び空間構造推定プログラム
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
US9204130B2 (en) Method and system for creating a three dimensional representation of an object
US8340399B2 (en) Method for determining a depth map from images, device for determining a depth map
JP2015171143A (ja) カラーコード化された構造によるカメラ較正の方法及び装置、並びにコンピュータ可読記憶媒体
WO2018056802A1 (en) A method for estimating three-dimensional depth value from two-dimensional images
TWI595446B (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
JP6579659B2 (ja) 光源推定装置及びプログラム
JP2005234698A (ja) 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
CN113379899B (zh) 一种建筑工程工作面区域图像自动提取方法
Mkhitaryan et al. RGB-D sensor data correction and enhancement by introduction of an additional RGB view
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
CN106296800B (zh) 信息处理方法及电子设备
CN116721109B (zh) 一种双目视觉图像半全局匹配方法
KR20030015625A (ko) 정육면체 프레임을 이용한 카메라 보정이 필요없는 물체의3차원 구조 복원 방법