TW201724026A - 基於場景之拍攝圖像而產生合併、融合三維點雲 - Google Patents

基於場景之拍攝圖像而產生合併、融合三維點雲 Download PDF

Info

Publication number
TW201724026A
TW201724026A TW105125038A TW105125038A TW201724026A TW 201724026 A TW201724026 A TW 201724026A TW 105125038 A TW105125038 A TW 105125038A TW 105125038 A TW105125038 A TW 105125038A TW 201724026 A TW201724026 A TW 201724026A
Authority
TW
Taiwan
Prior art keywords
disparity
block
value
fused
pixels
Prior art date
Application number
TW105125038A
Other languages
English (en)
Other versions
TWI729995B (zh
Inventor
張祈
劉欣
芙蘿音 庫圖
Original Assignee
海特根微光學公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 海特根微光學公司 filed Critical 海特根微光學公司
Publication of TW201724026A publication Critical patent/TW201724026A/zh
Application granted granted Critical
Publication of TWI729995B publication Critical patent/TWI729995B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

呈現一合併、融合三維點雲包含：自不同優勢點獲取一場景之多組圖像，各組圖像包含各自立體匹配圖像及一彩色圖像。針對各個圖像組，獲得基於該複數個立體圖像之一視差圖，將來自該彩色圖像之資料融合至該視差圖上以產生一融合視差圖，且自該融合視差圖產生三維融合點雲。將該等各自三維融合點雲合併在一起以獲得一合併、融合三維點雲。該等技術可甚至在稀疏度及低深度解析度受約束時為有利的，且在一些情況中適用於其中需要減少運算時間之即時或近即時應用。

Description

基於場景之拍攝圖像而產生合併、融合三維點雲
本發明係關於圖像處理，且特定言之，本發明係關於用於基於一場景之拍攝圖像而產生一合併、融合三維點雲之系統及技術。
一圖像可被視為自三維(3D)場景至二維(2D)平面上之一投影。儘管一2D圖像未提供深度資訊，但若可自不同優勢點得到相同場景之兩個圖像，則可使用已知技術來找到一3D點之位置(其包含深度)。
例如，立體匹配係一程序，其中自略微不同視點取得之一場景之兩個圖像(一立體圖像對)經匹配以找到描繪相同場景元素之圖像元素之視差(位置差)。視差提供關於來自攝影機之場景元素之相對距離之資訊。立體匹配能夠運算視差(即，距離資料)，其允許判定一場景之物件之表面之深度。一立體攝影機(其包含(例如)彼此隔開達一已知距離(其可指稱基線距離)之兩個圖像拍攝裝置)可用於拍攝立體圖像對。
一些圖像拍攝模組包含兩個灰階深度立體攝影機及一RGB攝影機。此類型之模組可用於(例如)一行動應用(例如一智慧型電話)中，因此，模組之佔用面積趨向於較小。當模組之佔用面積較小時，兩個深度攝影機之間之基線距離亦將為較小的。然而，立體系統中之小基線導致低深度或低z解析度。此外，源自兩個深度攝影機之視差圖趨 向於較為稀疏。稀疏視差圖可為具有小紋理之場景之一結果(例如一單色壁)。此外，即使一光投影機用於將紋理投影至場景上，但若投影圖案不是非常稠密，則所得視差圖會較為稀疏。
本發明描述甚至在稀疏度及低z解析度受約束時用於產生一合併且融合3D點雲之系統及技術。在一些情況中，該等技術適用於其中需要減少運算時間之即時或近即時應用。
可自(例如)在一第一位置處由兩個深度攝影機拍攝之一場景之一視差圖及深度攝影機系統之幾何資訊(例如基線距離及焦距)之一組合產生一單一3D點雲。因此，3D點雲含有視差資料(即，物件特徵點之座標(x,y,z))。一融合3D點雲係其中亦包含物件特徵點之色彩資料之點雲(x,y,z,c)。一合併3D點雲係合併自多個模組位置產生之點雲(即，自不同優勢點拍攝之場景之圖像)之點雲。由於深度攝影機具有一固有有限視場(FOV)，所以將深度攝影機移動至不同點(例如，位於一物件或其他場景周圍)以自場景之不同視角獲得視差圖且最終獲得3D點雲。因此，合併3D點雲係場景之一3D表示。可經由指稱對位之一程序而自多個3D點雲產生合併3D點雲。對位使一第一3D點雲中之關鍵點(例如共同關注點)與一第二3D點雲中之關鍵點相關。由轉譯資料使不同3D點雲之間之關鍵點相關。因此，轉譯資料能夠將3D點雲合併在一起。
如下文將更詳細描述，一種設備包含一光電模組，其包含兩個(或兩個以上)深度通道(其等之各者具有一各自圖像拍攝裝置(例如攝影機))及一彩色圖像拍攝裝置(例如一RGB攝影機)。該設備經配置以產生可顯示於(例如)一運算裝置(例如一智慧型電話或其他小裝置)之螢幕上之一合併、融合3D點雲。
一使用者應用之一實例係：使用(例如)一游標來使顯示於一電腦 螢幕上之合併、融合3D點雲旋轉，使得可在使點雲旋轉時看見場景之合併、融合3D點雲之不同視角。因此，回應於收到使用者輸入(例如，透過一電子滑鼠、軌跡球或其他使用者輸入裝置)，顯示裝置使顯示於一顯示裝置(例如一CRT(陰極射線管)或LCD(液晶顯示器)監視器)上之合併、融合3D點雲旋轉。在一些情況中，合併、融合3D點雲可經顯示為電腦螢幕上之一CAD模型或可用作為至(例如)一3D印表機之輸入。
如上文所提及，本發明甚至可有利地用於以下情形中：視差資訊相對較稀疏(例如，起因於較低品質感測器或圖案投影單元)，基線相對較小(即，導致較差z解析度)，且可使用較少運算容量及/或存在對運算時間之更多嚴格限制。
在一些實施方案中，一多通道光電模組可用於產生一融合、合併3D點雲。該模組包含至少兩個深度通道(例如IR敏感、低解析度)、一RGB通道(例如高解析度)，且在一些情況中亦包含一IR投影機。在一些實施方案中，此一方法可克服稀疏視差圖、低z解析度及運算需求(例如，需要高速)之挑戰。如下文將更詳細描述，RGB資料可用於擴充或依其他方式增強對位程序且藉此將個別3D點雲合併成一合併3D點雲。
將易於自[實施方式]、附圖及申請專利範圍明白其他態樣、特徵及優點。
110‧‧‧設備
112‧‧‧光電模組
114A‧‧‧圖像拍攝裝置/立體成像器/深度攝影機
114B‧‧‧圖像拍攝裝置/立體成像器/深度攝影機
116‧‧‧彩色圖像拍攝裝置/RGB攝影機
118‧‧‧照明源
120‧‧‧顯示裝置/運算裝置
122‧‧‧場景
130‧‧‧立體匹配引擎
132‧‧‧子像素像素插值引擎
134‧‧‧融合引擎
136‧‧‧插值引擎
138‧‧‧三維(3D)點雲重建引擎
140‧‧‧對位引擎
144‧‧‧記憶體
146A‧‧‧第一三維(3D)彩色點雲
146B‧‧‧第二三維(3D)彩色點雲
148‧‧‧合併、融合三維(3D)點雲
150‧‧‧平行處理單元
202‧‧‧初始校準步驟
204‧‧‧自第一位置獲取場景之圖像
204A‧‧‧自第二位置獲取場景之圖像
206‧‧‧程序/執行圖像校正且將立體匹配演算法應用於圖像
208‧‧‧程序/對視差圖執行子像素視差插值
210‧‧‧融合程序/將彩色圖像資料融合至視差圖上
212‧‧‧第二插值程序/應用第二插值程序來填寫視差圖中之視差值
214‧‧‧3D點雲重建程序/自先前獲得之視差圖產生3D點雲
215‧‧‧程序206至214
216‧‧‧對位程序
302‧‧‧處理視差圖之初始區塊且判定某些特定值
304‧‧‧若當前視差值係無效的，則更新區塊之中心像素之視差值
306‧‧‧檢查是否到達像素行之末端
308‧‧‧使區塊之位置向下移位
308A‧‧‧在區塊之底部處新增特定數目個列且更新特定值
308B‧‧‧自區塊之頂部減去特定數目個列且更新特定值
310‧‧‧更新區塊之中心像素之視差值
312‧‧‧檢查是否已到達像素列之末端
314‧‧‧使區塊向右水平移位
314A‧‧‧在區塊之右手側處新增特定數目個行且更新特定值
314B‧‧‧自區塊之左手側減去特定數目個行且更新特定值
316‧‧‧更新區塊之中心像素之視差值
318‧‧‧完成視差圖之掃描
352‧‧‧處理視差圖之初始區塊且運算某些特定值
354‧‧‧比較有效視差值之數目與先前判定之第一最小臨限值且判定有效視差值之數目是否小於第一最小臨限值
356‧‧‧將0值指派給區塊中之指定像素
358‧‧‧使區塊移位一行或一列且對新區塊重複程序
360‧‧‧運算區塊之平均視差值及區塊中之視差值之標準差
362‧‧‧比較運算標準差與先前判定之第二最小臨限值且判定運算標準差是否小於第二最小臨限值
364‧‧‧將先前計算之平均視差值指派給區塊中之指定像素
366‧‧‧判定區塊之像素中之最頻繁出現之視差值且將最頻繁出現之視差值指派給區塊中之指定像素
400‧‧‧場景
402‧‧‧物件
403‧‧‧物件
404‧‧‧幾何邊緣
405‧‧‧點
406‧‧‧點
410‧‧‧區塊
412‧‧‧中心像素
414‧‧‧區塊
416‧‧‧中心像素
418‧‧‧區塊
420‧‧‧中心像素
504‧‧‧識別且分離離散融合3D點雲之各者之前景區域及背景區域
506‧‧‧步驟/擷取且平滑化各點雲之前景及/或減去各點雲之背景
508‧‧‧步驟/擷取各點雲之前景之2D關鍵點
510‧‧‧識別各種離散3D點雲之間之對應性
512‧‧‧將識別關鍵點投影至3D關鍵點上
514‧‧‧對位3D特徵且消除離群值
516‧‧‧將對位變換應用於各3D點雲以獲得合併3D點雲
518‧‧‧將3D平滑濾波應用於合併3D點雲以消除對位誤差及/或量測誤差
圖1繪示根據本發明之用於基於一場景之拍攝圖像而產生一合併、融合3D點雲之一設備之一實例。
圖2係繪示根據本發明之用於基於一場景之拍攝圖像而產生一合併、融合3D點雲之一方法之一實例的一流程圖。
圖3係繪示用於填寫一視差圖中之視差值之一插值程序之一實例 的一流程圖。
圖3A係繪示用於填寫一視差圖中之視差值之一插值程序之另一實例的一流程圖。
圖4A至圖4D繪示用於更新一區塊之一中心像素之視差值之情境之實例。
圖5係繪示用於合併兩個或兩個以上3D點雲之一對位程序之一實例的一流程圖。
如圖1中所展示，一設備110包含一光電模組112，其包含：兩個(或兩個以上)深度通道，其等之各者具有一各自圖像拍攝裝置(例如攝影機)114A、114B；及第三通道，其具有一彩色圖像拍攝裝置(例如一RGB攝影機)116。設備110經配置以基於由攝影機114A、114B、116拍攝之圖像而產生一合併、融合3D點雲且將該合併、融合3D點雲顯示於(例如)一運算裝置(例如一智慧型電話或其他小裝置)120之螢幕上。可在運算裝置之螢幕上將不同深度(或深度範圍)顯示為(例如)不同色彩或使用其他視覺指標來顯示不同深度(或深度範圍)。
攝影機114A、114B經配置以拍攝一場景122之立體圖像資料，且攝影機116經配置以拍攝場景122之一彩色圖像。圖像拍攝裝置114A、114B之各者可經實施為(例如)一紅外線(IR)CMOS圖像感測器或CCD圖像感測器。同樣地，圖像拍攝裝置116可經實施為(例如)一RGB CMOS圖像感測器或CCD圖像感測器。在一些例項中，深度攝影機114A、114B係低解析度攝影機(例如QQVGA)，而第三通道之攝影機116係一高解析度攝影機(例如VRA或更高)。此外，由於深度攝影機114A、114B具有一固有有限視場(FOV)，所以模組112可移動至不同點，使得攝影機可自場景122周圍之不同視角獲得資訊。可使模組(或攝影機)之移動自動化。可使模組(例如，位於一智慧型電話或其他 裝置內)之移動自動化。在其他例項中，物件可圍繞保持固定之模組移動，同時自多個視角獲取物件之圖像。
在一些情況中，模組112亦可包含經配置以將照明之一圖案投影至場景122上之一相關聯照明源118。當存在照明源118時，照明源118可包含(例如)可操作以將一圖案(例如一點或線圖案)投影至場景122中之物件上之一紅外線(IR)投影機。照明源118可經實施為(例如)一發光二極體(LED)、一紅外線(IR)LED、一有機LED(OLED)、一紅外線(IR)雷射或一垂直腔面射型雷射(VCSEL)。光學特徵之投影圖案可用於將紋理提供至場景以促進由裝置114A、114B獲取之立體圖像之間之立體匹配程序。
設備110進一步包含用於處理由攝影機114A、114B、116獲取之圖像之各種引擎。特定言之，設備110包含一立體匹配引擎130、一子像素視差插值引擎132、一融合引擎134、一插值引擎136、一3D點雲重建引擎138及一對位引擎140。下文將描述關於由此等引擎實施之功能或演算法之細節。
設備110亦包含記憶體144，其可儲存由攝影機114A、114B、116獲取之圖像及由引擎130至140處理或輸出之各種資料。例如，如圖1中所繪示，記憶體144可儲存由3D點雲重建引擎138產生之兩個或兩個以上3D彩色點雲146A、146B。
前述引擎130、132、134、136、138、140之各者可(例如)使用一電腦來實施且包含一各自平行處理單元150(例如一專用積體電路(ASIC)或一場可程式化閘陣列(FPGA))。此外，在其他例項中，可在軟體中實施前述引擎130、132、134、136、138、140(例如，使用行動裝置(例如智慧型電話)之一處理器)。儘管圖1中將各種引擎130至140及記憶體144展示成與模組112分離，但在一些實施方案中，其等可整合為模組112之部分。例如，引擎130至140及記憶體144可經實施 為與圖像拍攝裝置114A、114B、116一起安裝於模組112內之一印刷電路板(PCB)上之一或多個積體電路晶片。在一些情況中，照明源118(若存在)可與收容圖像拍攝裝置114A、114B、116之模組112分離。此外，模組112亦可包含其他處理及控制電路。亦可在(例如)安裝於相同於圖像拍攝裝置之PCB上之一或多個積體電路晶片中實施此電路。
現參考圖2之流程圖，可相對於通道(即，全部三個攝影機114A、114B、116)之各者執行校準且可在模組112到達終端使用者之前由(例如)製造商執行校準(參閱202)。在一些情況中，可由終端使用者週期性地執行校準。校準操作產生可在圖像處理之一或多個階段期間使用之校準資料。
如圖2所指示(204)，圖像拍攝裝置114A、114B、116之各者自一第一位置獲取場景122之一圖像。將由立體攝影機114A、114B獲取之深度圖像提供至立體匹配引擎130，立體匹配引擎130執行圖像校正且將一立體匹配演算法應用於圖像(206)。區塊匹配係立體匹配之一實例。下一段中描述一區塊匹配技術之一實例。然而，亦可取決於實施方案而使用其他類型之匹配演算法。例如，可使用基於邊緣、粗至細、自適應窗、動態程式規劃、馬可夫(Markov)隨機場、圖形切割或多基線立體匹配技術。
一區塊匹配演算法允許藉由首先運算一圖像中之一特徵之位置與另一圖像中之相同或實質上相同特徵之位置之間之像素距離來自立體圖像對運算視差資訊。在此情況中，將由立體成像器114A之一第一者獲取之一圖像用作一參考圖像；將由立體成像器114B之一第二者獲取之一圖像用作一搜尋圖像。因此，第二圖像經搜尋以識別第一圖像中之一小區域(即，像素之區塊)之最接近匹配。
各種技術可用於判定兩個圖像中之區域之類似程度且識別最接近匹配。一此類已知技術係「絕對差總和」，有時指稱「SAD」。為運 算一模板與一區塊之間之絕對差總和，自該區塊中之對應像素之灰階值減去該模板中之各像素之一灰階值，且運算該等差之絕對值。接著，全部差經加總以提供大致衡量兩個圖像區域之間之類似性之一單一值。一較低值指示斑塊較類似。為找到「最類似」於模板之區塊，運算模板與搜尋區域中之各區塊之間之SAD值，且選擇具有最低SAD值之區塊。視差係指兩個圖像中之匹配區域之中心之間之距離。在一視差圖中，具有較大視差之像素較接近攝影機，且具有較小視差之像素較遠離攝影機。
立體匹配引擎130之輸出係一視差圖，在一些情況中，該視差圖可相對較稀疏且可具有相對較低深度解析度。在此背景下，一稀疏視差圖歸咎於該視差圖中之諸多像素無法被指派一視差值之事實。稀疏度可(例如)歸因於諸多原因，其包含低解析度深度通道、低品質光學器件、無法收集全部圖像特徵之像素值(例如IR)、投影至場景上之圖案之低密度及/或場景之低紋理。前述因數可導致圖像中之較少可識別點可用於計算視差。此外，若兩個立體成像器114A、114B之間之基線距離較小，則視差圖將趨向於具有低深度解析度。
將由立體匹配引擎130產生之視差圖提供至子像素視差插值引擎132，子像素視差插值引擎132對視差圖執行子像素視差插值(208)。此子像素插值在(例如)立體視覺之長程應用(其需要精確子像素位準視差估計值)中可為尤其有利的。諸如表面插值演算法、半全域匹配(SGM)立體演算法或使用一線性函數之已知子像素插值技術可被使用且改良視差圖之深度解析度。
將由子像素視差插值引擎132產生之視差圖及由第三攝影機116獲取之彩色圖像提供至融合引擎134，融合引擎134將彩色圖像資料融合至視差圖上(210)。融合程序有時指稱扭曲。一般而言，融合可涵蓋像素值(例如，色彩值至灰階值)之轉換且亦可涵蓋一高解析度圖像至 一低解析度圖像之轉換。即，融合程序可將一比例因數應用於不同解析度之圖像之間之轉換。亦對融合程序提供來自初始校準步驟(202)之校準資料。即，需要明確定義圖像之間之關係(例如空間關係)，此係因為由攝影機116獲取之RGB圖像係使用相對於其他深度攝影機114A、114B之一特定基線距離來自一不同視角拍攝的。在此實施方案中，融合引擎134之輸出係具有改良解析度之一融合視差圖(即，具有色彩資料)。然而，視差仍可相對較稀疏。
圖像處理技術亦包含一第二插值程序(212)、一3D點雲重建程序(214)及對位程序(216)。下文將描述此等程序。在一些實施方案中，只要在對位程序216之前執行融合程序，則可在插值程序212之後執行融合(即，扭曲)程序210。在該情況中，將相應地重新配置圖1中之各種引擎之輸入及輸出。
為改良視差圖之稀疏度，插值引擎136應用一第二插值程序來填寫視差圖中之視差值(212)。如上文所提及，若已執行融合程序，則插值引擎136接收由融合引擎134產生之融合視差圖且相對於融合視差圖而執行第二插值程序。替代地，若將在整體程序之一稍後階段中執行融合程序，則插值程序136將接收由子像素視差插值引擎132產生之視差圖且將相對於該視差圖而執行第二插值程序。
儘管可由插值引擎136應用各種插值程序之任何者來改良稀疏度，圖3中闡明且下文將描述用於一些實施方案之一較佳技術。此插值技術促進快速實現稀疏度改良以藉此容許其用於(例如)即時或近即時應用中。插值引擎136之輸出係具有相對較低稀疏度之一視差圖。在其中在融合程序210之後執行插值程序212之實施方案中，插值引擎136之輸出係具有相對較低稀疏度之一融合視差圖。
如由圖2進一步所繪示，圖像處理包含：將視差圖轉換成一3D深度圖。程序之此階段可由3D點雲重建引擎138實施，3D點雲重建引擎 138自先前獲得之視差圖產生一3D點雲(214)。在此實例中，重建引擎138之輸出係一第一3D彩色點雲146A，其包含空間中之各點(即，(x,y,z))之色彩資料(例如R、G、B)。可將3D彩色點雲146A儲存於(例如)記憶體144中。
如由圖2進一步所指示，由圖像拍攝裝置114A、114B、116自模組112之一第二位置獲取場景122之圖像(204A)。接著，相對於由圖像拍攝裝置在第二位置處獲取之場景122之圖像而執行程序206至214。由215共同指示執行此等程序，其提供一第二3D彩色點雲146B作為輸出，第二3D彩色點雲146B包含空間中之各點(即，(x,y,z))之色彩資料(例如R、G、B)。亦可將3D彩色點雲146B儲存於記憶體144中。
在一些實施方案中，可依除紅色(R)、綠色(G)及藍色(B)之外之組合表達色彩資料(v1、v2、v3)。此外，在一些情況中，可基於由圖像拍攝裝置114A、114B、116自其他優勢點獲取之場景122之圖像而獲得額外3D彩色點雲。無論如何，將各種3D點雲146A、146B提供至對位引擎140，對位引擎140亦自第三圖像拍攝裝置116接收圖像資料作為輸入。如上文所提及，來自圖像拍攝裝置116之資料包含場景122之彩色(例如RGB)圖像資料。對位引擎140使用2D色彩資訊來增強合併個別3D點雲146A、146B之對位程序。第三(彩色)圖像可促進將難以使用一稀疏、低z解析度輸入來實現之對位程序。圖4中繪示在一些例項中由引擎140實施之對位程序之細節。
對位引擎140藉由執行對位程序(216)來產生且輸出一合併、融合3D點雲。下文將描述根據一些實施方案之對位程序216之進一步細節。可將合併、融合3D點雲提供至(例如)包含一圖形使用者介面之一顯示裝置120。因此，可將合併、融合3D點雲顯示於顯示裝置120之一觀看螢幕上。一使用者可使用(例如)一游標來旋轉顯示於螢幕上之合併、融合3D點雲，使得當旋轉3D點雲時，可在顯示器螢幕上看見 場景122之不同視角。因此，回應於使用者輸入而旋轉顯示器螢幕上之點雲。
圖3繪示根據一些實施方案之插值程序(圖2中之212)之進一步細節。一般而言，使用一區塊處理技術來減小視差圖之稀疏度且增大視差圖之密度。可使用運算快速且保留幾何邊緣之一邊緣保留技術，藉此避免密度圖之幾何邊緣之模糊。在此背景下，「幾何邊緣」係指由視差值劃界之邊緣(與「對比邊緣」相反，「對比邊緣」係指由像素值或梯度值(諸如密度梯度、RGB梯度或灰階梯度)劃界之邊緣)。
如圖3中所展示，在302中，插值引擎136處理視差圖(其可儲存於(例如)一輸入緩衝器中)之一初始區塊(或核心)且判定某些特定值。初始區塊可定位於(例如)視差圖之左上角中且表示涵蓋預判定數目個像素之一窗。區塊之大小可取決於(例如)諸如視差圖之稀疏度及雜訊位準之各種因數。例如，在一些例項中，稀疏度越高，區塊大小越大。典型區塊大小係5×5個像素、7×7個像素或11×11個像素。其他區塊大小可適用於一些應用。例如，在一些實施方案中，區塊可包含偶數個像素列及像素行(例如6×6、10×10或12×12)。在此等例項中，應(例如)藉由根據區塊內之分佈將一不同加權數指派給複數個中心像素(或其他指定像素)來相應地修改插值程序212。無論如何，在所繪示之實例中，插值引擎136運算區塊之以下值：(i)區塊內之像素之有效(即、，非零)視差值之總和；(ii)區塊內之有效像素之數目；(iii)區塊內之最大視差值及其出現頻率；(iv)區塊內之第二最大視差值及其出現頻率；(v)區塊內之最小視差值及其出現頻率；(vi)區塊內之第二最小視差值及其出現頻率。亦可運算區塊內之像素之有效視差值之平方之總和。可將前述值儲存於(例如)與插值引擎136相關聯之臨時緩衝器中以供後續處理步驟使用。
接著，如由304所指示，若當前視差值係無效的(即，若區塊之中 心像素先前被指派一0值或未被指派值)，則插值引擎136更新區塊之中心像素之視差值。特定言之，插值引擎136基於若干情境之何者可適用而更新中心像素之視差值。若區塊中之有效像素之數目小於一第一預定義值(其可係指有效數目臨限值)，則一第一情境係可適用的。在該情況中，區塊之中心像素保持無效且其值保持為0。若區塊具有足夠數目個有效像素使得區塊中之最大視差值與最小視差值之間之視差差值小於一第二預定義臨限值(其可指稱視差差值臨限值)，則一第二情境係可適用的。在該情況中，將視差值之平均數(即，總和/有效計數)指派給區塊中之中心像素。若區塊具有足夠數目個有效像素使得區塊中之最大視差值與最小視差值之間之差值大於視差差值臨限值，則一第三情境係可適用的。在該情況中，將來自最大值、第二最大值、最小值、第二最小值中之最頻繁出現之視差值指派給區塊之中心像素。下文將參考圖4A至圖4D來描述前述情境之實例。
圖4A繪示包含兩個物件402、403之一場景400之一圖像之一實例。該圖亦指示兩個物件402、403之間之幾何邊緣404。點(例如405、406)指示已被指派一各自視差值之視差圖中之位置。在所繪示之實例中，假定視差圖相對較稀疏。儘管可(例如)僅藉由使用既有視差值之平均值來填充額外視差值，但此一方法會使幾何邊緣404模糊且放大物件402、403，此係非所要的。
圖4B繪示上文所提及之第一情境之一實例。在此情況中，區塊(即，核心)410具有一中心像素412。區塊410內存在已具有一指派視差值之非常少像素(即，兩個像素)。若如同此實例般已被指派一視差值之區塊中之像素之數目小於有效數目臨限值(即，第一預定義臨限值)，則中心像素412未被指派一視差值(或其值保持為0以指示值係無效的)。
圖4C繪示上文所提及之第二情境之一實例。在此情況中，區塊 414具有一中心像素416且包含具有有效視差值之多個像素。若區塊414中之各種視差值之間之差較小(即，最大值-最小值<視差差臨限值)，則將等於區塊414中之其他像素之視差值之平均數的一視差值指派給中心像素416。
圖4D繪示上文所提及之第三情境之一實例。在此情況中，區塊418具有一中心像素420且包含具有有效視差值之多個像素。特定言之，在圖4D之實例中，區塊418涵蓋幾何邊緣404。若區塊418中之各種視差值之間之差較大(即，最大值-最小值視差差臨限值)，則將等於區塊418中之其他像素之最頻繁出現之視差值的一視差值指派給中心像素420。在一些情況中，不是自區塊之全部視差值中選擇最頻繁出現之值，而是自指派給區塊中之像素之值之一預定義子集選擇最頻繁出現之值(例如區塊中之最大視差值、區塊中之第二最大視差值、區塊中之最小視差值及區塊中之第二最小視差值)。使用來自其之一視差值將被指派給區塊之中心像素420之視差值之此一子集可有助於保留幾何邊緣404。針對一給定實施方案而預定義子集內之視差值之數目，但一般在運算速率與效能之間進行權衡。
應自結合圖4B至圖4D所描述之前述情境明白，更新區塊之中心像素之視差值可導致一特定視差值被指派給中心像素，或在一些情況中，可導致中心像素繼續具有一無效視差值(即，一0值)。
返回至圖3，在更新區塊之中心像素(304)之後，程序檢查是否到達像素行之末端(306)。若已到達像素行之末端，則完成由插值引擎136掃描視差圖(318)。否則，如上文所描述，程序繼續掃描像素之區塊，直至已掃描全部列及行。因此，若未完成當前行之掃描，則程序使區塊之位置向下移位(308)。例如，在區塊之底部處新增特定數目個(例如1個)列，且插值引擎136計算當前區塊之以下值(308A)：(i)區塊內之像素之有效視差值之總和；(ii)區塊內之有效像素之數目；(iii)區塊 內之最大視差值及其出現頻率；(iv)區塊內之第二最大視差值及其出現頻率；(v)區塊內之最小視差值及其出現頻率；(vi)區塊內之第二最小視差值及其出現頻率。接著，自區塊之頂部減去特定數目個(例如1個)列，且插值引擎136重新計算當前區塊之以下值(308B)：(i)區塊內之像素之有效視差值之總和；(ii)區塊內之有效像素之數目；(iii)區塊內之最大視差值及其出現頻率；(iv)區塊內之第二最大視差值及其出現頻率；(v)區塊內之最小視差值及其出現頻率；(vi)區塊內之第二最小視差值及其出現頻率。接著，插值引擎136依相同於上文304中所描述之方式的方式更新區塊之中心像素之視差值(310)。因此，若區塊之中心像素之當前視差值係無效的(即，若區塊之中心像素先前被指派一0值或未被指派值)，則插值引擎136基於第一情境、第二情境或第三情境之何者可適用而更新區塊之中心像素之視差值。
在310之後，程序檢查是否已到達像素列之末端(312)。若已達到像素列之末端，則程序返回至306。否則，程序藉由使區塊向右水平移位(314)來繼續掃描當前列。例如，在區塊之右手側處新增特定數目個(例如1個)行，且插值引擎136計算當前區塊之以下值(314A)：(i)區塊內之像素之有效視差值之總和；(ii)區塊內之有效像素之數目；(iii)區塊內之最大視差值及其出現頻率；(iv)區塊內之第二最大視差值及其出現頻率；(v)區塊內之最小視差值及其出現頻率；(vi)區塊內之第二最小視差值及其出現頻率。接著，自區塊之左手側減去特定數目個(例如1個)行，且插值引擎136重新計算當前區塊之以下值(314B)：(i)區塊內之像素之有效視差值之總和；(ii)區塊內之有效像素之數目；(iii)區塊內之最大視差值及其出現頻率；(iv)區塊內之第二最大視差值及其出現頻率；(v)區塊內之最小視差值及其出現頻率；(vi)區塊內之第二最小視差值及其出現頻率。接著，插值引擎136依相同於上文304中所描述之方式的方式更新區塊之中心像素之視差 值(316)。因此，若區塊之中心像素之當前視差值係無效的(即，若區塊之中心像素先前被指派一0值或未被指派值)，則插值引擎136基於第一情境、第二情境或第三情境之何者可適用而更新區塊之中心像素之視差值。接著，程序返回至312且繼續使區塊移位通過各種列及行，直至由視差圖表示之整個像素陣列被掃描。
在圖3及圖4A至圖4D之以上描述中，參考區塊之中心像素。然而，在其他實施方案中，不是相對於中心像素而採取各種動作，而是可相對於並非為中心像素之一指定像素而採取各種動作。
圖3A繪示根據一些實施方案之插值程序(圖2中之212)之另一方案。如同圖3之實例，至插值引擎136之輸入係可儲存於(例如)一輸入緩衝器中之一稀疏視差圖。在一些情況中，少於10%之像素可具有與其相關聯之一視差值。例如，基於視差圖之稀疏度及/或雜訊位準而選擇一區塊大小。如圖3A中所展示，在352中，插值引擎136處理視差圖之一初始區塊(或核心)且運算某些特定值。初始區塊可定位於(例如)視差圖之左上角中且表示涵蓋預判定數目個像素之一窗。在此情況中，插值引擎136運算區塊之以下值：(i)區塊內之有效(即，非零)視差值之數目(「n」)；(ii)區塊內之有效視差值之總和；及(iii)區塊內之有效視差值之平方之總和。可將此等值儲存於(例如)與插值引擎136相關聯之臨時緩衝器中以供後續處理步驟使用。
接著，如由354所指示，引擎136比較有效視差值之數目(「n」)與一先前判定之第一最小臨限值且判定有效視差值之數目是否小於第一最小臨限值(或等效地，數目n是否等於或大於第一最小臨限值)。第一最小臨限值可用實驗方法來判定且可取決於(例如)區塊大小。在一些例項中，第一最小臨限值等於區塊中之像素之數目之8%。
若區塊中之有效視差值之數目(n)小於第一最小臨限值，則假定區塊可能具有拍攝雜訊。因此，在此情況中，將一0值指派給區塊中 之一指定像素(例如右下像素)(356)。可將指派值儲存於(例如)一輸出緩衝器中。接著，程序藉由(例如)使區塊移位一行或一列且對新區塊重複程序(358)來繼續。
另一方面，若在354中插值引擎136判定區塊中之有效視差值之數目(n)等於或大於第一最小臨限值，則插值引擎136運算區塊之平均視差值及區塊中之視差值之一標準差(360)。可將此等值儲存於(例如)臨時緩衝器中。對於不看重快速運算之非即時應用，可將標準差(例如)計算如下： 其中x係一特定像素之視差值，x係區塊之視差值之平均值，且n係具有一有效(即，非零)視差值之區塊中之像素之數目。對於很看重快速運算之即時應用，可將一修改標準差(例如)計算如下：
接著，如由362所指示，插值引擎136比較運算標準差與一先前判定之第二最小臨限值且判定運算標準差是否小於第二最小臨限值(或等效地，運算標準差是否等於或大於第二最小臨限值)。第二最小臨限值可取決於(例如)預期應用(例如待拍攝於由攝影機獲取之圖像中之一場景之背景與前景之間之距離差)。若運算標準差小於第二臨限值，則插值引擎136將先前計算之平均視差值指派給區塊中之一指定像素(例如右下像素)(364)。可指派視差值儲存於輸出緩衝器中。當運算標準差小於第二臨限值時，此指示：像素之區塊涵蓋具有與攝影機之一近乎恆定距離之一表面。
另一方面，若在362中插值引擎136判定運算標準差等於或大於 第二臨限值，則此指示：區塊落於一邊緣上。在該情況中，插值引擎136判定區塊之像素中之最頻繁出現之視差值且將該最頻繁出現之視差值指派給區塊中之指定像素(例如右下像素)(366)。在此情況中，指派視差值係一實際值而非僅為一平均值。此步驟允許程序保留邊緣而非將邊緣平均化。可將指派值儲存於(例如)輸出緩衝器中。接著，程序藉由使區塊移位(例如)一行或一列且對新區塊重複程序(358)來繼續。
可對各區塊重複圖3A之前述程序，直至處理完整個圖像。使用前述程序，且若(i)一區塊大小係S×S個像素，(ii)在圖3A中之步驟之各反覆期間一次移位一行或一列，且(iii)待在各反覆期間被指派一視差值之指定像素係區塊之右下角中之像素，則在圖3A之前述程序期間不會給最上S列及最左S行指派一視差值。然而，此等像素可僅被指派(例如)一0視差值。
圖5繪示根據一些實施方案之由對位引擎140執行之對位程序(圖2中之216)之進一步細節。如上文所解釋，對位程序216接收兩個或兩個以上融合(即，彩色)3D點雲146A、146B作為輸入。對位程序216使用由第三圖像拍攝裝置116獲取之2D色彩資訊來增強對位程序，其合併個別離散3D點雲146A、146B以產生且輸出一合併、融合3D點雲148。
作為對位程序216之部分，對位引擎140識別且分離離散融合3D點雲146A、146B之各者之前景區域及背景區域(圖5中之504)。可使用各種已知前景分離技術(有時指稱前景偵測)之任何者。在一些例項中，一預定義臨限深度值可用於劃分屬於前景或背景之像素。預定義臨限值可取決於(例如)圖像拍攝裝置114A、114B中之感測器之敏感度及其他因數。
對位程序216包含：擷取且平滑化各點雲之前景及/或減去(即， 消除)各點雲之背景(圖5中之506)。可使用各種已知平滑技術之任何者。此等技術之實例包含高斯(Gaussian)濾波器、雙向濾波器及低通濾波器。接著，擷取各點雲之前景之2D關鍵點(508)。在此背景下，2D關鍵點由點雲之色彩及/或灰階之梯度定義且對應於對比邊緣(而非幾何邊緣)。可用於擷取前景之2D關鍵點之演算法之實例係尺度不變特徵變換(SIFT)演算法及SIFT之加速型(SURF)演算法。亦可使用其他演算法。對離散融合3D點雲146A、146B之各者分別執行圖5中之步驟506及508。
在2D關鍵點擷取(508)之後，對位引擎140識別各種離散3D點雲之間之對應性(510)。基於使用2D關鍵點來識別兩個或兩個以上3D點雲之間之匹配區域而判定兩個或兩個以上3D點雲之間之對應性。因此，對位程序216之此部分係對比邊緣(例如來自第三圖像拍攝裝置116之RGB色彩資料)如何用於增強對位程序且識別兩個或兩個以上3D點雲之間之對應點之一實例。使用對比邊緣(而非幾何邊緣)來判定此對應性可為有利的，此係因為：如上文所解釋，深度通道最初僅提供低z解析度及稀疏視差。
在判定各種3D點雲之間之對應性之後，程序216將識別關鍵點投影至3D關鍵點上(512)。因此，程序216使2D關鍵點之座標與3D關鍵點關聯。特定言之，將一2D關鍵點之與一特定像素或像素組相關聯之視差值反投影為對應3D點雲之一深度值。接著，程序216對位3D特徵且可消除離群值(514)。可自對應3D關鍵點獲得對位矩陣。程序216將一對位變換應用於各3D點雲以獲得一合併3D點雲(即，與兩個或兩個以上離散3D點雲對比)(516)。在一些例項中，程序216將一3D平滑濾波應用於合併3D點雲以消除對位誤差及/或量測誤差(518)。如先前所解釋，起因於程序216之對位引擎140之輸出係一合併、融合3D點雲148。
本文所描述之技術在(例如)手持式行動裝置及其他應用中可為尤其有利的，在該等其他應用中，基線(深度通道之間之距離)趨向於較小，深度通道之圖像及光學器件趨向於具有相對較差品質，且運算時間需要相對較快(例如即時或近即時)。當然，該等技術亦可用於其他應用。
在一些情況中，可在電腦螢幕上將合併、融合3D點雲顯示為一電腦輔助設計(CAD)模型。此外，在一些情況中，可將合併、融合三維點雲提供為至一3D印表機之輸入，該3D印表機可操作以藉由鋪設一材料之諸多連續薄層來自三維數位模型製造一實體物件。例如，可將3D掃描器整合至一智慧型電話或其他手持式運算裝置中。
在一些例項中，一或多個處理器可執行合併、融合三維點雲之降低取樣以減少資料量。此外，在一些情況中，所得資料可經平滑化以消除冗餘資訊。例如，可將空間及色彩資訊(x,y,z,c)平均化，其可有助於減小檔案大小且使處置更容易。接著，可使用平滑化資料來(例如)形成一網格模型，接著可將該網格模型用作為至一顯示器、3D印表機或其他裝置之輸入。
可在數位電子電路、積體電路、特殊設計之ASIC(專用積體電路)、電腦硬體、韌體、軟體及/或其等之組合中實現本文所描述之各種實施方案。此等各種實施方案可包含可在包含至少一可程式化處理器之一可程式化系統上執行及/或解譯之一或多個電腦程式中之實施方案，該至少一可程式化處理器可為專用或通用的，經耦合以自一儲存系統、至少一輸入裝置及至少一輸出裝置接收資料及指令及將資料及指令傳輸至一儲存系統、至少一輸入裝置及至少一輸出裝置。
此等電腦程式(亦稱為程式、軟體、軟體應用程式或程式碼)包含用於一可程式化處理器之機器指令，且可用一高階程序及/或物件導向程式設計語言及/或組合/機器語言來實施。如本文所使用，術語 「機器可讀媒體」、「電腦可讀媒體」係指用於將機器指令及/或資料提供至一可程式化處理器之任何電腦程式產品、設備及/或裝置(例如磁碟、光碟、記憶體、可程式化邏輯裝置(PLD))，其包含將機器指令接收為一機器可讀信號之一機器可讀媒體。術語「機器可讀信號」係指用於將機器指令及/或資料提供至一可程式化處理器之任何信號。
應易於明白，可在本發明之精神內對前述實例作出各種修改。例如，在一些例項中，可省略一些程序或步驟。此外，在一些情況中，可執行額外程序或步驟。亦可作出其他修改。因此，其他實施方案係在申請專利範圍之範疇內。
110‧‧‧設備
112‧‧‧光電模組
114A‧‧‧圖像拍攝裝置/立體成像器/深度攝影機
114B‧‧‧圖像拍攝裝置/立體成像器/深度攝影機
116‧‧‧彩色圖像拍攝裝置/RGB攝影機
118‧‧‧照明源
120‧‧‧顯示裝置/運算裝置
122‧‧‧場景
130‧‧‧立體匹配引擎
132‧‧‧子像素視差插值引擎
134‧‧‧融合引擎
136‧‧‧插值引擎
138‧‧‧三維(3D)點雲重建引擎
140‧‧‧對位引擎
144‧‧‧記憶體
146A‧‧‧第一三維(3D)彩色點雲
146B‧‧‧第二三維(3D)彩色點雲
148‧‧‧合併、融合三維(3D)點雲
150‧‧‧平行處理單元

Claims (34)

  1. 一種用於呈現一合併、融合三維點雲之方法，其包括：自不同優勢點獲取一場景之複數個圖像組，各組圖像包含各自複數個立體匹配圖像及一彩色圖像；對於各個圖像組：基於該複數個立體圖像而獲得一視差圖；將來自該彩色圖像之資料融合至該視差圖上以產生一融合視差圖；及自該融合視差圖產生一個三維融合點雲；及將該等各自三維融合點雲之各者合併在一起以獲得一合併、融合三維點雲。
  2. 如請求項1之方法，其中將該等各自三維融合點雲之各者合併在一起包含：至少部分基於自該等各自圖像獲得之對比邊緣資訊而判定該等三維融合點雲之離散者之間之一對應性。
  3. 如請求項1之方法，其中將該等各自三維融合點雲之各者合併在一起包含：自該等三維彩色點雲之各者擷取各自二維關鍵點；及識別該等三維融合點雲之不同者之間之匹配二維關鍵點。
  4. 如請求項3之方法，其中該等二維關鍵點對應於對比邊緣。
  5. 如請求項1之方法，其中將來自該彩色圖像之資料融合至該視差圖上包含：在色彩值與灰階值之間轉換。
  6. 如請求項5之方法，其中將來自該彩色圖像之資料融合至該視差圖上進一步包含：在高解析度圖像與低解析度圖像之間轉換。
  7. 如請求項1至6中任一項之方法，其包含：將該合併、融合三維點雲顯示於一手持式行動裝置之一顯示螢幕上。
  8. 如請求項1至6中任一項之方法，其包含：將該合併、融合三維點雲顯示於一運算裝置之一顯示螢幕上，且回應於收到使用者輸入而旋轉該顯示螢幕上之該合併、融合三維點雲。
  9. 如請求項1至6中任一項之方法，其包含：將該合併、融合三維點雲顯示於一顯示螢幕上，其中將不同深度或深度範圍顯示為不同色彩或使用其他視覺指標來顯示不同深度或深度範圍以區分該等不同深度或深度範圍。
  10. 如請求項1之方法，其進一步包含：執行一插值程序以減小該視差圖或該融合視差圖之稀疏度，該插值程序包含：使用特定大小之一區塊來掃描該視差圖或該融合視差圖；及若各特定區塊之一指定像素當前具有一無效視差值，則在該掃描期間更新該特定區塊之該指定像素之一視差值。
  11. 如請求項10之方法，其中更新各特定區塊之一指定像素之一視差值保留該視差圖或該融合視差圖之幾何邊緣。
  12. 如請求項10之方法，其中在各特定區塊之一指定像素當前具有一無效視差值時更新該指定像素之一視差值包含：若該特定區塊中之有效像素之一數目小於一第一預定義值，則准許該特定區塊之該指定像素之該視差值為無效的；若該特定區塊具有使得該特定區塊中之最大視差值與最小視差值之間之一差小於一第二預定義臨限值之數個有效像素，則將一平均視差值指派給該特定區塊中之該指定像素；及若該特定區塊具有使得該特定區塊中之該最大視差值與該最小視差值之間之一差大於該第二預定義臨限值之數個有效像素，則將等於來自該特定區塊中之一預定義視差值子集中之一最頻繁出現之視差值的一視差值指派給該特定區塊之該指定像素。
  13. 如請求項1之方法，其進一步包含：執行一插值程序以減小該視差圖或該融合視差圖之稀疏度，該插值程序包含：使用一特定區塊大小來掃描該視差圖或該融合視差圖；更新一特定區塊中之一指定像素之一視差值，其中該更新包含：判定具有一有效視差值之該特定區塊中之像素之一數目是否小於一第一臨限值，及若該特定區塊中之有效視差值之該數目大於一第一臨限值，則判定該特定區塊中之像素之視差值之一標準差是否小於一第二臨限值，及若該特定區塊中之像素之視差值之該標準差小於該第二臨限值，則將該特定區塊中之一最頻繁出現之視差值指派給該指定像素。
  14. 如請求項13之方法，其包含：對像素之複數個區塊之各者重複該更新。
  15. 如請求項1之方法，其進一步包含：執行一插值程序以減小該視差圖或該融合視差圖之稀疏度，該插值程序包含：使用一特定區塊大小來掃描該視差圖或該融合視差圖；更新一特定區塊中之一指定像素之一視差值，其中該更新包含：判定具有一有效視差值之該特定區塊中之像素之一數目是否小於一第一臨限值，及若具有一有效視差值之該特定區塊中之像素之該數目小於一第一臨限值，則將一0值指派給該指定像素，及若該特定區塊中之有效視差值之該數目大於一第一臨限值，則判定該特定區塊中之像素之視差值之一標準差是否 小於一第二臨限值，其中若該特定區塊中之像素之視差值之該標準差小於該第二臨限值，則將該特定區塊中之一最頻繁出現之視差值指派給該指定像素，及若該特定區塊中之像素之視差值之該標準差不小於該第二臨限值，則將該特定區塊中之該等像素之一平均視差值指派給該指定像素。
  16. 如請求項15之方法，其包含：對像素之複數個區塊之各者重複該更新。
  17. 一種將一相對較稀疏視差圖轉換成一較不稀疏視差圖之方法，該方法包括：使用特定大小之一區塊來掃描該視差圖；若各特定區塊之一指定像素當前具有一無效視差值，則在該掃描期間更新該特定區塊之該指定像素之一視差值，其中更新各特定區塊之該指定像素之該視差值保留該視差圖之幾何邊緣。
  18. 如請求項17之方法，其中在各特定區塊之該指定像素當前具有一無效視差值時更新該指定像素之一視差值包含：若該特定區塊中之有效像素之一數目小於一第一預定義值，則准許該特定區塊之該指定像素之該視差值為無效的；若該特定區塊具有使得該特定區塊中之最大視差值與最小視差值之間之一差小於一第二預定義臨限值之數個有效像素，則將一平均視差值指派給該特定區塊中之該指定像素；及若該特定區塊具有使得該特定區塊中之該最大視差值與該最小視差值之間之一差大於該第二預定義臨限值之數個有效像素，則將等於來自該特定區塊中之一預定義視差值子集中之一 最頻繁出現之視差值的一視差值指派給該特定區塊之該指定像素。
  19. 如請求項17或18之方法，其中使用複數個深度通道及一第三通道來獲取該等圖像組，該複數個深度通道包含用於獲取立體匹配圖像之紅外線感測器，該第三通道包含用於獲取彩色圖像之一RGB感測器。
  20. 一種用於呈現一合併、融合三維點雲之設備，該設備包括：圖像拍攝裝置，其等自不同優勢點獲取一場景之複數圖像組，各組包含各自複數個立體匹配圖像及一彩色圖像；一或多個處理器，其等經配置以對各個圖像組執行以下操作：基於該複數個立體圖像而獲得一視差圖；將來自該彩色圖像之資料融合至該視差圖上以產生一融合視差圖；及自該融合視差圖產生一個三維融合點雲；該一或多個處理器進一步經配置以將該等各自三維融合點雲之各者合併在一起來獲得一合併、融合三維點雲；及一顯示裝置，其接收及顯示該合併、融合三維點雲。
  21. 如請求項20之設備，其中該顯示器可操作以使用不同視覺指標來顯示該合併、融合三維點雲之不同深度或深度範圍以區分該等不同深度或深度範圍。
  22. 如請求項20之設備，其中該顯示器可操作以使用不同色彩來顯示該合併、融合三維點雲之不同深度或深度範圍以區分該等不同深度或深度範圍。
  23. 如請求項20之設備，其中該等圖像拍攝裝置包含：複數個深度通道，其等包含用於獲取立體匹配圖像之紅外線 圖像感測器；及一第三通道，其包含用於獲取彩色圖像之一RGB圖像感測器。
  24. 如請求項20之設備，其中該設備係一手持式行動裝置，且其中將該等圖像拍攝裝置收容於該手持式行動裝置中之一光電模組中。
  25. 如請求項24之設備，其中該設備係一智慧型電話。
  26. 如請求項24之設備，其中該等紅外線圖像感測器具有低於RGB圖像感測器之解析度。
  27. 如請求項20之設備，其中為將該等各自三維融合點雲之各者合併在一起，該一或多個處理器經配置以至少部分基於自該等各自圖像獲得之對比邊緣資訊而判定該等三維融合點雲之離散者之間之一對應性。
  28. 如請求項20之設備，其中為將該等各自三維融合點雲之各者合併在一起，該一或多個處理器經配置以：自該等三維彩色點雲之各者擷取各自二維關鍵點；及識別該等三維融合點雲之不同者之間之匹配二維關鍵點。
  29. 如請求項28之設備，其中該等二維關鍵點對應於對比邊緣。
  30. 如請求項20之設備，其中為將來自該彩色圖像之資料融合至該視差圖上，該一或多個處理器經配置以在色彩值與灰階值之間轉換。
  31. 如請求項30之設備，其中為將來自該彩色圖像之資料融合至該視差圖上，該一或多個處理器進一步經配置以在高解析度圖像與低解析度圖像之間轉換。
  32. 如請求項20之設備，其中該一或多個處理器經配置以執行一插值程序來減小該視差圖或該融合視差圖之稀疏度，其中為執行 該插值程序，該一或多個處理器經配置以：使用特定大小之一區塊來掃描該視差圖或該融合視差圖；及若各特定區塊之一指定像素當前具有一無效視差值，則在該掃描期間更新該特定區塊之該指定像素之一視差值。
  33. 如請求項32之設備，其中該一或多個處理器經配置以更新各特定區塊之一指定像素之一視差值來保留該視差圖或該融合視差圖之幾何邊緣。
  34. 如請求項32之設備，其中為在各特定區塊之一指定像素當前具有一無效視差值時更新該指定像素之一視差值，該一或多個處理器經配置以：若該特定區塊中之有效像素之一數目小於一第一預定義值，則准許該特定區塊之該指定像素之該視差值為無效的；若該特定區塊具有使得該特定區塊中之最大視差值與最小視差值之間之一差小於一第二預定義值之數個有效像素，則將一平均視差值指派給該特定區塊中之該指定像素；及若該特定區塊具有使得該特定區塊中之該最大視差值與該最小視差值之間之一差大於該第二預定義值之數個有效像素，則將等於來自該特定區塊中之一預定義視差值子集中之一最頻繁出現之視差值的一視差值指派給該特定區塊之該指定像素。
TW105125038A 2015-08-06 2016-08-05 基於場景之拍攝圖像而產生合併、融合三維點雲 TWI729995B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562201719P 2015-08-06 2015-08-06
US62/201,719 2015-08-06

Publications (2)

Publication Number Publication Date
TW201724026A true TW201724026A (zh) 2017-07-01
TWI729995B TWI729995B (zh) 2021-06-11

Family

ID=57943345

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105125038A TWI729995B (zh) 2015-08-06 2016-08-05 基於場景之拍攝圖像而產生合併、融合三維點雲

Country Status (3)

Country Link
US (1) US10699476B2 (zh)
TW (1) TWI729995B (zh)
WO (1) WO2017023210A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
DE102015216140A1 (de) * 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung
US11244434B2 (en) * 2015-08-24 2022-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-aperture imaging device
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US11253321B2 (en) * 2016-04-27 2022-02-22 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
US10813700B2 (en) * 2016-04-27 2020-10-27 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
US20170358101A1 (en) * 2016-06-10 2017-12-14 Apple Inc. Optical Image Stabilization for Depth Sensing
US10924638B2 (en) * 2016-06-27 2021-02-16 Intel Corporation Compact, low cost VCSEL projector for high performance stereodepth camera
EP3571627A2 (en) 2017-01-19 2019-11-27 Mindmaze Holding S.A. Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
WO2018146558A2 (en) * 2017-02-07 2018-08-16 Mindmaze Holding Sa Systems, methods and apparatuses for stereo vision and tracking
KR102351542B1 (ko) * 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
CN108496201A (zh) * 2017-09-27 2018-09-04 深圳市大疆创新科技有限公司 图像处理方法和设备
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
CN109145471B (zh) * 2018-08-31 2023-08-01 东华大学 基于cad与实测数据共融模型的虚拟装配系统及方法
US11589031B2 (en) * 2018-09-26 2023-02-21 Google Llc Active stereo depth prediction based on coarse matching
CN111047678B (zh) * 2018-10-12 2024-01-23 杭州海康威视数字技术股份有限公司 一种三维人脸采集装置和方法
JP2021508095A (ja) * 2018-11-13 2021-02-25 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド カラー・ポイント・クラウド生成のための方法およびシステム
CN109697410B (zh) * 2018-11-30 2024-08-16 中国电力科学研究院有限公司 一种架空输电线路覆盖地区的遥感地物识别方法
US11138694B2 (en) * 2018-12-05 2021-10-05 Tencent America LLC Method and apparatus for geometric smoothing
US11250594B2 (en) * 2019-01-09 2022-02-15 Tencent America LLC Method and apparatus for geometry smoothing by local geometry projection
US10346998B1 (en) * 2019-02-25 2019-07-09 Nurulize, Inc. Method of merging point clouds that identifies and retains preferred points
CN109978955B (zh) * 2019-03-11 2021-03-19 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
US10929995B2 (en) * 2019-06-24 2021-02-23 Great Wall Motor Company Limited Method and apparatus for predicting depth completion error-map for high-confidence dense point-cloud
US11954789B2 (en) * 2019-07-02 2024-04-09 Interdigital Vc Holdings, Inc. System and method for sparse distributed rendering
JP7273249B2 (ja) * 2019-09-04 2023-05-12 エイエムエス－オスラム エイジア パシフィック プライヴェット リミテッド ３次元センサモジュールのためのドットプロジェクタの設計および作製
AU2021211677B2 (en) * 2020-01-21 2024-01-04 Proprio, Inc. Methods and systems for augmenting depth data from a depth sensor, such as with data from a multiview camera system
CN111462096A (zh) * 2020-04-03 2020-07-28 浙江商汤科技开发有限公司 三维目标检测方法及装置
CN111862084B (zh) * 2020-07-31 2024-02-02 东软教育科技集团有限公司 基于复杂网络的图像质量评价方法、装置及存储介质
CN112258568B (zh) * 2020-10-12 2022-07-01 武汉中海庭数据技术有限公司 一种高精度地图要素的提取方法及装置
US11443147B2 (en) * 2020-12-11 2022-09-13 Argo AI, LLC Systems and methods for object detection using stereovision information
CN112734862A (zh) * 2021-02-10 2021-04-30 北京华捷艾米科技有限公司 深度图像的处理方法、装置、计算机可读介质以及设备
CN113160068B (zh) * 2021-02-23 2022-08-05 清华大学 基于图像的点云补全方法及系统
CN113032404B (zh) * 2021-05-20 2021-09-14 中国测绘科学研究院 一种面向地表覆盖数据的图斑变化轨迹提取方法与系统
CN113392879B (zh) * 2021-05-26 2023-02-24 中铁二院工程集团有限责任公司 一种航空影像多视图匹配方法
CN115546237A (zh) * 2021-06-29 2022-12-30 富泰华工业（深圳）有限公司 点云密度调整方法、电子设备及存储介质
KR20240027813A (ko) * 2021-08-03 2024-03-04 레이아 인코포레이티드 깊이 맵을 이용한 뷰 합성 시스템 및 방법
CN114066847B (zh) * 2021-11-16 2022-09-23 北京国泰星云科技有限公司 基于2d激光和图像数据融合的集卡吊起状态检测方法
CN114677315B (zh) * 2022-04-11 2022-11-29 探维科技(北京)有限公司 基于图像与激光点云的图像融合方法、装置、设备和介质
CN115131344B (zh) * 2022-08-25 2022-11-08 泉州华中科技大学智能制造研究院 一种通过光强数据实现制鞋成型胶线提取的方法
WO2024144524A1 (en) * 2022-12-28 2024-07-04 Havelsan Hava Elektronik San. Ve Tic. A.S. Streamlined feature extraction and mapping synchronization with graphics card from real-time image tracking
CN116363284B (zh) * 2023-03-30 2023-12-08 上海艾特海浦网络科技有限公司 基于多点渲染的智能渲染控制系统
CN117152040B (zh) * 2023-10-26 2024-02-23 埃洛克航空科技（北京）有限公司 一种基于深度图的点云融合方法及装置

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
GB0125774D0 (en) 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
US6897876B2 (en) * 2003-06-26 2005-05-24 Eastman Kodak Company Method for transforming three color input signals to four or more output signals for a color display
WO2005076215A1 (en) 2004-02-03 2005-08-18 Koninklijke Philips Electronics N.V. Creating a depth map
JP4479372B2 (ja) * 2004-06-25 2010-06-09 ソニー株式会社 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
GB2417628A (en) 2004-08-26 2006-03-01 Sharp Kk Creating a new image from two images of a scene
GB2418314A (en) 2004-09-16 2006-03-22 Sharp Kk A system for combining multiple disparity maps
US20080259073A1 (en) * 2004-09-23 2008-10-23 Conversion Works, Inc. System and method for processing video images
JP5221886B2 (ja) * 2007-03-07 2013-06-26 富士重工業株式会社 物体検出装置
US20120269458A1 (en) * 2007-12-11 2012-10-25 Graziosi Danillo B Method for Generating High Resolution Depth Images from Low Resolution Depth Images Using Edge Layers
US9641822B2 (en) * 2008-02-25 2017-05-02 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional (3D) images
FR2932911A1 (fr) * 2008-06-24 2009-12-25 France Telecom Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images.
CN102326391B (zh) * 2009-02-23 2014-07-09 日本电信电话株式会社 多视点图像编码装置及方法、多视点图像译码装置及方法
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
EP2275990B1 (de) 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
WO2011013079A1 (en) 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
EP2309452A1 (en) 2009-09-28 2011-04-13 Alcatel Lucent Method and arrangement for distance parameter calculation between images
US8988432B2 (en) * 2009-11-05 2015-03-24 Microsoft Technology Licensing, Llc Systems and methods for processing an image for target tracking
CN102713980A (zh) * 2010-02-01 2012-10-03 英特尔公司 从地理参考图像提取及映射三维特征
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
KR101030763B1 (ko) * 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛
US10157495B2 (en) * 2011-03-04 2018-12-18 General Electric Company Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
EP2509324A1 (en) 2011-04-08 2012-10-10 Thomson Licensing Method and apparatus for analyzing stereoscopic or multi-view images
US9208571B2 (en) * 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
US9300946B2 (en) * 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array
US20130071008A1 (en) 2011-09-15 2013-03-21 National Taiwan University Image conversion system using edge information
US8818125B2 (en) * 2011-10-07 2014-08-26 Texas Instruments Incorporated Scene adaptive filter design for improved stereo matching
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
US8605993B2 (en) 2011-11-21 2013-12-10 Robo-team Ltd. Methods and systems of merging depth data from a plurality of disparity maps
WO2013079602A1 (en) * 2011-11-30 2013-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Spatio-temporal disparity-map smoothing by joint multilateral filtering
KR101918057B1 (ko) 2011-11-30 2019-01-30 삼성전자주식회사 이미지의 깊이 정보를 복원하는 방법 및 장치
EP2791909A4 (en) * 2011-12-16 2015-06-24 Thomson Licensing METHOD AND DEVICE FOR PRODUCING 3D CONTENTS WITH FREE VIEWPOINT
US9117295B2 (en) 2011-12-20 2015-08-25 Adobe Systems Incorporated Refinement of depth maps by fusion of multiple estimates
CN103366354B (zh) * 2012-03-27 2016-09-07 富士通株式会社 用于立体匹配的方法和系统
JP5773944B2 (ja) * 2012-05-22 2015-09-02 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
CN107346061B (zh) * 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
CA2925620C (en) * 2012-10-29 2020-07-21 7D Surgical Inc. Integrated illumination and optical surface topology detection system and methods of use thereof
US9924142B2 (en) * 2012-11-21 2018-03-20 Omnivision Technologies, Inc. Camera array systems including at least one bayer type camera and associated methods
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9269187B2 (en) * 2013-03-20 2016-02-23 Siemens Product Lifecycle Management Software Inc. Image-based 3D panorama
US10268885B2 (en) 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
US9679227B2 (en) * 2013-08-02 2017-06-13 Xactware Solutions, Inc. System and method for detecting features in aerial images using disparity mapping and segmentation techniques
IN2013CH05313A (zh) 2013-11-18 2015-05-29 Nokia Corp
TWI534755B (zh) 2013-11-20 2016-05-21 財團法人資訊工業策進會 三維立體模型之建立方法和裝置
IL230517A0 (en) * 2014-01-19 2014-04-30 Mantisvision Ltd Synchronization of 3D imaging devices
CN105096259B (zh) * 2014-05-09 2018-01-09 株式会社理光 深度图像的深度值恢复方法和系统
CN104008571B (zh) * 2014-06-12 2017-01-18 深圳奥比中光科技有限公司 基于深度相机的人体模型获取方法及网络虚拟试衣系统
US20160012646A1 (en) * 2014-07-10 2016-01-14 Perfetch, Llc Systems and methods for constructing a three dimensional (3d) color representation of an object
US9654700B2 (en) * 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors
US10181175B2 (en) * 2014-12-17 2019-01-15 Microsoft Technology Licensing, Llc Low power DMA snoop and skip
US9948920B2 (en) * 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10453207B2 (en) * 2015-07-31 2019-10-22 Versitech Limited Method and system for global motion estimation and compensation
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
KR101940718B1 (ko) * 2015-09-04 2019-01-22 한국전자통신연구원 Ｒｇｂ-ｄ 영상 기반 사람 영역 추출 장치 및 그 방법
CN105374019B (zh) * 2015-09-30 2018-06-19 华为技术有限公司 一种多深度图融合方法及装置
RU2623806C1 (ru) * 2016-06-07 2017-06-29 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Способ и устройство обработки стереоизображений
US10021372B2 (en) * 2016-09-16 2018-07-10 Qualcomm Incorporated Systems and methods for improved depth sensing

Also Published As

Publication number Publication date
TWI729995B (zh) 2021-06-11
US20180225866A1 (en) 2018-08-09
US10699476B2 (en) 2020-06-30
WO2017023210A1 (en) 2017-02-09

Similar Documents

Publication Publication Date Title
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
KR102674646B1 (ko) 뷰로부터 거리 정보를 획득하는 장치 및 방법
CN109360235B (zh) 一种基于光场数据的混合深度估计方法
US10237532B2 (en) Scan colorization with an uncalibrated camera
US9214013B2 (en) Systems and methods for correcting user identified artifacts in light field images
CN107155341B (zh) 三维扫描系统和框架
JP6363863B2 (ja) 情報処理装置および情報処理方法
CN103903222B (zh) 三维感测方法与三维感测装置
CN107346061A (zh) 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2019167453A1 (ja) 画像処理装置、画像処理方法、およびプログラム
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
CN106952262B (zh) 一种基于立体视觉的船板加工精度分析方法
CN110738731A (zh) 一种用于双目视觉的3d重建方法和系统
Wenzel et al. High-resolution surface reconstruction from imagery for close range cultural Heritage applications
CN113643436A (zh) 一种深度数据拼接融合方法及装置
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN114820563A (zh) 一种基于多视点立体视觉的工业部件尺寸估计方法及系统
JP6285686B2 (ja) 視差画像生成装置
GB2569609A (en) Method and device for digital 3D reconstruction
JP5336325B2 (ja) 画像処理方法
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
Nozick Camera array image rectification and calibration for stereoscopic and autostereoscopic displays
KR101857977B1 (ko) 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법
JP7251631B2 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム