TWI489857B - 產生穩健立體影像的技術 - Google Patents

產生穩健立體影像的技術 Download PDF

Info

Publication number
TWI489857B
TWI489857B TW102119969A TW102119969A TWI489857B TW I489857 B TWI489857 B TW I489857B TW 102119969 A TW102119969 A TW 102119969A TW 102119969 A TW102119969 A TW 102119969A TW I489857 B TWI489857 B TW I489857B
Authority
TW
Taiwan
Prior art keywords
image
pixel
disparity
map
value
Prior art date
Application number
TW102119969A
Other languages
English (en)
Other versions
TW201415863A (zh
Inventor
Kari Pulli
Alejandro Troccoli
Changyin Zhou
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of TW201415863A publication Critical patent/TW201415863A/zh
Application granted granted Critical
Publication of TWI489857B publication Critical patent/TWI489857B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

產生穩健立體影像的技術
本發明一般係關於立體影像，更具體而言係關於從有及沒有諸如閃光裝置的光源所擷取之一對對應的立體影像產生穩健立體影像的技術。
近來，3D(three-dimensional，三維)立體影像和影音已在消費者市場上普及。伴隨著相對便宜的3D HDTV(high definition television，高解析度電視)之行銷，更廣泛的3D內容選擇之引進已使得以3D觀看影像和影音更為普遍。將電腦配備攝影機組並從立體影像對計算深度和空間關係已在3D模型化、機器人導引、新的影像合成、擴增式實境和遊戲等應用上良好書面化。近來，立體成像已在普遍諸如Fuji® (富士)的Finepix 3D攝影機和Sony® (索尼)的Bloggie 3D攝影機的手持式影音攝影機的應用中出現。
慣用上，應用程式從所擷取之立體影像產生深度圖，其使用基本的立體重建演算法，以藉由比較跨越從偏移位置所取得之兩個或多個影像的場景點之投射而產生每個像素之深度值。以另一方式陳述，該立體重建演算法本質上係像素匹配運算。通常藉由最小化平方之總和、最大化像素關聯性或藉由施加分級(rank)或統計轉換(census transform)並隨後匹配該等分級或位元串而執行該像素匹配。這些演算法在具有特定結構之表面 (textured surfaces)上運作得相當好，但該等演算法在有均勻色彩的表面上做到準確的匹配有困難。此外，由於在該等邊界的深度不連續處將使得局部像素跨越該等不同影像而不同(例如：該閉合表面封閉在一個影像之背景中的像素，但在該另一影像中封閉不同的背景物件，故因此那些像素並未具有對應的匹配)，故像素匹配演算法在緊鄰封閉邊界之處可能失敗。該慣用的演算法可能的失敗處之一個良好範例係當透過諸如籐椅或花鏈柵欄(chain link fence)的精細網格取得照片時。
據此，本領域亟需用於產生與立體影像相關聯且準確的每個像素深度圖之更有效的方法。
本發明之一個具體實施例提出從一組立體影像產生深度圖的方法。該方法包括產生與在該組立體影像中的第一影像和在該組立體影像中的對應第二影像相關聯的比率圖之該等步驟，其中該第一影像係以使用環境照明的第一影像感測器擷取，且該第二影像係以使用閃光照明的該第一影像感測器擷取。該第一影像對應於與該第一影像係以該第一影像感測器擷取大體上同時以第二影像感測器擷取的第三影像。同樣地，該第二影像對應於與該第二影像係以該第一影像感測器擷取大體上同時以該第二影像感測器擷取的第四影像。該方法更包括下列步驟：基於該第二影像與該第四影像之比較而產生與該第二影像相關聯的視差圖；以及產生與該第二影像相關聯的深度圖。該方法亦可包括下列步驟：產生與該第三影像和該第四影像相關聯的比率圖；產生與該第四影像相關聯的視差圖；以及產生與該第四影像相關聯的深度圖。對於在該第二影像中之每個像素，該比 率圖將該像素與基於該第二影像的該像素之第一強度值對基於第一影像的對應像素之第二強度值之比率關聯在一起，該視差圖將該像素與根據將在該第二影像中的像素相較於在該第四影像中的對應像素之像素匹配演算法的視差值關聯在一起，其中該像素匹配演算法包括基於與該像素相關聯的該比率之至少一個計算，且該深度圖將該像素與基於與該像素、焦距和基線偏移距離相關聯的該視差值而計算的深度值關聯在一起。
根據以上所提出之該方法，本發明之另一具體實施例提出電腦可讀取儲存媒體，其包括指令，當以處理單元執行時使得該處理單元執行從一組立體影像產生深度圖的運算。本發明之又另一具體實施例提出從一組立體影像產生深度圖的系統。該系統包括一記憶體以及一處理器。該記憶體係配置成儲存以兩個或多個影像感測器所擷取之該組立體影像，其包括一第一影像，其係以使用環境照明的該第一影像感測器擷取；一第二影像，其係以使用閃光照明的該第一影像感測器擷取；一第三影像，與該第一影像係以該第一影像感測器擷取大體上同時以第二影像感測器擷取；以及一第四影像，與該第二影像係以該第一影像感測器擷取大體上同時以該第二影像感測器擷取。根據以上所提出之該方法，該處理器係耦合於該記憶體並配置成執行從一組立體影像產生深度圖的運算。
所揭示系統之一個優勢係該立體視覺攝影機不需求高度校正該光源位置或強度輪廓以產生穩健的深度圖。可在許多低成本的手持式裝置中實行於文中所說明之該技術。僅比較使用不同照明度所擷取之光強度之比率提供了資訊，其可以用於有效匹配對應於相同表面的像素並區別在該等像素匹配演算法中位於不同深度的像素。
100‧‧‧電腦系統；運算系統
102‧‧‧中央處理單元
104‧‧‧系統記憶體；記憶體
105‧‧‧記憶體橋接器
106‧‧‧匯流排或其他通信路 徑；通信路徑
107‧‧‧I/O(輸入/輸出)橋接器
108‧‧‧使用者輸入裝置
110‧‧‧顯示裝置
112‧‧‧並行處理子系統；圖形處理單元
113‧‧‧匯流排或第二通信路徑；通信路徑
114‧‧‧系統磁碟
116‧‧‧開關
118‧‧‧網路轉接器
120、121‧‧‧附加卡
200‧‧‧立體視覺攝影機
CL =201‧‧‧左影像感測器
CR =202‧‧‧右影像感測器
203‧‧‧左透鏡
204‧‧‧右透鏡
210‧‧‧物件
300‧‧‧立體視覺攝影機
=321‧‧‧表面法線向量
=322‧‧‧方向向量
330‧‧‧閃光裝置
(Gl ,Gr )=401+402‧‧‧第一立體影像對；無閃光立體影像對；影像
(Fl ,Fr )=411+412‧‧‧第二立體影像對；閃光立體影像對；影像
Fl =411‧‧‧左閃光立體影像；左立體影像
Fr =412‧‧‧右閃光立體影像；右立體影像
(Rl ,Rr )=421+422‧‧‧比率圖
451‧‧‧第一物件
452‧‧‧第二物件
453‧‧‧第三物件
500‧‧‧16像素乘16像素窗型
501‧‧‧像素x
505‧‧‧7x7窗型
510‧‧‧窗型
515‧‧‧方框；窗型
600-0、600-30‧‧‧視差圖
601‧‧‧局部不一致
700‧‧‧方法
710、712、714、716、718‧‧‧步驟
800‧‧‧方法
810、812、814‧‧‧步驟
B‧‧‧基線
Z‧‧‧距離
f‧‧‧焦距
P1 ‧‧‧左前角
P2 ‧‧‧右前角
X1 ‧‧‧第一像素位置
X2 ‧‧‧第二像素位置
X3 ‧‧‧第三像素位置
X4 ‧‧‧第四像素位置
D‧‧‧視差；視差值
x1、x2、x3、x4‧‧‧尺寸
Z‧‧‧深度
P、O‧‧‧點
G(P)、F(P)‧‧‧光強度
η‧‧‧比例常數
Ia ‧‧‧環境照明之強度
Rs ‧‧‧表面反射率
If ‧‧‧該閃光之強度
r‧‧‧距離；搜尋範圍；該偏移之最大半徑
‧‧‧內積
(tf ,tr )‧‧‧暴露時間
ε‧‧‧某小數目
x‧‧‧像素
△‧‧‧偏移
x+△‧‧‧偏移像素
x-D+△‧‧‧對應偏移像素
dR‧‧‧該等比率值之差異
dF‧‧‧光強度之差異
1*‧‧‧第一係數
2*‧‧‧第二係數
σ△、σR‧‧‧標準差
u、v‧‧‧像素單元距離
Dmax ‧‧‧最大視差量
Zmin‧‧‧最小深度
Rl ‧‧‧比率值
Dl 、Dr ‧‧‧視差圖
Zl ‧‧‧深度圖
E(x)‧‧‧視差誤差
D(x)‧‧‧經估計之視差；視差 圖；經估計之視差值
Ω‧‧‧所有加權W(x,△)之總和
τ‧‧‧2
e-C(x+△) ‧‧‧指數項
NσR 、NσD ‧‧‧係數
i‧‧‧所完成之遞迴數目
N‧‧‧臨界值遞迴數目
因此藉由參照其中某些係例示於所附圖式中的具體實施例，可得知於其中可以詳細了解該等以上所陳述之本發明特徵的該方式，以及以上簡要所總結之本發明之更具體的說明。然而，由於本發明可承認其他同樣有效的具體實施例，故應注意所附圖式僅例示本發明之一般具體實施例並係因此不被視為其範疇之限制。
第一圖係例示配置成實行本發明之一個或多個態樣的電腦系統之區塊圖；根據本發明之一個具體實施例，第二圖詳述立體視覺攝影機之基本的幾何形狀；根據本發明之一個具體實施例，第三圖例示擷取閃光/無閃光立體影像對的立體視覺攝影機；根據本發明之一個具體實施例，第四圖例示閃光/無閃光立體影像對之範例和該等對應的比率圖；根據本發明之一個具體實施例，第五A圖和第五B圖例示計算與像素相關聯的視差空間影像(disparity space image，DSI)之像素匹配演算法；根據本發明之一個具體實施例，第六A圖和第六B圖例示產生更穩健深度圖的遞迴濾波演算法；根據本發明之一個具體實施例，第七圖係產生與立體影像相關聯的視差圖之方法步驟之流程圖；以及 根據本發明之一個具體實施例，第八圖係產生與閃光立體影像相關聯的經濾波之視差圖之方法步驟之流程圖。
為了清楚表示，在適用處已使用相同的參考數字來代表在圖示之間係共用的相同元件。列入考慮一個具體實施例之特徵可納入其他具體實施例而沒有進一步的陳述。
在下列說明中，提出眾多具體細節以提供對於本發明之更完全的了解。然而，熟習此項技術者應可得知可實作本發明而沒有一個或多個這些具體細節。
系統概述
第一圖係例示配置成實行本發明之一個或多個態樣的電腦系統100之區塊圖。該電腦系統100可能係桌上型電腦、膝上型電腦、手持式裝置、行動電話、PDA(personal digital assistant，個人數位助理)、平板電腦、攝影機或其他已習知類型之消費者電子裝置。
如在第一圖中所顯示，電腦系統100包括但不限於一CPU(central processing unit，中央處理單元)102以及一系統記憶體104，其經由可包括一記憶體橋接器105的互連線路徑通信。可能係例如北橋晶片的記憶體橋接器105係經由匯流排或其他通信路徑106(例如超傳輸連結(HyperTransport link))連接至I/O(input/output，輸入/輸出)橋接器107。可能係例如南橋晶片的I/O橋接器107從一個或多個使用者輸入裝置108(例如鍵盤、滑鼠)接收使用者輸入，並經由通信路徑106和記憶體橋接器105將該輸入轉發至CPU 102。並行處理子系統112係經由匯流排或第二通信路徑113 (例如快速周邊組件互連(Peripheral Component Interconnect Express，PCIe)、加速圖形埠(Accelerated Graphics Port)或超傳輸連結)耦合於記憶體橋接器105；在一個具體實施例中並行處理子系統112係將像素傳送至顯示裝置110(例如慣用的陰極射線管或液晶顯示器型螢幕)的圖形子系統。系統磁碟114亦連接至I/O橋接器107。開關116在I/O橋接器107與諸如網路轉接器118和各種附加卡120和121的其他組件之間提供連接。其他組件(未明確顯示)，包括通用串列匯流排(universal serial bus，USB)或其他埠連接、光碟機(compact disc(CD)drives)、數位影碟機(digital video disc(DVD)drives)、影片錄製裝置(film recording device)和此類，亦可連接至I/O橋接器107。在第一圖中所顯示之該等各種通信路徑，包括該等明確命名之通信路徑106和113，可使用任何適合的協定實行，諸如快速周邊組件互連(PCI Express)、加速圖形埠(AGP)、超傳輸或任何其他匯流排或點對點通信協定，且在不同裝置之間的連接可使用如在此項技術中已習知之不同的協定。
在一個具體實施例中，該並行處理子系統112納入圖形和影音處理最佳化的電路，包括舉例來說影音輸出電路，並構成GPU(graphics processing unit，圖形處理單元)。在另一具體實施例中，該並行處理子系統112納入通用處理最佳化的電路，同時保留於文中更詳細所說明之該下面的計算架構。在又另一具體實施例中，該並行處理子系統112可與一個或多個其他系統元件一起整合於單一子系統中，諸如接合記憶體橋接器105、CPU 102和I/O橋接器107以形成SoC(system on chip，系統單晶片)。
應可察知於文中所顯示之該系統係例示性，且變化例和修飾例係可能。該連接布局(topology)，包括橋接器之數目和設置、CPU 102之 數目和並行處理子系統112之數目，可如所需修改。舉例來說，在某些具體實施例中，系統記憶體104係直接連接至CPU 102而非透過橋接器，且其他裝置經由記憶體橋接器105和CPU 102與系統記憶體104通信。在其他替代性布局中，並行處理子系統112係連接至I/O橋接器107或直接連接至CPU 102，而非連接至記憶體橋接器105。在又其他具體實施例中，I/O橋接器107和記憶體橋接器105可整合於單一晶片中，而非作為一個或多個分離的裝置而存在。大型具體實施例可包括兩個或多個CPU 102以及兩個或多個並行處理系統112。於文中所顯示之該等特定組件係視需要；舉例來說，可支援任何數目之附加卡或周邊裝置。在某些具體實施例中，開關116是被移除的，且網路轉接器118和附加卡120、121直接連接至I/O橋接器107。
根據本發明之一個具體實施例，第二圖詳述立體視覺攝影機200之基本的幾何形狀。該立體視覺攝影機200可包括運算系統100之一個或多個元件。舉例來說，立體視覺攝影機可包括一CPU 102以及一系統記憶體104，其以系統匯流排連接。該立體視覺攝影機200亦可包括一並行處理子系統112，其用於處理影像數據。在一個具體實施例中，該立體視覺攝影機包括該CPU 102和該GPU 112在相同的積體電路上以形成SoC。該立體視覺攝影機200亦可包括應用程式或韌體，其儲存於系統記憶體104中，當以CPU 102或GPU 112執行時，讓該立體視覺攝影機200能夠處理立體影像並產生深度圖，如以下更充分所說明。再者，立體視覺攝影機之該等元件可包括於運算系統100內，諸如藉由在平板電腦、行動電話或其他手持式裝置中包括兩個影像感測器。
如在第二圖中所顯示，立體視覺攝影機200亦可包括兩個或 多個偏移影像感測器，其讓該立體視覺攝影機200能夠擷取一組立體影像。在一個具體實施例中，該等數位影像可儲存於系統記憶體104或某些其他非揮發記憶體中，其可被移除或可不移除。該等影像可經由諸如32bpp(bits per pixel，每像素位元)BMP(bitmap，點陣圖)格式的非壓縮格式或諸如JPEG(Joint Photographic Experts Group，靜態影像壓縮標準)格式的壓縮格式儲存於記憶體中。該立體視覺攝影機200隨後可處理從記憶體104所讀取之該等影像。在另一具體實施例中，該原始影像感測器數據可在從該等影像感測器讀取之後立即經由立體影像處理管線處理。該經處理之數據隨後可以該等可使用的格式之一寫出至系統記憶體104。
第二圖更例示使用兩個影像感測器擷取立體影像對。左影像感測器(CL )201擷取左影像，且右影像感測器(CR )202大體上同時擷取右影像。每個影像感測器201、202皆可與將光線聚焦於該影像感測器之表面上的透鏡配對。舉例來說，如所顯示，左透鏡203係與該左影像感測器201配對，且右透鏡204係與該右影像感測器202配對。雖然在第二圖中並未明確顯示，但每個影像感測器皆可整合於影像感測器組合件中，其包括一透鏡、一影像感測器、一快門機構和一個或多個濾波器，諸如可被移除或可不被移除的偏光濾波器或色彩濾波器。在一個具體實施例中，該等影像感測器201、202可能係CMOS(complementary metal oxide semiconductor，互補金氧半導體)影像感測器。在另一具體實施例中，該等影像感測器201、202可能係CCD(charge coupled device，電荷耦合元件)影像感測器。
在一般配置中，該等影像感測器201、202在第一維度上偏移了基線(baseline，B)偏移距離。該基線偏移允許分析該等所擷取之影像以判 定與在對應立體影像對中的物件相關聯的該深度。舉例來說，如在第二圖中所顯示，物件210係顯示於在該左影像感測器201和該右影像感測器202之視覺重疊範圍內的位置。該物件與該立體視覺攝影機200之該等透鏡203、204之表面相距了距離(Z)。該等透鏡203、204係與焦距(f)相關聯，其係從該等透鏡203、204至該影像感測器之表面(亦即：聚焦平面)的距離，在該表面穿過該透鏡的所有準直光線皆收斂於在該影像感測器上的單一點。該焦距係關於該等透鏡203、204之幾何形狀和材料。如熟習此項技術者已習知，該焦距與該視野(field of view，FOV)之形狀成反比。換言之，當該光學系統之該焦距縮小時，該光學系統之該視野增加。該等透鏡203、204將位於該影像感測器前面等於該焦距(f)的位置，使得穿過該透鏡的光線係聚焦於該影像感測器上。
當使用者擷取影像時，反射離開物件210之表面的光線係投射於該等影像感測器201、202之表面上。該物件210之左前角(P1 )係在第一像素位置X1 投射於該左影像感測器201上，且物件210之右前角(P2 )係在第二像素位置X2 投射於該左影像感測器201上。同樣地，該物件210之左前角(P1 )係在第三像素位置X3 投射於該右影像感測器202上，且物件210之右前角(P2 )係在第四像素位置X4 投射於該右影像感測器202上。應可察知，依該透鏡(或該等透鏡)之配置而定，藉由取樣該等影像感測器201、202所擷取之該影像可同時在水平(如在第二圖中所顯示)和垂直方向上倒轉(inverted)。該立體視覺攝影機200可配置成藉由以該反向順序取樣像素而校正該倒轉。
如在第二圖中亦顯示，由於涉及該等影像感測器201、202之位置的物件210之相對位置，故在該等左和右影像中該物件210之投射位 置不相同。此效果係稱為視差，且係由立體視覺系統利用以讓使用者能夠體驗3D效果。換言之，來自位置遠離該攝影機(亦即：在該背景中)之物件的光線在大約相同的角度穿過左透鏡203和右透鏡204，且係投射於在該左影像感測器201和該右影像感測器202中相同的像素位置上。相反地，來自位置較接近該攝影機之物件的光線在不同的角度穿過該左透鏡203和該右透鏡204，故因此係投射於在該等影像感測器201、202上的不同像素位置。在該等所投射之像素位置中的該視差將總是如同在該等影像感測器201、202之間的該基線偏移一樣在相同的維度(例如水平)上。在該左影像中所投射之點之該等像素位置與在該右影像中相同的所投射之點之間的此視差(D)讓處理單元能夠分析該等所擷取之影像，以估計與在該場景內之該等不同點(亦即：像素)相關聯的深度。如以下所顯示，藉由分別求解方程式1和2而執行計算物件210之該左前角(P1 )和該右前角(P2 )之該等所投射之像素位置的該視差(D)。
D (P 1 )=x 1 -x 3 (式1)
D (P 2 )=x 2 -x 4 (式2)
如所顯示，x1 和x2 係從經由該左影像感測器201所擷取之該左立體影像之左邊緣所測量之尺寸，且x3 和x4 係從經由該右影像感測器202所擷取之該右立體影像之左邊緣所測量之尺寸。應可察知該等所擷取之立體影像之左邊緣可不對應於該對應影像感測器之該等最左側的像素。可執行該立體視覺攝影機200之校正以矯正該左影像和該右影像，使得對於從位於該背景中之物件所發出之光線，在該左立體影像中之該最左側的像素對應於在該水平方向上之該右立體影像之最左側的像素。
如以下所顯示，給定物件210之該左前角(P1 )和該右前角(P2 )的該等經計算之視差(D)，藉由分別求解方程式3和4而執行計算物件210之該左前角(P1 )和該右前角(P2 )的該等深度(Z)。
該焦距(f)和該基線(B)係基於在該立體視覺攝影機200中所 實行之該等影像感測器201、202和該等透鏡203、204之配置而定義的已知常數。因此，如方程式3和4清楚所示，該深度與在左和右影像中的對應像素之視差量成反比。從而，計算左或右影像之每個像素的該等深度皆係藉由將在一個影像中之每個像素與在該另一個影像中的對應像素匹配、計算在對應的匹配像素位置之間的該等視差，以及基於該經計算之視差而判定每個像素之深度。然而，在實作上，當試圖在每個影像中匹配該等像素位置時遇到許多問題。舉例來說，慣用的像素匹配演算法通常利用窗型函數將在一個影像中之小窗型像素與在該對應的影像中之相似窗型像素匹配。然而，接近深度不連續處邊界(亦即：該窗型可包括與位於不同深度的多個表面相關聯的像素之處)、環繞該等實際對應像素的該等窗型可由於在該場景中的該等影像感測器和物件之該等不同空間位置所造成之封閉而不同。再者，在該等搜尋範圍內之多個潛在窗型可能有相似特性的均勻表面上匹配窗型可能很難。通常，慣用的像素匹配演算法提供在物件邊緣常有較差解析度的低品質深度圖。
閃光/無閃光立體系統
根據本發明之一個具體實施例，第三圖例示擷取閃光/無閃光立體影像對的立體視覺攝影機300。如在第三圖中所顯示，立體視覺攝影機300類似於立體視覺攝影機200。然而，立體視覺攝影機300包括一閃光裝置330，其位置緊鄰該等影像感測器201、202。該閃光裝置330可能係慣用的閃光裝置，諸如充滿氙氣並以高壓放電激發以發出短閃光或脈衝光的電子閃光管。應可察知該閃光裝置330可能係能夠發出短脈衝光以照明場景的任何慣用的閃光裝置。為了實行本發明之特定態樣，相對於該等影像感測器201、202之位置，該閃光裝置330之精確定位(和所需求之對應校正)不重要。慣用的測光深度計算技術需求高度校正以在該場景內判定物件之深度。舉例來說，可能需求取樣或控制該等環境光線狀態和該閃光裝置之強度和定位。於文中所說明之該閃光/無閃光技術不需求相同程度之校正以產生穩健的深度圖。
為了使用立體視覺攝影機300產生穩健的立體影像，應擷取第一立體影像對(於文中指稱為Gl 和Gr )和第二立體影像對(於文中指稱為Fl 和Fr )兩對立體影像。該第一立體影像對(Gl ,Gr )並未依靠該閃光裝置330以照明該場景，而係依靠該環境光線以照明該場景。該第二立體影像對(Fl ,Fr )依靠該閃光裝置330以及該環境光線以照明該場景。在替代具體實施例中，可實行兩個以上的影像感測器以擷取N個視圖3D影像(例如供用於自動立體顯示器)。為了例示之目的，本發明所揭示內容指稱2個視圖立體影像，但於文中所說明之該等技術可延伸至使用N個視圖實作的替代性具體實施例。
應可察知可校正該立體視覺攝影機300以矯正以該左影像感測器201和該右影像感測器202所擷取之該等數位影像，使得兩個攝影機皆 可見的任何表面點投射於在該等所擷取之影像中之相同的掃描線(亦即在該垂直維度上)。換言之，該等所擷取之影像可對應於該等影像感測器201、202之該等像素之子部分，使得在該等影像感測器之該等邊緣上的像素之邊界無助於該等所擷取之影像之該等像素。再者，在該左影像感測器201之該等邊界中的像素之數目，可不同於在該右影像感測器202之該等對應邊界中的像素之數目。舉例來說，該左影像感測器201之上邊界可大於該右影像感測器202之上邊界，以校正在安裝於該立體視覺攝影機300中的該等影像感測器201、202之垂直方向上的失準。再者，可調整該左影像感測器201和該右影像感測器202之左和右邊界，使得位於與該立體視覺攝影機300相距無限遠之距離(Z)(亦即：從該物件反射的該等光線大體上並行同時到達該左透鏡203和該右透鏡204的足夠遠的距離)的點在該所擷取之影像之水平邊界對準。以這樣的方式校正該立體視覺攝影機300可確使位於該場景之背景中的影像具有零視差。
為了評估位於該場景中的物件之表面上的點P 320之深度(Z)而分析兩組立體影像對。假設點P位於其上的該物件之表面近似朗伯(Lambertian)表面(亦即：該表面所反射之光線係散射使得不論該觀察者之視角為何，對於觀察者而言該表面之表觀亮度皆相同)，則在該無閃光立體影像對(Gl ,Gr )之擷取期間，該所測量之從點P反射至該等影像感測器201、202之每個的光強度在方程式5中係給定為G(P)。
G (P )=η ．I a ．R s (式5)
如在方程式5中所顯示，在該無閃光立體影像對(Gl ,Gr )中的點P之該光強度G(P)藉由以上所提出之關係而與環境照明、表面形狀和反射 率相關，其中η 係在所測量之照射度與場景光度之間的比例常數，Ia 係在點P的環境照明之強度，且Rs 係在點P的表面反射率。相對而言，在該閃光立體影像對(Fl ,Fr )之擷取期間，該所測量之從點P反射至該等影像感測器之每個的光強度在方程式6中係給定為F(P)。
如在方程式6中所顯示，在該閃光立體影像對(Fl ,Fr )中的點P之該光強度F(P)藉由以上所提出之關係而與環境照明、閃光照明、表面形狀和反射率相關，其中η 係在所測量之照射度與場景光度之間的比例常數，Ia 係在點P的環境照明之強度，Rs 係在點P的表面反射率，If 係該閃光之強度，r係從點P至該閃光的距離，且〈．〉係在該表面法線向量321與至該閃光的該方向向量322之間的內積。對於左影像感測器201或右影像感測器202任一者之對應的閃光/無閃光影像對，我們皆可以藉由分析在該等對應立體影像中的像素之每個色彩分量之該等所擷取之強度值而測量G(P)和F(P)。
該測量之精確度假設該場景係靜態，其可藉由大體上同時擷取該等閃光和無閃光影像而近似。舉例來說，立體視覺攝影機300可能能夠將該等影像感測器201、202暴露於環境光線而沒有百分之一秒的閃光。該立體視覺攝影機300隨後閉合該快門並取樣該等影像感測器以擷取該無閃光立體影像對(Gl ,Gr )。幾十分之一秒後，該立體視覺攝影機300將該等影像感測器201、202暴露於有百分之一秒閃光的環境光線、閉合該快門並取樣該等影像感測器以擷取該閃光立體影像對(Fl ,Fr )。假設該場景並未包括快速移動的物件，由於兩組立體影像對皆係在幾十分之一秒內擷取，故在該左 影像感測器201或該右影像感測器202中的相似像素，對應於在該無閃光立體影像對(Gl ,Gr )和該閃光立體影像對(Fl ,Fr )兩者中之物件上的相似點。在一個具體實施例中，可藉由計算將該閃光立體影像對(Fl ,Fr )與該無閃光立體影像對(Gl ,Gr )對準的轉換(transformation)(通常係相機參數校正(homography))而校正在對應立體影像對之該擷取之間的小移動。
藉由取得在該左影像感測器201和該右影像感測器202兩者之該等對應的閃光/無閃光影像中之每個像素之該等分量的該等所擷取之強度值之比率而產生一對比率圖(Rl ,Rr )，其比較在有或沒有閃光照明所擷取之該等立體影像對中的像素之亮度之差異。在一個具體實施例中，比率圖為了閃光/無閃光立體影像係定義為在該閃光立體影像對(Fl ,Fr )中的任何點P之光強度F(P)與在該無閃光立體影像對(Gl ,Gr )中的該點P之光強度G(P)之間的該比率之對數，如以下在方程式7中所顯示。
如在方程式7中所顯示，任何點P之比率圖皆無關於表面反射率Rs ，且皆基於該表面法線向量321、至該閃光的方向向量322和物件距離r而變化。即使該等閃光和無閃光影像之暴露時間(tf ,tr )不同，且即使已施加伽瑪(Gamma)校正，但此無關性仍然保持，如以方程式8所例示。
在一個具體實施例中，為了避免導致除以零的計算，該比率圖係以方程式9定義，其中ε 係某小數目。
R (P )=log(F (P )+ε )-log(G (P )+ε ) (式9)
該等比率圖(Rl ,Rr )在本質上無關於場景反照率(albedo)，而係關於與閃光裝置330和局部表面面向相距的距離。雖然該計算對於非朗伯表面並非完全準確，但有相似比率值的鄰近像素可能源自相同的表面。舉例來說，由於點O的表面法線向量類似於點P的表面法線向量、點O的方向向量類似於點P的方向向量v，以及從點O至該閃光的距離r類似於從點P至該閃光的距離r，故緊鄰在第三圖中所顯示之該表面上之點P的點O將具有大約相似的比率值。因此，相同表面之緊鄰像素的該等比率值應係相似。若緊鄰像素之該等比率值不相似，則可表明該等像素係緊鄰深度邊界(亦即：該等像素係與位於不同深度的不同物件之不同表面相關聯)，或者該等像素係緊鄰該表面法線面向突然改變的該物件之邊緣。
根據本發明之一個具體實施例，第四圖例示閃光/無閃光立體影像對之範例和該等對應的比率圖(Rl ,Rr )。擷取第一立體影像對Gl 401和Gr 402而沒有來自該閃光裝置330的照明。短時間後，擷取第二立體影像對Fl 411和Fr 412而有來自該閃光裝置330的照明。如在影像401、402、411和412中所顯示，第一物件451係位於該場景之前景中，故因此投射於與該第一物件451對應的該等影像感測器201、202之像素上的該光線，係與在對應於該等左和右立體影像的該等像素位置之間的非零視差相關聯。第二物件452係位於該場景之背景中，故因此投射於對應於該第二物件452的該等影像感測器201、202之像素上的該光線，係與在對應於該等左和右影像的該等像素位置之間的零視差相關聯。第三物件453係位於小於物件452之深度並大於物件451之深度的深度(Z)。因此，投射於對應於該第三物件453的該等影像感測器201、202之像素上的該光線亦係與在對應於該等左和右影像 的該等像素位置之間的非零視差相關聯。然而，與該第三物件453對應的該等像素位置相關聯的該視差小於與該第一物件451對應的該等像素位置相關聯的該視差，故因此該第一物件451和該第三物件453之相對定位在該等左和右影像中係不同。
如在第四圖中所顯示，投射於與在該場景之前景中之物件相關聯的該等像素上的光強度，在該第二立體影像對Fl 411和Fr 412中高於投射於與在該場景之前景中之物件相關聯的該等像素上在該第一立體影像對Gl 401和Gr 402中的光強度。此外，投射於與在該場景之背景中之物件相關聯的該等像素上的光強度在該第二立體影像對Fl 411和Fr 412中大體上係與投射於與在該場景之背景中之物件相關聯的該等像素上在該第一立體影像對Gl 401和Gr 402中的光強度相同。如以方程式6所反映，由該閃光裝置330所提供之照明將從較接近該閃光裝置330的物件反射較高強度光(亦即：與來自該閃光裝置的照明相關的光強度與物件和該閃光裝置330相距的距離之平方成反比)。
如在第四圖中亦顯示，對應於從該等閃光/無閃光立體影像對所產生之該左影像感測器201和該右影像感測器202的該等比率圖(Rl ,Rr )，於文中分別指稱為Rl 421和Rr 422，顯示位於較淺深度(亦即：在該場景之前景中)的物件之光強度值之間之差異(亦即：比率值)大於位於較深深度(亦即：在該場景之背景中)的物件。舉例來說，由於與物件451相關聯的像素之光強度之差異(顯示為諸如白色或灰色的較亮色彩)大於與物件453相關聯的像素之光強度之差異(顯示為較暗色彩以反映光強度值之較小改變)，故該等比率圖Rl 421和Rr 422反映物件451較物件453更接近該立體視覺攝影機 300。同樣地，該等比率圖Rl 421和Rr 422反映物件452係位於足夠深的深度，使得在由於該閃光裝置330之照明而從物件452所反射之光強度上的改變可忽略。
該等比率圖可用於產生在該第二立體影像對Fl 411和Fr 412中之每個像素的視差空間影像(disparity space image，DSI)。視差空間影像係與給定像素x之潛在視差值相關聯的成本值之向量。換言之，該視差空間影像計算與估計在一個影像中的像素係位於每個分離的深度位置相關聯的成本值，其中該成本值列入考慮該等比率圖(Rl ,Rr )。基於在包括於在該左閃光立體影像Fl 411中以像素x為中心的窗型內之該等像素與包括於在該右閃光立體影像Fr 412中以不同像素為中心的對應搜尋窗型內之該等像素之間的相似性而計算該成本值。在一個具體實施例中，基於以下所提出之方程式10而計算該視差空間影像。
dR =R l (x +△)-R l (x ) (式11)
dF =F l (x +△)-F r (x -D +△) (式12)
在方程式10中，△係在該像素匹配窗型之搜尋範圍(r)內之像素中的偏移，r係該偏移之最大半徑(例如對於7像素乘7像素的搜尋窗型，r等於3)，dR係在該左立體影像Fl 411中的該窗型內的偏移像素(x+△)和在該左立體影像Fl 411中的該給定像素(x)之該等比率值之差異，且dF係在該左立體影像Fl 411中的該偏移像素(x+△)和在基於該搜尋窗型的該右立體影像Fr 412中的對應偏移像素(x-D+△)之光強度之差異。該第一係數(1* )係推導自有關 於該窗型之大小和在該窗型內之偏移(△)的標準差(σ△ )的高斯(Gaussian)函數的值。該第一係數(1* )的高斯函數之範例以下係在方程式13中給定，其中u和v係從該窗型之中心至與該偏移(△)相關聯的該像素之像素單元距離。應可察知方程式13對於給定的窗型大小和標準差(σ△ )而言係常數，故因此可預計算矩陣以產生複數個第一係數(1* )以施加於在該窗型中之每個像素。
同樣地，該第二係數(2* )係推導自關於緊鄰像素x的該比率圖之局部範圍的高斯函數的值。該第二係數(2* )的高斯函數之範例以下係在方程式14中給定，其中該標準差(σR )係依環繞像素x的該比率圖之局部範圍而定的函數。
換言之，當為了選擇給定像素x之視差值D而計算該成本值時，在該所產生之比率圖之局部區域中的該匹配窗型之大小和該等值之範圍判定如何加權像素。
根據本發明之一個具體實施例，第五A圖和第五B圖例示計算與像素x 501相關聯的視差空間影像(DSI)之像素匹配演算法。為了例示之目的，該等閃光立體影像Fl 411和Fr 412在水平或x維度上的寬度係256個像素，且在垂直或y維度上的高度係192個像素。如在第五A圖中所顯示，像素x 501具有相對於位於該影像之左上角的該影像Fl 411之原點的<98 px(像素)，52px>之位置指標(index)。分解16像素乘16像素窗型500之細節圖以對於在該左閃光立體影像Fl 411中的像素x 501提供該等緊鄰像素之較佳視圖。在 一個具體實施例中，計算像素x 501之視差空間影像係使用如以上所說明之像素匹配演算法實行。如在該像素匹配演算法之一個具體實施例中所使用，在該左閃光立體影像Fl 411中的窗型505係顯示於第五A圖中，其以像素x 501為中心，大小係7像素乘7像素。
可基於立體視覺攝影機300之可使用的處理能力而選擇該窗型之大小。較大的窗型大小對於與像素x 501和給定視差D(亦即：如在方程式10中所顯示之C(x,D))相關聯的每個成本值需求較多計算。較小的窗型大小對於每個成本值需求較少計算。舉例來說，給定例示於第五A圖中的該7×7窗型505，計算成本值包括49個不同項之總和，其中每個項皆需求判定關於該匹配窗型之大小的第一係數(1* )之檢查運算、關於判定dR之計算(在該比率圖Rl 421內需求兩個檢查運算)、判定dF之計算(在該對應的閃光立體影像對Fl 411和Fr 412內需求兩個檢查運算)、判定關於該比率圖之範圍的第二係數之計算或檢查運算，以及從該第一係數、該第二係數和dF之平方判定該項的乘法運算。雖然該成本值計算依據計算之數目可能係昂貴，但應可察知過度縮小該窗型大小可導致較不準確的視差空間影像。
如在第五B圖中所顯示，方框515顯示將在該左閃光立體影像Fl 411中的窗型505之該等像素與在該右閃光立體影像Fr 412中的複數個潛在搜尋窗型(例如窗型510)中之該等像素匹配的該等最大搜尋範圍。每個潛在搜尋窗型皆從像素x 501之對應位置偏移了視差D。應可察知對於在該左閃光立體影像Fl 411中之任何像素x 501，在該右閃光立體影像Fr 412中之該對應的不同像素(x-D)皆應位於如同像素x 501的相同位置或與像素x 501之左側相距某距離D之處。在一個具體實施例中，該等搜尋範圍可限於某最 大視差量Dmax ，諸如64個像素，其係關於在該立體影像對Fl 411和Fr 412中之任何像素之最小深度Zmin 。在另一具體實施例中，該等搜尋範圍可無限，且該像素匹配演算法將計算每個像素之成本值至對應於像素x 501的該像素位置之左側，上至並包括在該右閃光立體影像Fr 412之邊緣的像素。在又另一具體實施例中，可根據像素x 501之比率值(Rl )設定該等搜尋範圍。舉例來說，小的比率值可表明像素x 501之表面係位於足夠深的深度，且該對應的匹配像素之視差D預期係很小。
一旦計算了像素x 501之視差空間影像，則判定對於像素x 501之視差D的估計。在一個具體實施例中，如以方程式15所例示，該像素匹配演算法實行贏者全取(winner-take-all，WTA)最佳化，其藉由在與像素x 501相關聯的該視差空間影像中找出最小成本值而判定像素x 501之經估計之視差。像素x 501之經選擇之視差D係在該窗型515之該等搜尋範圍內最小化該成本函數(例如：方程式10)的值D。在替代性具體實施例中，可實行估計像素之視差值D的較高品質全域法(global methods)，諸如圖形分割法(Graph-cut appraoch)或熟習此項技術者已習知之其他演算法。根據以上所提出之方程式3或4，計算該閃光立體影像之每個像素的視差D產生視差圖(Dl )，其可用於產生該閃光立體影像之每個像素的深度圖Zl 。
D (x )=minC (x ,D ) (式15)
在一個具體實施例中，為了估計封閉表面之深度Z，亦可實行左右一致性(left-right-consistency，LRC)技術。在該LRC技術中，如以上所說明產生該左閃光立體影像Fl 411之每個像素的視差圖(Dl )。除了用於方程式10之dR和dF的該等項係當產生該右閃光立體影像Fr 412之視差圖(Dr )時 使用替代方程式11和12的方程式16和17計算之外，對於該右閃光立體影像Fr 412之像素執行相似的運算以產生對應的視差圖(Dr )。同樣地，該等搜尋範圍將延伸至在該左閃光立體影像Fl 411中的右側，而非如同在該右閃光立體影像Fr 412中至左側。
dR =R r (x +△)-R r (x ) (式16)
dF =F r (x +△)-F l (x +D +△) (式17)
在該LRC技術中，如以方程式18所例示，在該左閃光立體影像Fl 411中的像素之經估計之視差應係在該右閃光立體影像Fr 412中的該對應像素之經估計之視差之相反(opposite)。若精確估計在一個立體影像中的像素和在該另一個立體影像中的該對應像素之Dl 和Dr ，則視差誤差E(x)應接近零。在一個具體實施例中，若該視差誤差E(x)大於臨界值界限，則像素x 501之經估計之視差D(x)可標記為不可靠(或封閉)。對於任何這樣的像素，該經估計之視差可計算為來自該左閃光立體影像Fl 411的經估計之視差和來自該右閃光立體影像Fr 412的經估計之視差之平均。在其他具體實施例中，封閉像素將從有相似比率值的鄰近像素複製視差。
E (x )=|D l (x )+D r (x +D l (x ))| (式18)
慣用的立體像素匹配演算法可能很難準確估計緊鄰深度不連續處的像素之視差(D(x))。如在第五A圖中的窗型505所顯示，在窗型505中的某些該等像素係與該第三物件453之表面相關聯，其係位於涉及該左影像感測器201的該第一物件451後面。然而，在該右閃光立體影像Fr 412中以對應的不同像素為中心的搜尋窗型510，由於涉及該右影像感測器202的該等物件之相對位置，故可不包括與該第三物件453相關聯的任何像素。慣用 的像素匹配演算法可能無法辨別位於不同深度之不同物件的該等像素，故因此該慣用的演算法可判定窗型505並不類似於在該對應立體影像中的該窗型510，且基於在該等搜尋範圍內的不同搜尋窗型，該經估計之視差D可能係不正確。藉由利用該等比率圖來加權與在不同深度的表面相關聯的像素，於文中所說明之該閃光/無閃光像素匹配演算法產生立體影像對之每個像素之更準確的視差估計。再者，由於該比率圖係為了匹配而非直接計算視差估計或深度值之目的而用於濾波像素，故該閃光/無閃光像素匹配演算法不需求該閃光裝置330之精確校正。
在一個具體實施例中，可擷取立體影像對作為部分立體影音。在這樣的具體實施例中，可藉由分析立體影音之連續畫面以產生與在場景中的該等各種物件(亦即：多組相關像素)相關聯的經估計之移動向量而估計在該場景中的物件之移動。可藉由施加該經估計之移動向量以校正在擷取該無閃光立體影像對的點與擷取該閃光立體影像對的點之間出現的物件之小位移而增強以上所說明之該像素匹配演算法。舉例來說，可基於在以該經估計之移動向量從在該閃光立體影像(亦即：411、412)中的該給定像素位置偏移的該無閃光立體影像中的像素(亦即：401、402)而計算該等比率值。
濾波以縮小深度量化(quantization)
較使用慣用的像素匹配演算法所產生之視差圖更準確的使用該閃光/無閃光像素匹配演算法所產生之該視差圖D(x)，對於基於局部不平整的特定像素仍可能具有很差的精確度。然而，通常視差值和比率值兩者對於任何平面表面皆係局部線性。換言之，在相同表面上的緊鄰點通常 將位於大約相同的深度，故因此應具有相似的視差和比率值。因此，濾波以該閃光/無閃光像素匹配演算法所產生之該等視差圖將產生該閃光立體影像對(Fl ,Fr )之更穩健的深度圖。
根據本發明之一個具體實施例，第六A圖和第六B圖例示產生更穩健深度圖之遞迴濾波演算法。第六A圖顯示包括一個人之手的場景之視差圖600-0，其係根據以上所提出之該閃光/無閃光像素匹配演算法而計算。然而，如第六A圖所顯示，該視差圖600-0包括局部不一致(例如601)，其中該閃光/無閃光像素匹配演算法似乎具有特定像素之不正確的視差值。在一個具體實施例中，該立體視覺攝影機300可至少部分基於比率圖(Rl ,Rr )而濾波該原始的視差圖600-0，以提供與該閃光立體影像對(Fl ,Fr )相關聯的更一致且準確的視差圖。根據一個範例具體實施例，實行以下所顯示之方程式19以濾波像素x之視差值，其中Ω係所有加權W(x,△)之總和，且τ係設定為2(亦即：5像素乘5像素窗型)。
換言之，該經濾波之視差圖之每個像素皆係從在該原始的視差圖600-0中的鄰近像素之經加權之總和計算。相對於像素x的每個像素位置之該等加權皆由以下所顯示之方程式20、21和22給定。
δF (x )=F (x +△)-F (x ) (式21)
δD i (x )=D i (x +△)-D i (x ) (式22)
該指數項(e-C(x+△) )係該匹配演算法之可信度，且係關於為了 特定像素x和經估計之視差D而以方程式15所給定之該成本值。換言之，給定像素x之低成本值(亦即：良好的匹配信心)導致較有高成本值(亦即：很差的匹配信心)的像素更大的加權。該加權計算之基本想法係該深度資訊應從高信心像素流向低信心像素。再次，該等NσR 和NσD 係數係以類似於如以上所提出之方程式13或14的高斯函數產生。將方程式19施加於該視差圖600-0產生新的經濾波之視差圖。如在第六B圖中所顯示，可重複施加方程式19之濾波函數超過遞迴數目N以產生諸如視差圖600-30(遞迴30次)的經濾波之結果。該遞迴濾波演算法有效移除不匹配該等鄰近像素的單一像素不連續處。
根據本發明之一個具體實施例，第七圖係產生與立體影像相關聯的視差圖之方法步驟之流程圖。雖然該等方法步驟係與第一至六圖之該等系統結合說明，但一般技術者應可了解配置成執行該等方法步驟的任何系統皆落於本發明之範疇內。
如所顯示，方法700開始於步驟710，其中立體視覺攝影機300擷取立體影像對Gl 401、Gr 402而未使用來自閃光裝置330的閃光照明。其後不久，在步驟712，該立體視覺攝影機300使用來自閃光裝置330的閃光照明擷取立體影像對Fl 411、Fr 412。在某些具體實施例中，將實行兩個以上的影像感測器以擷取n元組(n-tuple set)之影像(有及沒有閃光照明)。
在步驟714，該立體視覺攝影機300產生與有閃光照明所擷取之該等閃光立體影像(例如Fl 411、Fr 412)相關聯的一組比率圖。對於在該組閃光立體影像中之每個影像，比率圖皆係定義為在該閃光立體影像中的像素之光強度值與在該對應的無閃光立體影像中的像素之該等光強度值之比 率之對數。在一個具體實施例中，該比率圖係根據以上所提出之方程式9而定義。該比率圖提供在該等閃光立體影像中之每個像素的深度之粗略指示，其中在相似表面上的相似深度和面向之像素具有相似的比率值。
在步驟716，該立體視覺攝影機300藉由實行閃光/無閃光像素匹配演算法而產生與該等閃光立體影像和該等對應的比率圖相關聯的一組視差圖。對於在該組閃光立體影像(例如Fl 411、Fr 412)中之每個影像，視差圖皆係定義為與在該閃光立體影像中之該等像素相關聯的該組經估計之視差值(D(x))。在一個具體實施例中，像素之每個視差值皆與該給定像素之潛在視差值的範圍之最小成本對應。可藉由求解以上所提出之方程式15而導出該最小成本。
在步驟718，該立體視覺攝影機300基於該等視差圖中至少一者而產生深度圖。在一個具體實施例中，給定該立體視覺攝影機300之已知的焦距和基線偏移，可藉由求解以上所提出之方程式3或4而計算該深度圖。隨後，終止方法700。
根據本發明之一個具體實施例，第八圖係產生與閃光立體影像相關聯的經濾波之視差圖之方法步驟之流程圖。雖然該等方法步驟係與第一至六圖之該等系統結合說明，但一般技術者應可了解配置成以任何順序執行該等方法步驟的任何系統皆落於本發明之範疇內。
如所顯示，方法800開始於步驟810，其中產生閃光立體影像之視差圖。舉例來說，可藉由方法700產生該視差圖。在步驟812，該立體視覺攝影機300濾波該視差圖以產生經濾波之視差圖。在一個具體實施例中，該立體視覺攝影機300實行根據以上所提出之方程式19的該濾波函數以 濾波該原始的視差圖。在步驟814，立體視覺攝影機300判定所完成之遞迴數目i是否大於或等於臨界值遞迴數目N。若i小於N，則該方法800返回步驟812，其中立體視覺攝影機300藉由濾波在該先前遞迴期間所產生之經濾波之視差圖而執行附加的遞迴並添加1至i。然而，若i大於或等於N，則終止方法800。
總結來說，穩健的深度圖係從有及沒有閃光照明所擷取之一組立體影像產生。由於實行根據使用不同閃光照明所擷取之光強度之比率加權在匹配窗型中的像素之像素匹配演算法，故該深度圖較使用慣用的技術所產生之深度圖更穩健。該比率圖提供相對於鄰近像素的深度之粗略估計，該等鄰近像素讓該像素匹配演算法能夠降值(devalue)似乎較在該匹配窗型中之中心像素位於不同深度的像素。該技術在深度不連續處穩健的一個原因係該比率影像提供匹配限制而未直接涉及在該匹配窗型內之鄰近像素。傳統的技術僅依靠在該匹配窗型內的強度變化，當在該匹配窗型內之某些像素與不同的背景物件相關聯時，其並非同樣穩健。再者，該比率圖可用於濾波該所產生之視差圖以產生對於在立體影像內的物件之深度的平穩(smooth)估計。
該所揭示系統之一個優勢係該立體視覺攝影機不需求高度校正以產生穩健的深度圖。可在許多低成本的手持式裝置中實行於文中所說明之該技術。僅比較使用不同照明度所擷取之光強度之比率提供了深度資訊，其可以用於有效區別在該等像素匹配演算法中位於不同深度的像素。
本發明之一個具體實施例可實行為與電腦系統共用的程式產品。該程式產品之一個或多個程式定義該等具體實施例(包括於文中所說 明之該等方法)之功能，且可以容納於多種電腦可讀取儲存媒體上。例示性電腦可讀取儲存媒體包括但不限於：(一)於其上永久儲存資訊的非可寫儲存媒體(例如在電腦內的唯讀記憶體裝置，諸如可以唯讀光碟(compact disc read only memory，CD-ROM)機讀取的CD-ROM磁碟、快閃記憶體、唯讀記憶體(read only memory，ROM)晶片或任何類型之固態非揮發半導體記憶體)；以及(二)於其上儲存可改變資訊的可寫儲存媒體(例如在磁碟機或硬碟機內的軟式磁碟或任何類型之固態隨機存取半導體記憶體)。
以上已參照特定具體實施例說明本發明。然而，一般技術者應可了解可做到各種修飾例和變化例而不悖離如在所附諸申請專利範圍中所提出之本發明之更廣泛的精神與範疇。據此，前述說明和圖式係視為例示性而非限制性。
因此，在下列諸申請專利範圍中提出本發明之具體實施例之範疇。

Claims (10)

  1. 一種從一組立體影像產生深度圖的電腦實行方法，該方法包含：產生與在該組立體影像中的一第一影像和一第二影像相關聯的一比率圖，其中，對於在該第二影像中之每個像素，該比率圖皆將該像素與基於該第二影像的該像素之一第一強度值對基於該第一影像的一對應像素之一第二強度值之一比率關聯在一起，以及其中該第一影像係以使用環境照明的一第一影像感測器擷取，且該第二影像係以使用閃光照明的該第一影像感測器擷取；基於在該組立體影像中的該第二影像與一第四影像之一比較而產生與該第二影像相關聯的一視差圖，其中，對於在該第二影像中之每個像素，該視差圖皆將該像素與根據將在該第二影像中的像素相較於在該第四影像中的對應像素之一像素匹配演算法的一視差值關聯在一起，其中該像素匹配演算法為了判定該視差值而計算至少一成本值，其中該成本值是關聯於估計該像素位於的一分離深度位置，其中該成本值是基於與該像素相關聯的該比率，以及其中一第三影像以該第一影像感測器擷取大體上同時於該第一影像以一第二影像感測器擷取，且該第四影像以該第二影像感測器擷取大體上同時於該第二影像以該第一影像感測器擷取；以及產生與該第二影像相關聯的一深度圖，其中，對於在該第二影像中之每個像素，該深度圖皆將該像素與基於與該像素、一焦距和一基線偏移距離相關聯的該視差值而計算的一深度值關聯在一起。
  2. 如申請專利範圍第1項之方法，其中，對於在該第二影像中之每個像素，產生該視差圖包含：產生包括為了複數個潛在視差值而計算的複數個成本值的一視差空間影像；以及從基於該等複數個成本值的該等複數個潛在視差值選擇一特定視差值。
  3. 如申請專利範圍第2項之方法，其中選擇該特定視差值包含從該等複數個潛在視差值選擇與在該視差空間影像中的一最小成本值相關聯的一潛在視差值。
  4. 如申請專利範圍第1項之方法，更包含：濾波該視差圖以產生與該第二影像相關聯的一經濾波之視差圖；其中，對於在該第二影像中之每個像素，該經濾波之視差圖皆將一經濾波之視差值與該像素關聯在一起；其中該經濾波之視差值係藉由計算在與緊鄰該像素的像素之一窗型相關聯的該視差圖中的一組視差值之一加權總和而產生；以及其中在該組視差值中之每個該等視差值之加權係數皆係關於與至少部分基於與該像素相關聯的該比率之該加權係數相關聯的該視差值之一可信度。
  5. 如申請專利範圍第4項之方法，更包含，對於遞迴數目N，重複濾波之步驟以產生N個連續經濾波之視差圖，其中在一現有遞迴期間所產生之每個連續經濾波之視差圖皆藉由濾波在一先前遞迴期間所產生之一連續經濾波之視差圖而產生。
  6. 如申請專利範圍第1項之方法，更包含：產生與該第四影像相關聯的一比率圖；產生與該第四影像相關聯的一視差圖；以及基於與該第二影像相關聯的該視差圖和與該第四影像相關聯的該視差圖而調整與該第二影像相關聯的該深度圖。
  7. 如申請專利範圍第6項之方法，更包含：基於與在該視差圖(其與該第二影像相關聯)中的該特定像素相關聯的該視差值和與在該視差圖(其與該第四影像相關聯)中的一對應像素相關聯的該視差值之一差異，計算在該第二影像中的一特定像素之一視差誤差；判定該特定像素之該視差誤差係高於一臨界值；以及將該特定像素標記為封閉(occluded)。
  8. 如申請專利範圍第7項之方法，更包含基於與在該視差圖(其與該第四影像相關聯)中的該對應像素相關聯的該視差值而調整與在該視差圖(其與該第二影像相關聯)中的該特定像素相關聯的該視差值。
  9. 一種從一組立體影像產生深度圖的系統，該系統包含：一記憶體，其配置成儲存以兩個或多個影像感測器所擷取之該組立體影像，其中該組立體影像包括一第一影像，其係以使用環境照明的一第一影像感測器擷取；一第二影像，其係以使用閃光照明的該第一影像感測器擷取；一第三影像，其與該第一影像係以該第一影像感測器擷取大體上同時係以一第二影像感測器擷取；以及一第四影像，其與該第二影像係以該第一影像感測器擷取大體上同時係以該第二影像 感測器擷取；以及一處理器，其耦合於該記憶體並配置成：產生與在該組立體影像中的一第一影像和一第二影像相關聯的一比率圖，其中，對於在該第二影像中之每個像素，該比率圖將該像素與基於該第二影像的該像素之一第一強度值對基於該第一影像的一對應像素之一第二強度值之一比率關聯在一起；基於在該組立體影像中的該第二影像與一第四影像之一比較而產生與該第二影像相關聯的一視差圖，其中，對於在該第二影像中之每個像素，該視差圖將該像素與根據將在該第二影像中的像素相較於在該第四影像中的對應像素之一像素匹配演算法的一視差值關聯在一起，其中該像素匹配演算法為了判定該視差值而計算至少一成本值，其中該成本值是關聯於估計該像素位於的一分離深度位置，其中該成本值是基於與該像素相關聯的該比率；以及產生與該第二影像相關聯的一深度圖，其中，對於在該第二影像中之每個像素，該深度圖將該像素與基於與該像素、一焦距和一基線偏移距離相關聯的該視差值而計算的一深度值關聯在一起。
  10. 如申請專利範圍第9項之系統，更包含：一立體視覺攝影機，其耦合於該記憶體和該處理器，其中該立體視覺攝影機包括該第一影像感測器；該第二影像感測器；一第一透鏡，其與該焦距相關聯並固定於該第一影像感測器前面；一第二透鏡，其與該焦距相關聯並固定於該第二影像感測器前面；以及一閃光裝置；其中該處理器係更配置成： 取樣該第一影像感測器和該第二影像感測器以產生該組立體影像；以及使得該組立體影像被儲存於該記憶體中。
TW102119969A 2012-06-07 2013-06-05 產生穩健立體影像的技術 TWI489857B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/490,991 US9571818B2 (en) 2012-06-07 2012-06-07 Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device

Publications (2)

Publication Number Publication Date
TW201415863A TW201415863A (zh) 2014-04-16
TWI489857B true TWI489857B (zh) 2015-06-21

Family

ID=49714988

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102119969A TWI489857B (zh) 2012-06-07 2013-06-05 產生穩健立體影像的技術

Country Status (4)

Country Link
US (1) US9571818B2 (zh)
CN (1) CN103517057A (zh)
DE (1) DE102013210153B4 (zh)
TW (1) TWI489857B (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817071B2 (en) * 2009-11-17 2014-08-26 Seiko Epson Corporation Context constrained novel view interpolation
KR101985674B1 (ko) * 2012-09-18 2019-06-04 삼성전자 주식회사 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9204121B1 (en) * 2012-11-26 2015-12-01 Amazon Technologies, Inc. Reflector-based depth mapping of a scene
US9948918B2 (en) * 2012-12-10 2018-04-17 Mediatek Inc. Method and apparatus for stereoscopic focus control of stereo camera
US10771757B2 (en) * 2012-12-10 2020-09-08 Mediatek Inc. Method and appartus for stereoscopic focus control of stereo camera
US9609305B1 (en) * 2013-03-13 2017-03-28 Amazon Technologies, Inc. Feature-based rectification of stereo cameras
US9161020B2 (en) * 2013-04-26 2015-10-13 B12-Vision Co., Ltd. 3D video shooting control system, 3D video shooting control method and program
US9373171B2 (en) * 2013-07-22 2016-06-21 Stmicroelectronics S.R.L. Method for generating a depth map, related system and computer program product
US10178373B2 (en) * 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
CN105829829B (zh) * 2013-12-27 2019-08-23 索尼公司 图像处理装置和图像处理方法
US11265534B2 (en) * 2014-02-08 2022-03-01 Microsoft Technology Licensing, Llc Environment-dependent active illumination for stereo matching
JP2015154101A (ja) * 2014-02-10 2015-08-24 ソニー株式会社 画像処理方法、画像処理装置及び電子機器
US9519956B2 (en) * 2014-02-28 2016-12-13 Nokia Technologies Oy Processing stereo images
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9868449B1 (en) * 2014-05-30 2018-01-16 Leap Motion, Inc. Recognizing in-air gestures of a control object to control a vehicular control system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
EP3241349A4 (en) * 2014-12-31 2018-08-15 Nokia Corporation Stereo imaging
KR102299575B1 (ko) * 2015-03-09 2021-09-07 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
AT517656A1 (de) * 2015-08-20 2017-03-15 Ait Austrian Inst Of Tech G M B H Fotometrisches Stereomatching
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
US10917627B2 (en) * 2016-06-03 2021-02-09 Utku Buyuksahin System and a method for capturing and generating 3D image
US10755428B2 (en) * 2017-04-17 2020-08-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
WO2018209603A1 (zh) * 2017-05-17 2018-11-22 深圳配天智能技术研究院有限公司 图像处理方法、图像处理设备及存储介质
JP6939501B2 (ja) * 2017-12-15 2021-09-22 オムロン株式会社 画像処理システム、画像処理プログラム、および画像処理方法
TWI757658B (zh) * 2018-11-14 2022-03-11 宏達國際電子股份有限公司 影像處理系統及影像處理方法
US10742892B1 (en) * 2019-02-18 2020-08-11 Samsung Electronics Co., Ltd. Apparatus and method for capturing and blending multiple images for high-quality flash photography using mobile electronic device
US10554890B1 (en) * 2019-02-18 2020-02-04 Samsung Electronics Co., Ltd. Apparatus and method for generating low-light images with improved bokeh using mobile electronic device
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
US10510155B1 (en) 2019-06-11 2019-12-17 Mujin, Inc. Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera
US11427193B2 (en) * 2020-01-22 2022-08-30 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
KR20230104298A (ko) * 2020-01-22 2023-07-07 노다르 인크. 비-강성 스테레오 비전 카메라 시스템
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion
US11657529B2 (en) * 2020-10-12 2023-05-23 Black Sesame Technologies Inc. Multiple camera system with flash for depth map generation
DE102021105795A1 (de) 2021-03-10 2022-09-15 Carl Zeiss Microscopy Gmbh Verfahren und vorrichtung zur stereoskopie
US11577748B1 (en) 2021-10-08 2023-02-14 Nodar Inc. Real-time perception system for small objects at long range for autonomous vehicles
WO2023244252A1 (en) 2022-06-14 2023-12-21 Nodar Inc. 3d vision system with automatically calibrated stereo vision sensors and lidar sensor
CN115294187B (zh) * 2022-10-08 2023-01-31 合肥的卢深视科技有限公司 深度相机的图像处理方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080297621A1 (en) * 2007-05-29 2008-12-04 Microsoft Corporation Strategies for extracting foreground information using flash and no-flash image pairs
US20090324059A1 (en) * 2006-09-04 2009-12-31 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
US20110044531A1 (en) * 2007-11-09 2011-02-24 Thomson Licensing System and method for depth map extraction using region-based filtering
TWI350375B (en) * 2004-03-09 2011-10-11 Yokohama Rubber Co Ltd Measurement apparatus for movement information of moving object
US20120039525A1 (en) * 2010-08-12 2012-02-16 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US7102683B2 (en) * 2002-04-17 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Single lens 3D camera
US6792205B2 (en) * 2002-04-17 2004-09-14 Mitsubishi Electric Research Laboratories, Inc. Method for generating a textured range image
US7724952B2 (en) * 2006-05-15 2010-05-25 Microsoft Corporation Object matting using flash and no-flash images
US8350847B2 (en) * 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
KR20090055803A (ko) * 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US8264526B2 (en) * 2008-06-27 2012-09-11 The University Of Southern Mississippi Method for front matching stereo vision
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
US9100581B2 (en) * 2010-04-02 2015-08-04 Microsoft Technology Licensing, Llc Time interleaved exposures and multiplexed illumination

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI350375B (en) * 2004-03-09 2011-10-11 Yokohama Rubber Co Ltd Measurement apparatus for movement information of moving object
US20090324059A1 (en) * 2006-09-04 2009-12-31 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
US20080297621A1 (en) * 2007-05-29 2008-12-04 Microsoft Corporation Strategies for extracting foreground information using flash and no-flash image pairs
US20110044531A1 (en) * 2007-11-09 2011-02-24 Thomson Licensing System and method for depth map extraction using region-based filtering
US20120039525A1 (en) * 2010-08-12 2012-02-16 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content

Also Published As

Publication number Publication date
CN103517057A (zh) 2014-01-15
DE102013210153B4 (de) 2021-05-06
DE102013210153A1 (de) 2014-02-20
TW201415863A (zh) 2014-04-16
US20130329015A1 (en) 2013-12-12
US9571818B2 (en) 2017-02-14

Similar Documents

Publication Publication Date Title
TWI489857B (zh) 產生穩健立體影像的技術
CN108307675B (zh) 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
Kadambi et al. 3d depth cameras in vision: Benefits and limitations of the hardware: With an emphasis on the first-and second-generation kinect models
Schöps et al. Large-scale outdoor 3D reconstruction on a mobile device
Sarbolandi et al. Kinect range sensing: Structured-light versus Time-of-Flight Kinect
US10404969B2 (en) Method and apparatus for multiple technology depth map acquisition and fusion
Tao et al. Depth from shading, defocus, and correspondence using light-field angular coherence
Zhuo et al. Defocus map estimation from a single image
US10755417B2 (en) Detection system
Jordt-Sedlazeck et al. Refractive calibration of underwater cameras
US20120242795A1 (en) Digital 3d camera using periodic illumination
CN106993112A (zh) 基于景深的背景虚化方法及装置和电子装置
US10281264B2 (en) Three-dimensional measurement apparatus and control method for the same
US20120134537A1 (en) System and method for extracting three-dimensional coordinates
US10540784B2 (en) Calibrating texture cameras using features extracted from depth images
Logothetis et al. Semi-calibrated near field photometric stereo
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
Srinivasan et al. Oriented light-field windows for scene flow
Kerl et al. Towards illumination-invariant 3D reconstruction using ToF RGB-D cameras
Liu et al. High quality depth map estimation of object surface from light-field images
CN113822942A (zh) 一种基于二维码的单目摄像头测量物体尺寸的方法
GB2545394A (en) Systems and methods for forming three-dimensional models of objects
Angelopoulou et al. Evaluating the effect of diffuse light on photometric stereo reconstruction
US10339702B2 (en) Method for improving occluded edge quality in augmented reality based on depth camera