TW201733350A

TW201733350A - 適於產生深度圖的電子裝置與方法

Info

Publication number: TW201733350A
Application number: TW105126999A
Authority: TW
Inventors: 周宏隆; 魏守德; 廖元麟; 王煜智; 曾開瑜
Original assignee: 聚晶半導體股份有限公司
Priority date: 2016-03-08
Filing date: 2016-08-24
Publication date: 2017-09-16
Also published as: CN107172407B; TWI584634B; US10455217B2; US20170264884A1; CN107172407A

Abstract

適於產生深度圖的電子裝置與方法。電子裝置包括投光裝置、第一攝像裝置、第二攝像裝置與處理裝置。投光裝置投影圖案化的不可見光於場景上。第一攝像裝置擷取可見光資訊以產生場景的第一影像。第二攝像裝置擷取可見光資訊與不可見光資訊以產生場景的第二影像。處理裝置接收第一影像與第二影像，並且處理裝置中的第一深度資訊單元比對第一影像與第二影像的可見光影像以取得第一深度資訊，而處理裝置中的第二深度資訊單元辨識第二影像中的不可見光影像以取得第二深度資訊。處理裝置選擇性地由第一深度資訊與第二深度資訊產生場景的深度圖。

Description

適於產生深度圖的電子裝置與方法

本發明是關於運用在影像處理的一種電子裝置與方法，且特別是有關於一種適於產生深度圖的電子裝置與方法。

隨著科技的發展，各式各樣的智慧型電子裝置，舉凡平板型電腦、個人數位化助理、智慧型手機、智慧型相機等，如今都已經具有拍攝三維影像的功能。更進一步而言，搭配不同的後端演算功能，三維影像還可運用於立體建模、動作辨識等用途。

在利用前述智慧型電子裝置來針對特定場景拍攝三維影像時，該場景的深度資訊是呈現立體視覺效果的一個重要依據。一般而言，由對應的深度圖，運算元件可以判斷該場景中的多個物件或特徵的相對距離，進而精確地呈現相關於該場景的立體影像。

然而，取得拍攝場景的深度圖仍是困難的。具體而言，受限於拍攝場景的環境、距離等因素，由所擷取的影像計算深度資訊不總是正確的。因此，如何有效且較佳地取得拍攝場景的深度資訊與深度圖，仍是本領域人員努力的目標之一。

本發明提供適於產生深度圖的電子裝置與方法，其可適應不同的拍攝場景而準確且有效地取得該場景的深度資訊與深度圖。

本發明的實施例提供一種適於產生深度圖的電子裝置。電子裝置包括投光裝置、第一攝像裝置、第二攝像裝置與處理裝置。投光裝置投影圖案化的不可見光於場景上。第一攝像裝置擷取可見光資訊以產生前述場景的第一影像。第二攝像裝置擷取可見光資訊與不可見光資訊以產生前述場景的第二影像。處理裝置耦接投光裝置、第一攝像裝置與第二攝像裝置以接收第一影像與第二影像。處理裝置由第一影像與第二影像取得第一深度資訊與第二深度資訊，並且選擇性地由第一深度資訊與第二深度資訊產生前述場景的深度圖。更詳細而言，處理裝置包括第一深度資訊單元與第二深度資訊單元。第一深度資訊單元比對第一影像的可見光影像與第二影像的可見光影像以取得第一深度資訊。第二深度資訊單元辨識第二影像中的不可見光影像以取得第二深度資訊。

本發明的實施例提供一種深度圖產生方法，適於具有第一攝像裝置與第二攝像裝置的電子裝置。前述方法包括下列步驟。投影圖案化的不可見光於場景上。擷取前述場景的第一影像，其中第一影像包含可見光資訊。擷取前述場景的第二影像，其中第二影像包含可見光資訊與不可見光資訊，並且不可見光資訊包含由前述場景反射圖案化的不可見光所產生的影像資訊。由第一影像與第二影像取得第一深度資訊與第二深度資訊。更詳細而言，取得第一深度資訊與第二深度資訊的步驟，包括比對第一影像的可見光影像與第二影像的可見光影像以取得第一深度資訊，以及辨識第二影像中的不可見光影像以取得第二深度資訊。選擇性地由第一深度資訊與第二深度資訊產生前述場景的深度圖。

本發明的實施例提供另一種適於產生深度圖的電子裝置。電子裝置包括投光裝置、第一攝像裝置、第二攝像裝置與處理裝置。投光裝置投影圖案化的紅外光於場景上。第一攝像裝置擷取紅藍綠(RGB)光資訊以產生前述場景的第一影像。第二攝像裝置，擷取紅藍綠(RGB)光資訊與紅外光資訊以產生前述場景的第二影像。處理裝置耦接投光裝置、第一攝像裝置與第二攝像裝置以接收第一影像與第二影像。處理裝置由第一影像與第二影像取得第一深度資訊與第二深度資訊，並且選擇性地由第一深度資訊與第二深度資訊產生前述場景的深度圖。更詳細而言，處理裝置包括第一深度資訊單元與第二深度資訊單元。第一深度資訊單元比對第一影像的紅藍綠(RGB)影像與第二影像的紅藍綠(RGB)影像以取得第一深度資訊。第二深度資訊單元辨識第二影像中的紅外光影像以取得第二深度資訊。

本發明的實施例提供又一種適於產生深度圖的電子裝置。電子裝置包括投光裝置、第一攝像裝置、第二攝像裝置、第三攝像裝置與處理裝置。投光裝置投影圖案化的紅外光於場景上。第一攝像裝置擷取紅藍綠(RGB)光資訊以產生前述場景的第一影像。第二攝像裝置擷取紅藍綠(RGB)光資訊以產生前述場景的第二影像。第三攝像裝置擷取紅外光資訊以產生前述場景的第三影像。處理裝置耦接投光裝置、第一攝像裝置、第二攝像裝置與第三攝像裝置以接收第一影像、第二影像與第三影像。處理裝置由第一影像、第二影像與第三影像取得第一深度資訊與第二深度資訊，並且選擇性地由第一深度資訊與第二深度資訊產生前述場景的深度圖。更詳細而言，處理裝置包括第一深度資訊單元與第二深度資訊單元。第一深度資訊單元比對第一影像與第二影像以取得第一深度資訊。第二深度資訊單元辨識第三影像以取得第二深度資訊。

基於上述，本發明實施例所提供之適於產生深度圖的電子裝置與方法，首先投影圖案化的不可見光於拍攝場景，然後利用成對的第一攝像裝置與第二攝像裝置來分別取得拍攝場景的第一影像與第二影像。透過第一影像與第二影像內的可見光影像與不可見光影像來分別取得第一深度資訊與第二深度資訊，然後選擇性地依據第一深度資訊與第二深度資訊產生前述拍攝場景的深度圖，可以避免單一深度資訊受外在環境因素或不同拍攝場景的影響而產生誤差，進而影響前述場景的深度圖的準確性。另一方面，攝像裝置的數量與設置形式還可對應地調整而不限於前述成對的第一攝像裝置與第二攝像裝置。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。

於本發明實施例中所提出之電子裝置與其方法，透過不同的方式來分別取得同一場景的多組深度資訊，並且依據前述場景的環境條件或其他因素來評估該些深度資訊，進而準確地取得前述場景的深度圖。

圖1為依據本發明一實施例所繪示的電子裝置的方塊示意圖。參照圖1，於本實施例中，適於產生深度圖的電子裝置100包括投光裝置120、第一攝像裝置140、第二攝像裝置160以及處理裝置180。電子裝置100例如是數位相機、單眼相機、數位攝影機或是其他具有影像擷取功能的智慧型手機、平板電腦、個人數位助理、筆記型電腦等電子裝置，但本發明不以此為限。

於本實施例中，投光裝置120可以投射圖案化的不可見光。換言之，投光裝置120可以依據一個預設圖案而以不可見光的形式來投影圖案於任意場景上。投光裝置120例如是不可見光源搭配光源遮罩的組合、不可見光源搭配繞射光學元件(Diffractive Optical Element, DOE)的組合或者是可以投射不可見光的投光器。舉例而言，不可見光源例如是紅外光源(Infrared Light Source, IR Light Source)，而投光裝置120例如為紅外線投光器(IR Illuminator)或者是利用微機電系統(MEMS)諧振鏡片而實現的掃描式紅外線投影機(IR projector)，但本發明不以此為限。

於本實施例中，第一攝像裝置140、第二攝像裝置160包括感光元件，用以拍攝任意場景並且分別產生第一影像與第二影像。感光元件例如是電荷耦合元件（Charge Coupled Device，CCD）、互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件或其他元件。更詳細而言，第一攝像裝置140與第二攝像裝置160內的感光元件以陣列形式排列，並且覆蓋不同類型的拜爾濾鏡(Bayer Filter)以擷取可見光資訊及/或不可見光資訊。

舉例而言，第一攝像裝置140的感光元件陣列上例如是覆蓋由紅色濾片、藍色濾片與綠色濾片所組成的拜爾濾鏡以擷取紅藍綠(RGB)光資訊而產生第一影像。第二攝像裝置160的感光元件陣列上例如是覆蓋紅色濾片、藍色濾片、綠色濾片與紅外光濾片所組成的拜爾濾鏡以取得紅藍綠(RGB)光資訊與紅外光資訊而產生第二影像。值得注意的是，本發明的第一攝像裝置140與第二攝像裝置160不以前述設計為限。舉例來說，第一攝像裝置140及第二攝像裝置160包含下列幾種可能的組合，如紅綠藍相機(RGB camera)與紅綠藍-紅外光相機(RGB-IR camera)的組合、紅綠藍相機與單色光-紅外光相機(MONO-IR camera)的組合以及單色光相機(MONO Camera)與紅綠藍-紅外光相機的組合，並且為前述多種組合之一。

於本實施例中，處理裝置180可以例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合。處理裝置180耦接投光裝置120、第一攝像裝置140與第二攝像裝置160以接收第一影像與第二影像。更詳細而言，處理裝置180含包括第一深度資訊單元182與第二深度資訊單元184。

於本實施例中，電子裝置100還例如是包括記憶體裝置(未繪示)。記憶體裝置耦接至第一攝像裝置140、第二攝像裝置160與處理裝置180，並且用以儲存第一影像與第二影像。記憶體裝置例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash Memory）、硬碟或其他類似裝置或這些裝置的組合。

以下即列舉實施例說明電子裝置100產生深度圖的詳細步驟。圖2為依據本發明一實施例所繪示的深度圖產生方法的流程圖。本實施例的深度圖產生方法適用於圖1所示的電子裝置100。參照圖1與圖2，利用投光裝置120投影圖案化的不可見光於一個場景上(步驟S120)。

更具體而言，於本實施例中，投光裝置120可以由不同的元件或元件組合來實現，例如是不可見光源與繞射光學元件或者是不可見光源與光源遮罩的組合。藉由繞射光學元件或光源遮罩，投光裝置120可以依據一個預設圖案而將圖案化的不可見光投影至一個場景上。換言之，一個由不可見光構成的圖案會投影在前述場景上。值得注意的是，當不可見光源為前述的紅外光源時，投光裝置120例如是紅外線投光裝置(IR Illuminator)或紅外線投影機(IR projector)，可依據預設圖案或使用者操作而將圖案化的紅外光投影至前述場景上。

參照圖1與圖2，接著，於本實施例中，利用第一攝像裝置140擷取前述場景的第一影像(步驟S130)，而第一影像包括可見光資訊，並且利用第二攝像裝置160擷取前述場景的第二影像(步驟S140)，而第二影像包括可見光資訊與不可見光資訊。第一攝像裝置140與第二攝像裝置160分別由不同的視角來對同一場景進行攝像，而前述場景即為投光裝置120投影不可見光的場景。於本實施例中，第一攝像裝置140擷取可見光資訊而產生前述場景的第一影像，但第二攝像裝置160除了擷取可見光資訊外，還擷取不可見光資訊而產生前述場景的第二影像。不可見光資訊包含由前述場景反射圖案化的不可見光所產生的影像資訊。換言之，第二攝像裝置160還可以擷取由前述投光裝置120所投射的圖案化的不可見光在前述場景上反射的不可見光影像。

參照圖1與圖2，取得第一影像與第二影像後，於本實施例中，處理裝置180由第一影像與第二影像取得第一深度資訊與第二深度資訊(步驟S160)，然後選擇性地由第一深度資訊與第二深度資訊產生前述場景的深度圖(步驟S180)。

圖3為依據本發明一實施例所繪示的處理裝置的方塊示意圖。參照圖3，在本發明的實施例中，處理裝置180更包括第一深度資訊單元182、第二深度資訊單元184、評估單元186與深度圖產生單元188，藉以根據第一攝像裝置140與第二攝像裝置160所產生的第一影像與第二影像來產生前述場景的深度圖DM。

更詳細而言，於本實施例中，處理裝置180利用第一深度資訊單元182與第二深度資訊單元184，由第一影像與第二影像取得第一深度資訊與第二深度資訊。參照圖1、圖2與圖3，當處理裝置180由第一攝像裝置140與第二攝像裝置160接收第一影像與第二影像後，第一深度資訊單元182比對第一影像的可見光影像與第二影像的可見光影像以取得第一深度資訊FDI(步驟S162)。另一方面，第二深度資訊單元184辨識第二影像的不可見光影像以取得第二深度資訊SDI(步驟S164)。取得第一深度資訊FDI與第二深度資訊SDI後，處理裝置180進一步地產生前述場景的深度圖DM。

在本發明的一實施例中，利用從不同視角攝取的可見光影像，第一深度資訊單元182計算相關於前述場景的第一深度資訊FDI。換句話說，第一深度資訊單元182利用可見光影像之間的視差來計算前述場景的深度資訊。詳細而言，處理裝置180或第一深度資訊單元182首先由第一影像與第二影像中取得可見光影像，然後比較第一影像的可見光影像與第二影像的可見光影像之間的多個影像特徵以取得前述場景的多個深度值來作為第一深度資訊FDI。

在本發明的一實施例中，第二深度資訊單元184則利用第二攝像裝置160所拍攝之圖案化的不可見光影像來取得第二深度資訊SDI。詳細而言，投光裝置120是依據一個預設圖案來投影圖案化的不可見光，而第二攝像裝置160則攝取了由前述場景所反射之不可見光圖案。因此，處理裝置180由第二攝像裝置拍攝之第二影像取得不可見光影像資訊後，第二深度資訊單元184更進一步地基於預設圖案來分析不可見光影像中的不可見光圖案，並且依據不可見光圖案的扭曲、歪斜、縮放、位移等情況來判斷前述場景的多個深度距離，進而取得第二深度資訊SDI。

圖4為依據本發明一實施例所繪示的從第一深度資訊與第二深度資訊產生深度圖的方法流程圖。參照圖3與圖4，在本實施例中，取得第一深度資訊FDI與第二深度資訊SDI後，評估單元186評估第一深度資訊FDI與第二深度資訊SDI的準確度以產生前述場景的最終深度資訊FLDI(步驟S182)。最後，深度圖產生單元188由最終深度資訊FLDI產生前述場景的深度圖DM(步驟S184)。

評估單元186評估第一深度資訊FDI與第二深度資訊SDI以決定合適的最終深度資訊FLDI。在本發明的一實施例中，評估單元186評估第一深度資訊FDI所包含之深度值與第二深度資訊SDI所包含之深度值的準確度。當第一深度資訊FDI與第二深度資訊SDI在相對位置或相對畫素的深度值相符合時，則保留前述深度值。相反而言，當第一深度資訊FDI與第二深度資訊SDI在相對位置或相對畫素的深度值不符合時，評估單元186例如是選擇第一深度資訊FDI或第二深度資訊SDI在相對位置或相對畫素的深度值來進行填補，或者是由第一深度資訊FDI與第二深度資訊SDI在相對位置或相對畫素的深度值進行計算以取得新的深度值來對前述相對位置或相對畫素進行填補。

換言之，在前述實施例中，評估單元186保留第一深度資訊FDI與第二深度資訊SDI相符的部分深度資訊，並且針對第一深度資訊FDI與第二深度資訊SDI不相符的另一部分深度資訊進行填補，藉以產生前述場景的最終深度資訊FLDI。值得注意的是，決定最終深度資訊FLDI的方式並不限於此。

於本發明的另一實施例中，評估單元186依據前述場景的環境條件，選擇第一深度資訊FDI與第二深度資訊SDI的至少一者以取得前述場景的最終深度資訊FLDI。

詳細而言，基於可見光影像所取得的第一深度資訊FDI以及基於不可見光影像所取得的第二深度資訊SDI，隨著前述場景的環境條件不同而有不同的適用情形。具體而言，當前述場景在戶外或者是前述場景離第一攝像裝置140、第二攝像裝置160太遠時，第二攝像裝置160所拍攝之圖案化的不可見光影像較容易模糊不清，使得第二深度資訊SDI較不精確。相對而言，對於不具有明顯影像特徵或較白的場景而言，以視差的方式所取得的第一深度資訊FDI較易產生誤差。因此，評估單元186需要釐清前述場景的環境條件，才能較佳地去評估第一深度資訊FDI與第二深度資訊SDI以產生前述場景的最終深度資訊FLDI。

圖5A為依據本發明一實施例所繪示的評估單元的示意圖。參照圖5A，評估單元186包括亮度計算單元1862以及初步深度計算單元1864。於本實施例中，在產生最終深度資訊FLDI前，亮度計算單元1862首先計算前述場景的環境亮度。在本發明的一實施例中，亮度計算單元1862由電子裝置100內部的曝光系統(未繪示)取得曝光參數EP，例如是曝光時間、光圈大小、感光度等，然後基於曝光參數EP計算前述場景的環境亮度，但本發明不限於此。

基於亮度計算單元1862所取得的環境亮度，評估單元186判斷前述場景是否位於戶外。若前述場景位於戶外，於本實施例中，評估單元186以第一深度資訊FDI作為前述場景的最終深度資訊FLDI。於本發明的一實施例中，若亮度計算單元1862基於環境亮度判斷前述場景位於戶外，則處理裝置180關閉投光裝置120以停止投影圖案化的不可見光。具體而言，在戶外時，第二攝像裝置160所拍攝之圖案化的不可見光影像可能較模糊或不清晰。因此，評估單元186選擇以第一深度資訊FDI作為前述場景的最終深度資訊FLDI，而處理裝置180關閉投光裝置120以節省電源消耗。

相對而言，若前述場景不位於戶外，則初步深度計算單元1864更由第一攝像裝置140在第一影像前對前述場景所擷取的第一先前影像與第二攝像裝置160在第二影像前對前述場景所擷取的第二先前影像，計算前述場景與第一攝像裝置140、第二攝像裝置160的估計距離，而評估單元186判斷估計距離是否大於距離閥值。

在本實施例中，第一攝像裝置140在擷取第一影像前，更擷取可見光資訊以產生前述場景的第一先前影像FPI。另一方面，第二攝像裝置160在擷取第二影像前，更擷取可見光資訊與不可見光資訊以產生前述場景的第二先前影像SPI。換言之，第一先前影像FPI與第二先前影像SPI的取得時間早於第一影像與第二影像。於一實施例中，初步深度計算單元1864由第一先前影像FPI與第二先前影像SPI的可見光影像計算前述場景與第一攝像裝置140、第二攝像裝置160的估計距離，但本發明不限於此。於另一實施例中，初步深度計算單元1864由第二先前影像SPI的不可見光影像計算前述場景與第一攝像裝置140、第二攝像裝置160的估計距離。

為了減少計算估計距離的時間，第一先前影像FPI與第二先前影像SPI可以是縮小後的影像。另一方面，初步深度計算單元1864還可以先行對第一先前影像FPI與第二先前影像SPI進行邊緣偵測後，僅對邊緣部分進行深度估測來計算前述場景與第一攝像裝置140、第二攝像裝置160的估計距離，藉以降低計算估計距離的時間。

需要注意的是，在本發明的一實施例中，第一攝像裝置140與第二攝像裝置160的設置位置並不一致，而估計距離可能是考量設置位置差異後所得到的一個估算值，但不限於此。初步深度計算單元1864還可以是直接地計算前述場景與第一攝像裝置140的估計距離或者是前述場景與第二攝像裝置160的估計距離。

參照圖5A，於本實施例中，若評估單元186判斷估計距離大於距離閥值，則代表前述場景距離第一攝像裝置140與第二攝像裝置160是較遠的。此時，評估單元186選擇以第一深度資訊FDI作為前述場景的最終深度資訊FLDI。然而，若評估單元186判斷估計距離不大於距離閥值，則評估單元186至少基於第二深度資訊SDI產生前述場景的最終深度資訊FLDI。

在本發明的一實施例中，初步深度計算單元1864還可依據第二先前影像SPI的不可見光影像的完整度(不可見光影像的多寡)來決定是否基於第二深度資訊SDI產生前述場景的最終深度資訊FLDI。詳細來說，當不可見光影像的完整度較低時，代表前述場景與第一攝像裝置140、第二攝像裝置160距離較遠，因而較不適合基於第二深度資訊SDI來產生前述場景的最終深度資訊FLDI。

於本發明的實施例中，若評估單元186判斷估計距離不大於距離閥值，評估單元186直接以第二深度資訊SDI作為前述場景的最終深度資訊FLDI，但本發明不限於此。圖5B為依據本發明一實施例所繪示的評估單元的示意圖。參照圖5B，於本實施例中，若評估單元186判斷估計距離不大於距離閥值，評估單元186合併第一深度資訊FDI與第二深度資訊SDI以產生前述場景的最終深度資訊FLDI。在本實施例中，評估單元186保留第一深度資訊FDI與第二深度資訊SDI相符的部分深度資訊，並且針對第一深度資訊FDI與第二深度資訊SDI不相符的另一部分深度資訊進行填補，藉以產生前述場景的最終深度資訊FLDI。保留、填補深度資訊的方式，請參照前述實施例，在此不再贅述。

深度圖產生單元188由最終深度資訊FLDI產生前述場景的深度圖DM，並且輸出深度圖DM。前述場景的深度圖DM例如是運用以產生前述場景的立體影像。另一方面，前述場景的深度圖DM還可以是儲存於記憶體裝置。

圖6為依據本發明另一實施例所繪示的處理裝置的方塊示意圖。參照圖6，相較於圖3所示的處理裝置180，在本實施例中，處理裝置180更包括影像資訊純化單元181。影像資訊純化單元181取得第二影像中的可見光影像後，首先分離第二影像中的不可見光訊號留下可見光影像，然後傳輸濾除不可見光訊號的第二影像中的可見光影像至第一深度資訊單元182。具體而言，第二攝像裝置160可以取得同時包含不可見光資訊與可見光資訊所構成之影像。為了避免可見光影像受到不可見光雜訊的干擾，在本實施例中，處理裝置180更包括影像資訊純化單元181以優先地分離第二影像中的不可見光雜訊留下可見光影像。其餘元件與處理裝置180運作情形，請參照前述圖3、圖4、圖5A、圖5B以及相關實施例，在此不再贅述。

圖7A、圖7B與圖7C分別為依據本發明一實施例所繪示的電子裝置的運作示意圖。參照圖7A，在本實施例中，電子裝置100的投光裝置120主要是投影圖案化的紅外光於一個場景上。相對的，第一攝像裝置140擷取紅藍綠(RGB)光資訊以產生前述場景的第一影像，而第二攝像裝置160擷取紅藍綠(RGB)光資訊與紅外光資訊以產生前述場景的第二影像。換言之，第一影像與第二影像中的可見光影像為紅藍綠(RGB)影像RGB。另一方面，第二影像中的不可見光影像為紅外光影像IR。

然而，值得注意的是，用於產生深度圖的可見光影像與不可見光影像並不限於此。參照圖7B，在本發明的另一實施例中，第一攝像裝置140擷取光強度資訊以產生前述場景的第一影像，而第二攝像裝置160擷取紅藍綠(RGB)光資訊與紅外光資訊以產生前述場景的第二影像。換言之，在本實施例中，第一影像中的可見光影像為灰階影像M。

類似地，參照圖7C，在本發明的另一實施例中，第一攝像裝置140擷取紅藍綠(RGB)光資訊以產生前述場景的第一影像，而第二攝像裝置160擷取光強度資訊與紅外光資訊以產生前述場景的第二影像。在本實施例中，第二影像中的可見光影像為灰階影像M。

由前實施例可知，可見光影像與不可見光影像並不侷限於前述影像格式，並且可基於各影像格式對應地調整並適用於前述電子裝置100。

圖8為依據本發明一實施例所繪示的電子裝置的示意圖。參照圖8，相較於電子裝置100，適於產生深度圖的電子裝置200更包括第三攝像裝置190。於本實施例中，第一攝像裝置140及第二攝像裝置160擷取紅藍綠(RGB)光資訊以分別產生前述場景的第一影像與第二影像。另一方面，第三攝像裝置190擷取紅外光光資訊以產生前述場景的第三影像。第一攝像裝置140、第二攝像裝置160與第三攝像裝置190例如是紅綠藍相機(RGB camera)、紅綠藍相機(RGB camera)與紅外光相機(IR camera)的組合，但本發明不以此為限。

於本實施例中，處理裝置180不需要對第一影像、第二影像與第三影像進行可見光影像、不可見光影像的辨識與分離。第一深度資訊單元182直接比對第一影像與第二影像以產生第一深度資訊，而第二深度資訊單元184辨識第三影像以產生第二深度資訊。另一方面，處理裝置180的評估單元在產生前述場景的最終深度資訊時，可利用第一攝像裝置140、第二攝像裝置160以及第三攝像裝置180分別擷取可見光資訊、不可見光資訊所產生的前述場景的第一先前影像、第二先前影像以及第三先前影像，進一步地計算前述場景與第一攝像裝置140、第二攝像裝置160、第三攝像裝置180的估計距離。需要注意的是，第一先前影像、第二先前影像與第三先前影像的取得時間早於第一影像、第二影像與第三影像。

除了設置第三攝像裝置190所造成的運作差異外，電子裝置200其餘的元件結構以及產生深度圖的詳細運作流程，請參照前述電子裝置100的相關技術內容，在此不再贅述。

綜上所述，本發明實施例所提供之適於產生深度圖的電子裝置與方法，首先投影圖案化的不可見光於拍攝場景，然後利用成對的第一攝像裝置與第二攝像裝置來分別取得拍攝場景的第一影像與第二影像。透過第一影像與第二影像內的可見光影像與不可見光影像來分別取得第一深度資訊與第二深度資訊，然後進一步地依據第一深度資訊與第二深度資訊產生前述拍攝場景的深度圖，可以避免單一深度資訊受外在環境因素或不同拍攝場景的影響而產生誤差，進而影響前述場景的深度圖的準確性。另一方面，攝像裝置的數量與設置形式還可對應地調整而不限於成對的第一攝像裝置與第二攝像裝置。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100、200‧‧‧電子裝置
120‧‧‧投光裝置
140‧‧‧第一攝像裝置
160‧‧‧第二攝像裝置
180‧‧‧處理裝置
181‧‧‧影像資訊純化單元
182‧‧‧第一深度資訊單元
184‧‧‧第二深度資訊單元
186‧‧‧評估單元
1862‧‧‧亮度計算單元
1864‧‧‧初步深度計算單元
188‧‧‧深度圖產生單元
190‧‧‧第三攝像裝置
FDI‧‧‧第一深度資訊
SDI‧‧‧第二深度資訊
FPI‧‧‧第一先前影像
SPI‧‧‧第二先前影像
EP‧‧‧曝光參數
FLDI‧‧‧最終深度資訊
DM‧‧‧深度圖
RGB‧‧‧紅藍綠(RGB)影像
IR‧‧‧紅外光影像
M‧‧‧灰階影像
S120、S130、S140、S160、S162、S164、S180‧‧‧深度圖產生方法的步驟
S182、S184‧‧‧從第一深度資訊與第二深度資訊產生深度圖的步驟

圖1為依據本發明一實施例所繪示的電子裝置的方塊示意圖。圖2為依據本發明一實施例所繪示的深度圖產生方法的流程圖。圖3為依據本發明一實施例所繪示的處理裝置的方塊示意圖。圖4為依據本發明一實施例所繪示的從第一深度資訊與第二深度資訊產生深度圖的方法流程圖。圖5A為依據本發明一實施例所繪示的評估單元的示意圖。圖5B為依據本發明另一實施例所繪示的評估單元的示意圖。圖6為依據本發明另一實施例所繪示的處理裝置的方塊示意圖。圖7A、圖7B與圖7C分別為依據本發明一實施例所繪示的電子裝置的運作示意圖。圖8為依據本發明一實施例所繪示的電子裝置的示意圖。

100‧‧‧電子裝置

120‧‧‧投光裝置

140‧‧‧第一攝像裝置

160‧‧‧第二攝像裝置

180‧‧‧處理裝置

182‧‧‧第一深度資訊單元

184‧‧‧第二深度資訊單元

Claims

一種適於產生深度圖的電子裝置，包括：投光裝置，投影圖案化的不可見光於場景上；第一攝像裝置，擷取可見光資訊以產生該場景的第一影像；第二攝像裝置，擷取可見光資訊與不可見光資訊以產生該場景的第二影像；以及處理裝置，耦接該投光裝置、該第一攝像裝置與該第二攝像裝置以接收該第一影像與該第二影像，該處理裝置由該第一影像與該第二影像取得第一深度資訊與第二深度資訊，並且選擇性地由該第一深度資訊與該第二深度資訊產生該場景的深度圖，其中該處理裝置包括：第一深度資訊單元，比對該第一影像的可見光影像與該第二影像的可見光影像以取得該第一深度資訊；以及第二深度資訊單元，辨識該第二影像中的不可見光影像以取得該第二深度資訊。
如申請專利範圍第1項所述的電子裝置，其中該處理裝置包括：影像資訊純化單元，取得該第二影像中的該可見光影像，濾除該第二影像中的不可見光訊號，並且傳輸濾除該不可見光訊號的該第二影像中的該可見光影像至該第一深度資訊單元。
如申請專利範圍第1項所述的電子裝置，其中該處理裝置包括：評估單元，評估該第一深度資訊與該第二深度資訊的準確度以產生該場景的最終深度資訊；以及深度圖產生單元，由該最終深度資訊產生該場景的該深度圖。
如申請專利範圍第3項所述的電子裝置，其中該評估單元評估該第一深度資訊所包含的深度值與該第二深度資訊所包含的深度值的準確度，並保留二者相符的部分深度資訊，並且針對該第一深度資訊與該第二深度資訊不相符的另一部分深度資訊進行填補，藉以產生該場景的該最終深度資訊。
如申請專利範圍第3項所述的電子裝置，其中該評估單元依據該場景的環境條件，選擇該第一深度資訊與該第二深度資訊的至少一者以取得該場景的該最終深度資訊。
如申請專利範圍第3項所述的電子裝置，其中該評估單元更包括：亮度計算單元，計算該場景所對應的環境亮度，並且基於該環境亮度判斷該場景是否位於戶外，若基於該環境亮度判斷該場景位於戶外，該評估單元以該第一深度資訊作為該場景的該最終深度資訊。
如申請專利範圍第6項所述的電子裝置，其中若該亮度計算單元基於該環境亮度判斷該場景位於戶外，則該處理裝置關閉該投光裝置以停止投影圖案化的該不可見光。
如申請專利範圍第6項所述的電子裝置，其中該評估單元更包括：初步深度計算單元，若基於該環境亮度判斷該場景不位於戶外，則該初步深度計算單元由該第一攝像裝置在該第一影像前對該場景所擷取的第一先前影像與該第二攝像裝置在該第二影像前對該場景所擷取的第二先前影像，計算該場景與該第一攝像裝置、該第二攝像裝置的估計距離，並且判斷該估計距離是否大於距離閥值，若判斷該估計距離大於該距離閥值，該評估單元以該第一深度資訊作為該場景的該最終深度資訊，而若判斷該估計距離不大於該距離閥值，該評估單元至少基於該第二深度資訊產生該場景的該最終深度資訊。
如申請專利範圍第8項所述的電子裝置，其中若判斷該估計距離不大於該距離閥值，該評估單元以該第二深度資訊作為該場景的該最終深度資訊。
如申請專利範圍第8項所述的電子裝置，其中若判斷該估計距離不大於該距離閥值，該評估單元評估該第一深度資訊所包含的深度值與該第二深度資訊所包含的深度值的準確度，並保留二者相符的部分深度資訊，並且針對該第一深度資訊與該第二深度資訊不相符的另一部分深度資訊進行填補，藉以產生該場景的該最終深度資訊。
如申請專利範圍第8項所述的電子裝置，其中該初步深度計算單元由該第一先前影像與該第二先前影像的可見光影像計算該場景與該第一攝像裝置、該第二攝像裝置的該估計距離，或者由該第二先前影像的不可見光影像計算該場景與該第一攝像裝置、該第二攝像裝置的該估計距離。
如申請專利範圍第1項所述的電子裝置，其中該第一攝像裝置及該第二攝像裝置的組合包含:紅綠藍相機(RGB camera)與紅綠藍-紅外光相機(RGB-IR camera)的組合、紅綠藍相機與單色光-紅外光相機(MONO-IR camera)的組合以及單色光相機(MONO Camera)與紅綠藍-紅外光相機的組合。
一種深度圖產生方法，適於具有第一攝像裝置與第二攝像裝置的電子裝置，該方法包括下列步驟：投影圖案化的不可見光於場景上；擷取該場景的第一影像，該第一影像包含可見光資訊；擷取該場景的第二影像，該第二影像包含可見光資訊與不可見光資訊，其中該不可見光資訊包含由該場景反射該圖案化的不可見光所產生的影像資訊；由該第一影像與該第二影像取得第一深度資訊與第二深度資訊，其中取得該第一深度資訊與該第二深度資訊的步驟，更包括：比對該第一影像的可見光影像與該第二影像的可見光影像以取得該第一深度資訊；以及辨識該第二影像中的不可見光影像以取得該第二深度資訊；以及選擇性地由該第一深度資訊與該第二深度資訊產生該場景的深度圖。
一種適於產生深度圖的電子裝置，包括：投光裝置，投影圖案化的紅外光於場景上；第一攝像裝置，擷取紅藍綠(RGB)光資訊以產生該場景的第一影像；第二攝像裝置，擷取紅藍綠(RGB)光資訊與紅外光資訊以產生該場景的第二影像；以及處理裝置，耦接該投光裝置、該第一攝像裝置與該第二攝像裝置以接收該第一影像與該第二影像，該處理裝置由該第一影像與該第二影像取得第一深度資訊與第二深度資訊，並且選擇性地由該第一深度資訊與該第二深度資訊產生該場景的深度圖，其中該處理裝置包括：第一深度資訊單元，比對該第一影像的紅藍綠(RGB)影像與該第二影像的紅藍綠(RGB)影像以取得該第一深度資訊；以及第二深度資訊單元，辨識該第二影像中的紅外光影像以取得該第二深度資訊。
一種適於產生深度圖的電子裝置，包括：投光裝置，投影圖案化的紅外光於場景上；第一攝像裝置，擷取紅藍綠(RGB)光資訊以產生該場景的第一影像；第二攝像裝置，擷取紅藍綠(RGB)光資訊以產生該場景的第二影像；第三攝像裝置，擷取紅外光資訊以產生該場景的第三影像；以及處理裝置，耦接該投光裝置、該第一攝像裝置、該第二攝像裝置與該第三攝像裝置以接收該第一影像、該第二影像與該第三影像，該處理裝置由該第一影像、該第二影像與該第三影像取得第一深度資訊與第二深度資訊，並且選擇性地由該第一深度資訊與該第二深度資訊產生該場景的深度圖，其中該處理裝置包括：第一深度資訊單元，比對該第一影像與該第二影像以取得該第一深度資訊；以及第二深度資訊單元，辨識該第三影像以取得該第二深度資訊。
如申請專利範圍第15項所述的電子裝置，其中該處理裝置包括：評估單元，評估該第一深度資訊與該第二深度資訊的準確度以產生該場景的最終深度資訊；以及深度圖產生單元，由該最終深度資訊產生該場景的該深度圖。
如申請專利範圍第16項所述的電子裝置，其中該評估單元評估該第一深度資訊所包含的深度值與該第二深度資訊所包含的深度值的準確度，並保留二者相符的部分深度資訊，並且針對該第一深度資訊與該第二深度資訊不相符的另一部分深度資訊進行填補，藉以產生該場景的該最終深度資訊。
如申請專利範圍第16項所述的電子裝置，其中該評估單元更包括：亮度計算單元，計算該場景所對應的環境亮度，並且基於該環境亮度判斷該場景是否位於戶外，若基於該環境亮度判斷該場景位於戶外，該評估單元以該第一深度資訊作為該場景的該最終深度資訊。
如申請專利範圍第18項所述的電子裝置，其中該評估單元更包括：初步深度計算單元，若基於該環境亮度判斷該場景不位於戶外，則該初步深度計算單元由該第一攝像裝置在該第一影像前對該場景所擷取的第一先前影像、該第二攝像裝置在該第二影像前對該場景所擷取的第二先前影像與該第三攝像裝置在該第三影像前對該場景所擷取的第三先前影像，計算該場景與該第一攝像裝置、該第二攝像裝置、該第三攝像裝置的估計距離，並且判斷該估計距離是否大於距離閥值，若判斷該估計距離大於該距離閥值，該評估單元以該第一深度資訊作為該場景的該最終深度資訊，而若判斷該估計距離不大於該距離閥值，該評估單元至少基於該第二深度資訊產生該場景的該最終深度資訊，其中該初步深度計算單元由該第一先前影像與該第二先前影像計算該場景與該第一攝像裝置、該第二攝像裝置、該第三攝像裝置的該估計距離，或者由該第三先前影像計算該場景與該第一攝像裝置、該第二攝像裝置、該第三攝像裝置的該估計距離。
如申請專利範圍第19項所述的電子裝置，其中若判斷該估計距離不大於該距離閥值時，該評估單元以該第二深度資訊作為該場景的該最終深度資訊，或該評估單元評估該第一深度資訊所包含的深度值與該第二深度資訊所包含的深度值的準確度，並保留二者相符的部分深度資訊，並且針對該第一深度資訊與該第二深度資訊不相符的另一部分深度資訊進行填補，藉以產生該場景的該最終深度資訊。