TW201530249A - 產生深度資訊的裝置、產生深度資訊的方法和立體攝影機 - Google Patents

產生深度資訊的裝置、產生深度資訊的方法和立體攝影機 Download PDF

Info

Publication number
TW201530249A
TW201530249A TW103102525A TW103102525A TW201530249A TW 201530249 A TW201530249 A TW 201530249A TW 103102525 A TW103102525 A TW 103102525A TW 103102525 A TW103102525 A TW 103102525A TW 201530249 A TW201530249 A TW 201530249A
Authority
TW
Taiwan
Prior art keywords
light sources
image
background
images
unit
Prior art date
Application number
TW103102525A
Other languages
English (en)
Other versions
TWI519884B (zh
Inventor
Ben Bing-Song Wu
Ming-Che Ho
Pei-Chun Yeh
Original Assignee
Etron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Etron Technology Inc filed Critical Etron Technology Inc
Priority to TW103102525A priority Critical patent/TWI519884B/zh
Priority to US14/602,281 priority patent/US10033987B2/en
Priority to CN201510033911.9A priority patent/CN104811682B/zh
Publication of TW201530249A publication Critical patent/TW201530249A/zh
Application granted granted Critical
Publication of TWI519884B publication Critical patent/TWI519884B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

產生深度資訊的裝置包含複數個光源、一影像擷取單元、一控制單元及一處理單元。該複數個光源中的每一光源是用以發射一相對應強度的光;該控制單元是耦接於該複數個光源和該影像擷取單元,用以控制該複數個光源中的每一光源輪流發射該相對應強度的光,以及控制該影像擷取單元擷取對應該複數個光源的複數個影像;該處理單元是耦接於該影像擷取單元,用以在該影像擷取單元擷取對應該複數個光源的複數個影像和一背景影像後,根據對應該複數個光源的複數個影像和該背景影像,產生對應該複數個光源的複數個深度資訊。

Description

產生深度資訊的裝置、產生深度資訊的方法和立體攝影機
本發明是有關於一種產生深度資訊的裝置、產生深度資訊的方法和立體攝影機,尤指一種利用複數個光源中的每一光源發射一相對應強度的光,以產生較正確的深度資訊的裝置、方法和立體攝影機。
在現有技術中,一立體攝影機利用一左眼影像擷取單元和一右眼影像擷取單元同時擷取一系列左眼影像與一系列相對應的右眼影像,利用一搜尋比對單元比對同時顯示在一系列左眼影像中的每一左眼影像與一相對應的右眼影像中的每一像素,再利用一三角化原理,根據一三角關係和同時顯示在左眼影像與相對應的右眼影像中的每一像素,產生對應左眼影像與右眼影像中的每一相同像素的一深度圖,以及利用一處理單元根據對應左眼影像與右眼影像中的每一相同像素的深度圖,產生一立體影像。
然而,現有技術所產生的對應左眼影像與右眼影像中的每一相同像素的深度圖會因影像的失真而造成產生的深度圖是較破碎的。因此,如何輸出完整的深度圖將是立體攝影機設計者的一項重要課題。
本發明的一實施例提供一種產生深度資訊的裝置。該產生深度資訊的裝置包含複數個光源、一影像擷取單元、一控制單元及一處理單元。該複數個光源中的每一光源是用以發射一相對應強度的光,且該複數個光源中的每一光源發射該相對應強度的光的強度皆不同;該控制單元是耦接於該複數個光源和該影像擷取單元,用以控制該複數個光源中的每一光源輪流發射該相對應強度的光,以及控制該影像擷取單元擷取對應該複數個光源的複數個影像;該處理單元是耦接於該影像擷取單元,用以在該影像擷取單元擷取對應該複數個光源的複數個影像和一背景影像後,根據對應該複數個光源的複數個影像和該背景影像,產生對應該複數個光源的複數個深度資訊。
本發明的另一實施例提供一種產生深度資訊的方法,其中一產生深度資訊的裝置包含複數個光源、一影像擷取單元、一控制單元及一處理單元,該方法包含該控制單元控制該複數個光源中的每一光源輪流發射一相對應強度的光,其中該複數個光源中的每一光源發射該相對應強度的光的強度皆不同;該控制單元控制該影像擷取單元擷取對應該複數個光源的複數個影像;在該影像擷取單元擷取對應該複數個光源的複數個影像和一背景影像後,該處理單元根據對應該複數個光源的複數個影像和該背景影像,產生對應該複數個光源的複數個深度資訊。
本發明的另一實施例提供一種立體攝影機。該立體攝影機包含一影像擷取模組、一深度資訊模組、一影像校正單元、一對應單元、一處理單元及一三角化單元。該影像擷取模組包含一第一影像擷取單元及一第二影像擷取單元。該第一影像擷取單元是用以於一第一時間擷取一背景左眼影像;該第二影像擷取單元是用以於該第一時間擷取一背景右眼影像。 該深度資訊模組包含複數個光源和一控制單元。該複數個光源中的每一光源是用以發射一相對應強度的光,且該複數個光源中的每一光源發射該相對應強度的光的強度皆不同;該控制單元是耦接於該複數個光源、該第一影像擷取單元和該第二影像擷取單元,用以控制該複數個光源中的每一光源輪流發射該相對應強度的光,以及控制該第一影像擷取單元和該第二影像擷取單元分別擷取對應該複數個光源的複數個左眼影像與複數個右眼影像。該影像校正單元是耦接於該影像擷取模組,用以校正該背景左眼影像與該背景右眼影像之間的誤差,以及該第一影像擷取單元與該第二影像擷取單元之間的誤差。該對應單元是耦接於該影像校正單元,用以找出同時顯示在該背景左眼影像與該背景右眼影像之間的每一對應物件,以及找出該複數個左眼影像與對應的該複數個右眼影像之間對應該複數個光源的複數個預定區域。該處理單元是耦接於該對應單元,用以在該對應單元找出同時顯示在該背景左眼影像與該背景右眼影像之間的每一對應物件以及找出對應該複數個光源的複數個預定區域後,根據對應該複數個光源的複數個預定區域和同時顯示在該背景左眼影像與該背景右眼影像之間的每一對應物件,產生對應該複數個光源的複數個深度資訊。該三角化單元是用以根據一三角關係、該複數個光源的複數個深度資訊和同時顯示在該背景左眼影像與該背景右眼影像中的每一相對應物件,產生對應該背景左眼影像與該背景右眼影像中的每一相對應物件的一深度圖。
本發明提供一種產生深度資訊的裝置、產生深度資訊的方法和立體攝影機。該裝置和該方法是利用一控制單元控制複數個光源中的每一光源輪流發射不同強度的光,利用該控制單元控制一影像擷取單元擷取對應每一光源的一影像,以及在該影像擷取單元擷 取對應該複數個光源的複數個影像和一背景影像後,利用一處理單元根據對應該複數個光源的複數個影像和該背景影像,產生對應該複數個光源的複數個深度資訊。另外,該立體攝影機是利用該方法輔助該立體攝影機內的三角化單元產生對應一左眼影像與一相對應的右眼影像中的每一相對應物件的深度圖。如此,因為現有技術所產生的對應一左眼影像與一右眼影像中的每一相同物件的深度圖是較破碎的,所以本發明所產生的對應該左眼影像與該相對應的右眼影像中的每一相對應物件的深度圖是較準確完整的。因此,根據本發明所產生的深度圖而產生的立體影像較不會失真。
100‧‧‧裝置
102、104、106、8042、8044‧‧‧光源
108‧‧‧影像擷取單元
110、8046‧‧‧控制單元
112、810‧‧‧處理單元
800‧‧‧立體攝影機
802‧‧‧影像擷取模組
804‧‧‧深度資訊模組
806‧‧‧影像校正單元
808‧‧‧對應單元
812‧‧‧三角化單元
8022‧‧‧第一影像擷取單元
8024‧‧‧第二影像擷取單元
BI‧‧‧背景影像
D1、D2、D3‧‧‧距離
DI1、DI2、DI3‧‧‧深度資訊
DIFF1、DIFF2、DIFF3‧‧‧差異影像
DM‧‧‧深度圖
F1、F2、F3‧‧‧影像
ICR‧‧‧影像擷取範圍
LO1、LO2、LO3‧‧‧位置
O1、O2、O3、O4‧‧‧物件
T0、T1、T2、T3‧‧‧時間
700-710‧‧‧步驟
第1圖是本發明的一實施例提供一種產生深度資訊的裝置100的示意圖。
第2圖是說明背景影像的示意圖。
第3圖是說明影像的示意圖。
第4圖是說明影像的示意圖。
第5圖是說明影像的示意圖。
第6圖是說明處理單元根據對應3個光源的3個影像和背景影像,產生對應3個光源的3個深度資訊的示意圖。
第7圖是本發明的另一實施例說明一種產生深度資訊的方法的流程圖。
第8圖是本發明的另一實施例提供一種立體攝影機800的示意圖。
請參照第1圖,第1圖是本發明的一實施例提供一種產生深度資訊的裝置100的示意圖。如第1圖所示,裝置100包含3個 光源102、104、106、一影像擷取單元108、一控制單元110及一處理單元112,其中3個光源102、104、106是紅外線光源。但本發明並不受限於裝置100包含3個光源102、104、106,亦即裝置100可包含複數個光源。另外,本發明亦不受限於3個光源102、104、106是紅外線光源,亦即3個光源102、104、106中的每一光源可以是具有方向性的可見光源,例如3個光源102、104、106中的每一光源可以是一發光二極體光源或雷射光源。另外,本發明亦不受限於裝置100僅包含一個影像擷取單元,亦即裝置100可包含複數個影像擷取單元。3個光源102、104、106中的每一光源是用以發射一相對應強度的光,例如光源102可發射強度I1的紅外光、光源104可發射強度I2的紅外光以及光源106可發射強度I3的紅外光。控制單元110是耦接於3個光源102、104、106和影像擷取單元108,用以於一相對應時間控制3個光源102、104、106中的一光源發射一相對應強度的光,例如控制單元110是耦接於3個光源102、104、106和影像擷取單元108,用以於時間T1控制光源102發射強度I1的紅外光、於時間T2控制光源104發射強度I2的紅外光,以及於時間T3控制光源106發射強度I3的紅外光。當控制單元110於時間T1控制光源102發射強度I1的紅外光、於時間T2控制光源104發射強度I2的紅外光,以及於時間T3控制光源106發射強度I3的紅外光時,控制單元110可控制影像擷取單元108於時間T1擷取對應光源102的一影像F1、於時間T2擷取對應光源104的一影像F2以及於時間T3擷取對應光源106的一影像F3。另外,控制單元110可控制影像擷取單元108於時間T0擷取一背景影像BI。處理單元112是耦接於影像擷取單元110,用以根據對應3個光源102、104、106的3個影像F1、F2、F3和背景影像BI,產生對應3個光源102、104、106的3個深度資訊。
請參照第2圖、第3圖、第4圖和第5圖,第2圖是說明背景影像BI的示意圖,第3圖是說明影像F1的示意圖,第4圖是說明影像F2的示意圖,和第5圖是說明影像F3的示意圖。如第2圖所示,當3個光源102、104、106都沒有發射相對應的紅外光時(時間T0),影像擷取單元108可於其影像擷取範圍ICR內擷取對應於一背景光的背景影像BI。如第3圖所示,當控制單元110於時間T1控制光源102發射強度I1的紅外光時,影像擷取單元108可於其影像擷取範圍ICR內擷取對應光源102的影像F1。因為強度I1的紅外光可到達一位置LO1(其中位置LO1和裝置100相距一距離D1),所以影像擷取範圍ICR內的一物件O1的亮度會大於影像擷取範圍ICR內的其他物件(例如物件O2、O3、O4)。如第4圖所示,當控制單元110於時間T2控制光源104發射強度I2的紅外光時,影像擷取單元108可於其影像擷取範圍ICR內擷取對應光源104的影像F2。因為強度I2的紅外光可到達一位置LO2(其中位置LO2和裝置100相距一距離D2),所以影像擷取範圍ICR內的二物件O1、O2的亮度會大於影像擷取範圍ICR內的其他物件(例如物件O3、O4)。如第5圖所示,當控制單元110於時間T3控制光源106發射強度I3的紅外光時,影像擷取單元108可於其影像擷取範圍ICR內擷取對應光源106的影像F3。因為強度I3的紅外光可到達一位置LO3(其中位置LO3和裝置100相距一距離D3),所以影像擷取範圍ICR內的三物件O1、O2、O3的亮度會大於影像擷取範圍ICR內的其他物件(例如物件O4)。
請參照第6圖,第6圖是說明處理單元112根據對應3個光源102、104、106的3個影像F1、F2、F3和背景影像BI,產 生對應3個光源102、104、106的3個深度資訊DI1、DI2、DI3的示意圖。如第6圖所示,在影像F1中,因為影像擷取範圍ICR內的物件O1的亮度大於影像擷取範圍ICR內的其他物件(例如物件O2、O3、O4),所以處理單元112可根據影像F1和背景影像BI,產生一差異影像DIFF1;在影像F2中,因為影像擷取範圍ICR內的二物件O1、O2的亮度大於影像擷取範圍ICR內的其他物件(例如物件O3、O4),所以處理單元112可根據影像F2和背景影像BI,產生一差異影像DIFF2;在影像F3中,因為影像擷取範圍ICR內的三物件O1、O2、O3的亮度大於影像擷取範圍ICR內的其他物件(例如物件O4),所以處理單元112可根據影像F3和背景影像BI,產生一差異影像DIFF3。在處理單元112產生差異影像DIFF1、差異影像DIFF2和差異影像DIFF3後,處理單元112根據差異影像DIFF1、差異影像DIFF2和差異影像DIFF3中的二相鄰差異影像DIFF1、DIFF2,產生對應光源104的深度資訊DI2,以及根據差異影像DIFF1、差異影像DIFF2和差異影像DIFF3中的二相鄰差異影像DIFF2、DIFF3,產生對應光源106的深度資訊DI3。另外,因為差異影像DIFF1僅對應光源102,所以在本發明中差異影像DIFF1是等於深度資訊DI1。如第6圖所示,深度資訊DI1顯示僅有物件O1在位置LO1上。然而,如果影像擷取範圍ICR內有其他物件亦出現在距離D1內,則在距離D1內的其他物件亦會出現在深度資訊DI1。另外,深度資訊DI2和深度資訊DI3的產生原理和深度資訊DI1相同,在此不再贅述。另外,如第6圖所示,深度資訊DI1、DI2、DI3是概略的深度資訊,用以定位相對應的距離(例如距離D1、D2、D3),亦即深度資訊DI1、DI2、DI3並非真正的3D影像。
另外,控制單元110可重複輪流控制光源102、104、106 發射相對應強度的光,所以影像擷取單元108可於其影像擷取範圍ICR內擷取隨時間變化的影像F1、影像F2和影像F3。如此,處理單元112便可根據隨時間變化的影像F1、影像F2和影像F3和背景影像BI,產生隨時間變化的3個深度資訊DI1、DI2、DI3。
另外,在本發明的另一實施例中,3個光源102、104、106中的每一光源可發射一相對應強度且具有一相對應的波長的光。例如光源102可發射強度I1和波長λ 1的紅外光、光源104可發射強度I2和波長λ 2的紅外光以及光源106可發射強度I3和波長λ 3的紅外光。另外,3個光源102、104、106中的每一光源可發射一相對應強度且具有一相對應的波長的光的實施例的其餘操作原理皆和3個光源102、104、106中的每一光源可發射一相對應強度的光的實施例相同,在此不再贅述。
由於裝置100可利用處理單元112產生深度資訊DI1、深度資訊DI2和深度資訊DI3,所以裝置100可應用於一需要影像擷取範圍ICR內深度資訊的系統(例如一照相機、一攝影機或一立體攝影機(具有至少二影像擷取單元))。另外,因為裝置100是利用3個光源102、104、106發射不同強度的紅外光,所以裝置100可應用於低亮度或單一色光的環境中。
請參照第1圖至第7圖,第7圖是本發明的另一實施例說明一種產生深度資訊的方法的流程圖。第7圖的方法是利用第1圖的產生深度資訊的裝置100說明,詳細步驟如下:步驟700:開始; 步驟702:控制單元110於對應3個光源102、104、106中的每一光源的一時間控制每一光源發射一相對應強度的光;步驟704:控制單元110控制影像擷取單元108擷取對應每一光源的一影像;步驟706:在影像擷取單元108擷取對應3個光源102、104、106的3個影像F1、F2、F3和一背景影像BI後,處理單元112根據3個影像F1、F2、F3中的每一影像和背景影像BI,產生3個差異影像DIFF1、DIFF2、DIFF3;步驟708:處理單元112根據3個差異影像DIFF1、DIFF2、DIFF3中的每二相鄰差異影像,產生對應3個光源102、104、106中的每一光源的一深度資訊;步驟710:結束。
在步驟702中,控制單元110於時間T1控制光源102發射強度I1的紅外光、於時間T2控制光源104發射強度I2的紅外光,以及於時間T3控制光源106發射強度I3的紅外光。在步驟704中,如第2圖所示,當3個光源102、104、106都沒有發射相對應的紅外光時(時間T0),影像擷取單元108可於其影像擷取範圍ICR內擷取對應於一背景光的背景影像BI。如第3圖所示,當控制單元110於時間T1控制光源102發射強度I1的紅外光時,影像擷取單元108可於其影像擷取範圍ICR內擷取對應光源102的影像F1。因為強度I1的紅外光可到達一位置LO1(其中位置LO1和裝置100相距距離D1),所以影像擷取範圍ICR內的一物件O1的亮度會大於影像擷取範圍ICR內的其他物件(例如物件O2、O3、O4)。如第4圖所示,當控制單元110於時間T2控制光源104發射強度I2的紅外光時,影像擷取單元108可於其影像擷取範圍ICR內擷取對應光源104的 影像F2。因為強度I2的紅外光可到達一位置LO2(其中位置LO2和裝置100相距距離D2),所以影像擷取範圍ICR內的二物件O1、O2的亮度會大於影像擷取範圍ICR內的其他物件(例如物件O3、O4)。如第5圖所示,當控制單元110於時間T3控制光源106發射強度I3的紅外光時,影像擷取單元108可於其影像擷取範圍ICR內擷取對應光源106的影像F3。因為強度I3的紅外光可到達一位置LO3(其中位置LO3和裝置100相距距離D3),所以影像擷取範圍ICR內的三物件O1、O2、O3的亮度會大於影像擷取範圍ICR內的其他物件(例如物件O4)。
在步驟706中,如第3圖和第6圖所示,在影像F1中,因為影像擷取範圍ICR內的物件O1的亮度大於影像擷取範圍ICR內的其他物件(例如物件O2、O3、O4),所以處理單元112可根據影像F1和背景影像BI,產生差異影像DIFF1;如第4圖和第6圖所示,在影像F2中,因為影像擷取範圍ICR內的二物件O1、O2的亮度大於影像擷取範圍ICR內的其他物件(例如物件O3、O4),所以處理單元112可根據影像F2和背景影像BI,產生差異影像DIFF2;如第5圖和第6圖所示,在影像F3中,因為影像擷取範圍ICR內的三物件O1、O2、O3的亮度大於影像擷取範圍ICR內的其他物件(例如物件O4),所以處理單元112可根據影像F3和背景影像BI,產生差異影像DIFF3。在步驟708中,當處理單元112產生差異影像DIFF1、差異影像DIFF2和差異影像DIFF3後,處理單元112根據差異影像DIFF1、差異影像DIFF2和差異影像DIFF3中的二相鄰差異影像DIFF1、DIFF2,產生對應光源104的深度資訊DI2,以及根據差異影像DIFF1、差異影像DIFF2和差異影像DIFF3中的二相鄰差異影像DIFF2、DIFF3,產生對應光源106的深度資訊DI3。另 外,因為差異影像DIFF1僅對應光源102,所以在本發明中差異影像DIFF1是等於深度資訊DI1。
另外,控制單元110可重複步驟702至步驟708輪流控制光源102、104、106發射相對應強度的光,所以影像擷取單元108可於其影像擷取範圍ICR內擷取隨時間變化的影像F1、影像F2和影像F3。如此,處理單元112便可根據隨時間變化的影像F1、影像F2和影像F3和背景影像BI,產生隨時間變化的3個深度資訊DI1、DI2、DI3。
另外,在本發明的另一實施例中,3個光源102、104、106中的每一光源可發射一相對應強度且具有一相對應的波長的光。例如光源102可發射強度I1和波長λ 1的紅外光、光源104可發射強度I2和波長λ 2的紅外光以及光源106可發射強度I3和波長λ 3的紅外光。另外,3個光源102、104、106中的每一光源可發射一相對應強度且具有一相對應的波長的光的實施例的其餘操作原理皆和3個光源102、104、106中的每一光源可發射一相對應強度的光的實施例相同,在此不再贅述。
請參照第8圖,第8圖是本發明的另一實施例提供一種立體攝影機800的示意圖。如第8圖所示,立體攝影機800包含一影像擷取模組802、一深度資訊模組804、一影像校正單元806、一對應單元808、一處理單元810及一三角化單元812。影像擷取模組802包含一第一影像擷取單元8022與一第二影像擷取單元8024。但本發明並不受限於影像擷取模組802包含第一影像擷取單元8022與第二影像擷取單元8024,亦即影像擷取模組802可包含複數個影 像擷取單元。第一影像擷取單元8022是用以於一第一時間序列(例如時間T1、T4、T7、T10...)擷取一第一系列左眼影像(例如L1、L4、L7、L10...);第二影像擷取單元8024是用以於第一時間序列擷取一第一系列右眼影像(例如R1、R4、R7、R10...)。深度資訊模組804包含2個光源8042、8044和一控制單元8046。但本發明並不受限於立體攝影機800包含2個光源8042、8044,亦即立體攝影機800可包含複數個光源。2個光源8042、8044中的每一光源是用以發射一相對應強度的光,例如光源8042可發射強度I1的紅外光以及光源8044可發射強度I2的紅外光。但本發明並不受限於2個光源8042、8044是紅外線光源。控制單元8046是耦接於2個光源8042、8044、第一影像擷取單元8022和第二影像擷取單元8024,用以於一第二時間序列(例如時間T2、T5、T8、T11...)控制光源8042發射強度I1的紅外光,以及控制第一影像擷取單元8022和第二影像擷取單元8024分別擷取對應光源8042的一第二系列左眼影像(例如L2、L5、L8、L11...)與一第二系列右眼影像(例如R2、R5、R8、R11...),以及於一第三時間序列(例如時間T3、T6、T9、T12...)控制光源8044發射強度I2的紅外光,以及控制第一影像擷取單元8022和第二影像擷取單元8024分別擷取對應光源8044的一第三系列左眼影像(例如L3、L6、L9、L12...)與一第三系列右眼影像(例如R3、R6、R9、R12...),其中第二時間序列、第三時間序列和第一時間序列不同且互相交錯。
如第8圖所示,影像校正單元806是耦接於影像擷取模組802,用以校正第一系列左眼影像(L1、L4、L7、L10...)中每一左眼影像與第一系列右眼影像(R1、R4、R7、R10...)中一相對應的右眼影像之間的幾何位置誤差,使得左右影像在幾何位置上是對齊的。 例如影像校正單元806可校正使左眼影像L1中的物件可在其相對應的右眼影像R1的水平位置上(視差)找到。另外,影像校正單元806亦用以校正第二系列左眼影像(L2、L5、L8、L11...)中每一左眼影像與第二系列右眼影像(R2、R5、R8、R11...)中一相對應的右眼影像之間的幾何位置誤差,以及校正第三系列左眼影像(L3、L6、L9、L12...)中每一左眼影像與第三系列右眼影像(R3、R6、R9、R12...)中一相對應的右眼影像之間的幾何位置誤差。此外,影像校正單元806亦用以校正第一影像擷取單元8022與第二影像擷取單元8024之間的亮度誤差、色彩誤差或幾何誤差,例如第一影像擷取單元8022與第二影像擷取單元8024之間的鏡頭誤差或組裝誤差。
如第8圖所示,對應單元808是耦接於影像校正單元806,用以找出同時顯示在第一系列左眼影像(L1、L4、L7、L10...)中每一左眼影像與第一系列右眼影像(R1、R4、R7、R10...)中一相對應的右眼影像之間的每一對應物件。例如對應單元808可找出同時顯示在左眼影像L1與相對應的右眼影像R1之間的每一對應物件(例如,如第2圖所示的物件O1、O2、O3、O4)。另外,對應單元808亦用以找出第二系列左眼影像(L2、L5、L8、L11...)中每一左眼影像與第二系列右眼影像(R2、R5、R8、R11...)中一相對應的右眼影像之間對應光源8042的一第一預定區域。因為第二系列左眼影像(L2、L5、L8、L11...)與第二系列右眼影像(R2、R5、R8、R11...)是對應光源8042,且強度I1的紅外光可到達位置LO1(如第3圖所示),所以第二系列左眼影像(L2、L5、L8、L11...)中每一左眼影像與第二系列右眼影像(R2、R5、R8、R11...)中一相對應的右眼影像之間對應光源8042的第一預定區域是對應於位置LO1(如第3圖所示)。另外,對應單元808亦用以找出第三系列左眼影像(L3、L6、 L9、L12...)中每一左眼影像與第三系列右眼影像(R3、R6、R9、R12...)中一相對應的右眼影像之間對應光源8044的一第二預定區域。因為第三系列左眼影像(L3、L6、L9、L12...)與第三系列右眼影像(R3、R6、R9、R12...)是對應光源8044,且強度I2的紅外光可到達位置LO2(如第4圖所示),所以第三系列左眼影像(L3、L6、L9、L12...)中每一左眼影像與第三系列右眼影像(R3、R6、R9、R12...)中一相對應的右眼影像之間對應光源8044的第二預定區域是對應於位置LO2(如第4圖所示)。
如第8圖所示,處理單元810是耦接於對應單元808。在對應單元808找出同時顯示在左眼影像L1與相對應的右眼影像R1之間的每一對應物件(例如,如第2圖所示的物件O1、O2、O3、O4)以及找出左眼影像L2與相對應的右眼影像R2之間對應光源8042的第一預定區域(例如,如第3圖所示的位置LO1)與找出左眼影像L3與相對應的右眼影像R3之間對應光源8044的第二預定區域(例如,如第4圖所示的位置LO2)後,處理單元810是根據對應2個光源8042、8044的第一預定區域與第二預定區域和同時顯示在左眼影像L1與相對應的右眼影像R1之間的每一對應物件,產生對應2個光源8042、8044的2個深度資訊(例如,如第6圖所示的深度資訊DIFF1、DIFF2),其中處理單元810產生對應2個光源8042、8044的2個深度資訊的原理和處理單元112產生對應3個光源102、104、106的3個深度資訊的原理相同,在此不再贅述。
如第8圖所示,三角化單元812是耦接於處理單元810,用以根據一三角關係、對應2個光源8042、8044的2個深度資訊和同時顯示在左眼影像L1與相對應的右眼影像R1之間的每一對應物 件,產生對應左眼影像L1與相對應的右眼影像R1中的每一相對應物件的一深度圖DM。亦即立體攝影機800可利用對應2個光源8042、8044的2個深度資訊以輔助三角化單元812產生對應左眼影像L1與相對應的右眼影像R1中的每一相對應物件的深度圖DM。當三角化單元812產生對應左眼影像L1與相對應的右眼影像R1中的每一相對應物件的深度圖DM後,立體攝影機800即可根據深度圖DM,產生對應左眼影像L1與相對應的右眼影像R1中的每一相對應物件的立體影像。另外,因為深度圖DM是對應左眼影像L1、L2、L3與右眼影像R1、R2、R3,所以對應其餘左眼影像與其餘右眼影像的深度圖亦可根據上述原理產生,在此不再贅述。
另外,在本發明的另一實施例中,2個光源8042、8044中的每一光源可發射一相對應強度且具有一相對應的波長的光,其中2個光源8042、8044中的每一光源可發射一相對應強度且具有一相對應的波長的光的實施例的其餘操作原理皆和2個光源8042、8044中的每一光源可發射一相對應強度的光的實施例相同,在此不再贅述。
綜上所述,本發明所提供的產生深度資訊的裝置和產生深度資訊的方法是利用控制單元於對應複數個光源中的每一光源的一時間控制每一光源發射一相對應強度的光,利用控制單元控制影像擷取單元擷取對應每一光源的一影像,以及在影像擷取單元擷取對應複數個光源的複數個影像和一背景影像後,利用處理單元根據對應複數個光源的複數個影像和背景影像,產生對應複數個光源的複數個深度資訊。另外,本發明所提供的立體攝影機是利用產生深度資訊的方法輔助立體攝影機內的三角化單元產生對應左眼影像與相 對應的右眼影像中的每一相對應物件的深度圖。如此,因為現有技術所產生的對應左眼影像與右眼影像中的每一相同物件的深度圖是較破碎的,所以本發明所產生的對應左眼影像與相對應的右眼影像中的每一相對應物件的深度圖是較準確且可抑制產生的雜點。因此,根據本發明所產生的對應左眼影像與相對應的右眼影像中的每一相對應物件的深度圖而產生的立體影像較不會失真。
100‧‧‧裝置
102、104、106‧‧‧光源
108‧‧‧影像擷取單元
110‧‧‧控制單元
112‧‧‧處理單元

Claims (13)

  1. 一種產生深度資訊的裝置,包含:複數個光源,其中該複數個光源中的每一光源是用以發射一相對應強度的光,且該複數個光源中的每一光源發射該相對應強度的光的強度皆不同;一影像擷取單元;一控制單元,耦接於該複數個光源和該影像擷取單元,用以控制該複數個光源中的每一光源輪流發射該相對應強度的光,以及控制該影像擷取單元擷取對應該複數個光源的複數個影像;及一處理單元,耦接於該影像擷取單元,用以在該影像擷取單元擷取對應該複數個光源的複數個影像和一背景影像後,根據對應該複數個光源的複數個影像和該背景影像,產生對應該複數個光源的複數個深度資訊。
  2. 如請求項1所述的裝置,其中該處理單元根據對應該複數個光源的複數個影像和該背景影像,產生對應該複數個光源的複數個深度資訊包含:該處理單元根據該複數個影像中的每一影像和該背景影像,產生複數個差異影像;及該處理單元根據該複數個差異影像中的每二相鄰差異影像,產生對應該複數個光源中的每一光源的一深度資訊。
  3. 如請求項1所述的裝置,其中該複數個光源是一紅外線光源。
  4. 如請求項1所述的裝置,其中該複數個光源中的每一光源具有 一相對應的波長。
  5. 一種產生深度資訊的方法,其中一產生深度資訊的裝置包含複數個光源、一影像擷取單元、一控制單元及一處理單元,該方法包含:該控制單元控制該複數個光源中的每一光源輪流發射一相對應強度的光,其中該複數個光源中的每一光源發射該相對應強度的光的強度皆不同;該控制單元控制該影像擷取單元擷取對應該複數個光源的複數個影像;及在該影像擷取單元擷取對應該複數個光源的複數個影像和一背景影像後,該處理單元根據對應該複數個光源的複數個影像和該背景影像,產生對應該複數個光源的複數個深度資訊。
  6. 如請求項5所述的方法,其中在該影像擷取單元擷取對應該複數個光源的複數個影像和該背景影像後,該處理單元根據對應該複數個光源的複數個影像和該背景影像,產生對應該複數個光源的複數個深度資訊包含:在該影像擷取單元擷取對應該複數個光源的複數個影像和該背景影像後,該處理單元根據該複數個影像中的每一影像和該背景影像,產生複數個差異影像;及該處理單元根據該複數個差異影像中的每二相鄰差異影像,產生對應該複數個光源中的每一光源的一深度資訊。
  7. 如請求項5所述的方法,其中該複數個光源是一紅外線光源。
  8. 如請求項5所述的方法,其中該複數個光源中的每一光源具有一相對應的波長。
  9. 一種立體攝影機,包含:一影像擷取模組,包含:一第一影像擷取單元,用以於一第一時間擷取一背景左眼影像;及一第二影像擷取單元,用以於該第一時間擷取一背景右眼影像;一深度資訊模組,包含:複數個光源,其中該複數個光源中的每一光源是用以發射一相對應強度的光,且該複數個光源中的每一光源發射該相對應強度的光的強度皆不同;及一控制單元,耦接於該複數個光源、該第一影像擷取單元和該第二影像擷取單元,用以控制該複數個光源中的每一光源輪流發射該相對應強度的光,以及控制該第一影像擷取單元和該第二影像擷取單元分別擷取對應該複數個光源的複數個左眼影像與複數個右眼影像;一影像校正單元,耦接於該影像擷取模組,用以校正該背景左眼影像與該背景右眼影像之間的誤差,以及該第一影像擷取單元與該第二影像擷取單元之間的誤差;一對應單元,耦接於該影像校正單元,用以找出同時顯示在該背景左眼影像與該背景右眼影像之間的每一對應物件,以及找出該複數個左眼影像與對應的該複數個右眼影像之間對應該複數個光源的複數個預定區域; 一處理單元,耦接於該對應單元,用以在該對應單元找出同時顯示在該背景左眼影像與該背景右眼影像之間的每一對應物件以及找出對應該複數個光源的複數個預定區域後,根據對應該複數個光源的複數個預定區域和同時顯示在該背景左眼影像與該背景右眼影像之間的每一對應物件,產生對應該複數個光源的複數個深度資訊;及一三角化單元,用以根據一三角關係、該複數個光源的複數個深度資訊和同時顯示在該背景左眼影像與該背景右眼影像中的每一相對應物件,產生對應該背景左眼影像與該背景右眼影像中的每一相對應物件的一深度圖。
  10. 如請求項9所述的立體攝影機,其中該處理單元根據對應該複數個光源的複數個預定區域和同時顯示在該背景左眼影像與該背景右眼影像之間的每一對應物件,產生對應該複數個光源的複數個深度資訊包含:該處理單元根據該複數個預定區域中的每一預定區域和該背景左眼影像與該背景右眼影像,產生複數個差異影像;及該處理單元根據該複數個差異影像中的每二相鄰差異影像,產生對應該複數個光源中的每一光源的一深度資訊。
  11. 如請求項9所述的立體攝影機,其中該複數個光源是一紅外線光源。
  12. 如請求項9所述的立體攝影機,其中該複數個光源中的每一光源具有一相對應的波長。
  13. 如請求項9所述的立體攝影機,其中該影像校正單元另用以校正該複數個左眼影像與對應的該複數個右眼影像之間的誤差。
TW103102525A 2014-01-23 2014-01-23 產生深度資訊的裝置、產生深度資訊的方法和立體攝影機 TWI519884B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW103102525A TWI519884B (zh) 2014-01-23 2014-01-23 產生深度資訊的裝置、產生深度資訊的方法和立體攝影機
US14/602,281 US10033987B2 (en) 2014-01-23 2015-01-22 Device for generating depth information, method for generating depth information, and stereo camera
CN201510033911.9A CN104811682B (zh) 2014-01-23 2015-01-23 产生深度信息的装置、产生深度信息的方法和立体摄像机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103102525A TWI519884B (zh) 2014-01-23 2014-01-23 產生深度資訊的裝置、產生深度資訊的方法和立體攝影機

Publications (2)

Publication Number Publication Date
TW201530249A true TW201530249A (zh) 2015-08-01
TWI519884B TWI519884B (zh) 2016-02-01

Family

ID=53545940

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103102525A TWI519884B (zh) 2014-01-23 2014-01-23 產生深度資訊的裝置、產生深度資訊的方法和立體攝影機

Country Status (3)

Country Link
US (1) US10033987B2 (zh)
CN (1) CN104811682B (zh)
TW (1) TWI519884B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6837498B2 (ja) * 2016-06-03 2021-03-03 ウトゥク・ビュユクシャヒンUtku BUYUKSAHIN 3次元画像をキャプチャおよび生成するためのシステムおよび方法
JP6585006B2 (ja) * 2016-06-07 2019-10-02 株式会社東芝 撮影装置および車両
CN108377327B (zh) * 2016-11-03 2020-01-10 深圳市掌网科技股份有限公司 全景相机以及深度信息获取方法
TWI660328B (zh) * 2017-02-23 2019-05-21 鈺立微電子股份有限公司 利用非平面投影影像產生深度圖的影像裝置及其相關方法
TWI712005B (zh) * 2018-05-22 2020-12-01 呂官諭 多頻譜高精確辨識物體的方法
TWI725522B (zh) * 2018-08-28 2021-04-21 鈺立微電子股份有限公司 具有校正功能的影像擷取系統
CN110009673B (zh) * 2019-04-01 2020-04-21 四川深瑞视科技有限公司 深度信息检测方法、装置及电子设备
TWI804850B (zh) * 2020-04-16 2023-06-11 鈺立微電子股份有限公司 多深度資訊之融合方法與融合系統

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4999763B2 (ja) * 2007-07-31 2012-08-15 パナソニック株式会社 撮像装置、撮像方法、プログラム、記録媒体、および集積回路
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US8548270B2 (en) * 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
TW201227159A (en) 2010-12-24 2012-07-01 wen-jin Zhang Method of taking pictures for generating three-dimensional image data
KR20130098042A (ko) * 2012-02-27 2013-09-04 삼성전자주식회사 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치
JP5932476B2 (ja) * 2012-05-17 2016-06-08 キヤノン株式会社 画像処理装置、撮像装置、距離計測方法および距離計測プログラム
KR101871235B1 (ko) * 2012-06-05 2018-06-27 삼성전자주식회사 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치
US20140028861A1 (en) * 2012-07-26 2014-01-30 David Holz Object detection and tracking

Also Published As

Publication number Publication date
US10033987B2 (en) 2018-07-24
TWI519884B (zh) 2016-02-01
CN104811682A (zh) 2015-07-29
US20150208057A1 (en) 2015-07-23
CN104811682B (zh) 2017-04-12

Similar Documents

Publication Publication Date Title
TWI519884B (zh) 產生深度資訊的裝置、產生深度資訊的方法和立體攝影機
US11115633B2 (en) Method and system for projector calibration
CN106550228B (zh) 获取三维场景的深度图的设备
EP3586165B1 (en) Single-frequency time-of-flight depth computation using stereoscopic disambiguation
US9946955B2 (en) Image registration method
US20170032531A1 (en) Image processing device and image processing method
TWI623911B (zh) 影像處理系統
US20150304617A1 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
US10080009B2 (en) Method and system for obtaining images for 3D reconstruction and method and system for 3D reconstruction
JP2015089104A5 (zh)
TW201243763A (en) Method for 3D video content generation
CN102939764A (zh) 图像处理器、图像显示装置和图像拍摄装置
TW202027034A (zh) 具有校正功能的影像擷取系統
US10218960B2 (en) Stereoscopic imaging apparatus
WO2015121757A3 (en) Front-projection autostereoscopic 3d display system
AU2013249004B2 (en) Systems and methods for real-time conversion of video into three-dimensions
KR20150080101A (ko) 스테레오 카메라
WO2015114464A3 (en) Rear-projection autostereoscopic 3d display system
JP2016032227A (ja) 映像表示システム、三次元映像ポインティング装置、および映像表示装置
US20170257614A1 (en) Three-dimensional auto-focusing display method and system thereof
US20150281672A1 (en) Stereo Matching Apparatus Using Image Property
KR20200063937A (ko) 적외선 스테레오 카메라를 이용한 위치 검출 시스템
JPWO2012153378A1 (ja) 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム
TWI556622B (zh) 快速產生照相機的距離對視差關係表的系統及其相關方法
KR102317278B1 (ko) 3차원 물체의 깊이 정보 획득방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees