TWI509216B - 用以取得場景中的深度資訊之裝置與方法 - Google Patents

用以取得場景中的深度資訊之裝置與方法 Download PDF

Info

Publication number
TWI509216B
TWI509216B TW103144431A TW103144431A TWI509216B TW I509216 B TWI509216 B TW I509216B TW 103144431 A TW103144431 A TW 103144431A TW 103144431 A TW103144431 A TW 103144431A TW I509216 B TWI509216 B TW I509216B
Authority
TW
Taiwan
Prior art keywords
image
depth
scene
sensor
interest
Prior art date
Application number
TW103144431A
Other languages
English (en)
Other versions
TW201623913A (zh
Inventor
Ludovic Angot
Wei-Yi Lee
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed filed Critical
Priority to TW103144431A priority Critical patent/TWI509216B/zh
Application granted granted Critical
Publication of TWI509216B publication Critical patent/TWI509216B/zh
Publication of TW201623913A publication Critical patent/TW201623913A/zh

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

用以取得場景中的深度資訊之裝置與方法
本發明是有關於一種用以取得場景中的深度資訊之裝置與方法。
光學裝置有多種可量測距離的方法。舉例來說，市面上基於時差測距法(time-of-flight)之深度量測影像裝置在室內的執行效果很好，但在室外的實用性卻是有限的。基於立體匹配機制(stereo matching approach)的影像裝置在自然光下室外效果雖然很好，但這樣的裝置通常需要繁雜的運算，故難以實現在目前的行動運算平台。
使用紅外線光結合紅外光感測相機的深度評估的作法已被研究，但眾所周知的是，物件反射的光線仰賴物件的反射性，導致一些距離遠的高反射性物件在相機中看起來比距離近的低反射性物件更靠近相機。由於材質反射性的變化度高，基於物件反射光量測量距離的作法並不可靠。
本發明是有關於一種用以取得場景中的深度資訊之裝置與方法。
根據一實施例，提出一種用以取得場景中的深度資訊的裝置，此裝置包括影像裝置與至少一非影像深度感測器(non-imaging depth sensor)。影像裝置包括鏡片組、影像感測器、與能對該影像執行運算操作的處理單元。影像裝置用於擷取該場景的影像。至少一非影像深度感測器用於量測從該影像裝置至影像感測器所擷取的至少一感興趣區域(region of interest)中物件之間的距離。處理單元依據所量測之該距離，指定一深度給該至少一感興趣區域中的該物件。
根據另一實施例，提出一種用以取得場景中的深度資訊之方法。此方法包括以下步驟。由一影像裝置擷取該場景的影像。影像被分割以取得至少一感興趣區域中的一物件之至少一片段(segment)。由一非影像深度感測器量測從該影像裝置至該至少一感興趣區域中的該物件之間的距離。以及依據所量測之該距離，將深度指定給物件之該至少一片段。
根據又一實施例，提出一種用以取得場景中的深度資訊之方法，此方法包括以下步驟。由非影像深度感測器量測從影像裝置至該場景之至少一感興趣區域中的物件之間的距離。依據所量測之該距離運算該物件的反射性；該場景會被非可見光光源給照射。由影像裝置擷取該場景的影像。此影像被分割以取得該至少一感興趣區域中的該物件之至少一片段。利用所運算出的 反射性來校正該至少一片段影像中各個畫素的強度。基於校正後的強度，將深度指定給該至少一片段中的各畫素。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：
100、101、102、103、500、500a‧‧‧物件
110、510‧‧‧影像裝置
112、512‧‧‧鏡片組
114、514‧‧‧影像感測器
116、516‧‧‧處理單元
120、520‧‧‧非影像深度感測器
530‧‧‧光源
150、550‧‧‧影像
155、555‧‧‧ROI
201~209、601~611、801~813、901~915‧‧‧步驟
A‧‧‧光軸
d‧‧‧距離
F‧‧‧視角
H‧‧‧亮度
S1、S2、S3‧‧‧片段
S1’、S2’、S3’‧‧‧片段影像
第1圖繪示依據第一實施例之用以取得場景中的深度資訊之裝置的示意圖。
第2圖繪示依據第一實施例之用以取得場景中的深度資訊之方法的流程圖。
第3圖繪示依據第一實施例之用以取得場景中的深度資訊之裝置的另一示意圖。
第4A及4B圖分別繪示在包含與不包含深度資訊時感興趣區域之中物件的片段影像。
第5圖繪示依據第二實施例之用以取得場景中的深度資訊之裝置的示意圖。
第6圖繪示依據第二實施例之用以取得場景中的深度資訊之方法的流程圖。
第7圖繪示第6圖的反射性校正。
第8圖繪示依據第二實施例之基於深度之分割(depth-based segmentation)的影像處理。
第9圖繪示依據第二實施例之樞像操作(matting image operation)的流程圖。
在以下的詳細說明中，為了說明，多種具體細節之揭露係為了對揭露的實施例有完整的了解。然而，請了解即使不使用此些具體細節，一個或多個實施例仍可被實現。在其他例子中，已知結構與裝置係以示意方法呈現，以簡化圖式。
第一實施例
請參照第1圖，其繪示依據第一實施例之用以取得場景中的深度資訊之裝置的示意圖。此裝置包括影像裝置110與至少一非影像深度感測器120(non-imaging depth sensor)。影像裝置110包括鏡片組112、影像感測器114、與能對擷取影像150執行運算操作的處理單元116。影像裝置110用於擷取該場景之影像150。至少一非影像深度感測器120用於量測從該影像裝置110至該影像感測器114所擷取的該影像150之至少一感興趣區域(region of interest,ROI)中的物件100之間的距離。處理單元116依據所量測之該距離，指定一深度給該至少一ROI 155中的該物件100。
影像感測器114對於非可見光是靈敏的，而鏡片組112允許非可見光通過。可選擇性地，影像感測器114對於可見與非可見光皆是靈敏的。鏡頭組112具有光軸A與視角F，且非影像深度感測器120的方向性(directivity)可沿視角F中的一方向被操縱(steer)以朝向至少一ROI 155中物件100的方向。非影像深度感測器120可為超音波傳送器(ultrasound transducer)或相位 偵測感測器(phase detection sensor)。相位偵測感測器可整合在影像感測器120中。用於相位偵測的畫素可為二維陣列或簡單的線陣列(line array)。
請參照第1圖與第2圖，第2圖繪示依據第一實施例之用以取得場景中的深度資訊之方法的流程圖。此方法包含以下步驟。在步驟201，由影像裝置110擷取該場景的影像150。在步驟203，影像150係被分割以取得至少一感興趣區域中的一物件之至少一片段(segment)。步驟205是選擇性的，且包含操縱非影像深度感測器120的方向性朝向至少一ROI 155中物件100的方向。在步驟207，由一非影像深度感測器120量測從該影像裝置110至該至少一ROI中的該物件100之間的距離。在步驟209，依據所量測之該距離，將深度指定給該物件100之該至少一片段。
請參照第3圖，其繪示依據第一實施例之用以取得場景中的深度資訊之裝置的另一示意圖。如第4A圖所示，擷取影像150被分割而取得感興趣區域ROI1中物件101的一片段S1、感興趣區域ROI2中物件102的一片段S2、感興趣區域ROI3中物件103的一片段S3。非影像深度感測器102的方向性可被操縱而朝向分別在感興趣區域ROI1、ROI2、及ROI3中之物件101、102、及103的方向。非影像深度感測器也可由感測器陣列組成，因此選擇性地提供感興趣區域中的距離資訊。從影像裝置110至分別在感興趣區域ROI1、ROI2、及ROI3中之物件101、102、及103的距離，係藉由非影像深度感測器120而被量測。依據所 量測的距離，將深度指定給物件101、102、及103的片段S1、S2、及S3。第4B圖分別繪示具有深度資訊之ROI1、ROI2、及ROI3中物件101、102、及103的片段影像S1’、S2’、及S3’。在第4B圖中，範例性之深度圖的表示顯示物件101因最靠近影像裝置110而具有明亮強度，物件102比物件101遠於影像裝置110，而物件103距離影像裝置110最遠。其他深度圖表示也是可以的。
第二實施例
請參照第5圖，其繪示依據第二實施例之用以取得場景中的深度資訊之裝置的示意圖。此裝置包含影像裝置510、至少一非影像深度感測器520、及光源530。影像裝置510包含鏡片組512、影像感測器514、與能對擷取影像550執行運算操作的處理單元516。影像裝置510用於擷取該場景之影像550。至少一非影像深度感測器520用於量測從該影像裝置510至該影像感測器514所擷取的該影像550之至少一ROI 555中的物件500之間的距離。處理單元516依據所量測之該距離，指定一深度給該至少一ROI 555中的該物件500。光源530為非可見光光源，例如是遠紅外線光光源。光源530在鏡頭組512的視角F中以非可見光照射場景中的物件500。非影像深度感測器520的方向性在視角F中是可被操縱的，以朝向至少一ROI 555的物件500的方向。
與第1圖之裝置相比，影像裝置510與非影像深度感測器520的細節係相仿於影像裝置110與非影像深度感測器120的細節。依據第二實施例的裝置具有非可見光光源530，因而更有能力執行以照明取得深度資訊的方法。
請參照第5圖及第6圖，第6圖繪示依據第二實施例之用以取得場景中的深度資訊之方法的流程圖。此方法以下步驟。在步驟601，由非影像深度感測器520量測從影像裝置510至該場景之至少一ROI 555中的物件500之間的距離。在步驟603，依據所量測之該距離，由處理單元516運算該物件500的反射性。當場景被非可見光光源530照射後(步驟605)，由影像裝置510擷取該場景之影像550(步驟607)。在步驟608，影像550被分割以取得該至少一ROI 555中的該物件500之至少一片段。場景的影像550可在一光學頻譜之一非可見域(domain)中被擷取。可選擇性地，場景的影像550在一光學頻譜之非可見域與可見域中皆可被擷取。接著，在步驟609，藉由使用所運算之該反射性，該至少一片段中之各畫素的強度係被校正。在步驟611，基於校正後的強度，將深度指定給該至少一片段中的各畫素。
第7圖繪示第6圖的步驟603的反射性運算的範例性實施例。非可見光光源530以非可見光照射物件500a的表面，而影像裝置510擷取非可見光強度影像。物件反射光的強度影像可以是照度(illumination)、照射方向、物件反射性、及光源至物件與物件至影像裝置之距離的函數。為了簡述，光源與影像裝置 係設置在一起(collocated)。
請參照第7圖，在實施範例之一中，亮度(irradiance)H係入射至物件表面的光強度且表示為(W/sr/m2)。H1為物件表面的亮度，等式為H1=J/d2，其中d為光源至物件的距離，J為光源輻射強度，J=P/(4π)，其中P為光發射能量的W。反射後，影像感測器的亮度為H2~ρJ/d4，其中ρ為一係數，此係數在給定入射與對於給定波長的情況下係正比於物件表面反射性。
係數ρ可使用例如--光照模型(Phong model)而被評估。標示I為物件表面反射的強度，可重寫為以下等式(1)：I=C 0cos(α)+C 1cos(2α)其中，α可藉由垂直於物件的表面與光源的方向性之間的入射角而被取得，參數C0與C1係相關於物件的反射性。畫素強度E可依據以下等式(2)而被取得，其中A為被攝影之物件的面積：E=IA/(2d) 2 從等式(1)與(2)，畫素強度E可藉由以下等式而被運算：
得知與非影像深度感測器的距離後，多種量測方式可被使用以取得參數C0與C1。假設角度α接近0，畫素強度E為：E=(C0+C1)/d2。距離d接著可被評估為d=((C0+C1)/E)1/2。
請參照第8圖，其繪示依據第二實施例之基於深度之分割(depth-based segmentation)的影像處理。基於深度之分割的影像處理係依據第二實施例用以取得場景中的深度資訊之方法的應用。因此，基於深度之分割的影像處理包含的步驟801至811相同於第6圖的步驟601至611，並更包含步驟813。換言之，藉由執行步驟801至811取得的深度資訊係施加在基於深度之分割的影像處理。在步驟813，基於至少一片段中之各畫素的深度，影像係分割為多個感興趣區域。
請參照第9圖，其繪示依據第二實施例之樞像處理(matting image processing)的流程圖。影像裝置在非可見光域與可見光中皆能擷取影像。樞像處理係依據第二實施例用以取得場景中的深度資訊之方法的另一種應用。因此，樞像處理包含的步驟901至911相同於第6圖的步驟601至611，並更包含步驟913與915。換言之，藉由執行步驟901至911取得的深度資訊可應用在執行樞像處理之操作。在步驟913，基於影像之各畫素的深度，可取得對應於影像之至少一感興趣區域的至少一二元遮罩。在步驟915，對可見光下所擷取的影像施予至少一二元遮罩。
依據揭露實施例之裝置與方法可降低運算負載，並允許深度估測能在各種狀況下(室內與室外)被執行，且從物件量測到的反射光有助於取得可靠的深度估測。
綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識 者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧物件
110‧‧‧影像裝置
112‧‧‧鏡片組
114‧‧‧影像感測器
116‧‧‧處理單元
120‧‧‧非影像深度感測器
F‧‧‧視角
150‧‧‧影像
155‧‧‧ROI
A‧‧‧光軸

Claims (20)

  1. 一種用以取得一場景中的深度資訊之裝置，包括：一影像裝置，用於擷取該場景的一影像，該影像裝置包括：一鏡片組；一影像感測器；及一處理單元，能對該影像執行運算操作；以及至少一非影像深度感測器(non-imaging depth sensor)，用於量測從該影像裝置至該影像感測器所擷取的該影像之至少一感興趣區域(region of interest)中的一物件之間的一距離；其中，該處理單元依據所量測之該距離，指定一深度給該至少一感興趣區域中的該物件。
  2. 如申請專利範圍第1項所述之裝置，其中該影像感測器對於非可見光是靈敏的。
  3. 如申請專利範圍第2項所述之裝置，更包括一非可見光光源。
  4. 如申請專利範圍第3項所述之裝置，其中該非可見光光源係一遠紅外線光光源。
  5. 如申請專利範圍第1項所述之裝置，其中該至少一非影像深度感測器係一超音波傳送器(ultrasound transducer)。
  6. 如申請專利範圍第1項所述之裝置，其中該至少一非影像深度感測器係一相位偵測感測器(phase detection sensor)。
  7. 如申請專利範圍第1項所述之裝置，其中該非影像深度感測器之一方向性(directivity)能沿一方向被操縱(steer)。
  8. 如申請專利範圍第1項所述之裝置，其中該影像感測器對於可見與非可見光皆是靈敏的。
  9. 如申請專利範圍第8項所述之裝置，更包括一非可見光光源。
  10. 如申請專利範圍第9項所述之裝置，其中該非可見光光源係一遠紅外線光光源。
  11. 如申請專利範圍第8項所述之裝置，其中該至少一非影像深度感測器係一超音波傳送器。
  12. 如申請專利範圍第8項所述之裝置，其中該至少一非影像深度感測器係一相位偵測感測器。
  13. 一種用以取得一場景中的深度資訊之方法，包括：由一影像裝置擷取該場景的一影像；分割該影像以取得至少一感興趣區域中的一物件之至少一片段(segment)；由一非影像深度感測器量測從該影像裝置至該至少一感興趣區域(region of interest)中的該物件之間的一距離；以及依據所量測之該距離，指定一深度給該物件之該至少一片段。
  14. 如申請專利範圍第13項所述之方法，更包括：操縱該非影像深度感測器之一方向性(directivity)以朝向在 該至少一感興趣區域之該物件的一方向。
  15. 一種用以取得一場景中的深度資訊之方法，包括：由一非影像深度感測器量測從一影像裝置至該場景之至少一感興趣區域中的一物件之間的一距離；依據所量測之該距離運算該物件之一反射性；以一非可見光光源照射該場景；由一影像裝置擷取該場景的一影像；分割該影像以取得該至少一感興趣區域中的該物件之至少一片段；利用所運算之該反射性，校正該至少一片段中之各畫素的強度；以及基於校正後的強度指定一深度給該至少一片段中的各畫素。
  16. 如申請專利範圍第15項所述之方法，其中該場景之該影像係僅在一光學頻譜之一非可見域(domain)中被擷取。
  17. 如申請專利範圍第15項所述之方法，其中該場景之該影像係在一光學頻譜之一非可見與可見域中被擷取。
  18. 如申請專利範圍第15項所述之方法，其中運算該物件之反射性的步驟包括：使用一光照模型(Phong model)以取得該物件之反射性。
  19. 如申請專利範圍第15項所述之方法，更包括基於該至少一片段中的各畫素的該深度，藉由分割該影像為複數個感興趣區域以執行一基於深度之分割(depth-based segmentation)。
  20. 如申請專利範圍第15項所述之方法，更包括：藉由以下步驟執行一樞像操作(matting operation)：基於該至少一片段中各畫素的該深度，取得對應於該影像之該至少一感興趣區域之至少一二元遮罩；及對可見光下所擷取之該影像施予至少一二元遮罩。
TW103144431A 2014-12-19 2014-12-19 用以取得場景中的深度資訊之裝置與方法 TWI509216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW103144431A TWI509216B (zh) 2014-12-19 2014-12-19 用以取得場景中的深度資訊之裝置與方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103144431A TWI509216B (zh) 2014-12-19 2014-12-19 用以取得場景中的深度資訊之裝置與方法

Publications (2)

Publication Number Publication Date
TWI509216B true TWI509216B (zh) 2015-11-21
TW201623913A TW201623913A (zh) 2016-07-01

Family

ID=55220145

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103144431A TWI509216B (zh) 2014-12-19 2014-12-19 用以取得場景中的深度資訊之裝置與方法

Country Status (1)

Country Link
TW (1) TWI509216B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112525078A (zh) * 2019-09-18 2021-03-19 财团法人工业技术研究院 三维量测装置与其操作方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201102749A (en) * 2009-07-02 2011-01-16 Hon Hai Prec Ind Co Ltd Stereo lens module
TW201241547A (en) * 2011-04-14 2012-10-16 Ind Tech Res Inst System, device and method for acquiring depth image
TWI399524B (zh) * 2009-02-20 2013-06-21 Ind Tech Res Inst 景物深度資訊之取得方法與裝置
WO2014002492A1 (en) * 2012-06-28 2014-01-03 Sony Corporation Image processing apparatus, imaging apparatus, and image processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI399524B (zh) * 2009-02-20 2013-06-21 Ind Tech Res Inst 景物深度資訊之取得方法與裝置
TW201102749A (en) * 2009-07-02 2011-01-16 Hon Hai Prec Ind Co Ltd Stereo lens module
TW201241547A (en) * 2011-04-14 2012-10-16 Ind Tech Res Inst System, device and method for acquiring depth image
WO2014002492A1 (en) * 2012-06-28 2014-01-03 Sony Corporation Image processing apparatus, imaging apparatus, and image processing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112525078A (zh) * 2019-09-18 2021-03-19 财团法人工业技术研究院 三维量测装置与其操作方法

Also Published As

Publication number Publication date
TW201623913A (zh) 2016-07-01

Similar Documents

Publication Publication Date Title
JP7330376B2 (ja) 偏光によるセンサシステム及び撮像システムの増強のための方法
US11100661B2 (en) Multi-modal depth mapping
EP3073894B1 (en) Corrected 3d imaging
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
TWI804506B (zh) 用於分析皮膚狀況的系統和方法
JP4986679B2 (ja) 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム
Wu et al. Passive measurement method of tree diameter at breast height using a smartphone
JP2018514237A (ja) 歯科用３ｄスキャナ用のテクスチャマッピングの装置及び方法
WO2012165491A1 (ja) ステレオカメラ装置、および、コンピュータ読み取り可能な記録媒体
US10311285B2 (en) Polarization imaging for facial recognition enhancement system and method
JP6937642B2 (ja) 表面評価方法及び表面評価装置
EP3381015B1 (en) Systems and methods for forming three-dimensional models of objects
JP6580761B1 (ja) 偏光ステレオカメラによる深度取得装置及びその方法
JP4843544B2 (ja) ３次元画像補正方法及びその装置
WO2022078442A1 (zh) 一种基于光扫描和智能视觉融合的3d信息采集方法
US20210256729A1 (en) Methods and systems for determining calibration quality metrics for a multicamera imaging system
US20210150744A1 (en) System and method for hybrid depth estimation
KR101275823B1 (ko) 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법
GB2544263A (en) Systems and methods for imaging three-dimensional objects
TWI590196B (zh) 液面監測方法
JP6544018B2 (ja) タイヤ解析装置及びタイヤ解析方法
TWI509216B (zh) 用以取得場景中的深度資訊之裝置與方法
CN118105060A (zh) 根据阴影提供形状的测量系统
Zheng et al. Underwater 3D target positioning by inhomogeneous illumination based on binocular stereo vision
US20160178353A1 (en) Apparatus and method for obtaining depth information in a scene

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees