TWI672676B - 動態產生深度圖的結構光系統 - Google Patents

動態產生深度圖的結構光系統 Download PDF

Info

Publication number
TWI672676B
TWI672676B TW107110378A TW107110378A TWI672676B TW I672676 B TWI672676 B TW I672676B TW 107110378 A TW107110378 A TW 107110378A TW 107110378 A TW107110378 A TW 107110378A TW I672676 B TWI672676 B TW I672676B
Authority
TW
Taiwan
Prior art keywords
depth map
depth
structured light
image
field
Prior art date
Application number
TW107110378A
Other languages
English (en)
Other versions
TW201942872A (zh
Inventor
吳炳昇
宋尤昱
曾煥斌
Original Assignee
恆景科技股份有限公司
奇景光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 恆景科技股份有限公司, 奇景光電股份有限公司 filed Critical 恆景科技股份有限公司
Priority to TW107110378A priority Critical patent/TWI672676B/zh
Application granted granted Critical
Publication of TWI672676B publication Critical patent/TWI672676B/zh
Publication of TW201942872A publication Critical patent/TW201942872A/zh

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一種動態產生深度圖的結構光(SL) 系統，包含結構光發光器，其發射預設結構光至物件；影像擷取裝置，包含鏡頭，經由鏡頭以接收反射的結構光，因而形成影像；及處理器，處理影像以產生深度圖。其中處理器根據物件的距離以移動該鏡頭至一位置，其相應於一景深；或者處理器移動鏡頭至不同位置，其分別相應於個別景深，因而產生相應深度圖，其經結合以形成合成深度圖。

Description

動態產生深度圖的結構光系統
本發明係有關一種結構光(SL)，特別是關於一種動態產生深度圖的結構光系統。
深度圖(depth map)是一種含有物件(或目標)相對於視角(例如相機)之距離的相關訊息的影像。深度圖可用以產生三維場景，其可適用於虛擬實境(VR)的應用。
結構光(structured light, SL)是一種投射已知圖樣至場景當中之物件的技術。根據反射的結構光，可以計算得知表面訊息(例如深度)。結構光三維掃描器包含掃描器與相機，其使用投射光圖樣以量測物件的三維形狀。可投射不可見光(例如紅外線)之結構光，因而不會干擾其他的電腦視覺作業或者人類視覺外觀(look and feel)。
使用結構光技術以得到深度圖會受到多物件分散於場景造成的不同對焦範圍所影響。因此，所形成的深度圖會遭受解碼(decode)的問題。
鑑於傳統結構光系統無法有效產生深度圖，因此亟需提出一種新穎機制，使用結構光技術以產生較佳深度圖。
鑑於上述，本發明實施例的目的之一在於提出一種動態產生深度圖的結構光系統，可適用於多物件分散於場景的情形。
根據本發明實施例，動態產生深度圖的結構光系統包含結構光發光器、影像擷取裝置及處理器。結構光發光器發射預設結構光至物件。影像擷取裝置包含鏡頭，經由鏡頭以接收反射的結構光，因而形成影像。處理器處理影像以產生深度圖。其中處理器根據物件的距離以移動該鏡頭至一位置，其相應於一景深；或者處理器移動該鏡頭至不同位置，其分別相應於個別景深，因而產生相應深度圖，其經結合以形成合成深度圖。
第一圖顯示本發明實施例之動態產生深度圖(或深度影像)的結構光(SL)系統100的方塊圖。在本實施例中，結構光系統100可包含結構光發光器(illuminator)11，其發射預設結構光至物件(或目標)12。本實施例之結構光發光器11可包含光源111(例如紅外線發光裝置)，用以發射光線，且包含繞射光學元件(diffractive optical element, DOE)112，其接收(光源111所發射的)光線並據以產生結構光。結構光系統100可包含影像擷取裝置(例如相機)13，其接收物件12所反射的結構光並據以擷取影像，該影像可為可見光影像或不可見光影像(例如紅外線影像)。
影像擷取裝置13可包含鏡頭131，使得影像感測器132經由鏡頭131以接收反射的結構光，因而形成擷取影像。影像擷取裝置13可包含致動器(actuator)133(例如音圈馬達(VCM))，用以移動鏡頭131至適當位置以對焦物件12。於自動對焦(AF)模式，使用距離(proximity)感測器134以偵測物件12的距離，使得致動器133據以移動鏡頭131至適當位置。
第二圖顯示本發明實施例之動態產生深度圖的結構光(SL)方法200的流程圖。於步驟21，距離感測器134偵測物件12的距離。於步驟22，如果偵測的距離未大於預設臨界值(表示物件12接近影像擷取裝置13)，則致動器133移動鏡頭131至第一位置(又稱為近位置)，使得相應的第一景深(depth of field, DOF)可涵蓋物件12的所在範圍，以正確對焦物件12(步驟23)。在本說明書中，景深(DOF)又稱對焦範圍(focus range)或有效範圍(effective range)，係指可以擷取清楚影像的距離。
相反的，如果偵測的距離大於預設臨界值(表示物件12遠離影像擷取裝置13)，則致動器133移動鏡頭131至第二位置(又稱為遠位置)，使得相應的第二景深(DOF)可涵蓋物件12的所在範圍，以正確對焦物件12(步驟24)。接著，於步驟25，影像感測器132擷取反射的結構光，因而形成包含反射結構光的擷取影像。接著於步驟26處理擷取影像，以產生深度圖(或深度影像)。
回到第一圖，本實施例之結構光系統100可包含處理器14(例如數位影像處理器)，其接收並處理(影像擷取裝置13)擷取的影像，以產生深度圖，其包含物件12相對於視角(例如影像擷取裝置13)之距離的相關資訊。根據本實施例之特徵，處理器14可控制致動器133以移動鏡頭131至不同位置，用以產生相應深度圖。
第三圖顯示本發明另一實施例之動態產生深度圖的結構光(SL)方法300的流程圖。於步驟31A，處理器14控制致動器133以移動鏡頭131至第一位置(或近位置)，其相應的第一景深(DOF)的涵蓋範圍接近影像擷取裝置13。接著，於步驟32A，影像擷取裝置13的影像感測器132擷取第一反射結構光，以形成包含第一反射結構光的第一影像。處理器14接著處理所擷取影像以產生第一深度圖，相應於第一景深(步驟33A)。於步驟34A，第一深度圖的誤差(或模糊)像素可標記以利後續使用。
第四A圖顯示以第一景深(DOF)擷取包含第一反射結構光的影像的示意圖，該結構光係由光源111照亮繞射光學元件(DOE)112所產生。在此例子中，第一擷取影像41為清楚影像，因為相應場景位於第一景深內，然而第二擷取影像42及第三擷取影像43可能為模糊影像，因為相應場景位於第一景深之外。
回到第三圖，於步驟31B，處理器14控制致動器133以移動鏡頭131至第二位置(或遠位置)，其相應的第二景深(DOF)的涵蓋範圍遠離影像擷取裝置13。值得注意的是，第一景深(步驟31A)較第二景深(步驟31B)靠近影像感測器132。在本實施例中，第一景深與第二景深可部分重疊。例如，第一景深介於25公分與3公尺之間，而第二景深介於2.5公尺與10公尺之間。接著，於步驟32B，影像擷取裝置13的影像感測器132擷取第二反射結構光，以形成包含第二反射結構光的第二影像。處理器14接著處理所擷取影像以產生第二深度圖，相應於第二景深(步驟33B)。於步驟34B，第二深度圖的誤差(或模糊)像素可標記以利後續使用。
第四B圖顯示以第二景深(DOF)擷取包含第二反射結構光的影像的示意圖，該結構光係由光源111照亮繞射光學元件(DOE)112所產生。在此例子中，第一擷取影像41可能為模糊影像，因為相應場景位於第二景深之外，然而第二擷取影像42及第三擷取影像43為清楚影像，因為相應場景位於第二景深內。
於步驟35，處理器14結合(步驟33A的)第一深度圖與(步驟33B的)第二深度圖以形成合成深度圖。第一深度圖與第二深度圖的結合可使用影像合成技術。在一實施例中，使用阿法混合(alpha blending)技術以產生合成深度圖。其中，半透明(translucent)第一深度圖與半透明第二深度圖經結合(或混合)以產生混合深度圖。第一深度圖與第二深度圖的透明度可介於完全透明與完全不透明之間。混合深度圖可為第一深度圖與第二深度圖的加權平均。在一實施例中，於進行第一深度圖與第二深度圖的結合時，分派較小權重給誤差像素，但分派較大權重給正常(或清楚)像素。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。
100‧‧‧結構光系統
11‧‧‧結構光發光器
111‧‧‧光源
112‧‧‧繞射光學元件
12‧‧‧物件
13‧‧‧影像擷取裝置
131‧‧‧鏡頭
132‧‧‧影像感測器
133‧‧‧致動器
134‧‧‧距離感測器
14‧‧‧處理器
200‧‧‧結構光方法
21‧‧‧距離感測器偵測距離
22‧‧‧判斷距離是否大於臨界值
23‧‧‧移動鏡頭至近位置
24‧‧‧移動鏡頭至遠位置
25‧‧‧擷取反射的結構光
26‧‧‧產生深度圖
300‧‧‧結構光方法
31A‧‧‧移動鏡頭至第一位置
31B‧‧‧移動鏡頭至第二位置
32A‧‧‧擷取第一反射結構光
32B‧‧‧擷取第二反射結構光
33A‧‧‧產生第一深度圖
33B‧‧‧產生第二深度圖
34A‧‧‧標記第一深度圖的誤差像素
34B‧‧‧標記第二深度圖的誤差像素
35‧‧‧結合第一深度圖與第二深度圖
41‧‧‧第一擷取影像
42‧‧‧第二擷取影像
43‧‧‧第三擷取影像
第一圖顯示本發明實施例之動態產生深度圖的結構光系統的方塊圖。 第二圖顯示本發明實施例之動態產生深度圖的結構光方法的流程圖。 第三圖顯示本發明另一實施例之動態產生深度圖的結構光方法的流程圖。 第四A圖顯示以第一景深擷取包含第一反射結構光的影像的示意圖。 第四B圖顯示以第二景深擷取包含第二反射結構光的影像的示意圖。

Claims (9)

  1. 一種動態產生深度圖的結構光系統，包含： 一結構光發光器，其發射預設結構光至物件； 一影像擷取裝置，包含鏡頭，經由該鏡頭以接收反射的結構光，因而形成影像；及 一處理器，處理該影像以產生深度圖； 其中該處理器根據物件的距離以移動該鏡頭至一位置，其相應於一景深；或者 該處理器移動該鏡頭至不同位置，其分別相應於個別景深，因而產生相應深度圖，其經結合以形成合成深度圖。
  2. 根據申請專利範圍第1項所述動態產生深度圖的結構光系統，其中該處理器執行以下步驟： 如果該距離未大於預設臨界值，則移動該鏡頭至第一位置，其相應於第一景深； 如果該距離大於該預設臨界值，則移動該鏡頭至第二位置，其相應於第二景深；及 處理該影像以產生該深度圖。
  3. 根據申請專利範圍第1項所述動態產生深度圖的結構光系統，其中該處理器執行以下步驟： 移動該鏡頭至第一位置，其相應於第一景深； 處理以該第一景深所擷取的第一影像，以產生第一深度圖； 移動該鏡頭至第二位置，其相應於第二景深，該第一景深較該第二景深接近於該影像擷取裝置； 處理以該第二景深所擷取的第二影像，以產生第二深度圖；及 結合該第一深度圖與該第二深度圖以形成合成深度圖。
  4. 根據申請專利範圍第1項所述動態產生深度圖的結構光系統，其中該結構光發光器包含： 一光源，用以發射光線；及 一繞射光學元件，其接收該發射的光線並據以產生該結構光。
  5. 根據申請專利範圍第4項所述動態產生深度圖的結構光系統，其中該光源包含紅外線發光裝置。
  6. 根據申請專利範圍第1項所述動態產生深度圖的結構光系統，其中該影像擷取裝置包含： 一致動器，受控於該處理器以移動該鏡頭。
  7. 根據申請專利範圍第1項所述動態產生深度圖的結構光系統，其中該影像擷取裝置包含： 一距離感測器，用以偵測該物件的距離。
  8. 根據申請專利範圍第1項所述動態產生深度圖的結構光系統，其中該影像擷取裝置包含： 一影像感測器，其經由該鏡頭以接收反射的結構光，並據以產生該影像。
  9. 根據申請專利範圍第1項所述動態產生深度圖的結構光系統，其中該影像為不可見光影像。
TW107110378A 2018-03-27 2018-03-27 動態產生深度圖的結構光系統 TWI672676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW107110378A TWI672676B (zh) 2018-03-27 2018-03-27 動態產生深度圖的結構光系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107110378A TWI672676B (zh) 2018-03-27 2018-03-27 動態產生深度圖的結構光系統

Publications (2)

Publication Number Publication Date
TWI672676B true TWI672676B (zh) 2019-09-21
TW201942872A TW201942872A (zh) 2019-11-01

Family

ID=68619081

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107110378A TWI672676B (zh) 2018-03-27 2018-03-27 動態產生深度圖的結構光系統

Country Status (1)

Country Link
TW (1) TWI672676B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN107506633A (zh) * 2017-07-31 2017-12-22 广东欧珀移动通信有限公司 基于结构光的解锁方法、装置及移动设备
CN107517346A (zh) * 2017-07-31 2017-12-26 广东欧珀移动通信有限公司 基于结构光的拍照方法、装置及移动设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN107506633A (zh) * 2017-07-31 2017-12-22 广东欧珀移动通信有限公司 基于结构光的解锁方法、装置及移动设备
CN107517346A (zh) * 2017-07-31 2017-12-26 广东欧珀移动通信有限公司 基于结构光的拍照方法、装置及移动设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A *

Also Published As

Publication number Publication date
TW201942872A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN109155843B (zh) 图像投影系统和图像投影方法
JP6911192B2 (ja) 画像処理方法、装置および機器
CN106643699B (zh) 一种虚拟现实系统中的空间定位装置和定位方法
EP3110139B1 (en) Projection system and semiconductor integrated circuit
WO2020088133A1 (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US9767612B2 (en) Method, system and apparatus for removing a marker projected in a scene
RU2016140636A (ru) Автоматизированное определение поведения системы или опыта пользователя посредством записи, совместного использования и обработки информации, ассоциированной с широкоугольным изображением
EP3524929B1 (en) Projection system
EP2688287A2 (en) Photographing apparatus, photographing control method, and eyeball recognition apparatus
US10634918B2 (en) Internal edge verification
JP2009524849A (ja) シーン画像および奥行き形状を取り込んで補償画像を生成するためのシステム、方法、および媒体
TWI610059B (zh) 三維量測方法及應用其之三維量測裝置
JP2022107533A (ja) 画像視差を使用する焦点選択のためのシステム、方法、及び装置
JP7184203B2 (ja) 画像処理装置、３次元計測システム、画像処理方法
JP2024024099A (ja) 後方散乱レーザスペックルパターンのオプティカルフローの追跡
TWI672676B (zh) 動態產生深度圖的結構光系統
US10595007B2 (en) Structured-light method and system of dynamically generating a depth map
CN110969652B (zh) 基于机械手单目相机充当双目立体视觉的拍摄方法及系统
JP2019027894A (ja) 位置情報取得システム、位置情報取得方法及びプログラム
CN110361753A (zh) 动态产生深度图的结构光系统
JP2020034465A (ja) 情報処理装置、情報処理方法及びプログラム
WO2023084790A1 (ja) ３次元計測システム、並びにその制御方法及び制御プログラム
TWI753344B (zh) 混合型深度估算系統
JP2013181992A (ja) 照明装置
JP2006190129A (ja) 画像処理システム