TWI753344B - 混合型深度估算系統 - Google Patents
混合型深度估算系統 Download PDFInfo
- Publication number
- TWI753344B TWI753344B TW108148271A TW108148271A TWI753344B TW I753344 B TWI753344 B TW I753344B TW 108148271 A TW108148271 A TW 108148271A TW 108148271 A TW108148271 A TW 108148271A TW I753344 B TWI753344 B TW I753344B
- Authority
- TW
- Taiwan
- Prior art keywords
- depth
- map
- point
- depth map
- light
- Prior art date
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
一種混合型深度估算系統，包含可切換投射器，可投射點光線或面光線至物件；感測器，其接收自物件的反射點光線或反射面光線，用以分別擷取第一影像或第二影像；點飛時深度產生器，其根據第一影像以產生點深度圖與相關的點可信度圖；面飛時深度產生器，其根據第二影像以產生面深度圖；及去雜訊處理器，其根據點深度圖當中具高可信度的複數點以處理面深度圖，因而產生去雜訊深度圖。
Description
本發明係有關深度估算，特別是關於一種具情境感知適應性最佳化(context-aware adaptive optimization)的混合型深度估算系統。
深度圖(depth map)係一種包含視點與場景物件表面之間距離訊息的影像，是機器視覺的一種重要工具，用以提供基於影像之自動化檢視與分析，可應用於頭戴式裝置、機器人導引、自動檢視與製程控制等應用。
飛時(time-of-flight, ToF)深度感測器普遍應用以獲得深度訊息，其藉由測量投射光線從場景物件反射回來並由飛時深度感測器接收所需時間以轉換得到深度。傳統具面光線投射器之飛時深度感測器具有能量分散與高功耗等缺點。
結構光(structured light)係另一種獲得深度訊息的技術，其藉由投射已知圖樣(例如格狀或水平條紋)至場景物件並基於幾何三角測量法以得到深度。傳統結構光具有能量集中與低功耗等優點。但是，由於需要基準線(baseline)，使得體積變得較大。
因此亟需提出一種新穎的深度估算系統，以克服傳統深度估算系統的諸多缺點。
鑑於上述，本發明實施例的目的之一在於提出一種具情境感知適應性最佳化的混合型深度估算系統，可適用於低功率、高品質與長距離模式。
根據本發明實施例之一，混合型深度估算系統包含可切換投射器、感測器、點飛時深度產生器、面飛時深度產生器及去雜訊處理器。可切換投射器可投射點光線或面光線至物件。感測器接收自物件的反射點光線或反射面光線，用以分別擷取第一影像或第二影像。點飛時深度產生器根據第一影像以產生點深度圖與相關的點可信度圖。面飛時深度產生器根據第二影像以產生面深度圖。去雜訊處理器根據點深度圖當中具高可信度的複數點以處理面深度圖，因而產生去雜訊深度圖。
根據本發明另一實施例，混合型深度估算系統更包含結構光深度解碼器、邊緣偵測器及熔合處理器。結構光深度解碼器根據點可信度圖以產生結構光深度圖。邊緣偵測器根據去雜訊可信度圖以產生邊緣圖。熔合處理器根據點可信度圖與邊緣圖，以處理結構光深度圖、點深度圖及面深度圖，因而產生強化深度圖。
第一圖顯示本發明第一實施例之混合型深度估算系統100的方塊圖。混合型深度估算系統(以下簡稱系統)100的方塊可使用電子電路、電腦軟體或其組合來實施。例如，系統100的至少一部份可執行於具內嵌記憶體之數位影像處理器。在另一例子中，系統100的至少一部份可使用指令控制電腦來實施。
在本實施例中，系統100包含可切換投射器11，例如點-擴散片(dot-diffuser)投射器，可投射點光線或面光線至物件10。換句話說，可切換投射器11的投射光可於點光線與面光線之間作切換。可切換投射器11受控於模式信號，其代表模式偵測器12所決定之模式。例如，模式偵測器12可根據功率、品質及距離以決定模式，分別相應於低功率模式、高品質模式及長距離模式。模式偵測器12也可根據目前電池準位、目前(飛時測量之)可信度(confidence)及眼球追蹤器(eye tracker)的感興趣區域(region of interest)。藉此，本實施例可實現情境感知適應性最佳化。
本實施例之系統100可包含感測器13(其設置於可切換投射器11的附近)，其接收自物件10反射的反射點光線或反射面光線，用以擷取(相應於點光線之)第一影像或(相應於面光線之)第二影像。值得注意的是，在本實施例中，可切換投射器11係作為單一光源，且感測器13係作為單一擷取裝置以擷取影像。
根據本實施例的特徵之一，系統100可包含點飛時深度產生器(dot ToF depth generator)14，其藉由測量投射點光線從物件10反射回來並由感測器13擷取所需時間，並根據第一影像以產生點深度圖。點飛時深度產生器14還同時產生相關的點可信度圖(dot confidence map)。本說明書採用相關領域的習慣，可信度圖係用以代表影像每一像素之距離(或深度)測量的可信度。
系統100可包含面飛時深度產生器(surface ToF depth generator)15，其藉由測量投射面光線從物件10反射回來並由感測器13擷取所需時間，並根據第二影像以產生面深度圖。面飛時深度產生器15還同時產生相關的面可信度圖(surface confidence map)。系統100可包含緩衝器16(例如記憶體裝置)，用以暫存面深度圖。
本實施例之系統100可包含去雜訊(denoise)處理器17，其根據(點飛時深度產生器14之)點深度圖當中具有高可信度的複數點(或像素)，用以處理(面飛時深度產生器15或緩衝器16之)面深度圖，因而得到去雜訊深度圖。在本說明書中，高可信度係指大於預設值的可信度。去雜訊處理器17還同時產生相關的去雜訊可信度圖。在一實施例中，去雜訊處理器17使用點深度圖當中具高可信度的深度值來置換面深度圖的相應深度值。
第二圖顯示本發明第二實施例之混合型深度估算系統200的方塊圖。混合型深度估算系統(以下簡稱系統)200類似於第一圖的系統100 ，但更包含以下方塊，詳述如下。
在本實施例中，系統200可包含結構光深度解碼器21，其根據(點飛時深度產生器14之)點可信度圖，據以產生結構光深度圖。結構光深度解碼器21使用可切換投射器11以投射已知圖樣，且使用感測器13以擷取反射影像，並基於幾何三角測量法以產生結構光深度圖。
根據本實施例的特徵之一，系統200可包含邊緣(edge)偵測器22，根據(去雜訊處理器17之)去雜訊可信度圖以產生邊緣圖。
本實施例之系統200可包含熔合(fusion)處理器23，其根據(點飛時深度產生器14之)點可信度圖與(邊緣偵測器22之)邊緣圖，以接收並處理(結構光深度解碼器21之)結構光深度圖、(點飛時深度產生器14之)點深度圖及(面飛時深度產生器15或緩衝器16之)面深度圖，因而產生強化深度圖。
在一實施例中，熔合處理器23針對位於(邊緣偵測器22的)偵測邊緣的(結構光深度圖、點深度圖或/且面深度圖)深度值進行熔合操作，用以校正經常發生於結構光深度圖當中位於偵測邊緣的洞(hole)。
在另一實施例中，熔合處理器23根據場景物件的距離以執行熔合操作。例如，對於較近的場景物件，其結構光深度圖具有較好表現，因此於進行熔合操作時給予較高權重。相反的，對於較遠的場景物件，其面深度圖具有較好表現，因此於進行熔合操作時給予較高權重。
根據上述第一實施例與第二實施例，相較於傳統結構光系統，系統100/200具有增進的可偵測大小；相較於傳統面飛時系統，系統100/200具有增強的有效工作範圍、增進的光學現象強健性(robustness)及較低功耗。相較於傳統結構光與飛時系統，系統200具有更好的品質。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。
100:混合型深度估算系統
200:混合型深度估算系統
10:物件
11:可切換投射器
12:模式偵測器
13:感測器
14:點飛時深度產生器
15:面飛時深度產生器
16:緩衝器
17:去雜訊處理器
21:結構光深度解碼器
22:邊緣偵測器
23:熔合處理器
第一圖顯示本發明第一實施例之混合型深度估算系統的方塊圖。
第二圖顯示本發明第二實施例之混合型深度估算系統的方塊圖。
100:混合型深度估算系統
10:物件
11:可切換投射器
12:模式偵測器
13:感測器
14:點飛時深度產生器
15:面飛時深度產生器
16:緩衝器
17:去雜訊處理器
Claims (7)
- 一種混合型深度估算系統，包含：一可切換投射器，可投射點光線或面光線至物件；一感測器，其接收自該物件的反射點光線或反射面光線，用以分別擷取第一影像或第二影像；一點飛時深度產生器，其根據該第一影像以產生點深度圖與相關的點可信度圖；一面飛時深度產生器，其根據該第二影像以產生面深度圖；一去雜訊處理器，其根據該點深度圖當中具高可信度的複數點以處理該面深度圖，因而產生去雜訊深度圖與相關的去雜訊可信度圖；一結構光深度解碼器，其根據該點可信度圖以產生結構光深度圖；一邊緣偵測器，其根據該去雜訊可信度圖以產生邊緣圖；及一熔合處理器，其根據該點可信度圖與該邊緣圖，以處理該結構光深度圖、該點深度圖及該面深度圖，因而產生強化深度圖；其中該熔合處理器針對該邊緣偵測器所偵測邊緣所在的深度值進行熔合操作。
- 根據申請專利範圍第1項所述之混合型深度估算系統，其中該可切換投射器包含點-擴散片投射器。
- 根據申請專利範圍第1項所述之混合型深度估算系統，更包含：一模式偵測器，其產生模式信號以控制該可切換投射器。
- 根據申請專利範圍第1項所述之混合型深度估算系統，其中該可切換投射器係為單一光源，且該感測器係為單一擷取裝置。
- 根據申請專利範圍第1項所述之混合型深度估算系統，更包含：一緩衝器，用以暫存該面深度圖。
- 一種混合型深度估算系統，包含：一可切換投射器，可投射點光線或面光線至物件；一感測器，其接收自該物件的反射點光線或反射面光線，用以分別擷取第一影像或第二影像；一點飛時深度產生器，其根據該第一影像以產生點深度圖與相關的點可信度圖；一面飛時深度產生器，其根據該第二影像以產生面深度圖；一去雜訊處理器，其根據該點深度圖當中具高可信度的複數點以處理該面深度圖，因而產生去雜訊深度圖與相關的去雜訊可信度圖；一結構光深度解碼器，其根據該點可信度圖以產生結構光深度圖；一邊緣偵測器，其根據該去雜訊可信度圖以產生邊緣圖；及一熔合處理器，其根據該點可信度圖與該邊緣圖，以處理該結構光深度圖、該點深度圖及該面深度圖，因而產生強化深度圖；其中該熔合處理器根據該物件的距離以執行熔合操作。
- 根據申請專利範圍第6項所述之混合型深度估算系統，其中當該物件與該感測器的距離較近時，該結構光深度圖具有較高權重，當該物件與該感測器的距離較遠時，該面深度圖具有較高權重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108148271A TWI753344B (zh) | 2019-12-30 | 2019-12-30 | 混合型深度估算系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108148271A TWI753344B (zh) | 2019-12-30 | 2019-12-30 | 混合型深度估算系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202125411A TW202125411A (zh) | 2021-07-01 |
| TWI753344B true TWI753344B (zh) | 2022-01-21 |
Family
ID=77908474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108148271A TWI753344B (zh) | 2019-12-30 | 2019-12-30 | 混合型深度估算系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI753344B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014164401A1 (en) * | 2013-03-11 | 2014-10-09 | Texas Instruments Incorporated | Time of flight sensor binning |
| US9542626B2 (en) * | 2013-09-06 | 2017-01-10 | Toyota Jidosha Kabushiki Kaisha | Augmenting layer-based object detection with deep convolutional neural networks |
| TW201837861A (zh) * | 2017-04-10 | 2018-10-16 | 鈺立微電子股份有限公司 | 深度處理系統 |
| TW201945824A (zh) * | 2018-04-24 | 2019-12-01 | 財團法人工業技術研究院 | 環景點雲資料的建立方法與建立系統 |
-
2019
- 2019-12-30 TW TW108148271A patent/TWI753344B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014164401A1 (en) * | 2013-03-11 | 2014-10-09 | Texas Instruments Incorporated | Time of flight sensor binning |
| US9542626B2 (en) * | 2013-09-06 | 2017-01-10 | Toyota Jidosha Kabushiki Kaisha | Augmenting layer-based object detection with deep convolutional neural networks |
| TW201837861A (zh) * | 2017-04-10 | 2018-10-16 | 鈺立微電子股份有限公司 | 深度處理系統 |
| TW201945824A (zh) * | 2018-04-24 | 2019-12-01 | 財團法人工業技術研究院 | 環景點雲資料的建立方法與建立系統 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202125411A (zh) | 2021-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10671862B2 (en) | Method and system for detecting obstacles by autonomous vehicles in real-time | |
| EP3469306B1 (en) | Geometric matching in visual navigation systems | |
| EP3438777B1 (en) | Method, apparatus and computer program for a vehicle | |
| US9392262B2 (en) | System and method for 3D reconstruction using multiple multi-channel cameras | |
| US11132804B2 (en) | Hybrid depth estimation system | |
| Tsiotsios et al. | Backscatter compensated photometric stereo with 3 sources | |
| US7936944B2 (en) | Image processing device and image processing method | |
| CN110503040B (zh) | 障碍物检测方法及装置 | |
| CN107945141B (zh) | 一种在散射环境中基于圆偏振光的偏振图像复原方法 | |
| US20110285910A1 (en) | Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques | |
| US20170374331A1 (en) | Auto keystone correction and auto focus adjustment | |
| TW201415863A (zh) | 產生穩健立體影像的技術 | |
| US10634918B2 (en) | Internal edge verification | |
| US11488354B2 (en) | Information processing apparatus and information processing method | |
| WO2022135594A1 (zh) | 目标物体的检测方法及装置、融合处理单元、介质 | |
| US20160245641A1 (en) | Projection transformations for depth estimation | |
| US11803982B2 (en) | Image processing device and three-dimensional measuring system | |
| JP2016075658A (ja) | 情報処理システムおよび情報処理方法 | |
| Duda et al. | SRSL: Monocular self-referenced line structured light | |
| JP2014130086A (ja) | 距離画像センサ、処理装置、プログラム | |
| TWI753344B (zh) | 混合型深度估算系統 | |
| CN117406234A (zh) | 基于单线激光雷达与视觉融合的目标测距和追踪的方法 | |
| CN117250956A (zh) | 一种多观测源融合的移动机器人避障方法和避障装置 | |
| US20230162442A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN113189601B (zh) | 混合型深度估算系统 |