TWI839653B

TWI839653B - 測定裝置及測距裝置

Info

Publication number: TWI839653B
Application number: TW110140033A
Authority: TW
Inventors: 橫山恭二
Original assignee: 日商索尼半導體解決方案公司
Priority date: 2019-08-13
Filing date: 2020-08-04
Publication date: 2024-04-21

Abstract

提供本揭示之測定裝置(1)。測定裝置(1)具備複數個受光元件與辨識部(111)。複數個受光元件配置於第1基板(P1)，於接收到自光源照射並由被測定物反射之光時輸出信號。辨識部(111)配置於與第1基板(P1)不同之第2基板(P3)，基於複數個受光元件之輸出信號，使用機械學習模型而辨識至被測定物之距離相關之資訊。

Description

測定裝置及測距裝置

本揭示係關於一種測定裝置及測距裝置。

作為使用光測定至被測定物之距離之測距方式之一，已知有稱為直接ToF(direct Time of Flight：直接飛時測距)方式之測距方法。於直接ToF方式之測距處理中，基於表示光源射出光之射出時序至受光元件中接收到由被測定物反射該光之反射光之受光時序的時間，求得至被測定物之距離。

更具體而言，計測射出時序至由受光元件接收到光之受光時序之時間，將表示計測到之時間之時間資訊記憶於記憶體。執行複數次該計測，並基於記憶於記憶體之複數次計測之複數個時間資訊製作直方圖。基於該直方圖，求得至被測定物之距離。 [先前技術文獻] [專利文獻]

[專利文獻1]日本專利特開2016-176750號公報

[發明所欲解決之問題]

然而，於上述先前技術，為了求得至被測定物之距離，需進行各種處理，如產生直方圖、或對該直方圖進行閾值判定檢測時間資訊，而有耗費處理時間之問題。又，有需耗費工夫來調整各種處理所需之參數之問題。再者，因距離之算出精度依存於記憶時間資訊之記憶體之記憶體大小、或直方圖之等級(頻塊(bins))數等，故有難以提高精度之問題。

因此，於本揭示，提案有一種可減少處理時間、參數調整工夫，並可提高精度之測定裝置及測距裝置。 [解決問題之技術手段]

根據本揭示，提供一種測定裝置。測定裝置具備複數個受光元件、與辨識部。複數個受光元件配置於第1基板，於接收到自光源照射並由被測定物反射之光時輸出信號。辨識部配置於與上述第1基板不同之第2基板，基於上述複數個受光元件之輸出信號，使用機械學習模型而辨識與至上述被測定物之距離相關之資訊。 [發明之效果]

根據本揭示，可減少處理時間、參數調整工夫，並提高精度。另，此處所記載之效果未必為限定者，亦可為本揭示中記載之任一種效果。

以下，基於圖式對本揭示之各實施形態進行詳細進行說明。另，於以下各實施形態中，藉由對相同之部位標註相同之符號而省略重複之說明。

(使用直方圖之測距方法) 在說明本揭示之實施形態之前，為了容易理解，作為測距方法之一，對使用直方圖進行測距之技術進行說明。作為該情形之測距技術，應用直接ToF(direct Time Of Flight)方式。直接ToF方式係由受光元件接收由被測定物反射自光源射出之光之反射光，並基於光之射出時序與受光時序之差量時間進行測距之技術。

使用圖1及圖2，對直接ToF方式之測距方法之一例概略地進行說明。圖1係模式性顯示直接ToF方式之測距之一例之圖。測距裝置300a包含光源部301a與受光部302a。光源部301a係例如雷射二極體，以脈衝狀發出雷射光之方式受驅動。自光源部301a射出之光由被測定物303a反射，並作為反射光由受光部302a接收。受光部302a包含藉由光電轉換將光轉換為電性信號之受光元件，並輸出對應於接收到之光之信號。

此處，將光源部301a發光之時刻(發光時序)設為時間t_em ，將受光部302a接收到由被測定物303a反射自光源部301a射出之光之反射光的時刻(受光時序)設為時間t_re 。若將常數c設為光速(2.9979×10⁸ [m/sec])，則根據下式(1)計算測距裝置300a與被測定物303a之間之距離D。

測距裝置300a重複執行複數次上述處理。受光部302a亦可包含複數個受光元件，基於各受光元件接收到反射光之各受光時序分別算出距離D。測距裝置300a基於等級(頻塊(bins))將發光時序之時間t_em 至受光部302a接收到光之受光時序之時間t_m (稱為受光時間t_m )分類，產生直方圖。

另，受光部302a於受光時間t_m 接收到之光不限定於由被測定物303a反射光源部301a發出之光的反射光。例如，測距裝置300a(受光部302a)周圍之環境光亦會被受光部302a接收。

圖2係顯示基於受光部302a接收到光之時刻之一例之直方圖的圖。於圖2中，橫軸表示頻塊，縱軸表示各頻塊之頻率。頻塊係將受光時間t_m 按特定之各單位時間d分類者。具體而言，頻塊#0為0≦t_m ＜d、頻塊#1為d≦t_m ＜2×d、頻塊#2為2×d≦t_m ＜3×d、…、頻塊#(N－2)為(N－2)×d≦t_m ＜(N－1)×d。於將受光部302a之曝光時間設為時間t_ep 之情形時，t_ep =N×d。

測距裝置300a基於頻塊計數取得受光時間t_m 之次數求得各頻塊之頻率310a，產生直方圖。此處，受光部302a亦接收反射自光源部301a射出之光之反射光以外之光。作為此種對象反射光以外之光之例，有上述之環境光。於直方圖中以範圍311a所示之部分包含環境光之環境光成分。環境光係隨機入射至受光部302a之光，相對於對象反射光成為雜訊。

另一方面，對象反射光係根據特定之距離接收之光，於直方圖中作為有效光成分312a顯示。與該有效光成分312a內之峰值之頻率對應之頻塊為對應於被測定物303a之距離D之頻塊。測距裝置300a藉由取得該頻塊之代表時間(例如頻塊之中央時間)作為上述之時間t_re ，可根據上述式(1)，算出至被測定物303a之距離D。如此，藉由使用複數個受光結果，可對隨機之雜訊執行適當之測距。

然而，於使用上述之直方圖之測距方法中，必須在檢測出受光時序即時間t_re 之前，取得複數個受光結果，而受光時序之檢測處理耗費時間。又，為了產生直方圖，必須預先記憶受光時間t_m 之記憶體，致使裝置之電路規模變大。又，為了自直方圖適當檢測時間t_re ，需對產生之各直方圖設定適當之閾值，因其需濾波處理或閾值設定處理，故處理負荷變大。又，因需可藉由求得之距離精度確實地去除雜訊之濾波係數、或用於適當檢測時間t_re 之閾值，故用於設定該等之開發工作量亦增加。

如此，基於處理時間、或處理負荷或記憶體削減之觀點，期望改善使用直方圖之測距方法。因此，於本揭示之技術中，不產生直方圖，而使用機械學習模型，根據受光部之受光時序(時間t_re )而辨識至被測定物之距離。以下，使用圖3對該技術之概要進行說明。

(實施形態) [測距方法之概要] 圖3係用於說明本揭示之實施形態之測距方法之概要之圖。圖3所示之測距方法由測定裝置1(省略圖3之圖示)執行。又，測定裝置1具有含複數個像素(受光元件)之受光部302。

如圖3所示，測定裝置1之受光部302按各受光元件輸出接收到被測定物之反射光之各受光時序(步驟S1)。測定裝置1基於受光時序之分佈310，使用機械學習模型而辨識與至被測定物之距離對應之時間t_re (步驟S2)。具體而言，測定裝置1將複數個受光元件之受光時序之分佈作為輸入資料，將與至被測定物之距離對應之時間t_re 作為正解資料，預先學習機械學習模型M。測定裝置1將步驟S1中受光部302輸出之受光時序作為輸入資料，輸入至機械學習模型M，取得機械學習模型M之輸出結果作為與至被測定物之距離對應之時間t_re 。

測定裝置1根據取得之時間t_re 而產生包含至被測定物之距離之資料(步驟S3)。

如此，測定裝置1使用將受光時序作為輸入之機械學習模型而辨識與至被測定物之距離對應之時間t_re ，藉此測定裝置1無須產生直方圖，可縮短測定距離之時間。又，無須產生直方圖所需之處理，測定裝置1可減少測定距離之處理負荷。又，無須用於產生直方圖之記憶體，可削減測定裝置1之電路規模。

[測距系統之構成] 圖4係顯示本揭示之實施形態之測距系統之構成之一例之方塊圖。圖4所示之測距系統6包含測定裝置1、光源2、記憶裝置7、控制裝置4、光學系統5、及攝像裝置8。

光源2係例如雷射二極體，以脈衝狀發出雷射光之方式受驅動。光源2可應用射出雷射光之VCSEL(Vertical Cavity Surface Emitting LASER：垂直共振腔面射型雷射)作為面光源。不限定於此，作為光源2，可應用使用將雷射二極體排列於行上之陣列，並使自雷射二極體陣列射出之雷射光沿垂直於行之方向掃描之構成。再者，又可應用使用作為單光源之雷射二極體，並使自雷射二極體射出之雷射光沿水平及垂直方向掃描之構成。

測定裝置1包含複數個受光元件。複數個受光元件例如2維點陣狀排列形成受光面。測定裝置1基於複數個受光元件之輸出信號，使用機械學習而辨識與至被測定物之距離對應之時間t_re ，產生距離資料。將算出之距離資訊記憶於例如記憶裝置7。光學系統5將自外部入射之光導光至測定裝置1包含之受光面。另，以下，亦將包含光源2及測定裝置1之裝置稱為測距裝置。

攝像裝置8係拍攝例如被測定物存在之被攝體空間之RGB圖像之RGB相機。

控制裝置4控制測距系統6之全體之動作。例如控制裝置4對測定裝置1，供給用於使光源2發光之觸發即發光觸發信號。測定裝置1使光源2於基於該發光觸發信號之時序發光，且記憶表示發光時序之時間t_em 。又，控制裝置4根據例如來自外部之指示，對測定裝置1進行測距時之參數測定。

又，控制裝置4基於攝像裝置8拍攝之RGB圖像，控制測定裝置1之機械學習用之機械學習模型M之切換。測定裝置1根據控制裝置4之控制，選擇例如與被測定物之類別對應之機械學習模型M。

[測定裝置之構成] 圖5係顯示本揭示之實施形態之測定裝置1之構成之一例之方塊圖。如圖5所示，測定裝置1包含像素陣列部100、測距處理部101、像素控制部102、全體控制部103、時脈產生部104、發光控制部105、介面(I/F：interface)部106、及模型記憶部107。

全體控制部103根據例如預先組入之程式，控制測定裝置1之全體之動作。又，全體控制部103亦可執行對應於自外部供給之外部控制信號之控制。脈衝產生部104基於自外部供給之基準時脈信號，產生測定裝置1內使用之1個以上之時脈信號。發光控制部105根據自外部供給之發光觸發信號產生表示發光時序之發光控制信號。將發光控制信號供給至光源2，且供給至測距處理部101。

像素陣列部100係包含2維點陣狀排列且分別包含受光元件之複數個像素10、10、…之受光部。各像素10之動作由依循全體控制部103之指示之像素控制部102控制。例如，像素控制部102以一次讀出各像素10之輸出信號之方式控制各像素10。又，像素10具有例如SPAD(Single Photon Avalanche Diode：單光子突崩二極體)元件作為受光元件。

測距處理部101基於自各像素10讀出之輸出信號，測定至被測定物之距離D。測距處理部101包含轉換部110、辨識部111、資料產生部112、及模型切換部113。

轉換部110將自像素陣列部100供給之輸出信號轉換為數位資訊。自像素陣列部100供給之輸出信號與該像素信號對應之像素10所含之受光元件接收到光之時序對應並輸出。轉換部110將被供給之輸出信號轉換為表示該時序之數位值之時間資訊。對轉換部110，輸入像素陣列部100之所有像素10之輸出信號。轉換部110將所有輸出信號轉換為時間資訊，輸出至辨識部111。

辨識部111具備機械學習模型之一例即DNN(Deep Neural Network：深層神經網路)111a。DNN111a係藉由機械學習設計之以人之腦神經迴路(神經網路)為模型之多階層構造之算法，其根據分別對應於所有像素10之輸出信號之時間資訊(以下，亦稱為各像素10之時間資訊)辨識與至被測定物之距離D對應的時間資訊(以下，亦稱為被測定物之時間資訊)。另，DNN111a係一例，辨識部111亦可使用例如SVM等回歸模型等之任意形式之模型(學習器)作為機械學習模型。

辨識部111藉由將自轉換部110輸入之各像素10之時間資訊向DNN111a輸入並執行DNN處理，而認識被測定物之時間資訊。且，辨識部111將自DNN111a輸出之DNN結果作為辨識結果向資料產生部112輸出。

資料產生部112根據自辨識部111輸入之DNN結果產生輸出資料，並向記憶裝置7輸出。具體而言，資料產生部112基於辨識部111辨識出之被測定物之時間資訊，算出至被測定物之距離D而產生輸出資料，並向I/F部106輸出。

模型切換部113切換辨識部111之機械學習模型。模型切換部113基於例如來自控制裝置4之指示，讀出記憶於模型記憶部107之模型並供給至DNN111a。

對I/F部106，供給由資料產生部112產生之輸出資料。I/F部106係例如MIPI(Mobile Industry Processor Interface：行動產業處理器介面)，將輸出資料向例如記憶裝置7輸出。或，I/F部106亦可將輸出資料向控制裝置4或外部裝置(省略圖示)輸出。

(測定裝置之積層構造) 此處，使用圖6對測定裝置1之積層構造概略地進行說明。圖6係顯示本揭示之實施形態之測定裝置1之積層構造之一例之概略圖。如圖6所示，測定裝置1包含配置有像素陣列部100之第1基板P1、配置有轉換部110之第2基板P2與配置有辨識部111之第3基板P3。

如圖6所示，像素陣列部100配置於第1基板P1。另，可於第1基板P1，配置像素陣列部100之像素10中之受光元件，而像素10所包含之其他電路構成配置於例如第2基板P2等第1基板P1以外之基板。

於第2基板P2，配置有轉換部110。例如，於轉換部110按各像素10具有時間數位轉換電路110a之情形時，於第2基板P2，配置有對應於各像素10之時間數位轉換電路。

此處，時間數位轉換電路(TDC：Time to Digital Converter)110a計測被供給來自像素10之輸出信號之時間，並將計測到之時間轉換為數位值之時間資訊。如此，TDC110a係相對於1個像素10產生1個時間資訊之電路，轉換部110具有例如與像素10之數量相同數量之TDC110a。

TDC110a包含例如計數光源2照射光之照射時序至像素10接收到光之受光時序之時間的計數器。計數器與自發光控制部105供給之發光控制信號同步開始計測(計數)時間。計數器根據自像素10供給之輸出信號之反轉時序結束時間之計測。TDC110a將計數器開始計測時間至結束之計數值轉換為數位值之時間資訊輸出至辨識部111。

對圖6所示之第1基板P1及第2基板P2之接合，使用例如相互連接接合面所形成之銅電極彼此之所謂Cu-Cu接合。或，亦可對第1基板P1及第2基板P2之接合，使用例如使各者之接合面平坦化並以電子間力將兩者貼合之所謂直接接合或其他凸塊接合等。

於第3基板P3，配置有辨識部111。另，於第3基板P3，亦可配置有辨識部111以外之例如資料產生部112或全體控制部103等邏輯電路。或，亦可將資料產生部112或模型切換部113、全體控制部103等邏輯電路配置於其他基板(省略圖示)。

自所有的TDC110a對配置於第3基板P3之辨識部111供給時間資訊。辨識部111將自所有的TDC110a供給之各像素10之時間資訊作為輸入並以機械學習模型進行辨識，藉此辨識被測定物之時間資訊。

對於圖6所示之第2基板P2及第3基板P3之接合，使用例如連接形成於相互接合面之銅電極彼此之所謂Cu-Cu接合。或者，對於第2基板P2及第3基板P3之接合，亦可使用例如將各者之接合面平坦化並以電子間力將兩者貼合之所謂直接接合、或其他凸塊接合等。

如此，於本揭示之實施形態中，將像素陣列部100、轉換部110及辨識部111分別配置於不同之基板(第1～第3基板P1～P3)，測定裝置1一次計測所有像素10之受光時間。藉此，辨識部111可基於所有像素10之輸出信號而辨識被測定物之時間資訊。因此，測定裝置1可不產生直方圖，而檢測至被測定物之距離D，省去用於產生直方圖之處理或記憶體。

另，此處雖顯示將像素陣列部100、轉換部110及辨識部111分別配置於不同之基板(第1～第3基板P1～P3)之例，但不限定於此。例如，亦可將像素陣列部100、轉換部110及辨識部111配置於1個基板。

又，此處雖顯示一次讀出所有像素10之輸出信號之情形之例，但像素10之讀出方法不限定於此。例如，可按特定區域之各像素10讀出輸出信號。或者，亦可對例如像素10逐列或逐行地讀出輸出信號。於此情形時，測定裝置1亦可具有記憶按各像素10讀出之輸出信號(或將輸出信號轉換為時間之時間資訊)之記憶體。

(機械學習模型) 其次，使用圖7～圖9，對辨識部111辨識距離D所使用之機械學習模型進行說明。如上所述，對辨識部111，輸入與像素10之所有輸出信號對應之時間資訊。辨識部111藉由對DNN11a輸入各像素10之時間資訊且執行DNN處理，而辨識被測定物之時間資訊。

使用圖7，說明機械學習模型之神經網路之一例。圖7係用於說明神經網路之概要之圖。

如圖7所示，神經網路40包含輸入層41、中間層42及輸出層43之3種層，且具有各層所含之節點彼此以鏈路連接之網路構造。圖7之圓形相當於節點，箭頭相當於鏈路。若對輸入層41輸入輸入資料，則以自輸入層41向中間層42、自中間層42向輸出層43之順序，在節點處進行運算與在鏈路處進行加權，且自輸出層43將輸出資料輸出。另，神經網路中具有特定數以上之層者，亦稱為DNN(Deep Neural Network)或深度學習。

又，圖7所示之神經網路40僅為一例，只要可實現所期望之功能，則可為任意之網路構成。例如，於圖7之例中，為了簡化說明而顯示輸出層43之節點為1個之情形，但於例如若為分類模型，輸出層43之節點數亦可為複數個(例如分類之類別數)。

另，已知神經網路可近似任意之函數。神經網路可藉由使用倒傳遞等計算方法，學習適合教師資料之網路構造。因此，藉由以神經網路構成模型，可使模型不受在人可理解之範圍內設計之表現能力之制約。

另，辨識部111辨識時間資訊用之機械學習模型不限定於DNN111a，而由各種網路構成。例如，機械學習模型可為例如SVM(Support Vector Machine：支援向量機)等之回歸模型等任意形式之模型(學習器)。例如，機械學習模型亦可為非線形之回歸模型或線形之回歸模型等各種回歸模型。

又，辨識部111辨識時間資訊用之機械學習模型根據被測定物之種類切換。針對該點，使用圖8及圖9進行說明。圖8及圖9係用於說明機械學習模型之例之圖。

自光源2照射之光由被測定物反射並以測定裝置1接收。此時，多少反射光到達測定裝置1係根據被測定物之種類而變化。

如圖8所示，於被測定物為車輛之情形時，大多照射光由例如以平面構成之車體部分反射並以測定裝置1接收。因此，較接收環境光之像素10，在對應於至被測定物之距離之受光時序t_c 附近接收反射光之像素10變多。

因此，如圖8之圖表所示，受光時序之分佈成為於包含受光時序t_c 之特定範圍內接收到反射光之像素數變多之分佈。另，圖8所示之圖表係縱軸表示各頻塊之頻率，橫軸表示頻塊(時間t)，且顯示各像素之受光時序與像素數之關係。換言之，圖8所示之圖表係顯示哪個時刻接收到反射光之像素較多之圖表。

另一方面，如圖9所示，於被測定物為樹之情形時，因照射光之一部分由樹之表面漫反射，故到達測定裝置1之反射光與車輛之情形相比變少。因此，如圖9所示，受光時序之分佈於與至被測定物之距離對應之受光時序t_t 附近變多，但與被測定物為車輛之情形相比，於受光時序t_t 附近接收到反射光之像素數變少。

如此，受光時序之分佈不僅根據至被測定物之距離D而變化，亦根據被測定物之種類而變化。因此，於本揭示之實施形態中，例如按車輛、建築物、道路、行人或樹之被測定物之各種類學習機械學習模型。藉此，可使被測定物之時間資訊之辨識精度提高。

另，機械學習模型係按被測定物之各種類，將受光時序之分佈與被測定物之時間資訊建立關聯作為教師資料並基於教導學習而預先構建者。又，構建之機械學習模型預先記憶於模型記憶部107。辨識部111基於模型切換部113之指示，自模型記憶部107讀出機械學習模型，藉此切換辨識時間資訊所用之機械學習模型。

另，機械學習模型之構建不限定於上述之被測定物之各種類。例如，可按被攝體空間之各情景構建機械學習模型。具體而言，亦可按例如白天或夜晚之各時間、雨天或晴天之各天氣、或國家、地區、城市或山區之各場所構建機械學習模型。白天與夜晚時，各像素10所接收之反射光以外之例如環境光變化。又，於雨天之情形時，像素10之受光時序因雨滴之反射而變化。又，道路狀況或標識、周圍環境因國家、地區、城市或山區而異。因此，藉由按被攝體空間之各情景構建機械學習模型，可使處於被攝體空間之被測定物之時間資訊之辨識精度提高。又，例如於白天之城市辨識至車輛之距離D之情形時等，亦可按情景與被測定物之種類之各組合構建機械學習模型。

(機械學習模型之距離辨識) 其次，使用圖10，對利用辨識部111辨識被測定物之時間資訊進行說明。圖10係用於對利用辨識部111辨識時間資訊進行說明之圖。以下，亦將光源2照射照射光之情況記載為照射。

辨識部111按例如每1次照射取得將來自像素陣列部100之輸出信號由轉換部110轉換後之時間資訊。辨識部111將按每1次照射取得之時間資訊輸入至DNN111a，並取得對應於被測定物之距離D之時間資訊之辨識結果。

例如圖10所示，以光源2照射N次照射光之情形為例進行說明。此時，將光源2之第n次照射稱為第n照射(n=1～N)。辨識部111對應於光源2之第1～第N照射，依序取得如圖10所示之分佈之時間資訊。

辨識部111針對第1～第N照射各者，取得像素10之時間資訊後，依序輸入至DNN111a，辨識被測定物之時間資訊。例如，於圖10所示之例，辨識部111對應於第1照射取得時間資訊t₁ 作為DNN11a之辨識結果，並向資料產生部112輸出。同樣地，辨識部111對應於第n照射取得時間t_n (n=2～N)作為DNN11a之辨識結果，並向資料產生部112輸出。

資料產生部112例如自辨識部111依序按第1～第N照射之每一者取得被測定物之時間資訊t₁ ～t_N 後，基於上述之式(1)算出對應於各照射之至被測定物之距離D。另，自辨識部111輸出之時間資訊t₁ ～t_N 對應於式(1)之t_em －t_re 。

如此，資料產生部112可按第1～第N照射之每一者算出至被測定物之距離D，或資料產生部112亦可按每複數次照射算出至被測定物之距離D。此時，資料產生部112亦可使用複數次照射之被測定物之時間資訊之平均值算出距離D。

或，資料產生部112可判定被測定物之時間資訊之值是否已收斂，並使用判定為收斂之照射之時間資訊算出距離D。另，於時間資訊之值收斂，且資料產生部112算出距離D之情形時，資料產生部112亦可判定為辨識部111之辨識結束，而結束測定被測定物之距離。

另，此處，雖已對基於光源2複數次照射之光算出距離D之情形進行說明，但例如測定裝置1亦可以1次照射結束距離D之測定。即，辨識部111對與1次照射對應取得之各像素10之時間資訊實施DNN處理，辨識被測定物之時間資訊，且資料產生部112算出距離D後，可結束測定裝置1之距離D之測定。如此，藉由使用機械學習模型算出距離D，測定裝置1可最短以1次照射測定距離D，可縮短距離D之測定時間。

[控制裝置] 其次，使用圖11對控制裝置4之詳情進行說明。控制裝置4進行測距系統之控制，且控制模型切換部113之機械學習模型之切換。此處，主要對控制裝置4進行機械學習模型切換之控制之點進行說明。另，圖11係顯示本揭示之實施形態之控制裝置4之構成例之方塊圖。

控制裝置4由例如CPU(Central Processing Unit：中央處理單元)、微處理器等電子電路實現。又，控制裝置4亦可包含記憶使用之程式或運算參數等之ROM(Read Only Memory：唯讀記憶體)、及暫時記憶適當變化之參數等之RAM(Random Access Memory：隨機存取記憶體)。

控制裝置4基於攝像裝置8之攝像圖像，進行被測定物之檢測、被攝體空間之情景辨識，並進行測定裝置1之機械學習模型之切換控制。具體而言，控制裝置4作為取得部401、擷取部402、情景辨識部403、測距決定部406、模型選擇部404及通知部405發揮功能。

取得部401自攝像裝置8取得RGB圖像。取得部401可取得例如RGB圖像之攝像時刻或攝像場所等相關之資訊。該資訊可自攝像裝置8取得，亦可自例如GPS感測器(省略圖示)等感測器取得。該感測器可為測距系統6所有，亦可為外部感測器。

擷取部402自RGB圖像擷取被測定物。擷取部402進行例如模板匹配等圖像處理，自RGB圖像擷取樹或車輛、道路等之被測定物。又，擷取部402可根據例如RGB圖像之顏色資訊擷取天空區域或包含道路之地面區域等。或，擷取部402亦可使用DNN等機械學習模型擷取被測定物、天空區域或地面區域等。

情景辨識部403根據RGB圖像辨識被攝體空間之情景。或，情景辨識部403可根據RGB圖像之攝像時刻或攝像場景等相關之資訊辨識情景。又，情景辨識部403亦可經由網路(省略圖示)自外部裝置等取得情景辨識所需之資訊。

此處，情景係例如季節、時刻、天氣或場所等表示藉由周邊資訊表示之被攝體空間之資訊。於根據RGB圖像辨識情景之情形時，情景辨識部403根據例如RGB圖像之亮度(明亮度)辨識被攝體空間為白天還是或夜晚。又，情景辨識部403亦可基於擷取部402之擷取結果，辨識情景。例如，作為被測定物，擷取部402檢測出建築物或行人、車輛等之情形時，情景辨識部403辨識被攝體空間為城市。

另，情景辨識部403之情景辨識不限定於基於RGB圖像者，可根據RGB圖像以外之資訊辨識情景。例如，情景辨識部403可根據RGB圖像之攝像時日辨識被攝體空間之季節或時刻等。又，情景辨識部403可根據RGB圖像之攝像場所辨識被攝體空間之場所。情景辨識部403可基於例如雨檢測感測器之檢測結果及RGB圖像，辨識被攝體空間之天氣。如此，情景辨識部403亦可基於複數個感測器等之檢測結果辨識被攝體空間之情景。或，亦可經由網路自外部裝置取得時刻資訊或天氣等。

或，情景辨識部403可使用DNN等機械學習模型辨識被攝體空間之情景。於此情形時，情景辨識部403可對DNN輸入RGB圖像，除RGB圖像以外，亦可將攝像時日或雨檢測感測器之檢測結果等資訊輸入至DNN。

如此，情景辨識部403基於例如包含RGB圖像之感測器之檢測結果，辨識被攝體空間之情景。情景辨識部403辨識例如被攝體空間為「日本國內」、「城市」、「晴天」及「傍晚」。

測距決定部406基於擷取部402之擷取結果及情景辨識部403之辨識結果，決定要測定距離D之測距位置(測距點)。又，測距決定部406決定光源2之照射之方向或功率、脈衝形狀等與發光系統關聯之各種參數值。又，測距決定部406選擇像素陣列部100之曝光期間或訊框率等與光學系統關聯之各種參數值。

此處，參照圖12及圖13，對測距決定部406決定之測距位置(測距點)進行說明。圖12及圖13係用於對測距決定部406決定之測距位置進行說明之圖。

另，此處，如圖12所示，擷取部402自RGB圖像M1擷取樹Tr、道路R、車輛C1、家H、行人Pe及天空區域SR。此時，測距決定部406基於擷取部402之擷取結果，決定測定至被攝體空間中存在之哪個被測定物之距離D。又，測距決定部406決定測定被測定物之哪個位置之距離D。

具體而言，測距決定部406決定在例如圖12中以「＋」所示之5處測定至行人Pe之距離D。按各被測定物測定之距離D之數N1例如按被測定物之各種類而預先決定，測距決定部406根據該數N1決定RGB圖像M1中之測距位置，換言之自光源2照射之光之方向。

測距決定部406使按被測定物之各種類決定之測定數N1於例如被測定物為行人Pe或車輛C1等移動體之情形時最多，而於樹Tr或家H之靜止物體之情形時少於移動體之情形者(參照圖12)。又，如道路R之背景之測定數N1少於靜止物體。又，如天空區域SR般無被測定物之區域可不進行距離D之測定。即，因認為天空區域SR中無被測定物，故光源2無須向天空區域SR照射光。因此，測距決定部406決定測定除天空區域SR以外之至被測定物之距離D。

如此，測距決定部406基於擷取部402擷取出之被測定物之種類與RGB圖像之位置決定自光源2照射之光之方向(測距位置)。

或，如圖13所示，例如於擷取部402擷取出橫向之車輛C2之情形時，測距決定部406決定1個位置A1作為測定至車輛C2之距離D的測定位置。這是因為車輛C2橫向之情形時，車輛C2之側面大致由平面構成，故至車輛C2之距離D在側面之任何位置測定皆無顯著變化之故。如此，於被測定物具有平面之情形時，測距決定部406將平面之代表位置決定為測距位置。藉此，測距系統6可削減利用測定裝置1測定至被測定物之距離D之次數。

另，此處，雖由測定決定部406決定1個代表位置，但不限定於此。測距決定部406亦可決定複數個代表位置。

又，測距決定部406可使用情景辨識部403之辨識結果決定對應於情景之測定位置。例如，於被攝體空間之時段為「夜晚」之情形時，測距決定部406使至被測定物之距離D之測定數N1多於時段為「白天」之情形者。即，測定決定部406於時段為「夜晚」之情形時，以多於「白天」時之測定位置測定至被測定物之距離D之方式，決定測定位置。

返回至圖11，模型選擇部404基於擷取部402之擷取結果及情景辨識部403之辨識結果，按例如測定決定部406決定之各測距位置，選擇測定裝置1辨識被測定物之距離D所用之機械學習模型。

具體而言，模型選擇部404於例如擷取部402擷取出行人之情形時，選擇將行人作為正解資料以教導學習構建之機械學習模型。如此，模型選擇部404根據例如擷取部402擷取出之被測定物之種類選擇機械學習模型。

或，模型選擇部404亦可使用情景辨識部403之辨識結果，選擇對應於情景之機械學習模型。例如，於被攝體空間之天氣為「下雨」之情形時，模型選擇部404基於情景之辨識結果，選擇適於情景之機械學習模型，如選擇基於雨天時收集到之測定資料構建之機械學習模型等。

又，模型選擇部404亦可基於例如擷取部402之擷取結果及情景辨識部403之辨識結果，選擇機械學習模型。例如，預先將關聯之關鍵字與機械學習模型建立聯繫，模型選擇部404選擇與擷取結果及辨識結果相同之關鍵字建立聯繫之機械學習模型。具體而言，例如於擷取結果為「車輛」，情景辨識結果為「白天」、「下雨」之情形時，模型選擇部404對照擷取結果及情景辨識結果與複數個機械學習模型建立聯繫之關鍵字，選擇結果與關鍵字之匹配度最高之機械學習模型。

或，模型選擇部404亦可使用機械學習進行模型選擇。於此情形時，模型選擇部404對例如機械學習模型之一例即DNN輸入擷取結果及情景辨識結果並執行DNN處理，藉此選擇用於測定距離D之機械學習模型。

通知部405將模型選擇部404之選擇結果通知至測定裝置1。通知部405將例如指定模型選擇部404選擇之機械學習模型之資訊通知至測定裝置1。又，於模型選擇部404選擇與發光系統及受光系統關聯之參數值之情形時，將選擇之參數值通知至測定裝置1或光源2。

[測距處理順序] 其次，說明測距系統6執行之測距處理順序之一例。首先，對控制裝置4之模型選擇處理進行說明，其後，對測定裝置1之測定處理順序進行說明。

(模型選擇處理) 圖14係顯示本揭示之實施形態之模型選擇處理之順序之一例之流程圖。

如圖14所示，控制裝置4自攝像裝置8取得RGB圖像(步驟S201)。其次，控制裝置4藉由自RGB圖像擷取特徵量，而擷取被測定物(步驟S202)。

其次，控制裝置4辨識RGB圖像之情景(步驟S203)。控制裝置4基於步驟S202中擷取出之被測定物及步驟S203中辨識出之情景，決定被測定物之距離D之測距位置(步驟S204)。

控制裝置4按各測距位置選擇機械學習模型(步驟S205)，並將決定之測距位置及對應之機械學習模型通知至測定裝置1(步驟S206)。

(測定處理) 圖15係顯示本揭示之實施形態之測定處理之順序之一例之流程圖。

如圖15所示，首先，測定裝置1基於控制裝置4之通知及測距位置，切換辨識部111之辨識所用之機械學習模型(步驟S101)。其次，測定裝置1控制光源2使之照射光(步驟S102)。

測定裝置1於所有像素10中，計測光源2照射光後至像素10中接收該光之時間(步驟S103)。測定裝置1使用機械學習模型，根據所有像素10之時間計測結果辨識被測定物之時間資訊(步驟S104)。測定裝置1基於辨識出之被測定物之時間資訊，產生包含至被測定物之距離D之資料(步驟S105)。

如以上所說明，本揭示之實施形態之測定裝置1具備複數個受光元件(像素10)、與辨識部111。複數個受光元件配置於第1基板P1，且於接收到自光源2照射並由被測定物反射之光時輸出信號。辨識部111配置於與第1基板P1不同之第2基板(對應於上述實施形態之第3基板P3)，並基於複數個受光元件之輸出信號，使用機械學習模型辨識至被測定物之距離D。

藉此，測定裝置1可基於複數個受光元件之輸出信號辨識被測定物之時間資訊，並減少測定至被測定物之距離D所需之處理時間。又，因測定裝置1不產生直方圖，亦無須記憶體，故與使用直方圖之距離D之測定相比，可減少參數調整工夫，並提高精度。

[變化例] 另，於上述實施形態中，設為控制裝置4基於RGB圖像而選擇機械學習模型，但不限定於此。例如，亦可由測定裝置1基於所有像素10之時間資訊，選擇機械學習模型。

例如，圖16所示，像素10之時間資訊之分佈未在特定區域密集，而為隨機之分佈。於此情形時，測定裝置1之模型切換部113選擇對應於該分佈之機械學習模型，而切換辨識部111之辨識所使用之機械學習模型。模型切換部113例如可自轉換部110取得像素10之時間資訊之分佈，亦可自辨識部111取得。另，圖16係顯示像素10之時間資訊之分佈之一例之圖。

或，測定裝置1之例如模型切換部113亦可基於該分佈，變更光源2之照射方向或功率、脈衝形狀等與發光系統關聯之各種參數值。例如，模型切換部113於像素10之時間資訊如圖16所示為隨機分佈之情形時，如下變更各種參數值：判斷為至被測定物之距離D較遠而增大照射功率，或判定為照射方向上無被測定物而變更照射方向。模型切換部113將變更後之參數輸出至例如發光控制部105。或者，發光控制部105亦可基於該分佈而變更各種參數。

又，如圖17所示，假設像素10之時間資訊之分佈為集中在特定區域者。即，若像素10對受光時序之檢測結果為飽和之分佈，則測定裝置1之模型切換部113選擇對應於該分佈之機械學習模型，而切換辨識部111之辨識所使用之機械學習模型。另，圖17係顯示像素10之時間資訊之分佈之另一例之圖。

或者，測定裝置1之例如模型切換部113亦可基於該分佈，變更光源2之照射方向或功率、脈衝形狀等與發光系統關聯之各種參數值。模型切換部113將變更後之參數輸出至例如發光控制部105。或者，發光控制部105亦可基於該分佈而變更各種參數。

另，此處雖設為測定裝置1變更發光系統之各種參數，但亦可變更受光系統之各種參數，例如受光感度等。

如此，測定裝置1基於像素10之時間資訊，切換機械學習模型，或變更發光系統或受光系統之各種參數，從而測定裝置1可提高對於至被測定物之距離D之測定精度。

又，於上述實施形態中，雖設為測定裝置1之辨識部111辨識被測定物之時間資訊，但不限定於此。測定裝置1之辨識部111亦可將各像素10之時間資訊輸入至DNN111a，而辨識至被測定物之距離D。如此，辨識部111亦可辨識被測定物之時間資訊或距離D等、至被測定物之距離D相關之資訊。

另，於上述實施形態中，雖設為控制裝置4基於攝像裝置8之攝像結果而選擇機械學習模型，但亦可基於其他感測器裝置之感測結果而選擇機械學習模型。

例如，控制裝置4亦可代替攝像裝置8而基於近紅外光(IR：Infrared Ray)感測器或短波紅外(SWIR：Short-Wave Infrared Ray)感測器、中波紅外(MWIR：Medium-Wave Infrared Ray)感測器、及長波紅外(LWIR：Long-Wave Infrared Ray)感測器等紅外感測器之感測結果，選擇機械學習模型。或，控制裝置4又可基於LIDAR(Laser Imaging Detection and Ranging：雷射成像檢測及測距)感測器之感測結果選擇機械學習模型，該LIDAR感測器係基於頻帶與自光源2照射之光之頻帶不同之光而測定距離D。又，控制裝置4還可基於RADAR(Radio Detecting and Ranging：無線電檢測及測距)感測器之感測結果選擇機械學習模型。

或，控制裝置4亦可組合包含上述之攝像裝置8之各種感測器之感測結果，選擇機械學習模型。

又，辨識部111亦可使用上述之各種感測器之感測結果，辨識被測定物之時間資訊。於此情形時，將上述之各種感測器之輸出輸入至辨識部111。辨識部111藉由將各像素10之時間資訊及上述之各種感測器之輸出輸入至DNN111a並執行DNN處理，而辨識被測定物之時間資訊。如此，亦可藉由使用各種感測器之輸出，提高辨識部111辨識被測定物之時間資訊之精度。

另，於上述實施形態中，雖設為測定裝置1切換機械學習模型而測定至被測定物之距離D，但不限定於此。例如，於可以1個機械學習模型對應複數種被測定物之情形時，測定裝置1可使用1個機械學習模型而測定至被測定物之距離D。或，於測定裝置1測定例如至車輛等特定被測定物之距離D之情形時，測定裝置1可使用例如為車輛特化之1個機械學習模型來測定距離D。

又，例如於本實施形態中，雖已對資料產生部112及模型切換部113設置於測定裝置1之內部之例予以顯示，但亦可將資料產生部112及模型切換部113設置於在測距裝置之外部設置之應用程式處理器。

或，例如於本實施形態中，雖已對將測距決定部406及模型選擇部404設置於控制裝置4內部之例予以顯示，但亦可將測距決定部406及模型選擇部404設置於測定裝置1。於此情形時，可藉由使模型切換部113包含模型選擇部404之功能，而將模型選擇部404設置於測定裝置1。

[效果] 實施形態及變化例之測定裝置1具備：複數個受光元件(像素10)，其等配置於第1基板P1，且於接收到自光源2照射並由被測定物反射之光時輸出信號；及辨識部111，其配置於與第1基板P1不同之第3基板P3，並基於複數個受光元件之輸出信號，使用機械學習模型(DNN111a)而辨識至被測定物之距離D相關之資訊。

藉此，測定裝置1可不產生直方圖而測定至被測定物之距離D，可減少測定距離D所需之處理時間。

又，實施形態及變化例之測定裝置1進而具備時間計測部(轉換部110)，其基於複數個受光元件之輸出信號，計測光源2發光之發光時序至受光元件接收到光之受光時序之時間，並取得計測值。辨識部111使用將對應於複數個受光元件各者之複數個計測值設為輸入之機械學習模型辨識距離D相關之資訊。

又，實施形態及變化例之辨識部111基於光源2發光1次時由時間計測部(轉換部110)計測到之計測值，辨識距離D相關之資訊。

如此，以光源2之1次發光，辨識部111辨識距離D相關之資訊，藉此測定裝置1可減少距離D之測定時間。

又，實施形態及變化例之辨識部111基於光源2複數次發光時，由時間計測部(轉換部110)對應於各發光計測到之計測值，辨識距離D相關之資訊。

如此，以光源2之複數次發光，辨識部111辨識距離D相關之資訊，藉此測定裝置1可提高距離D之測定精度。

又，於判定為實施形態及變化例之辨識部111已辨識出距離D相關之資訊之情形時，結束距離D相關之資訊之辨識。

如此，於辨識部111辨識出距離D相關之資訊之情形時結束辨識處理，藉此測定裝置1可提高距離D之測定精度。

又，實施形態及變化例之辨識部111使用神經網路作為機械學習模型而辨識距離D相關之資訊。

藉此，測定裝置1可提高距離D之測定精度。

又，實施形態及變化例之第1基板P1與第3基板P3間之連接係銅電極彼此之連接。

藉此，測定裝置1之設計自由度提高，又，測定裝置1可實現小型化。

又，實施形態及變化例之測距裝置具備：光源2，其對被測定物照射光；複數個受光元件(像素10)，其等配置於第1基板P1，並於接收到由被測定物反射之光時輸出信號；及辨識部111，其配置於與第1基板P1不同之第3基板P3，基於複數個受光元件之輸出信號，使用機械學習模型(DNN111a)而辨識至被測定物之距離D相關之資訊。

藉此，測定裝置可不產生直方圖而測定至被測定物之距離D，可減少測定距離D所需之處理時間。

[本揭示之技術之應用例] 其次，對本揭示之實施形態及變化例之應用例進行說明。圖18係顯示使用可應用上述實施形態及變化例之測定裝置1之使用例的圖。

上述之測距裝置1例如可如下用於感測可見光、或紅外光、紫外光、X射線等光之各種實例。

・數位相機、或附相機功能之攜帶式機器等拍攝供鑒賞用之圖像之裝置。・為了自動停止等安全駕駛、或辨識駕駛者之狀態等，而拍攝汽車之前方或後方、周圍、車內等之車載用感測器、監視行駛車輛與道路之監視相機、進行車輛間等之測距之測距感測器等供交通用之裝置。・為了拍攝使用者之手勢進行依循該手勢之機器操作，而供TV、或冰箱、空調等家電之裝置。・內視鏡、或藉由接收紅外光而進行血管攝影之裝置等供醫療與保健用之裝置。・預防犯罪用途之監視相機、與人物認證用途之相機等供保全用之裝置。・拍攝肌膚之肌膚測定器、或拍攝頭皮之顯微鏡等供美容用之裝置。・適於運動用途等之運動相機或穿戴式相機等供運動用之裝置。・用於監視農田或作物之狀態之相機等供農業用之裝置。

(對移動體之應用例) 本揭示之技術(本技術)可應用於各種製品。例如，本揭示之技術亦可作為搭載於汽車、電動汽車、油電混合汽車、機車、腳踏車、個人移動載具、飛機、無人機、船舶、機器人等任一種移動體之裝置而實現。

圖19係顯示可應用本揭示之技術之移動體控制系統之一例即車輛控制系統之概略構成例的方塊圖。

車輛控制系統12000具備經由通信網路12001連接之複數個電子控制單元。於圖19所示之例中，車輛控制系統12000具備驅動系統控制單元12010、車體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040及整合控制單元12050。又，作為整合控制單元12050之功能構成，圖示微電腦12051、聲音圖像輸出部12052、及車載網路I/F(Interface：介面)12053。

驅動系統控制單元12010根據各種程式控制與車輛之驅動系統關聯之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等用以產生車輛之驅動力之驅動力產生裝置、用以將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛舵角之轉向機構、及產生車輛之制動力之制動裝置等控制裝置發揮功能。

車體系統控制單元12020根據各種程式控制車體所裝備之各種裝置之動作。例如，車體系統控制單元12020作為無鑰匙啟動系統、智慧型鑰匙系統、電動窗裝置、或頭燈、尾燈、剎車燈、方向燈或霧燈等各種燈之控制裝置發揮功能。於該情形時，可對車體系統控制單元12020輸入自代替鑰匙之攜帶式機器發送之電波或各種開關之信號。車體系統控制單元12020受理該等電波或信號之輸入，並控制車輛之門鎖裝置、電動窗裝置、燈等。

車外資訊檢測單元12030檢測搭載有車輛控制系統12000之車輛的外部資訊。例如，於車外資訊檢測單元12030連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，且接收所拍攝之圖像。車外資訊檢測單元12030亦可基於接收到之圖像，進行人、車、障礙物、標識或路面上之文字等之物體檢測處理或距離檢測處理。

攝像部12031係接收光並輸出對應於該光之受光量之電性信號的光感測器。攝像部12031可將電性信號作為圖像輸出，亦可作為測距資訊輸出。又，攝像部12031接收之光可為可見光，亦可為紅外線等非可見光。

車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040連接有例如檢測駕駛者之狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之相機，車內資訊檢測單元12040可基於自駕駛者狀態檢測部12041輸入之檢測資訊，算出駕駛者之疲勞程度或注意力集中程度，亦可判斷駕駛者是否在打瞌睡。

微電腦12051可基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外之資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現包含避開車輛碰撞或緩和衝擊、基於車間距離之追隨行駛、車速維持行駛、車輛之碰撞警告或車輛偏離車道警告等之ADAS(Advanced Driver Assistance System：先進駕駛輔助系統)之功能為目的之協調控制。

又，微電腦12051可藉由基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車輛周圍之資訊，控制驅動力產生裝置、轉向機構或制動裝置等，而進行以不依據駕駛者之操作而自控行駛之自動駕駛等為目的之協調控制。

又，微電腦12051可基於由車外資訊檢測單元12030取得之車外資訊，對車體系統控制單元12020輸出控制指令。例如，微電腦12051可根據由車外資訊檢測單元12030檢測出之前方車或對向車之位置控制頭燈，進行將遠光切換成近光等以謀求防眩為目的之協調控制。

聲音圖像輸出部12052將聲音及圖像中之至少一者之輸出信號發送至可對車輛之搭乘者或車外視覺性或聽覺性通知資訊之輸出裝置。於圖19之例中，作為輸出裝置，例示聲頻揚聲器12061、顯示部12062及儀表板12063。顯示部12062亦可包含例如車載顯示器及抬頭顯示器之至少一者。

圖20係顯示攝像部12031之設置位置之例之圖。

於圖20中，作為攝像部12031，具有攝像部12101、12102、12103、12104、12105。

攝像部12101、12102、12103、12104及12105設置於例如車輛12100之前保險桿、側視鏡、後保險桿、尾門及車廂內之擋風玻璃之上部等位置。前保險桿所具備之攝像部12101及車廂內之擋風玻璃之上部所具備之攝像部12105主要取得車輛12100前方之圖像。側視鏡所具備之攝像部12102、12103主要取得車輛12100側方之圖像。後保險桿或尾門所具備之攝像部12104主要取得車輛12100後方之圖像。車廂內之擋風玻璃之上部所具備12105主要用於檢測前方車輛或行人、障礙物、號誌機、交通標識或車道線等。

另，圖20中顯示攝像部12101～12104之攝像範圍之一例。攝像範圍12111表示設置於前保險桿之攝像部12101之攝像範圍，攝像範圍12112及12113分別表示設置於側視鏡之攝像部12102及12103之攝像範圍，攝像範圍12114表示設置於後保險桿或尾門之攝像部12104之攝像範圍。例如，藉由使攝像部12101～12104所拍攝之圖像資料重疊，而獲得自上方觀察車輛12100之俯瞰圖像。

攝像部12101至12104之至少一者亦可具有取得距離資訊之功能。例如，攝像部12101至12104之至少一者可為包含複數個攝像元件之立體相機，亦可為具有相位差檢測用之像素之攝像元件。

例如，微電腦12051基於自攝像部12101～12104取得之距離資訊，求得攝像範圍12111～12114內至各立體物之距離、及該距離之時間變化(相對於車輛12100之相對速度)，藉此可擷取尤其於車輛12100之行進路上某最近之立體物且在與車輛12100大致相同之方向以特定速度(例如為0 km/h以上)行駛之立體物，作為前方車。再者，微電腦12051可設定前方車之近前應預先確保之車間距離，進行自動剎車控制(亦包含追隨停止控制)或自動加速控制(亦包含追隨起動控制)等。可如此地進行以不依據駕駛者之操作而自控行駛之自動駕駛等為目的之協調控制。

例如，微電腦12051基於自攝像部12101至12104獲得之距離資訊，將立體物相關之立體物資料分類成二輪車、普通車輛、大型車輛、行人、電線桿等其他立體物並擷取，用於障礙物之自動避開。例如，微電腦12051可將車輛12100周邊之障礙物辨識為車輛12100之駕駛員可視認之障礙物與難以視認之障礙物。且，微電腦12051判斷表示與各障礙物碰撞之危險度之碰撞危險性，碰撞危險性為設定值以上，有可能碰撞之狀況時，經由聲頻揚聲器12061或顯示部12062對駕駛員輸出警報，或經由驅動系統控制單元12010進行強制減速或避開轉向，藉此可進行用以避開碰撞之駕駛支援。

攝像部12101至12104之至少一者亦可為檢測紅外線之紅外線相機。例如，微電腦12051可藉由判斷攝像部12101至12104之攝像圖像中是否存在行人而辨識行人。該行人之辨識係根據例如擷取作為紅外線相機之攝像部12101至12104之攝像圖像之特徵點之順序、及對表示物體輪廓之一連串特徵點進行圖案匹配處理而判別是否為行人之順序進行。若微電腦12051判定攝像部12101至12104之攝像圖像中存在行人且辨識為行人，則聲音圖像輸出部12052以對該經辨識出之行人重疊顯示用以強調之方形輪廓線之方式，控制顯示部12062。又，聲音圖像輸出部12052亦可以將表示行人之圖標等顯示於期望之位置之方式控制顯示部12062。

以上，已對可應用本揭示之技術之車輛控制系統之一例進行說明。本揭示之技術可應用於以上說明之構成中之例如攝像部12031。具體而言，可將圖4之測距系統6應用於攝像部12031。藉由對攝像部12031應用本揭示之技術，可提高算出至車輛周邊之障礙物之距離之速度。

以上，雖已對本揭示之實施形態進行說明，但本揭示之技術範圍並非直接限定於上述實施形態者，可於不脫離本揭示之主旨之範圍內進行各種變更。又，亦可適當組合跨及不同之實施形態及變化例之構成要件。

又，本說明書所記載之效果僅為例示而非限定者，又，亦可有其他效果。

另，本技術亦可採取如下之構成。 (1) 一種測定裝置，其具備：複數個受光元件，其等配置於第1基板，於接收到自光源照射並由被測定物反射之光時輸出信號；及辨識部，其配置於與上述第1基板不同之第2基板，並基於上述複數個受光元件之輸出信號，使用機械學習模型而辨識至上述被測定物之距離相關之資訊。 (2) 如(1)記載之測定裝置，其進而具備：時間計測部，其基於上述複數個受光元件之上述輸出信號，計測自光源發光之發光時序至上述受光元件接收到光之受光時序之時間，取得計測值；且上述辨識部使用將對應於上述複數個受光元件各者之複數個上述計測值作為輸入之上述機械學習模型，辨識上述距離相關之資訊。 (3) 如(2)記載之測定裝置，其中上述辨識部基於上述光源發光1次時上述時間計測部計測到之上述計測值，辨識上述距離相關之資訊。 (4) 如(2)記載之測定裝置，其中上述辨識部基於上述光源發光複數次時、上述時間計測部對應於各發光而計測到之上述計測值，辨識上述距離相關之資訊。 (5) 如(4)記載之測定裝置，其中於判定為辨識出上述距離相關之資訊之情形時，上述辨識部結束上述距離相關資訊之辨識。 (6) 如(1)至(5)中任一項記載之測定裝置，其中上述辨識使用神經網路作為上述機械學習模型而辨識上述距離相關之資訊。 (7) 如(1)至(6)中任一項記載之測定裝置，其中上述第1基板與上述第2基板間之連接為銅電極彼此之連接。 (8) 一種測距裝置，其具備：光源，其對被測定物照射光；複數個受光元件，其等配置於第1基板，於接收到自上述被測定物反射之光時輸出信號；及辨識部，其配置於與上述第1基板不同之第2基板，基於上述複數個受光元件之輸出信號，使用上述機械學習模型而辨識至上述被測定物之距離相關之資訊。

1:測定裝置 2:光源 4:控制裝置 5:光學系統 6:測距系統 7:記憶裝置 8:攝像裝置 10:像素 40:神經網路 41:輸入層 42:中間層 43:輸出層 100:像素陣列部 101:測距處理部 102:像素控制部 103:全體控制部 104:時脈產生部 105:發光控制部 106:I/F部 107:模型記憶部 110:轉換部 110a:TDC 111:辨識部 111a:DNN 112:資料產生部 113:模型切換部 300a測距裝置 301a:光源部 302:受光部 302a:受光部 303a:被測定物 310:分佈 310a:頻率 311a:範圍 312a:有效光成分 401:取得部 402:擷取部 403:情景辨識部 404:模型選擇部 405:通知部 406:測距決定部 12000:車輛控制系統 12001:通信網路 12010:驅動系統控制單元 12020:車體系統控制單元 12030:車外資訊檢測單元 12031:攝像部 12040:車內資訊檢測單元 12041:駕駛者狀態檢測部 12050:整合控制單元 12051:微電腦 12052:聲音圖像輸出部 12053:車載網路I/F 12061:聲頻揚聲器 12062:顯示部 12063:儀表板 12100:車輛 12101:攝像部 12102:攝像部 12103:攝像部 12104:攝像部 12105:攝像部 12111:攝像範圍 12112:攝像範圍 12113:攝像範圍 12114:攝像範圍 A1:位置 C1:車輛 C2:車輛 D:距離 d:單位時間 H:家 M:機械學習模型 M1:RGB圖像 P1:第1基板 P2:第2基板 P3:第3基板 Pe:行人 R:道路 S1:步驟 S2:步驟 S3:步驟 S101:步驟 S102:步驟 S103:步驟 S104:步驟 S105:步驟 S201:步驟 S202:步驟 S203:步驟 S204:步驟 S205:步驟 S206:步驟 SR:天空區域 t:時間t₁ ~t_N :時間資訊 t_c :受光時序 t_em :時間 t_ep :時間 Tr:樹 t_re :時間 t_t :受光時序 #0~#(N-1):頻塊

圖1係模式性顯示直接ToF方式之測距之一例之圖。圖2係顯示基於受光部接收到光之時刻之一例之直方圖的圖。圖3係用於說明本揭示之實施形態之測距方法之概要之圖。圖4係顯示本揭示之實施形態之測距系統之構成之一例之方塊圖。圖5係顯示本揭示之實施形態之測定裝置之構成之一例之方塊圖。圖6係顯示本揭示之實施形態之測定裝置之積層構造之一例之概略圖。圖7係用於說明神經網路之概要之圖。圖8係用於說明機械學習模型之例之圖。圖9係用於說明機械學習模型之例之圖。圖10係用於對利用辨識部辨識時間資訊進行說明之圖。圖11係顯示本揭示之實施形態之控制裝置之構成例之方塊圖。圖12係用於對測距決定部決定之測距位置進行說明之圖。圖13係用於對測距決定部決定之測距位置進行說明之圖。圖14係顯示本揭示之實施形態之模型選擇處理之順序之一例的流程圖。圖15係顯示本揭示之實施形態之測定處理之順序之一例的流程圖。圖16係顯示像素之時間資訊之分佈之一例之圖。圖17係顯示像素之時間資訊之分佈之另一例之圖。圖18係顯示使用可應用上述實施形態及變化例之測定裝置之使用例之圖。圖19係顯示可應用本揭示之技術之移動體控制系統之一例即車輛控制系統之概略構成例之方塊圖。圖20係顯示攝像部之設置位置之例之圖。

1:測定裝置

2:光源

10:像素

100:像素陣列部

101:測距處理部

102:像素控制部

103:全體控制部

104:時脈產生部

105:發光控制部

106:I/F部

107:模型記憶部

110:轉換部

111:辨識部

111a:DNN

112:資料產生部

113:模型切換部

Claims

一種測定裝置，其具備：複數個受光元件，其於接收到自光源照射並由被測定物反射之光時輸出信號；辨識部，其基於上述複數個受光元件之輸出信號，使用機械學習模型而辨識至上述被測定物之距離相關之資訊；及時間計測部，其基於上述複數個受光元件之上述輸出信號，計測自光源發光之發光時序至上述受光元件接收到光之受光時序之時間，取得計測值；且上述辨識部使用將對應於上述複數個受光元件各者之複數個上述計測值作為輸入之上述機械學習模型，辨識上述距離相關之資訊。
如請求項1之測定裝置，其中上述辨識部基於上述光源發光1次時上述時間計測部計測到之上述計測值，辨識上述距離相關之資訊。
如請求項1之測定裝置，其中上述辨識部基於上述光源發光複數次時、上述時間計測部對應於各發光而計測到之上述計測值，辨識上述距離相關之資訊。
如請求項3之測定裝置，其中於判定為辨識出上述距離相關之資訊之情形時，上述辨識部結束上述距離相關資訊之辨識。
如請求項4之測定裝置，其中上述辨識部使用神經網路作為上述機械學習模型而辨識上述距離相關之資訊。
如請求項1之測定裝置，其中上述複數個受光元件配置於第1基板；且上述辨識部配置於與上述第1基板不同之第2基板。
如請求項6之測定裝置，其中上述第1基板與上述第2基板間之連接為銅電極彼此之連接。
一種測距裝置，其具備：光源，其對被測定物照射光；複數個受光元件，其於接收到自上述被測定物反射之光時輸出信號；及辨識部，其基於上述複數個受光元件之輸出信號，使用機械學習模型而辨識至上述被測定物之距離相關之資訊；及時間計測部，其基於上述複數個受光元件之上述輸出信號，計測自光源發光之發光時序至上述受光元件接收到光之受光時序之時間，取得計測值；且上述辨識部使用將對應於上述複數個受光元件各者之複數個上述計測值作為輸入之上述機械學習模型，辨識上述距離相關之資訊。
如請求項8之測距裝置，其中上述複數個受光元件配置於第1基板；且上述辨識部配置於與上述第1基板不同之第2基板。