KR20220043125A - 측정 장치 및 측거 장치 - Google Patents

Abstract

본 개시에 관한 측정 장치(1)가 제공된다. 측정 장치(1)는, 복수의 수광 소자와, 인식부(111)를 구비한다. 복수의 수광 소자는, 제1 기판(P1)에 배치되어, 광원으로부터 조사되어 피측정물에 의해 반사되는 광을 수광했을 때 신호를 출력한다. 인식부(111)는, 제1 기판(P1)과는 다른 제2 기판(P3)에 배치되어, 복수의 수광 소자의 출력 신호에 기초하여, 기계 학습 모델을 사용하여 피측정물까지의 거리에 관한 정보를 인식한다.

Description

측정 장치 및 측거 장치

본 개시는, 측정 장치 및 측거 장치에 관한 것이다.

광을 사용하여 피측정물까지의 거리를 측정하는 측거 방식 중 하나로서, 직접 ToF(direct Time of Flight) 방식이라고 불리는 측거 방법이 알려져 있다. 직접 ToF 방식에 의한 측거 처리에서는, 광원에 의한 광의 사출을 나타내는 사출 타이밍으로부터, 당해 광이 피측정물에 의해 반사된 반사광이 수광 소자에 수광되는 수광 타이밍까지의 시간에 기초하여, 피측정물까지의 거리를 구한다.

보다 구체적으로는, 사출 타이밍으로부터, 수광 소자에 의해 광이 수광된 수광 타이밍까지의 시간을 계측하고, 계측된 시간을 나타내는 시간 정보를 메모리에 기억한다. 이 계측을 복수회 실행하고, 메모리에 기억된 복수회의 계측에 의한 복수의 시간 정보에 기초하여 히스토그램을 작성한다. 이 히스토그램에 기초하여, 피측정물까지의 거리를 구한다.

일본 특허 공개 제2016-176750호 공보

그러나, 상기의 종래 기술에서는, 히스토그램을 생성하거나, 이 히스토그램을 역치 판정하여 시간 정보를 검출하거나, 피측정물까지의 거리를 구하기 위하여 다양한 처리가 필요해져, 처리 시간이 걸린다는 문제가 있었다. 또한, 다양한 처리에 필요한 파라미터를 조정하는 수고가 든다는 문제가 있었다. 또한, 거리의 산출 정밀도는, 시간 정보를 기억하는 메모리의 메모리 양이나, 히스토그램의 계급(빈(bins))의 수 등에 의존하기 때문에, 정밀도를 향상시키는 것이 어렵다는 문제가 있었다.

그래서, 본 개시에서는, 처리 시간, 파라미터 조정의 수고를 저감시킬 수 있고, 정밀도를 향상시킬 수 있는 측정 장치 및 측거 장치를 제안한다.

본 개시에 따르면, 측정 장치가 제공된다. 측정 장치는, 복수의 수광 소자와, 인식부를 구비한다. 복수의 수광 소자는, 제1 기판에 배치되어, 광원으로부터 조사되어 피측정물에 의해 반사되는 광을 수광했을 때 신호를 출력한다. 인식부는, 상기 제1 기판과는 다른 제2 기판에 배치되어, 상기 복수의 수광 소자의 출력 신호에 기초하여, 기계 학습 모델을 사용하여 상기 피측정물까지의 거리에 관한 정보를 인식한다.

본 개시에 따르면, 처리 시간, 파라미터 조정의 수고를 저감시킬 수 있고, 정밀도를 향상시킬 수 있다. 또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니고, 본 개시 중에 기재된 어느 것의 효과이어도 된다.

도 1은 직접 ToF 방식에 의한 측거의 일 예를 모식적으로 도시하는 도면이다.
도 2는 수광부가 수광한 시각에 기초하는 일 예의 히스토그램을 도시하는 도면이다.
도 3은 본 개시의 실시 형태에 따른 측거 방법의 개요를 설명하기 위한 도면이다.
도 4는 본 개시의 실시 형태에 따른 측거 시스템의 구성의 일 예를 도시하는 블록도이다.
도 5는 본 개시의 실시 형태에 따른 측정 장치의 구성의 일 예를 도시하는 블록도이다.
도 6은 본 개시의 실시 형태에 따른 측정 장치의 적층 구조의 일 예를 도시하는 개략도이다.
도 7은 뉴럴 네트워크의 개요를 설명하기 위한 도면이다.
도 8은 기계 학습 모델의 예를 설명하기 위한 도면이다.
도 9는 기계 학습 모델의 예를 설명하기 위한 도면이다.
도 10은 인식부에 의한 시간 정보의 인식에 대하여 설명하기 위한 도면이다.
도 11은 본 개시의 실시 형태에 따른 제어 장치의 구성예를 도시하는 블록도이다.
도 12는 측거 결정부가 결정하는 측거 위치에 대하여 설명하기 위한 도면이다.
도 13은 측거 결정부가 결정하는 측거 위치에 대하여 설명하기 위한 도면이다.
도 14는 본 개시의 실시 형태에 따른 모델 선택 처리의 수순의 일 예를 도시하는 흐름도이다.
도 15는 본 개시의 실시 형태에 따른 측정 처리의 수순의 일 예를 도시하는 흐름도이다.
도 16은 화소의 시간 정보의 분포의 일 예를 도시하는 도면이다.
도 17은 화소의 시간 정보의 분포의 다른 예를 도시하는 도면이다.
도 18은 상술한 실시 형태 및 변형예를 적용 가능한 측정 장치를 사용하는 사용예를 도시하는 도면이다.
도 19는 본 개시에 관한 기술이 적용될 수 있는 이동체 제어 시스템의 일 예인 차량 제어 시스템의 개략적인 구성예를 도시하는 블록도이다.
도 20은 촬상부의 설치 위치의 예를 도시하는 도면이다.

이하에, 본 개시의 각 실시 형태에 대하여 도면에 기초하여 상세하게 설명한다. 또한, 이하의 각 실시 형태에 있어서, 동일한 부위에는 동일한 번호를 부여함으로써 중복되는 설명을 생략한다.

(히스토그램을 사용한 측거 방법)

본 개시의 실시 형태의 설명에 앞서, 이해를 용이하게 하기 위하여, 측거 방법 중 하나로서, 히스토그램을 사용하여 측거를 행하는 기술에 대하여 설명한다. 이 경우의 측거 기술로서, 직접 ToF(direct Time Of Flight) 방식을 적용한다. 직접 ToF 방식은, 광원으로부터 사출된 광이 피측정물에 의해 반사된 반사광을 수광 소자에 의해 수광하고, 광의 사출 타이밍과 수광 타이밍의 차분의 시간에 기초하여 측거를 행하는 기술이다.

도 1 및 도 2를 사용하여, 직접 ToF 방식에 의한 측거 방법의 일 예에 대하여, 개략적으로 설명한다. 도 1은, 직접 ToF 방식에 의한 측거의 일 예를 모식적으로 도시하는 도면이다. 측거 장치(300a)는, 광원부(301a)와 수광부(302a)를 포함한다. 광원부(301a)는, 예를 들어 레이저 다이오드로서, 레이저 광을 펄스 형상으로 발광하도록 구동된다. 광원부(301a)로부터 사출된 광은, 피측정물(303a)에 의해 반사되어, 반사광으로서 수광부(302a)에 수광된다. 수광부(302a)는 광전 변환에 의해 광을 전기 신호로 변환하는 수광 소자를 포함하고, 수광한 광에 따른 신호를 출력한다.

여기서, 광원부(301a)가 발광한 시각(발광 타이밍)을 시간 t_em, 광원부(301a)로부터 사출된 광이 피측정물(303a)에 의해 반사된 반사광을 수광부(302a)가 수광한 시각(수광 타이밍)을 시간 t_re라 하자. 상수 c를 광속도(2.9979×10⁸ [m/sec])라고 하면, 측거 장치(300a)와 피측정물(303a) 사이의 거리 D는, 다음 식 (1)에 의해 계산된다.

D=(c/2)×(t_em-t_re) … (1)

측거 장치(300a)는, 상술한 처리를, 복수회 반복하여 실행한다. 수광부(302a)가 복수의 수광 소자를 포함하고, 각 수광 소자에 반사광이 수광된 각 수광 타이밍에 기초하여 거리 D를 각각 산출해도 된다. 측거 장치(300a)는, 발광 타이밍의 시간 t_em으로부터 수광부(302a)에 광이 수광된 수광 타이밍까지의 시간 t_m(수광 시간 t_m이라고 칭함)을 계급(빈(bins))에 기초하여 분류하고, 히스토그램을 생성한다.

또한, 수광부(302a)가 수광 시간 t_m에 수광한 광은, 광원부(301a)가 발광한 광이 피측정물(303a)에 의해 반사된 반사광에 한정되지 않는다. 예를 들어, 측거 장치(300a)(수광부(302a))의 주위의 환경광도, 수광부(302a)에 수광된다.

도 2는, 수광부(302a)가 수광한 시각에 기초하는 일 예의 히스토그램을 도시하는 도면이다. 도 2에 있어서, 횡축은 빈, 종축은, 빈마다의 빈도를 나타낸다. 빈은, 수광 시간 t_m을 소정의 단위 시간 d별로 분류한 것이다. 구체적으로는, 빈#0이 0≤t_m<d, 빈#1이 d≤t_m<2×d, 빈#2가 2×d≤t_m<3×d, …, 빈#(N-2)가 (N-2)×d≤t_m<(N-1)×d가 된다. 수광부(302a)의 노광 시간을 시간 t_ep라고 한 경우, t_ep=N×d이다.

측거 장치(300a)는, 수광 시간 t_m을 취득한 횟수를 빈에 기초하여 계수하여 빈마다의 빈도(310a)를 구하고, 히스토그램을 생성한다. 여기서, 수광부(302a)는 광원부(301a)로부터 사출된 광이 반사된 반사광 이외의 광도 수광한다. 이러한, 대상이 되는 반사광 이외의 광의 예로서, 상술한 환경광이 있다. 히스토그램에 있어서 범위(311a)로 나타내어지는 부분은, 환경광에 의한 환경광 성분을 포함한다. 환경광은, 수광부(302a)에 랜덤하게 입사되는 광으로서, 대상이 되는 반사광에 대한 노이즈가 된다.

한편, 대상이 되는 반사광은, 특정 거리에 따라 수광되는 광으로서, 히스토그램에 있어서 액티브 광성분(312a)으로서 나타난다. 이 액티브 광성분(312a) 내의 피크 빈도에 대응하는 빈이, 피측정물(303a)의 거리 D에 대응하는 빈이 된다. 측거 장치(300a)는, 그 빈의 대표 시간(예를 들어 빈의 중앙 시간)을 상술한 시간 t_re로서 취득함으로써, 상술한 식 (1)에 따라, 피측정물(303a)까지의 거리 D를 산출할 수 있다. 이와 같이, 복수의 수광 결과를 사용함으로써, 랜덤한 노이즈에 대하여 적절한 측거가 실행 가능하게 된다.

그러나, 상술한 히스토그램을 사용하는 측거 방법에서는, 수광 타이밍인 시간 t_re를 검출할 때까지, 복수의 수광 결과를 취득할 필요가 있어, 수광 타이밍의 검출 처리에 시간이 걸려 버린다. 또한, 히스토그램을 생성하기 위하여, 수광 시간 t_m을 기억해 두는 메모리가 필요해지고, 장치의 회로 규모가 커져 버린다. 또한, 히스토그램으로부터 시간 t_re를 적절하게 검출하기 위해서는, 생성한 히스토그램마다 적절한 역치를 설정할 필요가 있고, 그를 위한 필터링 처리나 역치 설정 처리가 필요해지기 때문에, 처리 부하가 커져 버린다. 또한, 구해지는 거리 정밀도에 따라서는 확실하게 노이즈를 제거할 수 있는 필터 계수나, 시간 t_re를 적절하게 검출하기 위한 역치가 필요해지기 때문에, 이들을 설정하기 위한 개발 공정수도 증가해 버린다.

이와 같이, 히스토그램을 사용하는 측거 방법은, 처리 시간이나, 처리 부하 혹은 메모리 삭감이라는 관점에서 개선이 요망된다. 그래서, 본 개시의 기술에서는, 히스토그램은 생성하지 않고, 기계 학습 모델을 사용하여 수광부의 수광 타이밍(시간 t_re)으로부터 피측정물까지의 거리를 인식한다. 이하, 도 3을 사용하여 이러한 기술의 개요에 대하여 설명한다.

(실시 형태)

[측거 방법의 개요]

도 3은, 본 개시의 실시 형태에 따른 측거 방법의 개요를 설명하기 위한 도면이다. 도 3에 도시하는 측거 방법은, 측정 장치(1)(도 3에서의 도시는 생략함)에 의해 실행된다. 또한, 측정 장치(1)는, 복수의 화소(수광 소자)를 갖는 수광부(302)를 갖는다.

도 3에 도시하는 바와 같이, 측정 장치(1)의 수광부(302)는, 피측정물에서의 반사광이 수광된 각 수광 타이밍을 수광 소자마다 출력한다(스텝 S1). 측정 장치(1)는, 수광 타이밍의 분포(310)에 기초하여, 기계 학습 모델을 사용하여 피측정물까지의 거리에 대응하는 시간 t_re를 인식한다(스텝 S2). 구체적으로, 측정 장치(1)는, 복수의 수광 소자에 의한 수광 타이밍의 분포를 입력 데이터로 하고, 피측정물까지의 거리에 대응하는 시간 t_re를 정답 데이터로 하여, 기계 학습 모델 M을 미리 학습해 둔다. 측정 장치(1)는, 스텝 S1에서 수광부(302)가 출력한 수광 타이밍을 입력 데이터로서, 기계 학습 모델 M에 입력하고, 기계 학습 모델 M의 출력 결과를 피측정물까지의 거리에 대응하는 시간 t_re로서 취득한다.

측정 장치(1)는, 취득한 시간 t_re로부터 피측정물까지의 거리를 포함하는 데이터를 생성한다(스텝 S3).

이와 같이, 측정 장치(1)가 수광 타이밍을 입력으로 하는 기계 학습 모델을 사용하여 피측정물까지의 거리에 대응하는 시간 t_re를 인식함으로써, 측정 장치(1)는, 히스토그램을 생성할 필요가 없어, 거리를 측정하는 시간을 단축시킬 수 있다. 또한, 히스토그램의 생성에 필요한 처리가 불필요하게 되어, 측정 장치(1)는, 거리를 측정하는 처리 부하를 저감시킬 수 있다. 또한, 히스토그램을 생성하기 위한 메모리가 불필요하게 되어, 측정 장치(1)의 회로 규모를 삭감시킬 수 있다.

[측거 시스템의 구성]

도 4는, 본 개시의 실시 형태에 따른 측거 시스템의 구성의 일 예를 도시하는 블록도이다. 도 4에 도시하는 측거 시스템(6)은, 측정 장치(1)와, 광원(2)과, 기억 장치(7)와, 제어 장치(4)와, 광학계(5)와, 촬상 장치(8)를 포함한다.

광원(2)은, 예를 들어 레이저 다이오드로서, 레이저 광을 펄스 형상으로 발광하도록 구동된다. 광원(2)은 면광원으로서 레이저 광을 사출하는 VCSEL(Vertical Cavity Surface Emitting LASER)을 적용할 수 있다. 이에 한정되지 않고, 광원(2)으로서, 레이저 다이오드를 라인 상에 배열한 어레이를 사용하여, 레이저 다이오드 어레이로부터 사출되는 레이저 광을 라인에 수직인 방향으로 스캔하는 구성을 적용해도 된다. 또한, 단일 광원으로서의 레이저 다이오드를 사용하여, 레이저 다이오드로부터 사출되는 레이저 광을 수평 및 수직 방향으로 스캔하는 구성을 적용할 수도 있다.

측정 장치(1)는, 복수의 수광 소자를 포함한다. 복수의 수광 소자는, 예를 들어 2차원 격자상으로 배열되어 수광면을 형성한다. 측정 장치(1)는, 복수의 수광 소자의 출력 신호에 기초하여, 기계 학습을 사용하여 피측정물까지의 거리에 대응하는 시간 t_re를 인식하여, 거리 데이터를 생성한다. 산출된 거리 데이터는, 예를 들어 기억 장치(7)에 기억된다. 광학계(5)는, 외부로부터 입사되는 광을, 측정 장치(1)가 포함하는 수광면으로 유도한다. 또한, 이하, 광원(2) 및 측정 장치(1)를 포함하는 장치를 측거 장치라고도 한다.

촬상 장치(8)는, 예를 들어 피측정물이 존재하는 피사체 공간의 RGB 화상을 촬상하는 RGB 카메라이다.

제어 장치(4)는, 측거 시스템(6)의 전체의 동작을 제어한다. 예를 들어, 제어 장치(4)는, 측정 장치(1)에 대하여, 광원(2)을 발광시키기 위한 트리거인 발광 트리거 신호를 공급한다. 측정 장치(1)는, 이 발광 트리거 신호에 기초하는 타이밍에 광원(2)을 발광시킴과 함께, 발광 타이밍을 나타내는 시간 t_em을 기억한다. 또한, 제어 장치(4)는, 예를 들어 외부로부터의 지시에 따라, 측정 장치(1)에 대하여, 측거 시의 패턴의 설정을 행한다.

또한, 제어 장치(4)는, 촬상 장치(8)가 촬상한 RGB 화상에 기초하여, 측정 장치(1)에 의한 기계 학습에 사용되는 기계 학습 모델 M의 전환을 제어한다. 측정 장치(1)는, 제어 장치(4)의 제어에 따라, 예를 들어 피측정물의 종별에 따른 기계 학습 모델 M을 선택한다.

[측정 장치의 구성]

도 5는, 본 개시의 실시 형태에 따른 측정 장치(1)의 구성의 일 예를 도시하는 블록도이다. 도 5에 도시하는 바와 같이, 측정 장치(1)는, 화소 어레이부(100)와, 측거 처리부(101)와, 화소 제어부(102)와, 전체 제어부(103)와, 클록 생성부(104)와, 발광 제어부(105)와, 인터페이스(I/F)부(106)와, 모델 기억부(107)를 포함한다.

전체 제어부(103)는, 예를 들어 미리 내장되는 프로그램에 따라, 측정 장치(1)의 전체의 동작을 제어한다. 또한, 전체 제어부(103)는, 외부로부터 공급되는 외부 제어 신호에 따른 제어를 실행할 수도 있다. 클록 생성부(104)는, 외부로부터 공급되는 기준 클록 신호에 기초하여, 측정 장치(1) 내에서 사용되는 하나 이상의 클록 신호를 생성한다. 발광 제어부(105)는, 외부로부터 공급되는 발광 트리거 신호를 따라 발광 타이밍을 나타내는 발광 제어 신호를 생성한다. 발광 제어 신호는, 광원(2)에 공급됨과 함께, 측거 처리부(101)에 공급된다.

화소 어레이부(100)는, 2차원 격자상으로 배열되는, 각각 수광 소자를 포함하는 복수의 화소(10, 10, …)를 포함하는 수광부이다. 각 화소(10)의 동작은, 전체 제어부(103)의 지시에 따라 화소 제어부(102)에 의해 제어된다. 예를 들어, 화소 제어부(102)는, 각 화소(10)의 출력 신호가 한 번에 판독되도록 각 화소(10)를 제어한다. 또한 화소(10)는, 수광 소자로서 예를 들어 SPAD(Single Photon Avalanche Diode) 소자를 갖는다.

측거 처리부(101)는, 각 화소(10)로부터 판독된 출력 신호에 기초하여, 피측정물까지의 거리 D를 측정한다. 측거 처리부(101)는, 변환부(110)와, 인식부(111)와, 데이터 생성부(112)와, 모델 전환부(113)를 포함한다.

변환부(110)는, 화소 어레이부(100)로부터 공급된 출력 신호를, 디지털 정보로 변환한다. 화소 어레이부(100)로부터 공급되는 출력 신호는, 당해 화소 신호가 대응하는 화소(10)에 포함되는 수광 소자에 광이 수광된 타이밍에 대응하여 출력된다. 변환부(110)는, 공급된 출력 신호를, 당해 타이밍을 나타내는 디지털 값의 시간 정보로 변환한다. 변환부(110)에는, 화소 어레이부(100)의 모든 화소(10)의 출력 신호가 입력된다. 변환부(110)는, 모든 출력 신호를 시간 정보로 변환하여, 인식부(111)에 출력한다.

인식부(111)는, 기계 학습 모델의 일 예인 DNN(Deep Neural Network)(111a)을 구비한다. DNN(111a)은, 전체 화소(10)의 출력 신호에 각각 대응한 시간 정보(이하, 각 화소(10)의 시간 정보라고도 함)로부터 피측정물까지의 거리 D에 대응한 시간 정보(이하, 피측정물의 시간 정보라고도 함)을 인식하도록 기계 학습에 의해 설계된 인간의 뇌신경 회로(뉴럴 네트워크)를 모델로 한 다계층 구조의 알고리즘이다. 또한, DNN(111a)은 일 예이며, 인식부(111)가, 기계 학습 모델로서, 예를 들어 SVM 등의 회귀 모델 등, 임의의 형식의 모델(학습기)을 사용해도 된다.

인식부(111)는, 변환부(110)로부터 입력되는 각 화소(10)의 시간 정보를 DNN(111a)에 입력하여 DNN 처리를 실행함으로써, 피측정물의 시간 정보를 인식한다. 그리고, 인식부(111)는, DNN(111a)으로부터 출력되는 DNN 결과를 인식 결과로서 데이터 생성부(112)에 출력한다.

데이터 생성부(112)는, 인식부(111)로부터 입력되는 DNN 결과로부터 출력 데이터를 생성하여, 기억 장치(7)에 출력한다. 구체적으로, 데이터 생성부(112)는, 인식부(111)가 인식한 피측정물의 시간 정보에 기초하여, 피측정물까지의 거리 D를 산출하여 출력 데이터를 생성하여, I/F부(106)에 출력한다.

모델 전환부(113)는, 인식부(111)의 기계 학습 모델을 전환한다. 모델 전환부(113)는, 예를 들어 제어 장치(4)로부터의 지시에 기초하여, 모델 기억부(107)에 기억된 모델을 판독하여 DNN(111a)에 공급한다.

I/F부(106)에는, 데이터 생성부(112)에 의해 생성된 출력 데이터가 공급된다. I/F부(106)는, 예를 들어 MIPI(Mobile Industry Processor Interface)이며, 출력 데이터를 예를 들어 기억 장치(7)에 출력한다. 혹은, I/F부(106)가 출력 데이터를 제어 장치(4)나 외부 장치(도시 생략)에 출력해도 된다.

(측정 장치의 적층 구조)

여기서, 도 6을 사용하여 측정 장치(1)의 적층 구조에 대하여 개략적으로 설명한다. 도 6은, 본 개시의 실시 형태에 따른 측정 장치(1)의 적층 구조의 일 예를 도시하는 개략도이다. 도 6에 도시하는 바와 같이, 측정 장치(1)는, 화소 어레이부(100)가 배치되는 제1 기판 P1과, 변환부(110)가 배치되는 제2 기판 P2와, 인식부(111)가 배치되는 제3 기판 P3을 갖는다.

도 6에 도시하는 바와 같이, 화소 어레이부(100)는, 제1 기판 P1에 배치된다. 또한, 제1 기판 P1에는, 화소 어레이부(100)의 화소(10) 중 수광 소자가 배치되고, 화소(10)에 포함되는 기타의 회로 구성은 예를 들어 제2 기판 P2 등 제1 기판 P1 이외의 기판에 배치되어도 된다.

제2 기판 P2에는, 변환부(110)가 배치된다. 예를 들어, 변환부(110)가, 화소(10)마다 시간 디지털 변환 회로(110a)를 갖는 경우, 제2 기판 P2에는, 각 화소(10)에 대응하는 시간 디지털 변환 회로가 배치된다.

여기서, 시간 디지털 변환 회로(TDC)(110a)는, 화소(10)로부터의 출력 신호가 공급된 시간을 계측하고, 계측된 시간을 디지털 값에 따른 시간 정보로 변환한다. 이와 같이, TDC(110a)는, 하나의 화소(10)에 대하여 하나의 시간 정보를 생성하는 회로이며, 변환부(110)는, 예를 들어 화소(10)의 수와 동일한 수의 TDC(110a)를 갖는다.

TDC(110a)는, 예를 들어 광원(2)이 광을 조사한 조사 타이밍으로부터, 화소(10)가 광을 수광한 수광 타이밍까지의 시간을 카운트하는 카운터를 포함한다. 카운터는, 발광 제어부(105)로부터 공급되는 발광 제어 신호에 동기하여 시간의 계측(카운트)을 개시한다. 카운터는, 화소(10)로부터 공급되는 출력 신호의 반전 타이밍에 따라서 시간의 계측을 종료한다. TDC(110a)는, 카운터가 시간의 계측을 개시하고 나서 종료될 때까지의 카운트 수를 디지털 값으로 변환한 시간 정보를 인식부(111)에 출력한다.

도 6에 도시하는 제1 기판 P1 및 제2 기판 P2의 접합에는, 예를 들어 서로 접합면에 형성된 구리 전극끼리를 접속하는, 소위 Cu-Cu 접합이 사용된다. 혹은, 제1 기판 P1 및 제2 기판 P2의 접합에, 예를 들어 각각의 접합면을 평탄화하여 양자를 전자간력에 의해 접합시키는, 소위 직접 접합이나, 기타, 범프 접합 등을 사용해도 된다.

제3 기판 P3에는, 인식부(111)가 배치된다. 또한, 제3 기판 P3에, 인식부(111) 이외의, 예를 들어 데이터 생성부(112)나 전체 제어부(103) 등의 로직 회로가 배치되어도 된다. 혹은, 데이터 생성부(112)나 모델 전환부(113), 전체 제어부(103) 등의 로직 회로를, 다른 기판(도시 생략)에 배치해도 된다.

제3 기판 P3에 배치된 인식부(111)에는, 모든 TDC(110a)로부터 시간 정보가 공급된다. 인식부(111)는, 모든 TDC(110a)로부터 공급된 각 화소(10)의 시간 정보를 입력으로서 기계 학습 모델로 인식함으로써, 피측정물의 시간 정보를 인식한다.

도 6에 도시하는 제2 기판 P2 및 제3 기판 P3의 접합에는, 예를 들어 서로 접합면에 형성된 구리 전극끼리를 접속하는, 소위 Cu-Cu 접합이 사용된다. 혹은, 제2 기판 P2 및 제3 기판 P3의 접합에, 예를 들어 각각의 접합면을 평탄화하여 양자를 전자간력에 의해 접합시키는, 소위 직접 접합이나, 기타, 범프 접합 등을 사용해도 된다.

이와 같이, 본 개시의 실시 형태에서는, 화소 어레이부(100), 변환부(110) 및 인식부(111)를 각각 다른 기판(제1 내지 제3 기판 P1 내지 P3)에 배치하고, 측정 장치(1)가 모든 화소(10)의 수광 시간을 한 번에 계측한다. 이에 의해, 인식부(111)는, 모든 화소(10)의 출력 신호에 기초하여 피측정물의 시간 정보를 인식할 수 있다. 그 때문에, 측정 장치(1)는, 히스토그램을 생성하지 않고, 피측정물까지의 거리 D를 검출할 수 있어, 히스토그램을 생성하기 위한 처리나 메모리가 불필요하게 된다.

또한, 여기에서는, 화소 어레이부(100), 변환부(110) 및 인식부(111)를 각각 다른 기판(제1 내지 제3 기판 P1 내지 P3)에 배치하는 예를 나타냈지만, 이것에 한정되지 않는다. 예를 들어, 화소 어레이부(100), 변환부(110) 및 인식부(111)를 하나의 기판에 배치해도 된다.

또한, 여기서는, 전체 화소(10)의 출력 신호를 한 번에 판독하는 경우를 예로 나타냈지만, 화소(10)의 판독 방법은 이것에 한정되지 않는다. 예를 들어 소정 영역의 화소(10)별로 출력 신호를 판독하도록 해도 된다. 혹은, 예를 들어 화소(10), 행 또는 열별로 출력 신호를 판독하도록 해도 된다. 이 경우, 측정 장치(1)가 화소(10)별로 판독한 출력 신호(혹은 출력 신호를 시간으로 변환한 시간 정보)를 기억하는 메모리를 갖고 있어도 된다.

(기계 학습 모델)

다음으로, 도 7 내지 도 9를 사용하여 인식부(111)가 거리 D의 인식에 사용되는 기계 학습 모델에 대하여 설명한다. 상술한 바와 같이, 인식부(111)에는, 화소(10) 모두의 출력 신호에 대응하는 시간 정보가 입력된다. 인식부(111)는, DNN(11a)에 각 화소(10)의 시간 정보를 입력하여 DNN 처리를 실행함으로써, 피측정물의 시간 정보를 인식한다.

도 7을 사용하여, 기계 학습 모델의 뉴럴 네트워크의 일 예를 설명한다. 도 7은, 뉴럴 네트워크의 개요를 설명하기 위한 도면이다.

도 7에 도시하는 바와 같이, 뉴럴 네트워크(40)는, 입력층(41), 중간층(42) 및 출력층(43)의 3종의 층으로 이루어지고, 각 층에 포함되는 노드끼리가 링크에 의해 접속된 네트워크 구조를 갖는다. 도 7에 있어서의 원형은 노드에 상당하고, 화살표는 링크에 상당한다. 입력층(41)에 입력 데이터가 입력되면, 입력층(41)으로부터 중간층(42)으로, 중간층(42)로부터 출력층(43)으로의 순으로, 노드에 있어서의 연산과 링크에 있어서의 가중치 부여가 행해지고, 출력층(43)으로부터 출력 데이터가 출력된다. 또한, 뉴럴 네트워크 중, 소정 수 이상의 층을 갖는 것은, DNN(Deep Neural Network) 혹은 딥 러닝이라고도 칭해진다.

또한, 도 7에 도시하는 뉴럴 네트워크(40)는, 일 예에 지나지 않고, 원하는 기능을 실현 가능하다면 어떤 네트워크 구성이어도 된다. 예를 들어, 도 7의 예에서는, 설명을 간단하게 하기 위하여 출력층(43)의 노드가 1개인 경우를 나타내지만, 예를 들어, 분류 모델인 경우, 출력층(43)의 노드 수는 복수(예를 들어 분류되는 클래스 수)이어도 된다.

또한, 뉴럴 네트워크는, 임의의 함수를 근사시킬 수 있음이 알려져 있다. 뉴럴 네트워크는, 백 프로퍼게이션(back propagation) 등의 계산 방법을 이용함으로써 교사 데이터에 맞는 네트워크 구조를 학습할 수 있다. 그 때문에, 뉴럴 네트워크에 의해 모델을 구성함으로써, 모델은, 사람이 이해할 수 있는 범위 내에서 설계된다고 하는 표현 능력의 제약으로부터 해방된다.

또한, 인식부(111)가 시간 정보의 인식에 사용하는 기계 학습 모델은, DNN(111a)에 한정되지 않고, 다양한 네트워크에 의해 구성되어도 된다. 예를 들어, 기계 학습 모델은, SVM(Support Vector Machine) 등의 회귀 모델 등, 임의의 형식의 모델(학습기)이어도 된다. 예를 들어, 기계 학습 모델은, 비선형의 회귀 모델이나 선형의 회귀 모델 등, 다양한 회귀 모델이어도 된다.

또한, 인식부(111)가 시간 정보의 인식에 사용하는 기계 학습 모델은, 피측정물의 종류에 따라 전환된다. 이러한 점에 대하여, 도 8 및 도 9를 사용하여 설명한다. 도 8 및 도 9는, 기계 학습 모델의 예를 설명하기 위한 도면이다.

광원(2)으로부터 조사된 광은, 피측정물에 반사되어 측정 장치(1)에 의해 수광된다. 이때, 어느 정도의 반사광이 측정 장치(1)까지 도달할지는 피측정물의 종류에 따라 변화한다.

도 8에 도시하는 바와 같이, 피측정물이 차인 경우, 조사광의 대부분은, 예를 들어 평면으로 구성되는 보디 부분에 반사되어 측정 장치(1)에 의해 수광된다. 그 때문에, 환경광을 수광하는 화소(10)보다, 피측정물까지의 거리에 따른 수광 타이밍 t_c 부근에서 반사광을 수광하는 화소(10)가 많아진다.

따라서, 도 8의 그래프에 도시하는 바와 같이, 수광 타이밍의 분포는, 수광 타이밍 t_c를 포함하는 소정 범위에서 반사광을 수광한 화소수가 많아지는 분포가 된다. 또한, 도 8에 도시하는 그래프는, 종축이 빈마다의 빈도, 횡축이 빈(시간 t)을 나타내고 있고, 각 화소의 수광 타이밍과 화소수의 관계를 나타내고 있다. 환언하면, 도 8에 도시하는 그래프는, 어느 시각에 반사광을 수광한 화소가 많은지를 나타내는 그래프이다.

한편, 도 9에 도시하는 바와 같이, 피측정물이 나무인 경우, 조사광의 일부는 나무의 표면에서 난반사되기 때문에, 측정 장치(1)까지 도달하는 반사광은 차의 경우에 비하여 적어진다. 그 때문에, 도 9에 도시하는 바와 같이, 수광 타이밍의 분포는, 피측정물까지의 거리에 따른 수광 타이밍 t_t 부근에서 많아지지만, 피측정물이 차인 경우에 비하여, 수광 타이밍 t_t 부근에서 반사광을 수광한 화소수는 적어진다.

이와 같이, 수광 타이밍의 분포는, 피측정물까지의 거리 D뿐만 아니라, 피측정물의 종류에 의해서도 변화한다. 그래서, 본 개시의 실시 형태에서는, 예를 들어 차, 건물, 도로, 보행자나 나무와 같은 피측정물의 종류마다 기계 학습 모델을 학습한다. 이에 의해, 피측정물의 시간 정보의 인식 정밀도를 향상시킬 수 있다.

또한, 기계 학습 모델은, 피측정물의 종류마다, 수광 타이밍의 분포와 피측정물의 시간 정보를 관련지어서 교사 데이터로서 지도 학습에 기초하여 미리 구축되어 있는 것으로 한다. 또한, 구축된 기계 학습 모델은, 미리 모델 기억부(107)에 기억되어 있는 것으로 한다. 인식부(111)는, 모델 전환부(113)의 지시에 기초하여, 모델 기억부(107)로부터 기계 학습 모델을 판독함으로써, 시간 정보의 인식에 사용되는 기계 학습 모델을 전환한다.

또한, 기계 학습 모델의 구축은, 상술한 피측정물의 종류마다에 한정되지 않는다. 예를 들어, 피사체 공간의 씬마다 기계 학습 모델을 구축해도 된다. 구체적으로는, 예를 들어, 낮이나 밤과 같은 시간마다, 우천이나 맑은 하늘과 같은 날씨마다, 혹은 나라, 지역, 시가지나 산간부와 같은 장소마다 기계 학습 모델을 구축해도 된다. 낮과 밤에는, 각 화소(10)가 수광하는 반사광 이외의 예를 들어 환경광이 변화한다. 또한, 우천의 경우에는, 빗방울에 의한 반사에 의해 화소(10)의 수광 타이밍이 변화한다. 또한, 나라, 지역, 시가지나 산간부에 의해 도로 상황이나 표지, 주위 환경이 다르다. 그 때문에, 피사체 공간의 씬마다 기계 학습 모델을 구축함으로써, 피사체 공간에 있는 피측정물의 시간 정보의 인식 정밀도를 향상시킬 수 있다. 또한, 예를 들어, 낮의 시가지에서 차까지의 거리 D를 인식하는 경우 등, 씬과 피측정물의 종류의 조합마다 기계 학습 모델을 구축해도 된다.

(기계 학습 모델에 의한 거리 인식)

다음으로, 도 10을 사용하여, 인식부(111)에 의한 피측정물의 시간 정보의 인식에 대하여 설명한다. 도 10은, 인식부(111)에 의한 시간 정보의 인식에 대하여 설명하기 위한 도면이다. 이하, 광원(2)이 조사광을 조사하는 것을 샷이라고도 기재한다.

인식부(111)는, 예를 들어 1 샷마다 화소 어레이부(100)로부터의 출력 신호를 변환부(110)에 의해 변환한 시간 정보를 취득한다. 인식부(111)는, 1 샷마다 취득한 시간 정보를 DNN(111a)에 입력하여, 피측정물의 거리 D에 대응하는 시간 정보의 인식 결과를 취득한다.

예를 들어, 도 10에 도시하는 바와 같이, 광원(2)이 N회 조사광을 조사하는 경우를 예로 들어 설명한다. 이때, 광원(2)에 의한 제n회째의 조사를 제n 샷(n=1 내지 N)이라고 칭한다. 인식부(111)는, 광원(2)에 의한 제1 내지 제N 샷에 대응하고, 도 10에 도시하는 바와 같은 분포의 시간 정보를 순차 취득한다.

인식부(111)는, 제1 내지 제N 샷 각각에 대하여, 화소(10)의 시간 정보를 취득하면, 순차 DNN(111a)에 입력하여, 피측정물의 시간 정보를 인식한다. 예를 들어, 도 10에 도시하는 예에서는, 인식부(111)는, 제1 샷에 대응하여 시간 정보 t₁을 DNN(11a)에 의한 인식 결과로서 취득하여, 데이터 생성부(112)에 출력한다. 마찬가지로, 인식부(111)는, 제n 샷에 대응하여 시간 t_n(n=2 내지 N)을 DNN(11a)에 의한 인식 결과로서 취득하여, 데이터 생성부(112)에 출력한다.

데이터 생성부(112)는, 예를 들어 인식부(111)로부터 제1 내지 제N 샷마다 피측정물의 시간 정보 t₁ 내지 t_N을 순차 취득하면, 각 샷에 대응하는 피측정물까지의 거리 D를 상술한 식 (1)에 기초하여 산출한다. 또한, 인식부(111)로부터 출력되는 시간 정보 t₁ 내지 t_N이 식 (1)의 t_em-t_re에 대응한다.

이와 같이, 데이터 생성부(112)는, 제1 내지 제N 샷마다 피측정물까지의 거리 D를 산출해도 되고, 혹은, 데이터 생성부(112)는, 복수 샷마다 피측정물까지의 거리 D를 산출해도 된다. 이때, 데이터 생성부(112)가, 복수 샷에 있어서의 피측정물의 시간 정보의 평균값을 사용하여 거리 D를 산출해도 된다.

혹은, 데이터 생성부(112)가 피측정물의 시간 정보의 값이 수렴했는지 여부를 판정하고, 수렴했다고 판정한 샷에 있어서의 시간 정보를 사용하여 거리 D를 산출해도 된다. 또한, 시간 정보의 값이 수렴하고, 데이터 생성부(112)가 거리 D를 산출한 경우에, 데이터 생성부(112)가, 인식부(111)에 의한 인식이 종료되었다고 판정하고, 피측정물의 거리 측정을 종료하도록 해도 된다.

또한, 여기에서는, 광원(2)이 복수회 조사한 광에 기초하여 거리 D를 산출하는 경우에 대하여 설명했지만, 예를 들어 측정 장치(1)가 1 샷으로 거리 D의 측정을 종료해도 된다. 즉, 인식부(111)가 1 샷에 대응하여 취득한 각 화소(10)의 시간 정보에 DNN 처리를 실시하여, 피측정물의 시간 정보를 인식하여, 데이터 생성부(112)가 거리 D를 산출하면, 측정 장치(1)에 의한 거리 D의 측정을 종료하도록 해도 된다. 이와 같이, 기계 학습 모델을 사용하여 거리 D를 산출함으로써, 측정 장치(1)는, 최단 1 샷으로 거리 D를 측정할 수 있어, 거리 D의 측정 시간을 단축시킬 수 있다.

[제어 장치]

계속하여, 도 11을 사용하여 제어 장치(4)의 상세에 대하여 설명한다. 제어 장치(4)는, 측거 시스템의 제어를 행함과 함께, 모델 전환부(113)에 의한 기계 학습 모델의 전환을 제어한다. 여기에서는, 주로, 제어 장치(4)가 기계 학습 모델의 전환 제어를 행하는 점에 대하여 설명한다. 또한, 도 11은, 본 개시의 실시 형태에 따른 제어 장치(4)의 구성예를 도시하는 블록도이다.

제어 장치(4)는, 예를 들어 CPU(Central Processing Unit), 마이크로프로세서 등의 전자 회로에 의해 실현된다. 또한, 제어 장치(4)는, 사용되는 프로그램이나 연산 파라미터 등을 기억하는 ROM(Read Only Memory), 및 적절히 변화하는 파라미터 등을 일시 기억하는 RAM(Random Access Memory)을 포함하고 있어도 된다.

제어 장치(4)는, 촬상 장치(8)의 촬상 화상에 기초하여, 피측정물의 검출, 피사체 공간의 씬 인식을 행하고, 측정 장치(1)의 기계 학습 모델의 전환 제어를 행한다. 구체적으로는, 제어 장치(4)는, 취득부(401), 추출부(402), 씬 인식부(403), 측거 결정부(406), 모델 선택부(404) 및 통지부(405)로서 기능한다.

취득부(401)는, 촬상 장치(8)로부터 RGB 화상을 취득한다. 취득부(401)는, 예를 들어 RGB 화상의 촬상 시각이나 촬상 장소 등에 관한 정보를 취득해도 된다. 이러한 정보는, 촬상 장치(8)로부터 취득해도 되고, 예를 들어 GPS 센서(도시 생략) 등의 센서로부터 취득해도 된다. 이러한 센서는 측거 시스템(6)이 갖고 있어도 되고, 외부 센서이어도 된다.

추출부(402)는, RGB 화상으로부터 피측정물을 추출한다. 추출부(402)는, 예를 들어 템플릿 매칭 등의 화상 처리를 행하여, RGB 화상으로부터 나무나 차량, 도로와 같은 피측정물을 추출한다. 또한, 추출부(402)가, 예를 들어 RGB 화상의 색 정보로부터 하늘 영역이나 도로를 포함하는 지면 영역 등을 추출해도 된다. 혹은, 추출부(402)가 DNN 등, 기계 학습 모델을 사용하여 피측정물, 하늘 영역이나 지면 영역 등을 추출해도 된다.

씬 인식부(403)는, RGB 화상으로부터 피사체 공간의 씬을 인식한다. 혹은, 씬 인식부(403)는, RGB 화상의 촬상 시각이나 촬상 장소 등에 관한 정보로부터 씬을 인식해도 된다. 또한, 씬 인식부(403)가, 씬 인식에 필요한 정보를, 네트워크(도시 생략)를 통하여 외부 장치 등으로부터 취득해도 된다.

여기서, 씬이란, 예를 들어 계절, 시각, 날씨 또는 장소 등의 주변 정보에 의해 표현되는 피사체 공간을 나타내는 정보이다. RGB 화상으로부터 씬을 인식하는 경우, 씬 인식부(403)는, 예를 들어 RGB 화상의 밝기(명도)로부터 피사체 공간이 낮인지 밤인지를 인식한다. 또한, 씬 인식부(403)는, 추출부(402)에 의한 추출 결과에 기초하여, 씬을 인식해도 된다. 예를 들어, 추출부(402)가 피측정물로서 건물이나 보행자, 차 등을 검출한 경우, 씬 인식부(403)는, 피사체 공간이 시가지라고 인식한다.

또한, 씬 인식부(403)에 의한 씬 인식은 RGB 화상에 기초하는 것에 한정되지 않고, RGB 화상 이외의 정보로부터 씬을 인식하도록 해도 된다. 예를 들어, 씬 인식부(403)가 RGB 화상의 촬상 일시로부터, 피사체 공간의 계절이나 시각 등을 인식해도 된다. 또한, 씬 인식부(403)가 RGB 화상의 촬상 장소로부터 피사체 공간의 장소를 인식해도 된다. 씬 인식부(403)는, 예를 들어 비검출 센서의 검출 결과 및 RGB 화상에 기초하여, 피사체 공간의 날씨를 인식해도 된다. 이와 같이, 씬 인식부(403)는, 복수의 센서 등의 검출 결과에 기초하여 피사체 공간의 씬을 인식해도 된다. 혹은, 시각 정보나 날씨 등을 네트워크를 통하여 외부 장치로부터 취득하는 것도 가능하다.

혹은, 씬 인식부(403)는, DNN 등의 기계 학습 모델을 사용하여 피사체 공간의 씬을 인식해도 된다. 이 경우, 씬 인식부(403)는, DNN에 RGB 화상을 입력해도 되고, RGB 화상에 더하여, 촬영 일시나 비 검출 센서의 검출 결과 등의 정보를 DNN에 입력해도 된다.

이와 같이, 씬 인식부(403)는, 예를 들어 RGB 화상을 포함하는 센서의 검출 결과에 기초하여, 피사체 공간의 씬을 인식한다. 씬 인식부(403)는, 예를 들어 피사체 공간이 「일본 국내」, 「시가지」, 「맑음」 및 「저녁」인 것을 인식한다.

측거 결정부(406)는, 추출부(402)의 추출 결과 및 씬 인식부(403)의 인식 결과에 기초하여, 거리 D를 측정하는 측거 위치(측거 점)을 결정한다. 또한, 측거 결정부(406)는, 광원(2)에 의한 조사의 방향이나 파워, 펄스 형상 등, 발광계와 관련된 각종 파라미터의 값을 결정한다. 또한, 측거 결정부(406)는, 화소 어레이부(100)의 노광 기간이나 프레임 레이트 등, 수광계와 관련된 각종 파라미터의 값을 선택한다.

여기서, 도 12 및 도 13을 참조하여, 측거 결정부(406)가 결정하는 측거 위치(측거 점)에 대하여 설명한다. 도 12 및 도 13은, 측거 결정부(406)가 결정하는 측거 위치에 대하여 설명하기 위한 도면이다.

또한, 여기에서는, 도 12에 도시하는 바와 같이, 추출부(402)가 RGB 화상 M1로부터 나무 Tr, 도로 R, 차 C1, 집 H, 보행자 Pe 및 하늘 영역 SR을 추출한 것으로 한다. 이때, 측거 결정부(406)는, 추출부(402)의 추출 결과에 기초하여, 피사체 공간에 존재하는 어느 피측정물까지의 거리 D를 측정할지 결정한다. 또한 측거 결정부(406)는, 피측정물의 어느 위치에 있어서의 거리 D를 측정할지 결정한다.

구체적으로는, 측거 결정부(406)는, 예를 들어, 보행자 Pe까지의 거리 D를, 도 12에 「+」로 나타내는 5개소에 있어서 측정하는 것으로 결정한다. 피측정물마다 측정하는 거리 D의 수 N1은, 예를 들어 피측정물의 종류마다 미리 결정되어 있고, 측거 결정부(406)는, 이러한 수 N1에 따라서 RGB 화상 M1에 있어서의 측거 위치, 환언하면 광원(2)으로부터 조사되는 광의 방향을 결정한다.

측거 결정부(406)는, 피측정물의 종류마다 정해지는 측정 수 N1을, 예를 들어 피측정물이 보행자 Pe나 차 C1 등의 동체의 경우에 가장 많게 하고, 나무 Tr이나 집 H와 같은 정지 물체의 경우에는, 동체의 경우보다 적어지도록 한다(도 12 참조). 또한, 도로 R과 같은 배경은, 정지 물체보다 측정 수 N1이 적어도 된다. 또한, 하늘 영역 SR과 같이 피측정물이 없는 영역은, 거리 D의 측정을 행하지 않아도 된다. 즉, 하늘 영역 SR에는 피측정물이 없다고 생각되기 때문에, 광원(2)은 하늘 영역 SR을 향하여 광을 조사할 필요가 없다. 그래서, 측거 결정부(406)는, 하늘 영역 SR을 제외한 피측정물까지의 거리 D를 측정하는 것으로 결정한다.

이와 같이, 측거 결정부(406)는, 광원(2)으로부터 조사되는 광의 방향(측거 위치)을 추출부(402)가 추출한 피측정물의 종류와 RGB 화상에 있어서의 위치에 기초하여 결정한다.

혹은, 도 13에 도시하는 바와 같이, 예를 들어, 추출부(402)가 횡 배향한 차 C2를 추출한 경우, 측거 결정부(406)는, 차 C2까지의 거리 D를 측정하는 측정 위치로서, 위치 A1을 1개 결정한다. 이는, 차 C2가 횡 배향한 경우, 차 C2의 측면은 거의 평면으로 구성되기 때문에, 차 C2까지의 거리 D는 측면의 어느 위치에서 측정해도 크게 변하지는 않기 때문이다. 이와 같이, 피측정물이 평면을 갖는 경우, 측거 결정부(406)는, 평면의 대표 위치를 측거 위치로 결정한다. 이에 의해, 측거 시스템(6)은, 측정 장치(1)에 의한 피측정물까지의 거리 D의 측정 횟수를 삭감시킬 수 있다.

또한, 여기에서는, 측거 결정부(406)가 대표 위치를 1개 결정한다고 했지만, 이것에 한정되지 않는다. 측거 결정부(406)가 복수의 대표 위치를 결정하도록 해도 된다.

또한, 측거 결정부(406)는, 씬 인식부(403)의 인식 결과를 사용하여 씬에 따른 측거 위치를 결정하도록 해도 된다. 예를 들어 피사체 공간의 시간대가 「밤」인 경우, 측거 결정부(406)는, 시간대가 「낮」인 경우보다도 피측정물까지의 거리 D의 측정 수 N1이 많아지도록 해도 된다. 즉, 측거 결정부(406)는, 시간대가 「밤」인 경우, 「낮」인 경우 보다 많은 측정 위치로부터 피측정물까지의 거리 D가 측정되도록, 측정 위치를 결정하도록 해도 된다.

도 11로 되돌아가서, 모델 선택부(404)는, 추출부(402)의 추출 결과 및 씬 인식부(403)의 인식 결과에 기초하여, 측정 장치(1)에 의한 피측정물의 거리 D의 인식에 사용되는 기계 학습 모델을 예를 들어 측거 결정부(406)가 결정한 측거 위치마다 선택한다.

구체적으로, 모델 선택부(404)는, 예를 들어, 추출부(402)가 보행자를 추출한 경우, 보행자를 정답 데이터로서 지도 학습에 의해 구축한 기계 학습 모델을 선택한다. 이와 같이, 모델 선택부(404)는, 예를 들어, 추출부(402)가 추출한 피측정물의 종류에 따라 기계 학습 모델을 선택한다.

혹은, 모델 선택부(404)가 씬 인식부(403)의 인식 결과를 사용하여, 씬에 따른 기계 학습 모델을 선택하도록 해도 된다. 예를 들어, 피사체 공간의 날씨가 「비」인 경우, 우천 시에 수집한 측정 데이터에 기초하여 구축된 기계 학습 모델을 선택하는 등, 모델 선택부(404)는, 씬의 인식 결과에 기초하여, 씬에 맞는 기계 학습 모델을 선택한다.

또한, 모델 선택부(404)는, 예를 들어, 추출부(402)의 추출 결과 및 씬 인식부(403)의 인식 결과에 기초하여, 기계 학습 모델을 선택하도록 해도 된다. 예를 들어, 기계 학습 모델에 미리 관련된 키워드가 결부되어 있고, 모델 선택부(404)는, 추출 결과 및 인식 결과와 동일한 키워드가 결부된 기계 학습 모델을 선택한다. 구체적으로, 예를 들어 추출 결과가 「차」이며, 씬 인식 결과가 「낮」, 「비」인 경우, 모델 선택부(404)는, 추출 결과 및 씬 인식 결과와 복수의 기계 학습 모델에 결부된 키워드를 대조하여, 결과와 키워드의 일치도가 가장 높은 기계 학습 모델을 선택한다.

혹은, 모델 선택부(404)가, 기계 학습을 사용하여 모델 선택을 행해도 된다. 이 경우, 모델 선택부(404)는, 예를 들어 기계 학습 모델의 일 예인 DNN에, 추출 결과 및 씬 인식 결과를 입력하여 DNN 처리를 실행함으로써, 거리 D의 측정에 사용되는 기계 학습 모델을 선택한다.

통지부(405)는, 모델 선택부(404)의 선택 결과를 측정 장치(1)에 통지한다. 통지부(405)는, 예를 들어 모델 선택부(404)가 선택한 기계 학습 모델을 지정하는 정보를 측정 장치(1)에 통지한다. 또한, 모델 선택부(404)가 발광계 및 수광계와 관련된 파라미터의 값을 선택한 경우에는, 선택한 파라미터의 값을 측정 장치(1) 또는 광원(2)에 통지한다.

[측거 처리 수순]

다음으로, 측거 시스템(6)이 실행하는 측거 처리 수순의 일 예를 설명한다. 먼저, 제어 장치(4)에 의한 모델 선택 처리에 대하여 설명하고, 그 후, 측정 장치(1)에 의한 측정 처리 수순에 대하여 설명한다.

(모델 선택 처리)

도 14는, 본 개시의 실시 형태에 따른 모델 선택 처리의 수순의 일 예를 도시하는 흐름도이다.

도 14에 도시하는 바와 같이, 제어 장치(4)는, 촬상 장치(8)로부터 RGB 화상을 취득한다(스텝 S201). 다음으로, 제어 장치(4)는, RGB 화상으로부터 특징량을 추출함으로써, 피측정물을 추출한다(스텝 S202).

계속하여, 제어 장치(4)는, RGB 화상의 씬을 인식한다(스텝 S203). 제어 장치(4)는, 스텝 S202에서 추출한 피측정물 및 스텝 S203에서 인식한 씬에 기초하여, 피측정물의 거리 D의 측거 위치를 결정한다(스텝 S204).

제어 장치(4)는, 측거 위치마다 기계 학습 모델을 선택하여(스텝 S205), 결정된 측거 위치 및 대응하는 기계 학습 모델을 측정 장치(1)에 통지한다(스텝 S206).

(측정 처리)

도 15는, 본 개시의 실시 형태에 따른 측정 처리의 수순의 일 예를 도시하는 흐름도이다.

도 15에 도시하는 바와 같이, 측정 장치(1)는, 먼저, 제어 장치(4)의 통지 및 측거 위치에 기초하여, 인식부(111)의 인식에 사용되는 기계 학습 모델을 전환한다(스텝 S101). 계속하여 측정 장치(1)는, 광원(2)을 제어하여 광을 조사시킨다(스텝 S102).

측정 장치(1)는, 모든 화소(10)에 있어서, 광원(2)이 광을 조사하고 나서 화소(10)에서 당해 광을 수광할 때까지의 시간을 계측한다(스텝 S103). 측정 장치(1)는, 기계 학습 모델을 사용하여, 모든 화소(10)에 있어서의 시간의 계측 결과로부터, 피측정물의 시간 정보를 인식한다(스텝 S104). 측정 장치(1)는, 인식된 피측정물의 시간 정보에 기초하여, 피측정물까지의 거리 D를 포함하는 데이터를 생성한다(스텝 S105).

이상, 설명한 바와 같이, 본 개시의 실시 형태에 따른 측정 장치(1)는, 복수의 수광 소자(화소(10))와, 인식부(111)를 구비한다. 복수의 수광 소자는, 제1 기판 P1에 배치되어, 광원(2)으로부터 조사되어 피측정물에 의해 반사되는 광을 수광했을 때 신호를 출력한다. 인식부(111)는, 제1 기판 P1과는 다른 제2 기판(상기 실시 형태의 제3 기판 P3에 대응)에 배치되어, 복수의 수광 소자의 출력 신호에 기초하여, 기계 학습 모델을 사용하여 피측정물까지의 거리 D를 인식한다.

이에 의해, 측정 장치(1)는, 복수의 수광 소자의 출력 신호에 기초하여 피측정물의 시간 정보를 인식할 수 있고, 피측정물까지의 거리 D의 측정에 필요한 처리 시간을 저감시킬 수 있다. 또한, 측정 장치(1)는, 히스토그램을 생성하지 않고, 메모리도 필요로 하지 않으므로, 히스토그램을 사용한 거리 D의 측정에 비하여 파라미터 조정의 수고를 저감시킬 수 있고, 정밀도를 향상시킬 수 있다.

[변형예]

또한, 상기 실시 형태에서는, 제어 장치(4)가 RGB 화상에 기초하여, 기계 학습 모델을 선택한다고 했지만, 이것에 한정되지 않는다. 예를 들어, 측정 장치(1)가, 전체 화소(10)의 시간 정보에 기초하여, 기계 학습 모델을 선택하도록 해도 된다.

예를 들어, 도 16에 도시하는 바와 같이, 화소(10)의 시간 정보의 분포가 특정 영역에서 조밀하지 않고 랜덤한 분포라고 하자. 이 경우, 측정 장치(1)의 모델 전환부(113)는, 이러한 분포에 따른 기계 학습 모델을 선택하고, 인식부(111)의 인식에서 이용되는 기계 학습 모델을 전환한다. 모델 전환부(113)는, 예를 들어, 변환부(110)로부터 화소(10)의 시간 정보의 분포를 취득해도 되고, 인식부(111)로부터 취득해도 된다. 또한, 도 16은, 화소(10)의 시간 정보의 분포의 일 예를 도시하는 도면이다.

혹은, 측정 장치(1)의 예를 들어 모델 전환부(113)는, 이러한 분포에 기초하여, 광원(2)에 의한 조사의 방향이나 파워, 펄스 형상 등, 발광계와 관련된 각종 파라미터의 값을 변경하도록 해도 된다. 예를 들어, 모델 전환부(113)는, 화소(10)의 시간 정보가 도 16에 도시하는 바와 같이 랜덤한 분포인 경우, 피측정물까지의 거리 D가 멀다고 판정하여 조사 파워를 크게 하거나, 조사 방향으로 피측정물이 없다고 판정하여 조사 방향을 변경하거나 하도록 각종 파라미터의 값을 변경한다. 모델 전환부(113)는, 변경된 파라미터를 예를 들어 발광 제어부(105)에 출력한다. 혹은, 발광 제어부(105)가, 이러한 분포에 기초하여, 각종 파라미터를 변경하도록 해도 된다.

또한, 도 17에 도시하는 바와 같이, 화소(10)의 시간 정보의 분포가 특정 영역에 집중하는 분포라고 하자. 즉, 화소(10)에 의한 수광 타이밍의 검출 결과가 포화된 분포인 경우, 측정 장치(1)의 모델 전환부(113)는, 이러한 분포에 따른 기계 학습 모델을 선택하고, 인식부(111)의 인식에서 이용되는 기계 학습 모델을 전환한다. 여기서, 도 17은, 화소(10)의 시간 정보의 분포의 다른 예를 도시하는 도면이다.

혹은, 측정 장치(1)의 예를 들어 모델 전환부(113)는, 이러한 분포에 기초하여, 광원(2)에 의한 조사의 방향이나 파워, 펄스 형상 등, 발광계와 관련된 각종 파라미터의 값을 변경하도록 해도 된다. 모델 전환부(113)는, 변경된 파라미터를 예를 들어 발광 제어부(105)에 출력한다. 혹은, 발광 제어부(105)가, 이러한 분포에 기초하여, 각종 파라미터를 변경하도록 해도 된다.

또한, 여기에서는, 측정 장치(1)가 발광계의 각종 파라미터를 변경한다고 했지만, 예를 들어 수광 감도 등, 수광계의 각종 파라미터를 변경하도록 해도 된다.

이와 같이, 측정 장치(1)가 화소(10)의 시간 정보에 기초하여, 기계 학습 모델을 전환하거나, 발광계 또는 수광계의 각종 파라미터를 변경하거나 함으로써, 측정 장치(1)는, 피측정물까지의 거리 D의 측정 정밀도를 향상시킬 수 있다.

또한, 상기 실시 형태에서는, 측정 장치(1)의 인식부(111)가 피측정물의 시간 정보를 인식한다고 했지만, 이것에 한정되지 않는다. 측정 장치(1)의 인식부(111)가, 각 화소(10)의 시간 정보를 DNN(111a)에 입력하여, 피측정물까지의 거리 D를 인식하도록 해도 된다. 이와 같이, 인식부(111)는, 피측정물의 시간 정보나 거리 D 등, 피측정물까지의 거리 D에 관한 정보를 인식한다.

또한, 상기 실시 형태에서는, 제어 장치(4)가 촬상 장치(8)의 촬상 결과에 기초하여, 기계 학습 모델을 선택한다고 했지만, 다른 센서 장치의 센싱 결과에 기초하여 기계 학습 모델을 선택해도 된다.

예를 들어, 촬상 장치(8) 대신에 근적외광(IR) 센서나 단파 적외(SWIR) 센서, 중파 적외(MWIR) 센서, 장파 적외(LWIR) 센서 등의 적외 센서의 센싱 결과에 기초하여, 제어 장치(4)가 기계 학습 모델을 선택하도록 해도 된다. 혹은, 제어 장치(4)가, 광원(2)으로부터 조사되는 광의 주파수 대역과는 다른 주파수 대역의 광에 기초하여 거리 D를 측정하는 LIDAR(Laser Imaging Detection and Ranging) 센서의 센싱 결과에 기초하여 기계 학습 모델을 선택하도록 해도 된다. 또한, 제어 장치(4)가 RADAR(Radio Detecting and Ranging) 센서의 센싱 결과에 기초하여 기계 학습 모델을 선택하도록 해도 된다.

혹은, 제어 장치(4)가, 상술한 촬상 장치(8)을 포함하는 각종 센서의 센싱 결과를 조합하여, 기계 학습 모델을 선택하도록 해도 된다.

또한, 상술한 각종 센서의 센싱 결과를 사용하여, 인식부(111)가 피측정물의 시간 정보를 인식하도록 해도 된다. 이 경우, 상술한 각종 센서의 출력이 인식부(111)에 입력된다. 인식부(111)는, 각 화소(10)의 시간 정보 및 상술한 각종 센서의 출력을 DNN(111a)에 입력하여 DNN 처리를 실행함으로써, 피측정물의 시간 정보를 인식한다. 이와 같이, 각종 센서의 출력도 사용함으로써, 인식부(111)에 의한 피측정물의 시간 정보의 인식 정밀도를 향상시킬 수 있다.

또한, 상기 실시 형태에서는, 측정 장치(1)가 기계 학습 모델을 전환하여 피측정물까지의 거리 D를 측정한다고 했지만, 이것에 한정되지 않는다. 예를 들어, 하나의 기계 학습 모델로 복수 종류의 피측정물에 대응할 수 있는 경우에는, 측정 장치(1)가 하나의 기계 학습 모델을 사용하여 피측정물까지의 거리 D를 측정하도록 해도 된다. 혹은, 측정 장치(1)가 예를 들어 차 등 특정 피측정물까지의 거리 D를 측정하는 경우도, 측정 장치(1)가 예를 들어 차에 특화된 하나의 기계 학습 모델을 사용하여 거리 D를 측정하도록 해도 된다.

또한, 예를 들어, 실시 형태에서는, 데이터 생성부(112) 및 모델 전환부(113)가 측정 장치(1)의 내부에 마련되는 예에 대하여 나타냈지만, 측거 장치의 외부에 마련되는 애플리케이션 프로세서에 데이터 생성부(112) 및 모델 전환부(113)를 마련해도 된다.

혹은, 예를 들어, 실시 형태에서는, 측거 결정부(406) 및 모델 선택부(404)가 제어 장치(4)의 내부에 마련되는 예에 대하여 나타냈지만, 측정 장치(1)에 측거 결정부(406) 및 모델 선택부(404)을 마련해도 된다. 이 경우, 모델 전환부(113)에 모델 선택부(404)의 기능을 포함시킴으로써, 측정 장치(1)에 모델 선택부(404)을 마련하도록 해도 된다.

[효과]

실시 형태 및 변형예에 관한 측정 장치(1)는, 제1 기판 P1에 배치되어, 광원(2)으로부터 조사되어 피측정물에 의해 반사되는 광을 수광했을 때 신호를 출력하는 복수의 수광 소자(화소(10))와, 제1 기판 P1과는 다른 제3 기판 P3에 배치되어, 복수의 수광 소자의 출력 신호에 기초하여, 기계 학습 모델(DNN(111a))을 사용하여 피측정물까지의 거리 D에 관한 정보를 인식하는 인식부(111)를 구비한다.

이에 의해, 측정 장치(1)는, 히스토그램을 생성하지 않고 피측정물까지의 거리 D를 측정할 수 있어, 거리 D의 측정에 필요한 처리 시간을 저감시킬 수 있다.

또한, 실시 형태 및 변형예에 관한 측정 장치(1)는, 복수의 수광 소자의 출력 신호에 기초하여, 광원(2)이 발광한 발광 타이밍으로부터 수광 소자가 수광한 수광 타이밍까지의 시간을 계측하여, 계측값을 취득하는 시간 계측부(변환부(110))를 더 구비한다. 인식부(111)는, 복수의 수광 소자 각각에 대응하는 복수의 계측값을 입력으로 하는 기계 학습 모델을 사용하여 거리 D에 관한 정보를 인식한다.

이에 의해, 측정 장치(1)는, 히스토그램을 생성하지 않고 피측정물까지의 거리 D를 측정할 수 있어, 거리 D의 측정에 필요한 처리 시간을 저감시킬 수 있다.

또한, 실시 형태 및 변형예에 관한 인식부(111)는, 광원(2)이 1회 발광했을 때 시간 계측부(변환부(110))가 계측한 계측값에 기초하여, 거리 D에 관한 정보를 인식한다.

이와 같이, 광원(2)에 의한 한 번의 발광으로 인식부(111)가 거리 D에 관한 정보를 인식함으로써, 측정 장치(1)는, 거리 D의 측정 시간을 저감시킬 수 있다.

또한, 실시 형태 및 변형예에 관한 인식부(111)는, 광원(2)이 복수회 발광했을 때, 시간 계측부(변환부(110))가 각 발광에 대응하여 계측한 계측값에 기초하여, 거리 D에 관한 정보를 인식한다.

이와 같이, 광원(2)에 의한 복수회의 발광으로 인식부(111)가 거리 D에 관한 정보를 인식함으로써, 측정 장치(1)는, 거리 D의 측정 정밀도를 향상시킬 수 있다.

또한, 실시 형태 및 변형예에 관한 인식부(111)는, 거리 D에 관한 정보를 인식했다고 판정한 경우에, 거리 D에 관한 정보의 인식을 종료한다.

이와 같이, 인식부(111)가 거리 D에 관한 정보를 인식한 경우에 인식 처리를 종료함으로써, 측정 장치(1)는, 거리 D의 측정 정밀도를 향상시킬 수 있다.

또한, 실시 형태 및 변형예에 관한 인식부(111)는, 기계 학습 모델로서 뉴럴 네트워크를 사용하여 거리 D에 관한 정보를 인식한다.

이에 의해, 측정 장치(1)는, 거리 D의 측정 정밀도를 향상시킬 수 있다.

또한, 실시 형태 및 변형예에 관한 제1 기판 P1과 제3 기판 P3 사이의 접속은, 구리 전극끼리의 접속이다.

이에 의해, 측정 장치(1)의 설계 자유도가 향상되고, 또한 측정 장치(1)의 소형화가 가능하게 된다.

또한, 실시 형태 및 변형예에 관한 측거 장치는, 피측정물에 광을 조사하는 광원(2)과, 제1 기판 P1에 배치되어, 피측정물로부터 반사되는 광을 수광했을 때 신호를 출력하는 복수의 수광 소자(화소(10))와, 제1 기판 P1과는 다른 제3 기판 P3에 배치되어, 복수의 수광 소자의 출력 신호에 기초하여, 기계 학습 모델(DNN(111a))을 사용하여 피측정물까지의 거리 D에 관한 정보를 인식하는 인식부(111)를 구비한다.

이에 의해, 측거 장치는, 히스토그램을 생성하지 않고 피측정물까지의 거리 D를 측정할 수 있어, 거리 D의 측정에 필요한 처리 시간을 저감시킬 수 있다.

[본 개시에 관한 기술의 적용예]

다음으로, 본 개시의 실시 형태 및 변형예의 적용예에 대하여 설명한다. 도 18은, 상술한 실시 형태 및 변형예를 적용 가능한 측정 장치(1)를 사용하는 사용예를 도시하는 도면이다.

상술한 측정 장치(1)는, 예를 들어, 이하와 같이, 가시광이나, 적외광, 자외광, X선 등의 광을 센싱하는 다양한 케이스에 사용될 수 있다.

· 디지털 카메라나, 카메라 기능이 있는 휴대 기기 등의, 감상용으로 제공되는 화상을 촬영하는 장치.

· 자동 정지 등의 안전 운전이나, 운전자의 상태 인식 등을 위하여, 자동차의 전방이나 후방, 주위, 차내 등을 촬영하는 차량 탑재용 센서, 주행 차량이나 도로를 감시하는 감시 카메라, 차량간 등의 측거를 행하는 측거 센서 등의, 교통용으로 제공되는 장치.

· 유저의 제스처를 촬영하고, 그 제스처에 따른 기기 조작을 행하기 위하여, TV나, 냉장고, 에어 컨디셔너 등의 가전에 제공되는 장치.

· 내시경이나, 적외광의 수광에 의한 혈관 촬영을 행하는 장치 등의, 의료나 헬스케어용으로 제공되는 장치.

· 방범 용도의 감시 카메라나, 인물 인증 용도의 카메라 등의, 시큐리티용으로 제공되는 장치.

· 피부를 촬영하는 피부 측정기나, 두피를 촬영하는 마이크로스코프 등의, 미용용으로 제공되는 장치.

· 스포츠 용도 등에 적합한 액션 카메라나 웨어러블 카메라 등의, 스포츠용으로 제공되는 장치.

· 밭이나 작물의 상태를 감시하기 위한 카메라 등의, 농업용으로 제공되는 장치.

(이동체에의 적용예)

본 개시에 관한 기술(본 기술)은 다양한 제품에 적용할 수 있다. 예를 들어, 본 개시에 관한 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등의 어느 것의 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.

도 19는, 본 개시에 관한 기술이 적용될 수 있는 이동체 제어 시스템의 일 예인 차량 제어 시스템의 개략적인 구성예를 도시하는 블록도이다.

차량 제어 시스템(12000)은, 통신 네트워크(12001)를 통하여 접속된 복수의 전자 제어 유닛을 구비한다. 도 19에 도시한 예에서는, 차량 제어 시스템(12000)은, 구동계 제어 유닛(12010), 바디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040) 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로컴퓨터(12051), 음성 화상 출력부(12052), 및 차량 탑재 네트워크 I/F(Interface)(12053)가 도시되어 있다.

구동계 제어 유닛(12010)은, 각종 프로그램에 따라서 차량의 구동계와 관련된 장치의 동작을 제어한다. 예를 들어, 구동계 제어 유닛(12010)은, 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.

바디계 제어 유닛(12020)은, 각종 프로그램에 따라서 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들어, 바디계 제어 유닛(12020)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 혹은, 헤드 램프, 백 램프, 브레이크 램프, 방향 지시등 또는 포그 램프 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 바디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 바디계 제어 유닛(12020)은, 이들 전파 또는 신호의 입력을 접수하고, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.

차외 정보 검출 유닛(12030)은, 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들어, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은, 촬상부(12031)에 차외의 화상을 촬상시킴과 함께, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표지 또는 노면상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.

촬상부(12031)는, 광을 수광하고, 그 광의 수광량에 따른 전기 신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은, 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.

차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들어, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들어 운전자를 촬상하는 카메라를 포함하고, 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다.

마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에 의해 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 구동계 제어 유닛(12010)에 대하여 제어 지령을 출력할 수 있다. 예를 들어, 마이크로컴퓨터(12051)는, 차량의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.

또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에 의해 취득되는 차량의 주위 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 따르지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.

또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에 의해 취득되는 차외의 정보에 기초하여, 바디계 제어 유닛(12020)에 대하여 제어 지령을 출력할 수 있다. 예를 들어, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에 의해 검지된 선행 차 또는 대향 차의 위치에 따라서 헤드 램프를 제어하여, 하이 빔을 로 빔으로 전환하는 등의 방현을 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.

음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대하여, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 중 적어도 한쪽의 출력 신호를 송신한다. 도 19의 예에서는, 출력 장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되어 있다. 표시부(12062)는, 예를 들어, 온보드 디스플레이 및 헤드업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.

도 20은, 촬상부(12031)의 설치 위치의 예를 도시하는 도면이다.

도 20에서는, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104, 12105)를 갖는다.

촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들어, 차량(12100)의 프론트 노즈, 사이드 미러, 리어 범퍼, 백 도어 및 차실 내의 프론트 글래스의 상부 등의 위치에 마련된다. 프론트 노즈에 구비되는 촬상부(12101) 및 차실 내의 프론트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 차실 내의 프론트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 선행 차량 또는 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 사용된다.

또한, 도 20에는, 촬상부(12101 내지 12104)의 촬영 범위의 일 예가 도시되어 있다. 촬상 범위(12111)는, 프론트 노즈에 마련된 촬상부(12101)의 촬상 범위를 나타내고, 촬상 범위(12112, 12113)는, 각각 사이드 미러에 마련된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어 범퍼 또는 백 도어에 마련된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들어, 촬상부(12101 내지 12104)에 의해 촬상된 화상 데이터를 중첩시킴으로써, 차량(12100)을 상방으로부터 본 부감 화상이 얻어진다.

촬상부(12101 내지 12104) 중 적어도 하나는, 거리 정보를 취득하는 기능을 갖고 있어도 된다. 예를 들어, 촬상부(12101 내지 12104) 중 적어도 하나는, 복수의 촬상 소자로 이루어지는 스테레오 카메라이어도 되고, 위상차 검출용의 화소를 갖는 촬상 소자이어도 된다.

예를 들어, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대 속도)를 구함으로써, 특히 차량(12100)의 진행 경로 상에 있는 가장 가까운 입체물이고, 차량(12100)과 대략 동일한 방향으로 소정의 속도(예를 들어, 0km/h 이상)로 주행하는 입체물을 선행 차로서 추출할 수 있다. 또한, 마이크로컴퓨터(12051)는, 선행 차 못미처에 미리 확보해야 할 차간 거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등을 행할 수 있다. 이와 같이 운전자의 조작에 따르지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.

예를 들어, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 2륜차, 보통 차량, 대형 차량, 보행자, 전신주 등 기타의 입체물로 분류하여 추출하여, 장애물의 자동 회피에 사용할 수 있다. 예를 들어, 마이크로컴퓨터(12051)는, 차량(12100)의 주변 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로컴퓨터(12051)는, 각 장애물과의 충돌의 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정값 이상으로 충돌 가능성이 있는 경우에는, 오디오 스피커(12061)나 표시부(12062)를 통하여 드라이버에 경보를 출력하거나, 구동계 제어 유닛(12010)을 통하여 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.

촬상부(12101 내지 12104) 중 적어도 하나는, 적외선을 검출하는 적외선 카메라이어도 된다. 예를 들어, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지의 여부를 판정함으로써 보행자를 인식 할 수 있다. 이러한 보행자의 인식은, 예를 들어 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 수순과, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 여부를 판별하는 수순에 의해 행해진다. 마이크로컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하고, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 원하는 위치에 표시하도록 표시부(12062)를 제어해도 된다.

이상, 본 개시에 관한 기술이 적용될 수 있는 차량 제어 시스템의 일 예에 대하여 설명하였다. 본 개시에 관한 기술은, 이상 설명한 구성 중, 촬상부(12031)에 적용될 수 있다. 구체적으로는, 도 4의 측거 시스템(6)은 촬상부(12031)에 적용될 수 있다. 촬상부(12031)에 본 개시에 관한 기술을 적용함으로써, 차량 주변의 장애물까지의 거리의 산출 속도를 향상시킬 수 있다.

이상, 본 개시의 실시 형태에 대하여 설명했지만, 본 개시의 기술적 범위는, 상술한 실시 형태 그대로에 한정되는 것은 아니고, 본 개시의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다. 또한, 다른 실시 형태 및 변형예에 걸친 구성 요소를 적절히 조합해도 된다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또한 다른 효과가 있어도 된다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1)

제1 기판에 배치되어, 광원으로부터 조사되어 피측정물에 의해 반사되는 광을 수광했을 때 신호를 출력하는 복수의 수광 소자와,

상기 제1 기판과는 다른 제2 기판에 배치되어, 상기 복수의 수광 소자의 출력 신호에 기초하여, 기계 학습 모델을 사용하여 상기 피측정물까지의 거리에 관한 정보를 인식하는 인식부

를 구비하는 측정 장치.

(2)

상기 복수의 수광 소자의 상기 출력 신호에 기초하여, 광원이 발광한 발광 타이밍으로부터 상기 수광 소자가 수광한 수광 타이밍까지의 시간을 계측하여, 계측값을 취득하는 시간 계측부를 더 구비하고,

상기 인식부는, 상기 복수의 수광 소자 각각에 대응하는 복수의 상기 계측값을 입력으로 하는 상기 기계 학습 모델을 사용하여 상기 거리에 관한 정보를 인식하는

(1)에 기재된 측정 장치.

(3)

상기 인식부는, 상기 광원이 1회 발광했을 때 상기 시간 계측부가 계측한 상기 계측값에 기초하여, 상기 거리에 관한 정보를 인식하는 (2)에 기재된 측정 장치.

(4)

상기 인식부는, 상기 광원이 복수회 발광했을 때, 상기 시간 계측부가 각 발광에 대응하여 계측한 상기 계측값에 기초하여, 상기 거리에 관한 정보를 인식하는 (2)에 기재된 측정 장치.

(5)

상기 거리에 관한 정보를 인식했다고 판정한 경우에, 상기 인식부는, 상기 거리에 관한 정보의 인식을 종료하는 (4)에 기재된 측정 장치.

(6)

상기 인식부는, 상기 기계 학습 모델로서 뉴럴 네트워크를 사용하여 상기 거리에 관한 정보를 인식하는 (1) 내지 (5) 중 어느 하나에 기재된 측정 장치.

(7)

상기 제1 기판과 상기 제2 기판 사이의 접속은, 구리 전극끼리의 접속인 (1) 내지 (6) 중 어느 하나에 기재된 측정 장치.

(8)

피측정물에 광을 조사하는 광원과,

제1 기판에 배치되어, 상기 피측정물로부터 반사되는 광을 수광했을 때 신호를 출력하는 복수의 수광 소자와,

상기 제1 기판과는 다른 제2 기판에 배치되어, 상기 복수의 수광 소자의 출력 신호에 기초하여, 기계 학습 모델을 사용하여 상기 피측정물까지의 거리에 관한 정보를 인식하는 인식부

를 구비하는 측거 장치.

1: 측정 장치
2: 광원
4: 제어 장치
6: 측거 시스템
8: 촬상 장치
10: 화소
100: 화소 어레이부
107: 모델 기억부
110: 변환부
111: 인식부
112: 데이터 생성부
113: 모델 전환부
401: 취득부
402: 추출부
403: 씬 인식부
404: 모델 선택부
405: 통지부
406: 측거 결저부

Claims (8)

1. 제1 기판에 배치되어, 광원으로부터 조사되어 피측정물에 의해 반사되는 광을 수광했을 때 신호를 출력하는 복수의 수광 소자와,
   상기 제1 기판과는 다른 제2 기판에 배치되어, 상기 복수의 수광 소자의 출력 신호에 기초하여, 기계 학습 모델을 사용하여 상기 피측정물까지의 거리에 관한 정보를 인식하는 인식부
   를 구비하는 측정 장치.
2. 제1항에 있어서,
   상기 복수의 수광 소자의 상기 출력 신호에 기초하여, 광원이 발광한 발광 타이밍으로부터 상기 수광 소자가 수광한 수광 타이밍까지의 시간을 계측하여, 계측값을 취득하는 시간 계측부를 더 구비하고,
   상기 인식부는, 상기 복수의 수광 소자 각각에 대응하는 복수의 상기 계측값을 입력으로 하는 상기 기계 학습 모델을 사용하여 상기 거리에 관한 정보를 인식하는, 측정 장치.
3. 제2항에 있어서,
   상기 인식부는, 상기 광원이 1회 발광했을 때 상기 시간 계측부가 계측한 상기 계측값에 기초하여, 상기 거리에 관한 정보를 인식하는, 측정 장치.
4. 제2항에 있어서,
   상기 인식부는, 상기 광원이 복수회 발광했을 때, 상기 시간 계측부가 각 발광에 대응하여 계측한 상기 계측값에 기초하여, 상기 거리에 관한 정보를 인식하는, 측정 장치.
5. 제4항에 있어서,
   상기 거리에 관한 정보를 인식했다고 판정한 경우에, 상기 인식부는, 상기 거리에 관한 정보의 인식을 종료하는, 측정 장치.
6. 제5항에 있어서,
   상기 인식부는, 상기 기계 학습 모델로서 뉴럴 네트워크를 사용하여 상기 거리에 관한 정보를 인식하는, 측정 장치.
7. 제6항에 있어서,
   상기 제1 기판과 상기 제2 기판 사이의 접속은, 구리 전극끼리의 접속인, 측정 장치.
8. 피측정물에 광을 조사하는 광원과,
   제1 기판에 배치되어, 상기 피측정물로부터 반사되는 광을 수광했을 때 신호를 출력하는 복수의 수광 소자와,
   상기 제1 기판과는 다른 제2 기판에 배치되어, 상기 복수의 수광 소자의 출력 신호에 기초하여, 기계 학습 모델을 사용하여 상기 피측정물까지의 거리에 관한 정보를 인식하는 인식부
   를 구비하는 측거 장치.

Images