KR20230158474A - 센싱 시스템 - Google Patents

센싱 시스템 Download PDF

Info

Publication number
KR20230158474A
KR20230158474A KR1020237029473A KR20237029473A KR20230158474A KR 20230158474 A KR20230158474 A KR 20230158474A KR 1020237029473 A KR1020237029473 A KR 1020237029473A KR 20237029473 A KR20237029473 A KR 20237029473A KR 20230158474 A KR20230158474 A KR 20230158474A
Authority
KR
South Korea
Prior art keywords
unit
scanning
information
point cloud
range
Prior art date
Application number
KR1020237029473A
Other languages
English (en)
Inventor
가즈토시 기타노
유스케 가와무라
고스케 다카하시
다케시 구보타
마사키 기타노
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20230158474A publication Critical patent/KR20230158474A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 개시에 관한 센싱 시스템(1)은, 대상물에서 반사되어 수신된 수신 신호에 기초하는 속도 점군 정보를 바탕으로 한 속도 화상을 상기 대상물의 정보로서 출력하는, 주파수 연속 변조파를 사용한 광 검출 측거 장치(11)와, 상기 대상물을 촬상한 촬상 화상을 상기 대상물의 정보로서 출력하는 고체 촬상 장치(12)를 구비하고, 상기 광 검출 측거 장치 및 상기 고체 촬상 장치는, 상기 대상물의 동일한 측으로부터의 정보를 취득하도록 배치된다.

Description

센싱 시스템
본 개시는, 센싱 시스템에 관한 것이다.
종래부터, 대상 공간 중에 존재하는, 사람이나 기타 이동체의 행동이나 동작을 계측 혹은 감시할 목적으로 카메라가 널리 이용되고 있다(예를 들어 특허문헌 1). 카메라는, 그 시야(화각)에 포함되는 물체를 촬상한 촬상 화상을 취득할 수 있다. 카메라에 의해 취득된 촬상 화상에 대하여 계산 처리를 실시함으로써, 촬상 화상에 포함되는 물체를 검출, 인식할 수 있다.
카메라는, 그 광학 특성상, 대상 물체와의 사이의 거리가 커질수록, 촬상 화상에서의 당해 대상 물체에 대응하는 부분 화상의 화소수가 적어져서, 카메라의 촬상 화상에 기초하는 당해 대상 물체의 검출 및 인식의 정밀도가 저하되어버린다. 고해상도의 이미지 센서를 사용한 카메라를 이용함으로써, 이 대상 물체와의 사이의 거리에 따른 정밀도의 저하를 경감하는 것이 가능하다.
한편, 대상 물체에 조사한 레이저광의 반사광을 수광한 수광 신호에 기초하여 당해 대상 물체까지의 거리를 계측하는, LiDAR(Laser Imaging Detection and Ranging)라고 불리는 광학 측거 장치가 알려져 있다. LiDAR에서는, 주사기나 초점면 어레이형 검출기 등을 함께 사용해서, 시야 범위에서의 각도마다 측거를 실행하여, 각도와 거리의 정보에 기초하여 점군이라고 불리는 데이터를, 예를 들어 일정 프레임 레이트로 출력한다. 이 점군 데이터에 대하여 계산 처리를 실시함으로써, 대상 물체의 정확한 위치, 자세 등을 검출, 인식할 수 있다(예를 들어 특허문헌 2, 특허문헌 3).
일본 특허 공개 제2019-114280호 공보 일본 특허 공개 제2019-101000호 공보 일본 특허 공개 제2003-272061호 공보
카메라를 사용한 검출, 인식 처리에 있어서, 고해상도의 이미지 센서를 사용한 경우, 촬상 화상에 대한 계산 처리의 부하가 증대하게 된다. 특히, 시야 전역에 대한 계측, 감시의 목적으로 촬상 화상 전체에 대하여 처리를 반복하는 고도의 검출 처리나 인식 처리에서는, 처리 시간, 계산 비용, 소비 전력의 증대를 초래해버리게 된다.
또한, 대상 물체 표면의 휘도는, 태양광이나 조명광과 같은 외광 조건에 따라서 변화하기 때문에, 카메라를 사용한 대상 물체의 검출, 인식 처리의 정밀도는, 외광에 의존하게 된다. 예를 들어, 저조도의 환경 하에서의 카메라를 사용한 대상 물체의 검출, 인식 처리에서는, 촬상 화상의 휘도가 저하되어, 촬상 화상에 포함되는 대상 물체에 대한 검출, 인식의 정밀도가 저하되어버릴 우려가 있다.
또한, 카메라는, 그 광학 특성상, 대상 물체의 촬상 시에, 대상 물체와의 사이에 존재하는, 빗방울이나 진애와 같은 미소 차폐물도 대상 물체와 함께 촬상해버린다. 그 때문에, 카메라에 의해 촬상된 촬상 화상에서의 대상 물체에 대응하는 화상 영역은, 본래의 대상 물체의 화상에 대하여 부분적인 것으로 되어, 촬상 화상에 포함되는 대상 물체에 대한 검출, 인식의 정밀도가 저하되어버릴 우려가 있다.
한편, LiDAR에서는, 그 동작 원리상, 계측 결과가 외광의 영향을 받기 어렵기 때문에, 예를 들어 저조도의 환경 하에서도, 안정적으로 대상 물체를 검출, 인식할 수 있다. 그러나, LiDAR는, 그 동작 원리상, 각 사양이 서로 트레이드오프의 관계에 있기 때문에, 예를 들어 일정 이상의 프레임 레이트를 확보하기 위해서는, 해상도를 낮게 억제할 필요가 생긴다. 그 때문에, LiDAR에서는, 대상 물체까지의 거리가 클수록, 당해 대상 물체에 대응하는 부분 점군에서의 점의 수가 적어져서, 대상 물체에 대한 검출, 인식의 정밀도가 저하되어버릴 우려가 있다.
본 개시는, 대상 물체의 검출 및 인식을, 다양한 환경 하에서 안정적으로 실행 가능한 센싱 시스템을 제공하는 것을 목적으로 한다.
본 개시에 관한 센싱 시스템은, 대상물에서 반사되어 수신된 수신 신호에 기초하는 속도 점군 정보를 바탕으로 한 속도 화상을 상기 대상물의 정보로서 출력하는, 주파수 연속 변조파를 사용한 광 검출 측거 장치와, 상기 대상물을 촬상한 촬상 화상을 상기 대상물의 정보로서 출력하는 고체 촬상 장치를 구비하고, 상기 광 검출 측거 장치 및 상기 고체 촬상 장치는, 상기 대상물의 동일한 측으로부터의 정보를 취득하도록 배치된다.
도 1은 본 개시의 각 실시 형태에 적용 가능한 센싱 시스템의 일례의 구성을 도시하는 블록도이다.
도 2는 본 개시의 각 실시 형태에 적용 가능한 광 검출 측거부의 일례의 구성을 도시하는 블록도이다.
도 3은 주사부에 의한 송신 광의 주사를 개략적으로 도시하는 모식도이다.
도 4는 제1 실시 형태에 관한 신 센싱 시스템의 일례의 구성을 도시하는 블록도이다.
도 5는 거리 화상의 예를 모식적으로 도시하는 도면이다.
도 6은 속도 화상의 예를 모식적으로 도시하는 도면이다.
도 7은 합성 화상의 예를 모식적으로 도시하는 도면이다.
도 8은 제1 실시 형태에 관한, 센서 유닛의 배치예를 도시하는 모식도이다.
도 9는 제1 실시 형태에 관한 센싱 시스템에 의한 처리를 나타내는 일례의 흐름도이다.
도 10은 속도 점군의 예를 모식적으로 도시하는 도면이다.
도 11은 속도 점군으로부터 추출되는 3D 영역 정보의 예를 모식적으로 도시하는 도면이다.
도 12는 3D 영역 정보의 예를 보다 상세하게 도시하는 모식도이다.
도 13은 촬상 화상의 예를 모식적으로 도시하는 도면이다.
도 14는 합성 화상 프레임으로부터 3D 영역 정보를 하는 모습을 모식적으로 도시하는 도면이다.
도 15는 3D 영역 정보에 기초하여 추출되는 부분 화상의 예를 모식적으로 도시하는 도면이다.
도 16은 제1 실시 형태의 변형예에 관한, 복수의 센서 유닛(10)의 배치예를 도시하는 모식도이다.
도 17은 제1 실시 형태의 변형예에 관한 센싱 시스템의 일례의 구성을 도시하는 블록도이다.
도 18은 제2 실시 형태에 관한, 센서 유닛의 배치예를 도시하는 모식도이다.
도 19는 제2 실시 형태에 관한 센싱 시스템의 일례의 구성을 도시하는 블록도이다.
도 20은 제2 실시 형태에 관한 신호 처리부에 의한 처리를 나타내는 일례의 흐름도이다.
도 21은 제2 실시 형태에 관한 ROI 주사 제어 정보의 생성 처리를 설명하기 위한 모식도이다.
도 22는 제2 실시 형태에 관한 ROI 주사를 설명하기 위한 모식도이다.
도 23은 제2 실시 형태에 관한 ROI 주사를 설명하기 위한 모식도이다.
도 24는 제2 실시 형태의 변형예에 관한, 복수의 센서 유닛을 배치한 경우의 ROI 주사를 도시하는 모식도이다.
도 25는 제2 실시 형태의 변형예에 관한 센싱 시스템의 일례의 구성을 도시하는 블록도이다.
도 26은 제3 실시 형태에 관한 인류(人流) 해석 시스템의 구성을 개략적으로 도시하는 도면이다.
도 27은 제3 실시 형태에 관한 인류 해석 시스템의 일례의 구성을 보다 상세하게 도시하는 블록도이다.
도 28은 정보 제시 장치에 의해 표시 장치에 표시되는 인류의 예를 모식적으로 도시하는 도면이다.
도 29는 제3 실시 형태에 관한 인류 해석 시스템에 의한 처리를 나타내는 일례의 흐름도이다.
도 30a는 제4 실시 형태에 관한 이상 검지 시스템의 구성을 개략적으로 도시하는 도면이다.
도 30b는 제4 실시 형태에 관한 이상 검지 시스템의 구성을 개략적으로 도시하는 도면이다.
도 31은 제4 실시 형태에 관한 이상 검지 시스템의 일례의 구성을 보다 상세하게 도시하는 블록도이다.
도 32는 제4 실시 형태에 관한 이상 검지 시스템에 의한 처리를 나타내는 일례의 흐름도이다.
도 33은 제4 실시 형태에 관한 이상 검지 시스템에 의한 처리를 나타내는 일례의 흐름도이다.
이하, 본 개시의 실시 형태에 대해서, 도면에 기초하여 상세하게 설명한다. 또한, 이하의 실시 형태에 있어서, 동일한 부위에는 동일한 번호를 부여함으로써, 중복되는 설명을 생략한다.
이하, 본 개시의 실시 형태에 대해서, 하기의 순서에 따라서 설명한다.
1. 기존 기술에 대해서
1-1. 카메라를 사용한 방법
1-2. LiDAR를 사용한 방법
1-3. FMCW-LiDAR에 대해서
2. 본 개시의 개략
3. 제1 실시 형태
3-1. 제1 실시 형태의 변형예
4. 제2 실시 형태
4-1. 제2 실시 형태의 변형예
5. 제3 실시 형태
6. 제4 실시 형태
[1. 기존 기술에 대해서]
본 개시는, 물체의 검출, 특히 이동 물체의 검출 및 추적에 사용하기에 적합한 기술에 관한 것이다. 본 개시의 각 실시 형태의 설명에 앞서, 이해를 용이하게 하기 위해서, 본 개시의 기술에 관련된 기존 기술에 대해서 개략적으로 설명한다.
(1-1. 카메라를 사용한 방법)
이동 물체의 검출 및 추적을 행하는 방법의 하나로서, 카메라를 사용한 방법이 종래부터 알려져 있다(예를 들어 특허문헌 1). 카메라는, 그 화각에 포함되는 물체를 촬상한 촬상 화상을 취득할 수 있다. 카메라에 의해 취득된 촬상 화상에 대하여 계산 처리를 행함으로써, 당해 촬상물로부터 대상 물체를 검출 및 인식할 수 있다. 이 처리를, 예를 들어 다른 시각으로 촬상된 복수의 촬상 화상에 대해서 행하여, 각 촬상 화상에 있어서 공통으로 인식된 대상 물체를 추적한다.
이후, 카메라의 렌즈를 통해서 취득되는 화상이, 사람의 눈에 의해 취득되는 화상과 대응한다고 간주하여, 카메라의 화각을, 적절히 시야라고 칭한다.
카메라는, 그 광학 특성상, 대상 물체와의 사이의 거리가 커질수록, 촬상 화상에서의 당해 대상 물체에 대응하는 부분 화상의 화소수가 적어져서, 카메라의 촬상 화상에 기초하는 당해 대상 물체의 검출 및 인식의 정밀도가 저하되어버린다. 고해상도의 이미지 센서를 사용한 카메라를 이용함으로써, 이 대상 물체와의 사이의 거리에 따른 정밀도의 저하를 경감하는 것이 가능하다.
한편, 카메라를 사용한 검출, 인식 처리에 있어서, 고해상도의 이미지 센서를 사용한 경우, 촬상 화상에 대한 계산 처리의 부하가 증대하게 된다. 특히, 화각 전역에 대한 계측, 감시의 목적으로 촬상 화상 전체에 대하여 처리를 반복하는 고도의 검출 처리나 인식 처리에서는, 처리 시간, 계산 비용, 소비 전력의 증대를 초래해버리게 된다.
또한, 대상 물체에서의 휘도는, 태양광이나 조명광과 같은 외광 조건에 따라서 변화하기 때문에, 카메라를 사용한 대상 물체의 검출, 인식 처리의 정밀도는, 외광에 의존하게 된다. 예를 들어, 저조도의 환경 하에서의 카메라를 사용한 대상 물체의 검출, 인식 처리에서는, 촬상 화상의 휘도가 저하되어, 촬상 화상에 포함되는 대상 물체에 대한 검출, 인식의 정밀도가 저하되어버릴 우려가 있다.
또한, 카메라는, 그 광학 특성상, 대상 물체의 촬상 시에, 대상 물체와의 사이에 존재하는, 빗방울이나 진애와 같은 미소 차폐물도 대상 물체와 동시에 촬상해버린다. 그 때문에, 카메라에 의해 촬상된 촬상 화상에서의 대상 물체에 대응하는 화상 영역은, 본래의 대상 물체의 화상에 대하여 부분적인 것으로 되어, 촬상 화상에 포함되는 대상 물체에 대한 검출, 인식의 정밀도가 저하되어버릴 우려가 있다.
(1-2. LiDAR를 사용한 방법)
이동 물체의 검출 및 추적을 행하는 다른 방법으로서, LiDAR(Laser Imaging Detection and Ranging)를 사용하는 방법이 알려져 있다. LiDAR는, 대상 물체에 조사한 레이저광의 반사광을 수광한 수광 신호에 기초하여 당해 대상 물체까지의 거리를 계측하는 광 검출 측거 장치이다. LiDAR에서는, 레이저광의 주사를 행하는 주사기나, 수광부로서의 초점면 어레이형 검출기 등을 함께 사용한다. LiDAR에서는, 레이저광의 주사 범위에 있어서, 일정 각도마다 측거를 실행하여, 각도와 거리의 정보에 기초하여 점군이라고 불리는 데이터를 출력한다.
점군은, 레이저광의 주사 범위에 포함되는 물체의 위치나 공간 구조를 표본화한 것이며, 일반적으로는, 일정 주기의 프레임 시간마다 출력된다. 이 점군 데이터에 대하여 계산 처리를 실시함으로써, 대상 물체의 정확한 위치, 자세 등을 검출, 인식할 수 있다(예를 들어 특허문헌 2, 특허문헌 3).
이후, LiDAR에서의 수광부에서 본 주사 범위를, 사람의 눈에 의해 인식 가능한 범위에 대응한다고 간주하여, 당해 주사 범위를, 적절히 시야 혹은 시야 범위라고 칭한다.
LiDAR는, 그 동작 원리상, 계측 결과가 외광의 영향을 받기 어렵기 때문에, 예를 들어 저조도의 환경 하에서도, 안정적으로 대상 물체를 검출, 인식할 수 있다. LiDAR를 사용한 광 검출 측거 방법은, 종래부터 다양하게 제안되어 있다. 장거리 계측 용도에서는, 펄스 변조와 직접 검출을 조합한 펄스 ToF(Time-of-Flight) 방식이 보급되어 있다. 이하, LiDAR를 사용한 펄스 ToF에 의한 광 검출 측거 방법을, 적절히 dToF(direct ToF)-LiDAR라고 칭한다.
LiDAR는, 그 동작 원리상, 각 사양이 서로 트레이드오프의 관계에 있기 때문에, 예를 들어 일정 이상의 프레임 레이트를 확보하기 위해서는, 해상도를 낮게 억제할 필요가 생긴다. 그 때문에, LiDAR에서는, 대상 물체까지의 거리가 클수록, 당해 대상 물체에 대응하는 부분 점군에서의 점의 수가 적어져서, 대상 물체에 대한 검출, 인식의 정밀도가 저하되어버릴 우려가 있다. 또한, LiDAR는, 일반적으로는 물체의 표면 반사율의 계측은 가능한 한편, 물체색의 계측은 행하지 않는다. 따라서, LiDAR는, 카메라를 사용하여 행하는 것 같은, 고도의 물체의 식별, 분류 등의 인식 용도에는 적합하지 않다고 할 수 있다.
또한, dToF-LiDAR는, 광의 에너지를 수신하여 측거를 행하는 방식이기 때문에, 수신 광이, LiDAR에 의해 사출된 레이저광의 반사광인지, 다른 광원의 광인지를 구별하는 것이 곤란하였다. 그 때문에, dToF-LiDAR에서는, 태양 등의 고조도 광원이 존재하는 환경에서는, 환경 광이 수신 광에 대하여 영향을 미쳐서, 노이즈의 증대나 혼신의 발생을 초래할 우려가 있다.
또한, dToF-LiDAR는, 주사 범위의 공간 중에 미소 물체가 존재하는 경우에는, 대상 물체로부터의 반사광과 동시에, 그 미소 물체로부터의 반사광을 수신하게 된다. 그 때문에, 당해 미소 물체가 일정 이상의 수와 크기를 갖는 경우에는, 수신 신호에 당해 미소 물체로부터의 반사광에 의한 펄스를 포함하는 복수의 펄스가 검출되어, 대상 물체로부터의 반사광에 의한 펄스와, 미소 물체로부터의 반사광에 의한 펄스를 구별하는 것이 곤란하였다. 그 때문에, dToF-LiDAR로부터 출력되는 점군은, 대상 물체에 대응하는 점의 수가 감소 혹은 소실되는 한편, 주사 범위의 공간 중에 당해 미소 물체에 기인하는 검출 점이 흩어져서 나타나게 된다.
또한, dToF-LiDAR에서는, 상술한 바와 같이, 일반적으로는 점군을 일정 주기(프레임)마다 출력한다. 각 프레임의 점군을 비교함으로써, 점군 중에 검출된 물체의 이동(이동 속도, 방향 등)을 추정하는 것이 가능하다.
그러나, 대상 물체가 강체가 아니라 형상이 변화하는 경우(인간 등), 프레임간에서의 점군의 대응짓기가 곤란하다. 특히, 주사 범위의 공간에 복수의 대상 물체가 동시에 존재하고, 그들이 다른 이동을 행하고 있는 경우에는, 프레임간에서의 점군의 대응짓기가 매우 곤란해진다. 또한, 대상 물체가 먼 곳에 존재하거나, 형상이 복잡한, 혹은, 복수의 대상 물체가 동시에 복잡한 이동을 행하고 있는 등의 경우에는, 대상 물체의 이동을 정확하게 검출하는 것도 곤란해진다.
(1-3. FMCW-LiDAR에 대해서)
여기서, LiDAR를 사용한 광 검출 측거 방법의 하나로서의, FMCW(주파수 연속 변조: Frequency Modulated Continuous Wave)-LiDAR에 대하여 설명한다. FMCW-LiDAR는, 사출하는 레이저광으로서, 시간의 경과에 따라서 펄스의 주파수를 예를 들어 직선적으로 변화시킨 처프 광을 사용한다. FMCW-LiDAR에서는, 처프 광으로서 사출하는 레이저광과, 사출된 레이저광의 반사광을 합성한 수신 신호에 대하여, 코히어런트 검출에 의해 측거를 행한다.
FMCW-LiDAR에서는, 도플러 효과를 이용함으로써, 측거와 동시에 속도를 계측할 수 있다. 그 때문에, FMCW-LiDAR를 사용함으로써, 사람이나 기타 이동 물체 등의, 속도를 가진 물체의 위치를 신속히 파악하는 것이 용이하게 된다. 또한, 코히어런트 검출은, 다른 광원으로부터의 간섭을 받기 어렵기 때문에, 혼신을 피하는 것이 가능하고, 나아가, 태양광 등의 고조도의 광원에 의한 노이즈의 영향이 적다. 그 때문에, FMCW-LiDAR에 의한 계측은, 환경 변화에 대하여 강해서, 저조도 환경에서도 안정적으로 대상 물체의 계측을 행하는 것이 가능하다.
본 개시에서는, 카메라와 FMCW-LiDAR를 연계시켜서 대상 물체의 검출 및 인식을 행한다. 이에 의해, 다양한 환경에 있어서, 안정적, 고속, 고정밀도의 검출 및 인식을 실현하는 것이 가능하게 된다.
[2. 본 개시의 개략]
이어서, 본 개시에 대하여 개략적으로 설명한다. 도 1은 본 개시의 각 실시 형태에 적용 가능한 센싱 시스템(1)의 일례의 구성을 도시하는 블록도이다. 도 1에서, 센싱 시스템(1)은, 센서 유닛(10)과, 센서 유닛(10)으로부터 출력되는 출력 신호에 대하여 소정의 신호 처리를 실행하는 신호 처리부(13)를 포함한다. 신호 처리부(13)의 출력은, 예를 들어 소정의 애플리케이션 프로그램이 실행되는 정보 처리 장치(도시하지 않음)에 공급된다.
센서 유닛(10)은, 광 검출 측거부(11)와, 카메라(12)를 포함한다. 광 검출 측거부(11)는, 주파수 연속 변조된 레이저광을 사용하여 측거를 행하는 FMCW-LiDAR가 적용된다. 광 검출 측거부(11)에 의한 검출 및 측거 결과는, 3차원 공간 정보를 갖는 점군 정보로서 신호 처리부(13)에 공급된다.
카메라(12)는, 예를 들어 가시광 파장 영역의 광을 촬상하여, R(적색), G(녹색) 및 B(청색)의 각 색의 정보를 포함하는, 2차원 정보에 의한 촬상 화상을 출력한다. 카메라(12)로부터 출력된 촬상 화상은, 신호 처리부(13)에 공급된다.
센서 유닛(10)에 있어서, 광 검출 측거부(11) 및 카메라(12)는, 계측을 행하는 대상물의 동일한 측으로부터의 정보를 취득하도록 배치된다. 예를 들어, 광 검출 측거부(11)에 의한 광의 송신 방향의 각도 범위와 카메라(12)에 의한 화각이 대략 동일한 방향을 향함과 함께, 광 검출 측거부(11)와 카메라(12)를 서로 근접하도록 배치하는 것을 생각할 수 있다.
신호 처리부(13)는, 광 검출 측거부(11)로부터 공급된 검출 및 측거 결과와, 카메라(12)로부터 공급된 촬상 화상에 대하여 신호 처리를 실행하고, 대상물에 관한 속성 정보나 영역 정보를 포함하는 정보를 출력한다.
또한, 도 1의 예에서는, 센싱 시스템(1)이 하나의 센서 유닛(10)과, 당해 센서 유닛(10)에 대응하는 하나의 신호 처리부(13)를 갖도록 도시되어 있지만, 이것은 이 예에 한정되지 않는다. 예를 들어, 센싱 시스템(1)은, 하나의 신호 처리부(13)에 대하여 복수의 센서 유닛(10)을 갖는 구성으로 해도 된다.
도 2는 본 개시의 각 실시 형태에 적용 가능한 광 검출 측거부(11)의 일례의 구성을 도시하는 블록도이다. 도 2에서, 광 검출 측거부(11)는, 주사부(100)와, 주사 제어부(101)와, 각도 검출부(102)를 포함한다. 광 검출 측거부(11)는 또한, 송신 광 제어부(110)와, 광 송신부(111)와, 광 수신부(112)와, 수신 신호 처리부(113)를 포함한다. 또한, 광 검출 측거부(11)는, 점군 생성부(120)와, 전단 처리부(130)와, 인터페이스(I/F)부(131)를 포함한다.
광 송신부(111)는, 예를 들어, 송신 광인 레이저광을 발광하기 위한 레이저 다이오드 등의 광원과, 광원에서 발광된 광을 사출하기 위한 광학계와, 당해 광원을 구동하는 레이저 출력 변조 장치를 포함한다. 광 송신부(111)는, 후술하는 송신 광 제어부(110)로부터 공급된 광 송신 제어 신호에 따라서 광원을 발광시켜, 시간의 경과에 따라서 소정 주파수 범위 내에서 주파수가 직선적으로 변화하는 처프 광에 의한 송신 광을 사출한다. 송신 광은, 주사부(100)에 보내짐과 함께, 국부 발광으로서 광 수신부(112)에 보내진다.
송신 광 제어부(110)는, 시간의 경과에 따라, 주파수가 소정 주파수 범위 내에서 직선적으로 변화(예를 들어 증가)하는 신호를 생성한다. 이러한, 시간의 경과에 따라서 소정 주파수 범위 내에서 주파수가 직선적으로 변화하는 신호를, 처프 신호라고 칭한다. 송신 광 제어부(110)는, 이 처프 신호에 기초하여, 광 송신부(111)가 포함하는 레이저 출력 변조 장치에 입력되는 변조 동기 타이밍 신호이다. 광 송신 제어 신호를 생성한다. 송신 광 제어부(110)는, 생성한 광 송신 제어 신호를, 광 송신부(111)와 점군 생성부(120)에 공급한다.
광 수신부(112)는, 예를 들어, 주사부(100)로부터의 수신 광을 수신(수광)하는 수광부와, 당해 수광부를 구동하는 구동 회로를 포함한다. 수광부는, 예를 들어, 각각 화소를 구성하는 포토다이오드 등의 수광 소자가 2차원 격자상으로 배열된 화소 어레이를 적용할 수 있다. 광 수신부(112)는, 주사부로부터 수신한 수신 광과, 광 송신부(111)로부터 보내진 국부 발광을 합성하는 합성부를 더 포함한다. 수신 광이 송신 광의 대상물로부터의 반사광이면, 수신 광은, 국부 발광에 대하여 대상물과의 거리에 따라 지연된 신호가 되고, 수신 광과 국부 발광을 합성한 합성 신호는, 일정 주파수의 신호(비트 신호)가 된다. 광 수신부(112)는, 이 신호를 수신 신호로서 수신 신호 처리부(113)에 공급한다.
수신 신호 처리부(113)는, 광 수신부(112)로부터 공급된 수신 신호에 대하여, 예를 들어 고속 푸리에 변환 등의 신호 처리를 행한다. 수신 신호 처리부(113)는, 이 신호 처리에 의해, 대상물까지의 거리와, 대상물의 속도를 나타내는 속도를 구하고, 이들 거리 및 속도를 각각 나타내는 거리 정보 및 속도 정보를 포함하는 계측 정보를 생성한다. 수신 신호 처리부(113)는 또한, 수신 신호에 기초하여 대상물의 반사율을 나타내는 반사율 정보를 구하여 계측 정보에 포함시켜도 된다. 수신 신호 처리부(113)는, 생성한 계측 정보를 점군 생성부(120)에 공급한다.
주사부(100)는, 광 송신부(111)로부터 보내지는 송신 광을, 주사 제어부(101)로부터 공급되는 주사 제어 신호에 따른 각도로 송신함과 함께, 당해 각도로부터 입사되는 광을 수신 광으로서 수신한다. 주사부(100)에 있어서, 송신 광의 주사 기구로서, 예를 들어 2축 미러 스캔 장치를 적용할 수 있다. 이 경우, 주사 제어 신호는, 예를 들어, 당해 2축 미러 스캔 장치의 각 축에 인가되는 구동 전압 신호가 된다.
주사 제어부(101)는, 주사부(100)에 의한 송수신의 각도를 소정의 각도 범위 내에서 변화시키는 주사 제어 신호를 생성하여, 주사부(100)에 공급한다. 주사부(100)는, 공급된 주사 제어 신호에 따라서, 송신 광에 의한 일정 범위의 주사를 실행할 수 있다.
주사부(100)는, 사출하는 송신 광의 사출 각도를 검출하는 센서를 갖고, 이 센서에 의해 검출된 송신 광의 사출 각도를 나타내는 각도 검출 신호를 출력한다. 각도 검출부(102)는, 주사부(100)로부터 출력된 각도 검출 신호에 기초하여 송수신의 각도를 구하고, 구한 각도를 나타내는 각도 정보를 생성한다. 각도 검출부(102)는, 생성한 각도 정보를 점군 생성부(120)에 공급한다.
도 3은 주사부(100)에 의한 송신 광의 주사를 개략적으로 도시하는 모식도이다. 주사부(100)는, 소정의 각도 범위(200) 내에서, 소정의 개수의 주사선(210)에 따라서 주사를 행한다. 주사선(210)은, 각도 범위(200)의 좌측 단부와 우측 단부의 사이를 주사한 1개의 궤적에 대응한다. 주사부(100)는, 주사 제어 신호에 따라, 주사선(210)에 따라서 각도 범위(200)의 상단과 하단의 사이를 주사한다.
이때, 주사부(100)는, 주사 제어 신호에 따라서, 처프 광의 사출 포인트를, 예를 들어 포인트 2201, 2202, 2203,…과 같이, 예를 들어 일정 포인트 레이트로 주사선(210)을 따라 순차, 이산적으로 변화시킨다. 그 때문에, 각 포인트 2201, 2202, 2203,…은, 각도 범위(200)에 있어서 격자상으로 배열되는 것만은 아니다. 또한, 광 송신부(111)는, 송신 광 제어부(110)로부터 공급되는 광 송신 제어 신호에 따라서, 1개의 사출 포인트에 대하여, 1개 또는 복수회, 처프 광을 사출해도 된다.
도 2의 설명으로 돌아가서, 점군 생성부(120)는, 각도 검출부(102)로부터 공급되는 각도 정보와, 송신 광 제어부(110)로부터 공급되는 광 송신 제어 신호와, 수신 신호 처리부(113)로부터 공급되는 계측 정보에 기초하여, 점군 정보를 생성한다. 보다 구체적으로는, 점군 생성부(120)는, 각도 정보와, 계측 정보에 포함되는 거리 정보에 기초하여, 각도와 거리에 의해 공간 중의 1점이 특정된다. 점군 생성부(120)는, 특정된 점의, 소정의 조건 하에서의 집합으로서의 점군을 취득한다. 점군 생성부(120)는, 계측 정보에 포함되는 속도 정보에 기초하여, 특정된 각 점의 속도를 점군에 가미한 속도 점군을 구한다.
점군 생성부(120)는, 구한 속도 점군을 전단 처리부(130)에 공급한다. 전단 처리부(130)는, 공급된 속도 점군에 대하여 포맷 변환 등 소정의 신호 처리를 실시한다. 전단 처리부(130)에 의해 신호 처리된 속도 점군은, I/F부(131)를 통해서 광 검출 측거부(11)의 외부로 출력된다.
또한, 도 2에서는 생략되어 있지만, 점군 생성부(120)는, 수신 신호 처리부(113)로부터 공급된 계측 정보에 포함되는 각 정보(거리 정보, 속도 정보, 반사율 정보 등)를, 전단 처리부(130) 및 I/F부(131)를 통해서 외부로 출력시켜도 된다.
[3. 제1 실시 형태]
이어서, 본 개시의 제1 실시 형태에 대하여 설명한다. 도 4는, 제1 실시 형태에 관한 센싱 시스템(1)의 일례의 구성을 도시하는 블록도이다.
도 4에서, 센싱 시스템(1)은, 각각 1개의 센서 유닛(10) 및 신호 처리부(13)를 포함한다. 신호 처리부(13)는, 점군 합성부(140)와, 3D(Three Dimensions) 물체 검출부(141)와, 3D 물체 인식부(142)와, 화상 합성부(150)와, 2D(Two Dimensions) 물체 검출부(151)와, 2D 물체 인식부(152)와, I/F부(160)를 포함한다.
이들 점군 합성부(140), 3D 물체 검출부(141), 3D 물체 인식부(142), 화상 합성부(150), 2D 물체 검출부(151), 2D 물체 인식부(152) 및 I/F부(160)는, CPU(Central Processing Unit) 등의 프로세서 상에서 본 개시에 관한 정보 처리 프로그램이 실행됨으로써 구성할 수 있다. 이에 한정하지 않고, 이들 점군 합성부(140), 3D 물체 검출부(141), 3D 물체 인식부(142), 화상 합성부(150), 2D 물체 검출부(151), 2D 물체 인식부(152) 및 I/F부(160)의 일부 또는 전부를, 서로 협동하여 동작하는 하드웨어 회로에 의해 구성해도 된다.
도 4에서, 점군 합성부(140), 3D 물체 검출부(141) 및 3D 물체 인식부(142)는, 점군 정보에 관한 처리를 행한다. 또한, 화상 합성부(150), 2D 물체 검출부(151) 및 2D 물체 인식부(152)는, 촬상 화상에 관한 처리를 행한다.
점군 합성부(140)는, 광 검출 측거부(11)로부터 속도 점군을 취득하고, 카메라(12)로부터 촬상 화상을 취득한다. 점군 합성부(140)는, 속도 점군과 촬상 화상에 기초해서, 색 정보나 기타 정보를 조합하여, 속도 점군의 각 계측점에 대하여 새로운 정보 등을 추가한 점군인 합성 점군을 생성한다.
보다 구체적으로는, 점군 합성부(140)는, 속도 점군에서의 각 계측점의 각도 좌표에 대응하는 촬상 화상의 화소를, 좌표계 변환에 의해 참조하여, 각 계측점에 대해서, 그 점을 대표하는 색 정보를 취득한다. 계측점은, 도 3을 사용하여 설명한 각 포인트 2201, 2202, 2203,…에 대하여 반사광이 수신된 포인트에 대응한다. 점군 합성부(140)는, 취득한 각 계측점의 각 색 정보를, 각 계측점의 계측 정보에 부가한다. 점군 합성부(140)는, 각 계측점이 속도 정보 및 색 정보를 갖는 합성 점군을 출력한다.
또한, 속도 점군과 촬상 화상의 사이의 좌표계 변환은, 예를 들어, 미리 광 검출 측거부(11) 및 카메라(12)의 위치 관계에 기초한 교정 처리를 행하고, 이 교정 결과를, 속도 점군의 각도 좌표와, 촬상 화상에서의 화소의 좌표에 반영한 뒤에 실행하는 것이 바람직하다.
3D 물체 검출부(141)는, 점군 합성부(140)로부터 출력된 합성 점군을 취득하고, 취득한 합성 점군에 포함되는, 3D 물체를 나타내는 계측점을 검출한다. 또한, 이하에서는, 번잡함을 피하기 위해서, 「합성 점군에 포함되는, 3D 물체를 나타내는 계측점을 검출한다」 등의 표현을, 「합성 점군에 포함되는 3D 물체를 검출한다」 등과 같이 기재한다.
3D 물체 검출부(141)는, 합성 점군으로부터 검출한 3D 물체를 나타내는 계측점에 의한 점군을, 국재 점군으로서 추출한다.
보다 구체적으로는, 3D 물체 검출부(141)는, 합성 점군에 포함되는 정적 물체와 동적 물체를 변별하기 위해서, 합성 점군에서의 색 정보를 무시한 속도 점군으로부터, 일정 이상의 속도 절댓값을 갖는 점을 추출한다. 3D 물체 검출부(141)는, 추출한 점에 의한 속도 점군 중에서, 일정 공간 범위(대상 물체의 크기에 상당)에 국재하는 속도 점군의 집합(국재 속도 점군이라고 칭함)을 추출한다. 3D 물체 검출부(141)는, 합성 점군으로부터 복수의 국재 속도 점군을 추출해도 된다.
또한, 3D 물체 검출부(141)는, 대상 공간의 전체를 표현하는 점군 중에서 대상 물체, 즉 국재 점군의 존재 범위를 나타내는 정보인 영역 정보를 생성한다. 보다 구체적으로는, 3D 물체 검출부(141)는, 각 국재 속도 점군에 대하여, 포함되는 점의 수가 제1 상수 이상인 경우, 그 국재 속도 점군을 포함하는 예를 들어 최소 영역의 위치, 크기 및 자세를 추정하고, 추정된 영역의 영역 정보를 생성한다. 이하, 점군에 관한 영역 정보를, 3D 영역 정보라고 칭한다. 3D 영역 정보는, 예를 들어, 3D에 의한 바운딩 박스와 같은 직육면체로 표현된다.
3D 물체 검출부(141)는, 국재 점군과, 당해 국재 점군에 대응하는 3D 영역 정보를 출력한다.
3D 물체 인식부(142)는, 3D 물체 검출부(141)로부터 출력된 국재 점군 및 3D 영역 정보를 취득한다. 또한, 3D 물체 인식부(142)는, 후술하는 2D 물체 인식부(152)로부터 출력된 영역 정보 및 속성 정보를 취득한다. 3D 물체 인식부(142)는, 취득한 국재 점군 및 3D 영역 정보와, 2D 물체 인식부(152)로부터 취득한 영역 정보 및 속성 정보에 기초하여, 국재 점군에 대한 물체 인식을 행한다.
3D 물체 인식부(142)는, 3D 점군 영역 정보에 기초하여, 국재 속도 점군에 포함되는 점의 수가, 대상 물체의 인식에 이용할 수 있는 점의 수인 제2 상수 이상일 경우에, 그 국재 속도 점군에 대하여 점군 인식 처리를 행한다. 3D 물체 인식부(142)는, 이 점군 인식 처리에 의해, 인식된 물체에 관한 속성 정보를 추정한다. 이하에서는, 점군에 기초하는 속성 정보를, 3D 속성 정보라고 칭한다.
3D 물체 인식부(142)는, 추정된 3D 속성 정보의 확신도가 일정 이상인, 즉, 유의미하게 인식 처리가 실행된 경우에, 계측을 행한 시각을 나타내는 시각 정보와, 3D 영역 정보와, 3D 속성 정보를 통합하여 출력한다.
또한, 속성 정보는, 인식 처리의 결과, 점군의 점이나 화상의 화소마다, 그 단위가 속하는 대상 물체의 종별이나 고유 분류 등의 대상 물체의 속성을 나타내는 정보이다. 3D 속성 정보는, 대상 물체가 사람이면, 예를 들어 점군의 각 점에 대하여 부여된, 그 사람에 속하는 고유 수치로서 표현할 수 있다.
화상 합성부(150)는, 광 검출 측거부(11)로부터 속도 점군을 취득하고, 카메라(12)로부터 촬상 화상을 취득한다. 화상 합성부(150)는, 속도 점군과 촬상 화상에 기초하여, 거리 화상 및 속도 화상을 생성한다.
도 5는, 거리 화상(50)의 예를 모식적으로 도시하는 도면이다. 거리 화상(50)은, 계측점으로부터의 거리를 나타내는 정보를 포함하는 화상이다. 도 5의 예에서는, 거리 화상(50)은, 거리를 농담에 의해 단계적으로 나타내고 있다. 도 5에서, 오브젝트(500, 501, 502)의 순으로, 계측점으로부터 거리가 커지고 있는 것이 나타내져 있다. 또한, 오브젝트(503 및 504)는, 오브젝트(502)보다도 계측점으로부터의 거리가 길고, 또한, 서로 동일 정도의 거리에 있는 것이 나타내져 있다. 오브젝트(505)는, 오브젝트(503 및 504)보다 계측점으로부터의 거리가 더 긴 것이 나타내져 있다. 또한, 거리 화상(50)에 있어서, 흑색으로 칠해져 있는 영역은, 무한원 혹은 측거 불가의 영역을 나타내고 있다.
도 6은, 속도 화상(51)의 예를 모식적으로 도시하는 도면이다. 도 6에서, 속도 화상(51)에 포함되는 오브젝트(512 내지 515) 각각은, 도 5에 도시한 거리 화상(50)에 포함되는 오브젝트(502 내지 505)에 각각 대응하고 있다.
속도 화상(51)은, 도플러 효과에 의한 화상이며, 예를 들어 계측점에 대한 속도 및 속도의 방향을 나타내는 정보를 포함한다. 도 6의 예에서는, 속도 화상(51)은, 계측점에 대하여 접근하도록 이동하는 오브젝트(513, 514, 515)는 제1색으로, 계측점에 대하여 멀어지도록 이동하고 있는 오브젝트(512)는 제2색으로 표시되어 있다. 또한, 도 6에서, 계측점에 대한 속도가 [0]인 영역(516)은, 제3색으로 표시되어 있다. 또한, 도 6에서는 생략되어 있지만, 또한, 제1색 및 제2색의 농도에 의해, 오브젝트의 이동 속도를 나타내도 된다.
화상 합성부(150)는, 거리 화상(50) 및 속도 화상(51)과, 촬상 화상을, 좌표건 변환에 의해 좌표를 일치시키면서 합성하여, R(적색), G(녹색) 및 B(청색) 각 색의 색 정보를 갖는 RGB 화상에 의한 합성 화상을 생성한다. 여기서 생성된 합성 화상은, 각 화소가 색, 거리 및 속도의 정보를 갖는 화상이다. 또한, 거리 화상(50) 및 속도 화상(51)은, 카메라(12)로부터 출력되는 촬상 화상보다도 해상도가 낮다. 그 때문에, 화상 합성부(150)는, 거리 화상(50) 및 속도 화상(51)에 대하여 업 스케일링 등의 처리에 의해, 해상도를 촬상 화상에 일치시켜도 된다.
화상 합성부(150)는, 촬상 화상과, 생성한 합성 화상을 출력한다. 또한, 합성 화상은, 거리, 속도나 기타 정보를 조합하여, 화상의 각 화소에 대하여 새로운 정보를 추가한 화상을 가리킨다.
도 7은 합성 화상(52)의 예를 모식적으로 도시하는 도면이다. 도 7에서, 오브젝트(520 내지 525) 각각은, 도 5에 도시한 각 오브젝트(500 내지 505)에 각각 대응하고 있다. 도 7에 도시하는 합성 화상(52)은, 예를 들어, 속도 점군에 대하여 촬상 화상을 텍스처로서 첩부한 화상으로서 표현할 수 있다. 합성 화상(52)은, 예를 들어, 사람이 관찰한 경우에 각 오브젝트(520 내지 525)를 용이하게 인식할 수 있는 화상이 된다.
2D 물체 검출부(151)는, 3D 물체 검출부(141)로부터 출력된 3D 영역 정보에 기초하여, 화상 합성부(150)로부터 공급된 합성 화상으로부터 당해 3D 영역 정보에 대응하는 부분 화상을 추출한다. 또한, 2D 물체 검출부(151)는, 추출한 부분 화상으로부터 물체를 검출하고, 검출된 물체를 포함하는 예를 들어 최소 면적의 직사각형 영역을 나타내는 영역 정보를 생성한다. 이 촬상 화상에 기초하는 영역 정보를, 2D 영역 정보라고 칭한다. 2D 영역 정보는, 광 검출 측거부(11)에 의한 계측점이나 화소마다 부여된 값이 지정 범위에 들어가는 점이나 화소의 집합으로서 표현된다.
2D 물체 검출부(151)는, 생성한 부분 화상과 2D 영역 정보를 출력한다.
2D 물체 인식부(152)는, 2D 물체 검출부(151)로부터 출력된 부분 화상을 취득하고, 취득한 부분 화상에 대하여 추론 처리 등의 화상 인식 처리를 행하여, 당해 부분 화상에 관한 속성 정보를 추정한다. 이 경우, 속성 정보는, 예를 들어 대상이 차량인 경우, 화상의 각 화소에 대하여 부여된 차량에 속하는 것을 나타내는 고유 수치로서 표현된다. 이하에서는, 부분 화상(촬상 화상)에 기초하는 속성 정보를, 2D 속성 정보라고 칭한다.
2D 물체 인식부(152)는, 추정한 2D 속성 정보의 확신도가 일정 이상, 즉, 유의미하게 인식 처리가 실행된 경우에, 촬상을 행한 시각을 나타내는 시각 정보와, 2D 영역 정보와, 2D 속성 정보를 통합하여 출력한다. 또한, 2D 물체 인식부(152)는, 추정한 2D 속성 정보의 확신도가 일정 미만일 경우, 시각 정보와 2D 영역 정보를 통합하여 출력한다.
I/F부(160)는, 점군 합성부(140)로부터 출력된 합성 점군과, 3D 물체 인식부(142)로부터 출력된 3D 속성 정보 및 3D 영역 정보가 입력된다. 또한, I/F부(160)는, 화상 합성부(150)로부터 출력된 합성 화상 및 촬상 화상과, 2D 물체 인식부(152)로부터 출력된 2D 속성 정보 및 2D 영역 정보가 입력된다. I/F부(160)는, 예를 들어 외부로부터의 설정에 따라, 입력된 합성 점군, 3D 속성 정보, 3D 영역 정보, 합성 화상, 촬상 화상, 2D 속성 정보 및 2D 영역 정보로부터, 출력할 정보를 선택한다.
도 8은, 제1 실시 형태에 관한, 센서 유닛(10)의 배치예를 도시하는 모식도이다. 공간(3)은, 공간 계측의 대상이 되는 대상 공간을 포함하는 공간이다. 공간(3)은, 이동하고 있는 이동 물체(40)나, 정지하고 있는 정적 물체(41)를 포함해도 된다. 공간(3)에 대하여 센서 유닛(10)이 배치된다. 센서 유닛(10)은, 예를 들어 광 검출 측거부(11)가 각도(α)의 각도 범위에서 대상을 주사하여, 공간(3) 내의 대상 범위(30) 내를 계측한다.
또한, 도 8의 예에서는, 설명을 위해서, 대상 범위(30)가 평면인 것처럼 도시되어 있지만, 실제로는, 대상 범위(30)는 높이 방향의 범위도 포함한다. 또한, 센서 유닛(10)은, 도 3을 사용하여 설명한 바와 같이, 수평 방향뿐만 아니라 수직 방향으로도 주사를 행하는데, 여기에서는, 수평 방향의 각도 범위에 주목하고, 수직 방향의 각도 범위에 대해서는 설명을 생략한다.
도 9는, 제1 실시 형태에 관한 센싱 시스템(1)에 의한 처리를 나타내는 일례의 흐름도이다.
도 9에 도시되는 각 처리는, 신호 처리부(13)에서의 각 부에 의해 실행된다. 보다 구체적으로는, 도 9에서, 좌측에 나타내는 스텝 S100 내지 스텝 S112는, 주로 점군 합성부(140), 3D 물체 검출부(141) 및 3D 물체 인식부(142)에 의해 실행되는, 3D 데이터에 관한 처리가 된다. 또한, 우측에 나타내는 스텝 S200 내지 스텝 S207은, 주로 화상 합성부(150), 2D 물체 검출부(151) 및 2D 물체 인식부(152)에 의해 실행되는, 2D 데이터에 관한 처리가 된다.
도 9에 있어서, 스텝 S100에서, 점군 합성부(140)는, 광 검출 측거부(11)에 의한 각도 범위(200) 내의 주사에 의해 계측한 속도 점군과, 카메라(12)에 의해 촬영한 촬상 화상에 기초하여, 1프레임분의 합성 점군(합성 점군 프레임이라고 칭함)을 취득한다.
도 10은 속도 점군의 예를 모식적으로 도시하는 도면이다. 또한, 도 10의 예에서는, 도면의 우측 하단 구석의 외부에 센서 유닛(10)이 배치되어 있는 것으로 하고, 센서 유닛(10)의 광 검출 측거부(11)에 의해 검출된 속도 점군이 부감으로 나타내져 있다. 속도 점군(60)은, 예를 들어 광 검출 측거부(11)로부터 사출된 송신 광에 의한 스폿이 주사선(210) 상에 정렬된 화상으로서 표현할 수 있다.
도 10에서, 속도 점군(60)은, 예를 들어 도 7의 오브젝트(520 내지 525)에 각각 대응하는 오브젝트(600 내지 605)를 포함한다. 오브젝트(600 내지 605) 중, 오브젝트(603 내지 605)는, 각각 영역(613 내지 615)이 제1색으로 되고, 각각 센서 유닛(10)에 대하여 접근하도록 이동하고 있는 것이 나타내져 있다. 또한, 오브젝트(602)는, 영역(612)이 제2색으로 되고, 센서 유닛(10)으로부터 멀어지도록 이동하고 있는 것이 나타내져 있다. 한편, 오브젝트(600 및 601), 그리고, 지면에 상당하는 영역 및 건조물 등 고정물에 상당하는 영역은, 제3색으로 되고, 센서 유닛(10)에 대하여 정지하고 있는 것이 나타내져 있다.
다음의 스텝 S101에서, 3D 물체 검출부(141)는, 스텝 S100에서 생성된 합성 점군으로부터, 일정 이상의 속도 절댓값을 갖는 점을 추출한다. 다음의 스텝 S102에서, 3D 물체 검출부(141)는, 스텝 S101에서 추출된 점 중, 일정 공간 범위에 국재하는 속도 점군의 집합(국재 속도 점군)을 생성한다. 3D 물체 검출부(141)는, 스텝 S102에서, 합성 점군 프레임으로부터 복수의 국재 속도 점군을 생성할 수 있다.
다음의 스텝 S103에서, 3D 물체 검출부(141)는, 스텝 S102에서 생성된 국재 속도 점군으로부터, 처리의 대상으로 하는 1개의 국재 속도 점군을 추출한다. 다음의 스텝 S104에서, 신호 처리부(13)는, 3D 물체 검출부(141)에 의해, 추출한 국재 속도 점군에 포함되는 점의 수가 제1 상수 이상인지 여부를 판정한다. 3D 물체 검출부(141)는, 당해 점의 수가 제1 상수 미만이라고 판정한 경우(스텝 S104, 「아니오」), 처리를 스텝 S103으로 되돌려서, 스텝 S102에서 생성된 국재 속도 점군 중 다음의 국재 속도 점군을 추출하고, 처리를 속행시킨다.
3D 물체 검출부(141)는, 당해 점의 수가 제1 상수 이상이라고 판정한 경우(스텝 S104, 「예」), 처리를 스텝 S105로 이행시킨다. 스텝 S105에서, 3D 물체 검출부(141)는, 대상의 국재 속도 점군을 포함하는 예를 들어 최소 영역의 영역 정보(위치, 크기, 자세)를 추정하여, 3D 영역 정보를 취득한다.
도 11은, 속도 점군(60)으로부터 추출되는 3D 영역 정보의 예를 모식적으로 도시하는 도면이다. 도 11의 예에서는, 속도 점군(60)에 있어서 일정 이상의 속도 절댓값을 갖는 오브젝트(601 내지 605) 각각에 따라, 3D 영역 정보(621 내지 625)가 생성되어 있는 모습이 도시되어 있다. 각 3D 영역 정보(621 내지 625)는, 각 오브젝트(601 내지 605)를 구성하는 국재 속도 점군을 포함하는, 예를 들어 체적이 최소인 직육면체로서 나타내져 있다. 또한, 도 11의 예에서는, 오브젝트(601)가 일정 이상의 속도 절댓값으로 이동하고 있는 것으로서 나타내고 있다.
도 12는 3D 영역 정보의 예를 보다 상세하게 도시하는 모식도이다. 도 12의 섹션 (a)는 오브젝트(602)에 대한 3D 영역 정보(622)의 예를 나타내고 있다. 또한, 도 12의 섹션 (b)는 오브젝트(601)에 대한 3D 영역 정보의 예를 나타내고 있다.
3D 물체 검출부(141)는, 스텝 S105에서 3D 영역 정보가 취득되면, 처리를 스텝 S106으로 이행시킨다. 3D 물체 검출부(141)는, 그와 함께, 후술하는 스텝 S201의 처리에 대하여 3D 영역 정보를 2D 물체 검출부(151)에 전달한다.
스텝 S106에서, 3D 물체 인식부(142)는, 3D 물체 검출부(141)로부터 국재 속도 점군과 3D 영역 정보를 취득한다. 스텝 S106 처리 후, 처리는, 후술하는 스텝 S107로 이행된다.
한편, 상술한 스텝 S100의 합성 화상 프레임의 취득 처리와 병행하여, 스텝 S200의 처리가 실행된다. 스텝 S200에서, 화상 합성부(150)는, 광 검출 측거부(11)에 의한 각도 범위(200) 내의 주사에 의해 취득한 속도 점군과, 카메라(12)에 의해 취득한 촬상 화상에 기초하여, 1프레임분의 합성 화상(합성 화상 프레임이라고 칭함)을 생성한다.
도 13은, 합성 화상 프레임의 예를 모식적으로 도시하는 도면이다. 도 13에서, 합성 화상 프레임(70)은, 카메라(12)에 의해 촬상된 촬상 화상의 프레임과 대응해도 된다. 도 13의 예에서는, 합성 화상 프레임(70)은, 각각 도 10의 오브젝트(600 내지 605)에 대응하는 오브젝트(700 내지 705)를 포함한다.
다음의 스텝 S201에서, 2D 물체 검출부(151)는, 상술한 스텝 S105에서 3D 물체 검출부(141)에 의해 추정된 3D 영역 정보를 취득한다. 2D 물체 검출부(151)는, 취득한 3D 영역 정보를 사용하여, 촬상 화상의 전체에 대응하는 전체 화상으로서의 합성 화상으로부터 부분 화상을 추출한다.
도 14는, 합성 화상 프레임(70)으로부터 3D 영역 정보를 취득하는 모습을 모식적으로 도시하는 도면이다. 도 14에서, 각 오브젝트(700 내지 705) 중, 일정 이상의 속도 절댓값을 갖는 오브젝트(701 내지 705)에 대하여, 각각 3D 영역 정보(721 내지 725)가 취득되어 있는 모습이 도시되어 있다. 각 3D 영역 정보(721 내지 725)는, 예를 들어, 각각 오브젝트(701 내지 705)를 포함하는 최소의 직사각형 영역으로서 취득해도 된다. 이에 한정하지 않고, 각 3D 영역 정보(721 내지 725)는, 당해 최소의 직사각형 영역에 대하여 마진을 부여한 영역을 나타내는 영역 정보이어도 된다.
도 15는, 3D 영역 정보에 기초하여 추출되는 부분 화상의 예를 모식적으로 도시하는 도면이다. 도 15의 섹션 (a)는 오브젝트(703)에 대응하는 3D 영역 정보(723)에 의한 부분 화상의 예를 나타내고 있다. 또한, 도 15의 섹션 (b)는 오브젝트(701)에 대응하는 3D 영역 정보(721)에 의한 부분 화상의 예를 나타내고 있다.
다음의 스텝 S202에서, 2D 물체 검출부(151)는, 스텝 S201에서 취득한 부분 화상의 휘도가 충분한지 여부를 판정한다. 일례로서, 2D 물체 검출부(151)는, 당해 부분 화상의 각 화소의 휘도값의 예를 들어 평균값을, 부분 화상의 휘도값으로서 산출한다. 2D 물체 검출부(151)는, 산출한 당해 휘도값이 역치 이상인 경우에, 부분 화상의 휘도가 충분하다고 판정한다.
2D 물체 검출부(151)는, 부분 화상의 휘도값이 충분하지 않다고 판정한 경우(스텝 S202, 「아니오」), 처리를 스텝 S206으로 이행시킨다. 한편, 2D 물체 검출부(151)는, 부분 화상의 휘도값이 충분하다고 판정한 경우(스텝 S202, 「예」), 처리를 스텝 S203으로 이행시킨다.
스텝 S203에서, 2D 물체 인식부(152)는, 2D 물체 검출부(151)로부터 부분 화상을 취득하고, 취득한 부분 화상에 대하여 인식 처리를 실행한다. 2D 물체 인식부(152)는, 인식 처리의 결과에 기초하여 2D 속성 정보를 추정한다.
다음의 스텝 S204에서, 2D 물체 인식부(152)는, 스텝 S203에 의한 인식 결과의 확신도가 일정 이상인지 여부를 판정한다. 2D 물체 인식부(152)는, 확신도가 일정 미만이라고 판정한 경우(스텝 S204, 「아니오」), 처리를 스텝 S206으로 이행시킨다. 한편, 2D 물체 인식부(152)는, 확신도가 일정 이상이라고 판정한 경우(스텝 S204, 「예」), 처리를 스텝 S205로 이행시킨다.
스텝 S205에서, 3D 물체 인식부(142)는, 촬상 화상을 촬상한 시각을 나타내는 시각 정보와, 2D 속성 정보와, 2D 영역 정보를 통합하여, I/F부(160)에 대하여 출력한다.
한편, 상술한 바와 같이, 스텝 S202에서 부분 화상의 휘도가 충분하지 않다고 판정된 경우(스텝 S202, 「아니오」), 혹은, 스텝 S204에서 확신도가 일정 미만이라고 판정된 경우(스텝 S204, 「아니오」), 처리가 스텝 S206으로 이행된다. 이러한 경우에는, 2D 물체 인식부(152)에서 2D 속성 정보가 취득되어 있지 않다. 따라서, 2D 물체 인식부(152)는, 스텝 S206에서, 시각 정보와 2D 영역 정보를 통합하여, I/F부(160)에 대하여 출력한다.
스텝 S205 혹은 스텝 S206의 처리 후, 처리가 스텝 S207로 이행된다. 스텝 S207에서, 2D 물체 인식부(152)는, 시각 정보 및 2D 속성 정보를, 3D 물체 인식부(142)에 대하여 출력한다.
도 9의 좌측의 처리의 설명으로 돌아가서, 스텝 S106에서 스텝 S107로의 이행 시에, 3D 물체 인식부(142)는, 스텝 S207에서 2D 물체 인식부(152)로부터 출력된 시각 정보 및 2D 속성 정보를 취득한다.
스텝 S107에서, 3D 물체 인식부(142)는, 스텝 S106에서 취득한 국재 속도 점군에 포함되는 점의 수가 제2 상수 이상인지 여부를 판정한다. 3D 물체 인식부(142)는, 당해 점의 수가 제2 상수 미만이라고 판정한 경우(스텝 S107, 「아니오」), 처리를 스텝 S111로 이행시킨다. 한편, 3D 물체 인식부(142)는, 당해 점의 수가 제2 상수 이상이라고 판정한 경우(스텝 S107, 「예」), 처리를 스텝 S108로 이행시킨다.
스텝 S108에서, 3D 물체 인식부(142)는, 대상의 국재 속도 점군에 대하여 물체 인식 처리를 실행하여, 3D 속성 정보를 추정한다. 다음의 스텝 S109에서, 3D 물체 인식부(142)는, 스텝 S108에서 추정된 3D 속성 정보의 확신도가 일정 이상인지 여부를 판정한다. 3D 물체 인식부(142)는, 확신도가 일정 미만이라고 판정한 경우(스텝 S109, 「아니오」), 처리를 스텝 S111로 이행시킨다. 한편, 3D 물체 인식부(142)는, 확신도가 일정 이상이라고 판정한 경우(스텝 S109, 「예」), 처리를 스텝 S110으로 이행시킨다.
스텝 S110에서, 3D 물체 인식부(142)는, 계측을 행한 시각을 나타내는 시각 정보와, 3D 영역 정보와, 3D 속성 정보를 통합한다.
다음의 스텝 S111에서, 3D 물체 인식부(142)는, 스텝 S103에서 생성된 모든 국재 속도 점군에 대한 처리가 종료되었는지 여부를 판정한다. 신호 처리부(13)는, 생성된 모든 국재 속도 점군에 대한 처리가 종료되지 않았다고 판정한 경우(스텝 S111, 「아니오」), 처리를 스텝 S103으로 되돌려서, 스텝 S102에서 생성된 국재 속도 점군 중 다음의 국재 속도 점군을 추출하고, 처리를 속행시킨다.
한편, 3D 물체 인식부(142)는, 생성된 모든 국재 속도 점군에 대한 처리가 종료되었다고 판정한 경우(스텝 S111, 「예」), 처리를 스텝 S112로 이행시킨다. 스텝 S112에서, 3D 물체 인식부(142)는, 생성된 모든 국재 속도 점군에 대해서, 스텝 S110에서 통합된 시각 정보, 3D 속성 정보 및 3D 영역 정보를 I/F부(160)에 대하여 출력한다.
스텝 S112에서 시각 정보, 3D 속성 정보 및 3D 영역 정보가 출력되면, 이 도 9의 흐름도에 의한 일련의 처리가 종료된다.
여기서, 광 검출 측거부(11)로부터 출력되는 속도 점군과, 카메라(12)로부터 출력되는 촬상 화상을 비교한다. 촬상 화상은, 속도 점군과 비교하여 해상도가 높다. 그 때문에, 촬상 화상을 사용한 인식 처리는, 속도 점군을 사용한 인식 처리에 대하여 고정밀도로 할 수 있다. 한편, 촬상 화상을 사용한 인식 처리는, 속도 점군을 사용한 인식 처리에 대하여 계산 부하가 높다. 3차원의 위치 추정은, 3차원 공간 정보를 갖지 않는 촬상 화상에서는 곤란하지만, 속도 점군은 3차원 공간 정보를 갖기 때문에 용이하다. 또한, 속도 점군은, 속도 정보를 갖기 때문에 동체 검출이 용이하고, 촬상 화상은, 색 정보를 갖기 때문에 속성 정보의 취득 및 추정이 용이하다.
이와 같이, 광 검출 측거부(11)로부터 출력되는 속도 점군과, 카메라(12)로부터 출력되는 촬상 화상은, 서로 다른 특성을 갖는다. 따라서, 도 9의 흐름도에 의한 처리에 따라서, 광 검출 측거부(11)의 출력과 카메라(12)의 출력을 조합하여 물체 검출, 인식 처리를 행함으로써, 대상 물체의 검출 및 인식을, 다양한 환경 하에서 안정적으로 실행 가능하게 된다.
(3-1. 제1 실시 형태의 변형예)
이어서, 제1 실시 형태의 변형예에 대하여 설명한다. 상술한 제1 실시 형태에서는, 공간 계측의 대상이 되는 대상 공간을 포함하는 공간(3)에 대하여, 1개의 센서 유닛(10)만을 배치하고, 계측 및 촬영을 한 방향으로부터 행하고 있었다. 이 대상 공간에 대한 계측 및 촬영을 한 방향으로부터 행하는 시스템을, 싱글 앵글 시스템이라고 칭한다.
싱글 앵글 시스템의 경우, 대상 공간 중에 물체가 다수 존재하는 경우나, 물체가 큰 경우, 차폐가 발생할 확률이 높아진다. 그 때문에, 싱글 앵글 시스템에서는, 대상 물체의 일부밖에 계측할 수 없어, 계측점수가 감소해버릴 우려가 있다. 대상 물체에 대한 계측점수의 감소는, 당해 대상 물체에 대한 검출 확률 및 인식 정밀도의 저하를 초래하는 것으로 이어진다.
그래서, 이 제1 실시 형태의 변형예에서는, 대상 공간을 포함하는 공간(3)에 대하여, 각각 다른 방향으로부터 계측 및 촬영을 행하는 복수의 센서 유닛(10)을 배치하고, 복수의 센서 유닛(10)에 의해 계측한 속도 점군을 통합한다. 복수의 방향으로부터 계측 및 촬영을 행함으로써, 어떤 방향으로부터의 계측 및 촬영에 있어서 차폐가 발생하는 경우에도, 다른 방향으로부터의 계측 및 촬영을 행함으로써, 차폐의 발생을 방지할 수 있다. 이 대상 공간에 대한 계측 및 촬영을 복수의 방향으로부터 행하는 시스템을, 멀티 앵글 시스템이라고 칭한다.
도 16은, 제1 실시 형태의 변형예에 관한, 복수의 센서 유닛(10)의 배치예를 도시하는 모식도이다. 도 16에서, 센싱 시스템(1a)은, 공간(3)에 배치되는 2개의 센서 유닛(101 및 102)과, 신호 처리부(13a)를 포함한다. 센서 유닛(101)은, 광 검출 측거부(11)가 각도(α1)의 각도 범위에서 대상을 주사하고, 센서 유닛(102)은, 광 검출 측거부(11)가 각도(α2)의 각도 범위에서 대상을 주사한다. 도 16의 예에서는, 센서 유닛(101 및 102)은, 공통되는 대상 범위(31)에 대하여 서로 대향하는 위치에 배치되어, 대상 범위(31)를 서로 다른 방향으로부터 주사 및 촬영을 행한다.
도 16의 예에서는, 예를 들어 센서 유닛(101)으로부터의 계측 및 촬영 시에, 정적 물체(42)에 의해 각도(β)의 각도 범위에서 차폐 영역(43)이 발생하고 있다. 멀티 앵글 시스템에서는, 이러한 경우에도, 다른 센서 유닛(102)에 의해, 센서 유닛(101)에 의한 차폐 영역(43)에 포함되는 대상 물체의 계측 및 촬영을 행하는 것이 가능하게 된다.
또한, 일반적인 LiDAR, 예를 들어 펄스 ToF를 사용한 dToF-LiDAR에서는, 복수의 방향으로부터 동일한 대상 물체에 대하여 동시에 광을 조사하는 경우에는, 혼신이 발생하여 계측된 점군에 문제가 생길 우려가 있다. 이에 반해, 코히어런트 검출에서는, 통상적으로 혼신이 발생하지 않는다. 그 때문에, 코히어런트 검출을 행하는 FMCW-LiDAR에서는, 복수의 방향으로부터 동일한 대상 물체에 대하여 동시에 광을 조사한 경우에도, 계측된 점군에 문제가 생길 가능성이 작다.
도 17은, 제1 실시 형태의 변형예에 관한 센싱 시스템의 일례의 구성을 도시하는 블록도이다. 도 17에서, 센싱 시스템(1a)은, 2개의 센서 유닛(101 및 102)을 포함한다. 센서 유닛(101)은, 광 검출 측거부(111)와 카메라(121)를 포함한다. 마찬가지로, 센서 유닛(102)은, 광 검출 측거부(112)와 카메라(122)를 포함한다.
신호 처리부(13a)는, 점군 합성부(140a)와, 3D 물체 검출부(141)와, 3D 물체 인식부(142)와, 화상 합성부(150a)와, 2D 물체 검출부(151a)와, 2D 물체 인식부(152a)와, I/F부(160a)를 포함한다.
점군 합성부(140a)는, 센서 유닛(101)의 광 검출 측거부(111) 및 카메라(121)로부터 각각 출력된 속도 점군 및 촬상 화상을 취득한다. 마찬가지로, 점군 합성부(140a)는, 센서 유닛(102)의 광 검출 측거부(112) 및 카메라(122)로부터 각각 출력된 속도 점군 및 촬상 화상을 취득한다.
점군 합성부(140a)는, 센서 유닛(101 및 102)마다, 취득된 속도 점군에 대하여, 제1 실시 형태와 마찬가지로 해서, 각 계측점의 각도 좌표에 대응하는 촬상 화상의 화소를 좌표계 변환에 의해 참조하여, 각 계측점에 대해서 그 점을 대표하는 색 정보를 취득한다. 점군 합성부(140a)는, 센서 유닛(101 및 102)마다, 취득한 각 계측점의 각 색 정보를, 각 계측점의 계측 정보에 부가한다. 점군 합성부(140a)는, 센서 유닛(101 및 102)마다, 각 계측점이 속도 정보 및 색 정보를 갖는 합성 점군을 생성한다.
또한, 점군 합성부(140a)는, 센서 유닛(101)에 관한 처리를 행하는 처리부와, 센서 유닛(102)에 관한 처리를 행하는 처리부를 가져도 된다. 이에 한정하지 않고, 점군 합성부(140a)는, 공통의 처리부에 의해 센서 유닛(101)에 관한 처리와, 센서 유닛(102)에 관한 처리를 시분할로 행해도 된다.
점군 합성부(140a)는, 센서 유닛(101)의 출력에 기초하여 생성한 합성 점군과, 센서 유닛(102)의 출력에 기초하여 생성한 합성 점군을, 각각의 속도 점군의 각 계측점의 각도 좌표에 기초해서 통합하여, 통합 합성 점군을 생성한다. 통합 점군(통합 합성 점군)은, 복수의 점군(합성 점군)을, 각각의 공간적 위치 관계를 합쳐서 단일한 점군으로 통합한 것을 가리킨다. 합성 점군의 통합은, 센서 유닛(101 및 102) 각각이 갖는 광 검출 측거부(111 및 112)의 위치 관계에 기초하여 미리 교정한 각도 좌표를 사용하여 실행해도 된다.
여기서, 광 검출 측거부(111 및 112)에 적용되는 FMCW-LiDAR의 속도 계측은, 도플러 원리에 기초하여 행해진다. 그 때문에, 각 속도 점군에 의해 나타내지는 속도는, 레이디얼 방향 성분의 속도(레이디얼 속도)만이다. 점군 합성부(140a)는, 각 계측점에서 추정된 법선 및 레이디얼 속도와, 그것들의 공간적 보간을 벡터 합성함으로써, 각 합성 점군의 통합을 행한다.
점군 합성부(140a)는, 생성한 통합 합성 점군을, 3D 물체 검출부(141)와 I/F부(160a)에 출력한다.
3D 물체 검출부(141) 및 3D 물체 인식부(142)에서의 처리는, 상술한 제1 실시 형태에 관한 3D 물체 검출부(141) 및 3D 물체 인식부(142)와 마찬가지이므로, 여기에서의 상세한 설명을 생략한다.
3D 물체 검출부(141)는, 점군 합성부(140a)로부터 출력된 통합 합성 점군을 취득하고, 취득한 통합 합성 점군으로부터 국재 점군을 추출한다. 또한, 3D 물체 검출부(141)는, 대상 공간의 전체를 표현하는 점군 중에서 대상 물체, 즉 국재 점군의 존재 범위를 나타내는 정보인 영역 정보를 생성한다. 3D 물체 검출부(141)는, 국재 점군과, 당해 국재 점군에 대응하는 3D 영역 정보를 출력한다.
3D 물체 인식부(142)는, 3D 물체 검출부(141)로부터 출력된 국재 점군 및 3D 영역 정보를 취득한다. 또한, 3D 물체 인식부(142)는, 후술하는 2D 물체 인식부(152a)로부터 출력된 2D 영역 정보 및 2D 속성 정보를 취득한다. 3D 물체 인식부(142)는, 취득한 국재 점군 및 3D 영역 정보와, 2D 물체 인식부(152a)로부터 취득한 2D 영역 정보 및 2D 속성 정보에 기초하여, 국재 점군에 대한 물체 인식을 행한다. 3D 물체 인식부(142)는, 물체 인식의 결과에 기초하여, 인식된 물체에 관한 3D 속성 정보를 추정한다.
3D 물체 인식부(142)는, 추정된 3D 속성 정보의 확신도가 일정 이상인, 즉, 유의미하게 인식 처리가 실행된 경우에, 계측을 행한 시각을 나타내는 시각 정보와, 3D 영역 정보와, 3D 속성 정보를 통합하여 출력한다.
화상 합성부(150a)는, 센서 유닛(101)의 광 검출 측거부(111) 및 카메라(121)로부터 각각 출력된 속도 점군 및 촬상 화상을 취득한다. 마찬가지로, 화상 합성부(150a)는, 센서 유닛(102)의 광 검출 측거부(112) 및 카메라(122)로부터 각각 출력된 속도 점군 및 촬상 화상을 취득한다.
화상 합성부(150a), 2D 물체 검출부(151a) 및 2D 물체 인식부(152a)는, 각각 센서 유닛(101)의 출력과, 센서 유닛(102)의 출력에 대하여 각각 처리를 행한다. 예를 들어, 화상 합성부(150a), 2D 물체 검출부(151a) 및 2D 물체 인식부(152a)는, 센서 유닛(101)의 출력에 대한 처리와, 센서 유닛(102)의 출력에 대한 처리를 병렬적으로, 혹은 시분할로 실행한다.
이와 같이, 화상 합성부(150a)는, 상술한 점군 합성부(140a)와는 달리, 센서 유닛(101)으로부터 출력된 촬상 화상과, 센서 유닛(102)으로부터 출력된 촬상 화상의 통합을 행하지 않는다. 즉, 다른 앵글에서 취득한 각 3D 점군은, 각각의 자세나 위치를 고려하여 3차원적으로 합체시킴으로써, 용이하게 통합이 가능하다. 이에 반해, 다른 앵글에서 촬영한 각 촬상 화상은, 2차원 평면 상에서 합성하는 것이 곤란하기 때문에, 통합은 행하지 않는다.
화상 합성부(150a)는, 센서 유닛(101 및 102) 각각에 대해서, 촬상 화상과, 생성한 합성 화상을 출력한다.
2D 물체 검출부(151a)는, 3D 물체 검출부(141)로부터 출력된 3D 영역 정보에 기초하여, 센서 유닛(101 및 102) 각각에 대해서, 화상 합성부(150a)로부터 공급된 각 합성 화상으로부터 당해 3D 영역 정보에 대응하는 각 부분 화상을 추출한다. 또한, 2D 물체 검출부(151a)는, 추출한 각 부분 화상으로부터 물체를 검출하여, 검출된 물체를 포함하는 2D 영역 정보를 생성한다.
2D 물체 검출부(151a)는, 센서 유닛(101 및 102) 각각에 대하여 생성한 각 부분 화상과 각 2D 영역 정보를 출력한다.
2D 물체 인식부(152a)는, 2D 물체 검출부(151a)로부터 센서 유닛(101 및 102) 각각에 대하여 출력된 부분 화상에 대하여 화상 인식 처리를 행한다. 2D 물체 인식부(152a)는, 센서 유닛(101 및 102) 각각에 대해서, 당해 부분 화상에 관한 2D 속성 정보를 추정한다.
2D 물체 인식부(152a)는, 센서 유닛(101 및 102) 각각에 대해서, 추정한 2D 속성 정보의 확신도가 일정 이상인 경우에, 촬상을 행한 시각을 나타내는 시각 정보와, 2D 영역 정보와, 2D 속성 정보를 통합한다. 2D 물체 인식부(152a)는, 센서 유닛(101)에 관한 시각 정보와, 2D 영역 정보와, 2D 속성 정보를 통합하여, I/F부(160a)에 출력한다. 또한, 2D 물체 인식부(152a)는, 센서 유닛(102)에 관한 시각 정보와, 2D 영역 정보와, 2D 속성 정보를 통합하여, I/F부(160a)에 출력한다.
I/F부(160a)는, 점군 합성부(140a)로부터 출력된 통합 합성 점군과, 3D 물체 인식부(142)로부터 출력된 3D 속성 정보 및 3D 영역 정보가 입력된다. 또한, I/F부(160a)는, 화상 합성부(150a)로부터 센서 유닛(101 및 102) 각각에 대하여 출력된 합성 화상 및 촬상 화상이 입력된다. 또한, I/F부(160a)는, 2D 물체 인식부(152a)로부터 센서 유닛(101 및 102) 각각에 대하여 출력된 2D 속성 정보 및 2D 영역 정보가 입력된다. I/F부(160)는, 예를 들어 외부로부터의 설정에 따라, 입력된 통합 합성 점군, 3D 속성 정보 및 3D 영역 정보, 그리고, 센서 유닛(101 및 102) 각각에 대하여 입력된 합성 화상, 촬상 화상, 2D 속성 정보 및 2D 영역 정보로부터, 출력할 정보를 선택한다.
또한, 실제 처리로서는, 예를 들어, 도 9의 흐름도에 의한 처리 중 스텝 S200 내지 스텝 S207의 처리가, 센싱 시스템(1a)이 갖는 센서 유닛(10)의 수(도 16 및 도 17의 예에서는 2개)에 따라서 병렬적으로 실행되게 된다.
[4. 제2 실시 형태]
이어서, 본 개시의 제2 실시 형태에 대하여 설명한다. 제2 실시 형태는, 센서 유닛(10)에 의한 계측 및 촬영의 대상 범위를, 센서 유닛(10)이 주사 가능한 범위에 비하여 좁게 설정한다.
FMCW-LiDAR는, 그 특성상, 카메라보다도 해상도가 낮아, 일반적으로는 대상 물체가 장치로부터 원거리에 있는 경우, 혹은, 대상 물체가 작은 경우, 당해 대상 물체에 대응하는 점군에 의한 계측점수가 적어진다. 그 때문에, 장치로부터 원거리에 있는 대상 물체나, 어느 정도 이상 작은 대상 물체에 대한 검출 확률 및 인식 정밀도가 저하되어버릴 우려가 있다. 또한, 계측의 대상이 되는 대상 공간의 전체로부터 취득된 점군에서의 대상 물체에 대응하는 부분의 점군을, 부분 점군이라고 칭한다.
그 때문에, 제2 실시 형태에서는, 계측의 대상이 되는 대상 공간 중의, 사람이나 기타 이동체 등의 대상 물체를 포함하는 영역을, 주목 영역(ROI: Region of Interest)으로 해서 선택적으로 국소 주사한다. 이 국소 주사에 의해, 당해 대상 물체에 대응하는 부분 점군의 계측점수를, 대상 공간의 전체를 주사한 경우에 비하여 증가시킬 수 있어, 점군의 해상도를 국소적으로 향상시킬 수 있다. 또한, 대상 물체가 이동하는 경우, 주사를 행하는 주목 영역을 이동에 추종시킴으로써, 당해 대상 물체에 대한 국소적인 고해상도를 유지하는 것이 가능하다.
도 18은, 제2 실시 형태에 관한, 센서 유닛의 배치예를 도시하는 모식도이다. 도 18에서, 제2 실시 형태에 관한 센싱 시스템(1b)은, 센서 유닛(10a)과 신호 처리부(13b)를 포함한다.
제2 실시 형태에서는, 센서 유닛(10a)의 주사 모드로서, 후술하는 광 검출 측거부(11a)가 주사 가능한 각도(α)의 각도 범위(제1 주사 범위)를 주사하는 제1 주사 모드와, 각도(α)에 대하여 각도(γ)의 각도 범위(제2 주사 범위)를 주사하는 제2 주사 모드를 갖는다. 이와 같이, 제2 주사 모드에서는, 제1 주사 범위보다 좁은 제2 주사 범위에 대한 주사를 행한다.
광 검출 측거부(11a)는, 주목 영역(32)에 대하여 제2 주사 모드에 의해 각도(γ)의 각도 범위에서 주사를 행할 수 있다. 신호 처리부(13b)는, 주사 모드가 제2 주사 모드일 경우에, 주목 영역(32)에 대한 주사를 행하도록 광 검출 측거부(11a)를 제어하기 위한 국소 주사 영역 정보를, 센서 유닛(10a)에 공급한다.
도 19는, 제2 실시 형태에 관한 센싱 시스템(1b)의 일례의 구성을 도시하는 블록도이다. 센싱 시스템(1b)에 있어서, 신호 처리부(13b)는, 도 4에 도시한 제1 실시 형태에 관한 신호 처리부(13)의 구성에 대하여, 국소 주사 제어부(170)가 추가되어 있다. 국소 주사 제어부(170)는, 3D 물체 인식부(142)로부터 3D 영역 정보를 취득한다. 국소 주사 제어부(170)는, 광 검출 측거부(11a)의 주사 모드가 제2 주사 모드일 경우에, 3D 물체 인식부(142)로부터 취득한 3D 영역 정보에 기초하여 국소 주사 제어 신호를 생성하여, 광 검출 측거부(11a)에 대하여 출력한다.
광 검출 측거부(11a)는, 국소 주사 제어부(170)로부터 출력된 국소 주사 제어 신호에 따라서 주사부(100)가 제어되어, 주목 영역(32)의 주사를 행한다.
또한, 신호 처리부(13b)에서의 점군 합성부(140), 3D 물체 검출부(141) 및 3D 물체 인식부(142), 그리고, 화상 합성부(150), 2D 물체 검출부(151) 및 2D 물체 인식부(152)의 기본적인 기능은, 도 4를 사용하여 설명한 신호 처리부(13)에서의 대응하는 각 부와 마찬가지이므로, 여기에서의 설명을 생략한다.
도 20은 제2 실시 형태에 관한 신호 처리부(13b)에 의한 처리를 나타내는 일례의 흐름도이다. 이 도 20의 흐름도에 의한 처리는, 예를 들어, 도 9의 흐름도에서의 스텝 S206의 처리 직전에 개시된다. 즉, 이 도 20의 흐름도의 처리에 앞서, 도 9의 흐름도에 의한 처리가, 광 검출 측거부(11a)의 주사 모드를 제1 주사 모드로 해서 개시된다.
예를 들어, 스텝 S201에서 추출된 부분 화상이, 속도 점군으로부터 움직임이 검출된 영역에 대응하는 화상인 것으로 한다. 이 경우에 있어서, 스텝 S202에서 2D 물체 검출부(151)에 의해 부분 화상의 휘도값이 충분하지 않다고 판정되어(스텝 S202, 「아니오」), 처리가 스텝 S206으로 이행할 때, 도 20의 흐름도에 의한 처리가 실행된다. 또한, 스텝 S204에서 2D 물체 인식부(152)에 의해 확신도가 일정 미만이라고 판정되어(스텝 S204, 「아니오」), 처리가 스텝 S206으로 이행할 때, 도 20의 흐름도에 의한 처리가 실행된다.
이에 한정하지 않고, 속도 점군으로부터 움직임이 검지된 영역에 대응하는 부분 화상의 인식 결과가, 미리 설정하고 있었던 대상 물체이며, 당해 대상 물체에 대한 보다 상세한 3차원 동작 분석이 필요하다고 판단된 경우에, 도 20의 흐름도에 의한 처리를 실행해도 된다. 이 판단은, 센싱 시스템(1b)을 이용하는 사람이 행해도 되고, 센싱 시스템(1b) 그 자체, 혹은, 센싱 시스템(1b)에 의한 계측 결과를 이용하는 애플리케이션 프로그램이 자동으로 행해도 된다.
또한, 속도 점군으로부터 움직임이 검지된 영역에 대응하는 부분 화상을 유저에게 제시하고, 이 제시에 따른 유저에 의한 상세 해석 등의 요구에 따라, 도 20의 흐름도에 의한 처리를 실행해도 된다.
도 20에 있어서, 스텝 S300에서, 광 검출 측거부(11a)의 주사 모드가 제1 주사 모드에서 제2 주사 모드로 이행된다. 국소 주사 제어부(170)는, 3D 물체 인식부(142)로부터 주목 영역으로서의 3D 영역 정보를 취득하고, 취득한 3D 영역 정보에 기초하여 국소 주사 제어 정보를 생성한다. 보다 구체적으로는, 국소 주사 제어부(170)는, 좌표계 변환에 의해, 대상 물체의 존재 영역을 나타내는, 주목 영역으로서의 3D 영역 정보를, 광 검출 측거부(11a)의 주사 좌표계로 정의되는 주사 영역 정보로 변환한다. 국소 주사 제어부(170)는, 이 주사 영역 정보에 기초하여 국소 주사 제어 정보를 생성한다. 국소 주사 제어부(170)는, 생성한 국소 주사 제어 정보를, 광 검출 측거부(11a)의 주사부(100)에 입력한다.
도 21은, 제2 실시 형태에 관한 국소 주사 제어 정보의 생성 처리를 설명하기 위한 모식도이다. 도 21의 섹션 (a)에 나타내는 바와 같이, 센서 유닛(10a)에 의해 제1 주사 모드에 의해 각도(α)의 각도 범위에서 대상을 주사하여, 공간(3) 내의 대상 범위(30) 내를 계측한다. 여기서, 이동하고 있는 이동 물체(47)가 주목해야 하는 대상인 것으로 한다. 이동 물체(47)는, 예를 들어, 소정 이상의 속도로 이동하고 있는 사람이다. 이동 물체(47)는, 이에 한정하지 않고, 이동하고 있는 차량 등, 이동하는 물체이면 다른 물체이어도 된다.
도 21의 섹션 (b)에 나타내는 바와 같이, 3D 물체 검출부(141)는, 센서 유닛(10a)에 의한 주사의 각도 범위(200)로부터, 주목해야 하는 이동 물체(47)를 포함하는 영역(230)의 영역 정보를 추출한다. 국소 주사 제어부(170)는, 이 영역(230)의 영역 정보에 기초하여, 광 검출 측거부(11a)가 제2 주사 모드에 의한 주사를 행하도록, 국소 주사 제어 정보를 생성한다.
다음의 스텝 S301에서, 광 검출 측거부(11a)는, 국소 주사 제어 정보에 의해 지정된 영역(230)에 대한 주사(국소 주사라고 칭함)를 개시한다. 이 국소 주사에 의한 계측 결과에 기초하여, 점군 합성부(140)에 의해 예를 들어 도 9의 흐름도의 스텝 S100에서 설명한 처리에 의해 합성 점군 프레임이 취득된다. 또한, 3D 물체 검출부(141)에 의해, 동 흐름도의 스텝 S101 내지 스텝 S103에서 설명한 처리에 의해 국재 속도 점군이 취득된다.
도 22는, 제2 실시 형태에 관한 국소 주사를 설명하기 위한 모식도이다. 도 22의 섹션 (a)에 나타내는 바와 같이, 광 검출 측거부(11a)는, 국소 주사 제어 정보에 따라서, 각도(α)보다 작은 각도(γ)에서 국소 주사를 행한다. 이 국소 주사에서는, 도 22의 섹션 (b)에 나타내는 바와 같이, 각도 범위(200)에 있어서, 영역(230)에 대응하는 각도 범위(200a)를 갖는 국소 주사 영역(231)에 대하여 광 검출 측거부(11a)에 의한 주사가 행해진다.
도 23은, 제2 실시 형태에 관한 국소 주사를 설명하기 위한 모식도이다. 도 23의 섹션 (a)는 상술한 도 3과 대응하는 것으로, 각도 범위(200)의 전체를 주사하는 전체 주사의 모습을 나타내고 있다. 광 검출 측거부(11a)가, 각도(α)에 의한 각도 범위(200) 내를, 주사선(210)에 따라서 주사한다(제1 스캔 패턴). 이 예에서는, 이동 물체(47)를 포함하는 영역(230)이 주목 영역으로 된다.
도 23의 섹션 (b)는 영역(230)에 대한 국소 주사를 보다 구체적으로 도시하는 도면이다. 광 검출 측거부(11a)는, 국소 주사 제어부(170)로부터 공급되는 국소 주사 제어 신호에 따라서, 영역(230)에 대응하는 국소 주사 영역(231)에 대한 주사를 행한다. 이 주사는, 각도 범위(200)에 대한 전체 주사에 대하여, 각도 범위(200)의 각도(α)보다 작은 각도(γ)에 의한 각도 범위(200a)에 의한 국소 주사이다.
이때, 광 검출 측거부(11a)는, 국소 주사 제어 정보에 따라서, 각도 범위(200)에 대한 주사선(210)과 동일 혹은 대략 동일한 주사선수로, 각도 범위(200a)의 주사를 행한다(제2 스캔 패턴). 이 경우, 제2 스캔 패턴은, 제1 스캔 패턴에 대하여 단위 면적당 주사선수가 많게 된다. 바꾸어 말하면, 제2 실시 형태에 관한 국소 주사에서는, 제1 스캔 패턴에 의한 각도 범위(200)의 주사보다도 높은 밀도로, 제2 스캔 패턴에 의한 각도 범위(200a)에 대한 주사를 행한다.
3D 물체 검출부(141)는, 이 국소 주사에 의해 국소 주사 영역(231)으로부터 취득한 계측 결과에 기초하여, 주목 영역에 관한 속도 점군을 추출한다.
다음의 스텝 S302에서, 3D 물체 인식부(142)는, 3D 물체 검출부(141)로부터 국소 속도 점군을 취득한다. 다음의 스텝 S303에서, 3D 물체 인식부(142)는, 스텝 S302에서 취득한 국재 속도 점군에 포함되는 점의 수가 제2 상수 이상인지 여부를 판정한다. 3D 물체 인식부(142)는, 당해 점의 수가 제2 상수 미만이라고 판정한 경우(스텝 S303, 「아니오」), 도 20의 흐름도에 의한 일련의 처리를 종료시키고, 처리가 예를 들어 도 9의 흐름도의 스텝 S206으로 이행된다.
한편, 3D 물체 인식부(142)는, 당해 점의 수가 제2 상수 이상이라고 판정한 경우(스텝 S303, 「예」), 처리를 스텝 S304로 이행시킨다. 스텝 S304에서, 3D 물체 인식부(142)는, 스텝 S302에서 취득한 국재 속도 점군에 대하여 물체 인식 처리를 실행한다.
다음의 스텝 S305에서, 3D 물체 인식부(142)는, 스텝 S304의 물체 인식 처리에 의한 인식 결과의 확신도가 일정 이상인지 여부를 판정한다. 3D 물체 인식부(142)는, 확신도가 일정 미만이라고 판정한 경우(스텝 S305, 「아니오」), 도 20의 흐름도에 의한 일련의 처리를 종료시키고, 처리가 예를 들어 도 9의 흐름도의 스텝 S206으로 이행된다. 한편, 3D 물체 인식부(142)는, 확신도가 일정 이상이라고 판정한 경우(스텝 S305, 「예」), 처리를 스텝 S306으로 이행시킨다.
스텝 S306에서, 3D 물체 인식부(142)는, 스텝 S300에서 취득한 3D 영역 정보와, 스텝 S304의 물체 인식 처리의 결과를 나타내는 인식 정보를 통합한다.
스텝 S306의 처리 후, 처리가 예를 들어 도 9의 흐름도의 스텝 S206으로 이행된다. 이 경우, 스텝 S206에서는, 시각 정보에 대하여 2D 영역 정보 대신에, 인식 정보가 통합된 3D 영역 정보를 통합해도 된다. 또한, 다음의 스텝 S207에서는, 2D 속성 정보 대신에, 스텝 S304의 물체 인식 처리의 인식 정보에 포함되는 3D 속성 정보를 취득해도 된다.
(4-1. 제2 실시 형태의 변형예)
이어서, 제2 실시 형태의 변형예에 대하여 설명한다. 상술한 제2 실시 형태에서는, 센싱 시스템(1b)이, 공간 계측의 대상이 되는 대상 공간을 포함하는 공간(3)에 대하여, 하나의 센서 유닛(10a)만을 배치한 싱글 앵글 시스템으로서 구성되어 있었다. 이에 반해, 제2 실시 형태의 변형예에서는, 센싱 시스템을, 공간(3)에 대하여 복수의 센서 유닛(10a)을 배치한 멀티 앵글 시스템으로서 구성한다.
도 24는, 제2 실시 형태의 변형예에 관한, 복수의 센서 유닛을 배치한 경우의 ROI 주사를 도시하는 모식도이다. 도 24에서, 센싱 시스템(1a)은, 공간(3)에 배치되는 2개의 센서 유닛(10a1 및 10a2)과, 신호 처리부(13c)를 포함한다. 센서 유닛(10a1 및 10a2)은, 제2 주사 모드에서 각각 각도(γ1 및 γ2)의 각도 범위에서 대상을 주사할 수 있다. 도 24의 예에서는, 센서 유닛(10a1 및 10a2)은, 공통되는 주목 영역(33)에 대하여 서로 대향하는 위치에 배치되어, 주목 영역(33)을 서로 다른 방향으로부터 주사 및 촬영을 행한다.
도 25는 제2 실시 형태의 변형예에 관한 센싱 시스템의 일례의 구성을 도시하는 블록도이다. 도 25에서, 센싱 시스템(1c)은, 2개의 센서 유닛(10a1 및 10a2)을 포함한다. 센서 유닛(10a1)은, 광 검출 측거부(111)와 카메라(121)를 포함한다. 마찬가지로 센서 유닛(10a2)은, 광 검출 측거부(112)와 카메라(122)를 포함한다.
신호 처리부(13c)는, 점군 합성부(140a)와, 3D 물체 검출부(141)와, 3D 물체 인식부(142)와, 화상 합성부(150a)와, 2D 물체 검출부(151a)와, 2D 물체 인식부(152a)와, I/F부(160a)를 포함한다.
점군 합성부(140a)는, 센서 유닛(10a1)의 광 검출 측거부(111) 및 카메라(121)로부터 각각 출력된 속도 점군 및 촬상 화상을 취득한다. 마찬가지로, 점군 합성부(140a)는, 센서 유닛(10a2)의 광 검출 측거부(112) 및 카메라(122)로부터 각각 출력된 속도 점군 및 촬상 화상을 취득한다.
점군 합성부(140a)는, 센서 유닛(10a1)의 출력에 기초하여 생성한 합성 점군과, 센서 유닛(10a2)의 출력에 기초하여 생성한 합성 점군을, 각각의 속도 점군의 각 계측점의 각도 좌표에 기초해서 통합하여, 통합 합성 점군을 생성한다. 합성 점군의 통합은, 센서 유닛(10a1 및 10a2) 각각이 갖는 광 검출 측거부(111 및 112)의 위치 관계에 기초하여 미리 교정한 각도 좌표를 사용해서 실행해도 된다.
점군 합성부(140a)는, 생성한 통합 합성 점군을, 3D 물체 검출부(141)와 I/F부(160)에 출력한다. 3D 물체 검출부(141) 및 3D 물체 인식부(142)에서의 처리는, 상술한 제1 실시 형태의 변형예에 관한 3D 물체 검출부(141) 및 3D 물체 인식부(142)와 마찬가지이므로, 설명을 생략한다.
화상 합성부(150a)는, 센서 유닛(10a1)의 광 검출 측거부(111) 및 카메라(121)로부터 각각 출력된 속도 점군 및 촬상 화상을 취득한다. 마찬가지로, 화상 합성부(150a)는, 센서 유닛(10a2)의 광 검출 측거부(112) 및 카메라(122)로부터 각각 출력된 속도 점군 및 촬상 화상을 취득한다.
화상 합성부(150a), 2D 물체 검출부(151a) 및 2D 물체 인식부(152a)는, 각각 센서 유닛(10a1)의 출력과, 센서 유닛(10a2)의 출력에 대하여 처리를 행한다. 2D 물체 검출부(151a) 및 2D 물체 인식부(152a)에서의 처리는, 상술한 제1 실시 형태의 변형예에 관한 2D 물체 검출부(151a) 및 2D 물체 인식부(152a)와 마찬가지이므로, 여기에서의 설명을 생략한다.
국소 주사 제어부(170)는, 3D 물체 인식부(142)로부터 3D 영역 정보를 취득한다. 국소 주사 제어부(170)는, 3D 물체 인식부(142)로부터 취득한 3D 영역 정보에 기초하여 국소 주사 제어 신호를 생성하여, 광 검출 측거부(111 및 112)에 대하여 출력한다.
이때, 국소 주사 제어부(170b)는, 광 검출 측거부(111 및 112) 각각이 공통되는 주목 영역(32)을 주사하도록, 광 검출 측거부(111)가 주사를 행하는 각도(γ1)와, 광 검출 측거부(112)가 주사를 행하는 각도(γ2)를 설정하면 바람직하다.
제2 실시 형태의 변형예에서의 신호 처리부(13c)에 의한 처리는, 도 20의 흐름도를 사용하여 설명한 제2 실시 형태에 관한 신호 처리부(13b)에 의한 처리와 대략 마찬가지로 실행된다. 이 경우에 있어서, 스텝 S302 이후의 처리는, 센서 유닛(10a1)의 출력에 기초하는 국소 속도 점군과, 센서 유닛(10a2)의 출력에 기초하는 국소 속도 점군을 통합한 통합 국소 속도 점군에 대하여 행해도 된다.
또한, 도 20의 흐름도에 의한 처리는, 제2 실시 형태와 마찬가지로, 도 9의 흐름도에서의 스텝 S206의 처리 직전에 개시해도 된다. 이 경우에 있어서, 2D 물체 검출부(151a)에 의해 부분 화상의 휘도값이 충분하지 않다고 판정된 경우나, 2D 물체 인식부(152)에 의해 확신도가 일정 미만이라고 판정된 경우에 개시해도 된다. 이에 한정하지 않고, 속도 점군으로부터 움직임이 검지된 영역에 대응하는 부분 화상의 인식 결과가, 미리 설정하고 있었던 대상 물체이며, 당해 대상 물체에 대한 보다 상세한 3차원 동작 분석이 필요하다고 판단된 경우에, 도 20의 흐름도에 의한 처리를 실행해도 된다. 또한, 속도 점군으로부터 움직임이 검지된 영역에 대응하는 부분 화상을 유저에게 제시하고, 이 제시에 따른 유저에 의한 상세 해석 등의 요구에 따라, 도 20의 흐름도에 의한 처리를 실행해도 된다.
제2 실시 형태의 변형예에 의하면, ROI 주사와 멀티 앵글 시스템을 조합하고 있기 때문에, 차폐가 발생하기 쉬운 환경 조건에서도, 차폐의 영향을 저감시키면서, 대상 물체에 대한 계측점의 수를 국소적으로 증가시킬 수 있다. 그에 의해, 대상 물체를, 보다 고정밀도로 인식하는 것이 가능하다.
[5. 제3 실시 형태]
이어서, 본 개시의 제3 실시 형태에 대하여 설명한다. 제3 실시 형태는, 본 개시에 관한 센싱 시스템을, 인류를 해석하는 인류 해석 시스템에 응용한 예이다.
도 26은 제3 실시 형태에 관한 인류 해석 시스템의 일례의 구성을 개략적으로 도시하는 도면이다. 도 26에서, 인류 해석 시스템(300)은, 각각 센서 유닛(10) 및 신호 처리부(13)를 포함하는 복수의 센싱 시스템(1)과, 인류 분석 장치(320)와, 인류 데이터베이스(DB)(330)와, 정보 제시 장치(340)를 포함한다.
각 신호 처리부(13)는, LAN(Local Area Network)이나 인터넷 등의 네트워크(310)를 통해서 인류 분석 장치(320)에 접속된다. 이에 한정하지 않고, 각 신호 처리부(13)는, 네트워크(310) 등을 통하지 않고 직접적으로 인류 분석 장치(320)에 접속되어도 된다.
각 신호 처리부(13)는, 각 센서 유닛(10)에 의한 계측 결과 및 촬영 화상에 기초해서, 예를 들어 상술한 제1 실시 형태에서의 도 9의 흐름도에 따른 처리를 실행하여, 시각 정보, 2D 및 3D 영역 정보, 2D 및 3D 속성 정보를 주기적으로 취득한다. 이들 시각 정보, 2D 및 3D 영역 정보, 2D 및 3D 속성 정보는, 네트워크(310)를 통해서 인류 분석 장치(320)에 송신된다.
인류 분석 장치(320)는, 각 신호 처리부(13)로부터 송신된 시각 정보, 2D 및 3D 영역 정보, 2D 및 3D 속성 정보와, 인류 DB(330)에 저장되는 정보에 기초하여, 각 센서 유닛(10)의 계측 대상인 각 대상 범위(30)에 포함되는 사람(44)을 검출 및 인식한다. 인류 분석 장치(320)는, 사람(44)의 검출 및 인식 결과에 기초하여, 각 대상 범위(30)에서의 사람(44)의 흐름인 인류를 해석한다. 인류 분석 장치(320)는, 인류 분석 장치(320)에 의한 인류의 해석 결과를 정보 제시 장치(340)에 전달한다.
정보 제시 장치(340)는, 예를 들어 일반적인 컴퓨터 장치를 적용할 수 있으며, 인류 분석 장치(320)로부터 받은 인류의 해석 결과를 가시화 정보로서 유저에게 제시한다.
도 27은 제3 실시 형태에 관한 인류 해석 시스템(300)의 일례의 구성을 보다 상세하게 도시하는 블록도이다.
인류 해석 시스템(300)은, 각각 센서 유닛(10)과 신호 처리부(13)를 포함하는 하나 이상의 센싱 시스템을 갖는다. 각 센서 유닛(10) 및 각 신호 처리부(13)의 구성은, 예를 들어 도 4를 사용하여 설명한 센서 유닛(10) 및 신호 처리부(13)와 동등하므로, 여기에서의 설명을 생략한다. 각 센싱 시스템(1)은, 예를 들어 소정의 주기로 계측 및 촬영을 행하여, 시각 정보, 2D 및 3D 영역 정보, 2D 및 3D 속성 정보를 출력한다. 각 신호 처리부(13)로부터 출력된 시각 정보, 2D 및 3D 영역 정보, 2D 및 3D 속성 정보는, 도시되지 않은 네트워크(310)를 통해서 인류 분석 장치(320)에 송신된다.
인류 분석 장치(320)는, 인물 인식부(321)와, 인류 해석부(322)와, 인류 DB(330)를 포함한다.
인물 인식부(321)는, 시각 정보, 2D 및 3D 영역 정보, 2D 및 3D 속성 정보를, 네트워크(310)를 통해서 주기적으로 취득한다. 인물 인식부(321)는, 취득한 시각 정보, 2D 및 3D 영역 정보, 2D 및 3D 속성 정보에 기초하여, 대상 범위(30)에 있어서 사람(44)이 계측 및 촬영된 시각, 사람(44)의 위치, 자세 및 이동 속도를 추정한다. 이에 의해, 인물 인식부(321)는, 대상 범위(30)에 있어서 이동하고 있는 사람을 인식할 수 있다. 이하에서는, 이러한 사람(44)에 관한 시각, 위치, 자세 및 이동 속도를 통합하여, 인류 정보라고 칭한다.
또한, 인물 인식부(321)는, 복수의 센서 유닛(10)로부터 취득한 시각 정보, 2D 및 3D 영역 정보, 2D 및 3D 속성 정보에 기초하여, 각 대상 범위(30)로부터 검출된 사람(44) 중, 각 대상 범위(30)에 공통되게 검출되는 사람(44)을 특정한다.
인물 인식부(321)는, 복수의 센싱 시스템(1)으로부터 취득한, 하나 이상의 사람(44)에 관한 인류 정보를 통합하여 출력한다. 인류 해석부(322)는, 인물 인식부(321)로부터 출력된, 통합된 인류 정보를 시계열 데이터로서 인류 DB(330)에 등록한다. 또한, 인류 해석부(322)는, 시계열 데이터로서의 인류 정보에 대하여 통계 분석을 실시하여, 예를 들어 사람(44)이 1군데에 체류하는 체류 시간이나, 대상 범위(30)에서의 혼잡도와 같은 통계 분석 정보를 취득한다. 인류 해석부(322)는, 인류 정보와 통계 분석 정보를 정보 제시 장치(340)에 출력한다.
정보 제시 장치(340)는, 인류 해석부(322)로부터 출력된 인류 정보와 통계 분석 정보를 취득한다. 여기서, 정보 제시 장치(340)는, 각 센서 유닛(10)의 계측 및 촬영 대상인 각 대상 범위(30)의 맵을 미리 갖고 있는 것으로 한다. 정보 제시 장치(340)는, 표시 장치에 대하여 맵을 표시시키고, 취득한 인류 정보에 기초하여, 사람(44)이 이동한 이동 궤적을 당해 맵에 중첩하여 표시시킨다. 정보 제시 장치(340)는, 표시 장치에 대하여, 사람(44)의 이동 궤적과 함께 통계 분석 정보를 표시시켜도 된다.
도 28은 정보 제시 장치(340)에 의해 표시 장치에 표시되는 인류의 예를 모식적으로 도시하는 도면이다. 도 28에서, 당해 표시 장치에 대하여, 각 대상 범위(30)에 배치되는 정적 물체(41)를 포함하는 맵(341)이 표시된다. 정보 제시 장치(340)는, 이 맵(341)에 대하여, 사람(441 내지 444)과, 각 사람(441 내지 444)이 이동한 각 궤적(451 내지 454)을 중첩하여 표시시킨다. 유저는, 이 맵(341)을 관찰함으로써, 각 대상 범위(30)에서의 인류를 파악할 수 있다.
도 29는, 제3 실시 형태에 관한 인류 해석 시스템(300)에 의한 처리를 나타내는 일례의 흐름도이다. 또한, 도 29에서, 상술한 도 9의 흐름도와 공통되는 처리에 대해서는 적절히 생략하고 설명을 행한다.
도 29에 도시되는 각 처리는, 인류 해석 시스템(300)에 포함되는 각 신호 처리부(13)에서의 각 부에 의해 실행된다. 보다 구체적으로는, 도 29에서, 좌측에 나타내는 스텝 S400 내지 스텝 S413의 처리는, 주로 점군 합성부(140), 3D 물체 검출부(141) 및 3D 물체 인식부(142)에 의해 실행되는, 3D 데이터에 관한 처리가 된다. 또한, 우측에 나타내는 스텝 S500 내지 스텝 S507의 처리는, 주로 화상 합성부(150), 2D 물체 검출부(151) 및 2D 물체 인식부(152)에 의해 실행되는, 2D 데이터에 관한 처리가 된다.
도 29에 있어서, 스텝 S400 내지 스텝 S406의 처리는, 도 9에서의 스텝 S100 내지 스텝 S106의 처리와 마찬가지이다. 즉, 스텝 S400에서, 점군 합성부(140)는, 광 검출 측거부(11)에 의한 각도 범위(200) 내의 주사에 의해 계측된 속도 점군에 기초하여, 속도 점군 프레임을 취득한다.
다음의 스텝 S401에서, 3D 물체 검출부(141)는, 스텝 S400에서 생성된 속도 점군 프레임으로부터, 일정 이상의 속도 절댓값을 갖는 점을 추출한다. 다음의 스텝 S402에서, 3D 물체 검출부(141)는, 스텝 S401에서 추출된 점 중, 일정 공간 범위에 국재하는 속도 점군의 집합(국재 속도 점군)을 생성한다.
다음의 스텝 S403에서, 3D 물체 검출부(141)는, 스텝 S402에서 생성된 국재 속도 점군으로부터, 처리의 대상으로 하는 1개의 국재 속도 점군을 추출한다. 다음의 스텝 S404에서, 신호 처리부(13)는, 3D 물체 검출부(141)에 의해, 추출한 국재 속도 점군에 포함되는 점의 수가 제1 상수 이상인지 여부를 판정한다. 3D 물체 검출부(141)는, 당해 점의 수가 제1 상수 미만이라고 판정한 경우(스텝 S404, 「아니오」), 처리를 스텝 S403으로 되돌려서, 스텝 S402에서 생성된 국재 속도 점군 중 다음의 국재 속도 점군을 추출하고, 처리를 속행시킨다.
3D 물체 검출부(141)는, 당해 점의 수가 제1 상수 이상이라고 판정한 경우(스텝 S404, 「예」), 처리를 스텝 S405로 이행시킨다. 스텝 S405에서, 3D 물체 검출부(141)는, 대상의 국재 속도 점군에 기초하여 3D 영역 정보를 취득한다.
3D 물체 검출부(141)는, 스텝 S505에서 3D 영역 정보가 취득되면, 처리를 스텝 S406으로 이행시킴과 함께, 후술하는 스텝 S501의 처리에 대하여 3D 영역 정보를 2D 물체 검출부(151)에 전달한다. 스텝 S406에서, 3D 물체 인식부(142)는, 3D 물체 검출부(141)로부터 국재 속도 점군과 3D 영역 정보를 취득한다. 스텝 S406의 처리 후, 처리는, 후술하는 스텝 S407로 이행된다.
한편, 상술한 스텝 S400의 합성 화상 프레임의 취득 처리와 병행하여, 스텝 S500의 처리가 실행된다. 스텝 S500에서, 화상 합성부(150)는, 광 검출 측거부(11)에 의한 각도 범위(200) 내의 주사에 의해 취득한 속도 점군과, 카메라(12)에 의해 취득한 촬상 화상에 기초하여, 합성 화상 프레임을 생성한다.
또한, 스텝 S500 내지 스텝 S507의 처리는, 도 9의 흐름도에서의 스텝 S200 내지 스텝 S207의 처리와 동일하다. 즉, 스텝 S501에서, 2D 물체 검출부(151)는, 상술한 스텝 S405에서 3D 물체 검출부(141)에 의해 추정된 3D 영역 정보를 취득한다. 2D 물체 검출부(151)는, 취득한 3D 영역 정보를 사용하여 전체 화상으로부터 부분 화상을 추출한다.
다음의 스텝 S502에서, 2D 물체 검출부(151)는, 스텝 S501에서 취득한 부분 화상의 휘도가 충분한지 여부를 판정한다. 2D 물체 검출부(151)는, 부분 화상의 휘도값이 충분하지 않다고 판정한 경우(스텝 S502, 「아니오」), 처리를 스텝 S506으로 이행시킨다. 한편, 2D 물체 검출부(151)는, 부분 화상의 휘도값이 충분하다고 판정한 경우(스텝 S502, 「예」), 처리를 스텝 S503으로 이행시킨다.
스텝 S503에서, 2D 물체 인식부(152)는, 2D 물체 검출부(151)로부터 부분 화상을 취득하고, 취득한 부분 화상에 대하여 인식 처리를 실행한다. 2D 물체 인식부(152)는, 인식 처리의 결과에 기초하여 2D 속성 정보를 추정한다.
다음의 스텝 S504에서, 2D 물체 인식부(152)는, 스텝 S503에 의한 인식 결과의 확신도가 일정 이상인지 여부를 판정한다. 2D 물체 인식부(152)는, 확신도가 일정 미만이라고 판정한 경우(스텝 S504, 「아니오」), 처리를 스텝 S506으로 이행시킨다. 한편, 2D 물체 인식부(152)는, 확신도가 일정 이상이라고 판정한 경우(스텝 S504, 「예」), 처리를 스텝 S505로 이행시킨다.
스텝 S505에서, 3D 물체 인식부(142)는, 촬상 화상을 촬상한 시각을 나타내는 시각 정보와, 2D 속성 정보와, 2D 영역 정보를 통합하여, I/F부(160)에 대하여 출력한다.
한편, 상술한 바와 같이, 스텝 S502에서 부분 화상의 휘도가 충분하지 않다고 판정된 경우(스텝 S502, 「아니오」), 혹은, 스텝 S504에서 확신도가 일정 미만이라고 판정된 경우(스텝 S504, 「아니오」), 처리가 스텝 S506으로 이행된다. 스텝 S506에서, 2D 물체 인식부(152)는, 시각 정보와 2D 영역 정보를 통합하여, I/F부(160)에 대하여 출력한다.
스텝 S505 혹은 스텝 S506의 처리 후, 처리가 스텝 S507로 이행된다. 스텝 S507에서, 2D 물체 인식부(152)는, 통합된 시각 정보 및 2D 속성 정보를 취득하여, 3D 물체 인식부(142)에 대하여 출력한다.
도 29의 좌측의 처리의 설명으로 돌아가서, 스텝 S406에서 스텝 S407로의 이행 시에, 3D 물체 인식부(142)는, 스텝 S507에서 2D 물체 인식부(152)로부터 출력된 시각 정보 및 2D 속성 정보를 취득한다.
스텝 S407에서, 3D 물체 인식부(142)는, 스텝 S406에서 취득한 3D 영역 정보를 구성하는 국재 속도 점군에 대응하는 2D 속성 정보가 인물을 나타내고 있는지 여부를 판정한다. 3D 물체 인식부(142)는, 당해 2D 속성 정보가 인물을 나타내고 있지 않다고 판정한 경우(스텝 S407, 「아니오」), 처리를 스텝 S411로 이행시킨다. 한편, 3D 물체 인식부(142)는, 당해 2D 속성 정보가 인물을 나타내고 있다고 판정한 경우(스텝 S407, 「예」), 처리를 스텝 S408로 이행시킨다.
스텝 S408에서, 3D 물체 인식부(142)는, 대상의 국재 속도 점군에 대하여 인물의 위치 및 자세를 추정한다. 다음의 스텝 S409에서, 3D 물체 인식부(142)는, 스텝 S408에서 추정된 위치 및 자세의 확신도가 일정 이상인지 여부를 판정한다. 3D 물체 인식부(142)는, 확신도가 일정 미만이라고 판정한 경우(스텝 S409, 「아니오」), 처리를 스텝 S411로 이행시킨다. 한편, 3D 물체 인식부(142)는, 확신도가 일정 이상이라고 판정한 경우(스텝 S409, 「예」), 처리를 스텝 S410으로 이행시킨다.
스텝 S410에서, 3D 물체 인식부(142)는, 스텝 S408에서 추정된 위치 및 자세에 기초하여, 대응하는 3D 영역 정보를 갱신한다.
다음의 스텝 S411에서, 3D 물체 인식부(142)는, 스텝 S403에서 생성된 모든 국재 속도 점군에 대한 처리가 종료되었는지 여부를 판정한다. 신호 처리부(13)는, 생성된 모든 국재 속도 점군에 대한 처리가 종료되지 않았다고 판정한 경우(스텝 S411, 「아니오」), 처리를 스텝 S403으로 되돌려서, 스텝 S402에서 생성된 국재 속도 점군 중 다음의 국재 속도 점군을 추출하고, 처리를 속행시킨다.
한편, 3D 물체 인식부(142)는, 생성된 모든 국재 속도 점군에 대한 처리가 종료되었다고 판정한 경우(스텝 S411, 「예」), 처리를 스텝 S412로 이행시킨다. 스텝 S412에서, 3D 물체 인식부(142)는, 생성된 모든 국재 속도 점군에 대해서, 시각 정보, 3D 속성 정보 및 3D 영역 정보를 I/F부(160)에 대하여 출력한다.
다음의 스텝 S413에서, 신호 처리부(13)는, 인류 해석 시스템(300)에 의한 감시 동작이 종료되었는지 여부를 판정한다. 신호 처리부(13)는, 감시 동작이 종료되지 않았다고 판정한 경우(스텝 S413, 「아니오」), 처리를 스텝 S400 및 스텝 S500으로 이행시켜, 다음의 속도 점군 프레임 및 화상 프레임을 취득한다.
한편, 신호 처리부(13)는, 인류 해석 시스템(300)에 의한 감시 동작이 종료되었다고 판정한 경우(스텝 S413, 「예」), 이 도 29의 흐름도에 의한 일련의 처리를 종료시킨다.
이와 같이, 제3 실시 형태에 관한 인류 해석 시스템(300)은, 광 검출 측거부(11)의 계측 결과로부터 취득되는 점군과, 카메라(12)에 의해 촬영된 촬상 화상에 기초하여 대상 범위(30)에서의 사람(44)을 검출 및 인식하고 있다. 그 때문에, 보다 고정밀도로 인류 해석을 실행할 수 있다.
또한, 상술에서는, 인류 해석 시스템(300)에 있어서, 각 대상 범위(30)에 1개의 센서 유닛(10)이 배치된 싱글 앵글 시스템이 적용되어 있지만, 이것은 이 예에 한정되지 않는다. 예를 들어, 제3 실시 형태에 관한 인류 해석 시스템(300)에, 제1 실시 형태의 변형예를 사용하여 설명한 멀티 앵글 시스템을 적용시켜도 된다.
[6. 제4 실시 형태]
이어서, 본 개시의 제4 실시 형태에 대하여 설명한다. 제4 실시 형태는, 본 개시에 관한 센싱 시스템을, 대상 범위에서의 이상을 검지하는 이상 검지 시스템에 응용한 예이다.
이상 사상의 대부분은, 물리적으로 위치의 변화를 수반하는 경우가 많다. 이러한 이상 사상의 예로서, 사람의 쓰러짐이나 의심 행동, 차량의 이상 발진이나 급정차 등을 들 수 있다. 이러한 사상에서는, 무엇인가의 속도가 발생하는 것이 상정된다. 따라서, 속도가 발생하고 있는 점의 주위를 감시함으로써, 이상의 검지가 가능하다고 생각된다.
도 30a 및 도 30b는, 제4 실시 형태에 관한 이상 검지 시스템을 설명하기 위한 모식도이다. 도 30a는 통상 동작의 모습을 도시하고 있다. 또한, 도 30b는, 이상이 검지된 후의 국소 이상 검지 동작의 모습을 도시하고 있다. 제4 실시 형태에서는, 이상 검지 시스템이 사용하는 센싱 시스템으로서, 제2 실시 형태에서 도 18 내지 도 23을 사용하여 설명한, 국소 주사를 행하는 센싱 시스템(1b)이 적용된다.
도 30a에서, 섹션 (a)는, 제3 실시 형태에 관한 이상 검지 시스템(400)의, 이상이 검지되지 않은 경우의 일례의 구성을 나타내고 있다. 이상 검지 시스템(400)은, 센서 유닛(10a)과, 신호 처리부(13b)(도시하지 않음)와, 이상 분석 장치(410)와, 이상 사상 데이터베이스(DB)(420)와, 통지 장치(430)를 포함한다.
도 30a의 섹션 (a)의 예에서는, 공간(3)에 대하여 1개의 센서 유닛(10a)이 배치되고, 센서 유닛(10a)에 의한 계측 결과 및 촬상 화상이 도시되지 않은 신호 처리부(13b)에 입력된다. 또한, 도시는 생략하지만, 신호 처리부(13b)로부터 센서 유닛(10a)에 대하여 국소 주사 제어 신호가 공급된다.
또한, 이 예에서는, 이상 검지 시스템(400)에 대하여, 공간(3)에 대하여 1개의 센서 유닛(10a)이 배치되는 싱글 앵글 시스템이 적용되어 있지만, 이것은 이 예에 한정되지 않는다. 예를 들어, 이상 검지 시스템(400)은, 공간(3)에 대하여 복수의 센서 유닛이 배치되는 멀티 앵글 시스템이 적용되어도 된다. 또한, 이 예에서는, 센서 유닛(10a)(신호 처리부(13b))과 이상 분석 장치(410)가 직접적으로 접속되도록 나타내져 있지만, 이것은 이 예에 한정되지 않는다. 예를 들어, 센서 유닛(10a)(신호 처리부(13b))과 이상 분석 장치(410)가 LAN(Local Area Network)이나 인터넷과 같은 네트워크를 통해서 접속되어 있어도 된다.
센서 유닛(10a)에 있어서, 광 검출 측거부(11a)는, 제1 주사 모드에 의해 각도(α)의 각도 범위에서 대상 범위(30)를 주사하여 계측을 행함과 함께, 카메라(12)에 의해 대상 범위(30)를 포함하는 범위의 촬영을 행한다.
도시되지 않은 신호 처리부(13b)는, 센서 유닛(10a)에 의한 계측 결과 및 촬영 화상에 기초해서, 예를 들어 상술한 제1 실시 형태에서의 도 9의 흐름도에 따른 처리를 실행하여, 시각 정보, 2D 및 3D 영역 정보, 2D 및 3D 속성 정보를 주기적으로 취득한다. 신호 처리부(13b)는, 이러한 시각 정보, 2D 및 3D 영역 정보, 2D 및 3D 속성 정보를 출력한다.
여기서, 센서 유닛(10a)에 의한 계측 및 촬영의 결과에 기초하여 이상으로 추정되는 움직임이, 오브젝트(46)에서 검지된 것으로 한다. 오브젝트(46)는, 도 30a의 섹션 (b)에 나타내는 바와 같이, 대상 범위(30)에서의 영역(34) 내에 존재하는 것으로 한다.
신호 처리부(13b)는, 이상으로 추정되는 움직임이 검출되면, 센서 유닛(10a)에서의 광 검출 측거부(11a)에 의한 주사 모드를 제1 주사 모드에서 제2 주사 모드로 이행시켜, 당해 움직임이 검출된 영역(34)에 맞춰서 국소 주사를 행하도록 센서 유닛(10a)을 제어하는 국소 주사 제어 신호를 생성한다. 센서 유닛(10a)은, 이 국소 주사 제어 신호에 따라서, 각도(α)보다 각도 범위가 좁고, 또한, 영역(34)에 대응하는 각도(γtgt)에 의해, 영역(34)에 대응하는 영역인 주목 영역(32tgt)에 대하여, 광 검출 측거부(11a)에 의한 주사를 행한다.
이 국소 주사에 의해, 오브젝트(46)의 이상을 보다 상세하게 검출하는 것이 가능하다.
이상 분석 장치(410)는, 신호 처리부(13b)로부터 출력된, 시각 정보, 2D 및 3D 영역 정보, 2D 및 3D 속성 정보를 취득한다. 시각 정보는, 이상이 검출된 시각을 나타내고, 2D 및 3D 영역 정보는, 이상이 검출된 영역을 나타낸다. 또한, 2D 및 3D 속성 정보는, 이상이 검출된 오브젝트(46)의 속성 정보이다.
이상 분석 장치(410)는, 취득한 시각 정보, 2D 및 3D 영역 정보, 2D 및 3D 속성 정보와, 이상 사상 DB(420)에 저장되는 정보에 기초하여, 대상 범위(30) 내에서 발생하는 이상의 검지를 행한다. 이상 분석 장치(410)는, 대상 범위(30) 내에서 이상이 검지되면, 이상의 검지를 나타내는 이상 검지 정보를 통지 장치(430)에 송신한다. 통지 장치(430)는, 이상 검지 정보에 따라, 유저 등에게 이상의 발생을 통지한다.
도 31은 제4 실시 형태에 관한 이상 검지 시스템(400)의 일례의 구성을 보다 상세하게 도시하는 블록도이다.
이상 검지 시스템(400)은, 센서 유닛(10a)과 신호 처리부(13b)를 포함하는 센싱 시스템(1b)을 갖는다. 제4 실시 형태에 관한 센싱 시스템(1b)의 구성은, 도 19를 사용하여 설명한 센싱 시스템(1b)과 동등하므로, 여기에서의 설명을 생략한다. 센싱 시스템(1b)은, 예를 들어 소정의 주기로 계측 및 촬영을 행하여, 시각 정보, 2D 및 3D 영역 정보, 2D 및 3D 속성 정보를 출력한다.
이상 분석 장치(410)는, 이상 해석부(411)와, 이상 사상 데이터베이스(DB)(420)를 포함한다. 이상 해석부(411)는, 신호 처리부(13b)로부터 출력된 시각 정보, 2D 및 3D 영역 정보, 2D 및 3D 속성 정보를 취득한다. 이상 해석부(411)는, 2D 영역 정보 및 3D 영역 정보에 기초하여, 이상 사상이 발생한 발생 위치를 특정한다. 이상 해석부(411)는, 특정한 이상 사상의 발생 위치에 기초하여, 2D 영역 정보 및 3D 영역 정보로부터, 이상 사상의 발생 위치 주변의 부분 화상 및 부분 점군을 추출한다.
이상 해석부(411)는, 이상 사상에 관한 내용(속성), 발생 위치, 부분 화상 및 부분 점군을, 이상 사상 DB(420)에 등록한다. 이상 해석부(411)는 또한, 이상 사상 DB(420)에 등록된 정보를 참조함으로써, 당해 이상 사상의 내용이나 계속 시간 등을 분석한다. 이상 해석부(411)는, 분석 결과에 기초하여 당해 이상 사상의 중요도를 판정하고, 판정 결과에 기초하여 통지가 필요해졌을 경우에, 통지 장치(430)에 대하여 통지 지령을 출력한다.
통지 장치(430)는, 이상 해석부(411)로부터 출력된 통지 지령에 따라, 이상 사상의 발생을 나타내는 통지를 출력한다. 통지 장치(430)는, 이 통지를 시각적인 정보로서 출력해도 되고, 소리 정보로서 출력해도 되고, 이들을 조합해도 된다. 이에 한정하지 않고, 통지 장치(430)는, 다른 장치에 대하여 통지를 출력해도 된다.
도 32 및 도 33은, 제4 실시 형태에 관한 이상 검지 시스템에 의한 처리를 도시하는 일례의 흐름도이다. 또한, 도 32 및 도 33에서, 부호 「A」 및 「B」는, 도 32와 도 33의 사이에서, 대응하는 부호로 처리가 이행되는 것을 나타내고 있다. 또한, 도 32에서, 상술한 도 9의 흐름도와 공통되는 처리에 대해서는 적절히 생략하고 설명을 행한다.
도 32에 도시되는 각 처리는, 이상 검지 시스템(400)에 포함되는 신호 처리부(13b)에서의 각 부에 의해 실행된다. 보다 구체적으로는, 도 32에서, 좌측에 나타내는 스텝 S600 내지 스텝 S609의 처리는, 주로 점군 합성부(140), 3D 물체 검출부(141) 및 3D 물체 인식부(142)에 의해 실행되는, 3D 데이터에 관한 처리가 된다. 또한, 우측에 나타내는 스텝 S700 내지 스텝 S706은, 주로 화상 합성부(150), 2D 물체 검출부(151) 및 2D 물체 인식부(152)에 의해 실행되는, 2D 데이터에 관한 처리가 된다.
도 32에 있어서, 스텝 S600 내지 스텝 S606의 처리는, 도 9에서의 스텝 S100 내지 스텝 S106의 처리와 마찬가지이다. 즉, 스텝 S600에서, 점군 합성부(140)는, 광 검출 측거부(11)의 제1 주사 모드에 의한 각도 범위(200) 내의 주사로 계측된 속도 점군에 기초하여, 속도 점군 프레임을 취득한다.
다음의 스텝 S601에서, 3D 물체 검출부(141)는, 스텝 S600에서 생성된 속도 점군 프레임으로부터, 일정 이상의 속도 절댓값을 갖는 점을 추출한다. 다음의 스텝 S602에서, 3D 물체 검출부(141)는, 스텝 S601에서 추출된 점 중, 일정 공간 범위에 국재하는 속도 점군의 집합(국재 속도 점군)을 생성한다.
다음의 스텝 S603에서, 3D 물체 검출부(141)는, 스텝 S602에서 생성된 국재 속도 점군으로부터, 처리의 대상으로 하는 1개의 국재 속도 점군을 추출한다. 다음의 스텝 S604에서, 신호 처리부(13)는, 3D 물체 검출부(141)에 의해, 추출한 국재 속도 점군에 포함되는 점의 수가 제1 상수 이상인지 여부를 판정한다. 3D 물체 검출부(141)는, 당해 점의 수가 제1 상수 미만이라고 판정한 경우(스텝 S604, 「아니오」), 처리를 스텝 S603으로 되돌려서, 스텝 S602에서 생성된 국재 속도 점군 중 다음의 국재 속도 점군을 추출하고, 처리를 속행시킨다.
3D 물체 검출부(141)는, 당해 점의 수가 제1 상수 이상이라고 판정한 경우(스텝 S604, 「예」), 처리를 스텝 S605로 이행시킨다. 스텝 S605에서, 3D 물체 검출부(141)는, 대상의 국재 속도 점군을 포함하는 예를 들어 최소 영역의 영역 정보(위치, 크기, 자세)를 추정하여, 3D 영역 정보를 취득한다.
3D 물체 검출부(141)는, 스텝 S505에서 3D 영역 정보가 취득되면, 처리를 스텝 S606으로 이행시킴과 함께, 후술하는 스텝 S701의 처리에 대하여, 3D 영역 정보를 2D 물체 검출부(151)에 전달한다. 스텝 S606에서, 3D 물체 인식부(142)는, 3D 물체 검출부(141)로부터 국재 속도 점군과 3D 영역 정보를 취득한다. 스텝 S606의 처리 후, 처리는, 후술하는 스텝 S607로 이행된다.
한편, 상술한 스텝 S600의 합성 화상 프레임의 취득 처리와 병행하여, 스텝 S700의 처리가 실행된다. 스텝 S700에서, 화상 합성부(150)는, 광 검출 측거부(11)에 의한 각도 범위(200) 내의 주사에 의해 취득한 속도 점군과, 카메라(12)에 의해 취득한 촬상 화상에 기초하여, 합성 화상 프레임을 생성한다.
스텝 S701에서, 2D 물체 검출부(151)는, 상술한 스텝 S605에서 3D 물체 검출부(141)에 의해 추정된 3D 영역 정보를 취득한다. 2D 물체 검출부(151)는, 취득한 3D 영역 정보를 사용하여 촬상 전체 화상으로부터 부분 화상을 추출한다.
다음의 스텝 S702에서, 2D 물체 검출부(151)는, 스텝 S701에서 취득한 부분 화상이 충분한 정보량을 갖는지 여부를 판정한다. 예를 들어, 2D 물체 검출부(151)는, 당해 부분 화상의 휘도나 시인도에 대한 역치 비교에 의해, 정보량의 판정을 행한다. 시인도는, 예를 들어 부분 화상에 대한 에지 검출 등에 의해 취득하는 것을 생각할 수 있다.
2D 물체 검출부(151)는, 부분 화상의 정보량이 충분하지 않다고 판정한 경우(스텝 S702, 「아니오」), 처리를, 도 33의 스텝 S800으로 이행시킨다. 한편, 2D 물체 검출부(151)는, 부분 화상의 정보량이 충분하다고 판정한 경우(스텝 S702, 「예」), 처리를 스텝 S703으로 이행시킨다.
스텝 S703에서, 2D 물체 인식부(152)는, 2D 물체 검출부(151)로부터 부분 화상을 취득하고, 취득한 부분 화상에 대하여 이상 사상을 인식하는 이상 사상 인식 처리를 실행한다. 2D 물체 인식부(152)는, 이상 사상 인식 처리의 결과에 기초하여, 이상 사상에 관한 속성인 이상 사상 속성 정보를 추정한다. 이상 사상 속성 정보는, 예를 들어, 이상 사상의 종류, 주체(사람 등), 규모 등을 적용할 수 있다.
2D 물체 인식부(152)는, 예를 들어, 이상 사상의 인식 결과에 기초하는 학습을 행하여, 이 학습에 의해 이상 사상을 인식하기 위한 학습 모델을 생성해도 된다. 이에 한정하지 않고, 2D 물체 인식부(152)는, 기존의 학습 모델을 사용하여, 부분 화상으로부터 이상 사상을 인식해도 된다.
다음의 스텝 S704에서, 2D 물체 인식부(152)는, 스텝 S703에 의한 이상 사상 인식 처리에 의한 인식 결과의 확신도가 일정 이상인지 여부를 판정한다. 2D 물체 인식부(152)는, 확신도가 일정 미만이라고 판정한 경우(스텝 S704, 「아니오」), 처리를 도 33의 흐름도의 스텝 S800으로 이행시킨다. 한편, 2D 물체 인식부(152)는, 확신도가 일정 이상이라고 판정한 경우(스텝 S704, 「예」), 처리를 스텝 S705로 이행시킨다.
스텝 S705에서, 3D 물체 인식부(142)는, 촬상 화상을 촬상한 시각을 나타내는 시각 정보와, 이상 사상 속성 정보를 통합하여, I/F부(160)에 대하여 출력한다.
한편, 상술한 바와 같이, 스텝 S702에서 부분 화상의 정보량이 충분하지 않다고 판정된 경우(스텝 S702, 「아니오」), 혹은, 스텝 S704에서 확신도가 일정 미만이라고 판정된 경우(스텝 S704, 「아니오」), 처리가 도 33의 스텝 S800으로 이행된다.
스텝 S705, 혹은 후술하는 도 33의 흐름도의 스텝 S806의 처리 후, 처리가 스텝 S706으로 이행된다. 스텝 S706에서, 2D 물체 인식부(152)는, 통합된 시각 정보 및 이상 사상 속성 정보를 취득하여, 3D 물체 인식부(142)에 대하여 출력한다.
도 32의 좌측의 처리의 설명으로 돌아가서, 스텝 S606에서 스텝 S607로의 이행 시에, 3D 물체 인식부(142)는, 스텝 S706에서 2D 물체 인식부(152)로부터 출력된 시각 정보 및 이상 사상 속성 정보를 취득한다.
스텝 S607에서, 3D 물체 인식부(142)는, 스텝 S602에서 생성된 모든 국재 속도 점군에 대한 처리가 종료되었는지 여부를 판정한다. 신호 처리부(13)는, 생성된 모든 국재 속도 점군에 대한 처리가 종료되지 않았다고 판정한 경우(스텝 S607, 「아니오」), 처리를 스텝 S603으로 되돌려서, 스텝 S602에서 생성된 국재 속도 점군 중 다음의 국재 속도 점군을 추출하고, 처리를 속행시킨다.
한편, 3D 물체 인식부(142)는, 생성된 모든 국재 속도 점군에 대한 처리가 종료되었다고 판정한 경우(스텝 S607, 「예」), 처리를 스텝 S608로 이행시킨다. 스텝 S608에서, 3D 물체 인식부(142)는, 생성된 모든 국재 속도 점군에 대해서, 시각 정보 및 이상 사상 속성 정보를 I/F부(160)에 대하여 출력한다.
다음의 스텝 S609에서, 신호 처리부(13b)는, 이상 검지 시스템(400)에 의한 감시 동작이 종료되었는지 여부를 판정한다. 신호 처리부(13b)는, 감시 동작이 종료되지 않았다고 판정한 경우(스텝 S609, 「아니오」), 처리를 스텝 S600 및 스텝 S700으로 이행시켜, 다음의 속도 점군 프레임 및 화상 프레임을 취득한다.
한편, 신호 처리부(13b)는, 이상 검지 시스템(400)에 의한 감시 동작이 종료되었다고 판정한 경우(스텝 S609, 「예」), 이 도 32의 흐름도에 의한 일련의 처리를 종료시킨다.
도 33의 흐름도에 의한 처리에 대하여 설명한다. 또한, 도 33의 흐름도에 있어서, 상술한 도 20의 흐름도와 공통되는 처리에 대해서는 적절히 생략하고 설명을 행한다.
도 33에 있어서, 스텝 S800에서, 국소 주사 제어부(170)는, 3D 물체 인식부(142)로부터 주목 영역으로서의 3D 영역 정보를 취득하고, 취득한 3D 영역 정보에 기초하여 국소 주사 제어 정보를 생성한다. 국소 주사 제어부(170)는, 생성한 국소 주사 제어 정보를, 광 검출 측거부(11a)의 주사부(100)에 입력한다.
다음의 스텝 S801에서, 광 검출 측거부(11a)는, 주사 모드가 제1 주사 모드에서 제2 주사 모드로 이행되어, 국소 주사 제어 정보에 의해 지정된 주목 영역(32tgt)에 대한 국소 주사를 개시한다. 이 국소 주사에 의한 계측 결과에 기초하여, 점군 합성부(140)에 의해 예를 들어 도 9의 흐름도의 스텝 S100에서 설명한 처리에 의해 합성 점군 프레임이 취득된다. 또한, 3D 물체 검출부(141)에 의해, 동 흐름도의 스텝 S101 내지 스텝 S103에서 설명한 처리에 의해 국재 속도 점군이 취득된다.
3D 물체 검출부(141)는, 이 국소 주사에 의해 주목 영역(32tgt)으로부터 취득한 계측 결과에 기초하여, 주목 영역(32tgt)에 관한 국소 속도 점군을 추출한다.
다음의 스텝 S802에서, 3D 물체 인식부(142)는, 3D 물체 검출부(141)로부터 국소 속도 점군을 취득한다. 다음의 스텝 S803에서, 3D 물체 인식부(142)는, 스텝 S802에서 취득한 국재 속도 점군에 포함되는 점의 수가 제2 상수 이상인지 여부를 판정한다. 3D 물체 인식부(142)는, 당해 점의 수가 제2 상수 미만이라고 판정한 경우(스텝 S803, 「아니오」), 도 33의 흐름도에 의한 일련의 처리를 종료시키고, 처리가 예를 들어 도 32의 흐름도의 스텝 S706으로 이행된다.
한편, 3D 물체 인식부(142)는, 당해 점의 수가 제2 상수 이상이라고 판정한 경우(스텝 S803, 「예」), 처리를 스텝 S804로 이행시킨다. 스텝 S804에서, 3D 물체 인식부(142)는, 스텝 S802에서 취득한 국재 속도 점군에 대하여 이상 사상 인식 처리를 실행하여, 이상 사상 속성 정보를 추정한다. 3D 물체 인식부(142)에 의한 이상 사상 인식 처리는, 스텝 S703에서 설명한, 2D 물체 인식부(152)에 의한 이상 사상 인식 처리와 마찬가지로 하여 실행해도 된다.
다음의 스텝 S805에서, 3D 물체 인식부(142)는, 스텝 S804의 이상 사상 인식 처리에 의한 인식 결과의 확신도가 일정 이상인지 여부를 판정한다. 3D 물체 인식부(142)는, 확신도가 일정 미만이라고 판정한 경우(스텝 S805, 「아니오」), 도 33의 흐름도에 의한 일련의 처리를 종료시키고, 처리가 도 32의 흐름도의 스텝 S706으로 이행된다. 한편, 3D 물체 인식부(142)는, 확신도가 일정 이상이라고 판정한 경우(스텝 S805, 「예」), 처리를 스텝 S806으로 이행시킨다.
스텝 S806에서, 3D 물체 인식부(142)는, 스텝 S800에서 취득한 3D 영역 정보와, 스텝 S804의 이상 사상 인식 처리의 결과를 나타내는 인식 정보를 통합한다. 스텝 S806의 처리 후, 처리가 도 32의 흐름도의 스텝 S706으로 이행된다.
상술한 바와 같이, 제4 실시 형태에서는, 센서 유닛(10a)에 있어서 광 검출 측거부(11a)의 계측에 의해 취득한 속도 점군과, 카메라(12)에 의해 촬영된 촬상 화상에 기초하여, 대상 범위에서 발생한 이상 사상을 검지하도록 하고 있다. 오브젝트의 움직임에 기초하는 이상 사상의 검지 그 자체는, 속도 점군을 사용하지 않더라도 가능하다. 제4 실시 형태에서는, 촬상 화상에 더하여 속도 점군을 사용해서, 이상 사상이 발생한 영역을 주목 영역으로 해서 각도 범위를 좁혀서 주사하고 있다. 그 때문에, 발생한 이상 사상을 보다 상세하게 해석하는 것이 가능하게 된다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니며, 또한 다른 효과가 있어도 된다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 대상물에서 반사되어서 수신된 수신 신호에 기초하는 속도 점군 정보를 바탕으로 한 속도 화상을 상기 대상물의 정보로서 출력하는, 주파수 연속 변조파를 사용한 광 검출 측거 장치와,
상기 대상물을 촬상한 촬상 화상을 상기 대상물의 정보로서 출력하는 고체 촬상 장치
를 구비하고,
상기 광 검출 측거 장치 및 상기 고체 촬상 장치는, 상기 대상물의 동일한 측으로부터의 정보를 취득하도록 배치되는, 센싱 시스템.
(2) 상기 고체 촬상 장치의 해상도는, 상기 광 검출 측거 장치의 해상도보다도 높은, 상기 (1)에 기재된 센싱 시스템.
(3) 각각 상기 광 검출 측거 장치와 상기 고체 촬상 장치를 포함하는 복수의 유닛을 갖고,
상기 복수의 유닛 각각은, 상기 대상물의 서로 다른 측으로부터의 정보를 취득하도록 배치되는, 상기 (1) 또는 (2)에 기재된 센싱 시스템.
(4) 상기 광 검출 측거 장치는,
상기 수신 신호를 주사하는 주사 범위를 제어하는 주사 제어부를 갖고,
상기 주사 제어부는,
상기 주사 범위를 주사하는 주사 모드로서, 제1 주사 범위를 주사하도록 제어하는 제1 주사 모드와, 상기 제1 주사 범위보다도 좁은 제2 주사 범위를 주사하도록 제어하는 제2 주사 모드를 갖는, 상기 (1) 내지 (3)의 어느 것에 기재된 센싱 시스템.
(5) 상기 제2 주사 범위는, 상기 제1 주사 범위에 포함되는, 상기 (4)에 기재된 센싱 시스템.
(6) 상기 광 검출 측거 장치는,
상기 제1 주사 모드에 의해 제1 밀도로 상기 속도 점군 정보를 취득하고, 상기 제2 주사 모드에 의해 상기 제1 밀도보다 높은 제2 밀도로 상기 속도 점군 정보를 취득하는, 상기 (4) 또는 (5)에 기재된 센싱 시스템.
(7) 상기 제2 주사 범위는, 이동하고 있는 상기 대상물을 포함하는, 상기 (4) 내지 (6)의 어느 것에 기재된 센싱 시스템.
(8) 상기 제2 주사 범위는, 소정 이상의 속도로 이동하고 있는 사람인 상기 대상물을 포함하는, 상기 (4) 내지 (7)의 어느 것에 기재된 센싱 시스템.
(9) 상기 주사 제어부는,
상기 고체 촬상 장치에 의해 촬영된 상기 촬상 화상에 기초하여 상기 제1 주사 모드에서 상기 제2 주사 모드로 전환하는, 상기 (4) 내지 (8)의 어느 것에 기재된 센싱 시스템.
(10) 상기 주사 제어부는,
상기 촬상 화상에서의, 상기 속도 점군 정보에 기초하여 움직임이 검지된 영역에 대응하는 부분 화상에 기초하여, 상기 제1 주사 모드에서 상기 제2 주사 모드로 전환하는, 상기 (9)에 기재된 센싱 시스템.
(11) 상기 주사 제어부는,
상기 제1 주사 모드에 의해 제1 스캔 패턴으로 상기 제1 주사 범위를 주사하고, 상기 제2 주사 모드에 의해 제2 스캔 패턴으로 상기 제2 주사 범위를 주사하는, 상기 (4) 내지 (10)의 어느 것에 기재된 센싱 시스템.
(12) 상기 제2 스캔 패턴은, 단위 면적당 주사선수가 상기 제1 스캔 패턴보다 많은, 상기 (11)에 기재된 센싱 시스템.
(13) 상기 광 검출 측거 장치의 출력과, 상기 고체 촬상 장치의 출력에 기초하여 이동하고 있는 사람을 인식하는 인식부와,
상기 인식부에 의해 인식된 상기 이동하고 있는 사람을 시계열로 취득하여 인류를 해석하는 인류 해석부
를 더 구비하는, 상기 (1) 내지 (12)의 어느 것에 기재된 센싱 시스템.
(14) 상기 속도 점군 정보에 기초하여, 상기 촬상 화상으로부터 상기 대상물을 포함하는 부분 화상을 추출하는 신호 처리부와,
상기 부분 화상에 포함되는 이상 사상을 인식하는 인식부와,
상기 광 검출 측거 장치에 의한 상기 수신 신호를 주사하는 주사 범위를 제어하는 주사 제어부
를 더 구비하고,
상기 주사 제어부는,
상기 주사 범위를 주사하는 주사 모드로서, 제1 주사 범위를 주사하도록 제어하는 제1 주사 모드와, 상기 제1 주사 범위보다도 좁은 제2 주사 범위를 주사하도록 제어하는 제2 주사 모드를 갖고,
상기 인식부가 상기 이상 사태의 인식을 행하기 위한 충분한 정보량을 상기 부분 화상이 갖고 있지 않은 경우에, 상기 수신 신호를 주사하는 주사 모드를, 상기 제1 주사 모드에서, 상기 부분 화상의 영역에 대응하는 제2 주사 범위를 주사하는 상기 제2 주사 모드로 전환하는, 상기 (1) 내지 (12)의 어느 것에 기재된 센싱 시스템.
1, 1a, 1b, 1c: 센싱 시스템 3: 공간
10, 101, 102, 10a, 10a1, 10a2: 센서 유닛
11, 111, 112, 11a: 광 검출 측거부 12, 121, 122: 카메라
13, 13a, 13b, 13c: 신호 처리부 30, 31: 대상 범위
32, 32tgt, 33: 주목 영역 40, 47: 이동 물체
41, 42: 정적 물체 43: 차폐 영역
50: 거리 화상 51: 속도 화상
52: 합성 화상 60: 속도 점군
70: 합성 화상 프레임 100: 주사부
101: 주사 제어부 102: 각도 검출부
110: 송신 광 제어부 111: 광 송신부
112: 광 수신부 113: 수신 신호 처리부
120: 점군 생성부 140, 140a: 점군 합성부
141: 3D 물체 검출부 142: 3D 물체 인식부
150, 150a: 화상 합성부 151, 151a: 2D 물체 검출부
152, 152a: 2D 물체 인식부 160, 160a: I/F부
170: 국소 주사 제어부 200, 200a: 각도 범위
210: 주사선 231: 국소 주사 영역
300: 인류 해석 시스템 320: 인류 분석 장치
321: 인물 인식부 322: 인류 해석부
330: 인류 DB 340: 정보 제시 장치
341: 맵 400: 이상 검지 시스템
410: 이상 분석 장치 411: 이상 해석부
420: 이상 사상 DB 430: 통지 장치

Claims (14)

  1. 대상물에서 반사되어서 수신된 수신 신호에 기초하는 속도 점군 정보를 바탕으로 한 속도 화상을 상기 대상물의 정보로서 출력하는, 주파수 연속 변조파를 사용한 광 검출 측거 장치와,
    상기 대상물을 촬상한 촬상 화상을 상기 대상물의 정보로서 출력하는 고체 촬상 장치
    를 구비하고,
    상기 광 검출 측거 장치 및 상기 고체 촬상 장치는, 상기 대상물의 동일한 측으로부터의 정보를 취득하도록 배치되는,
    센싱 시스템.
  2. 제1항에 있어서, 상기 고체 촬상 장치의 해상도는, 상기 광 검출 측거 장치의 해상도보다도 높은, 센싱 시스템.
  3. 제1항에 있어서, 각각 상기 광 검출 측거 장치와 상기 고체 촬상 장치를 포함하는 복수의 유닛을 갖고,
    상기 복수의 유닛 각각은, 상기 대상물의 서로 다른 측으로부터의 정보를 취득하도록 배치되는, 센싱 시스템.
  4. 제1항에 있어서, 상기 광 검출 측거 장치는,
    상기 수신 신호를 주사하는 주사 범위를 제어하는 주사 제어부를 갖고,
    상기 주사 제어부는,
    상기 주사 범위를 주사하는 주사 모드로서, 제1 주사 범위를 주사하도록 제어하는 제1 주사 모드와, 상기 제1 주사 범위보다도 좁은 제2 주사 범위를 주사하도록 제어하는 제2 주사 모드를 갖는, 센싱 시스템.
  5. 제4항에 있어서, 상기 제2 주사 범위는, 상기 제1 주사 범위에 포함되는, 센싱 시스템.
  6. 제4항에 있어서, 상기 광 검출 측거 장치는,
    상기 제1 주사 모드에 의해 제1 밀도로 상기 속도 점군 정보를 취득하고, 상기 제2 주사 모드에 의해 상기 제1 밀도보다 높은 제2 밀도로 상기 속도 점군 정보를 취득하는, 센싱 시스템.
  7. 제4항에 있어서, 상기 제2 주사 범위는, 이동하고 있는 상기 대상물을 포함하는, 센싱 시스템.
  8. 제4항에 있어서, 상기 제2 주사 범위는, 소정 이상의 속도로 이동하고 있는 사람인 상기 대상물을 포함하는, 센싱 시스템.
  9. 제4항에 있어서, 상기 주사 제어부는,
    상기 고체 촬상 장치에 의해 촬영된 상기 촬상 화상에 기초하여 상기 제1 주사 모드에서 상기 제2 주사 모드로 전환하는, 센싱 시스템.
  10. 제9항에 있어서, 상기 주사 제어부는,
    상기 촬상 화상에서의, 상기 속도 점군 정보에 기초하여 움직임이 검지된 영역에 대응하는 부분 화상에 기초하여, 상기 제1 주사 모드에서 상기 제2 주사 모드로 전환하는, 센싱 시스템.
  11. 제4항에 있어서, 상기 주사 제어부는,
    상기 제1 주사 모드에 의해 제1 스캔 패턴으로 상기 제1 주사 범위를 주사하고, 상기 제2 주사 모드에 의해 제2 스캔 패턴으로 상기 제2 주사 범위를 주사하는, 센싱 시스템.
  12. 제11항에 있어서, 상기 제2 스캔 패턴은, 단위 면적당 주사선수가 상기 제1 스캔 패턴보다 많은, 센싱 시스템.
  13. 제1항에 있어서, 상기 광 검출 측거 장치의 출력과, 상기 고체 촬상 장치의 출력에 기초하여 이동하고 있는 사람을 인식하는 인식부와,
    상기 인식부에 의해 인식된 상기 이동하고 있는 사람을 시계열로 취득하여 인류를 해석하는 인류 해석부를 더 구비하는, 센싱 시스템.
  14. 제1항에 있어서, 상기 속도 점군 정보에 기초하여, 상기 촬상 화상으로부터 상기 대상물을 포함하는 부분 화상을 추출하는 신호 처리부와,
    상기 부분 화상에 포함되는 이상 사상을 인식하는 인식부와,
    상기 광 검출 측거 장치에 의한 상기 수신 신호를 주사하는 주사 범위를 제어하는 주사 제어부
    를 더 구비하고,
    상기 주사 제어부는,
    상기 주사 범위를 주사하는 주사 모드로서, 제1 주사 범위를 주사하도록 제어하는 제1 주사 모드와, 상기 제1 주사 범위보다도 좁은 제2 주사 범위를 주사하도록 제어하는 제2 주사 모드를 갖고,
    상기 인식부가 상기 이상 사상의 인식을 행하기 위한 충분한 정보량을 상기 부분 화상이 갖고 있지 않은 경우에, 상기 수신 신호를 주사하는 주사 모드를, 상기 제1 주사 모드에서, 상기 부분 화상의 영역에 대응하는 제2 주사 범위를 주사하는 상기 제2 주사 모드로 전환하는, 센싱 시스템.
KR1020237029473A 2021-03-17 2021-11-11 센싱 시스템 KR20230158474A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163162210P 2021-03-17 2021-03-17
US63/162,210 2021-03-17
PCT/JP2021/041642 WO2022195954A1 (ja) 2021-03-17 2021-11-11 センシングシステム

Publications (1)

Publication Number Publication Date
KR20230158474A true KR20230158474A (ko) 2023-11-20

Family

ID=83320269

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237029473A KR20230158474A (ko) 2021-03-17 2021-11-11 센싱 시스템

Country Status (6)

Country Link
EP (1) EP4310549A1 (ko)
JP (1) JPWO2022195954A1 (ko)
KR (1) KR20230158474A (ko)
CN (1) CN116997821A (ko)
TW (1) TW202238172A (ko)
WO (1) WO2022195954A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102651012B1 (ko) * 2021-11-24 2024-03-25 (주)스마트레이더시스템 4차원 레이더 신호처리 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003272061A (ja) 2002-03-13 2003-09-26 Omron Corp 監視装置
JP2019101000A (ja) 2017-12-08 2019-06-24 コニカミノルタ株式会社 測距点群データ測定システム、および制御プログラム
JP2019114280A (ja) 2014-09-26 2019-07-11 日本電気株式会社 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6350923B2 (ja) * 2016-02-24 2018-07-04 パナソニックＩｐマネジメント株式会社 変位検出装置および変位検出方法
EP3847471B1 (en) * 2018-09-05 2024-05-29 Aurora Operations, Inc. Method and system for pitch-catch scanning of coherent lidar
JP7337654B2 (ja) * 2018-11-13 2023-09-04 株式会社東芝 保全活動サポートシステムおよび保全活動サポート方法
US10846817B2 (en) * 2018-11-15 2020-11-24 Toyota Research Institute, Inc. Systems and methods for registering 3D data with 2D image data
JP7320001B2 (ja) * 2018-12-07 2023-08-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
CN112859033A (zh) * 2021-02-23 2021-05-28 加特兰微电子科技(上海)有限公司 目标探测的方法、装置及相关设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003272061A (ja) 2002-03-13 2003-09-26 Omron Corp 監視装置
JP2019114280A (ja) 2014-09-26 2019-07-11 日本電気株式会社 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体
JP2019101000A (ja) 2017-12-08 2019-06-24 コニカミノルタ株式会社 測距点群データ測定システム、および制御プログラム

Also Published As

Publication number Publication date
CN116997821A (zh) 2023-11-03
WO2022195954A1 (ja) 2022-09-22
TW202238172A (zh) 2022-10-01
EP4310549A1 (en) 2024-01-24
JPWO2022195954A1 (ko) 2022-09-22

Similar Documents

Publication Publication Date Title
US11422265B2 (en) Driver visualization and semantic monitoring of a vehicle using LiDAR data
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
WO2019179417A1 (zh) 数据融合方法以及相关设备
US9432593B2 (en) Target object information acquisition method and electronic device
US6678394B1 (en) Obstacle detection system
Gandhi et al. High-resolution depth maps based on TOF-stereo fusion
CN110325879A (zh) 用于压缩三维深度感测的系统和方法
CN111045000A (zh) 监测系统和方法
US20160313446A1 (en) Three-dimensional imaging radar system and method based on a plurality of times of integral
CN110007313A (zh) 基于无人机的障碍物检测方法及装置
KR20200071960A (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
CN113160327A (zh) 一种点云补全的实现方法和系统
WO2022135594A1 (zh) 目标物体的检测方法及装置、融合处理单元、介质
JP6772639B2 (ja) 視差演算システム、移動体及びプログラム
CN109085603A (zh) 光学三维成像系统和彩色三维图像成像方法
CN101271590A (zh) 一种获取凸轮廓物体形状的方法
Walia et al. Gated2gated: Self-supervised depth estimation from gated images
KR20230158474A (ko) 센싱 시스템
US20220373683A1 (en) Image processing device, monitoring system, and image processing method
Pal et al. 3D point cloud generation from 2D depth camera images using successive triangulation
US11734833B2 (en) Systems and methods for detecting movement of at least one non-line-of-sight object
US20240151853A1 (en) Measurement device, measurement method, and information processing device
JPS62231190A (ja) 衝突警報装置
WO2022083529A1 (zh) 一种数据处理方法及装置