KR20220117218A - 정보 처리 장치, 정보 처리 시스템, 정보 처리 프로그램 및 정보 처리 방법 - Google Patents

정보 처리 장치, 정보 처리 시스템, 정보 처리 프로그램 및 정보 처리 방법 Download PDF

Info

Publication number
KR20220117218A
KR20220117218A KR1020227019276A KR20227019276A KR20220117218A KR 20220117218 A KR20220117218 A KR 20220117218A KR 1020227019276 A KR1020227019276 A KR 1020227019276A KR 20227019276 A KR20227019276 A KR 20227019276A KR 20220117218 A KR20220117218 A KR 20220117218A
Authority
KR
South Korea
Prior art keywords
sensor
object recognition
image
data
processing unit
Prior art date
Application number
KR1020227019276A
Other languages
English (en)
Inventor
다이 마츠나가
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20220117218A publication Critical patent/KR20220117218A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

다른 복수의 센서를 사용하는 경우의 처리 부하를 경감 가능하게 한다. 본 개시에 관한 정보 처리 장치는, 제1 센서(23)의 출력에, 제1 센서와는 다른 제2 센서(21)의 출력에 기초하는 물체 인식 처리의 과정에서 검출되는 물체 우도에 따라서 생성되는 영역 정보를 부가하여 대상물을 인식하는 인식 처리를 행하는 인식 처리부(15, 40b)를 구비한다.

Description

정보 처리 장치, 정보 처리 시스템, 정보 처리 프로그램 및 정보 처리 방법
본 개시는, 정보 처리 장치, 정보 처리 시스템, 정보 처리 프로그램 및 정보 처리 방법에 관한 것이다.
이미지 센서나 밀리미터파 레이더 등의 센서를 사용하여 물체를 검출하는 기술이 알려져 있다. 물체를 검출하기 위한 센서로서는, 여러가지 검출 방식의 것이 있고, 각각 적합한 상황이 다른 경우가 있다. 그 때문에, 검출 방식이 다른 복수의 센서를 병용하여 물체 검출을 행하는 기술이 제안되어 있다.
국제 공개 제17/057056호
검출 방식이 다른 복수의 센서를 병용하는 경우에, 이들 복수의 센서 각각의 출력의 모두를 사용하여 검출 처리를 행하면, 검출 처리의 부하가 커져 버릴 우려가 있다. 이 검출 처리의 부하의 증대를 회피하기 위해서는, 센서의 출력에 대하여 검출 창을 설정하고, 검출 처리의 범위를 제한하는 방법이 생각된다. 그러나, 종래에는, 이 검출 창의 설정 방법이 정해져 있지 않았다.
본 개시는, 다른 복수의 센서를 사용하는 경우의 처리 부하를 경감 가능한 정보 처리 장치, 정보 처리 시스템, 정보 처리 프로그램 및 정보 처리 방법을 제공하는 것을 목적으로 한다.
본 개시에 관한 정보 처리 장치는, 제1 센서의 출력에, 제1 센서와는 다른 제2 센서의 출력에 기초하는 물체 인식 처리의 과정에서 검출되는 물체 우도에 따라서 생성되는 영역 정보를 부가하여 대상물을 인식하는 인식 처리를 행하는 인식 처리부를 구비한다.
도 1은 차량 제어 시스템의 개략적인 구성의 일례를 도시하는 블록도이다.
도 2는 차량 제어 시스템에 있어서의 차외 정보 검출 유닛의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 3은 인식 처리부에 사용되는 물체 인식 모델의 구성예를 도시하는 도면이다.
도 4는 학습 시스템의 구성예를 도시하는 블록도이다.
도 5는 각 실시 형태에 적용 가능한 차외 정보 검출 유닛의 하드웨어 구성의 일례를 도시하는 블록도이다.
도 6은 본 개시에 실시 형태에 따른 물체 인식 모델에 대하여 개략적으로 도시하는 도면이다.
도 7은 제1 실시 형태에 따른 물체 인식 모델의 일례의 구성을 도시하는 도면이다.
도 8은 제1 실시 형태에 따른 합성부의 일례의 구성을 도시하는 도면이다.
도 9는 제1 실시 형태에 따른 물체 인식 모델에 의한 어텐션 맵의 제1 예를 설명하기 위한 모식도이다.
도 10은 제1 실시 형태에 따른 물체 인식 모델에 의한 어텐션 맵의 제2 예를 설명하기 위한 모식도이다.
도 11은 제2 실시 형태에 따른 물체 인식 모델의 일례의 구성을 도시하는 도면이다.
도 12는 제3 실시 형태에 따른 물체 인식 모델의 일례의 구성을 도시하는 도면이다.
도 13은 제3 실시 형태에 따른 합성부의 일례의 구성을 도시하는 도면이다.
도 14는 제4 실시 형태에 따른 물체 인식 모델의 일례의 구성을 도시하는 도면이다.
도 15는 제5 실시 형태에 따른 물체 인식 모델의 일례의 구성을 도시하는 도면이다.
도 16은 제6 실시 형태에 따른 차외 정보 검출 유닛 및 데이터 취득부의 제1 예를 나타내는 일례의 블록도이다.
도 17은 제6 실시 형태에 따른 차외 정보 검출 유닛 및 데이터 취득부의 제2 예를 나타내는 일례의 블록도이다.
도 18은 제6의 실시 형태에 따른 차외 정보 검출 유닛 및 데이터 취득부의 제3 예를 나타내는 일례의 블록도이다.
도 19는 제6의 실시 형태에 따른 차외 정보 검출 유닛 및 데이터 취득부의 제4 예를 나타내는 일례의 블록도이다.
이하, 본 개시의 실시 형태에 대해서, 도면에 기초하여 상세하게 설명한다. 또한, 이하의 실시 형태에 있어서, 동일한 부위에는 동일한 번호를 붙임으로써, 중복하는 설명을 생략한다.
이하, 본 개시의 실시 형태에 대해서, 하기의 순서에 따라 설명한다.
1. 각 실시 형태에 적용 가능한 기술
1-1. 차량 탑재 시스템의 예
1-2. 기능의 개요
1-3. 하드웨어 구성예
2. 본 개시의 실시 형태의 개략
3. 제1 실시 형태
3-1. 구체예
4. 제2 실시 형태
5. 제3 실시 형태
6. 제4 실시 형태
7. 제5 실시 형태
8. 제6 실시 형태
8-1. 제1 예
8-2. 제2 예
8-3. 제3 예
8-4. 제4 예
8-5. 제5 예
8-6. 제6 예
[1. 각 실시 형태에 적용 가능한 기술]
본 개시의 각 실시 형태 설명에 앞서, 이해를 용이하게 하기 위해서, 본 개시의 각 실시 형태에 적용 가능한 기술에 대하여 설명한다.
(1-1. 차량 탑재 시스템의 예)
우선, 본 개시의 각 실시 형태에 적용 가능한 차량 탑재 시스템에 대하여 개략적으로 설명한다. 도 1은, 본 개시에 관한 각 실시 형태에 적용 가능한 차량 탑재 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 도시하는 블록도이다.
차량 제어 시스템(12000)은, 통신 네트워크(12001)를 통해 접속된 복수의 전자 제어 유닛을 구비한다. 도 1에 나타낸 예에서는, 차량 제어 시스템(12000)은, 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(10), 차내 정보 검출 유닛(12040) 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로컴퓨터(12051), 음성 화상 출력부(12052) 및 차량 탑재 네트워크 I/F(interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은, 각종 프로그램에 따라서 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들어, 구동계 제어 유닛(12010)은, 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은, 각종 프로그램에 따라서 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들어, 보디계 제어 유닛(12020)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 혹은, 헤드 램프, 백 램프, 브레이크 램프, 방향 지시등 또는 포그 램프 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은, 이들의 전파 또는 신호의 입력을 접수하고, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(10)은, 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들어, 차외 정보 검출 유닛(10)에는, 데이터 취득부(20)가 접속된다. 차외 정보 검출 유닛(10)은, 데이터 취득부(20)는, 차외의 상황을 취득하기 위한 각종 센서를 포함한다. 예를 들어, 데이터 취득부(20)는, 가시광 혹은 적외선 등의 비가시광을 수광하고, 광의 수광량에 따른 전기 신호를 출력하는 광 센서를 포함할 수 있고, 차외 정보 검출 유닛(10)은, 광 센서에 의해 촬상된 화상을 수신한다. 또한, 데이터 취득부(20)는, 밀리미터파 레이더, LiDAR(Light Detection and Ranging, 또는 Laser Imaging Detection and Ranging), 초음파 센서 등, 다른 방식으로 외부의 상황을 취득하는 센서를 더 탑재할 수 있다.
데이터 취득부(20)는, 예를 들어 차량(12100)의 프런트 노즈, 사이드미러, 혹은, 차 실내의 프런트 글라스의 상부 등의 위치에, 차량의 전방을 데이터 취득 방향으로 하여 마련된다. 차외 정보 검출 유닛(10)은, 데이터 취득부(20)로부터 수신한 각종 센서 출력에 기초하여, 사람, 차, 장해물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들어 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들어 운전자를 촬상하는 카메라를 포함하고, 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지 판별해도 된다.
마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(10) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하고, 구동계 제어 유닛(12010)에 대하여 제어 지령을 출력할 수 있다. 예를 들어, 마이크로컴퓨터(12051)는, 차량의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(10) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량의 주위 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 따르지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(10)에서 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대하여 제어 지령을 출력할 수 있다. 예를 들어, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(10)에서 검지한 선행차 또는 대향차의 위치에 따라서 헤드 램프를 제어하고, 하이 빔을 로우 빔으로 전환하는 등의 방현을 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대하여, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 중 적어도 한쪽의 출력 신호를 송신한다. 도 1의 예에서는, 출력 장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되어 있다. 표시부(12062)는, 예를 들어 온보드 디스플레이 및 헤드업 디스플레이의 적어도 하나를 포함하고 있어도 된다.
(1-2. 기능의 개요)
이어서, 본 개시의 각 실시 형태에 적용 가능한 차외 정보 검출 유닛(10)의 기능예에 대해서, 개략적으로 설명한다.
도 2는, 도 1의 차량 제어 시스템(12000)에 있어서의 차외 정보 검출 유닛(10)의 기능을 설명하기 위한 일례의 기능 블록도이다. 도 2에 있어서, 데이터 취득부(20)는, 카메라(21) 및 밀리미터파 레이더(23)를 구비한다. 차외 정보 검출 유닛(10)은, 정보 처리부(11)를 구비한다. 정보 처리부(11)는, 화상 처리부(12), 신호 처리부(13), 기하 변환부(14) 및 인식 처리부(15)를 구비한다.
카메라(21)는, 이미지 센서(22)를 구비한다. 이미지 센서(22)에는, CMOS 이미지 센서, CCD 이미지 센서 등의 임의의 종류의 이미지 센서를 사용할 수 있다. 카메라(21)(이미지 센서(22))는, 당해 차량 제어 시스템(12000)이 탑재되는 차량의 전방을 촬영하고, 얻어진 화상(이하, 촬영 화상이라고 칭함)을 화상 처리부(12)에 공급한다.
밀리미터파 레이더(23)는, 차량의 전방 센싱을 행하고, 카메라(21)와 센싱 범위의 적어도 일부가 겹친다. 예를 들어, 밀리미터파 레이더(23)는, 밀리미터파를 포함하는 송신 신호를 차량의 전방에 송신하고, 차량의 전방 물체(반사체)에 의해 반사된 신호인 수신 신호를 수신 안테나에 의해 수신한다. 수신 안테나는, 예를 들어 차량의 가로 방향(폭 방향)으로 소정의 간격으로 복수 마련된다. 또한, 수신 안테나를 높이 방향으로도 복수 마련하게 해도 된다. 밀리미터파 레이더(23)는, 각 수신 안테나에 의해 수신한 수신 신호의 강도를 시계열에 나타내는 데이터(이하, 밀리미터파 데이터라고 칭함)를 신호 처리부(13)에 공급한다.
또한, 밀리미터파 레이더(23)의 송신 신호는, 예를 들어 2차원 평면에 있어서 소정의 각도 범위에서 스캔되어, 부채상의 센싱 범위를 형성한다. 이것을, 수직 방향으로 스캔함으로써, 3차원의 정보를 갖는 조감도를 얻을 수 있다.
화상 처리부(12)는, 촬영 화상에 대하여 소정의 화상 처리를 행한다. 예를 들어, 화상 처리부(12)는, 인식 처리부(15)를 처리할 수 있는 화상의 사이즈에 맞추어, 촬영 화상의 화소 시닝 처리 또는 필터링 처리 등을 행하고, 촬영 화상의 화소수를 삭감한다(해상도를 낮춘다). 화상 처리부(12)는, 해상도를 낮춘 촬영 화상(이하, 저해상도 화상이라고 칭함)을 인식 처리부(15)에 공급한다.
신호 처리부(13)는, 밀리미터파 데이터에 대하여 소정의 신호 처리를 행함으로써, 밀리미터파 레이더(23)의 센싱 결과를 나타내는 화상인 밀리미터파 화상을 생성한다. 또한, 신호 처리부(13)는, 예를 들어 신호 강도 화상 및 속도 화상을 포함하는 복수 ch(채널)의 밀리미터파 화상을 생성한다. 신호 강도 화상은, 차량의 전방의 각 물체의 위치 및 각 물체에 의해 반사된 신호(수신 신호)의 강도를 나타내는 밀리미터파 화상이다. 속도 화상은, 차량의 전방 각 물체 위치 및 각 물체의 차량에 대한 상대 속도를 나타내는 밀리미터파 화상이다.
기하 변환부(14)는, 밀리미터파 화상의 기하 변환을 행함으로써, 밀리미터파 화상을 촬영 화상과 동일한 좌표계의 화상으로 변환한다. 바꾸어 말하면, 기하 변환부(14)는, 밀리미터파 화상을 촬영 화상과 동일한 시점으로부터 본 화상(이하, 기하 변환 밀리미터파 화상이라고 칭함)으로 변환한다. 보다 구체적으로는, 기하 변환부(14)는, 신호 강도 화상 및 속도 화상의 좌표계를 밀리미터파 화상의 좌표계로부터 촬영 화상의 좌표계로 변환한다. 또한, 이하, 기하 변환 후의 신호 강도 화상 및 속도 화상을, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상이라고 칭한다. 기하 변환부(14)는, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 인식 처리부(15)에 공급한다.
인식 처리부(15)는, 기계 학습에 의해 미리 얻어진 인식 모델을 사용하여, 저해상도 화상, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상에 기초하여, 차량의 전방 대상물 인식 처리를 행한다. 인식 처리부(15)는, 대상물의 인식 결과를 나타내는 데이터를, 통신 네트워크(12001)를 통해 통합 제어 유닛(12050)에 공급한다.
또한, 대상물이란, 인식 처리부(15)에 의해 인식하는 대상으로 되는 물체이고, 임의의 물체를 대상물로 하는 것이 가능하다. 단, 밀리미터파 레이더(23)의 송신 신호의 반사율이 높은 부분을 포함하는 물체를 대상물로 하는 것이 바람직하다. 이하, 대상물이 차량인 경우를 적절히 예로 들면서 설명을 행한다.
도 3은, 인식 처리부(15)에 사용되는 물체 인식 모델(40)의 구성예를 나타내고 있다.
물체 인식 모델(40)은, 기계 학습에 의해 얻어지는 모델이다. 구체적으로는, 물체 인식 모델(40)은, 딥 뉴럴 네트워크를 사용하여, 기계 학습의 하나인 딥 러닝에 의해 얻어지는 모델이다. 보다 구체적으로는, 물체 인식 모델(40)은, 딥 뉴럴 네트워크를 사용한 물체 인식 모델의 하나인 SSD(Single Shot MultiboxDetector)에 의해 구성된다. 물체 인식 모델(40)은, 특징량 추출부(44) 및 인식부(45)를 구비한다.
특징량 추출부(44)는, 컨벌루션 뉴럴 네트워크를 사용한 컨벌루션층인 특징 추출층(41a) 내지 특징 추출층(41c) 및 가산부(42)를 구비한다. 특징 추출층(41a)은, 촬영 화상 Pa의 특징량을 추출하고, 특징량의 분포를 2차원으로 나타내는 특징 맵(이하, 촬영 화상 특징 맵이라고 칭함)을 생성한다. 특징 추출층(41a)은, 촬영 화상 특징 맵을 가산부(42)에 공급한다.
특징 추출층(41b)은, 기하 변환 신호 강도 화상 Pb의 특징량을 추출하고, 특징량의 분포를 2차원으로 나타내는 특징 맵(이하, 신호 강도 화상 특징 맵이라고 칭함)을 생성한다. 특징 추출층(41b)은, 신호 강도 화상 특징 맵을 가산부(42)에 공급한다.
특징 추출층(41c)은, 기하 변환 속도 화상 Pc의 특징량을 추출하고, 특징량의 분포를 2차원으로 나타내는 특징 맵(이하, 속도 화상 특징 맵이라고 칭함)을 생성한다. 특징 추출층(41c)은, 속도 화상 특징 맵을 가산부(42)에 공급한다.
가산부(42)는, 촬영 화상 특징 맵, 신호 강도 화상 특징 맵 및 속도 화상 특징 맵을 가산함으로써, 합성 특징 맵을 생성한다. 가산부(42)는, 합성 특징 맵을 인식부(45)에 공급한다.
인식부(45)는, 컨벌루션 뉴럴 네트워크를 구비한다. 구체적으로는, 인식부(45)는, 컨벌루션층(43a) 내지 컨벌루션층(43c)을 구비한다.
컨벌루션층(43a)은, 합성 특징 맵의 컨볼루션 연산을 행한다. 컨벌루션층(43a)은, 컨볼루션 연산 후의 합성 특징 맵에 기초하여, 대상물의 인식 처리를 행한다. 컨벌루션층(43a)은, 컨볼루션 연산 후의 합성 특징 맵을 컨벌루션층(43b)에 공급한다.
컨벌루션층(43b)은, 컨벌루션층(43a)으로부터 공급되는 합성 특징 맵의 컨볼루션 연산을 행한다. 컨벌루션층(43b)은, 컨볼루션 연산 후의 합성 특징 맵에 기초하여, 대상물의 인식 처리를 행한다. 컨벌루션층(43a)은, 컨볼루션 연산 후의 합성 특징 맵을 컨벌루션층(43c)에 공급한다.
컨벌루션층(43c)은, 컨벌루션층(43b)으로부터 공급되는 합성 특징 맵의 컨볼루션 연산을 행한다. 컨벌루션층(43b)은, 컨볼루션 연산 후의 합성 특징 맵에 기초하여, 대상물의 인식 처리를 행한다.
물체 인식 모델(40)은, 컨벌루션층(43a) 내지 컨벌루션층(43c)에 의한 대상물의 인식 결과를 나타내는 데이터를 출력한다.
또한, 합성 특징 맵의 사이즈(화소수)는, 컨벌루션층(43a)으로부터 순서대로작아지고, 컨벌루션층(43c)에서 최소가 된다. 그리고, 합성 특징 맵의 사이즈가 커질수록, 차량(카메라)으로부터 보아서 사이즈가 작은 대상물의 인식 정밀도가 높아지고, 합성 특징 맵의 사이즈가 작아질수록, 차량으로부터 보아서 사이즈가 큰 대상물의 인식 정밀도가 높아진다. 따라서, 예를 들어 대상물이 차량인 경우, 사이즈가 큰 합성 특징 맵에서는, 먼 곳의 작은 차량이 인식되기 쉬워지고, 사이즈가 작은 합성 특징 맵에서는, 근처의 큰 차량이 인식되기 쉬워진다.
도 4는, 학습 시스템(30)의 구성예를 도시하는 블록도이다. 학습 시스템(30)은, 도 3의 물체 인식 모델(40)의 학습 처리를 행한다. 학습 시스템(30)은, 입력부(31), 화상 처리부(32), 정답 데이터 생성부(33), 신호 처리부(34), 기하 변환부(35), 교사 데이터 생성부(36) 및 학습부(37)를 구비한다.
입력부(31)는, 각종 입력 디바이스를 구비하고, 교사 데이터의 생성에 필요한 데이터의 입력 및 유저 조작 등에 사용된다. 예를 들어, 입력부(31)는, 촬영 화상이 입력된 경우, 촬영 화상을 화상 처리부(32)에 공급한다. 예를 들어, 입력부(31)는, 밀리미터파 데이터가 입력된 경우, 밀리미터파 데이터를 신호 처리부(34)에 공급한다. 예를 들어, 입력부(31)는, 유저 조작에 의해 입력된 유저의 지시를 나타내는 데이터를 정답 데이터 생성부(33) 및 교사 데이터 생성부(36)에 공급한다.
화상 처리부(32)는, 도 2의 화상 처리부(12)와 마찬가지의 처리를 행한다. 즉, 화상 처리부(32)는, 촬영 화상에 대하여 소정의 화상 처리를 행함으로써, 저해상도 화상을 생성한다. 화상 처리부(32)는, 저해상도 화상을 정답 데이터 생성부(33) 및 교사 데이터 생성부(36)에 공급한다.
정답 데이터 생성부(33)는, 저해상도 화상에 기초하여, 정답 데이터를 생성한다. 예를 들어, 유저는, 입력부(31)를 통해, 저해상도 화상 내의 차량의 위치를 지정한다. 정답 데이터 생성부(33)는, 유저에 의해 지정된 차량의 위치에 기초하여, 저해상도 화상 내의 차량의 위치를 나타내는 정답 데이터를 생성한다. 정답 데이터 생성부(33)는, 정답 데이터를 교사 데이터 생성부(36)에 공급한다.
신호 처리부(34)는, 도 2의 신호 처리부(13)와 마찬가지의 처리를 행한다. 즉, 신호 처리부(34)는, 밀리미터파 데이터에 대하여 소정의 신호 처리를 행하고, 신호 강도 화상 및 속도 화상을 생성한다. 신호 처리부(34)는, 신호 강도 화상 및 속도 화상을 기하 변환부(35)에 공급한다.
기하 변환부(35)는, 도 2의 기하 변환부(14)와 마찬가지의 처리를 행한다. 즉, 기하 변환부(35)는, 신호 강도 화상 및 속도 화상의 기하 변환을 행한다. 기하 변환부(35)는, 기하 변환 후의 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 교사 데이터 생성부(36)에 공급한다.
교사 데이터 생성부(36)는, 저해상도 화상, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 포함하는 입력 데이터, 그리고, 정답 데이터를 포함하는 교사 데이터를 생성한다. 교사 데이터 생성부(36)는, 교사 데이터를 학습부(37)에 공급한다.
학습부(37)는, 교사 데이터를 사용하여, 물체 인식 모델(40)의 학습 처리를 행한다. 학습부(37)는, 학습 완료의 물체 인식 모델(40)을 출력한다.
여기서, 학습 시스템(30)에 의해 실행되는 물체 인식 모델 학습 처리에 대하여 설명한다.
또한, 이 처리의 개시 전에, 교사 데이터의 생성에 사용되는 데이터가 수집된다. 예를 들어, 차량이 실제로 주행한 상태에서, 차량에 마련된 카메라(21) 및 밀리미터파 레이더(23)가 차량의 전방의 센싱을 행한다. 구체적으로는, 카메라(21)는, 차량의 전방의 촬영을 행하고, 얻어진 촬영 화상을 기억부에 기억시킨다. 밀리미터파 레이더(23)는, 차량의 전방 물체 검출을 행하고, 얻어진 밀리미터파 데이터를 기억부에 기억시킨다. 이 기억부에 축적된 촬영 화상 및 밀리미터파 데이터에 기초하여 교사 데이터가 생성된다.
우선, 학습 시스템(30)은, 교사 데이터를 생성한다. 예를 들어, 유저는, 입력부(31)를 통해, 대략 동시에 취득된 촬영 화상 및 밀리미터파 데이터를 학습 시스템(30)에 입력한다. 즉, 대략 동일한 시각으로 센싱함으로써 얻어진 촬영 화상 및 밀리미터파 데이터가, 학습 시스템(30)에 입력된다. 촬영 화상은, 화상 처리부(32)에 공급되고, 밀리미터파 데이터는, 신호 처리부(34)에 공급된다.
화상 처리부(32)는, 촬영 화상에 대하여 시닝 처리 등의 화상 처리를 행하고, 저해상도 화상을 생성한다. 화상 처리부(32)는, 저해상도 화상을 정답 데이터 생성부(33) 및 교사 데이터 생성부(36)에 공급한다.
신호 처리부(34)는, 밀리미터파 데이터에 대하여 소정의 신호 처리를 행함으로써, 차량의 전방에 있어서 송신 신호를 반사한 물체의 위치 및 속도를 추정한다. 물체의 위치는, 예를 들어 차량으로부터 물체까지의 거리 및 밀리미터파 레이더(23)의 광축 방향(차량의 진행 방향)에 대한 물체의 방향(각도)에 의해 표시된다. 또한, 밀리미터파 레이더(23)의 광축 방향은, 예를 들어 송신 신호가 방사상으로 송신되는 경우, 방사되는 범위의 중심 방향과 동등해지고, 송신 신호가 주사되는 경우, 주사되는 범위의 중심 방향과 동등해진다. 물체의 속도는, 예를 들어 차량에 대한 물체의 상대 속도에 의해 표시된다.
신호 처리부(34)는, 물체의 위치 및 속도의 추정 결과에 기초하여, 신호 강도 화상 및 속도 화상을 생성한다. 신호 처리부(34)는, 신호 강도 화상 및 속도 화상을 기하 변환부(35)에 공급한다. 또한, 도시는 생략하지만, 속도 화상은, 차량의 전방 물체 위치 및 각 물체의 상대 속도의 분포를, 신호 강도 화상과 마찬가지로, 조감도에 의해 나타낸 화상이다.
기하 변환부(35)는, 신호 강도 화상 및 속도 화상의 기하 변환을 행하고, 신호 강도 화상 및 속도 화상을 촬영 화상과 동일한 좌표계의 화상으로 변환함으로써, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 생성한다. 기하 변환부(35)는, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 교사 데이터 생성부(36)에 공급한다.
기하 변환 신호 강도 화상에서는, 신호 강도가 강한 부분일수록 밝아지고, 신호 강도가 약한 부분일수록 어두워진다. 기하 변환 속도 화상에서는, 상대 속도가 빠른 부분일수록 밝아지고, 상대 속도가 느린 부분일수록 어두워지고, 상대 속도가 검출 불능한(물체가 존재하지 않는) 부분은 검게 빈틈없이 칠해진다. 이와 같이, 밀리미터파 화상(신호 강도 화상 및 속도 화상)의 기하 변환을 행함으로써, 가로 방향 및 깊이 방향의 물체 위치뿐만 아니라, 높이 방향의 물체 위치도 표시된다.
단, 밀리미터파 레이더(23)는, 거리가 멀어질수록 높이 방향의 분해능이 저하된다. 그 때문에, 거리가 먼 물체의 높이가, 실제보다 크게 검출되는 경우가 있다.
이에 비해, 기하 변환부(35)는, 밀리미터파 화상의 기하 변환을 행하는 경우에, 소정의 거리 이상 이격된 물체의 높이를 제한한다. 구체적으로는, 기하 변환부(35)는, 밀리미터파 화상의 기하 변환을 행하는 경우에, 소정의 거리 이상 이격된 물체의 높이가 소정의 상한값을 초과할 때, 그 물체의 높이를 상한값으로 제한하여, 기하 변환을 행한다. 이에 의해, 예를 들어 대상물이 차량인 경우, 먼 곳의 차량의 높이가 실제보다 크게 검출됨으로써 오인식이 발생하는 것이 방지된다.
교사 데이터 생성부(36)는, 촬영 화상, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 포함하는 입력 데이터, 그리고, 정답 데이터를 포함하는 교사 데이터를 생성한다. 교사 데이터 생성부(36)는, 생성된 교사 데이터를 학습부(37)에 공급한다.
이어서, 학습부(37)는, 물체 인식 모델(40)의 학습을 행한다. 구체적으로는, 학습부(37)는, 교사 데이터에 포함되는 입력 데이터를 물체 인식 모델(40)에 입력한다. 물체 인식 모델(40)은, 대상물의 인식 처리를 행하고, 인식 결과를 나타내는 데이터를 출력한다. 학습부(37)는, 물체 인식 모델(40)의 인식 결과와 정답 데이터를 비교하여, 오차가 작아지도록, 물체 인식 모델(40)의 파라미터 등을 조정한다.
이어서, 학습부(37)는, 학습을 계속할지의 여부를 판정한다. 예를 들어, 학습부(37)는, 물체 인식 모델(40)의 학습이 수렴되어 있지 않은 경우, 학습을 계속한다고 판정하고, 처리는, 최초의 교사 데이터 생성 처리로 복귀한다. 그 후, 학습을 종료한다고 판정될 때까지, 상술한 각 처리가 반복하여 실행된다.
한편, 학습부(37)의 판정 결과, 예를 들어 물체 인식 모델(40)의 학습이 수렴되어 있는 경우, 학습을 종료한다고 판정하고, 물체 인식 모델 학습 처리를 종료한다. 이상과 같이 하여, 학습 완료의 물체 인식 모델(40)이 생성된다.
(1-3. 하드웨어 구성예)
이어서, 본 개시의 각 실시 형태에 적용 가능한, 차외 정보 검출 유닛(10)의 하드웨어 구성의 예에 대하여 설명한다. 도 5는, 각 실시 형태에 적용 가능한 차외 정보 검출 유닛(10)의 하드웨어 구성의 일례를 도시하는 블록도이다. 도 5에 있어서, 차외 정보 검출 유닛(10)은, 각각 버스(410)에 의해 서로 통신 가능하게 접속된, CPU(Central Processing Unit)(400)와, ROM(Read Only Memory)(401)과, RAM(Random Access Memory)(402)과, 인터페이스(I/F)(403, 404 및 405)를 포함한다. 또한, 차외 정보 검출 유닛(10)은, 플래시 메모리 등에 의한 스토리지 장치를 더 포함할 수도 있다.
CPU(400)는, ROM(401)에 미리 기억된 프로그램이나 데이터에 따라, RAM(402)을 워크 메모리로서 사용하여, 이 차외 정보 검출 유닛(10)의 전체의 동작을 제어한다. 여기서, ROM(401) 또는 RAM(402)에는, 도 2 내지 도 4를 사용하여 설명한, 물체 인식 모델(40)을 실현하기 위한 프로그램 및 데이터가 미리 기억된다. CPU(400)에 의해 이 프로그램이 실행됨으로써, 차외 정보 검출 유닛(10)에 있어서, 물체 인식 모델(40)이 구축된다.
인터페이스(403)는, 카메라(21)를 접속하기 위한 인터페이스이다. 인터페이스(404)는, 밀리미터파 레이더(23)를 접속하기 위한 인터페이스이다. 차외 정보 검출 유닛(10)은, 이들 인터페이스(403 및 404)를 통해 카메라(21) 및 밀리미터파 레이더(23)를 제어함과 함께, 카메라(21)에 의해 촬상된 촬상 화상 데이터(이하, 이미지 데이터라고 칭함)나, 밀리미터파 레이더(23)에 의해 취득된 밀리미터파 데이터를 취득한다. 차외 정보 검출 유닛(10)은, 이들의 이미지 데이터 및 밀리미터파 데이터를 입력 데이터로 하여 물체 인식 모델(40)에 적용함으로써, 물체를 인식하는 인식 처리를 실행한다.
도 5에 있어서, 인터페이스(405)는, 차외 정보 검출 유닛(10)과 통신 네트워크(12001) 사이에서 통신을 행하기 위한 인터페이스이다. 차외 정보 검출 유닛(10)은, 물체 인식 모델(40)에 의해 출력된 물체 인식 결과를 나타내는 정보를, 인터페이스(405)로부터 통신 네트워크(12001)에 대하여 송신한다.
[2. 본 개시의 실시 형태의 개략]
이어서, 본 개시의 실시 형태의 개략에 대하여 설명한다. 본 개시의 각 실시 형태에서는, 대상물을 검출하기 위한 제1 센서의 출력에 기초하여 대상물을 검출하기 위한 검출 창을, 제1 센서와는 다른 방식으로 해당 대상물을 검출하기 위한 제2 센서의 출력에 기초하여 설정하고, 제2 센서의 출력 중 검출 창에 대응하는 영역의 출력에 기초하여, 대상물을 인식하는 인식 처리를 행하도록 하고 있다.
도 6은, 본 개시에 실시 형태에 따른 물체 인식 모델(40)에 대하여 개략적으로 도시하는 도면이다. 물체 인식 모델(40a)에 있어서, 카메라(21)로부터 취득된 이미지 데이터(100)는, 특징 추출층(110)에 입력된다. 또한, 밀리미터파 레이더(23)로부터 취득된 밀리미터파 화상에 의한 밀리미터파 화상 데이터(200)는, 특징 추출층(210)에 입력된다.
물체 인식 모델(40a)에 입력되는 이미지 데이터(100)는, 예를 들어 화상 처리부(12)에 있어서, 1ch 이상의 특징량을 포함하는 데이터로 정형된다. 이미지 데이터(100)는, 물체 인식 모델(40a)에 있어서 특징 추출층(110)에 의해 특징 추출되어, 필요에 따라 사이즈를 변경함과 함께 특징량의 ch를 추가된 데이터로 된다. 특징 추출층(110)에 의해 특징 추출된 이미지 데이터(100)는, 물체 인식층(120)에 있어서 컨벌루션 처리되어, 순차적으로 컨벌루션된 복수의 물체 인식층 데이터가 생성된다.
물체 인식 모델(40a)은, 복수의 물체 인식층 데이터에 기초하여 어텐션 맵(130)을 제작한다. 어텐션 맵(130)은, 예를 들어 이미지 데이터(100)가 나타내는 범위에 대하여, 물체 인식의 대상으로 하는 영역을 한정하기 위한 검출 창을 나타내는 정보를 포함한다. 제작된 어텐션 맵(130)은, 승산부(220)에 입력된다.
한편, 물체 인식 모델(40a)에 입력되는 밀리미터파 화상 데이터(200)는, 예를 들어 신호 처리부(13) 및 기하 변환부(14)에 의해, 1ch 이상의 특징량을 포함하는 데이터로 정형된다. 밀리미터파 화상 데이터(200)는, 물체 인식 모델(40a)에 있어서 특징 추출층(210)에 의해 특징 추출되어, 필요에 따라 사이즈가 변경됨(예를 들어 이미지 데이터(100)와 동일한 사이즈로 됨)과 함께 특징량의 ch를 추가한 데이터로 된다. 특징 추출층에 의해 특징이 추출된 각 ch의 밀리미터파 화상 데이터(200)은, 승산부(220)에 입력되어, 어텐션 맵(130)과의 사이에서 화소마다 승산이 행하여진다. 이에 의해, 밀리미터파 화상 데이터(200)에 있어서, 물체 인식을 행하는 영역이 제한된다. 또한, 승산부(220)의 출력이 가산부(221)에 입력되어, 특징추출층(210)의 출력이 가산된다. 가산부(221)의 출력은, 물체 인식층(230)에 입력되어, 컨벌루션 처리된다.
이와 같이, 어텐션 맵(130)에 의해 제한된 영역에 대하여 물체 인식 처리를 행함으로써, 물체 인식 처리의 처리량을 삭감할 수 있다.
또한, 이미지 데이터(100)로서 과거 프레임(101)의 데이터를 사용함으로써 처리의 고속화를 도모하는 것이 가능하다.
[3. 제1 실시 형태]
이어서, 본 개시의 제1 실시 형태에 대하여 설명한다. 도 7은, 제1 실시 형태에 따른 물체 인식 모델의 일례의 구성을 도시하는 도면이다. 도 7에 있어서, 물체 인식 모델(40b)은, 동 도면의 좌측에 도시되는 특징 추출층(110 및 210), 그리고, 물체 인식층(120 및 230)에서의 처리는, 도 6과 동등하므로, 여기에서의 설명을 생략한다.
도 7의 우측은, 밀리미터파 화상 데이터(200)에 기초하는 물체 인식층(230)과, 이미지 데이터(100)에 기초하는 물체 인식층(120)이 모식적으로 도시되어 있다. 물체 인식층(230)은, 밀리미터파 화상 데이터(200)에 기초하여 순차적으로 컨벌루션 처리된 각 물체 인식층 데이터(2300, 2301, 2302, 2303, 2304, 2305 및 내지 2306)를 포함한다. 또한, 물체 인식층(120)은, 이미지 데이터(100)에 기초하여 순차적으로 컨벌루션 처리된 각 물체 인식층 데이터(1200, 1201, 1202, 1203, 1204, 1205 및 1206)를 포함한다.
또한, 이하에서는, 각 물체 인식층 데이터(1200 내지 1206)를 특별히 구별할 필요가 없는 경우에는, 이들을 물체 인식층 데이터(120x)로 대표시켜서 설명을 행한다. 마찬가지로, 각 물체 인식층 데이터(2300 내지 2306)를 특별히 구별할 필요가 없는 경우에는, 이들을 물체 인식층 데이터(230x)로 대표시켜서 설명을 행한다.
도 7에 있어서, 각 물체 인식층 데이터(1200 내지 1207)는, 각각 어텐션 맵에 대응하는 레이어(층) 화상 #0, #1, #2, #3, #4, #5, #6으로서, 구체적인 예가 도시되어 있다. 상세는 후술하지만, 각 레이어 화상 중, 레이어 화상 #1 및 #2에 도시되는 흰 부분이, 검출 창을 나타내고 있다.
즉, 물체 인식층(120)에서는, 각 레이어 화상 #0, #1, #2, #3, #4, #5, #6의 특징에 기초하여 물체 우도를 구하고, 구한 물체 우도가 높은 영역을 판정한다. 물체 인식층(120)은, 예를 들어 레이어 화상 #1에 대해서, 화소 정보에 기초하여 물체 우도를 구한다. 그리고, 구한 물체 우도를 역치와 비교하여, 당해 물체 우도가 역치보다 높은 영역을 판정한다. 도 7의 예에서는, 레이어 화상 #1에 있어서 희게 표시되고 있는 영역이, 물체 우도가 역치보다 높은 영역을 나타내고 있다. 물체 인식층(120)은, 당해 영역을 나타내는 영역 정보를 생성한다. 이 영역 정보는, 레이어 화상 #1 내에서의 위치를 나타내는 정보와, 그 위치에 있어서의 물체 우도를 나타내는 값을 포함한다. 물체 인식층(120)은, 이 영역 정보에 나타내는 영역에 기초하여 검출 창을 설정하고, 어텐션 맵을 제작한다.
여기서, 각 물체 인식층 데이터(1200 내지 1206)는, 컨벌루션에 의해 순차적으로 사이즈가 작아진다. 예를 들어, 도 7의 예에서는, 레이어 화상 #0(물체 인식층 데이터(1200))에 있어서의 사이즈가 1층분의 컨벌루션에 의해 1/2로 된다. 예를 들어, 레이어 화상 #0에 있어서의 사이즈가 640 화소×384 화소로 하면, 7층의 컨벌루션(및 정형 처리)에 의해, 레이어 화상 #6의 사이즈가 1 화소×1 화소가 된다.
상술한 바와 같이, 컨벌루션수가 적고 사이즈가 큰 레이어 화상은, 보다 작은(먼 곳에 있는) 대상물을 검출할 수 있고, 컨벌루션수가 많고 사이즈가 작은 레이어 화상은, 더 큰(보다 근거리에 있는) 대상물을 검출할 수 있다. 이것은, 밀리미터파 데이터에 기초하는 각 물체 인식층 데이터(2300 내지 2306)에 대해서도 마찬가지이다.
컨벌루션수가 많고 화소수가 적은 레이어 화상이나, 컨벌루션수가 적고 물체가 작게 인식되는 레이어 화상은, 물체 인식 처리에 사용하기에는 적당하지 않은 경우가 있다. 그 때문에, 도 7의 예에서는, 어텐션 맵을 7층 모두에 대해서 제작하지 않고, 목적에 따른 수의 레이어 화상(예를 들어 레이어 화상 #1 내지 #3의 3층)을 사용하여 어텐션 맵을 제작해도 된다.
각 물체 인식층 데이터(1200 내지 1207)는, 각각, 대응하는 합성부(300)에 입력된다. 또한, 밀리미터파 화상 데이터(200)에 기초하는 각 물체 인식층 데이터(2300 내지 2306)도 마찬가지로, 각각 대응하는 합성부(300)에 입력된다. 각 합성부(300)는, 입력된 각 물체 인식층 데이터(1200 내지 1207) 각각과, 각 물체 인식층 데이터(2300 내지 2306) 각각을 합성하고, 합성 물체 인식층 데이터(3100 내지 3106)를 생성한다.
도 8은, 제1 실시 형태에 따른 합성부(300)의 일례의 구성을 도시하는 도면이다. 합성부(300)는, 승산부(220)와, 가산부(221)를 포함한다. 승산부(220)는, 한쪽의 입력 단에 이미지 데이터(100)에 기초하는 어텐션 맵에 의한 물체 인식층 데이터(120x)가 입력된다. 승산부(220)의 다른 쪽의 입력 단에는, 밀리미터파 화상 데이터(200)에 기초하는 물체 인식층 데이터(230x)가 입력된다. 승산부(220)는, 이들 한쪽의 입력 단에 입력된 물체 인식층 데이터(120x)와, 다른 쪽의 입력 단에 입력된 물체 인식층 데이터(230x)의 화소마다의 곱을 계산한다. 이 승산부(220)의 계산에 의해, 밀리미터파 화상 데이터(200)(물체 인식층 데이터(230x))에 있어서의, 검출 창에 대응하는 영역이 강조되게 된다.
이에 한정되지 않고, 물체 인식 모델(40a)은, 밀리미터파 화상 데이터(200)에 있어서의, 검출 창 밖의 영역을 억제하도록 해도 된다.
승산부(220)의 승산 결과는, 가산부(221)의 한쪽의 입력 단에 입력된다. 가산부(221)의 다른 쪽의 입력 단에는, 밀리미터파 화상 데이터(200)에 기초하는 물체 인식층 데이터(230x)가 입력된다. 가산부(221)는, 한쪽의 입력 단에 입력된 승산부(220)의 승산 결과와, 물체 인식층 데이터(230x)에 대해서, 행렬의 합을 산출한다.
이와 같이, 승산부(220) 및 가산부(221)의 처리에 의해, 제1 센서로서의 밀리미터파 레이더(23)에 의한 밀리미터파 화상 데이터(200)에 대하여, 제1 센서와 다른 제2 센서로서의 카메라(21)에 의한 이미지 데이터(100)에 기초하는 물체 인식 처리의 과정에서 검출되는 물체 우도에 따라서 생성되는 영역 정보가 부가된다.
여기서, 가산부(221)에서는, 승산부(220)의 승산 결과에 대하여, 원래의 화상을 가산하는 처리를 행한다. 예를 들어 어텐션 맵이 화소마다 0 또는 1의 값으로 표현되는 경우, 예를 들어 어떤 레이어 화상에 있어서 어텐션 맵이 모두 0인 경우, 혹은, 어텐션 맵에 있어서 0인 영역에서는, 정보가 없어져 버린다. 그 때문에, 후술하는 예측부(150)에서의 처리에 있어서, 당해 영역에 대한 인식 처리가 불가능해진다. 그 때문에, 가산부(221)에서 밀리미터파 화상 데이터(200)에 기초하는 물체 인식층 데이터(230x)를 가산하고, 당해 영역에 있어서 데이터가 없어져 버리는 사태를 회피한다.
설명은 도 7로 되돌아가, 각 합성부(300)로부터 출력된 합성 물체 인식층 데이터(3100 내지 3106)는, 예측부(150)에 입력된다. 예측부(150)는, 입력된 각 합성 물체 인식층 데이터(3100 내지 3106)에 기초하여 물체 인식 처리를 행하고, 인식된 물체의 클래스 등을 예측한다. 예측부(150)에 의한 예측 결과는, 대상물의 인식 결과를 나타내는 데이터로서, 차외 정보 검출 유닛(10)으로부터 출력되어, 예를 들어 통신 네트워크(12001)를 통해 통합 제어 유닛(12050)에 전달된다.
(3-1. 구체예)
제1 실시 형태에 따른 물체 인식 모델(40a)에 의한 어텐션 맵에 대해서, 도 9 및 도 10을 사용하여 보다 구체적으로 설명한다.
도 9는, 제1 실시 형태에 따른 물체 인식 모델(40a)에 의한 어텐션 맵의 제1 예를 설명하기 위한 모식도이다.
도 9에 있어서, 좌측에, 기본이 되는 이미지 데이터(100a)의 예를 나타내고 있다. 도 9의 우측은, 상단으로부터 물체 인식층 데이터(230x), 물체 인식층 데이터(230x), 합성 물체 인식층 데이터(310x)를 나타내고 있다. 또한, 좌측으로부터 순서대로, 레이어 화상 #1(물체 인식층 데이터(1201))과, 레이어 화상 #2(물체 인식층 데이터(1202)) 및 #3(물체 인식층 데이터(1203))에 대응하도록, 물체 인식층 데이터(230x), 물체 인식층 데이터(230x) 및 합성 물체 인식층 데이터(310x)가 나타나 있다.
즉, 도 9의 우측 도면 상단은, 밀리미터파 화상 데이터(200)에 의한 특징을 나타내는 특징 맵이고, 중단은, 이미지 데이터(100)의 특징으로부터 제작한 어텐션 맵을 나타내고 있다. 또한, 하단은, 밀리미터파 화상 데이터(200)에 기초하는 특징 맵과, 이미지 데이터(100)에 기초하는 어텐션 맵을 합성부(300)에서 합성한 합성 물체 인식층 데이터(310x)가 되고 있다.
이하, 레이어 화상 #X에 대응하는 물체 인식층 데이터(230x)를, 레이어 화상 #X의 물체 인식층 데이터(230x)라고 칭한다. 또한, 레이어 화상 #X에 대응하는 합성 물체 인식층 데이터(310x)를, 레이어 화상 #X의 합성 물체 인식층 데이터(310x)라고 칭한다.
도 9에 있어서, 물체 인식층 데이터(230x) 중, 레이어 화상 #1의 물체 인식층 데이터(2301)에 있어서, 도면 중의 영역(23110)에서 도시되는 부분에, 물체인 듯한 인식 결과가 나타나 있다. 또한, 레이어 화상 #1은, 영역(12110 및 12111)의 물체 우도가 역치 이상으로 되고, 이들 영역(12110 및 12111)이 검출 창으로 된 어텐션 맵이 제작된 모습을 나타내고 있다. 이에 비해, 레이어 화상 #1의 합성 물체 인식층 데이터(3101)에서는, 영역(23110)에 대응하는 영역(23010')과, 영역(12110 및 12111)에 각각 대응하는 12110' 및 12111'에, 물체인 듯한 인식 결과가 나타나 있다.
레이어 화상 #2에 대해서도 마찬가지로, 레이어 화상 #2의 물체 인식층 데이터(2302)에 있어서, 영역(23111)에서 도시되는 부분에, 물체인 듯한 인식 결과가 나타나 있고, 레이어 화상 #1은, 영역(12113)의 물체 우도가 역치 이상으로 되고, 영역(12113)이 검출 창으로 된 어텐션 맵이 제작된 모습을 나타내고 있다. 이에 비해, 레이어 화상 #2의 합성 물체 인식층 데이터(3102)에서는, 영역(23111)에 대응하는 영역(23011')과, 영역(12113)에 대응하는 12113'에, 물체인 듯한 인식 결과가 나타나 있다.
레이어 화상 #3에 대해서는, 레이어 화상 #3의 물체 인식층 데이터(2303)에 있어서, 영역(23112)에서 도시되는 부분에, 물체인 듯한 인식 결과가 나타나 있고, 레이어 화상 #1에서는, 물체 우도가 역치 이상의 영역이 검출되지 않고, 검출 창이 제작되어 있지 않다. 레이어 화상 #3의 합성 물체 인식층 데이터(3103)에서는, 영역(23112)에 대응하는 영역(23012')에, 물체인 듯한 인식 결과가 나타나 있다.
또한, 영역(12110 및 12111), 그리고, 영역(12113)에 있어서, 백색 및 회색으로 도시되는 영역이, 검출 창에 대응한다. 이 경우, 예를 들어 백색의 정도가 강한 영역일수록 물체 우도가 높은 영역이 된다. 일례로서, 영역(12113)에 있어서, 밝은 회색의 세로로 긴 직사각형의 영역과, 어두운 회색의 가로로 긴 직사각형이 교차하는 백색의 정도가 강한 영역은, 영역(12113) 내에서 가장 물체 우도가 높은 영역이다. 검출 창은, 상술한 바와 같이, 예를 들어 레이어 화상 내에 있어서의 대응하는 위치를 나타내는 정보와, 물체 우도를 나타내는 값을 포함하는 영역 정보에 기초하여 설정된다.
이와 같이, 레이어 화상 #1 및 #2에서는, 밀리미터파 화상 데이터(200)에 기초하는 물체 인식층 데이터(230x)에 대한 물체 우도의 산출을 행하는 일 없이, 밀리미터파 화상 데이터(200)에 기초하여 물체인 듯한 인식 결과가 나타난 영역을 강조하면서, 이미지 데이터(100)에 기초하는 검출 창의 영역을 포함하여, 합성 물체 인식층 데이터(310x)를 생성할 수 있다.
또한, 가산부(221)에서 밀리미터파 화상 데이터(200)에 기초하는 물체 인식층 데이터(230x)를 가산하고 있기 때문에, 레이어 화상 #3과 같이, 레이어 화상 #2에 검출 창이 설정되지 않은 경우에도, 밀리미터파 화상 데이터(200)에 기초하여 물체인 듯한 인식 결과가 나타난 영역을 강조할 수 있다.
도 10은, 제1 실시 형태에 따른 물체 인식 모델(40a)에 의한 어텐션 맵의 제2 예를 설명하기 위한 모식도이다. 도 10의 각 부의 의미는, 상술한 도 9와 마찬가지이므로, 여기에서의 설명을 생략한다. 도 10에 있어서, 좌측에, 기본이 되는 이미지 데이터(100b)의 예를 나타내고 있다.
도 10에 있어서, 물체 인식층 데이터(230x) 중, 레이어 화상 #1의 물체 인식층 데이터(2301)에 있어서, 도면 중의 영역(23120)에서 도시되는 부분에, 물체인 듯한 인식 결과가 나타나 있다. 또한, 레이어 화상 #1은, 영역(12120 및 12121)의 물체 우도가 역치 이상으로 되고, 이들 영역(12120 및 12121)이 검출 창으로 된 어텐션 맵이 제작된 모습을 나타내고 있다. 이에 비해, 레이어 화상 #1의 합성 물체 인식층 데이터(3101)에서는, 영역(23120)에 대응하는 영역(23020')과, 영역(12120 및 12121)에 각각 대응하는 12120' 및 12121'에, 물체인 듯한 인식 결과가 나타나 있다.
레이어 화상 #2에 대해서도 마찬가지로, 레이어 화상 #2의 물체 인식층 데이터(2302)에 있어서, 영역(23121)에서 도시되는 부분에, 물체인 듯한 인식 결과가 나타나 있고, 레이어 화상 #2는, 영역(12122)의 물체 우도가 역치 이상으로 되고, 영역(12122)이 검출 창으로 된 어텐션 맵이 제작된 모습을 나타내고 있다. 이에 비해, 레이어 화상 #2의 합성 물체 인식층 데이터(3102)에서는, 영역(23121)에 대응하는 영역(23021')과 , 영역(12122)에 대응하는 12122'에, 물체인 듯한 인식 결과가 나타나 있다.
레이어 화상 #3에 대해서도, 레이어 화상 #3의 물체 인식층 데이터(2303)에 있어서, 영역(23122)에서 도시되는 부분에, 물체인 듯한 인식 결과가 나타나 있고, 레이어 화상 #1은, 영역(12123)의 물체 우도가 역치 이상으로 되고, 영역(12123)이 검출 창으로 된 어텐션 맵이 제작된 모습을 나타내고 있다. 이에 비해, 레이어 화상 #3의 합성 물체 인식층 데이터(3103)에서는, 영역(23123)에 대응하는 영역(23021')과, 영역(12123)에 대응하는 12123'에, 물체인 듯한 인식 결과가 나타나 있다.
이 제2 예에서도 상술한 제1 예와 마찬가지로, 레이어 화상 #1 내지 #3에 있어서, 밀리미터파 화상 데이터(200)에 기초하는 물체 인식층 데이터(230x)에 대한 물체 우도의 산출을 행하는 일 없이, 밀리미터파 화상 데이터(200)에 기초하여 물체인 듯한 인식 결과가 나타난 영역을 강조하면서, 이미지 데이터(100)에 기초하는 검출 창의 영역을 포함하여, 합성 물체 인식층 데이터(310x)를 생성할 수 있다.
이와 같이, 제1 실시 형태에 의하면, 밀리미터파 화상 데이터(200)의 단체에서는 약한 특징이어도, 카메라(21)에 의해 촬상한 이미지 데이터(100)에 기초하는 어텐션 맵을 사용하여 특징을 강조함으로써, 물체 인식의 성능을 향상시킬 수 있다. 또한, 이에 의해, 다른 복수의 센서를 사용한 경우의 인식 처리에 관한 부하를 경감시킬 수 있다.
또한, 도 7의 예에서는, 서로 컨벌루션층이 대응하는 물체 인식층 데이터(120x)와 물체 인식층 데이터(230x)를 합성부(300)에 의해 합성한, 각 컨벌루션층의 합성 물체 인식층 데이터(310x) 각각을 예측부(150)에 입력하고 있지만, 이것은 이 예에 한정되지 않는다. 예를 들어, 컨벌루션층이 다른 물체 인식층 데이터(120x)와 물체 인식층 데이터(230x)(예를 들어 물체 인식층 데이터(1201)와 물체 인식층 데이터(2302))를 합성부(300)에서 합성한 합성 물체 인식층 데이터(310x)를 예측부(150)에 입력할 수 있다. 이 경우, 합성부(300)에서 합성하는 물체 인식층 데이터(120x)와 물체 인식층 데이터(230x)의 사이즈를 정렬시키면, 바람직하다. 또한, 각 물체 인식층 데이터(120x) 및 각 물체 인식층 데이터(230x) 중 일부를 합성부(300)에 의해 합성하여, 합성 물체 인식층 데이터(310x)를 생성해도 된다. 이때, 각 물체 인식층 데이터(120x) 및 각 물체 인식층 데이터(230x)로부터 컨벌루션층이 서로 대응하는 데이터를 1개씩 선택하여, 합성부(300)에서 합성해도 되고, 각각 복수의 데이터를 선택하여, 합성부(300)에서 각각 합성해도 된다.
[4. 제2 실시 형태]
이어서, 본 개시의 제2 실시 형태에 대하여 설명한다. 제2 실시 형태는, 상술한 제1 실시 형태와는 다른 방법으로 어텐션 맵을 제작하는 예이다. 도 11은, 제2 실시 형태에 따른 물체 인식 모델의 일례의 구성을 도시하는 도면이다.
도 11에 있어서, 상술과 마찬가지로, 물체 인식 모델(40c)에 있어서, 물체 인식층(120a)은, 이미지 데이터(100)에 기초하여 컨벌루션 처리를 행하고, 각 물체 인식층 데이터(1200 내지 1206)를 생성한다(도시 생략). 여기서, 물체 인식층(120a)은, 가장 컨벌루션층이 깊고, 사이즈가 작은 물체 인식층 데이터(1206)의 사이즈를 예를 들어 2배로 확장하여, 다음 층의 물체 인식층 데이터(1221)를 생성한다.
이 경우, 새롭게 생성한 물체 인식층 데이터(1221)는, 물체 인식층(1200 내지 1206) 중 가장 작은 사이즈를 갖는 물체 인식층 데이터(1206)의 특징을 이어받기 때문에, 특징이 약하다. 그래서, 물체 인식층(120a)은, 물체 인식층 데이터(1206)의 다음으로 컨벌루션층이 깊고, 사이즈가 당해 물체 인식층 데이터(1206)의 예를 들어 2배인 물체 인식층 데이터(1205)를 물체 인식층 데이터(1206)에 연결시켜서, 새로운 물체 인식층 데이터(1221)를 생성한다.
다음도 마찬가지로 하여, 물체 인식층(120a)은, 생성한 물체 인식층 데이터(1221)의 사이즈를 예를 들어 2배로 확장하여, 대응하는 물체 인식층 데이터(1205)에 연결시켜서, 새로운 물체 인식층 데이터(1222)를 생성한다. 이와 같이, 제2 실시 형태에 따른 물체 인식층(120a)은, 생성한 물체 인식층 데이터(122x)의 사이즈를 예를 들어 2배로 확장하여, 대응하는 물체 인식층 데이터(120x)를 결합시켜서 새롭게 물체 인식층 데이터(122x+1)를 생성하는 처리를 반복한다.
물체 인식층(120a)은, 상술한 바와 같이 순차적으로 사이즈를 2배로 해서 생성된 각 물체 인식층 데이터(1206, 1221, 1222, 1223, 1224, 1225 및 1226)에 기초하여 어텐션 맵을 제작한다. 이때, 최대의 사이즈의 물체 인식층 데이터(1226)를 레이어 화상 #0에 감입하고, 레이어 화상 #0의 어텐션 맵을 제작한다. 다음으로 큰 사이즈의 물체 인식층 데이터(1225)를 레이어 화상 #1에 감입하고, 레이어 화상 #1의 어텐션 맵을 제작한다. 이후 순차, 각 물체 인식층 데이터(1224, 1223, 1222, 1221 및 1206)를 사이즈가 작아지는 순으로, 각 레이어 화상 #2, #3, #4, #5 및 #6에 감입하고, 각 레이어 화상 #2 내지 #6의 어텐션 맵을 제작한다.
이와 같이, 제2 실시 형태에서는, 물체 인식층(120a)은, 새로운 어텐션 맵을, 기계 학습으로 제작하여 감입하여 생성한다. 이에 의해, 예를 들어 가드레일이나 연석 등의, 인식 대상 이외의 강반사 물체에 의한 FP(False Positive)를 삭감하고, 밀리미터파 화상 데이터(200) 단체에 의한 물체 인식의 성능을 향상시킬 수 있다. 한편, 제2 실시 형태에서는, 이미지 데이터(100)에 대하여 깊은 컨벌루션층까지 컨벌루션을 행한 물체 인식층 데이터(1206)에 데이터를 연결시켜서 어텐션 맵을 제작하고 있기 때문에, 카메라(21)에서의 촬상이 어려운 물체의 특징이 약화되어 버린다. 예를 들어, 수적이나 안개 등으로 숨겨진 물체의 인식이 어려워진다. 그 때문에, 이 제2 실시 형태에 따른 어텐션 맵의 제작 방법과, 예를 들어 상술한 제1 실시 형태에 따른 어텐션 맵의 제작 방법을 환경에 따라서 전환하도록 하면, 바람직하다.
[5. 제3 실시 형태]
이어서, 본 개시의 제3 실시 형태에 대하여 설명한다. 제3 실시 형태는, 밀리미터파 화상 데이터(200)에 기초하는 각 물체 인식층 데이터(2300 내지 2306)에 대하여, 이미지 데이터(100)에 기초하는 각 어텐션 맵(각 물체 인식층 데이터(1200 내지 1206))을 곱셈하도록 한 예이다. 도 12는, 제3 실시 형태에 따른 물체 인식 모델의 일례의 구성을 도시하는 도면이다.
도 12에 도시하는 물체 인식 모델(40d)에서는, 물체 인식층(230)은, 상술한 제1 실시 형태와 마찬가지로 하여, 밀리미터파 화상 데이터(200)에 기초하여 각 물체 인식층 데이터(2300 내지 2306)를 생성한다. 한편, 물체 인식층(120b)은, 이미지 데이터(100)에 기초하여, 각 물체 인식층 데이터(1200 내지 1206)와, 각 물체 인식층 데이터(1200' 내지 1206')를 생성한다.
여기서, 각 물체 인식층 데이터(1200 내지 1206)는, 이미지 데이터(100) 단체로 물체 인식을 행하도록 파라미터가 조정된 데이터이다. 이에 비해, 각 물체 인식층 데이터(1200' 내지 1206')은, 밀리미터파 화상 데이터(200)와 이미지 데이터(100)의 양쪽을 사용하여 물체 인식을 행하도록 파라미터가 조정된 데이터이다. 예를 들어, 도 4를 사용하여 설명한 학습 시스템(30)에 있어서, 동일한 이미지 데이터(100)에 대하여, 당해 이미지 데이터(100) 단체로 물체 인식을 행하기 위한 학습과, 밀리미터파 화상 데이터(200)와 함께 물체 인식을 행하기 위한 학습을 실행하고, 각각의 파라미터를 생성한다.
제1 실시 형태와 마찬가지로, 각 합성부(301)에 의해, 물체 인식층(120b)에서 생성된 각 물체 인식층 데이터(1200 내지 1206) 및 각 물체 인식층 데이터(1200' 내지 1206')와, 물체 인식층(230)에서 생성된 각 물체 인식층 데이터(2300 내지 2306)를 대응하는 데이터끼리 합성한다.
도 13은, 제3 실시 형태에 따른 합성부(301)의 일례의 구성을 도시하는 도면이다. 도 13에 도시되는 바와 같이, 합성부(301)는, 도 8의 합성부(300)에 의한 승산부(220) 및 가산부(221)의 구성에 대하여, 연결부(222)가 추가되어 있다.
합성부(301)에 있어서, 승산부(220)는, 한쪽의 입력 단에, 이미지 데이터(100) 단체로 물체 인식을 행하도록 파라미터가 조정된 물체 인식층 데이터(120x)가 입력되고, 다른 쪽의 입력 단에는, 물체 인식층 데이터(230x)가 입력된다. 승산부(220)는, 이들 한쪽의 입력 단에 입력된 물체 인식층 데이터(120x)와, 다른 쪽의 입력 단에 입력된 물체 인식층 데이터(230x)의 화소마다의 곱을 계산한다. 승산부(220)의 승산 결과는, 가산부(221)의 한쪽의 입력 단에 입력된다. 가산부(221)의 다른 쪽의 입력 단에는, 물체 인식층 데이터(230x)가 입력된다. 가산부(221)는, 한쪽의 입력 단에 입력된 승산부(220)의 승산 결과와, 물체 인식층 데이터(230x)에 대해서, 행렬의 합을 산출한다.
가산부(221)의 출력이, 연결부(222)의 한쪽의 입력 단에 입력된다. 연결부(222)의 다른 쪽의 입력 단에 대하여, 이미지 데이터(100)와 밀리미터파 화상 데이터(200)를 사용하여 물체 인식을 행하도록 파라미터가 조정된 물체 인식층 데이터(120x')가 입력된다. 연결부(222)는, 가산부(221)의 출력과, 물체 인식층 데이터(120x')를 연결(Concatenate)한다.
이 연결 처리는, 가산부(221)의 출력과, 물체 인식층 데이터(120x')의, 각각의 데이터가 열거되는 것으로, 가산부(221)의 출력과, 물체 인식층 데이터(120x)의 각각에 대하여 서로 영향을 주지 않는 처리가 된다. 그 결과, 연결부(222)로부터 출력되는 데이터는, 예를 들어 가산부(221)의 출력이 갖는 특징량과, 물체 인식층 데이터(120x)가 갖는 특징량을 합계한 특징량을 포함하는 데이터가 된다.
이 합성부(301)에서의 합성 처리에 의해, 이미지 데이터(100) 단체로 물체의 유무를 나타내는 어텐션 맵을 제작하고, 제작한 어텐션 맵에 대하여 밀리미터파 화상 데이터(200)에 기초하는 특징량만을 곱셈할 수 있다. 이에 의해, 밀리미터파 화상 데이터(200)에 기초하는 특징량이 제한되어, FP를 억제하는 것이 가능하게 된다.
따라서, 제3 실시 형태에 따른 물체 인식 모델(40d)에 의하면, 카메라(21) 단체로 취득한 이미지 데이터(100)에 기초하여 어텐션 맵을 제작하고, 카메라(21)와 밀리미터파 레이더(23)를 통합한 출력에 기초하여 물체 인식을 행하는 것이 가능하게 된다.
[6. 제4 실시 형태]
이어서, 본 개시의 제4 실시 형태에 대하여 설명한다. 제4 실시 형태는, 이미지 데이터(100)에 기초하는 물체 인식층 데이터(120x)와, 밀리미터파 화상 데이터(200)에 기초하는 물체 인식층 데이터(230x)를 연결한 연결 데이터를 생성하고, 이 연결 데이터를 사용하여 물체 인식을 행하도록 한 예이다.
도 14는, 제4 실시 형태에 따른 물체 인식 모델의 일례의 구성을 도시하는 도면이다. 제4 실시 형태에 따른 물체 인식 모델(40e)에서는, 물체 인식 처리를 행하기 위한 각 연결 데이터는, 이미 물체 인식층 데이터(120x)와 물체 인식층 데이터(230x)를 포함하고 있다. 그 때문에, 각 연결 데이터에 있어서 밀리미터파 화상 데이터(200)에 기초하는 물체 인식층 데이터(230x)에 대한 검출 창을 설정할 수 없다. 그 때문에, 제4 실시 형태에 따른 물체 인식 모델(40e)에서는, 물체 인식층 데이터(120x)와 물체 인식층 데이터(230x)를 연결하는 연결부(222)의 전단에서, 밀리미터파 화상 데이터(200)에 있어서의, 검출 창 밖의 영역을 억제하는 처리를 행한다.
보다 구체적으로 설명한다. 도 14에 도시하는 물체 인식 모델(40e)에 있어서, 밀리미터파 화상 데이터(200)에 기초하여 물체 인식층(230)에서 생성된 각 물체 인식층 데이터(2300 내지 2306)(도시 생략)는, 각각 합성부(300)에 입력된다. 한편, 물체 인식층(120c)은, 이미지 데이터(100)에 기초하여 각 물체 인식층 데이터(1200 내지 1206)를 생성하고, 생성한 각 물체 인식층 데이터(1200 내지 1206) 중 소정수의 데이터를 중첩하여 어텐션 맵을 제작한다. 이 어텐션 맵이 합성부(300)에 입력된다.
또한, 도 14의 예에서는, 물체 인식층(120c)은, 각 물체 인식층 데이터(1200 내지 1206)로부터 컨벌루션층이 순차 인접하는 3개의 물체 인식층 데이터(1200, 1201 및 1202)를 중첩시킨 화상 데이터(123)에 의해 어텐션 맵을 제작하고 있다. 이것은 이 예에 한정되지 않고, 예를 들어 물체 인식층(120c)은, 각 물체 인식층 데이터(1200 내지 1206)의 모두를 중첩한 화상 데이터(123)에 의해 어텐션 맵을 제작할 수 있다. 이에 한정되지 않고, 물체 인식층(120c)은, 인접하는 2개 혹은 4 이상의 물체 인식층 데이터(120x)를 중첩시킨 화상 데이터에 의해 어텐션 맵을 제작해도 된다. 또한, 컨벌루션층이 인접하는 복수의 물체 인식층 데이터(120x)에 한정되지 않고, 컨벌루션층을 여기저기 흩어지게 선택한 복수의 물체 인식층 데이터(120x)를 중첩시킨 화상 데이터(123)에 의해 어텐션 맵을 제작할 수도 있다.
합성부(300)는, 도 8을 사용한 설명과 마찬가지로 하여, 승산부(220)에 의해 화상 데이터(123)와 각 물체 인식층 데이터(2300 내지 2306)의 곱을 구하고, 구한 곱에 대하여 가산부(221)에 의해 각 물체 인식층 데이터(2300 내지 2306)를 가산한다. 합성부(300)에 의해 화상 데이터(123)와 각 물체 인식층 데이터(2300 내지 2306)가 각각 합성된 각 합성 데이터는, 연결부(222)의 한쪽의 입력 단에 입력된다.
연결부(222)의 다른 쪽의 입력 단에는, 이미지 데이터(100)에 기초하여 물체 인식층(120c)에 의해 생성된 각 물체 인식층 데이터(1200 내지 1206)가 입력된다. 연결부(222)는, 한쪽의 입력 단에 입력된 각 합성 데이터와, 다른 쪽의 입력 단에 입력된 각 물체 인식층 데이터(1200 내지 1206)를, 각각 연결하고, 각 물체 인식층 데이터(1200 내지 1206)에 각각 대응하는 연결 데이터(2420, 2421, 2422, 2423, 2424, 2425 및 2426)를 생성한다.
연결부(222)로부터 출력된 각 연결 데이터(2420 내지 2426)는, 각각 예측부(150)에 입력된다.
이러한 구성으로 함으로써, 예측부(150)가 물체 인식을 행하기 위한 각 연결 데이터(2420 내지 2426)에 있어서의, 검출 창 밖의 밀리미터파 화상 데이터(200)의 영향을 억제할 수 있다. 따라서, 제4 실시 형태에 따른 물체 인식 모델(40e)에 의하면, 카메라(21) 단체로 취득한 이미지 데이터(100)에 기초하여 어텐션 맵을 제작하고, 카메라(21)와 밀리미터파 레이더(23)를 통합한 출력에 기초하여 물체 인식을 행하는 것이 가능하게 된다.
[7. 제5 실시 형태]
이어서, 본 개시에 관한 제5 실시 형태에 대하여 설명한다. 제5 실시 형태에 따른 물체 인식 모델은, 어텐션 맵을 제작하기 위한 이미지 데이터(100)로서, 1 프레임 전의 이미지 데이터(100)를 사용하도록 한 예이다.
도 15는, 제5 실시 형태에 따른 물체 인식 모델의 일례의 구성을 도시하는 도면이다. 또한, 도 15에 도시하는 물체 인식 모델(40f)은, 상술한 제3 실시 형태에 따른 물체 인식 모델(40d)(도 12 참조)에 대하여, 제5 실시 형태의 구성을 적용시킨 예이다.
도 15에 도시하는 물체 인식 모델(40f)에 있어서, 물체 인식층(120d)은, 상술한 도 12와 마찬가지로 하여, 물체 인식층(120)에 있어서, 카메라(21)에 의해 어떤 프레임(금회의 프레임이라고 칭함)의 프레임 화상 데이터로서 취득된 이미지 데이터(100)(금회의 프레임 이미지 데이터(100)라고 칭함)에 기초하여 각 물체 인식층 데이터(1200 내지 1206)를 생성한다. 또한, 물체 인식층(230)은, 당해 금회의 프레임과 대응하여 밀리미터파 레이더(23)에 의해 취득된 밀리미터파 화상 데이터(200)(금회의 프레임 밀리미터파 화상 데이터(200)라고 칭함)에 기초하여 각 물체 인식층 데이터(2300 내지 2306)를 생성한다.
이때, 금회의 프레임에 의한 이미지 데이터(100)에 기초하여 생성된 각 물체 인식층 데이터(1200 내지 1206)는, 메모리(420)에 기억된다. 메모리(420)는, 예를 들어 도 5에 도시한 RAM(402)을 적용할 수 있다. 또한, 여기에서는, 메모리(420)에 대하여 당해 각 물체 인식층 데이터(1200 내지 1206)를 모두 기억하도록 설명했지만, 이것은 이 예에 한정되지 않는다. 예를 들어, 메모리(420)에 대하여, 가장 컨벌루션층이 얕은 물체 인식층 데이터(1200)만을 기억시켜도 된다.
한편, 물체 인식층(120d)은, 카메라(21)에 의해, 금회의 프레임에 대하여 과거(예를 들어 직전의 프레임)에 취득된 이미지 데이터(100)(과거 프레임(101)의 이미지 데이터(100)라고 칭함)에 기초하여 생성되고 메모리(420)에 기억된 각 물체 인식층 데이터(1200 내지 1206)에 기초하여, 어텐션 맵을 제작한다. 여기서, 메모리(420)에 대하여, 가장 컨벌루션층이 얕은 물체 인식층 데이터(1200)만이 기억되어 있는 경우에는, 당해 물체 인식층 데이터(1200)에 대하여 순차적으로 컨벌루션 처리를 실행하여, 각 물체 인식층 데이터(1201 내지 1206)를 생성할 수 있다.
각각 금회의 프레임에 대응하는 각 물체 인식층 데이터(1200 내지 1206) 및 각 물체 인식층 데이터(2300 내지 2306)가 각각 대응하는 합성부(301)에 입력된다. 또한, 과거 프레임(101)의 이미지 데이터(100)에 기초하여 생성된 각 물체 인식층 데이터(1200 내지 1206)가, 각각 어텐션 맵으로서, 합성부(301)에 입력된다.
합성부(301)에서는, 도 13을 사용하여 설명한 바와 같이, 승산부(220)에 의해, 각 물체 인식층 데이터(1200 내지 1206)와 각 물체 인식층 데이터(2300 내지 2306)의 곱을 각각 구하고, 구한 각 결과에 대하여, 가산부(221)에 의해, 각 물체 인식층 데이터(2300 내지 2306)를 각각 가산한다. 가산부(221)의 각 가산 결과에 대하여, 연결부(222)에 있어서, 과거 프레임(101)의 이미지 데이터(100)에 기초하여 생성된 각 물체 인식층 데이터(1200 내지 1206)가 연결된다.
이와 같이, 이미지 데이터(100)로서 과거 프레임(101)의 데이터를 사용하여 어텐션 맵을 제작함으로써, 물체 인식층(120c)에 있어서 1개 또는 복수의 컨벌루션 처리를 생략할 수 있고, 처리의 고속화를 도모하는 것이 가능하다.
[8. 제6 실시 형태]
이어서, 제6 실시 형태에 대하여 설명한다. 상술한 제1 내지 제5 실시 형태에서는, 데이터 취득부(20)가 센서로서 카메라(21)와 밀리미터파 레이더(23)를 포함하는 것으로서 설명했지만, 데이터 취득부(20)가 포함하는 센서의 조합은, 이 예에 한정되지 않는다. 제6 실시 형태에서는, 데이터 취득부(20)가 포함하는 센서의 다른 조합의 예에 대하여 설명한다.
(8-1. 제1 예)
도 16은, 제6 실시 형태에 따른 차외 정보 검출 유닛 및 데이터 취득부의 제1 예를 도시하는 일례의 블록도이다. 도 16에 도시되는 바와 같이, 제1 예는, 데이터 취득부(20a)가 센서로서 카메라(21)와 LiDAR(24)를 포함하는 예이다. LiDAR(24)는, 광원으로부터 사출된 광을 대상물에 반사시켜서 측거를 행하는 LiDAR 방식으로 측거를 행하기 위한 광 반사 측거 센서이고, 광원과 수광부를 포함한다.
신호 처리부(13a)는, LiDAR(24)로부터 출력된 RAW 데이터에 기초하여 예를 들어 3차원의 점군 정보를 제작한다. 기하 변환부(14a)는, 신호 처리부(13a)에서 제작된 3차원의 점군 정보를, 카메라(21)에 의한 촬영 화상과 동일한 시점에서 본 화상으로 변환한다. 보다 구체적으로는, 기하 변환부(14a)는, LiDAR(24)로부터 출력된 RAW 데이터에 기초하는 3차원 점군 정보의 좌표계를, 촬영 화상의 좌표계로 변환한다. 기하 변환부(14a)에서 좌표계가 촬상 화상의 좌표계로 변환된 LiDAR(24)의 출력 데이터는, 인식 처리부(15a)에 공급된다. 인식 처리부(15a)는, 상술한 인식 처리부(15)에 있어서의 밀리미터파 화상 데이터(200) 대신에, 좌표계가 촬상 화상의 좌표계로 변환된 LiDAR(24)의 출력 데이터를 사용하여, 물체 인식 처리를 행한다.
(8-2. 제2 예)
도 17은, 제6 실시 형태에 따른 차외 정보 검출 유닛 및 데이터 취득부의 제2 예를 도시하는 일례의 블록도이다. 도 17에 도시되는 바와 같이, 제2 예는, 데이터 취득부(20b)가 센서로서 카메라(21)와 초음파 센서(25)를 포함하는 예이다. 초음파 센서(25)는, 가청 주파수 대역보다도 높은 주파수 대역의 음파(초음파)를 발신하고, 그 초음파의 반사파를 수신함으로써 측거를 행하는 것으로, 예를 들어 초음파의 발신을 행하는 발신 소자와 수신을 행하는 수신 소자를 갖는다. 초음파의 발신과 수신을 1개의 소자에서 행하는 경우도 있다. 초음파 센서(25)는, 예를 들어 초음파의 발신과 수신을, 초음파의 발신 방향을 스캔하면서 소정의 주기로 반복함으로써, 3차원의 점군 정보를 얻을 수 있다.
신호 처리부(13b)는, 초음파 센서(25)로부터 출력된 데이터에 기초하여, 예를 들어 3차원의 점군 정보를 제작한다. 기하 변환부(14b)는, 신호 처리부(13b)에서 제작된 3차원의 점군 정보를, 카메라(21)에 의한 촬영 화상과 동일한 시점에서 본 화상으로 변환한다. 보다 구체적으로는, 기하 변환부(14b)는, 초음파 센서(25)로부터 출력된 데이터에 기초하는 3차원 점군 정보의 좌표계를, 촬영 화상의 좌표계로 변환한다. 기하 변환부(14b)에서 좌표계가 촬상 화상의 좌표계로 변환된 초음파 센서(25)의 출력 데이터는, 인식 처리부(15b)에 공급된다. 인식 처리부(15b)는, 상술한 인식 처리부(15)에 있어서의 밀리미터파 화상 데이터(200) 대신에 좌표계가 촬상 화상의 좌표계로 변환된 초음파 센서(25)의 출력 데이터를 사용하여, 물체 인식 처리를 행한다.
(8-3. 제3 예)
도 18은, 제6 실시 형태에 따른 차외 정보 검출 유닛 및 데이터 취득부의 제3 예를 도시하는 일례의 블록도이다. 도 18에 도시되는 바와 같이, 제3 예는, 데이터 취득부(20c)가 센서로서 카메라(21)와, 밀리미터파 레이더(23) 및 LiDAR(24)를 포함하는 예이다.
도 18에 도시하는 차외 정보 검출 유닛(10)에 있어서, 밀리미터파 레이더(23)로부터 출력된 밀리미터파 데이터는, 신호 처리부(13)에 입력된다. 신호 처리부(13)는, 입력된 밀리미터파 데이터에 대하여 도 2를 사용하여 설명한 처리와 마찬가지의 처리를 행하고, 밀리미터파 화상을 생성한다. 기하 변환부(14)는, 신호 처리부(13)에서 생성된 밀리미터파 화상의 기하 변환을 행함으로써, 밀리미터파 화상을 촬영 화상과 동일한 좌표계의 화상으로 변환한다. 기하 변환부(14)에서 밀리미터파 화상이 변환된 화상(변환 밀리미터파 화상이라고 칭함)은, 인식 처리부(15c)에 공급된다.
또한, 차외 정보 검출 유닛(10)에 있어서, LiDAR(24)의 출력으로부터 출력된 RAW 데이터는, 신호 처리부(13c)에 입력된다. 신호 처리부(13c)는, LiDAR(24)로부터 입력된 RAW 데이터에 기초하여 예를 들어 3차원의 점군 정보를 제작한다. 기하 변환부(14c)는, 신호 처리부(13c)에서 제작된 3차원의 점군 정보를, 카메라(21)에 의한 촬영 화상과 동일한 시점에서 본 화상으로 변환한다. 기하 변환부(14)에서 3차원의 점군 정보가 변환된 화상(변환 LiDAR 화상이라고 칭함)은, 인식 처리부(15c)에 공급된다.
인식 처리부(15c)는, 기하 변환부(14 및 14c) 각각으로부터 입력된 변환 밀리미터파 화상 및 변환 LiDAR 화상을 통합하고, 통합된 화상을, 상술한 인식 처리부(15)에 있어서의 밀리미터파 화상 데이터(200) 대신에 사용하여, 물체 인식 처리를 행한다. 여기서, 인식 처리부(15c)는, 변환 밀리미터파 화상과 변환 LiDAR를 연결하여, 이들 변환 밀리미터파 화상과 변환 LiDAR를 통합할 수 있다.
(8-4. 제4 예)
도 19는, 제6 실시 형태에 따른 차외 정보 검출 유닛 및 데이터 취득부의 제4 예를 도시하는 일례의 블록도이다. 도 19에 도시되는 바와 같이, 제4 예는, 도 16을 사용하여 설명한, 카메라(21)와 밀리미터파 레이더(23)를 포함하는 데이터 취득부(20a)가 적용된다. 한편, 차외 정보 검출 유닛(10)은, 카메라(21)의 출력에 대하여 화상 처리부(12)와 기하 변환부(14d)가 접속되고, 밀리미터파 레이더(23)에 대하여 신호 처리부(13)만이 접속된다.
차외 정보 검출 유닛(10)에 있어서, 화상 처리부(12)는, 카메라(21)로부터 출력된 촬상 화상에 대하여 소정의 화상 처리를 실시한다. 화상 처리부(12)에 의해 화상 처리된 촬상 화상은, 기하 변환부(14d)에 공급된다. 기하 변환부(14d)는, 촬상 화상의 좌표계를, 밀리미터파 레이더(23)로부터 출력되는 밀리미터파 데이터의 좌표계로 변환한다. 기하 변환부(14d)에서 밀리미터파 데이터의 좌표계로 변환된 촬상 화상(변환 촬상 화상이라고 칭함)은, 인식 처리부(15d)에 공급된다.
한편, 차외 정보 검출 유닛(10)에 있어서, 밀리미터파 레이더(23)로부터 출력된 밀리미터파 데이터가 신호 처리부(13)에 입력된다. 신호 처리부(13)는, 입력된 밀리미터파 데이터에 소정의 신호 처리를 실시하고, 밀리미터파 데이터에 기초하여 밀리미터파 화상을 생성한다. 신호 처리부(13)에서 생성된 밀리미터파 화상은, 인식 처리부(15d)에 공급된다.
인식 처리부(15d)는, 예를 들어 상술한 인식 처리부(15)에 있어서의 이미지 데이터(100) 대신에, 신호 처리부(13)로부터 공급된 밀리미터파 화상에 의한 밀리미터파 화상 데이터를 사용하여, 밀리미터파 화상 데이터(200) 대신에 기하 변환부(14d)로부터 공급된 변환 촬상 화상을 사용할 수 있다. 예를 들어, 밀리미터파 레이더(23)의 성능이 높고, 카메라(21)의 성능이 낮은 경우에, 이 제4 예에 의한 구성을 채용하는 것이 생각된다.
(8-5. 제5 예)
상술한 제6 실시 형태의 제1 내지 제4 예에서는, 카메라(21)와, 카메라(21)와는 다른 방식의 센서를 조합하고 있지만, 이것은 이 예에 한정되지 않는다. 예를 들어, 제6 실시 형태의 제5 예로서, 특성이 다른 카메라(21)의 조합을 적용할 수 있다. 일례로서, 화각이 좁고 원거리의 촬상이 가능한 망원 렌즈를 사용한 제1 카메라(21)와, 화각이 넓고 광범위한 촬상이 가능한 광각 렌즈를 사용한 제2 카메라(21)의 조합이 생각된다.
(8-6. 제6 예)
이어서, 제6 실시 형태의 제5 예에 대하여 설명한다. 제5 예는, 인식 처리부(15)의 구성을, 조건에 따라서 전환하도록 한 예이다. 또한, 이하에서는, 설명 때문에, 제1 실시 형태에 따른 인식 처리부(15)(물체 인식 모델(40a))를 예로 들어서 설명을 행한다.
일례로서, 천후나 신에 따라서 어텐션 맵의 사용/비사용을 전환하는 것이 생각된다. 예를 들어, 야간 또한 강우의 조건 하에서는, 카메라(21)에 의한 촬상 화상에서는 물체 인식이 곤란해질 가능성이 있다. 이 경우에는, 밀리미터파 레이더(23)의 출력만을 사용하여 물체 인식을 행한다. 또한, 별도의 예로서, 데이터 취득부(20)에 포함되는 복수의 센서 중 1개가 정상 동작하지 않는 경우에, 어텐션 맵의 사용 방법을 바꾸는 것이 생각된다. 예를 들어, 카메라(21)의 고장 등에 의해 정상적인 이미지 데이터(100)가 출력되지 않는 경우에, 어텐션 맵을 사용하지 않는 경우와 마찬가지의 인식 레벨에서 물체 인식을 행한다. 또한 다른 예로서, 데이터 취득부(20)가 3 이상의 센서를 포함하는 경우에, 복수의 센서의 출력에 기초하여 복수의 어텐션 맵을 제작하는 것이 생각된다. 이 경우, 복수의 센서 출력에 기초하여 제작된 복수의 어텐션 맵을 통합하는 것이 생각된다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니며, 또한 다른 효과가 있어도 된다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
제1 센서의 출력에, 해당 제1 센서와는 다른 제2 센서의 출력에 기초하는 물체 인식 처리의 과정에서 검출되는 물체 우도에 따라서 생성되는 영역 정보를 부가하여 대상물을 인식하는 인식 처리를 행하는 인식 처리부
를 구비하는,
정보 처리 장치.
(2)
상기 인식 처리부는,
기계 학습에 의해 얻어지는 물체 인식 모델을 사용하여 상기 인식 처리를 행하고,
해당 물체 인식 모델은, 상기 제2 센서의 출력에 기초하여 생성한 제1 컨벌루션층 중 1개의 층으로 상기 영역 정보를 생성하고, 생성한 해당 영역 정보를, 상기 제1 센서의 출력에 기초하여 생성한 제2 컨벌루션층의, 해당 영역 정보를 생성한 층에 대응하는 층에 대하여 부가하는,
상기 (1)에 기재된 정보 처리 장치.
(3)
상기 인식 처리부는,
기계 학습에 의해 얻어지는 물체 인식 모델을 사용하여 상기 인식 처리를 행하고,
해당 물체 인식 모델은, 상기 제2 센서의 출력에 기초하여 생성한 제1 컨벌루션층에 포함되는 복수의 층으로 상기 영역 정보를 생성하고, 생성한 해당 영역 정보를, 상기 제1 센서의 출력에 기초하여 생성한, 해당 영역 정보를 생성한 해당 복수의 층 각각에 일대일로 대응하는, 제2 컨벌루션층의 복수의 층의 각각에 대하여 부가하는,
상기 (1)에 기재된 정보 처리 장치.
(4)
상기 인식 처리부는,
상기 제1 컨벌루션층 중 소정수의 제1 컨벌루션층 각각에서 상기 영역 정보를 생성하는,
상기 (3)에 기재된 정보 처리 장치.
(5)
상기 제2 센서는, 이미지 센서인,
상기 (1) 내지 (4) 중 어느 것에 기재된 정보 처리 장치.
(6)
상기 제1 센서는, 밀리미터파 레이더, 광 반사 측거 센서 및 초음파 센서 중 어느 것인,
상기 (5)에 기재된 정보 처리 장치.
(7)
상기 제1 센서는,
이미지 센서, 밀리미터파 레이더, 광 반사 측거 센서 및 초음파 센서 중 2 이상의 센서를 포함하고, 해당 2 이상의 센서의 각 출력을 통합한 출력을, 상기 제1 센서의 출력으로 한,
상기 (5)에 기재된 정보 처리 장치.
(8)
상기 제1 센서는, 이미지 센서이고,
상기 제2 센서는, 밀리미터파 레이더, 광 반사 측거 센서 및 초음파 센서 중 어느 것인,
상기 (1) 내지 (4) 중 어느 것에 기재된 정보 처리 장치.
(9)
상기 인식 처리부는,
상기 제1 센서의 출력의, 상기 제2 센서의 출력에 있어서의 상기 물체 우도가 제1 역치 이상의 영역에 대응하는 영역을 강조하는,
상기 (1) 내지 (8)의 어느 것에 기재된 정보 처리 장치.
(10)
상기 인식 처리부는,
상기 제1 센서의 출력의, 상기 제2 센서의 출력에 있어서의 상기 물체 우도가 제2 역치 미만의 영역에 대응하는 영역을 억제하는,
상기 (1) 내지 (9) 중 어느 것에 기재된 정보 처리 장치.
(11)
상기 인식 처리부는,
상기 제2 센서의 1 프레임 전의 출력을 사용하여 상기 영역 정보를 생성하는,
상기 (1) 내지 (10) 중 어느 것에 기재된 정보 처리 장치.
(12)
상기 인식 처리부는,
상기 영역 정보에 대하여 상기 제2 센서의 출력을 연결하는,
상기 (1) 내지 (11) 중 어느 것에 기재된 정보 처리 장치.
(13)
제1 센서와,
상기 제1 센서와는 다른 제2 센서와,
상기 제1 센서의 출력에, 상기 제2 센서의 출력에 기초하는 물체 인식 처리의 과정에서 검출되는 물체 우도에 따라서 생성되는 영역 정보를 부가하여, 대상물을 인식하는 인식 처리를 행하는 인식 처리부를 구비하는 정보 처리 장치
를 포함하는, 정보 처리 시스템.
(14)
제1 센서의 출력에, 해당 제1 센서와는 다른 제2 센서의 출력에 기초하는 물체 인식 처리의 과정에서 검출되는 물체 우도에 따라서 생성되는 영역 정보를 부가하여, 대상물을 인식하는 인식 처리를 행하는 인식 처리 스텝
을 컴퓨터에 실행시키기 위한 정보 처리 프로그램.
(15)
프로세서에 의해 실행되는,
제1 센서의 출력에, 해당 제1 센서와는 다른 제2 센서의 출력에 기초하는 물체 인식 처리의 과정에서 검출되는 물체 우도에 따라서 생성되는 영역 정보를 부가하여, 대상물을 인식하는 인식 처리를 행하는 인식 처리 스텝
을 포함하는,
정보 처리 방법.
10: 차외 정보 검출 유닛
11: 정보 처리부
12: 화상 처리부
13, 13a, 13b, 13c: 신호 처리부
14, 14a, 14b, 14c, 14d: 기하 변환부
15a, 15b, 15c, 15d: 인식 처리부
20, 20a, 20b, 20c: 데이터 취득부
21: 카메라
22: 이미지 센서
23: 밀리미터파 레이더
24: LiDAR
25: 초음파 센서
30: 학습 시스템
40, 40a, 40b, 40c, 40d, 40e, 40f: 물체 인식 모델
41a, 41b, 41c, 110, 210: 특징 추출층
100, 100a, 100b: 이미지 데이터
120, 120a, 120b, 120c: 물체 인식층
1200, 1201, 1202, 1203, 1204, 1205, 1206, 120x, 1200', 1201', 1202', 1203', 1204', 1205', 1206', 1221, 1222, 1223, 1224, 1225, 1226, 2300, 2301, 2302, 2303, 2304, 2305, 2306, 230x: 물체 인식층 데이터
150: 예측부
200: 밀리미터파 화상 데이터
220: 승산부
221: 가산부
222: 연결부
230: 물체 인식층
2420, 2421, 2422, 2423, 2424, 2425, 2426: 연결 데이터
300, 301: 합성부
3100, 3101, 3102, 3103, 3104, 3105, 3106: 합성 물체 인식층 데이터

Claims (15)

  1. 제1 센서의 출력에, 해당 제1 센서와는 다른 제2 센서의 출력에 기초하는 물체 인식 처리의 과정에서 검출되는 물체 우도에 따라서 생성되는 영역 정보를 부가하여 대상물을 인식하는 인식 처리를 행하는 인식 처리부
    를 구비하는,
    정보 처리 장치.
  2. 제1항에 있어서, 상기 인식 처리부는,
    기계 학습에 의해 얻어지는 물체 인식 모델을 사용하여 상기 인식 처리를 행하고,
    해당 물체 인식 모델은, 상기 제2 센서의 출력에 기초하여 생성한 제1 컨벌루션층 중 1개의 층으로 상기 영역 정보를 생성하고, 생성한 해당 영역 정보를, 상기 제1 센서의 출력에 기초하여 생성한 제2 컨벌루션층의, 해당 영역 정보를 생성한 층에 대응하는 층에 대하여 부가하는,
    정보 처리 장치.
  3. 제1항에 있어서, 상기 인식 처리부는,
    기계 학습에 의해 얻어지는 물체 인식 모델을 사용하여 상기 인식 처리를 행하고,
    해당 물체 인식 모델은, 상기 제2 센서의 출력에 기초하여 생성한 제1 컨벌루션층에 포함되는 복수의 층으로 상기 영역 정보를 생성하고, 생성한 해당 영역 정보를, 상기 제1 센서의 출력에 기초하여 생성한, 해당 영역 정보를 생성한 해당 복수의 층 각각에 일대일로 대응하는, 제2 컨벌루션층의 복수의 층의 각각에 대하여 부가하는,
    정보 처리 장치.
  4. 제3항에 있어서, 상기 인식 처리부는,
    상기 제1 컨벌루션층 중 소정수의 제1 컨벌루션층 각각에서 상기 영역 정보를 생성하는,
    정보 처리 장치.
  5. 제1항에 있어서, 상기 제2 센서는, 이미지 센서인,
    정보 처리 장치.
  6. 제5항에 있어서, 상기 제1 센서는, 밀리미터파 레이더, 광 반사 측거 센서 및 초음파 센서 중 어느 것인,
    정보 처리 장치.
  7. 제5항에 있어서, 상기 제1 센서는,
    이미지 센서, 밀리미터파 레이더, 광 반사 측거 센서 및 초음파 센서 중 2 이상의 센서를 포함하고, 해당 2 이상의 센서의 각 출력을 통합한 출력을, 상기 제1 센서의 출력으로 한,
    정보 처리 장치.
  8. 제1항에 있어서, 상기 제1 센서는, 이미지 센서이고,
    상기 제2 센서는, 밀리미터파 레이더, 광 반사 측거 센서 및 초음파 센서 중 어느 것인,
    정보 처리 장치.
  9. 제1항에 있어서, 상기 인식 처리부는,
    상기 제1 센서의 출력의, 상기 제2 센서의 출력에 있어서의 상기 물체 우도가 제1 역치 이상의 영역에 대응하는 영역을 강조하는,
    정보 처리 장치.
  10. 제1항에 있어서, 상기 인식 처리부는,
    상기 제1 센서의 출력의, 상기 제2 센서의 출력에 있어서의 상기 물체 우도가 제2 역치 미만의 영역에 대응하는 영역을 억제하는,
    정보 처리 장치.
  11. 제1항에 있어서, 상기 인식 처리부는,
    상기 제2 센서의 1 프레임 전의 출력을 사용하여 상기 영역 정보를 생성하는,
    정보 처리 장치.
  12. 제1항에 있어서, 상기 인식 처리부는,
    상기 영역 정보에 대하여 상기 제2 센서의 출력을 연결하는,
    정보 처리 장치.
  13. 제1 센서와,
    상기 제1 센서와는 다른 제2 센서와,
    상기 제1 센서의 출력에, 상기 제2 센서의 출력에 기초하는 물체 인식 처리의 과정에서 검출되는 물체 우도에 따라서 생성되는 영역 정보를 부가하여, 대상물을 인식하는 인식 처리를 행하는 인식 처리부를 구비하는 정보 처리 장치
    를 포함하는, 정보 처리 시스템.
  14. 제1 센서의 출력에, 해당 제1 센서와는 다른 제2 센서의 출력에 기초하는 물체 인식 처리의 과정에서 검출되는 물체 우도에 따라서 생성되는 영역 정보를 부가하여, 대상물을 인식하는 인식 처리를 행하는 인식 처리 스텝
    을 컴퓨터에 실행시키기 위한 정보 처리 프로그램.
  15. 프로세서에 의해 실행되는,
    제1 센서의 출력에, 해당 제1 센서와는 다른 제2 센서의 출력에 기초하는 물체 인식 처리의 과정에서 검출되는 물체 우도에 따라서 생성되는 영역 정보를 부가하여, 대상물을 인식하는 인식 처리를 행하는 인식 처리 스텝
    을 포함하는,
    정보 처리 방법.
KR1020227019276A 2019-12-27 2020-12-16 정보 처리 장치, 정보 처리 시스템, 정보 처리 프로그램 및 정보 처리 방법 KR20220117218A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2019-239265 2019-12-27
JP2019239265 2019-12-27
PCT/JP2020/046928 WO2021131953A1 (ja) 2019-12-27 2020-12-16 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法

Publications (1)

Publication Number Publication Date
KR20220117218A true KR20220117218A (ko) 2022-08-23

Family

ID=76575520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227019276A KR20220117218A (ko) 2019-12-27 2020-12-16 정보 처리 장치, 정보 처리 시스템, 정보 처리 프로그램 및 정보 처리 방법

Country Status (6)

Country Link
US (1) US20230040994A1 (ko)
JP (1) JPWO2021131953A1 (ko)
KR (1) KR20220117218A (ko)
CN (1) CN114868148A (ko)
DE (1) DE112020006362T5 (ko)
WO (1) WO2021131953A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352112B (zh) * 2020-05-08 2022-11-29 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
WO2023127616A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023149089A1 (ja) * 2022-02-01 2023-08-10 ソニーセミコンダクタソリューションズ株式会社 学習装置、学習方法及び学習プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057056A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150339589A1 (en) * 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps
US10591594B2 (en) * 2015-09-30 2020-03-17 Sony Corporation Information processing apparatus, information processing method, and program
US11507800B2 (en) * 2018-03-06 2022-11-22 Adobe Inc. Semantic class localization digital environment
US11676284B2 (en) * 2019-03-22 2023-06-13 Nvidia Corporation Shape fusion for image analysis
US11308284B2 (en) * 2019-10-18 2022-04-19 Facebook Technologies, Llc. Smart cameras enabled by assistant systems
US20220036194A1 (en) * 2021-10-18 2022-02-03 Intel Corporation Deep neural network optimization system for machine learning model scaling

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057056A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
DE112020006362T5 (de) 2022-10-20
US20230040994A1 (en) 2023-02-09
CN114868148A (zh) 2022-08-05
WO2021131953A1 (ja) 2021-07-01
JPWO2021131953A1 (ko) 2021-07-01

Similar Documents

Publication Publication Date Title
TWI841695B (zh) 用於雷達輔助之單一影像三維深度重建之方法、車載電腦及非暫時性電腦可讀媒體
CN108572663B (zh) 目标跟踪
JP7214363B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
KR20220117218A (ko) 정보 처리 장치, 정보 처리 시스템, 정보 처리 프로그램 및 정보 처리 방법
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
EP3407257A1 (en) Method for generating a wide-area perception scene graph
JP7517335B2 (ja) 信号処理装置、信号処理方法、および、測距モジュール
US20220381913A1 (en) Distance measurement sensor, signal processing method, and distance measurement module
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US20240193957A1 (en) Advanced driver assist system and method of detecting object in the same
JP7030607B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
US20220276379A1 (en) Device, measuring device, distance measuring system, and method
JP7517349B2 (ja) 信号処理装置、信号処理方法、および、測距装置
JP2020173128A (ja) 測距センサ、信号処理方法、および、測距モジュール
CN116416585A (zh) 使用来自二维图像的信息改进三维数据关联的系统和方法
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US20220268890A1 (en) Measuring device and distance measuring device
CN113052009A (zh) 一种车辆防撞方法、模型训练方法及装置
CN115136188A (zh) 信息处理装置和信息处理方法
JP2005284797A (ja) 走行安全装置
WO2022269995A1 (ja) 測距装置および方法、並びにプログラム
EP3608832A1 (en) Image display apparatus, image display method, and carrier means
JP2021182298A (ja) パターン学習装置、物体認識装置、及び車両用運転支援装置