KR20210142604A - 정보 처리 방법, 프로그램 및 정보 처리 장치 - Google Patents

정보 처리 방법, 프로그램 및 정보 처리 장치 Download PDF

Info

Publication number
KR20210142604A
KR20210142604A KR1020217026682A KR20217026682A KR20210142604A KR 20210142604 A KR20210142604 A KR 20210142604A KR 1020217026682 A KR1020217026682 A KR 1020217026682A KR 20217026682 A KR20217026682 A KR 20217026682A KR 20210142604 A KR20210142604 A KR 20210142604A
Authority
KR
South Korea
Prior art keywords
data
analysis
feature
unit
information processing
Prior art date
Application number
KR1020217026682A
Other languages
English (en)
Inventor
하루요시 요네카와
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20210142604A publication Critical patent/KR20210142604A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 기술은, 뉴럴 네트워크를 사용한 모델의 학습 상황을 해석할 수 있도록 하는 정보 처리 방법, 프로그램 및 정보 처리 장치에 관한 것이다. 스텝 S1에서, 뉴럴 네트워크를 사용한 모델에 있어서 입력 데이터로부터 생성되는 특징 맵의 특징을 수치로 나타내는 특징 데이터가 생성되고, 스텝 S2에서, 복수의 상기 특징 맵의 상기 특징 데이터에 기초하는 해석용 데이터가 생성된다. 본 기술은, 예를 들어 차량의 전방의 차량을 인식하는 시스템에 적용할 수 있다.

Description

정보 처리 방법, 프로그램 및 정보 처리 장치
본 기술은, 정보 처리 방법, 프로그램, 및 정보 처리 장치에 관한 것으로, 특히 뉴럴 네트워크를 사용한 모델의 해석을 행하는 경우에 사용하기에 적합한 정보 처리 방법, 프로그램 및 정보 처리 장치에 관한 것이다.
종래, 화상 패턴 인식 장치에 뉴럴 네트워크가 사용되고 있다(예를 들어, 특허문헌 1 참조).
일본 특허 공개 평5-61976호 공보
한편, 뉴럴 네트워크를 사용한 모델의 학습 상황을 해석할 수 있도록 하는 것이 요망되고 있다.
본 기술은, 이러한 상황을 감안하여 이루어진 것이며, 뉴럴 네트워크를 사용한 모델의 학습 상황을 해석할 수 있도록 하는 것이다.
본 기술의 일 측면의 정보 처리 방법은, 뉴럴 네트워크를 사용한 모델에 있어서 입력 데이터로부터 생성되는 특징 맵의 특징을 수치로 나타내는 특징 데이터를 생성하는 특징 데이터 생성 스텝과, 복수의 상기 특징 맵의 상기 특징 데이터에 기초하는 해석용 데이터를 생성하는 해석용 데이터 생성 스텝을 포함한다.
본 기술의 일 측면의 프로그램은, 뉴럴 네트워크를 사용한 모델에 있어서 입력 데이터로부터 생성되는 특징 맵의 특징을 수치로 나타내는 특징 데이터를 생성하는 특징 데이터 생성 스텝과, 복수의 상기 특징 맵의 상기 특징 데이터에 기초하는 해석용 데이터를 생성하는 해석용 데이터 생성 스텝을 포함하는 처리를 컴퓨터에 실행시킨다.
본 기술의 일 측면의 정보 처리 장치는, 뉴럴 네트워크를 사용한 모델에 있어서 입력 데이터로부터 생성되는 특징 맵의 특징을 수치로 나타내는 특징 데이터를 생성하는 특징 데이터 생성부와, 복수의 상기 특징 맵의 상기 특징 데이터에 기초하는 해석용 데이터를 생성하는 해석용 데이터 생성부를 구비한다.
본 기술의 일 측면에서는, 뉴럴 네트워크를 사용한 모델에 있어서 입력 데이터로부터 생성되는 특징 맵의 특징을 수치로 나타내는 특징 데이터가 생성되고, 복수의 상기 특징 맵의 상기 특징 데이터에 기초하는 해석용 데이터가 생성된다.
도 1은 차량 제어 시스템의 구성예를 도시하는 블록도이다.
도 2는 물체 인식 모델의 제1 실시 형태를 도시하는 도면이다.
도 3은 특징 맵의 예를 도시하는 도면이다.
도 4는 본 기술을 적용한 정보 처리 장치의 구성예를 도시하는 블록도이다.
도 5는 학습 상황 해석 처리를 설명하기 위한 흐름도이다.
도 6은 화소값의 분산이 큰 특징 맵과 화소값의 분산이 작은 특징 맵의 예를 도시하는 도면이다.
도 7은 특징 맵을 일렬로 배열한 예를 도시하는 도면이다.
도 8은 특징 맵을 2차원으로 배열한 예를 도시하는 도면이다.
도 9는 분산 벡터 및 분산 벡터의 화상의 예를 도시하는 도면이다.
도 10은 해석용 데이터의 예를 도시하는 도면이다.
도 11은 학습의 진행에 수반하는 해석용 데이터의 변화 모습의 제1 예를 도시하는 도면이다.
도 12는 학습 초기와 학습 말기의 특징 맵의 예를 도시하는 도면이다.
도 13은 해석용 데이터의 예를 도시하는 도면이다.
도 14는 정칙화가 너무 강할 경우의 해석용 데이터의 예를 도시하는 도면이다.
도 15는 정칙화가 너무 약할 경우의 해석용 데이터의 예를 도시하는 도면이다.
도 16은 물체 인식 모델의 제2 실시 형태를 도시하는 도면이다.
도 17은 학습의 진행에 수반하는 해석용 데이터의 변화 모습의 제2 예를 도시하는 도면이다.
도 18은 도 17의 E의 해석용 데이터를 확대한 도면이다.
도 19는 밀리미터파 화상과 촬영 화상의 제1 예를 도시하는 도면이다.
도 20은 밀리미터파 화상과 촬영 화상의 제2 예를 도시하는 도면이다.
도 21은 밀리미터파 화상과 촬영 화상의 제3 예를 도시하는 도면이다.
도 22는 밀리미터파 화상으로부터 생성되는 특징 맵의 예를 도시하는 도면이다.
도 23은 특징 맵의 화소값의 히스토그램 예를 도시하는 도면이다.
도 24는 특징 맵의 화소값의 도수 분포에 기초하는 해석용 데이터의 예를 도시하는 도면이다.
도 25는 컴퓨터의 구성예를 도시하는 도면이다.
이하, 본 기술을 실시하기 위한 형태에 대해서 설명한다. 설명은 이하의 순서로 행한다.
1. 실시 형태
2. 학습 상황의 해석 사례
3. 변형예
4. 기타
<<1. 실시 형태>>
먼저, 도 1 내지 도 15를 참조하여, 본 기술의 실시 형태에 대해서 설명한다.
<차량 제어 시스템(100)의 구성예>
도 1은, 본 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템(100)의 개략적인 기능의 구성예를 도시하는 블록도이다.
또한, 이하, 차량 제어 시스템(100)이 마련되어 있는 차량(10)을 다른 차량과 구별할 경우, 자차 또는 자차량이라고 칭한다.
차량 제어 시스템(100)은, 입력부(101), 데이터 취득부(102), 통신부(103), 차내 기기(104), 출력 제어부(105), 출력부(106), 구동계 제어부(107), 구동계 시스템(108), 바디계 제어부(109), 바디계 시스템(110), 기억부(111) 및 자동 운전 제어부(112)를 구비한다. 입력부(101), 데이터 취득부(102), 통신부(103), 출력 제어부(105), 구동계 제어부(107), 바디계 제어부(109), 기억부(111) 및 자동 운전 제어부(112)는, 통신 네트워크(121)를 통해서 서로 접속되어 있다. 통신 네트워크(121)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network) 또는 FlexRay(등록 상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크나 버스 등을 포함한다. 또한, 차량 제어 시스템(100)의 각 부는, 통신 네트워크(121)를 통하지 않고 직접 접속되는 경우도 있다.
또한, 이하, 차량 제어 시스템(100)의 각 부가, 통신 네트워크(121)를 통해서 통신을 행하는 경우, 통신 네트워크(121)의 기재를 생략하는 것으로 한다. 예를 들어, 입력부(101)와 자동 운전 제어부(112)가 통신 네트워크(121)를 통해서 통신을 행하는 경우, 단순히 입력부(101)와 자동 운전 제어부(112)가 통신을 행한다고 기재한다.
입력부(101)는, 탑승자가 각종 데이터나 지시 등의 입력에 사용하는 장치를 구비한다. 예를 들어, 입력부(101)는, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등의 조작 디바이스, 그리고, 음성이나 제스처 등에 의해 수동 조작 이외의 방법으로 입력 가능한 조작 디바이스 등을 구비한다. 또한, 예를 들어 입력부(101)는, 적외선 혹은 그 밖의 전파를 이용한 리모트 컨트롤 장치, 또는 차량 제어 시스템(100)의 조작에 대응한 모바일 기기 혹은 웨어러블 기기 등의 외부 접속 기기이어도 된다. 입력부(101)는, 탑승자에 의해 입력된 데이터나 지시 등에 기초하여 입력 신호를 생성하고, 차량 제어 시스템(100)의 각 부에 공급한다.
데이터 취득부(102)는, 차량 제어 시스템(100)의 처리에 사용하는 데이터를 취득하는 각종 센서 등을 구비하고, 취득한 데이터를, 차량 제어 시스템(100)의 각 부에 공급한다.
예를 들어, 데이터 취득부(102)는, 자차의 상태 등을 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 자이로 센서, 가속도 센서, 관성 계측 장치(IMU) 및 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수, 모터 회전수, 혹은 차륜의 회전 속도 등을 검출하기 위한 센서 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 자차의 외부의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 및 그 밖의 카메라 등의 촬상 장치를 구비한다. 또한, 예를 들어 데이터 취득부(102)는, 날씨 또는 기상 등을 검출하기 위한 환경 센서, 및 자차 주위의 물체를 검출하기 위한 주위 정보 검출 센서를 구비한다. 환경 센서는, 예를 들어 빗방울 센서, 안개 센서, 일조 센서, 눈 센서 등을 포함한다. 주위 정보 검출 센서는, 예를 들어 초음파 센서, 레이더, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 음파 탐지기 등을 포함한다.
또한, 예를 들어 데이터 취득부(102)는, 자차의 현재 위치를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호를 수신하는 GNSS 수신기 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 차내의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 운전자를 촬상하는 촬상 장치, 운전자의 생체 정보를 검출하는 생체 센서, 및 차실 내의 음성을 집음하는 마이크로폰 등을 구비한다. 생체 센서는, 예를 들어 시트면 또는 스티어링 휠 등에 마련되어, 좌석에 앉아 있는 탑승자 또는 스티어링 휠을 잡고 있는 운전자의 생체 정보를 검출한다.
통신부(103)는, 차내 기기(104), 그리고, 차밖의 다양한 기기, 서버, 기지국 등과 통신을 행하여, 차량 제어 시스템(100)의 각 부로부터 공급되는 데이터를 송신하거나, 수신한 데이터를 차량 제어 시스템(100)의 각 부에 공급하거나 한다. 또한, 통신부(103)가 서포트하는 통신 프로토콜은, 특별히 한정되는 것은 아니며, 또한 통신부(103)가 복수 종류의 통신 프로토콜을 서포트하는 것도 가능하다.
예를 들어, 통신부(103)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication) 또는 WUSB(Wireless USB) 등에 의해, 차내 기기(104)와 무선 통신을 행한다. 또한, 예를 들어 통신부(103)는, 도시하지 않은 접속 단자(및, 필요하면 케이블)를 통해서, USB(Universal Serial Bus), HDMI(등록 상표)(High-Definition Multimedia Interface), 또는 MHL(Mobile High-definition Link) 등에 의해 차내 기기(104)와 유선 통신을 행한다.
또한, 예를 들어 통신부(103)는, 기지국 또는 액세스 포인트를 통해서, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, P2P(Peer To Peer) 기술을 사용하여, 자차 근방에 존재하는 단말기(예를 들어, 보행자 혹은 점포의 단말기 또는 MTC(Machine Type Communication) 단말기)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 자차와 집의 사이(Vehicle to Home)의 통신, 및 보차간(Vehicle to Pedestrian) 통신 등의 V2X 통신을 행한다. 또한, 예를 들어 통신부(103)는, 비콘 수신부를 구비하여, 도로 상에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신하여, 현재 위치, 정체, 통행 규제 또는 소요 시간 등의 정보를 취득한다.
차내 기기(104)는, 예를 들어 탑승자가 갖는 모바일 기기 혹은 웨어러블 기기, 자차에 반입되는 혹은 설치되는 정보 기기, 및 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치 등을 포함한다.
출력 제어부(105)는, 자차의 탑승자 또는 차밖에 대한 각종 정보의 출력을 제어한다. 예를 들어, 출력 제어부(105)는, 시각 정보(예를 들어, 화상 데이터) 및 청각 정보(예를 들어, 음성 데이터) 중 적어도 하나를 포함하는 출력 신호를 생성하여 출력부(106)에 공급함으로써, 출력부(106)로부터의 시각 정보 및 청각 정보의 출력을 제어한다. 구체적으로는, 예를 들어 출력 제어부(105)는, 데이터 취득부(102)의 다른 촬상 장치에 의해 촬상된 화상 데이터를 합성하고, 부감 화상 또는 파노라마 화상 등을 생성하여, 생성한 화상을 포함하는 출력 신호를 출력부(106)에 공급한다. 또한, 예를 들어 출력 제어부(105)는, 충돌, 접촉, 위험 지대로의 진입 등의 위험에 대한 경고음 또는 경고 메시지 등을 포함하는 음성 데이터를 생성하고, 생성한 음성 데이터를 포함하는 출력 신호를 출력부(106)에 공급한다.
출력부(106)는, 자차의 탑승자 또는 차밖에 대하여, 시각 정보 또는 청각 정보를 출력하는 것이 가능한 장치를 구비한다. 예를 들어, 출력부(106)는, 표시 장치, 인스트루먼트 패널, 오디오 스피커, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터, 램프 등을 구비한다. 출력부(106)가 구비하는 표시 장치는, 통상의 디스플레이를 갖는 장치 이외에도, 예를 들어 헤드업 디스플레이, 투과형 디스플레이, AR(Augmented Reality) 표시 기능을 갖는 장치 등의 운전자의 시야 내에 시각 정보를 표시하는 장치이어도 된다.
구동계 제어부(107)는, 각종 제어 신호를 생성하여 구동계 시스템(108)에 공급함으로써, 구동계 시스템(108)의 제어를 행한다. 또한, 구동계 제어부(107)는, 필요에 따라, 구동계 시스템(108) 이외의 각 부에 제어 신호를 공급하여, 구동계 시스템(108)의 제어 상태의 통지 등을 행한다.
구동계 시스템(108)은, 자차의 구동계에 관계되는 각종 장치를 구비한다. 예를 들어, 구동계 시스템(108)은, 내연 기관 또는 구동용 모터 등의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 타각을 조절하는 스티어링 기구, 제동력을 발생시키는 제동 장치, ABS(Antilock Brake System), ESC(Electronic Stability Control), 그리고, 전동 파워스티어링 장치 등을 구비한다.
바디계 제어부(109)는, 각종 제어 신호를 생성하여 바디계 시스템(110)에 공급함으로써, 바디계 시스템(110)의 제어를 행한다. 또한, 바디계 제어부(109)는, 필요에 따라, 바디계 시스템(110) 이외의 각 부에 제어 신호를 공급하여, 바디계 시스템(110)의 제어 상태의 통지 등을 행한다.
바디계 시스템(110)은, 차체에 장비된 바디계의 각종 장치를 구비한다. 예를 들어, 바디계 시스템(110)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 파워 시트, 스티어링 휠, 공조 장치 및 각종 램프(예를 들어, 헤드 램프, 백 램프, 브레이크 램프, 방향 지시등, 안개등 등) 등을 구비한다.
기억부(111)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스 및 광자기 기억 디바이스 등을 구비한다. 기억부(111)는, 차량 제어 시스템(100)의 각 부가 사용하는 각종 프로그램이나 데이터 등을 기억한다. 예를 들어, 기억부(111)는, 다이내믹 맵 등의 3차원의 고정밀도 지도, 고정밀도 지도보다 정밀도가 낮고, 넓은 에어리어를 커버하는 글로벌 맵, 및 자차 주위의 정보를 포함하는 로컬 맵 등의 지도 데이터를 기억한다.
자동 운전 제어부(112)는, 자율 주행 또는 운전 지원 등의 자동 운전에 관한 제어를 행한다. 구체적으로는, 예를 들어 자동 운전 제어부(112)는, 자차의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 자차의 충돌 경고, 또는 자차의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행한다. 또한, 예를 들어 자동 운전 제어부(112)는, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행한다. 자동 운전 제어부(112)는, 검출부(131), 자기 위치 추정부(132), 상황 분석부(133), 계획부(134), 및 동작 제어부(135)를 구비한다.
검출부(131)는, 자동 운전의 제어에 필요한 각종 정보의 검출을 행한다. 검출부(131)는, 차밖 정보 검출부(141), 차내 정보 검출부(142), 및 차량 상태 검출부(143)를 구비한다.
차밖 정보 검출부(141)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 외부 정보의 검출 처리를 행한다. 예를 들어, 차밖 정보 검출부(141)는, 자차 주위의 물체 검출 처리, 인식 처리, 및 추적 처리, 그리고, 물체까지의 거리의 검출 처리를 행한다. 검출 대상이 되는 물체에는, 예를 들어 차량, 사람, 장해물, 구조물, 도로, 신호기, 교통 표지, 도로 표시 등이 포함된다. 또한, 예를 들어 차밖 정보 검출부(141)는, 자차 주위의 환경 검출 처리를 행한다. 검출 대상이 되는 주위의 환경에는, 예를 들어 날씨, 기온, 습도, 밝기 및 노면의 상태 등이 포함된다. 차밖 정보 검출부(141)는, 검출 처리의 결과를 나타내는 데이터를 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153), 그리고, 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차내 정보 검출부(142)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차내의 정보의 검출 처리를 행한다. 예를 들어, 차내 정보 검출부(142)는, 운전자의 인증 처리 및 인식 처리, 운전자의 상태의 검출 처리, 탑승자의 검출 처리, 및 차내 환경의 검출 처리 등을 행한다. 검출 대상이 되는 운전자의 상태에는, 예를 들어 몸 상태, 각성도, 집중도, 피로도, 시선 방향 등이 포함된다. 검출 대상이 되는 차내의 환경에는, 예를 들어 기온, 습도, 밝기, 냄새 등이 포함된다. 차내 정보 검출부(142)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153), 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차량 상태 검출부(143)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 상태의 검출 처리를 행한다. 검출 대상이 되는 자차의 상태에는, 예를 들어 속도, 가속도, 타각, 이상 유무 및 내용, 운전 조작의 상태, 파워 시트의 위치 및 기울기, 도어록의 상태, 그리고, 그 밖의 차량 탑재 기기의 상태 등이 포함된다. 차량 상태 검출부(143)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153) 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
자기 위치 추정부(132)는, 차밖 정보 검출부(141) 및 상황 분석부(133)의 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 위치 및 자세 등의 추정 처리를 행한다. 또한, 자기 위치 추정부(132)는, 필요에 따라, 자기 위치의 추정에 사용하는 로컬 맵(이하, 자기 위치 추정용 맵이라고 칭함)을 생성한다. 자기 위치 추정용 맵은, 예를 들어 SLAM(Simultaneous Localization and Mapping) 등의 기술을 사용한 고정밀도의 맵이 된다. 자기 위치 추정부(132)는, 추정 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152), 및 상황 인식부(153) 등에 공급한다. 또한, 자기 위치 추정부(132)는, 자기 위치 추정용 맵을 기억부(111)에 기억시킨다.
상황 분석부(133)는, 자차 및 주위 상황의 분석 처리를 행한다. 상황 분석부(133)는, 맵 해석부(151), 교통 룰 인식부(152), 상황 인식부(153) 및 상황 예측부(154)를 구비한다.
맵 해석부(151)는, 자기 위치 추정부(132) 및 차밖 정보 검출부(141) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호를 필요에 따라서 사용하면서, 기억부(111)에 기억되어 있는 각종 맵의 해석 처리를 행하여, 자동 운전의 처리에 필요한 정보를 포함하는 맵을 구축한다. 맵 해석부(151)는, 구축한 맵을, 교통 룰 인식부(152), 상황 인식부(153), 상황 예측부(154), 그리고, 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.
교통 룰 인식부(152)는, 자기 위치 추정부(132), 차밖 정보 검출부(141) 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차 주위의 교통 룰의 인식 처리를 행한다. 이 인식 처리에 의해, 예를 들어 자차 주위의 신호의 위치 및 상태, 자차 주위의 교통 규제 내용, 그리고, 주행 가능한 차선 등이 인식된다. 교통 룰 인식부(152)는, 인식 처리의 결과를 나타내는 데이터를 상황 예측부(154) 등에 공급한다.
상황 인식부(153)는, 자기 위치 추정부(132), 차밖 정보 검출부(141), 차내 정보 검출부(142), 차량 상태 검출부(143) 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차에 관한 상황의 인식 처리를 행한다. 예를 들어, 상황 인식부(153)는, 자차의 상황, 자차 주위의 상황, 및 자차의 운전자의 상황 등의 인식 처리를 행한다. 또한, 상황 인식부(153)는, 필요에 따라, 자차 주위의 상황의 인식에 사용하는 로컬 맵(이하, 상황 인식용 맵이라고 칭함)을 생성한다. 상황 인식용 맵은, 예를 들어 점유 격자 지도(Occupancy Grid Map)가 된다.
인식 대상이 되는 자차의 상황에는, 예를 들어 자차의 위치, 자세, 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 그리고, 이상 유무 및 내용 등이 포함된다. 인식 대상이 되는 자차 주위의 상황에는, 예를 들어 주위의 정지 물체의 종류 및 위치, 주위의 동물체의 종류, 위치 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 주위의 도로의 구성 및 노면 상태, 그리고, 주위의 날씨, 기온, 습도 및 밝기 등이 포함된다. 인식 대상이 되는 운전자의 상태에는, 예를 들어 몸 상태, 각성도, 집중도, 피로도, 시선의 움직임, 그리고, 운전 조작 등이 포함된다.
상황 인식부(153)는, 인식 처리의 결과를 나타내는 데이터(필요에 따라, 상황 인식용 맵을 포함함)를 자기 위치 추정부(132) 및 상황 예측부(154) 등에 공급한다. 또한, 상황 인식부(153)는, 상황 인식용 맵을 기억부(111)에 기억시킨다.
상황 예측부(154)는, 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차에 관한 상황의 예측 처리를 행한다. 예를 들어, 상황 예측부(154)는, 자차의 상황, 자차 주위의 상황 및 운전자의 상황 등의 예측 처리를 행한다.
예측 대상이 되는 자차의 상황에는, 예를 들어 자차의 거동, 이상 발생 및 주행 가능 거리 등이 포함된다. 예측 대상이 되는 자차 주위의 상황에는, 예를 들어 자차 주위의 동물체의 거동, 신호의 상태 변화 및 날씨 등의 환경 변화 등이 포함된다. 예측 대상이 되는 운전자의 상황에는, 예를 들어 운전자의 거동 및 몸 상태 등이 포함된다.
상황 예측부(154)는, 예측 처리의 결과를 나타내는 데이터를, 교통 룰 인식부(152) 및 상황 인식부(153)로부터의 데이터와 함께, 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.
루트 계획부(161)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 목적지까지의 루트를 계획한다. 예를 들어, 루트 계획부(161)는, 글로벌 맵에 기초하여, 현재 위치로부터 지정된 목적지까지의 루트를 설정한다. 또한, 예를 들어 루트 계획부(161)는, 정체, 사고, 통행 규제, 공사 등의 상황 및 운전자의 몸 상태 등에 기초하여, 적절히 루트를 변경한다. 루트 계획부(161)는, 계획한 루트를 나타내는 데이터를 행동 계획부(162) 등에 공급한다.
행동 계획부(162)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 루트 계획부(161)에 의해 계획된 루트를 계획된 시간 내에 안전하게 주행하기 위한 자차의 행동을 계획한다. 예를 들어, 행동 계획부(162)는, 발진, 정지, 진행 방향(예를 들어, 전진, 후퇴, 좌회전, 우회전, 방향 전환 등), 주행 차선, 주행 속도 및 추월 등의 계획을 행한다. 행동 계획부(162)는, 계획한 자차의 행동을 나타내는 데이터를 동작 계획부(163) 등에 공급한다.
동작 계획부(163)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 행동 계획부(162)에 의해 계획된 행동을 실현하기 위한 자차의 동작을 계획한다. 예를 들어, 동작 계획부(163)는, 가속, 감속 및 주행 궤도 등의 계획을 행한다. 동작 계획부(163)는, 계획한 자차의 동작을 나타내는 데이터를, 동작 제어부(135)의 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
동작 제어부(135)는 자차의 동작의 제어를 행한다. 동작 제어부(135)는, 긴급 사태 회피부(171), 가감속 제어부(172) 및 방향 제어부(173)를 구비한다.
긴급 사태 회피부(171)는, 차밖 정보 검출부(141), 차내 정보 검출부(142) 및 차량 상태 검출부(143)의 검출 결과에 기초하여, 충돌, 접촉, 위험 지대로의 진입, 운전자의 이상, 차량의 이상 등의 긴급 사태의 검출 처리를 행한다. 긴급 사태 회피부(171)는, 긴급 사태의 발생을 검출한 경우, 급정차나 급선회 등의 긴급 사태를 회피하기 위한 자차의 동작을 계획한다. 긴급 사태 회피부(171)는, 계획한 자차의 동작을 나타내는 데이터를 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
가감속 제어부(172)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 가감속 제어를 행한다. 예를 들어, 가감속 제어부(172)는, 계획된 가속, 감속 또는 급정차를 실현하기 위한 구동력 발생 장치 또는 제동 장치의 제어 목표값을 연산하여, 연산한 제어 목표값을 나타내는 제어 지령을 구동계 제어부(107)에 공급한다.
방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 방향 제어를 행한다. 예를 들어, 방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 주행 궤도 또는 급선회를 실현하기 위한 스티어링 기구의 제어 목표값을 연산하여, 연산한 제어 목표값을 나타내는 제어 지령을 구동계 제어부(107)에 공급한다.
<물체 인식 모델(201)의 구성예>
도 2는, 물체 인식 모델(201)의 구성예를 도시하고 있다. 물체 인식 모델(201)은, 예를 들어 도 1의 차량 제어 시스템(100)의 차밖 정보 검출부(141)에 사용된다.
물체 인식 모델(201)에는, 예를 들어 차량(10)의 전방을 촬영한 화상 데이터인 촬영 화상(예를 들어, 촬영 화상(202))이 입력 데이터로서 입력된다. 그리고, 물체 인식 모델(201)은, 촬영 화상에 기초하여, 차량(10)의 전방의 차량 인식 처리를 행하여, 인식 결과를 나타내는 화상 데이터인 출력 화상(예를 들어, 출력 화상(203))을 출력 데이터로서 출력한다.
물체 인식 모델(201)은, 컨벌루션 뉴럴 네트워크(CNN)를 사용한 모델이며, 특징 추출층(211) 및 예측층(212)을 구비한다.
특징 추출층(211)은, 복수의 계층을 구비하고, 각 계층은, 컨벌루션층, 풀링층 등을 포함한다. 특징 추출층(211)의 각 계층은, 각각 소정의 연산에 의해, 촬영 화상의 특징을 나타내는 1 이상의 특징 맵을 생성하여, 다음 계층에 공급한다. 또한, 특징 추출층(211)의 일부 계층은, 특징 맵을 예측층(212)에 공급한다.
또한, 특징 추출층(211)의 각 계층에서 생성되는 특징 맵의 사이즈(화소수)는 다르며, 계층이 진행됨에 따라서 서서히 작아진다.
도 3은, 도 2의 특징 추출층(211)의 점선 사각으로 둘러싸여 있는 중간층인 계층(221)에서 생성되어, 출력되는 특징 맵(231-1) 내지 특징 맵(231-n)의 예를 도시하고 있다.
계층(221)에서는, 1개의 촬영 화상에 대하여 n개의 특징 맵(231-1) 내지 특징 맵(231-n)이 생성된다. 특징 맵(231-1) 내지 특징 맵(231-n)은, 예를 들어 세로 38개×가로 38개의 화소가 2차원으로 배열된 화상 데이터이다. 또한, 특징 맵(231-1) 내지 특징 맵(231-n)은, 예측층(212)에서 인식 처리에 사용되는 특징 맵 중 가장 사이즈가 큰 특징 맵이다.
또한, 이하, 계층마다, 각 촬영 화상으로부터 생성되는 특징 맵에 1부터 시작되는 일련 번호가 각각 할당되는 것으로 한다. 예를 들어, 계층(221)에 있어서 1개의 촬영 화상으로부터 생성되는 특징 맵(231-1) 내지 특징 맵(231-n)에, 1부터 n까지의 일련 번호가 각각 할당되는 것으로 한다. 마찬가지로, 그 밖의 계층에 있어서 1개의 촬영 화상으로부터 생성되는 특징 맵에, 1부터 N까지의 일련 번호가 각각 할당되는 것으로 한다. 또한, N은, 그 계층에서 1개의 촬영 화상으로부터 생성되는 특징 맵의 수를 나타낸다.
예측층(212)은, 특징 추출층(211)으로부터 공급되는 특징 맵에 기초하여, 차량(10)의 전방의 차량 인식 처리를 행한다. 예측층(212)은, 차량의 인식 결과를 나타내는 출력 화상을 출력한다.
<정보 처리 장치(301)의 구성예>
도 4는, 도 2의 물체 인식 모델(201) 등의 뉴럴 네트워크를 사용한 모델(이하, 학습 모델이라고 칭함)의 학습에 사용되는 정보 처리 장치(301)의 구성예를 도시하고 있다.
정보 처리 장치(301)는, 입력부(311), 학습부(312), 학습 상황 해석부(313), 출력 제어부(314) 및 출력부(315)를 구비한다.
입력부(311)는, 각종 데이터나 지시 등의 입력에 사용하는 입력 디바이스를 구비하고, 입력된 데이터나 지시 등에 기초하여 입력 신호를 생성하여, 학습부(312)에 공급한다. 예를 들어, 입력부(311)는, 학습 모델의 학습용 교사 데이터의 입력에 사용된다.
학습부(312)는 학습 모델의 학습 처리를 행한다. 또한, 학습부(312)의 학습 방법은, 특정 방법에 한정되지 않는다. 또한, 학습부(312)는, 학습 모델에서 생성되는 특징 맵을 학습 상황 해석부(313)에 공급한다.
학습 상황 해석부(313)는, 학습부(312)로부터 공급되는 특징 맵에 기초하여, 학습부(312)에 의한 학습 모델의 학습 상황의 해석 등을 행한다. 학습 상황 해석부(313)는, 특징 데이터 생성부(321), 해석용 데이터 생성부(322), 해석부(323) 및 파라미터 설정부(324)를 구비한다.
특징 데이터 생성부(321)는, 특징 맵의 특징을 수치로 나타내는 특징 데이터를 생성하여, 해석용 데이터 생성부(322)에 공급한다.
해석용 데이터 생성부(322)는, 복수의 특징 맵의 특징 데이터를 늘어놓은(배열한) 해석용 데이터를 생성하여, 해석부(323) 및 출력 제어부(314)에 공급한다.
해석부(323)는, 해석용 데이터에 기초하여, 학습 모델의 학습 상황의 해석 처리를 행하여, 해석 결과를 나타내는 데이터를 파라미터 설정부(324)에 공급한다.
파라미터 설정부(324)는, 학습 모델의 학습 상황의 해석 결과에 기초하여, 학습 모델의 학습용의 각종 파라미터를 설정한다. 파라미터 설정부(324)는, 설정한 파라미터를 나타내는 데이터를 학습부(312)에 공급한다.
출력 제어부(314)는, 출력부(315)에 의한 각종 정보의 출력을 제어한다. 예를 들어, 출력 제어부(314)는, 출력부(315)에 의한 해석용 데이터의 표시를 제어한다.
출력부(315)는, 시각 정보, 청각 정보 등의 각종 정보를 출력 가능한 출력 디바이스를 구비한다. 예를 들어, 출력부(315)는, 디스플레이, 스피커 등을 구비한다.
<학습 상황 해석 처리>
이어서, 도 5의 흐름도를 참조하여, 정보 처리 장치(301)에 의해 실행되는 학습 상황 해석 처리에 대해서 설명한다.
이 처리는, 예를 들어 학습부(312)에 의해 학습 모델의 학습 처리가 개시되었을 때 개시된다.
또한, 이하, 도 2의 물체 인식 모델(201)의 학습 처리가 행하여져, 그 학습 상황의 해석을 행하는 경우를 예로 들어 설명한다. 또한, 이하, 물체 인식 모델(201)의 계층(221)에 있어서, 1개의 촬영 화상으로부터 512개의 특징 맵이 생성되는 경우를 예로 들어 설명한다.
스텝 S1에서, 특징 데이터 생성부(321)는 특징 데이터를 생성한다. 예를 들어, 특징 데이터 생성부(321)는, 다음 식 (1)에 의해, 특징 맵의 화소값의 산포도를 나타내는 분산을 산출한다.
Figure pct00001
식 (1)의 var는, 특징 맵의 화소값의 분산을 나타내고 있다. I는, 특징 맵의 열방향(세로 방향)의 화소수에서 1을 뺀 값을 나타내고, J는, 특징 맵의 행방향(가로 방향)의 화소수에서 1을 뺀 값을 나타낸다. Ai,j는, 특징 맵의 좌표 (i, j)의 화소값을 나타내고 있다. mean은, 특징 맵의 화소값의 평균을 나타내며, 식 (2)에 의해 산출된다.
또한, 도 6의 A는, 화소값의 분산이 큰 특징 맵의 예를 나타내고 있고, 도 6의 B는, 화소값의 분산이 작은 특징 맵의 예를 나타내고 있다. 화소값의 분산이 큰 특징 맵일수록, 촬영 화상의 특징을 포착하고 있을 가능성이 높고, 화소값의 분산이 작은 특징 맵일수록, 촬영 화상의 특징을 포착하고 있을 가능성이 낮아진다.
예를 들어, 학습부(312)는, 교사 데이터가 입력될 때마다, 물체 인식 모델(201)의 학습 처리를 행함과 함께, 물체 인식 모델(201)의 계층(221)에 있어서 교사 데이터에 포함되는 촬영 화상으로부터 생성된 복수의 특징 맵을, 특징 데이터 생성부(321)에 공급한다. 특징 데이터 생성부(321)는, 각 특징 맵의 화소값의 분산을 산출하여, 산출한 분산을 나타내는 특징 데이터를 해석용 데이터 생성부(322)에 공급한다.
스텝 S2에서, 해석용 데이터 생성부(322)는 해석용 데이터를 생성한다.
도 7은, 물체 인식 모델(201)의 계층(221)에서 생성되는 특징 맵을 일렬로 배열한 예를 도시하고 있다. 특징 맵은, 유용한 정보를 포함하고 있지만, 물체 인식 모델(201)의 학습 상황의 해석에는 별로 적합하지 않다. 예를 들어, 200매의 촬영 화상이 학습 처리에 사용된 경우, 계층(221)에서는, 합계 102,400개(=512개×200)나 되는 특징 맵이 생성된다. 따라서, 특징 맵을 그대로 사용해서 물체 인식 모델(201)의 학습 상황의 해석을 행하는 것은, 정보량이 너무 많아서 어렵다.
이에 반해, 해석용 데이터 생성부(322)는, 계층(221)에 있어서 복수의 촬영 화상으로부터 생성된 복수의 특징 맵의 특징 데이터를 소정의 순으로 배열함으로써, 정보량을 압축하여, 1개의 해석용 데이터를 생성한다.
도 8은, 물체 인식 모델(201)의 계층(221)에 있어서, 200매의 촬영 화상으로부터 생성된 특징 맵을 2차원으로 배열한 예를 도시하고 있다. 도면 내의 세로 방향의 열은, 촬영 화상의 번호를 나타내고, 가로 방향의 행은, 특징 맵의 번호를 나타내고 있다. 각 행에는, 각 촬영 화상으로부터 생성된 512개의 특징 맵이, 좌측으로부터 우측으로 번호순으로 배열되어 있다. 예를 들어, 1행째에는, 1번째의 촬영 화상으로부터 생성된 512개의 특징 맵이, 좌측으로부터 우측으로 번호순으로 배열되어 있다.
그리고, 해석용 데이터 생성부(322)는, 촬영 화상마다, 각 촬영 화상으로부터 생성된 512개의 특징 맵에 기초하는 512개의 특징 데이터(각 특징 맵의 분산)를, 대응하는 특징 맵의 번호순으로 배열함으로써, 512차원의 벡터(이하, 분산 벡터라고 칭함)를 생성한다. 예를 들어, 도 8의 촬영 화상 1에 대하여, 촬영 화상 1로부터 생성된 특징 맵 1 내지 특징 맵 512에 기초하는 512개의 특징 데이터를 요소로 하는 1개의 분산 벡터가 생성된다. 그리고, 촬영 화상 1 내지 촬영 화상 200에 대한 분산 벡터 1 내지 분산 벡터 200이 생성된다.
도 9는, 분산 벡터 및 분산 벡터를 화상화한 예를 도시하고 있다. 분산 벡터의 화상은, 분산 벡터의 각 요소(특징 데이터)의 값에 따른 색을 나타내는 화소를 가로 방향으로 차례로 배열한 것이다. 예를 들어, 화소의 색은, 화소값인 특징 데이터의 값(특징 맵의 분산)이 작아질수록 빨갛게 되고, 화소값인 특징 데이터의 값(특징 맵의 분산)이 커질수록 파랗게 되도록 설정되어 있다. 또한, 분산 벡터의 화상은, 실제로는 컬러 화상이지만, 여기에서는 그레이 스케일의 화상에 의해 나타내져 있다.
그리고, 해석용 데이터 생성부(322)는, 각 촬영 화상의 분산 벡터의 요소(특징 데이터)를 화소로 하는 화상 데이터를 포함하는 해석용 데이터를 생성한다.
도 10은, 도 8의 특징 맵에 기초하여 생성된 해석용 데이터를 화상화한 예를 도시하고 있다. 또한, 해석용 데이터의 화소의 색은, 예를 들어 도 9의 분산 벡터의 화상과 마찬가지로, 화소값인 특징 데이터의 값이 작아질수록 빨갛게 되고, 화소값인 특징 데이터의 값이 커질수록 파랗게 되도록 설정되어 있다. 또한, 해석용 데이터의 화상은, 실제로는 컬러 화상이지만, 여기에서는 그레이 스케일의 화상에 의해 나타내져 있다. 또한, 해석용 데이터의 x축 방향(가로 방향)은 특징 맵의 번호를 나타내고, y축 방향(세로 방향)은 촬영 화상의 번호를 나타내고 있다.
도 10의 해석용 데이터에서는, 도 8의 특징 맵과 동일한 배열순으로, 각 특징 맵의 특징 데이터가 배열되어 있다. 즉, 해석용 데이터의 x축 방향(가로 방향)으로, 동일한 촬영 화상으로부터 생성된 512개의 특징 맵에 각각 기초하는 512개의 특징 데이터가, 특징 맵의 번호순으로 배열되어 있다. 또한, 해석용 데이터의 y축 방향으로는, 다른 촬영 화상의 서로 대응하는(동일한 번호의) 특징 맵에 기초하는 특징 데이터가, 촬영 화상의 번호순으로 배열되어 있다. 도면 내의 흰색 원은, 100번째의 촬영 화상 100의 200번째의 특징 맵 200에 대응하는 화소의 위치를 나타내고 있다.
해석용 데이터 생성부(322)는, 생성한 해석용 데이터를 해석부(323) 및 출력 제어부(314)에 공급한다.
출력부(315)는, 예를 들어 출력 제어부(314)의 제어 하에 해석용 데이터를 표시한다.
스텝 S3에서, 해석부(323)는, 해석용 데이터를 사용하여 학습 상황의 해석을 행한다.
도 11은, 학습의 진행에 수반하는 해석용 데이터의 변화 모습의 예를 도시하고 있다. 도 11의 A 내지 E의 해석용 데이터는, 학습의 진행순으로 배열되어 있어, 도 11의 A의 해석용 데이터가 가장 오래되고, 도 11의 E의 해석용 데이터가 가장 새롭다.
학습의 초기 단계의 도 11의 A의 해석용 데이터에서는, 가로선(x축 방향의 라인) 및 세로선(y축 방향의 라인)이 많다. 한편, 학습이 진행됨에 따라서, 가로선 및 세로선이 감소하여, 도 11의 E의 해석용 데이터에서는, 가로선은 존재하지 않고, 세로선도 10개 정도로 되어 있다.
여기서, 가로선은, 예를 들어 화소값(특징 데이터의 값)이 소정의 역치 이상인 화소가 소정의 역치 이상 존재하는 x축 방향의 행으로 한다. 세로선은, 예를 들어 화소값(특징 데이터의 값)이 소정의 역치 이상인 화소가 소정의 역치 이상 존재하는 y축 방향의 열로 한다. 또한, 가로선 및 세로선의 수는, 해석용 데이터의 x축 방향의 행 및 y축 방향의 열마다 카운트된다. 즉, 복수의 가로선 또는 복수의 세로선이 인접하고 있어 1개의 선과 같이 보여도, 각각 별도의 선으로서 카운트된다.
그리고, 이 예에 나타내는 바와 같이, 해석용 데이터의 가로선이 없고, 세로선이 소정의 범위 내에 수렴되는 것이 이상적인 상태이며, 학습 모델의 학습이 적절하게 행하여지고 있는 상태이다.
구체적으로는, 촬영 화상의 내용에 관계없이 화소값의 분산이 커지는 특징 맵(이하, 고분산 특징 맵이라고 칭함)이 존재하는 경우, 해석용 데이터의 고분산 특징 맵에 대응하는 열에 세로선이 나타난다. 고분산 특징 맵은, 촬영 화상의 내용에 관계없이 촬영 화상의 특징을 추출하여, 학습 모델의 물체의 인식에 기여할 가능성이 높은 특징 맵이다.
한편, 촬영 화상의 내용에 관계없이 화소값의 분산이 작아지는 특징 맵(이하, 저분산 특징 맵이라고 칭함)이 존재하는 경우, 해석용 데이터의 저분산 특징 맵에 대응하는 열에는 세로선이 나타나지 않는다. 저분산 특징 맵은, 촬영 화상의 내용에 관계없이 촬영 화상의 특징을 추출하지 않아, 학습 모델의 물체의 인식에 기여할 가능성이 낮은 특징 맵이다.
따라서, 고분산 특징 맵이 많아질수록, 해석용 데이터의 세로선의 수가 많아지고, 고분산 특징 맵이 적어질수록, 해석용 데이터의 세로선의 수가 적어진다.
또한, 고분산 특징 맵은, 반드시 학습 모델의 인식 대상이 되는 물체(예를 들어, 차량)의 인식에 기여한다고는 할 수 없으며, 학습이 충분하지 않은 경우에는 인식 대상 이외의 물체의 인식에 기여하는 경우도 있다. 단, 학습 모델이 적절하게 학습되어 있으면, 고분산 특징 맵은, 학습 모델의 인식 대상이 되는 물체의 인식에 기여하는 특징 맵으로 된다.
여기서, 일반적으로, 뉴럴 네트워크를 사용한 학습 모델의 학습 처리에 있어서, 과학습의 억제나 뉴럴 네트워크의 경량화 등을 위해서 정칙화 처리가 행하여진다. 이 정칙화 처리에 의해, 촬영 화상으로부터 추출하는 특징량의 종류가 어느 정도 압축된다. 즉, 촬영 화상의 특징을 추출하는 것이 가능한 특징 맵, 즉, 고분산 특징 맵의 수가 어느 정도 압축된다.
예를 들어, 도 12에 도시하는 바와 같이, 학습 초기에 있어서는, 고분산 특징 맵이 수많이 존재하지만, 학습 말기에는, 고분산 특징 맵의 수가 압축된다.
따라서, 예를 들어 도 13의 화살표로 나타낸 바와 같이, 해석용 데이터의 세로선의 수가 소정의 범위 내에 수렴되는 것이, 정칙화가 정상적으로 행하여지고 있는 이상적인 상태이다.
한편, 도 14에 도시하는 바와 같이, 학습이 진행됨에 따라서, 해석용 데이터의 세로선의 수가 너무 감소하거나 0으로 되거나 하는 것은, 정칙화가 너무 강해서, 촬영 화상의 특징을 충분히 추출하지 못한 상태이다. 또한, 도 15에 도시하는 바와 같이, 학습이 진행되어도, 해석용 데이터의 세로선의 수가 감소하지 않는 것은, 정칙화가 너무 약해서, 촬영 화상으로부터 추출하는 특징의 종류를 압축하지 못한 상태이다.
그래서, 해석부(323)는, 해석용 데이터의 세로선의 수가 소정의 범위 내에 수렴되었을 경우, 학습 처리의 정칙화가 정상적으로 행하여졌다고 판정한다. 한편, 해석부(323)는, 해석용 데이터의 세로선의 수가 소정의 범위를 초과하는 값에 수렴되었을 경우, 또는 세로선의 수가 수렴되지 않을 경우, 정칙화가 너무 약하다고 판정한다. 또한, 해석부(323)는, 해석용 데이터의 세로선의 수가 소정의 범위 미만의 값에 수렴되었을 경우, 정칙화가 너무 강하다고 판정한다.
또한, 정칙화 처리를 행하지 않는 경우에도, 학습이 진행됨에 따라서, 해석용 데이터의 세로선의 수는 감소하여, 수렴된다. 이 경우, 해석용 데이터의 세로선의 수는, 정칙화 처리를 행하지 않는 경우와 비교해서 큰 값으로 수렴되지만, 정칙화 처리를 행하는 경우와 마찬가지로, 세로선의 수에 기초하여 학습 처리가 정상적으로 행하여졌는지 여부를 판정하는 것이 가능하다.
또한, 대부분의 특징 맵의 화소값의 분산이 커지는 촬영 화상(이하, 고분산 촬영 화상이라고 칭함)이 존재하는 경우, 해석용 데이터의 고분산 촬영 화상에 대응하는 행에 가로선이 나타난다. 한편, 대부분의 특징 맵의 화소값의 분산이 작아지는 촬영 화상(이하, 저분산 촬영 화상이라고 칭함)이 존재하는 경우, 해석용 데이터의 저분산 촬영 화상에 대응하는 행에 가로선은 나타나지 않는다.
따라서, 고분산 촬영 화상과 저분산 촬영 화상이 혼재하고 있을 경우, 해석용 데이터에 가로선이 나타난다. 이것은, 각 특징 맵의 역할 분담이 충분히 되어 있지 않고, 즉, 각 특징 맵이 추출하는 특징이 명확하게 나뉘어 있지 않고, 촬영 화상의 내용에 따라, 각 특징 맵이 추출하는 특징에 변동이 있는 상태를 나타내고 있다.
따라서, 해석용 데이터의 가로선의 수는 적을수록 좋으며, 가로선의 수가 0으로 되는 것이 가장 이상적인 상태이다.
그래서, 해석부(323)는, 해석용 데이터의 가로선의 수가 소정의 역치 미만의 값에 수렴되었을 경우, 학습 처리가 정상적으로 행하여졌다고 판정한다. 한편, 해석부(323)는, 해석용 데이터의 가로선의 수가 소정의 역치 이상의 값에 수렴되었을 경우, 또는 가로선의 수가 수렴되지 않을 경우, 학습 처리가 정상적으로 행하여지지 않았다고 판정한다.
그리고, 해석부(323)는, 학습 상황의 해석 결과를 나타내는 데이터를 파라미터 설정부(324)에 공급한다.
스텝 S4에서, 파라미터 설정부(324)는, 해석 결과에 기초하여, 학습 처리의 파라미터를 조정한다. 예를 들어, 파라미터 설정부(324)는, 해석부(323)에 의해 정칙화가 너무 강하다고 판정된 경우, 정칙화 처리에 사용하는 정칙화 파라미터의 값을 현재의 값보다 작게 한다. 한편, 파라미터 설정부(324)는, 해석부(323)에 의해 정칙화가 너무 약하다고 판정된 경우, 정칙화 파라미터의 값을 현재의 값보다 크게 한다. 또한, 정칙화 파라미터의 값이 커질수록 정칙화가 강해지고, 정칙화 파라미터의 값이 작아질수록 정칙화가 약해진다. 파라미터 설정부(324)는, 조정 후의 정칙화 파라미터를 나타내는 데이터를 학습부(312)에 공급한다.
학습부(312)는, 정칙화 파라미터의 값을 파라미터 설정부(324)에 의해 설정된 값으로 설정한다. 이에 의해, 학습 모델의 학습 처리에 있어서, 정칙화가 보다 정상적으로 행하여지게 된다.
또한, 예를 들어 유저가, 출력부(315)에서 표시된 해석용 데이터를 참조하여, 정칙화 파라미터 등의 학습용 파라미터의 조정을 행하도록 해도 된다.
스텝 S5에서, 학습 상황 해석부(313)는, 학습부(312)에 의한 학습 처리가 종료되었는지 여부를 판정한다. 아직 학습 처리가 종료되지 않았다고 판정된 경우, 처리는 스텝 S1로 돌아간다. 그 후, 스텝 S5에서, 학습 처리가 종료되었다고 판정될 때까지, 스텝 S1 내지 스텝 S5의 처리가 반복해서 실행된다.
한편, 스텝 S5에서, 학습 처리가 종료되었다고 판정된 경우, 학습 상황 해석 처리는 종료된다.
이상과 같이 하여, 학습부(312)에 의한 학습 모델의 학습 상황을 해석할 수 있다. 또한, 해석 결과에 기초하여, 학습 처리의 파라미터를 적절하게 설정하여, 학습 정밀도를 높이거나, 학습 시간을 단축하거나 할 수 있다.
또한, 유저는, 해석용 데이터를 시인함으로써, 학습 모델의 학습 상황을 용이하게 인식할 수 있다.
<<2. 학습 상황의 해석 사례>>
이어서, 도 16 내지 도 22를 참조하여, 도 4의 정보 처리 장치(301)를 사용해서 학습 모델의 학습 상황을 해석한 사례에 대해서 설명한다.
또한, 이상의 설명에서는, 촬영 화상에 기초하여 차량의 인식 처리를 행하는 물체 인식 모델(201)의 학습 상황을 해석하는 예를 나타냈지만, 정보 처리 장치(301)의 해석 대상이 되는 학습 모델이 사용하는 화상 데이터의 종류나 인식 대상이 되는 물체의 종류는, 특별히 한정되지 않는다. 이하에서는, 차량(10)의 전방을 촬영한 촬영 화상, 및 차량(10)의 전방을 감시하는 밀리미터파 레이더로부터 출력되는 밀리미터파 화상에 기초하여, 차량(10)의 전방의 차량 인식 처리를 행하는 물체 인식 모델의 학습 상황을 해석한 사례에 대해서 설명한다.
<물체 인식 모델(401)의 구성예>
도 16은, 학습 상황의 해석을 행하는 대상이 된 학습 모델인 물체 인식 모델(401)의 구성예를 도시하고 있다. 물체 인식 모델(401)은, 예를 들어 도 1의 차량 제어 시스템(100)의 차밖 정보 검출부(141)에 사용된다.
물체 인식 모델(401)에는, 예를 들어 차량(10)의 전방을 촬영한 화상 데이터인 촬영 화상(예를 들어, 촬영 화상(402)) 및 차량(10)의 전방을 감시하는 밀리미터파 레이더로부터 출력되는 밀리미터파 화상(예를 들어, 밀리미터파 화상(403))이 입력 데이터로서 입력된다. 또한, 밀리미터파 화상은, 예를 들어 차량(10)의 전방 물체에 의해 반사된 밀리미터파 레이더의 수신 신호의 강도 분포를 조감도에 의해 나타낸 화상 데이터이다. 그리고, 물체 인식 모델(401)은, 촬영 화상 및 밀리미터파 화상에 기초하여, 차량(10)의 전방의 차량 인식 처리를 행하고, 인식 결과를 나타내는 화상 데이터인 출력 화상(예를 들어, 출력 화상(404))을 출력 데이터로서 출력한다.
물체 인식 모델(401)은, DSSD(Deconvolutional Single Shot Detector)를 사용한 학습 모델이다. 물체 인식 모델(401)은, 특징 추출층(411), 특징 추출층(412), 결합부(413) 및 예측층(414)을 구비한다.
특징 추출층(411)은, 도 2의 물체 인식 모델(201)의 특징 추출층(211)과 마찬가지의 구성을 갖고 있다. 특징 추출층(411)의 각 계층은, 각각 소정의 연산에 의해, 촬영 화상의 특징을 나타내는 특징 맵을 생성하여, 다음 계층에 공급한다. 또한, 특징 추출층(411)의 일부 계층은, 특징 맵을 결합부(413)에 공급한다.
특징 추출층(412)은, 계층 구조를 갖고 있으며, 각 계층은, 컨벌루션층, 풀링층 등을 포함한다. 특징 추출층(412)의 각 계층은, 각각 소정의 연산에 의해, 밀리미터파 화상의 특징을 나타내는 특징 맵을 생성하여, 다음 계층에 공급한다. 또한, 특징 추출층(412)의 일부 계층은, 특징 맵을 결합부(413)에 공급한다. 또한, 특징 추출층(412)은, 밀리미터파 화상을 촬영 화상과 동일한 카메라 좌표계의 화상으로 변환한다.
결합부(413)는, 특징 추출층(411)과 특징 추출층(412)의 서로 대응하는 계층으로부터 출력되는 특징 맵을 결합하여, 예측층(414)에 공급한다.
예측층(414)은, 결합부(413)로부터 공급되는 특징 맵에 기초하여, 차량(10)의 전방의 차량 인식 처리를 행한다. 예측층(414)은, 차량의 인식 결과를 나타내는 출력 화상을 출력한다.
또한, 물체 인식 모델(401)은, 카메라용 네트워크(421), 밀리미터파 레이더용 네트워크(422) 및 결합용 네트워크(423)로 나뉜다.
카메라용 네트워크(421)는, 결합 대상으로 되지 않는 특징 맵을 촬영 화상으로부터 생성하는, 특징 추출층(411)의 전반 부분을 포함한다.
밀리미터파 레이더용 네트워크(422)는, 결합 대상으로 되지 않는 특징 맵을 밀리미터파 화상으로부터 생성하는, 특징 추출층(412)의 전반 부분을 포함한다.
결합용 네트워크(423)는, 결합 대상이 되는 특징 맵을 생성하는 특징 추출층(411)의 후반 부분, 결합 대상이 되는 특징 맵을 생성하는 특징 추출층(412)의 후반 부분, 결합부(413) 및 예측층(414)을 포함한다.
여기서, 물체 인식 모델(401)의 학습 처리를 행하고, 학습 후의 물체 인식 모델(401)을 사용해서 차량(10)의 전방의 차량 인식 처리를 행한 결과, 아무것도 인식할 수 없어, 차량 인식에 실패한 결과로 끝났다.
그래서, 도 5를 참조하여 상술한 학습 상황 해석 처리에 의해, 물체 인식 모델(401)의 학습 상황의 해석을 행하였다. 구체적으로는, 도 16의 굵은 프레임선으로 둘러싸여 있는 특징 추출층(411)의 중간층인 계층(431)에서 생성되어 출력되는 특징 맵, 및 특징 추출층(412)의 중간층인 계층(432)에서 생성되어 출력되는 특징 맵의 해석 처리를 행하였다. 또한, 계층(431)에서 생성되는 특징 맵은, 예측층(414)의 인식 처리에 사용되는 특징 추출층(411)의 특징 맵 중, 가장 사이즈가 큰 특징 맵이다. 계층(432)에서 생성되는 특징 맵은, 예측층(414)의 인식 처리에 사용되는 특징 추출층(412)의 특징 맵 중, 가장 사이즈가 큰 특징 맵이다.
그리고, 특징 추출층(411)의 계층(431)에서 생성되는 특징 맵에 기초하는 해석용 데이터는, 앞서 나타낸 도 11에 도시하는 바와 같이, 학습 처리가 진행됨에 따라서, 가로선이 사라지고, 세로선의 수가 소정의 범위 내에 수렴되었다.
한편, 특징 추출층(412)의 계층(432)에서 생성되는 특징 맵에 기초하는 해석용 데이터는, 도 17의 A 내지 E에 나타내는 바와 같이, 학습 처리가 진행되어도, 가로선이 사라지지 않고 남았다. 즉, 특징 추출층(412)에 있어서, 학습이 적절하게 행하여지지 않아, 밀리미터파 화상의 특징이 적절하게 추출되지 않은 것을 알 수 있었다. 또한, 도 17의 A 내지 E의 해석용 데이터는, 도 11의 A 내지 E와 마찬가지로, 학습의 진행순으로 배열되어 있다. 도 18은, 도 17의 E의 해석용 데이터를 확대한 것이다.
그래서, 해석용 데이터에 가로선이 나타나는 원인을 찾기 위해서, 가로선이 나타난 행에 대응하는 촬영 화상 및 밀리미터파 화상이 조사되었다.
도 19 내지 도 21은, 도 18의 화살표로 나타내지는, 해석용 데이터의 가로선이 나타난 행에 대응하는 밀리미터파 화상 및 촬영 화상을 모식적으로 도시하고 있다. 도 19 내지 도 21의 A는, 밀리미터파 화상을 그레이 스케일의 화상으로 변환한 것이며, 도 19 내지 도 21의 B는, 촬영 화상을 선도로 한 것이다.
그리고, 도 19 내지 도 21의 A의 촬영 화상의 예에 나타내는 바와 같이, 해석용 데이터의 가로선이 나타나 있는 행에서는, 모두 차량(10)이 고속 도로의 중앙 차선을 주행하고 있는 것을 알 수 있었다.
또한, 도 22는, 해석용 데이터의 가로선이 나타나 있는 행의 특징 맵의 예를 도시하고 있다. 밀리미터파 화상(501)은, 해석용 데이터의 가로선이 나타나 있는 행의 밀리미터파 화상을 그레이 스케일의 화상으로 변환한 것이며, 특징 맵(502-1) 내지 특징 맵(502-4)은, 밀리미터파 화상(501)으로부터 생성된 특징 맵의 일부이다.
특징 맵(502-1) 내지 특징 맵(502-4)에서는, 차량(10)의 전방의 좌우 단부 부근에서 화소값이 크게 변화하고 있다. 이에 의해, 밀리미터파 화상으로부터 생성된 특징 맵에서는, 차량(10)의 전방의 차량이 아니라, 차량의 전방의 좌우 벽 등에 대응하는 특징이 추출되기 쉬운 것을 알 수 있다.
이에 의해, 특징 추출층(412)은, 차량(10)의 전방의 차량보다도, 좌우의 벽 등의 인식에 적합할 가능성이 있는 것을 알았다.
이와 같이, 해석용 데이터를 사용함으로써, 물체 인식 모델(401)이 차량의 인식에 실패하는 원인을 용이하게 특정할 수 있었다.
<<3. 변형예>>
이하, 상술한 본 기술의 실시 형태의 변형예에 대해서 설명한다.
해석용 데이터에 사용하는 특징 데이터는, 상술한 특징 맵의 화소값의 분산에 한정되는 것은 아니며, 특징 맵의 특징을 나타내는 다른 수치를 사용하는 것이 가능하다.
예를 들어, 특징 맵의 화소값의 평균값, 최댓값, 중앙값 등을 특징 데이터에 사용하는 것이 가능하다.
또한, 예를 들어 다음 식 (3)에 의해 계산되는 특징 맵의 놈을 특징 데이터에 사용해도 된다.
Figure pct00002
식 (3)의 norm은, 특징 맵의 놈을 나타내고 있다. n, m은, 임의의 수를 나타내고 있다. 다른 기호는, 상술한 식 (1)과 마찬가지이다.
특징 맵의 놈은, 특징 맵의 화소값의 평균값에 대한 각 화소의 화소값의 산포도가 커질수록 커지고, 특징 맵의 화소값의 평균값에 대한 각 화소의 화소값의 산포도가 작아질수록 작아진다. 따라서, 특징 맵의 놈은, 특징 맵의 화소값의 산포도를 나타낸다.
또한, 예를 들어 특징 맵의 화소값의 도수 분포를 특징 데이터에 사용해도 된다.
도 23은, 특징 맵의 화소값의 히스토그램(도수 분포)의 예를 도시하고 있다. 횡축은, 특징 맵의 화소값에 기초하는 계급을 나타내고 있다. 즉, 특징 맵의 화소값이 복수의 계급으로 분류되어 있다. 종축은 도수를 나타내고 있다. 즉, 화소값이 각 계급에 속하는 특징 맵의 화소의 개수를 나타내고 있다.
그리고, 복수의 입력 화상(예를 들어, 상술한 촬영 화상 또는 밀리미터파 화상 등)으로부터 생성된 복수의 특징 맵에 기초하여, 도 24에 나타내지는 해석용 데이터가 생성된다.
도 24의 해석용 데이터(521)는, 히스토그램의 계급마다 생성되는 2차원의 도수 맵(522-1) 내지 도수 맵(522-m)을 z축 방향(깊이 방향)으로 배열한 3차원의 데이터이다.
구체적으로는, 도수 맵(522-1)의 x축 방향(가로 방향)은 특징 맵의 번호를 나타내고, y축 방향은 입력 화상의 번호를 나타내고 있다.
도수 맵(522-1)에서는, 각 입력 화상의 특징 맵의 히스토그램의 1번째의 계급의 도수가, 대응하는 특징 맵의 번호순으로 x축 방향(가로 방향)으로 배열되어 있다. 또한, 다른 입력 화상의 동일한 번호의 특징 맵에 대응하는 도수가, 대응하는 입력 화상의 번호순으로 y축 방향(세로 방향)으로 배열되어 있다.
도수 맵(522-2) 내지 도수 맵(522-m)에 대해서도 마찬가지로, 각 촬영 화상의 특징 맵의 히스토그램의 i번째(i=2 내지 m)의 계급의 도수가, x축 방향 및 y축 방향으로 배열되어 있다.
도수 맵(522-1) 내지 도수 맵(522-m)은, 예를 들어 각각 상술한 2차원의 해석용 데이터와 마찬가지로, 세로선 및 가로선에 기초하여, 학습 상황의 해석에 사용할 수 있다. 또한, 예를 들어 해석용 데이터(521)는, z축 방향의 선에 기초하여, 학습 상황의 해석에 사용할 수 있다.
또한, 예를 들어 1 이상의 화상 데이터로부터 생성되는 복수의 특징 맵에 기초하는 특징 데이터 중, 소정의 조건을 충족하는 특징 데이터만을 추출하여, 추출한 특징 데이터를 포함하는 해석용 데이터를 생성하도록 해도 된다. 예를 들어, 특징 데이터가 특징 맵의 화소값의 분산일 경우, 1개의 화상 데이터로부터 생성된 복수의 특징 맵에 기초하는 특징 데이터 중, 값이 소정의 역치 이상인 특징 데이터를 추출하여, 추출한 특징 데이터를 포함하는 해석용 데이터를 생성하도록 해도 된다. 이 경우, 해석용 데이터에는, 화소값의 분산이 소정의 역치 이상인 특징 맵의 특징 데이터(=화소값의 분산)만이 포함된다.
또한, 예를 들어 1 이상의 화상 데이터에 대하여 뉴럴 네트워크의 다른 계층에서 생성된 복수의 특징 맵에 기초하여 해석용 데이터를 생성하도록 해도 된다. 예를 들어, 각 계층에서 생성된 특징 맵의 특징 데이터를 x축 방향 및 y축 방향으로 2차원으로 배열한 계층마다의 데이터를, z축 방향으로 적층함으로써, 3차원의 해석용 데이터를 생성하도록 해도 된다. 즉, 이 해석용 데이터에 있어서는, x축 방향 및 y축 방향으로, 동일한 계층에서 생성된 특징 맵의 특징 데이터가 배열되고, z축 방향으로, 다른 계층에서 생성된 특징 맵의 특징 데이터가 배열된다.
또한, 이상의 설명에서는, 학습 처리와 병행해서 학습 상황의 해석 처리를 행하는 예를 나타냈지만, 예를 들어 학습 상황의 해석 처리는, 학습 처리의 종료 후에 행하는 것도 가능하다. 예를 들어, 학습 처리 중에 생성되는 특징 맵을 축적해 두고, 학습 처리 후에 축적된 특징 맵에 기초하여 해석용 데이터를 생성하여, 학습 상황의 해석을 행하도록 해도 된다.
또한, 학습 처리의 해석 대상이 되는 학습 모델은, 상술한 예에 한정되지 않고, 뉴럴 네트워크를 사용한 학습 모델 전반을 대상으로 할 수 있다. 예를 들어, 차량 이외의 물체를 인식하는 인식 모델, 및 차량을 포함하는 복수의 물체를 인식하는 인식 모델도 대상이 된다. 또한, 입력 데이터가 화상 데이터 이외인 학습 모델도 대상이 된다. 예를 들어, 음성 데이터를 입력 데이터로 하는 음성 인식 모델이나, 문장 데이터를 입력 데이터로 하는 문장 해석 모델 등도 대상이 된다.
<<4. 기타>>
<컴퓨터의 구성예>
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 25는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.
컴퓨터(1000)에 있어서, CPU(Central Processing Unit)(1001), ROM(Read Only Memory)(1002), RAM(Random Access Memory)(1003)은, 버스(1004)에 의해 서로 접속되어 있다.
버스(1004)에는 또한 입출력 인터페이스(1005)가 접속되어 있다. 입출력 인터페이스(1005)에는, 입력부(1006), 출력부(1007), 기록부(1008), 통신부(1009) 및 드라이브(1010)가 접속되어 있다.
입력부(1006)는, 입력 스위치, 버튼, 마이크로폰, 촬상 소자 등을 포함한다. 출력부(1007)는, 디스플레이, 스피커 등을 포함한다. 기록부(1008)는, 하드 디스크나 불휘발성 메모리 등을 포함한다. 통신부(1009)는, 네트워크 인터페이스 등을 포함한다. 드라이브(1010)는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(1011)를 구동한다.
이상과 같이 구성되는 컴퓨터(1000)에서는, CPU(1001)가, 예를 들어 기록부(1008)에 기록되어 있는 프로그램을, 입출력 인터페이스(1005) 및 버스(1004)를 통해서 RAM(1003)에 로드해서 실행함으로써, 상술한 일련의 처리가 행하여진다.
컴퓨터(1000)(CPU(1001))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(1011)에 기록해서 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해서 제공할 수 있다.
컴퓨터(1000)에서는, 프로그램은, 리무버블 미디어(1011)를 드라이브(1010)에 장착함으로써, 입출력 인터페이스(1005)를 통해서 기록부(1008)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해서, 통신부(1009)에서 수신하여, 기록부(1008)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(1002)이나 기록부(1008)에 미리 인스톨해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행하여지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행하여졌을 때 등의 필요한 타이밍에 처리가 행하여지는 프로그램이어도 된다.
또한, 본 명세서에서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 상관없다. 따라서, 별개의 하우징에 수납되어, 네트워크를 통해서 접속되어 있는 복수의 장치, 및 1개의 하우징 내에 복수의 모듈이 수납되어 있는 1개의 장치는, 모두 시스템이다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
예를 들어, 본 기술은, 1개의 기능을 네트워크를 통해서 복수의 장치에서 분담, 공동해서 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 1개의 장치에서 실행하는 것 외에, 복수의 장치에서 분담해서 실행할 수 있다.
또한, 1개의 스텝에 복수의 처리가 포함되는 경우에는, 그 1개의 스텝에 포함되는 복수의 처리는, 1개의 장치에서 실행하는 것 외에, 복수의 장치에서 분담해서 실행할 수 있다.
<구성의 조합 예>
본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1) 뉴럴 네트워크를 사용한 모델에 있어서 입력 데이터로부터 생성되는 특징 맵의 특징을 수치로 나타내는 특징 데이터를 생성하는 특징 데이터 생성 스텝과,
복수의 상기 특징 맵의 상기 특징 데이터에 기초하는 해석용 데이터를 생성하는 해석용 데이터 생성 스텝
을 포함하는 정보 처리 방법.
(2) 상기 해석용 데이터에는, 복수의 상기 특징 맵의 상기 특징 데이터가 배열되어 있는, 상기 (1)에 기재된 정보 처리 방법.
(3) 상기 해석용 데이터에는, 1개의 상기 입력 데이터로부터 복수의 상기 특징 맵을 생성하는 상기 모델의 소정의 계층에 있어서 복수의 상기 입력 데이터로부터 생성된 복수의 상기 특징 맵의 상기 특징 데이터가 배열되어 있는, 상기 (2)에 기재된 정보 처리 방법.
(4) 상기 해석용 데이터의 제1 방향으로는, 동일한 상기 입력 데이터로부터 생성된 복수의 상기 특징 맵의 상기 특징 데이터가 배열되고, 상기 제1 방향과 직교하는 제2 방향으로는, 다른 상기 입력 데이터의 서로 대응하는 상기 특징 맵의 상기 특징 데이터가 배열되어 있는, 상기 (3)에 기재된 정보 처리 방법.
(5) 상기 특징 데이터는, 상기 특징 맵의 화소값의 산포도를 나타내는, 상기 (4)에 기재된 정보 처리 방법.
(6) 상기 해석용 데이터의 상기 제1 방향의 선 및 상기 제2 방향의 선에 기초하여, 상기 모델의 학습 상황의 해석을 행하는 해석 스텝을 더 포함하는, 상기 (5)에 기재된 정보 처리 방법.
(7) 상기 모델의 학습 상황의 해석 결과에 기초하여, 상기 모델의 학습용 파라미터를 설정하는 파라미터 설정 스텝을 더 포함하는, 상기 (6)에 기재된 정보 처리 방법.
(8) 상기 파라미터 설정 스텝에서, 상기 해석용 데이터의 상기 제2 방향의 선의 수에 기초하여 상기 모델의 학습용 정칙화 파라미터가 설정되는, 상기 (7)에 기재된 정보 처리 방법.
(9) 상기 특징 데이터는, 상기 특징 맵의 화소값의 도수 분포를 나타내고,
상기 해석용 데이터에는, 상기 모델의 상기 계층에 있어서 복수의 상기 입력 데이터로부터 생성된 복수의 상기 특징 맵의 상기 특징 데이터가 3차원으로 배열되어 있는, 상기 (3)에 기재된 정보 처리 방법.
(10) 상기 입력 데이터는, 화상 데이터이며,
상기 모델은, 물체의 인식 처리를 행하는, 상기 (1) 내지 (9) 중 어느 것에 기재된 정보 처리 방법.
(11) 상기 모델은, 차량의 인식 처리를 행하는, 상기 (10)에 기재된 정보 처리 방법.
(12) 상기 입력 데이터는, 밀리미터파 레이더의 수신 신호의 강도 분포를 조감도에 의해 나타내는 화상 데이터인, 상기 (11)에 기재된 정보 처리 방법.
(13) 상기 모델은, 상기 화상 데이터를 카메라 좌표계의 화상으로 변환하는, 상기 (12)에 기재된 정보 처리 방법.
(14) 상기 해석용 데이터는, 복수의 상기 특징 맵의 상기 특징 데이터 중 소정의 조건을 충족하는 상기 특징 데이터를 포함하는, 상기 (1)에 기재된 정보 처리 방법.
(15) 뉴럴 네트워크를 사용한 모델에 있어서 입력 데이터로부터 생성되는 특징 맵의 특징을 수치로 나타내는 특징 데이터를 생성하는 특징 데이터 생성 스텝과,
복수의 상기 특징 맵의 상기 특징 데이터를 배열한 해석용 데이터를 생성하는 해석용 데이터 생성 스텝
을 포함하는 처리를 컴퓨터에 실행시키기 위한 프로그램.
(16) 뉴럴 네트워크를 사용한 모델에 있어서 입력 데이터로부터 생성되는 특징 맵의 특징을 수치로 나타내는 특징 데이터를 생성하는 특징 데이터 생성부와,
복수의 상기 특징 맵의 상기 특징 데이터를 배열한 해석용 데이터를 생성하는 해석용 데이터 생성부
를 구비하는 정보 처리 장치.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 다른 효과가 있어도 된다.
10: 차량 100: 차량 제어 시스템
141: 차밖 정보 검출부 201: 물체 인식 모델
211: 특징 추출층 221: 계층
301: 정보 처리 장치 312: 학습부
313: 학습 상황 해석부 321: 특징 데이터 생성부
322: 해석용 데이터 생성부 323: 해석부
324: 파라미터 설정부 401: 물체 인식 모델
411, 412: 특징 추출층 421: 카메라용 네트워크
422: 밀리미터파 레이더용 네트워크 423: 결합용 네트워크
431, 432: 계층

Claims (16)

  1. 뉴럴 네트워크를 사용한 모델에 있어서 입력 데이터로부터 생성되는 특징 맵의 특징을 수치로 나타내는 특징 데이터를 생성하는 특징 데이터 생성 스텝과,
    복수의 상기 특징 맵의 상기 특징 데이터에 기초하는 해석용 데이터를 생성하는 해석용 데이터 생성 스텝
    을 포함하는 정보 처리 방법.
  2. 제1항에 있어서, 상기 해석용 데이터에는, 복수의 상기 특징 맵의 상기 특징 데이터가 배열되어 있는, 정보 처리 방법.
  3. 제2항에 있어서, 상기 해석용 데이터에는, 1개의 상기 입력 데이터로부터 복수의 상기 특징 맵을 생성하는 상기 모델의 소정의 계층에 있어서 복수의 상기 입력 데이터로부터 생성된 복수의 상기 특징 맵의 상기 특징 데이터가 배열되어 있는, 정보 처리 방법.
  4. 제3항에 있어서, 상기 해석용 데이터의 제1 방향으로는, 동일한 상기 입력 데이터로부터 생성된 복수의 상기 특징 맵의 상기 특징 데이터가 배열되고, 상기 제1 방향과 직교하는 제2 방향으로는, 다른 상기 입력 데이터의 서로 대응하는 상기 특징 맵의 상기 특징 데이터가 배열되어 있는, 정보 처리 방법.
  5. 제4항에 있어서, 상기 특징 데이터는, 상기 특징 맵의 화소값의 산포도를 나타내는, 정보 처리 방법.
  6. 제5항에 있어서, 상기 해석용 데이터의 상기 제1 방향의 선 및 상기 제2 방향의 선에 기초하여, 상기 모델의 학습 상황의 해석을 행하는 해석 스텝을 더 포함하는, 정보 처리 방법.
  7. 제6항에 있어서, 상기 모델의 학습 상황의 해석 결과에 기초하여, 상기 모델의 학습용 파라미터를 설정하는 파라미터 설정 스텝을 더 포함하는, 정보 처리 방법.
  8. 제7항에 있어서, 상기 파라미터 설정 스텝에서, 상기 해석용 데이터의 상기 제2 방향의 선의 수에 기초하여, 상기 모델의 학습용 정칙화 파라미터가 설정되는, 정보 처리 방법.
  9. 제3항에 있어서, 상기 특징 데이터는, 상기 특징 맵의 화소값의 도수 분포를 나타내고,
    상기 해석용 데이터에는, 상기 모델의 상기 계층에 있어서 복수의 상기 입력 데이터로부터 생성된 복수의 상기 특징 맵의 상기 특징 데이터가 3차원으로 배열되어 있는, 정보 처리 방법.
  10. 제1항에 있어서, 상기 입력 데이터는, 화상 데이터이며,
    상기 모델은, 물체의 인식 처리를 행하는, 정보 처리 방법.
  11. 제10항에 있어서, 상기 모델은, 차량의 인식 처리를 행하는, 정보 처리 방법.
  12. 제11항에 있어서, 상기 입력 데이터는, 밀리미터파 레이더의 수신 신호의 강도 분포를 조감도에 의해 나타내는 화상 데이터인, 정보 처리 방법.
  13. 제12항에 있어서, 상기 모델은, 상기 화상 데이터를 카메라 좌표계의 화상으로 변환하는, 정보 처리 방법.
  14. 제1항에 있어서, 상기 해석용 데이터는, 복수의 상기 특징 맵의 상기 특징 데이터 중 소정의 조건을 충족하는 상기 특징 데이터를 포함하는, 정보 처리 방법.
  15. 뉴럴 네트워크를 사용한 모델에 있어서 입력 데이터로부터 생성되는 특징 맵의 특징을 수치로 나타내는 특징 데이터를 생성하는 특징 데이터 생성 스텝과,
    복수의 상기 특징 맵의 상기 특징 데이터에 기초하는 해석용 데이터를 생성하는 해석용 데이터 생성 스텝
    을 포함하는 처리를 컴퓨터에 실행시키기 위한 프로그램.
  16. 뉴럴 네트워크를 사용한 모델에 있어서 입력 데이터로부터 생성되는 특징 맵의 특징을 수치로 나타내는 특징 데이터를 생성하는 특징 데이터 생성부와,
    복수의 상기 특징 맵의 상기 특징 데이터에 기초하는 해석용 데이터를 생성하는 해석용 데이터 생성부
    를 구비하는 정보 처리 장치.
KR1020217026682A 2019-03-29 2020-03-17 정보 처리 방법, 프로그램 및 정보 처리 장치 KR20210142604A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019065378 2019-03-29
JPJP-P-2019-065378 2019-03-29
PCT/JP2020/011601 WO2020203241A1 (ja) 2019-03-29 2020-03-17 情報処理方法、プログラム、及び、情報処理装置

Publications (1)

Publication Number Publication Date
KR20210142604A true KR20210142604A (ko) 2021-11-25

Family

ID=72668318

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217026682A KR20210142604A (ko) 2019-03-29 2020-03-17 정보 처리 방법, 프로그램 및 정보 처리 장치

Country Status (7)

Country Link
US (1) US20220172484A1 (ko)
EP (1) EP3951663A4 (ko)
JP (1) JP7487178B2 (ko)
KR (1) KR20210142604A (ko)
CA (1) CA3134088A1 (ko)
MX (1) MX2021011219A (ko)
WO (1) WO2020203241A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210404834A1 (en) * 2020-06-30 2021-12-30 Lyft, Inc. Localization Based on Multi-Collect Fusion
CN116739437A (zh) * 2023-07-14 2023-09-12 鱼快创领智能科技(南京)有限公司 一种基于车联网数据的综合运力分级方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561976A (ja) 1991-09-03 1993-03-12 Hamamatsu Photonics Kk 画像パターン認識装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10515304B2 (en) * 2015-04-28 2019-12-24 Qualcomm Incorporated Filter specificity as training criterion for neural networks
KR102592076B1 (ko) * 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
WO2018165753A1 (en) 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
KR102419136B1 (ko) * 2017-06-15 2022-07-08 삼성전자주식회사 다채널 특징맵을 이용하는 영상 처리 장치 및 방법
US20190026588A1 (en) * 2017-07-19 2019-01-24 GM Global Technology Operations LLC Classification methods and systems
JP7160040B2 (ja) * 2017-08-22 2022-10-25 ソニーグループ株式会社 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
EP3617947A1 (en) * 2018-08-30 2020-03-04 Nokia Technologies Oy Apparatus and method for processing image data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561976A (ja) 1991-09-03 1993-03-12 Hamamatsu Photonics Kk 画像パターン認識装置

Also Published As

Publication number Publication date
EP3951663A4 (en) 2022-05-04
MX2021011219A (es) 2021-10-22
JPWO2020203241A1 (ko) 2020-10-08
JP7487178B2 (ja) 2024-05-20
US20220172484A1 (en) 2022-06-02
CA3134088A1 (en) 2020-10-08
WO2020203241A1 (ja) 2020-10-08
EP3951663A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
US11450026B2 (en) Information processing apparatus, information processing method, and mobile object
JP7188397B2 (ja) 画像処理装置及び画像処理方法
US11531354B2 (en) Image processing apparatus and image processing method
US20210116930A1 (en) Information processing apparatus, information processing method, program, and mobile object
KR102613792B1 (ko) 촬상 장치, 화상 처리 장치 및 화상 처리 방법
JP7320001B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JPWO2019069581A1 (ja) 画像処理装置及び画像処理方法
WO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
JPWO2019116784A1 (ja) 情報処理装置、移動体、制御システム、情報処理方法及びプログラム
JPWO2019082670A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11812197B2 (en) Information processing device, information processing method, and moving body
JPWO2020054240A1 (ja) 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
JPWO2019082669A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2021193099A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11363212B2 (en) Exposure control device, exposure control method, program, imaging device, and mobile body
WO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2020203241A1 (ja) 情報処理方法、プログラム、及び、情報処理装置
US20220277556A1 (en) Information processing device, information processing method, and program
WO2022085479A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム
KR102685934B1 (ko) 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体