KR20210098972A - 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치 및 이동체 - Google Patents
정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치 및 이동체 Download PDFInfo
- Publication number
- KR20210098972A KR20210098972A KR1020217015535A KR20217015535A KR20210098972A KR 20210098972 A KR20210098972 A KR 20210098972A KR 1020217015535 A KR1020217015535 A KR 1020217015535A KR 20217015535 A KR20217015535 A KR 20217015535A KR 20210098972 A KR20210098972 A KR 20210098972A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- unit
- sensor
- captured image
- geometric transformation
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 72
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 214
- 230000009466 transformation Effects 0.000 claims abstract description 166
- 238000001514 detection method Methods 0.000 claims description 80
- 238000000034 method Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 33
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 34
- 238000004458 analytical method Methods 0.000 description 39
- 238000004891 communication Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 22
- 230000001133 acceleration Effects 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 8
- 230000010391 action planning Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000037007 arousal Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G06K9/00791—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/28—Details of pulse systems
- G01S7/285—Receivers
- G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
- G01S7/2955—Means for determining the position of the radar coordinate system for evaluating the position data of the target in another coordinate system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/16—Spatio-temporal transformations, e.g. video cubism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9323—Alternative operation using light waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93271—Sensor installation details in the front of the vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Electromagnetism (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
본 기술은, 대상물의 인식 정밀도를 향상시킬 수 있도록 하는 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치 및 이동체에 관한 것이다. 정보 처리 장치는, 이미지 센서에 의해 얻어지는 촬영 화상 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여, 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추는 기하 변환부와, 좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행하는 물체 인식부를 구비한다. 본 기술은, 예를 들어 차량 주위의 대상물을 인식하는 시스템에 적용할 수 있다.
Description
본 기술은, 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치 및 이동체에 관한 것으로, 특히, 대상물의 인식 정밀도를 향상시키도록 한 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치 및 이동체에 관한 것이다.
종래, 레이더 평면과 촬영 화상 평면의 사영 변환을 이용하여, 밀리미터파 레이더에 의해 검출된 장애물의 위치 정보를 촬영 화상 위에 겹쳐서 표시하는 것이 제안되어 있다(예를 들어, 특허문헌 1 참조).
그러나, 특허문헌 1에서는, 카메라와 밀리미터파 레이더를 사용하여, 차량 등의 대상물의 인식 정밀도를 향상시키는 것은 검토되어 있지 않다.
본 기술은, 이러한 상황을 감안하여 이루어진 것이고, 대상물의 인식 정밀도를 향상시키도록 하는 것이다.
본 기술의 제1 측면의 정보 처리 장치는, 이미지 센서에 의해 얻어지는 촬영 화상 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여, 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추는 기하 변환부와, 좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행하는 물체 인식부를 구비한다.
본 기술의 제1 측면의 정보 처리 방법은, 정보 처리 장치가, 이미지 센서에 의해 얻어지는 촬영 화상 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추고, 좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행한다.
본 기술의 제1 측면의 프로그램은, 이미지 센서에 의해 얻어지는 촬영 화상 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여, 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추고, 좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행하는 처리를 컴퓨터에 실행시킨다.
본 기술의 제2 측면의 이동체 제어 장치는, 이동체의 주위를 촬영하는 이미지 센서에 의해 얻어지는 촬영 화상 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여, 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추는 기하 변환부와, 좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행하는 물체 인식부와, 상기 대상물의 인식 결과에 기초하여, 상기 이동체의 동작을 제어하는 동작 제어부를 구비한다.
본 기술의 제3 측면의 이동체 제어 장치는, 이미지 센서와, 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서와, 상기 이미지 센서에 의해 얻어지는 촬영 화상 및 상기 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여, 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추는 기하 변환부와, 좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행하는 물체 인식부와, 상기 대상물의 인식 결과에 기초하여, 동작의 제어를 행하는 동작 제어부를 구비한다.
본 기술의 제1 측면에 있어서는, 이미지 센서에 의해 얻어지는 촬영 화상 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나가 변환되어, 상기 촬영 화상과 상기 센서 화상의 좌표계가 합쳐지고, 좌표계가 합쳐진 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리가 행해진다.
본 기술의 제2 측면에 있어서는, 이동체의 주위를 촬영하는 이미지 센서에 의해 얻어지는 촬영 화상 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나가 변환되어, 상기 촬영 화상과 상기 센서 화상의 좌표계가 합쳐지고, 좌표계가 합쳐진 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리가 행해지고, 상기 대상물의 인식 결과에 기초하여, 상기 이동체의 동작이 제어된다.
본 기술의 제3 측면에 있어서는, 이미지 센서에 의해 얻어지는 촬영 화상 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나가 변환되어, 상기 촬영 화상과 상기 센서 화상의 좌표계가 합쳐지고, 좌표계가 합쳐진 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리가 행해져, 상기 대상물의 인식 결과에 기초하여, 동작의 제어가 행해진다.
도 1은 본 기술을 적용한 차량 제어 시스템의 구성예를 도시하는 블록도이다.
도 2는 데이터 취득부의 제1 실시 형태 및 차외 정보 검출부의 제1 실시 형태를 도시하는 블록도이다.
도 3은 물체 인식 모델의 구성예를 도시하는 도면이다.
도 4는 학습 시스템의 구성예를 도시하는 도면이다.
도 5는 물체 인식 모델 학습 처리를 설명하기 위한 흐름도이다.
도 6은 저해상도 화상의 예를 도시하는 도면이다.
도 7은 정답 데이터의 예를 도시하는 도면이다.
도 8은 밀리미터파 화상의 예를 도시하는 도면이다.
도 9는 기하 변환 신호 강도 화상 및 기하 변환 속도 화상의 예를 도시하는 도면이다.
도 10은 밀리미터파 레이더만을 사용한 물체 인식 처리의 결과의 예를 도시하는 도면이다.
도 11은 대상물 인식 처리의 제1 실시 형태를 설명하기 위한 흐름도이다.
도 12는 대상물의 인식 결과의 예를 도시하는 도면이다.
도 13은 본 기술의 효과를 설명하기 위한 도면이다.
도 14는 차외 정보 검출부의 제2 실시 형태를 도시하는 블록도이다.
도 15는 대상물 인식 처리의 제2 실시 형태를 설명하기 위한 흐름도이다.
도 16은 촬영 화상과 크롭 화상의 관계의 예를 도시하는 도면이다.
도 17은 데이터 취득부의 제2 실시 형태 및 차외 정보 검출부의 제3 실시 형태를 도시하는 블록도이다.
도 18은 차외 정보 검출부의 제4 실시 형태를 도시하는 블록도이다.
도 19는 차외 정보 검출부의 제5 실시 형태를 도시하는 블록도이다.
도 20은 데이터 취득부의 제3 실시 형태 및 차외 정보 검출부의 제6 실시 형태를 도시하는 블록도이다.
도 21은 데이터 취득부의 제4 실시 형태 및 차외 정보 검출부의 제7 실시 형태를 도시하는 블록도이다.
도 22는 컴퓨터의 구성예를 도시하는 도면이다.
도 2는 데이터 취득부의 제1 실시 형태 및 차외 정보 검출부의 제1 실시 형태를 도시하는 블록도이다.
도 3은 물체 인식 모델의 구성예를 도시하는 도면이다.
도 4는 학습 시스템의 구성예를 도시하는 도면이다.
도 5는 물체 인식 모델 학습 처리를 설명하기 위한 흐름도이다.
도 6은 저해상도 화상의 예를 도시하는 도면이다.
도 7은 정답 데이터의 예를 도시하는 도면이다.
도 8은 밀리미터파 화상의 예를 도시하는 도면이다.
도 9는 기하 변환 신호 강도 화상 및 기하 변환 속도 화상의 예를 도시하는 도면이다.
도 10은 밀리미터파 레이더만을 사용한 물체 인식 처리의 결과의 예를 도시하는 도면이다.
도 11은 대상물 인식 처리의 제1 실시 형태를 설명하기 위한 흐름도이다.
도 12는 대상물의 인식 결과의 예를 도시하는 도면이다.
도 13은 본 기술의 효과를 설명하기 위한 도면이다.
도 14는 차외 정보 검출부의 제2 실시 형태를 도시하는 블록도이다.
도 15는 대상물 인식 처리의 제2 실시 형태를 설명하기 위한 흐름도이다.
도 16은 촬영 화상과 크롭 화상의 관계의 예를 도시하는 도면이다.
도 17은 데이터 취득부의 제2 실시 형태 및 차외 정보 검출부의 제3 실시 형태를 도시하는 블록도이다.
도 18은 차외 정보 검출부의 제4 실시 형태를 도시하는 블록도이다.
도 19는 차외 정보 검출부의 제5 실시 형태를 도시하는 블록도이다.
도 20은 데이터 취득부의 제3 실시 형태 및 차외 정보 검출부의 제6 실시 형태를 도시하는 블록도이다.
도 21은 데이터 취득부의 제4 실시 형태 및 차외 정보 검출부의 제7 실시 형태를 도시하는 블록도이다.
도 22는 컴퓨터의 구성예를 도시하는 도면이다.
이하, 본 기술을 실시하기 위한 형태에 대하여 설명한다. 설명은 이하의 순서로 행한다.
1. 제1 실시 형태(카메라와 밀리미터파 레이더를 사용하는 제1 예)
2. 제2 실시 형태(화상의 잘라내기를 행하는 예)
3. 제3 실시 형태(카메라, 밀리미터파 레이더 및 LiDAR을 사용하는 제1 예)
4. 제4 실시 형태(카메라와 밀리미터파 레이더를 사용하는 제2 예)
5. 제5 실시 형태(카메라, 밀리미터파 레이더 및 LiDAR을 사용하는 제2 예)
6. 제6 실시 형태(카메라와 밀리미터파 레이더를 사용하는 제3 예)
7. 제7 실시 형태(카메라와 밀리미터파 레이더를 사용하는 제4 예)
8. 변형예
9. 기타
<<1. 제1 실시 형태>>
먼저, 도 1 내지 도 13을 참조하여, 본 기술의 제1 실시 형태에 대하여 설명한다.
<차량 제어 시스템(100)의 구성예>
도 1은, 본 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템(100)의 개략적인 기능의 구성예를 도시하는 블록도이다.
또한, 이하, 차량 제어 시스템(100)이 마련되어 있는 차량(10)을 다른 차량과 구별하는 경우, 자차 또는 자차량이라고 칭한다.
차량 제어 시스템(100)은, 입력부(101), 데이터 취득부(102), 통신부(103), 차내 기기(104), 출력 제어부(105), 출력부(106), 구동계 제어부(107), 구동계 시스템(108), 바디계 제어부(109), 바디계 시스템(110), 기억부(111) 및 자동 운전 제어부(112)를 구비한다. 입력부(101), 데이터 취득부(102), 통신부(103), 출력 제어부(105), 구동계 제어부(107), 바디계 제어부(109), 기억부(111) 및 자동 운전 제어부(112)는, 통신 네트워크(121)를 통해, 서로 접속되어 있다. 통신 네트워크(121)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network), 또는 FlexRay(등록 상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크나 버스 등을 포함한다. 또한, 차량 제어 시스템(100)의 각 부는, 통신 네트워크(121)를 통하지 않고, 직접 접속되는 경우도 있다.
또한, 이하, 차량 제어 시스템(100)의 각 부가, 통신 네트워크(121)를 통해 통신을 행하는 경우, 통신 네트워크(121)의 기재를 생략하는 것으로 한다. 예를 들어, 입력부(101)와 자동 운전 제어부(112)가, 통신 네트워크(121)를 통해 통신을 행하는 경우, 단순히 입력부(101)와 자동 운전 제어부(112)가 통신을 행한다고 기재한다.
입력부(101)는, 탑승자가 각종 데이터나 지시 등의 입력에 사용하는 장치를 구비한다. 예를 들어, 입력부(101)는, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등의 조작 디바이스, 그리고 음성이나 제스처 등에 의해 수동 조작 이외의 방법으로 입력 가능한 조작 디바이스 등을 구비한다. 또한, 예를 들어 입력부(101)는, 적외선 혹은 기타의 전파를 이용한 리모트 컨트롤 장치, 또는 차량 제어 시스템(100)의 조작에 대응한 모바일 기기 혹은 웨어러블 기기 등의 외부 접속 기기여도 된다. 입력부(101)는, 탑승자에 의해 입력된 데이터나 지시 등에 기초하여 입력 신호를 생성하여, 차량 제어 시스템(100)의 각 부에 공급한다.
데이터 취득부(102)는, 차량 제어 시스템(100)의 처리에 사용하는 데이터를 취득하는 각종 센서 등을 구비하여, 취득한 데이터를, 차량 제어 시스템(100)의 각 부에 공급한다.
예를 들어, 데이터 취득부(102)는, 자차의 상태 등을 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 자이로 센서, 가속도 센서, 관성 계측 장치(IMU) 및 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수, 모터 회전수, 혹은 차륜의 회전 속도 등을 검출하기 위한 센서 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 자차 외부의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 및 기타의 카메라 등의 촬상 장치를 구비한다. 또한, 예를 들어 데이터 취득부(102)는, 날씨 또는 기상 등을 검출하기 위한 환경 센서 및 자차 주위의 물체를 검출하기 위한 주위 정보 검출 센서를 구비한다. 환경 센서는, 예를 들어 빗방울 센서, 안개 센서, 일조 센서, 눈 센서 등을 포함한다. 주위 정보 검출 센서는, 예를 들어 초음파 센서, 레이더, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 음파 탐지기 등을 포함한다.
또한, 예를 들어 데이터 취득부(102)는, 자차의 현재 위치를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호를 수신하는 GNSS 수신기 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 차내의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 운전자를 촬상하는 촬상 장치, 운전자의 생체 정보를 검출하는 생체 센서 및 차실 내의 음성을 집음하는 마이크로폰 등을 구비한다. 생체 센서는, 예를 들어 시트면 또는 스티어링 휠 등에 마련되어, 좌석에 앉아 있는 탑승자 또는 스티어링 휠을 잡고 있는 운전자의 생체 정보를 검출한다.
통신부(103)는, 차내 기기(104), 그리고 차외의 다양한 기기, 서버, 기지국 등과 통신을 행하여, 차량 제어 시스템(100)의 각 부로부터 공급되는 데이터를 송신하거나, 수신한 데이터를 차량 제어 시스템(100)의 각 부에 공급하거나 한다. 또한, 통신부(103)가 서포트하는 통신 프로토콜은 특별히 한정되는 것은 아니고, 또한 통신부(103)가, 복수의 종류의 통신 프로토콜을 서포트하는 것도 가능하다.
예를 들어, 통신부(103)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication), 또는 WUSB(Wireless USB) 등에 의해, 차내 기기(104)와 무선 통신을 행한다. 또한, 예를 들어 통신부(103)는, 도시하지 않은 접속 단자(및 필요하다면 케이블)를 통해, USB(Universal Serial Bus), HDMI(등록 상표)(High-Definition Multimedia Interface), 또는 MHL(Mobile High-definition Link) 등에 의해, 차내 기기(104)와 유선 통신을 행한다.
또한, 예를 들어 통신부(103)는, 기지국 또는 액세스 포인트를 통해, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크)상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, P2P(Peer To Peer) 기술을 사용하여, 자차의 근방에 존재하는 단말기(예를 들어, 보행자 혹은 점포의 단말기, 또는 MTC(Machine Type Communication) 단말기)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 자차와 집 사이(Vehicle to Home)의 통신 및 보차간(Vehicle to Pedestrian) 통신 등의 V2X 통신을 행한다. 또한, 예를 들어 통신부(103)는, 비콘 수신부를 구비하고, 도로 위에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신하여, 현재 위치, 지체, 통행 규제 또는 소요 시간 등의 정보를 취득한다.
차내 기기(104)는, 예를 들어 탑승자가 갖는 모바일 기기 혹은 웨어러블 기기, 자차에 반입되거나 혹은 설치되는 정보 기기 및 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치 등을 포함한다.
출력 제어부(105)는, 자차의 탑승자 또는 차외에 대한 각종 정보의 출력을 제어한다. 예를 들어, 출력 제어부(105)는, 시각 정보(예를 들어, 화상 데이터) 및 청각 정보(예를 들어, 음성 데이터) 중 적어도 하나를 포함하는 출력 신호를 생성하여, 출력부(106)에 공급함으로써, 출력부(106)로부터의 시각 정보 및 청각 정보의 출력을 제어한다. 구체적으로는, 예를 들어 출력 제어부(105)는, 데이터 취득부(102)의 다른 촬상 장치에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상 등을 생성하고, 생성한 화상을 포함하는 출력 신호를 출력부(106)에 공급한다. 또한, 예를 들어 출력 제어부(105)는, 충돌, 접촉, 위험 지대로의 진입 등의 위험에 대한 경고음 또는 경고 메시지 등을 포함하는 음성 데이터를 생성하고, 생성한 음성 데이터를 포함하는 출력 신호를 출력부(106)에 공급한다.
출력부(106)는, 자차의 탑승자 또는 차외에 대하여, 시각 정보 또는 청각 정보를 출력하는 것이 가능한 장치를 구비한다. 예를 들어, 출력부(106)는, 표시 장치, 인스트루먼트 패널, 오디오 스피커, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터, 램프 등을 구비한다. 출력부(106)가 구비하는 표시 장치는, 통상의 디스플레이를 갖는 장치 이외에도, 예를 들어 헤드업 디스플레이, 투과형 디스플레이, AR(Augmented Reality) 표시 기능을 갖는 장치 등의 운전자의 시야 내에 시각 정보를 표시하는 장치여도 된다.
구동계 제어부(107)는, 각종 제어 신호를 생성하여, 구동계 시스템(108)에 공급함으로써, 구동계 시스템(108)의 제어를 행한다. 또한, 구동계 제어부(107)는, 필요에 따라, 구동계 시스템(108) 이외의 각 부에 제어 신호를 공급하여, 구동계 시스템(108)의 제어 상태의 통지 등을 행한다.
구동계 시스템(108)은, 자차의 구동계에 관계되는 각종 장치를 구비한다. 예를 들어, 구동계 시스템(108)은, 내연 기관 또는 구동용 모터 등의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜으로 전달하기 위한 구동력 전달 기구, 타각을 조절하는 스티어링 기구, 제동력을 발생시키는 제동 장치, ABS(Antilock Brake System), ESC(Electronic Stability Control), 그리고 전동 파워 스티어링 장치 등을 구비한다.
바디계 제어부(109)는, 각종 제어 신호를 생성하여, 바디계 시스템(110)에 공급함으로써, 바디계 시스템(110)의 제어를 행한다. 또한, 바디계 제어부(109)는 필요에 따라, 바디계 시스템(110) 이외의 각 부에 제어 신호를 공급하여, 바디계 시스템(110)의 제어 상태의 통지 등을 행한다.
바디계 시스템(110)은, 차체에 장비된 바디계의 각종 장치를 구비한다. 예를 들어, 바디계 시스템(110)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 파워 시트, 스티어링 휠, 공조 장치 및 각종 램프(예를 들어, 헤드 램프, 백 램프, 브레이크 램프, 방향 지시등, 포그 램프 등) 등을 구비한다.
기억부(111)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스 및 광자기 기억 디바이스 등을 구비한다. 기억부(111)는, 차량 제어 시스템(100)의 각 부가 사용하는 각종 프로그램이나 데이터 등을 기억한다. 예를 들어, 기억부(111)는, 다이내믹 맵 등의 3차원의 고정밀도 지도, 고정밀도 지도보다 정밀도가 낮고, 넓은 에어리어를 커버하는 글로벌 맵 및 자차 주위의 정보를 포함하는 로컬 맵 등의 지도 데이터를 기억한다.
자동 운전 제어부(112)는, 자율 주행 또는 운전 지원 등의 자동 운전에 관한 제어를 행한다. 구체적으로는, 예를 들어 자동 운전 제어부(112)는, 자차의 충돌회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 자차의 충돌 경고, 또는 자차의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행한다. 또한, 예를 들어 자동 운전 제어부(112)는, 운전자의 조작에 의거하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행한다. 자동 운전 제어부(112)는, 검출부(131), 자기 위치 추정부(132), 상황 분석부(133), 계획부(134) 및 동작 제어부(135)를 구비한다.
검출부(131)는, 자동 운전의 제어에 필요한 각종 정보의 검출을 행한다. 검출부(131)는, 차외 정보 검출부(141), 차내 정보 검출부(142) 및 차량 상태 검출부(143)를 구비한다.
차외 정보 검출부(141)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차 외부의 정보의 검출 처리를 행한다. 예를 들어, 차외 정보 검출부(141)는, 자차 주위의 물체의 검출 처리, 인식 처리 및 추적 처리, 그리고 물체까지의 거리의 검출 처리를 행한다. 검출 대상이 되는 물체에는, 예를 들어 차량, 사람, 장애물, 구조물, 도로, 신호기, 교통 표지, 도로 표시 등이 포함된다. 또한, 예를 들어 차외 정보 검출부(141)는, 자차 주위의 환경의 검출 처리를 행한다. 검출 대상이 되는 주위의 환경에는, 예를 들어 날씨, 기온, 습도, 밝기 및 노면의 상태 등이 포함된다. 차외 정보 검출부(141)는, 검출 처리의 결과를 나타내는 데이터를 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153), 그리고 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차내 정보 검출부(142)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차내의 정보의 검출 처리를 행한다. 예를 들어, 차내 정보 검출부(142)는, 운전자의 인증 처리 및 인식 처리, 운전자의 상태의 검출 처리, 탑승자의 검출 처리 및 차내의 환경의 검출 처리 등을 행한다. 검출 대상이 되는 운전자의 상태에는, 예를 들어 몸 상태, 각성도, 집중도, 피로도, 시선 방향 등이 포함된다. 검출 대상이 되는 차내의 환경에는, 예를 들어 기온, 습도, 밝기, 냄새 등이 포함된다. 차내 정보 검출부(142)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153) 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차량 상태 검출부(143)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 상태의 검출 처리를 행한다. 검출 대상이 되는 자차의 상태에는, 예를 들어 속도, 가속도, 타각, 이상의 유무 및 내용, 운전 조작의 상태, 파워 시트의 위치 및 기울기, 도어록의 상태, 그리고 기타의 차량 탑재 기기의 상태 등이 포함된다. 차량 상태 검출부(143)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153) 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
자기 위치 추정부(132)는, 차외 정보 검출부(141) 및 상황 분석부(133)의 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 위치 및 자세 등의 추정 처리를 행한다. 또한, 자기 위치 추정부(132)는, 필요에 따라, 자기 위치의 추정에 사용하는 로컬 맵(이하, 자기 위치 추정용 맵이라고 칭함)을 생성한다. 자기 위치 추정용 맵은, 예를 들어 SLAM(Simultaneous Localization and Mapping) 등의 기술을 사용한 고정밀도의 맵으로 된다. 자기 위치 추정부(132)는, 추정 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153) 등에 공급한다. 또한, 자기 위치 추정부(132)는, 자기 위치 추정용 맵을 기억부(111)에 기억시킨다.
상황 분석부(133)는, 자차 및 주위의 상황의 분석 처리를 행한다. 상황 분석부(133)는, 맵 해석부(151), 교통 룰 인식부(152), 상황 인식부(153) 및 상황 예측부(154)를 구비한다.
맵 해석부(151)는, 자기 위치 추정부(132) 및 차외 정보 검출부(141) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호를 필요에 따라 사용하면서, 기억부(111)에 기억되어 있는 각종 맵의 해석 처리를 행하여, 자동 운전의 처리에 필요한 정보를 포함하는 맵을 구축한다. 맵 해석부(151)는, 구축한 맵을, 교통 룰 인식부(152), 상황 인식부(153), 상황 예측부(154), 그리고 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.
교통 룰 인식부(152)는, 자기 위치 추정부(132), 차외 정보 검출부(141) 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차 주위의 교통 룰의 인식 처리를 행한다. 이 인식 처리에 의해, 예를 들어 자차 주위의 신호의 위치 및 상태, 자차 주위의 교통 규제의 내용, 그리고 주행 가능한 차선 등이 인식된다. 교통 룰 인식부(152)는, 인식 처리의 결과를 나타내는 데이터를 상황 예측부(154) 등에 공급한다.
상황 인식부(153)는, 자기 위치 추정부(132), 차외 정보 검출부(141), 차내 정보 검출부(142), 차량 상태 검출부(143) 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차에 관한 상황의 인식 처리를 행한다. 예를 들어, 상황 인식부(153)는, 자차의 상황, 자차 주위의 상황 및 자차의 운전자 상황 등의 인식 처리를 행한다. 또한, 상황 인식부(153)는, 필요에 따라, 자차 주위 상황의 인식에 사용하는 로컬 맵(이하, 상황 인식용 맵이라고 칭함)을 생성한다. 상황 인식용 맵은, 예를 들어 점유 격자 지도(Occupancy Grid Map)로 여겨진다.
인식 대상이 되는 자차의 상황에는, 예를 들어 자차의 위치, 자세, 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 그리고 이상의 유무 및 내용 등이 포함된다. 인식 대상이 되는 자차 주위의 상황에는, 예를 들어 주위의 정지 물체의 종류 및 위치, 주위의 동물체의 종류, 위치 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 주위의 도로의 구성 및 노면의 상태, 그리고 주위의 날씨, 기온, 습도 및 밝기 등이 포함된다. 인식 대상이 되는 운전자의 상태에는, 예를 들어 몸 상태, 각성도, 집중도, 피로도, 시선의 움직임, 그리고 운전 조작 등이 포함된다.
상황 인식부(153)는, 인식 처리의 결과를 나타내는 데이터(필요에 따라, 상황 인식용 맵을 포함함)를 자기 위치 추정부(132) 및 상황 예측부(154) 등에 공급한다. 또한, 상황 인식부(153)는, 상황 인식용 맵을 기억부(111)에 기억시킨다.
상황 예측부(154)는, 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차에 관한 상황의 예측 처리를 행한다. 예를 들어, 상황 예측부(154)는 자차의 상황, 자차 주위의 상황 및 운전자의 상황 등의 예측 처리를 행한다.
예측 대상이 되는 자차의 상황에는, 예를 들어 자차의 거동, 이상의 발생 및 주행 가능 거리 등이 포함된다. 예측 대상이 되는 자차 주위의 상황에는, 예를 들어 자차 주위의 동물체의 거동, 신호 상태의 변화 및 날씨 등의 환경의 변화 등이 포함된다. 예측 대상이 되는 운전자의 상황에는, 예를 들어 운전자의 거동 및 몸 상태 등이 포함된다.
상황 예측부(154)는, 예측 처리의 결과를 나타내는 데이터를, 교통 룰 인식부(152) 및 상황 인식부(153)로부터의 데이터와 함께, 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.
루트 계획부(161)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 목적지까지의 루트를 계획한다. 예를 들어, 루트 계획부(161)는, 글로벌 맵에 기초하여, 현재 위치로부터 지정된 목적지까지의 루트를 설정한다. 또한, 예를 들어 루트 계획부(161)는, 지체, 사고, 통행 규제, 공사 등의 상황 및 운전자의 몸 상태 등에 기초하여, 적절히 루트를 변경한다. 루트 계획부(161)는, 계획한 루트를 나타내는 데이터를 행동 계획부(162) 등에 공급한다.
행동 계획부(162)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 루트 계획부(161)에 의해 계획된 루트를 계획된 시간 내에서 안전하게 주행하기 위한 자차의 행동을 계획한다. 예를 들어, 행동 계획부(162)는, 발진, 정지, 진행 방향(예를 들어, 전진, 후퇴, 좌회전, 우회전, 방향 전환 등), 주행 차선, 주행 속도 및 추월 등의 계획을 행한다. 행동 계획부(162)는, 계획한 자차의 행동을 나타내는 데이터를 동작 계획부(163) 등에 공급한다.
동작 계획부(163)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 행동 계획부(162)에 의해 계획된 행동을 실현하기 위한 자차의 동작을 계획한다. 예를 들어, 동작 계획부(163)는, 가속, 감속 및 주행 궤도 등의 계획을 행한다. 동작 계획부(163)는, 계획한 자차의 동작을 나타내는 데이터를, 동작 제어부(135)의 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
동작 제어부(135)는, 자차 동작의 제어를 행한다. 동작 제어부(135)는, 긴급 사태 회피부(171), 가감속 제어부(172) 및 방향 제어부(173)를 구비한다.
긴급 사태 회피부(171)는, 차외 정보 검출부(141), 차내 정보 검출부(142) 및 차량 상태 검출부(143)의 검출 결과에 기초하여, 충돌, 접촉, 위험 지대로의 진입, 운전자의 이상, 차량의 이상 등의 긴급 사태의 검출 처리를 행한다. 긴급 사태 회피부(171)는, 긴급 사태의 발생을 검출한 경우, 급정차나 급선회 등의 긴급 사태를 회피하기 위한 자차의 동작을 계획한다. 긴급 사태 회피부(171)는, 계획한 자차의 동작을 나타내는 데이터를 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
가감속 제어부(172)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 가감속 제어를 행한다. 예를 들어, 가감속 제어부(172)는, 계획된 가속, 감속, 또는 급정차를 실현하기 위한 구동력 발생 장치 또는 제동 장치의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 방향 제어를 행한다. 예를 들어, 방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 주행 궤도 또는 급선회를 실현하기 위한 스티어링 기구의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
<데이터 취득부(102A) 및 차외 정보 검출부(141A)의 구성예>
도 2는, 도 1의 차량 제어 시스템(100)의 데이터 취득부(102) 및 차외 정보 검출부(141)의 제1 실시 형태인 데이터 취득부(102A) 및 차외 정보 검출부(141A)의 구성예의 일부를 나타내고 있다.
데이터 취득부(102A)는, 카메라(201) 및 밀리미터파 레이더(202)를 구비한다. 차외 정보 검출부(141A)는, 정보 처리부(211)를 구비한다. 정보 처리부(211)는, 화상 처리부(221), 신호 처리부(222), 기하 변환부(223) 및 물체 인식부(224)를 구비한다.
카메라(201)는 이미지 센서(201A)를 구비한다. 이미지 센서(201A)에는, CMOS 이미지 센서, CCD 이미지 센서 등의 임의의 종류의 이미지 센서를 사용할 수 있다. 카메라(201)(이미지 센서(201A))는, 차량(10)의 전방을 촬영하여, 얻어진 화상(이하, 촬영 화상이라고 칭함)을 화상 처리부(221)에 공급한다.
밀리미터파 레이더(202)는, 차량(10)의 전방의 센싱을 행하여, 카메라(201)와 센싱 범위의 적어도 일부가 겹친다. 예를 들어, 밀리미터파 레이더(202)는, 밀리미터파로 이루어지는 송신 신호를 차량(10)의 전방으로 송신하고, 차량(10) 전방의 물체(반사체)에 의해 반사된 신호인 수신 신호를 수신 안테나에 의해 수신한다. 수신 안테나는, 예를 들어 차량(10)의 횡방향(폭 방향)으로 소정의 간격으로 복수 마련된다. 또한, 수신 안테나를 높이 방향으로도 복수 마련하도록 해도 된다. 밀리미터파 레이더(202)는, 각 수신 안테나에 의해 수신한 수신 신호의 강도를 시계열로 나타내는 데이터(이하, 밀리미터파 데이터라고 칭함)를 신호 처리부(222)에 공급한다.
화상 처리부(221)는, 촬영 화상에 대하여 소정의 화상 처리를 행한다. 예를 들어, 화상 처리부(221)는, 물체 인식부(224)를 처리할 수 있는 화상의 사이즈에 맞추어, 촬영 화상의 화소의 씨닝 처리 또는 필터링 처리 등을 행하여, 촬영 화상의 화소 수를 삭감한다(해상도를 낮춤). 화상 처리부(221)는, 해상도를 낮춘 촬영 화상(이하, 저해상도 화상이라고 칭함)을 물체 인식부(224)에 공급한다.
신호 처리부(222)는, 밀리미터파 데이터에 대하여 소정의 신호 처리를 행함으로써, 밀리미터파 레이더(202)의 센싱 결과를 나타내는 화상인 밀리미터파 화상을 생성한다. 또한, 신호 처리부(222)는, 예를 들어 신호 강도 화상 및 속도 화상의 2종류의 밀리미터파 화상을 생성한다. 신호 강도 화상은, 차량(10)의 전방의 각 물체의 위치 및 각 물체에 의해 반사된 신호(수신 신호)의 강도를 나타내는 밀리미터파 화상이다. 속도 화상은, 차량(10)의 전방의 각 물체 위치 및 각 물체의 차량(10)에 대한 상대 속도를 나타내는 밀리미터파 화상이다. 신호 처리부(222)는, 신호 강도 화상 및 속도 화상을 기하 변환부(223)에 공급한다.
기하 변환부(223)는, 밀리미터파 화상의 기하 변환을 행함으로써, 밀리미터파 화상을 촬영 화상과 동일한 좌표계의 화상으로 변환한다. 바꾸어 말하면, 기하 변환부(223)는, 밀리미터파 화상을 촬영 화상과 동일한 시점에서 본 화상(이하, 기하 변환 밀리미터파 화상이라고 칭함)으로 변환한다. 보다 구체적으로는, 기하 변환부(223)는, 신호 강도 화상 및 속도 화상의 좌표계를 밀리미터파 화상의 좌표계로부터 촬영 화상의 좌표계로 변환한다. 또한, 이하, 기하 변환 후의 신호 강도 화상 및 속도 화상을, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상이라고 칭한다. 기하 변환부(223)는, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 물체 인식부(224)에 공급한다.
물체 인식부(224)는, 저해상도 화상, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상에 기초하여, 차량(10)의 전방의 대상물의 인식 처리를 행한다. 물체 인식부(224)는, 대상물의 인식 결과를 나타내는 데이터를, 예를 들어 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153), 그리고 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다. 대상물의 인식 결과를 나타내는 데이터는, 예를 들어 촬영 화상 상의 대상물의 위치, 사이즈 및 물체의 종류를 포함한다.
또한, 대상물이란, 물체 인식부(224)에 의해 인식할 대상이 되는 물체이고, 임의의 물체를 대상물로 하는 것이 가능하다. 단, 밀리미터파 레이더(202)의 송신 신호의 반사율이 높은 부분을 포함하는 물체를 대상물로 하는 것이 바람직하다. 이하, 대상물이 차량인 경우를 적절히 예로 들면서 설명을 행한다.
<물체 인식 모델(251)의 구성예>
도 3은, 물체 인식부(224)에 사용되는 물체 인식 모델(251)의 구성예를 나타내고 있다.
물체 인식 모델(251)은, 기계 학습에 의해 얻어지는 모델이다. 구체적으로는, 물체 인식 모델(251)은, 딥 뉴럴 네트워크를 사용하여, 기계 학습의 하나인 딥 러닝에 의해 얻어지는 모델이다. 더 구체적으로는, 물체 인식 모델(251)은, 딥 뉴럴 네트워크를 사용한 물체 인식 모델의 하나인 SSD(Single Shot Multibox Detector)에 의해 구성된다. 물체 인식 모델(251)은, 특징량 추출부(261) 및 인식부(262)를 구비한다.
특징량 추출부(261)는, 컨벌루션 뉴럴 네트워크를 사용한 컨벌루션층인 VGG16(271a) 내지 VGG16(271c) 및 가산부(272)를 구비한다.
VGG16(271a)은, 촬영 화상 Pa의 특징량을 추출하여, 특징량의 분포를 2차원으로 나타내는 특징 맵(이하, 촬영 화상 특징 맵이라고 칭함)을 생성한다. VGG16(271a)은, 촬영 화상 특징 맵을 가산부(272)에 공급한다.
VGG16(271b)은, 기하 변환 신호 강도 화상 Pb의 특징량을 추출하여, 특징량의 분포를 2차원으로 나타내는 특징 맵(이하, 신호 강도 화상 특징 맵이라고 칭함)을 생성한다. VGG16(271b)은, 신호 강도 화상 특징 맵을 가산부(272)에 공급한다.
VGG16(271c)은, 기하 변환 속도 화상 Pc의 특징량을 추출하여, 특징량의 분포를 2차원으로 나타내는 특징 맵(이하, 속도 화상 특징 맵이라고 칭함)을 생성한다. VGG16(271c)은, 속도 화상 특징 맵을 가산부(272)에 공급한다.
가산부(272)는, 촬영 화상 특징 맵, 신호 강도 화상 특징 맵 및 속도 화상 특징 맵을 가산함으로써, 합성 특징 맵을 생성한다. 가산부(272)는, 합성 특징 맵을 인식부(262)에 공급한다.
인식부(262)는, 컨벌루션 뉴럴 네트워크를 구비한다. 구체적으로는, 인식부(262)는, 컨벌루션층(273a) 내지 컨벌루션층(273c)을 구비한다.
컨벌루션층(273a)은, 합성 특징 맵의 컨볼루션 연산을 행한다. 컨벌루션층(273a)은, 컨볼루션 연산 후의 합성 특징 맵에 기초하여, 대상물의 인식 처리를 행한다. 컨벌루션층(273a)은, 컨볼루션 연산 후의 합성 특징 맵을 컨벌루션층(273b)에 공급한다.
컨벌루션층(273b)은, 컨벌루션층(273a)으로부터 공급되는 합성 특징 맵의 컨볼루션 연산을 행한다. 컨벌루션층(273b)은, 컨볼루션 연산 후의 합성 특징 맵에 기초하여, 대상물의 인식 처리를 행한다. 컨벌루션층(273a)은, 컨볼루션 연산 후의 합성 특징 맵을 컨벌루션층(273c)에 공급한다.
컨벌루션층(273c)은, 컨벌루션층(273b)으로부터 공급되는 합성 특징 맵의 컨볼루션 연산을 행한다. 컨벌루션층(273b)은, 컨볼루션 연산 후의 합성 특징 맵에 기초하여, 대상물의 인식 처리를 행한다.
물체 인식 모델(251)은, 컨벌루션층(273a) 내지 컨벌루션층(273c)에 의한 대상물의 인식 결과를 나타내는 데이터를 출력한다.
또한, 합성 특징 맵의 사이즈(화소 수)는, 컨벌루션층(273a)으로부터 차례로 작아져, 컨벌루션층(273c)에서 최소로 된다. 그리고, 합성 특징 맵의 사이즈가 커질수록, 차량(10)으로부터 보아 사이즈가 작은 대상물의 인식 정밀도가 높아지고, 합성 특징 맵의 사이즈가 작아질수록, 차량(10)으로부터 보아 사이즈가 큰 대상물의 인식 정밀도가 높아진다. 따라서, 예를 들어 대상물이 차량인 경우, 사이즈가 큰 합성 특징 맵에서는, 먼 곳의 작은 차량이 인식되기 쉬워지고, 사이즈가 작은 합성 특징 맵에서는, 근처의 큰 차량이 인식되기 쉬워진다.
<학습 시스템(301)의 구성예>
도 4는, 학습 시스템(301)의 구성예를 도시하는 블록도이다.
학습 시스템(301)은, 도 3의 물체 인식 모델(251)의 학습 처리를 행한다. 학습 시스템(301)은, 입력부(311), 화상 처리부(312), 정답 데이터 생성부(313), 신호 처리부(314), 기하 변환부(315), 교사 데이터 생성부(316) 및 학습부(317)를 구비한다.
입력부(311)는, 각종 입력 디바이스를 구비하여, 교사 데이터의 생성에 필요한 데이터의 입력 및 유저 조작 등에 사용된다. 예를 들어, 입력부(311)는, 촬영 화상이 입력된 경우, 촬영 화상을 화상 처리부(312)에 공급한다. 예를 들어, 입력부(311)는, 밀리미터파 데이터가 입력된 경우, 밀리미터파 데이터를 신호 처리부(314)에 공급한다. 예를 들어, 입력부(311)는, 유저 조작에 의해 입력된 유저의 지시를 나타내는 데이터를 정답 데이터 생성부(313) 및 교사 데이터 생성부(316)에 공급한다.
화상 처리부(312)는, 도 2의 화상 처리부(221)와 동일한 처리를 행한다. 즉, 화상 처리부(312)는, 촬영 화상에 대하여 소정의 화상 처리를 행함으로써, 저해상도 화상을 생성한다. 화상 처리부(312)는, 저해상도 화상을 정답 데이터 생성부(313) 및 교사 데이터 생성부(316)에 공급한다.
정답 데이터 생성부(313)는, 저해상도 화상에 기초하여, 정답 데이터를 생성한다. 예를 들어, 유저는, 입력부(311)를 통해, 저해상도 화상 내의 차량의 위치를 지정한다. 정답 데이터 생성부(313)는, 유저에 의해 지정된 차량의 위치에 기초하여, 저해상도 화상 내의 차량의 위치를 나타내는 정답 데이터를 생성한다. 정답 데이터 생성부(313)는, 정답 데이터를 교사 데이터 생성부(316)에 공급한다.
신호 처리부(314)는, 도 2의 신호 처리부(222)와 동일한 처리를 행한다. 즉, 신호 처리부(314)는, 밀리미터파 데이터에 대하여 소정의 신호 처리를 행하여, 신호 강도 화상 및 속도 화상을 생성한다. 신호 처리부(314)는, 신호 강도 화상 및 속도 화상을 기하 변환부(315)에 공급한다.
기하 변환부(315)는, 도 2의 기하 변환부(223)와 동일한 처리를 행한다. 즉, 기하 변환부(315)는, 신호 강도 화상 및 속도 화상의 기하 변환을 행한다. 기하 변환부(315)는, 기하 변환 후의 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 교사 데이터 생성부(316)에 공급한다.
교사 데이터 생성부(316)는, 저해상도 화상, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 포함하는 입력 데이터, 그리고 정답 데이터를 포함하는 교사 데이터를 생성한다. 교사 데이터 생성부(316)는, 교사 데이터를 학습부(317)에 공급한다.
학습부(317)는, 교사 데이터를 사용하여, 물체 인식 모델(251)의 학습 처리를 행한다. 학습부(317)는, 학습 완료된 물체 인식 모델(251)을 출력한다.
<물체 인식 모델 학습 처리>
이어서, 도 5의 흐름도를 참조하여, 학습 시스템(301)에 의해 실행되는 물체 인식 모델 학습 처리에 대하여 설명한다.
또한, 이 처리의 개시 전에, 교사 데이터의 생성에 사용되는 데이터가 수집된다. 예를 들어, 차량(10)이 실제로 주행한 상태로, 차량(10)에 마련된 카메라(201) 및 밀리미터파 레이더(202)가 차량(10)의 전방의 센싱을 행한다. 구체적으로는, 카메라(201)는, 차량(10)의 전방의 촬영을 행하여, 얻어진 촬영 화상을 기억부(111)에 기억시킨다. 밀리미터파 레이더(202)는, 차량(10) 전방의 물체 검출을 행하여, 얻어진 밀리미터파 데이터를 기억부(111)에 기억시킨다. 이 기억부(111)에 축적된 촬영 화상 및 밀리미터파 데이터에 기초하여 교사 데이터가 생성된다.
스텝 S1에 있어서, 학습 시스템(301)은, 교사 데이터를 생성한다.
예를 들어, 유저는, 입력부(311)를 통해, 대략 동시에 취득된 촬영 화상 및 밀리미터파 데이터를 학습 시스템(301)에 입력한다. 즉, 대략 동일한 시각에 센싱함으로써 얻어진 촬영 화상 및 밀리미터파 데이터가, 학습 시스템(301)에 입력된다. 촬영 화상은 화상 처리부(312)에 공급되고, 밀리미터파 데이터는 신호 처리부(314)에 공급된다.
화상 처리부(312)는, 촬영 화상에 대하여 씨닝 처리 등의 화상 처리를 행하여, 저해상도 화상을 생성한다. 화상 처리부(312)는, 저해상도 화상을 정답 데이터 생성부(313) 및 교사 데이터 생성부(316)에 공급한다.
도 6은, 저해상 화상의 예를 나타내고 있다.
정답 데이터 생성부(313)는, 입력부(311)를 통해 유저에 의해 지정된 대상물의 위치에 기초하여, 저해상도 화상의 대상물의 위치를 나타내는 정답 데이터를 생성한다. 정답 데이터 생성부(313)는, 정답 데이터를 교사 데이터 생성부(316)에 공급한다.
도 7은, 도 6의 저해상도 화상에 대하여 생성된 정답 데이터의 예를 나타내고 있다. 백색의 직사각형 프레임으로 둘러싸이는 영역이, 대상물인 차량의 위치를 나타내고 있다.
신호 처리부(314)는, 밀리미터파 데이터에 대하여 소정의 신호 처리를 행함으로써, 차량(10)의 전방에 있어서 송신 신호를 반사한 물체의 위치 및 속도를 추정한다. 물체의 위치는, 예를 들어 차량(10)으로부터 물체까지의 거리 및 밀리미터파 레이더(202)의 광축 방향(차량(10)의 진행 방향)에 대한 물체의 방향(각도)에 의해 표현된다. 또한, 밀리미터파 레이더(202)의 광축 방향은, 예를 들어 송신 신호가 방사상으로 송신되는 경우, 방사되는 범위의 중심 방향과 동등해지고, 송신 신호가 주사되는 경우, 주사되는 범위의 중심 방향과 동등해진다. 물체의 속도는, 예를 들어 차량(10)에 대한 물체의 상대 속도에 의해 표현된다.
신호 처리부(314)는, 물체의 위치 및 속도의 추정 결과에 기초하여, 신호 강도 화상 및 속도 화상을 생성한다. 신호 처리부(314)는, 신호 강도 화상 및 속도 화상을 기하 변환부(315)에 공급한다.
도 8은, 신호 강도 화상의 예를 나타내고 있다. 신호 강도 화상의 x축이 횡방향(차량(10)의 폭 방향)을 나타내고, y축이 밀리미터파 레이더(202)의 광축 방향(차량(10)의 진행 방향, 깊이 방향)을 나타내고 있다. 신호 강도 화상은, 차량(10) 전방의 물체 위치 및 각 물체의 반사 강도, 즉, 차량(10) 전방의 물체에 의해 반사된 수신 신호의 강도의 분포를 조감도에 의해 나타내고 있다.
또한, 도시는 생략하지만, 속도 화상은, 차량(10) 전방의 물체 위치 및 각 물체의 상대 속도의 분포를, 신호 강도 화상과 마찬가지로, 조감도에 의해 나타낸 화상이다.
기하 변환부(315)는, 신호 강도 화상 및 속도 화상의 기하 변환을 행하여, 신호 강도 화상 및 속도 화상을 촬영 화상과 동일한 좌표계의 화상으로 변환함으로써, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 생성한다. 기하 변환부(315)는, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 교사 데이터 생성부(316)에 공급한다.
도 9는, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상의 예를 나타내고 있다. 도 9의 A는, 기하 변환 신호 강도 화상의 예를 나타내고, 도 9의 B는, 기하 변환 속도 화상의 예를 나타내고 있다. 또한, 도 9의 기하 변환 신호 강도 화상 및 기하 변환 속도 화상은, 도 7의 저해상도 화상의 바탕이 되는 촬영 화상과 대략 동시에 취득된 밀리미터파 데이터에 기초하여 생성된 것이다.
기하 변환 신호 강도 화상에서는, 신호 강도가 강한 부분일수록 밝아지고, 신호 강도가 약한 부분일수록 어두워진다. 기하 변환 속도 화상에서는, 상대 속도가 빠른 부분일수록 밝아지고, 상대 속도가 느린 부분일수록 어두워지고, 상대 속도가 검출 불능인(물체가 존재하지 않음) 부분은 검게 칠해진다.
이와 같이, 밀리미터파 화상(신호 강도 화상 및 속도 화상)의 기하 변환을 행함으로써, 횡방향 및 깊이 방향의 물체의 위치뿐만 아니라, 높이 방향의 물체의 위치도 표현된다.
단, 밀리미터파 레이더(202)는, 거리가 멀어질수록 높이 방향의 분해능이 저하된다. 그 때문에, 거리가 먼 물체의 높이가, 실제보다 크게 검출되는 경우가 있다.
이에 비해, 기하 변환부(315)는, 밀리미터파 화상의 기하 변환을 행하는 경우에, 소정의 거리 이상 이격된 물체의 높이를 제한한다. 구체적으로는, 기하 변환부(315)는, 밀리미터파 화상의 기하 변환을 행하는 경우에, 소정의 거리 이상 이격된 물체의 높이가 소정의 상한값을 초과할 때, 그 물체의 높이를 상한값으로 제한하여, 기하 변환을 행한다. 이에 의해, 예를 들어 대상물이 차량인 경우, 먼 곳의 차량의 높이가 실제보다 크게 검출됨으로써 오인식이 발생하는 것이 방지된다.
교사 데이터 생성부(316)는, 촬영 화상, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 포함하는 입력 데이터, 그리고 정답 데이터를 포함하는 교사 데이터를 생성한다. 교사 데이터 생성부(316)는, 생성한 교사 데이터를 학습부(317)에 공급한다.
스텝 S2에 있어서, 학습부(317)는, 물체 인식 모델(251)의 학습을 행한다. 구체적으로는, 학습부(317)는, 교사 데이터에 포함되는 입력 데이터를 물체 인식 모델(251)에 입력한다. 물체 인식 모델(251)은, 대상물의 인식 처리를 행하여, 인식 결과를 나타내는 데이터를 출력한다. 학습부(317)는, 물체 인식 모델(251)의 인식 결과와 정답 데이터를 비교하여, 오차가 작아지도록, 물체 인식 모델(251)의 파라미터 등을 조정한다.
스텝 S3에 있어서, 학습부(317)는, 학습을 계속할지 여부를 판정한다. 예를 들어, 학습부(317)는, 물체 인식 모델(251)의 학습이 수렴되지 않은 경우, 학습을 계속한다고 판정하여, 처리는 스텝 S1로 복귀된다.
그 후, 스텝 S3에 있어서, 학습을 종료한다고 판정될 때까지, 스텝 S1 내지 스텝 S3의 처리가 반복해서 실행된다.
한편, 스텝 S3에 있어서, 예를 들어 학습부(317)는, 물체 인식 모델(251)의 학습이 수렴되어 있는 경우, 학습을 종료한다고 판정하여, 물체 인식 모델 학습 처리를 종료한다.
이상과 같이 하여, 학습 완료의 물체 인식 모델(251)이 생성된다.
또한, 도 10은, 촬영 화상을 사용하지 않고, 밀리미터파 데이터만을 사용하여 학습한 물체 인식 모델(251)의 인식 결과의 예를 나타내고 있다.
도 10의 A는, 밀리미터파 데이터에 기초하여 생성된 기하 변환 신호 강도 화상의 예를 나타내고 있다.
도 10의 B는, 물체 인식 모델(251)의 인식 결과의 예를 나타내고 있다. 구체적으로는, 도 10의 A의 시점 변환 강도 화상의 바탕이 되는 밀리미터파 데이터와 대략 동시에 취득된 촬영 화상에, 도 10의 A의 시점 변환 강도 화상이 중첩됨과 함께, 직사각형의 프레임에 의해, 대상물인 차량이 인식된 위치가 나타나 있다.
이 예에 나타낸 바와 같이, 물체 인식 모델(251)은, 밀리미터파 데이터(기하 변환 신호 강도 화상 및 기하 변환 속도 화상)만을 사용해도, 소정의 정밀도 이상으로 대상물인 차량의 인식이 가능하다.
<대상물 인식 처리>
이어서, 도 11의 흐름도를 참조하여, 차량(10)에 의해 실행되는 대상물 인식 처리에 대하여 설명한다.
이 처리는, 예를 들어 차량(10)을 기동하여, 운전을 개시하기 위한 조작이 행해진 때, 예를 들어 차량(10)의 이그니션 스위치, 파워 스위치, 또는 스타트 스위치 등이 온으로 된 때 개시된다. 또한, 이 처리는, 예를 들어 차량(10)의 운전을 종료하기 위한 조작이 행해진 때, 예를 들어 차량(10)의 이그니션 스위치, 파워 스위치, 또는 스타트 스위치 등이 오프된 때 종료한다.
스텝 S101에 있어서, 카메라(201) 및 밀리미터파 레이더(202)는, 차량(10)의 전방의 센싱을 행한다.
구체적으로는, 카메라(201)는, 차량(10)의 전방을 촬영하여, 얻어진 촬영 화상을 화상 처리부(221)에 공급한다.
밀리미터파 레이더(202)는, 차량(10)의 전방으로 송신 신호를 송신하고, 차량(10) 전방의 물체에 의해 반사된 신호인 수신 신호를 복수의 수신 안테나에 의해 수신한다. 밀리미터파 레이더(202)는, 각 수신 안테나에 의해 수신한 수신 신호의 강도를 시계열로 나타내는 밀리미터파 데이터를 신호 처리부(222)에 공급한다.
스텝 S102에 있어서, 화상 처리부(221)는, 촬영 화상의 전처리를 행한다. 구체적으로는, 화상 처리부(221)는, 촬영 화상에 대하여 씨닝 처리 등을 행함으로써 저해상도 화상을 생성하여, 물체 인식부(224)에 공급한다.
스텝 S103에 있어서, 신호 처리부(222)는 밀리미터파 화상을 생성한다. 구체적으로는, 신호 처리부(222)는, 도 5의 스텝 S1의 신호 처리부(314)와 같은 처리를 행함으로써, 밀리미터파 데이터에 기초하여, 신호 강도 화상 및 속도 화상을 생성한다. 신호 처리부(222)는, 신호 강도 화상 및 속도 화상을 기하 변환부(223)에 공급한다.
스텝 S104에 있어서, 기하 변환부(223)는, 밀리미터파 화상의 기하 변환을 행한다. 구체적으로는, 기하 변환부(223)는, 도 5의 스텝 S1의 기하 변환부(315)와 동일한 처리를 행함으로써, 신호 강도 화상 및 속도 화상을 기하 변환 신호 강도 화상 및 기하 변환 속도 화상으로 변환한다. 기하 변환부(223)는, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 물체 인식부(224)에 공급한다.
스텝 S105에 있어서, 물체 인식부(224)는, 저해상도 화상 및 기하 변환 후의 밀리미터파 화상에 기초하여, 대상물의 인식 처리를 행한다. 구체적으로는, 물체 인식부(224)는, 저해상도 화상, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 포함하는 입력 데이터를 물체 인식 모델(251)에 입력한다. 물체 인식 모델(251)은, 입력 데이터에 기초하여, 차량(10)의 전방의 대상물의 인식 처리를 행한다.
도 12는, 대상물이 차량인 경우의 인식 결과의 예를 나타내고 있다. 도 12의 A는, 촬영 화상의 예를 나타내고 있다. 도 12의 B는, 차량의 인식 결과의 예를 나타내고 있다. 도 12의 B에 있어서, 차량이 인식된 영역이, 직사각형의 프레임에 의해 둘러싸여 있다.
물체 인식부(224)는, 대상물의 인식 결과를 나타내는 데이터를, 예를 들어 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153), 그리고 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
자기 위치 추정부(132)는, 대상물의 인식 결과 등에 기초하여, 차량(10)의 위치 및 자세 등의 추정 처리를 행한다.
맵 해석부(151)는, 대상물의 인식 결과 등에 기초하여, 기억부(111)에 기억되어 있는 각종 맵의 해석 처리를 행하여, 자동 운전의 처리에 필요한 정보를 포함하는 맵을 구축한다.
교통 룰 인식부(152)는, 대상물의 인식 결과 등에 기초하여, 차량(10) 주위의 교통 룰의 인식 처리를 행한다.
상황 인식부(153)는, 대상물의 인식 결과 등에 기초하여, 차량(10) 주위의 상황의 인식 처리를 행한다.
긴급 사태 회피부(171)는, 대상물의 인식 결과 등에 기초하여, 긴급 사태의 발생을 검출한 경우, 급정차나 급선회 등의 긴급 사태를 회피하기 위한 차량(10)의 동작을 계획한다.
그 후, 처리는 스텝 S101로 복귀되고, 스텝 S101 이후의 처리가 실행된다.
이상과 같이 하여, 차량(10)의 전방의 대상물의 인식 정밀도를 향상시킬 수 있다.
구체적으로는, 촬영 화상만을 사용하여 대상물의 인식 처리를 행한 경우, 예를 들어 악천후(예를 들어, 비나 안개 등), 야간, 또는 장애물 등에 의해 시계가 나쁠 때, 대상물의 인식 정밀도가 저하된다. 한편, 밀리미터파 레이더는, 악천후, 야간, 또는 장애물 등에 의해 시계가 나쁜 상황에서도, 대상물의 검출 정밀도는 거의 저하되지 않는다. 따라서, 카메라(201)와 밀리미터파 레이더(202)(촬영 화상과 밀리미터파 데이터)를 퓨전하여 대상물의 인식 처리를 행함으로써, 촬영 화상만을 사용한 경우의 결점을 보충할 수 있어, 인식 정밀도가 향상된다.
또한, 도 13의 A에 나타낸 바와 같이, 촬영 화상은, x축 및 z축을 포함하는 좌표계에 의해 표현된다. x축은, 횡방향(차량(10)의 폭 방향)을 나타내고, z축은 높이 방향을 나타낸다. 한편, 도 13의 B에 나타낸 바와 같이, 밀리미터파 화상은, x축 및 y축을 포함하는 좌표계에 의해 표현된다. x축은, 촬영 화상의 좌표계의 x축과 마찬가지이다. 또한, x축은, 밀리미터파 레이더(202)의 송신 신호가 평면 형상으로 퍼지는 방향과 일치한다. y축은, 밀리미터파 레이더(202)의 광축 방향(차량(10)의 진행 방향, 깊이 방향)을 나타낸다.
이와 같이, 촬영 화상과 밀리미터파 화상의 좌표계가 다르면, 촬영 화상과 밀리미터파 화상의 상관 관계를 알기 어렵다. 예를 들어, 촬영 화상의 각 화소와, 밀리미터파 화상의 반사 포인트(수신 신호의 강도가 강한 위치)의 매칭이 곤란하다. 그 때문에, 촬영 화상과 도 13의 A의 밀리미터파 화상을 사용하여, 딥 러닝에 의해 물체 인식 모델(251)을 학습하는 경우, 학습의 난이도가 높아져, 학습 정밀도가 저하될 우려가 있다.
한편, 본 기술에서는, 밀리미터파 화상(신호 강도 화상 및 속도 화상)을 기하 변환하고, 촬영 화상과 좌표계를 맞춘 화상(기하 변환 신호 강도 화상 및 기하 변환 속도 화상)을 사용하여, 물체 인식 모델(251)의 학습이 행해진다. 그 결과, 촬영 화상의 각 화소와, 밀리미터파 화상의 반사 포인트의 매칭이 용이해져, 학습 정밀도가 향상된다. 또한, 실제의 차량의 인식 처리에 있어서도, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 사용함으로써, 대상물의 인식 정밀도가 향상된다.
<<2. 제2 실시 형태>>
이어서, 도 14 내지 도 16을 참조하여, 본 기술의 제2 실시 형태에 대하여 설명한다.
<차외 정보 검출부(141B)의 구성예>
도 14는, 도 1의 차량 제어 시스템(100)의 차외 정보 검출부(141)의 제2 실시 형태인 차외 정보 검출부(141B)의 구성예를 나타내고 있다. 또한, 도면 중, 도 2와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
차외 정보 검출부(141B)는, 정보 처리부(401)를 구비한다. 정보 처리부(401)는, 도 2의 정보 처리부(211)와 비교하여, 신호 처리부(222) 및 기하 변환부(223)를 구비하는 점에서 일치한다. 한편, 정보 처리부(401)는, 정보 처리부(211)와 비교하여, 화상 처리부(221) 및 물체 인식부(224) 대신에 화상 처리부(421) 및 물체 인식부(422)가 마련되고, 합성부(423)가 추가되어 있는 점이 다르다. 물체 인식부(422)는, 물체 인식부(431a) 및 물체 인식부(431b)를 구비한다.
화상 처리부(421)는, 화상 처리부(221)와 마찬가지로, 촬영 화상에 기초하여, 저해상도 화상을 생성한다. 화상 처리부(421)는, 저해상도 화상을 물체 인식부(431a)에 공급한다.
또한, 화상 처리부(421)는, 물체 인식부(431b)를 처리할 수 있는 화상의 사이즈에 맞추어, 촬영 화상의 일부를 잘라낸다. 화상 처리부(421)는, 촬영 화상으로부터 잘라낸 화상(이하, 크롭 화상이라고 칭함)을 물체 인식부(431b)에 공급한다.
물체 인식부(431a) 및 물체 인식부(431b)에는, 도 2의 물체 인식부(224)와 마찬가지로, 도 3의 물체 인식 모델(251)이 사용된다.
물체 인식부(431a)는, 도 2의 물체 인식부(224)와 마찬가지로, 저해상도 화상, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상에 기초하여, 차량(10)의 전방의 대상물의 인식 처리를 행한다. 물체 인식부(431a)는, 대상물의 인식 처리의 결과를 나타내는 데이터를 합성부(423)에 공급한다.
물체 인식부(431b)는, 크롭 화상, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상에 기초하여, 차량(10)의 전방의 대상물의 인식 처리를 행한다. 물체 인식부(431b)는, 대상물의 인식 처리의 결과를 나타내는 데이터를 합성부(423)에 공급한다.
또한, 상세한 설명은 생략하지만, 물체 인식부(431a)에 사용되는 물체 인식 모델(251)과, 물체 인식부(431b)에 사용되는 물체 인식 모델(251)은, 다른 교사 데이터를 사용하여 학습 처리가 행해진다. 구체적으로는, 물체 인식부(431a)에 사용되는 물체 인식 모델(251)은, 저해상도 화상, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 포함하는 입력 데이터, 그리고 저해상 화상에 기초하여 생성된 정답 데이터를 포함하는 교사 데이터를 사용하여 학습된다. 한편, 물체 인식부(431b)에 사용되는 물체 인식 모델(251)은, 크롭 화상, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 포함하는 입력 데이터, 그리고 크롭 화상에 기초하여 생성된 정답 데이터를 포함하는 교사 데이터를 사용하여 학습된다.
합성부(423)는, 물체 인식부(431a)에 의한 대상물의 인식 결과와, 물체 인식부(431b)에 의한 대상물의 인식 결과를 합성한다. 합성부(423)는, 합성 후의 대상물의 인식 결과를 나타내는 데이터를, 예를 들어 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153), 그리고 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
<대상물 인식 처리>
이어서, 도 15의 흐름도를 참조하여, 대상물 인식 처리의 제2 실시 형태에 대하여 설명한다.
이 처리는, 예를 들어 차량(10)을 기동하여, 운전을 개시하기 위한 조작이 행해진 때, 예를 들어 차량(10)의 이그니션 스위치, 파워 스위치, 또는 스타트 스위치 등이 온으로 된 때 개시된다. 또한, 이 처리는, 예를 들어 차량(10)의 운전을 종료하기 위한 조작이 행해진 때, 예를 들어 차량(10)의 이그니션 스위치, 파워 스위치, 또는 스타트 스위치 등이 오프된 때 종료한다.
스텝 S201에 있어서, 도 11의 스텝 S101의 처리와 마찬가지로, 차량(10)의 전방의 센싱이 행해진다.
스텝 S202에 있어서, 화상 처리부(421)는, 촬영 화상의 전처리를 행한다. 구체적으로는, 화상 처리부(421)는, 도 11의 스텝 S102와 동일한 처리에 의해, 촬영 화상에 기초하여 저해상도 화상을 생성한다. 화상 처리부(421)는, 저해상도 화상을 물체 인식부(431a)에 공급한다.
또한, 화상 처리부(421)는, 예를 들어 촬영 화상 내의 도로의 소실점을 검출한다. 화상 처리부(421)는, 소실점을 중심으로 하는 소정 크기의 직사각형 영역 내의 화상을 촬영 화상으로부터 잘라낸다. 화상 처리부(421)는, 잘라낸 크롭 화상을 물체 인식부(431b)에 공급한다.
도 16은, 촬영 화상과 크롭 화상의 관계의 예를 나타내고 있다. 구체적으로는, 도 16의 A는, 촬영 화상의 예를 나타내고 있다. 그리고, 도 16의 B의 점선의 프레임으로 나타낸 바와 같이, 촬영 화상 내의 도로의 소실점을 중심으로 하는 소정 크기의 직사각형 영역이 크롭 화상으로서 잘라내진다.
스텝 S203에 있어서, 도 11의 스텝 S103의 처리와 마찬가지로, 밀리미터파 화상, 즉, 신호 강도 화상 및 속도 화상이 생성된다.
스텝 S204에 있어서, 도 11의 스텝 S104의 처리와 마찬가지로, 밀리미터파 화상의 기하 변환이 행해진다. 이에 의해, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상이 생성된다. 기하 변환부(223)는, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 물체 인식부(431a) 및 물체 인식부(431b)에 공급한다.
스텝 S205에 있어서, 물체 인식부(431a)는, 저해상도 화상 및 기하 변환 후의 밀리미터파 화상에 기초하여, 대상물의 인식 처리를 행한다. 구체적으로는, 물체 인식부(431a)는, 도 11의 스텝 S105와 동일한 처리에 의해, 저해상도 화상, 기하 변환 신호 강도 화상 및 기하 변환 속도 화상에 기초하여, 차량(10) 전방의 대상물의 인식 처리를 행한다. 물체 인식부(431a)는, 대상물의 인식 결과를 나타내는 데이터를 합성부(423)에 공급한다.
스텝 S206에 있어서, 물체 인식부(431b)는, 크롭 화상 및 기하 변환 후의 밀리미터파 화상에 기초하여, 차량의 인식 처리를 행한다. 구체적으로는, 물체 인식부(224)는, 크롭 화상, 그리고 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 포함하는 입력 데이터를 물체 인식 모델(251)에 입력한다. 물체 인식 모델(251)은, 입력 데이터에 기초하여, 차량(10)의 전방의 대상물의 인식 처리를 행한다. 물체 인식부(431b)는, 대상물의 인식 결과를 나타내는 데이터를 합성부(423)에 공급한다.
스텝 S207에 있어서, 합성부(423)는, 대상물의 인식 결과를 합성한다. 구체적으로는, 합성부(423)는, 물체 인식부(431a)에 의한 대상물의 인식 결과와, 물체 인식부(431b)에 의한 대상물의 인식 결과를 합성한다. 합성부(423)는, 합성 후의 대상물의 인식 결과를 나타내는 데이터를, 예를 들어 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153), 그리고동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
자기 위치 추정부(132)는, 대상물의 인식 결과 등에 기초하여, 차량(10)의 위치 및 자세 등의 추정 처리를 행한다.
맵 해석부(151)는, 대상물의 인식 결과 등에 기초하여, 기억부(111)에 기억되어 있는 각종 맵의 해석 처리를 행하여, 자동 운전의 처리에 필요한 정보를 포함하는 맵을 구축한다.
교통 룰 인식부(152)는, 대상물의 인식 결과 등에 기초하여, 차량(10) 주위의 교통 룰의 인식 처리를 행한다.
상황 인식부(153)는, 대상물의 인식 결과 등에 기초하여, 차량(10) 주위 상황의 인식 처리를 행한다.
긴급 사태 회피부(171)는, 대상물의 인식 결과 등에 기초하여, 긴급 사태의 발생을 검출한 경우, 급정차나 급선회 등의 긴급 사태를 회피하기 위한 차량(10)의 동작을 계획한다.
그 후, 처리는 스텝 S201로 복귀되어, 스텝 S201 이후의 처리가 실행된다.
이상과 같이 하여, 차량(10)의 전방의 대상물의 인식 정밀도를 향상시킬 수 있다. 구체적으로는, 촬영 화상이 아니라 저해상도 화상을 사용함으로써, 특히 먼 곳의 대상물의 인식 정밀도가 저하된다. 그러나, 도로의 소실점 부근을 잘라낸 고해상도의 크롭 화상을 사용하여 대상물의 인식 처리를 행함으로써, 대상물이 차량인 경우, 소실점 부근의 먼 곳의 차량의 인식 정밀도를 향상시킬 수 있다.
<<3. 제3 실시 형태>>
이어서, 도 17을 참조하여, 본 기술의 제3 실시 형태에 대하여 설명한다.
<데이터 취득부(102B) 및 차외 정보 검출부(141C)의 구성예>
도 17은, 도 1의 차량 제어 시스템(100)의 데이터 취득부(102)의 제2 실시 형태인 데이터 취득부(102B) 및 차외 정보 검출부(141)의 제3 실시 형태인 차외 정보 검출부(141C)의 구성예를 나타내고 있다. 또한, 도면 중, 도 2와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
데이터 취득부(102B)는, 도 2의 데이터 취득부(102A)와 비교하여, 카메라(201) 및 밀리미터파 레이더(202)를 구비하는 점에서 일치하고, LiDAR(501)을 구비하는 점이 다르다.
차외 정보 검출부(141C)는 정보 처리부(511)를 구비한다. 정보 처리부(511)는, 도 2의 정보 처리부(211)와 비교하여, 화상 처리부(221), 신호 처리부(222) 및 기하 변환부(223)를 구비하는 점에서 일치한다. 한편, 정보 처리부(511)는, 정보 처리부(211)와 비교하여, 물체 인식부(224) 대신에 물체 인식부(523)가 마련되고, 신호 처리부(521) 및 기하 변환부(522)가 추가되어 있는 점이 다르다.
LiDAR(501)은, 차량(10)의 전방의 센싱을 행하여, 카메라(201)와 센싱 범위의 적어도 일부가 겹친다. 예를 들어, LiDAR(501)은, 레이저 펄스를 차량(10)의 전방에 있어서, 횡방향 및 높이 방향으로 주사하고, 레이저 펄스의 반사광을 수광한다. LiDAR(501)은, 반사광의 수광에 필요한 시간에 기초하여, 차량(10) 전방의 물체까지의 거리를 계산하고, 계산한 결과에 기초하여, 차량(10) 전방의 물체의 형상이나 위치를 나타내는 3차원의 점군 데이터(포인트 클라우드)를 생성한다. LiDAR(501)은, 점군 데이터를 신호 처리부(521)에 공급한다.
신호 처리부(521)는, 점군 데이터에 대하여 소정의 신호 처리(예를 들어, 보간 처리 또는 씨닝 처리)를 행하여, 신호 처리 후의 점군 데이터를 기하 변환부(522)에 공급한다.
기하 변환부(522)는, 점군 데이터의 기하 변환을 행함으로써, 촬영 화상과 동일한 좌표계의 2차원의 화상(이하, 2차원 점군 데이터라고 칭함)을 생성한다. 기하 변환부(522)는, 2차원 점군 데이터를 물체 인식부(523)에 공급한다.
물체 인식부(523)는, 저해상도 화상, 기하 변환 신호 강도 화상, 기하 변환 속도 화상 및 2차원 점군 데이터에 기초하여, 차량(10)의 전방의 대상물의 인식 처리를 행한다. 물체 인식부(523)는, 대상물의 인식 결과를 나타내는 데이터를, 예를 들어 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153), 그리고 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다. 대상물의 인식 결과를 나타내는 데이터는, 예를 들어 촬영 화상 위의 대상물의 위치, 사이즈 및 물체의 종류에 더하여, 3차원 공간상의 대상물의 위치 및 속도를 포함한다.
또한, 상세한 설명은 생략하지만, 물체 인식부(523)에는, 예를 들어 도 3의 물체 인식 모델(251)과 동일한 구성의 물체 인식 모델이 사용된다. 단, 2차원 점군 데이터용으로 VGG16가 하나 추가된다. 그리고, 물체 인식부(523)용의 물체 인식 모델은, 저해상도 화상, 기하 변환 신호 강도 화상, 기하 변환 속도 화상 및 2차원 점군 데이터를 포함하는 입력 데이터, 그리고 저해상 화상에 기초하여 생성된 정답 데이터를 포함하는 교사 데이터를 사용하여 학습된다.
이와 같이, LiDAR(501)을 추가함으로써, 대상물의 인식 정밀도가 더 향상된다.
<<4. 제4 실시 형태>>
이어서, 도 18을 참조하여, 본 기술의 제4 실시 형태에 대하여 설명한다.
<차외 정보 검출부(141D)의 구성예>
도 18은, 도 2의 차량 제어 시스템(100)의 차외 정보 검출부(141)의 제4 실시 형태인 차외 정보 검출부(141D)의 구성예를 나타내고 있다. 또한, 도면 중, 도 2와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
차외 정보 검출부(141D)는, 정보 처리부(611)를 구비한다. 정보 처리부(611)는, 도 2의 정보 처리부(211)와 비교하여, 화상 처리부(221) 및 신호 처리부(222)를 구비하는 점에서 일치한다. 한편, 정보 처리부(611)는, 정보 처리부(211)와 비교하여, 물체 인식부(224) 대신에 물체 인식부(622)가 마련되고, 기하 변환부(621)가 추가되고, 기하 변환부(223)가 삭제되어 있는 점이 다르다.
기하 변환부(621)는, 화상 처리부(221)로부터 공급되는 저해상도 화상의 기하 변환을 행함으로써, 저해상도 화상을 신호 처리부(222)로부터 출력되는 밀리미터파 화상과 동일한 좌표계의 화상(이하, 기하 변환 저해상도 화상이라고 칭함)으로 변환한다. 예를 들어, 기하 변환부(621)는, 저해상도 화상을 조감도로 변환한다. 기하 변환부(621)는, 기하 변환 저해상도 화상을 물체 인식부(622)에 공급한다.
물체 인식부(622)는, 기하 변환 저해상도 화상, 그리고 신호 처리부(222)로부터 공급되는 신호 강도 화상 및 속도 화상에 기초하여, 차량(10)의 전방의 대상물의 인식 처리를 행한다. 물체 인식부(622)는, 대상물의 인식 결과를 나타내는 데이터를, 예를 들어 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153), 그리고 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
이와 같이, 촬영 화상을 밀리미터파 화상과 동일한 좌표계의 화상으로 변환하여, 물체의 인식 처리를 행하도록 해도 된다.
<<5. 제5 실시 형태>>
이어서, 도 19를 참조하여, 본 기술의 제5 실시 형태에 대하여 설명한다.
<차외 정보 검출부(141E)의 구성예>
도 19는, 도 2의 차량 제어 시스템(100)의 차외 정보 검출부(141)의 제5 실시 형태인 차외 정보 검출부(141E)의 구성예를 나타내고 있다. 또한, 도면 중, 도 17과 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
차외 정보 검출부(141E)는, 정보 처리부(711)를 구비한다. 정보 처리부(711)는, 도 17의 정보 처리부(511)와 비교하여, 화상 처리부(221), 신호 처리부(222) 및 신호 처리부(521)를 구비하는 점에서 일치한다. 한편, 정보 처리부(711)는, 정보 처리부(511)와 비교하여, 기하 변환부(223) 및 물체 인식부(523)대신에 기하 변환부(722) 및 물체 인식부(723)가 마련되고, 기하 변환부(721)가 추가되고, 기하 변환부(522)가 삭제되어 있는 점이 다르다.
기하 변환부(721)는, 화상 처리부(221)로부터 공급되는 저해상도 화상의 기하 변환을 행함으로써, 저해상도 화상을 신호 처리부(521)로부터 출력되는 점군 데이터와 동일한 좌표계의 3차원의 점군 데이터(이하, 화상 점군 데이터라고 칭함)로 변환한다. 기하 변환부(721)는, 화상 점군 데이터를 물체 인식부(723)에 공급한다.
기하 변환부(722)는, 신호 처리부(222)로부터 공급되는 신호 강도 화상 및 속도 화상의 기하 변환을 행함으로써, 신호 강도 화상 및 속도 화상을 신호 처리부(521)로부터 출력되는 점군 데이터와 동일한 좌표계의 3차원의 점군 데이터(이하, 신호 강도 점군 데이터 및 속도 점군 데이터라고 칭함)로 변환한다. 기하 변환부(722)는, 신호 강도 점군 데이터 및 속도 점군 데이터를 물체 인식부(723)에 공급한다.
물체 인식부(723)는, 화상 점군 데이터, 신호 강도 점군 데이터, 속도 점군 데이터 및 신호 처리부(521)로부터 공급되는, LiDAR(501)에 의한 센싱에 기초하는 점군 데이터에 기초하여, 차량(10)의 전방의 대상물의 인식 처리를 행한다. 물체 인식부(723)는, 대상물의 인식 결과를 나타내는 데이터를, 예를 들어 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153), 그리고 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
이와 같이, 촬영 화상 및 밀리미터파 화상을 점군 데이터로 변환하여, 물체의 인식 처리를 행하도록 해도 된다.
<<6. 제6 실시 형태>>
이어서, 도 20을 참조하여, 본 기술의 제6 실시 형태에 대하여 설명한다.
<데이터 취득부(102C) 및 차외 정보 검출부(141F)의 구성예>
도 20은, 도 1의 차량 제어 시스템(100)의 데이터 취득부(102)의 제3 실시 형태인 데이터 취득부(102C) 및 차외 정보 검출부(141)의 제6 실시 형태인 차외 정보 검출부(141F)의 구성예를 나타내고 있다. 또한, 도면 중, 도 2와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
데이터 취득부(102C)는, 도 2의 데이터 취득부(102A)와 비교하여, 카메라(201)를 구비하는 점에서 일치하고, 밀리미터파 레이더(202) 대신에 밀리미터파 레이더(811)를 구비하는 점이 다르다.
차외 정보 검출부(141F)는, 정보 처리부(831)를 구비한다. 정보 처리부(831)는, 도 2의 정보 처리부(211)와 비교하여, 화상 처리부(221), 기하 변환부(223) 및 물체 인식부(224)를 구비하는 점에서 일치하고, 신호 처리부(222)가 삭제되어 있는 점이 다르다.
밀리미터파 레이더(811)는, 신호 처리부(222)와 동등한 기능을 갖는 신호 처리부(821)를 구비한다. 신호 처리부(821)는, 밀리미터파 데이터에 대하여 소정의 신호 처리를 행함으로써, 밀리미터파 레이더(811)의 센싱 결과를 나타내는 신호 강도 화상 및 속도 화상의 2종류의 밀리미터파 화상을 생성한다. 신호 처리부(821)는, 신호 강도 화상 및 속도 화상을 기하 변환부(223)에 공급한다.
이와 같이, 밀리미터파 레이더(811)에 있어서, 밀리미터파 데이터를 밀리미터파 화상으로 변환하도록 해도 된다.
<<7. 제7 실시 형태>>
이어서, 도 21을 참조하여, 본 기술의 제7 실시 형태에 대하여 설명한다.
<데이터 취득부(102D) 및 차외 정보 검출부(141G)의 구성예>
도 21은, 도 1의 차량 제어 시스템(100)의 데이터 취득부(102)의 제4 실시 형태인 데이터 취득부(102D) 및 차외 정보 검출부(141)의 제7 실시 형태인 차외 정보 검출부(141G)의 구성예를 나타내고 있다. 또한, 도면 중, 도 20과 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
데이터 취득부(102D)는, 도 20의 데이터 취득부(102C)와 비교하여, 카메라(201)를 구비하는 점에서 일치하고, 밀리미터파 레이더(811) 대신에 밀리미터파 레이더(911)를 구비하는 점이 다르다.
차외 정보 검출부(141G)는 정보 처리부(931)를 구비한다. 정보 처리부(931)는, 도 20의 정보 처리부(831)와 비교하여, 화상 처리부(221) 및 물체 인식부(224)를 구비하는 점에서 일치하고, 기하 변환부(223)가 삭제되어 있는 점이 다르다.
밀리미터파 레이더(911)는, 신호 처리부(821)에 더하여, 기하 변환부(223)와 동등한 기능을 갖는 기하 변환부(921)를 구비한다.
기하 변환부(921)는, 신호 강도 화상 및 속도 화상의 좌표계를 밀리미터파 화상의 좌표계로부터 촬영 화상의 좌표계로 변환하고, 변환 후의 기하 변환 신호 강도 화상 및 기하 변환 속도 화상을 물체 인식부(224)에 공급한다.
이와 같이, 밀리미터파 레이더(911)에 있어서, 밀리미터파 데이터를 밀리미터파 화상으로 변환하고, 다시 밀리미터파 화상의 기하 변환을 행하도록 해도 된다.
<<8. 변형예>>
이하, 상술한 본 기술의 실시 형태의 변형예에 대하여 설명한다.
이상에는, 차량을 인식 대상으로 하는 예를 중심으로 설명했지만, 상술한 바와 같이, 차량 이외의 임의의 물체를 인식 대상으로 할 수 있다. 예를 들어, 인식 대상으로 하고 싶은 대상물의 위치를 나타내는 정답 데이터를 포함하는 교사 데이터를 사용하여, 물체 인식 모델(251)의 학습 처리를 행하도록 하면 된다.
또한, 본 기술은, 복수의 종류의 대상물을 인식하는 경우에도 적용하는 것이 가능하다. 예를 들어, 각 대상물의 위치와 라벨(대상물의 종류)을 나타내는 정답 데이터를 포함하는 교사 데이터를 사용하여, 물체 인식 모델(251)의 학습 처리를 행하도록 하면 된다.
또한, 물체 인식 모델(251)을 처리할 수 있는 화상의 사이즈가 충분한 경우, 촬영 화상을 그대로 물체 인식 모델(251)에 입력하여, 대상물의 인식 처리를 행하도록 해도 된다.
또한, 이상의 설명에서는, 차량(10) 전방의 대상물을 인식하는 예를 나타냈지만, 본 기술은, 차량(10)의 주위의 다른 방향의 대상물을 인식하는 경우에도 적용할 수 있다.
또한, 본 기술은, 차량 이외의 이동체의 주위의 대상물을 인식하는 경우에도 적용하는 것이 가능하다. 예를 들어, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 선박, 건설 기계, 농업 기계(트랙터) 등의 이동체가 상정된다. 또한, 본 기술이 적용 가능한 이동체에는, 예를 들어 드론, 로봇 등의 유저가 탑승하지 않고 리모트로 운전(조작)하는 이동체도 포함된다.
또한, 본 기술은, 예를 들어 감시 시스템 등, 고정된 장소에서 대상물의 인식 처리를 행하는 경우에도 적용할 수 있다.
또한, 도 3의 물체 인식 모델(251)은, 그 일례이고, 기계 학습에 의해 생성되는 다른 모델을 사용하는 것도 가능하다.
또한, 본 기술은, 카메라(이미지 센서)와 LiDAR을 조합하여 대상물의 인식 처리를 행하는 경우에도 적용할 수 있다.
또한, 본 기술은, 밀리미터파 레이더 및 LiDAR 이외의 물체를 검출하는 센서를 사용하는 경우에도 적용할 수 있다.
또한, 예를 들어 제2 실시 형태와, 제3 내지 제7 실시 형태를 조합하는 것이 가능하다.
또한, 예를 들어 모든 화상의 좌표계를 변환하여, 각 화상과는 다른 새로운 좌표계에 각 화상의 좌표계를 맞추도록 해도 된다.
<<9. 기타>>
<컴퓨터의 구성예>
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 18은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.
컴퓨터(1000)에 있어서, CPU(Central Processing Unit)(1001), ROM(Read Only Memory)(1002), RAM(Random Access Memory)(1003)은, 버스(1004)에 의해 서로 접속되어 있다.
버스(1004)에는, 또한, 입출력 인터페이스(1005)가 접속되어 있다. 입출력 인터페이스(1005)에는, 입력부(1006), 출력부(1007), 기록부(1008), 통신부(1009) 및 드라이브(1010)가 접속되어 있다.
입력부(1006)는, 입력 스위치, 버튼, 마이크로폰, 촬상 소자 등을 포함한다. 출력부(1007)는, 디스플레이, 스피커 등을 포함한다. 기록부(1008)는 하드 디스크나 불휘발성의 메모리 등을 포함한다. 통신부(1009)는, 네트워크 인터페이스 등을 포함한다. 드라이브(1010)는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(1011)를 구동한다.
이상과 같이 구성되는 컴퓨터(1000)에서는, CPU(1001)가, 예를 들어 기록부(1008)에 기록되어 있는 프로그램을, 입출력 인터페이스(1005) 및 버스(1004)를 통해, RAM(1003)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(1000)(CPU(1001))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(1011)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해 제공할 수 있다.
컴퓨터(1000)에서는, 프로그램은, 리무버블 미디어(1011)를 드라이브(1010)에 장착함으로써, 입출력 인터페이스(1005)를 통해, 기록부(1008)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해, 통신부(1009)에서 수신하여, 기록부(1008)에 인스톨할 수 있다. 기타, 프로그램은, ROM(1002)이나 기록부(1008)에, 미리 인스톨해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해진 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 중에 있는지 여부는 상관없다. 따라서, 별개의 하우징에 수납되어, 네트워크를 통해 접속되어 있는 복수의 장치 및 하나의 하우징 중에 복수의 모듈이 수납되어 있는 하나의 장치는 모두, 시스템이다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 본 기술은, 하나의 기능을 네트워크를 통해 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
<구성의 조합예>
본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1)
이미지 센서에 의해 얻어지는 촬영 화상 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여, 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추는 기하 변환부와,
좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행하는 물체 인식부
를 구비하는 정보 처리 장치.
(2)
상기 기하 변환부는, 상기 센서 화상을 상기 촬영 화상과 동일한 좌표계의 기하 변환 센서 화상으로 변환하고,
상기 물체 인식부는, 상기 촬영 화상 및 상기 기하 변환 센서 화상에 기초하여, 상기 대상물의 인식 처리를 행하는
상기 (1)에 기재된 정보 처리 장치.
(3)
상기 물체 인식부는, 기계 학습에 의해 얻어지는 물체 인식 모델을 사용하여, 상기 대상물의 인식 처리를 행하는
상기 (2)에 기재된 정보 처리 장치.
(4)
상기 물체 인식 모델은, 상기 촬영 화상 및 상기 기하 변환 센서 화상을 포함하는 입력 데이터, 그리고 상기 촬영 화상에 있어서의 물체의 위치를 나타내는 정답 데이터를 포함하는 교사 데이터를 사용하여 학습되는
상기 (3)에 기재된 정보 처리 장치.
(5)
상기 물체 인식 모델은, 딥 뉴럴 네트워크를 사용한 모델인
상기 (4)에 기재된 정보 처리 장치.
(6)
상기 물체 인식 모델은,
상기 촬영 화상 및 상기 기하 변환 센서 화상의 특징량을 추출하는 제1 컨벌루션 뉴럴 네트워크와,
상기 촬영 화상 및 상기 기하 변환 센서 화상의 특징량에 기초하여 상기 대상물을 인식하는 제2 컨벌루션 뉴럴 네트워크
를 구비하는 상기 (5)에 기재된 정보 처리 장치.
(7)
상기 센서는, 밀리미터파 레이더를 포함하고,
상기 센서 화상은, 상기 밀리미터파 레이더로부터의 송신 신호를 반사한 물체의 위치를 나타내는
상기 (2) 내지 (6) 중 어느 것에 기재된 정보 처리 장치.
(8)
상기 센서 화상의 좌표계는, 상기 송신 신호가 평면 형상으로 퍼지는 방향을 나타내는 축 및 상기 밀리미터파 레이더의 광축 방향을 나타내는 축에 의해 표현되는
상기 (7)에 기재된 정보 처리 장치.
(9)
상기 기하 변환부는, 상기 물체의 위치 및 상기 물체에 의해 반사된 신호의 강도를 나타내는 제1 센서 화상, 그리고 상기 물체의 위치 및 속도를 나타내는 제2 센서 화상을, 제1 기하 변환 센서 화상 및 제2 기하 변환 센서 화상으로 각각 변환하고,
상기 물체 인식부는, 상기 촬영 화상, 상기 제1 기하 변환 센서 화상 및 상기 제2 기하 변환 센서 화상에 기초하여, 상기 대상물의 인식 처리를 행하는
상기 (7) 또는 (8)에 기재된 정보 처리 장치.
(10)
상기 촬영 화상의 해상도를 낮춘 저해상도 화상 및 상기 촬영 화상의 일부를 잘라낸 크롭 화상을 생성하는 화상 처리부를
더 구비하고,
상기 물체 인식부는, 상기 저해상도 화상, 상기 크롭 화상 및 상기 기하 변환 센서 화상에 기초하여, 상기 대상물의 인식 처리를 행하는
상기 (2) 내지 (9) 중 어느 것에 기재된 정보 처리 장치.
(11)
상기 물체 인식부는,
상기 저해상도 화상 및 상기 기하 변환 센서 화상에 기초하여, 상기 대상물의 인식 처리를 행하는 제1 물체 인식부와,
상기 크롭 화상 및 상기 기하 변환 센서 화상에 기초하여, 상기 대상물의 인식 처리를 행하는 제2 물체 인식부
를 구비하고,
상기 제1 물체 인식부에 의한 상기 대상물의 인식 결과와 상기 제2 물체 인식부에 의한 상기 대상물의 인식 결과를 합성하는 합성부를
더 구비하는 상기 (10)에 기재된 정보 처리 장치.
(12)
상기 이미지 센서 및 상기 센서는, 차량의 주위의 센싱을 행하고,
상기 화상 처리부는, 상기 촬영 화상 내의 도로의 소실점에 기초하여 상기 크롭 화상을 잘라내는
상기 (10) 또는 (11)에 기재된 정보 처리 장치.
(13)
상기 기하 변환부는, 상기 촬영 화상을 상기 센서 화상과 동일한 좌표계의 기하 변환 촬영 화상으로 변환하고,
상기 물체 인식부는, 상기 기하 변환 촬영 화상 및 상기 센서 화상에 기초하여, 상기 대상물의 인식 처리를 행하는
상기 (1)에 기재된 정보 처리 장치.
(14)
상기 센서는, 밀리미터파 레이더 및 LiDAR(Light Detection and Ranging) 중 적어도 하나를 포함하고,
상기 센서 화상은, 상기 밀리미터파 레이더로부터의 송신 신호를 반사한 물체의 위치를 나타내는 화상 및 상기 LiDAR에 의해 얻어지는 점군 데이터 중 적어도 하나를 포함하는
상기 (1) 내지 (13) 중 어느 것에 기재된 정보 처리 장치.
(15)
상기 이미지 센서 및 상기 센서는, 이동체의 주위의 센싱을 행하고,
상기 물체 인식부는, 상기 이동체의 주위의 상기 대상물의 인식 처리를 행하는
상기 (1) 내지 (14) 중 어느 것에 기재된 정보 처리 장치.
(16)
정보 처리 장치가,
이미지 센서에 의해 얻어지는 촬영 화상, 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여, 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추고,
좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행하는
정보 처리 방법.
(17)
이미지 센서에 의해 얻어지는 촬영 화상 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여, 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추고,
좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행하는
처리를 컴퓨터에 실행시키기 위한 프로그램.
(18)
이동체의 주위를 촬영하는 이미지 센서에 의해 얻어지는 촬영 화상 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여, 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추는 기하 변환부와,
좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행하는 물체 인식부와,
상기 대상물의 인식 결과에 기초하여, 상기 이동체의 동작을 제어하는 동작 제어부
를 구비하는 이동체 제어 장치.
(19)
이미지 센서와,
상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서와,
상기 이미지 센서에 의해 얻어지는 촬영 화상 및 상기 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여, 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추는 기하 변환부와,
좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행하는 물체 인식부와,
상기 대상물의 인식 결과에 기초하여, 동작의 제어를 행하는 동작 제어부
를 구비하는 이동체.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이지 한정되는 것은 아니며, 다른 효과가 있어도 된다.
10: 차량
100: 차량 제어 시스템
102, 102A 내지 102D: 데이터 취득부
107: 구동계 제어부
108: 구동계 시스템
135: 동작 제어부
141, 141A 내지 141G: 차외 정보 검출부
201: 카메라
201A: 이미지 센서
202: 밀리미터파 레이더
211: 정보 처리부
221: 화상 처리부
222: 신호 처리부
223: 기하 변환부
224: 물체 인식부
251: 물체 인식 모델
261: 특징량 추출부
262: 인식부
301: 학습 시스템
316: 교사 데이터 생성부
317: 학습부
401: 정보 처리부
421: 화상 처리부
422: 물체 인식부
423: 합성부
431a, 431b: 물체 인식부
501: LiDAR
511: 정보 처리부
521: 신호 처리부
522: 기하 변환부
523: 물체 인식부
611: 정보 처리부
621: 기하 변환부
622: 물체 인식부
711: 정보 처리부
721, 722: 기하 변환부
723: 물체 인식부
811: 밀리미터파 레이더
821: 신호 처리부
831: 정보 처리부
911: 밀리미터파 레이더
921: 기하 변환부
100: 차량 제어 시스템
102, 102A 내지 102D: 데이터 취득부
107: 구동계 제어부
108: 구동계 시스템
135: 동작 제어부
141, 141A 내지 141G: 차외 정보 검출부
201: 카메라
201A: 이미지 센서
202: 밀리미터파 레이더
211: 정보 처리부
221: 화상 처리부
222: 신호 처리부
223: 기하 변환부
224: 물체 인식부
251: 물체 인식 모델
261: 특징량 추출부
262: 인식부
301: 학습 시스템
316: 교사 데이터 생성부
317: 학습부
401: 정보 처리부
421: 화상 처리부
422: 물체 인식부
423: 합성부
431a, 431b: 물체 인식부
501: LiDAR
511: 정보 처리부
521: 신호 처리부
522: 기하 변환부
523: 물체 인식부
611: 정보 처리부
621: 기하 변환부
622: 물체 인식부
711: 정보 처리부
721, 722: 기하 변환부
723: 물체 인식부
811: 밀리미터파 레이더
821: 신호 처리부
831: 정보 처리부
911: 밀리미터파 레이더
921: 기하 변환부
Claims (19)
- 이미지 센서에 의해 얻어지는 촬영 화상 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여, 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추는 기하 변환부와,
좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행하는 물체 인식부를 구비하는, 정보 처리 장치. - 제1항에 있어서, 상기 기하 변환부는, 상기 센서 화상을 상기 촬영 화상과 동일한 좌표계의 기하 변환 센서 화상으로 변환하고,
상기 물체 인식부는, 상기 촬영 화상 및 상기 기하 변환 센서 화상에 기초하여, 상기 대상물의 인식 처리를 행하는, 정보 처리 장치. - 제2항에 있어서, 상기 물체 인식부는, 기계 학습에 의해 얻어지는 물체 인식 모델을 사용하여, 상기 대상물의 인식 처리를 행하는, 정보 처리 장치.
- 제3항에 있어서, 상기 물체 인식 모델은, 상기 촬영 화상 및 상기 기하 변환 센서 화상을 포함하는 입력 데이터, 그리고 상기 촬영 화상에 있어서의 물체의 위치를 나타내는 정답 데이터를 포함하는 교사 데이터를 사용하여 학습되는, 정보 처리 장치.
- 제4항에 있어서, 상기 물체 인식 모델은, 딥 뉴럴 네트워크를 사용한 모델인, 정보 처리 장치.
- 제5항에 있어서, 상기 물체 인식 모델은,
상기 촬영 화상 및 상기 기하 변환 센서 화상의 특징량을 추출하는 제1 컨벌루션 뉴럴 네트워크와,
상기 촬영 화상 및 상기 기하 변환 센서 화상의 특징량에 기초하여 상기 대상물을 인식하는 제2 컨벌루션 뉴럴 네트워크를 구비하는, 정보 처리 장치. - 제2항에 있어서, 상기 센서는, 밀리미터파 레이더를 포함하고,
상기 센서 화상은, 상기 밀리미터파 레이더로부터의 송신 신호를 반사한 물체의 위치를 나타내는, 정보 처리 장치. - 제7항에 있어서, 상기 센서 화상의 좌표계는, 상기 송신 신호가 평면 형상으로 퍼지는 방향을 나타내는 축 및 상기 밀리미터파 레이더의 광축 방향을 나타내는 축에 의해 표현되는, 정보 처리 장치.
- 제7항에 있어서, 상기 기하 변환부는, 상기 물체의 위치 및 상기 물체에 의해 반사된 신호의 강도를 나타내는 제1 센서 화상, 그리고 상기 물체의 위치 및 속도를 나타내는 제2 센서 화상을, 제1 기하 변환 센서 화상 및 제2 기하 변환 센서 화상으로 각각 변환하고,
상기 물체 인식부는, 상기 촬영 화상, 상기 제1 기하 변환 센서 화상 및 상기 제2 기하 변환 센서 화상에 기초하여, 상기 대상물의 인식 처리를 행하는, 정보 처리 장치. - 제2항에 있어서, 상기 촬영 화상의 해상도를 낮춘 저해상도 화상 및 상기 촬영 화상의 일부를 잘라낸 크롭 화상을 생성하는 화상 처리부를 더 구비하고,
상기 물체 인식부는, 상기 저해상도 화상, 상기 크롭 화상 및 상기 기하 변환 센서 화상에 기초하여, 상기 대상물의 인식 처리를 행하는, 정보 처리 장치. - 제10항에 있어서, 상기 물체 인식부는,
상기 저해상도 화상 및 상기 기하 변환 센서 화상에 기초하여, 상기 대상물의 인식 처리를 행하는 제1 물체 인식부와,
상기 크롭 화상 및 상기 기하 변환 센서 화상에 기초하여, 상기 대상물의 인식 처리를 행하는 제2 물체 인식부를 구비하고,
상기 제1 물체 인식부에 의한 상기 대상물의 인식 결과와 상기 제2 물체 인식부에 의한 상기 대상물의 인식 결과를 합성하는 합성부를 더 구비하는, 정보 처리 장치. - 제10항에 있어서, 상기 이미지 센서 및 상기 센서는, 차량의 주위의 센싱을 행하고,
상기 화상 처리부는, 상기 촬영 화상 내의 도로의 소실점에 기초하여 상기 크롭 화상을 잘라내는, 정보 처리 장치. - 제1항에 있어서, 상기 기하 변환부는, 상기 촬영 화상을 상기 센서 화상과 동일한 좌표계의 기하 변환 촬영 화상으로 변환하고,
상기 물체 인식부는, 상기 기하 변환 촬영 화상 및 상기 센서 화상에 기초하여, 상기 대상물의 인식 처리를 행하는, 정보 처리 장치. - 제1항에 있어서, 상기 센서는, 밀리미터파 레이더 및 LiDAR(Light Detection and Ranging) 중 적어도 하나를 포함하고,
상기 센서 화상은, 상기 밀리미터파 레이더로부터의 송신 신호를 반사한 물체의 위치를 나타내는 화상 및 상기 LiDAR에 의해 얻어지는 점군 데이터 중 적어도 하나를 포함하는, 정보 처리 장치. - 제1항에 있어서, 상기 이미지 센서 및 상기 센서는, 이동체의 주위의 센싱을 행하고,
상기 물체 인식부는, 상기 이동체의 주위의 상기 대상물의 인식 처리를 행하는, 정보 처리 장치. - 정보 처리 장치가,
이미지 센서에 의해 얻어지는 촬영 화상, 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여, 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추고,
좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행하는, 정보 처리 방법. - 이미지 센서에 의해 얻어지는 촬영 화상 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여, 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추고,
좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행하는 처리를 컴퓨터에 실행시키기 위한, 프로그램. - 이동체의 주위를 촬영하는 이미지 센서에 의해 얻어지는 촬영 화상 및 상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여, 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추는 기하 변환부와,
좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행하는 물체 인식부와,
상기 대상물의 인식 결과에 기초하여, 상기 이동체의 동작을 제어하는 동작 제어부를 구비하는, 이동체 제어 장치. - 이미지 센서와,
상기 이미지 센서와 센싱 범위의 적어도 일부가 겹치는 센서와,
상기 이미지 센서에 의해 얻어지는 촬영 화상 및 상기 센서의 센싱 결과를 나타내는 센서 화상 중 적어도 하나를 변환하여, 상기 촬영 화상과 상기 센서 화상의 좌표계를 맞추는 기하 변환부와,
좌표계를 맞춘 상기 촬영 화상 및 상기 센서 화상에 기초하여, 대상물의 인식 처리를 행하는 물체 인식부와,
상기 대상물의 인식 결과에 기초하여, 동작의 제어를 행하는 동작 제어부를 구비하는, 이동체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018230061 | 2018-12-07 | ||
| JPJP-P-2018-230061 | 2018-12-07 | ||
| PCT/JP2019/045743 WO2020116195A1 (ja) | 2018-12-07 | 2019-11-22 | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210098972A true KR20210098972A (ko) | 2021-08-11 |
Family
ID=70975030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217015535A KR20210098972A (ko) | 2018-12-07 | 2019-11-22 | 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치 및 이동체 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220036043A1 (ko) |
| EP (1) | EP3893194A4 (ko) |
| JP (2) | JP7320001B2 (ko) |
| KR (1) | KR20210098972A (ko) |
| CN (1) | CN113168691A (ko) |
| WO (1) | WO2020116195A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI766560B (zh) * | 2021-01-27 | 2022-06-01 | 國立臺灣大學 | 結合語義分割與光達點雲之物件辨識與測距系統 |
| US11733369B2 (en) * | 2021-02-11 | 2023-08-22 | Waymo Llc | Methods and systems for three dimensional object detection and localization |
| CN112926476A (zh) * | 2021-03-08 | 2021-06-08 | 京东鲲鹏(江苏)科技有限公司 | 车辆识别方法、装置及存储介质 |
| CN116997821A (zh) * | 2021-03-17 | 2023-11-03 | 索尼半导体解决方案公司 | 感测系统 |
| WO2023085017A1 (ja) * | 2021-11-09 | 2023-05-19 | ソニーセミコンダクタソリューションズ株式会社 | 学習方法、学習プログラム、情報処理装置、情報処理方法、および情報処理プログラム |
| WO2024024471A1 (ja) * | 2022-07-28 | 2024-02-01 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、及び、情報処理システム |
| DE102022211766A1 (de) | 2022-11-08 | 2024-05-08 | Continental Autonomous Mobility Germany GmbH | Verfahren zur Erzeugung einer Umfeldinformation, Steuereinrichtung, Fahrzeug und Computerprogramm |
| US11907841B1 (en) | 2023-05-01 | 2024-02-20 | Ian Truitner | Machine learning based consumer product identification system and method therefor |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005175603A (ja) | 2003-12-08 | 2005-06-30 | Suzuki Motor Corp | レーダを用いた障害物の表示方法及び表示システム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5632762B2 (ja) * | 2011-01-25 | 2014-11-26 | パナソニック株式会社 | 測位情報形成装置、検出装置、及び測位情報形成方法 |
| US20140205139A1 (en) * | 2013-01-18 | 2014-07-24 | Caterpillar Inc. | Object recognition system implementing image data transformation |
| JP6682833B2 (ja) | 2015-12-04 | 2020-04-15 | トヨタ自動車株式会社 | 物体認識アルゴリズムの機械学習のためのデータベース構築システム |
| JP6544257B2 (ja) * | 2016-02-09 | 2019-07-17 | 株式会社リコー | 情報処理システム、情報処理方法及び情報処理プログラム |
| WO2018101247A1 (ja) | 2016-11-29 | 2018-06-07 | マクセル株式会社 | 画像認識撮像装置 |
| JP6795788B2 (ja) * | 2017-01-24 | 2020-12-02 | 株式会社安川電機 | 産業機器用の画像認識装置及び画像認識方法 |
| JP6782433B2 (ja) * | 2017-03-22 | 2020-11-11 | パナソニックＩｐマネジメント株式会社 | 画像認識装置 |
| KR101920281B1 (ko) * | 2017-06-26 | 2018-11-21 | (주)넥스트칩 | 차량 내에서 입력 영상 데이터로부터 객체를 검출하는 장치 및 방법 |
| EP3525000B1 (en) * | 2018-02-09 | 2021-07-21 | Bayerische Motoren Werke Aktiengesellschaft | Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene |
-
2019
- 2019-11-22 US US17/297,381 patent/US20220036043A1/en active Pending
- 2019-11-22 CN CN201980079021.8A patent/CN113168691A/zh active Pending
- 2019-11-22 JP JP2020559917A patent/JP7320001B2/ja active Active
- 2019-11-22 KR KR1020217015535A patent/KR20210098972A/ko active Search and Examination
- 2019-11-22 WO PCT/JP2019/045743 patent/WO2020116195A1/ja unknown
- 2019-11-22 EP EP19891813.8A patent/EP3893194A4/en active Pending
-
2023
- 2023-07-21 JP JP2023118853A patent/JP2023126642A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005175603A (ja) | 2003-12-08 | 2005-06-30 | Suzuki Motor Corp | レーダを用いた障害物の表示方法及び表示システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220036043A1 (en) | 2022-02-03 |
| CN113168691A (zh) | 2021-07-23 |
| EP3893194A1 (en) | 2021-10-13 |
| JP2023126642A (ja) | 2023-09-07 |
| JPWO2020116195A1 (ja) | 2021-10-21 |
| WO2020116195A1 (ja) | 2020-06-11 |
| JP7320001B2 (ja) | 2023-08-02 |
| EP3893194A4 (en) | 2022-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7320001B2 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 | |
| US11543532B2 (en) | Signal processing apparatus, signal processing method, program, and mobile object for map generation baded on LiDAR and image processing | |
| JP7188397B2 (ja) | 画像処理装置及び画像処理方法 | |
| US11450026B2 (en) | Information processing apparatus, information processing method, and mobile object | |
| US11363235B2 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
| KR20210022570A (ko) | 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 컴퓨터 프로그램, 정보 처리 시스템, 그리고 이동체 장치 | |
| KR20210098445A (ko) | 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치, 및 이동체 | |
| US11812197B2 (en) | Information processing device, information processing method, and moving body | |
| US11363212B2 (en) | Exposure control device, exposure control method, program, imaging device, and mobile body | |
| US20200230820A1 (en) | Information processing apparatus, self-localization method, program, and mobile body | |
| JPWO2019142660A1 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| US20230245423A1 (en) | Information processing apparatus, information processing method, and program | |
| JP7497298B2 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 | |
| JP7483627B2 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 | |
| JP7487178B2 (ja) | 情報処理方法、プログラム、及び、情報処理装置 | |
| US20240127042A1 (en) | Information processing device, information processing system, information processing method, and recording medium | |
| US20220290996A1 (en) | Information processing device, information processing method, information processing system, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |