KR20220144917A - 차량의 주행을 보조하는 장치 및 그 방법 - Google Patents

차량의 주행을 보조하는 장치 및 그 방법 Download PDF

Info

Publication number
KR20220144917A
KR20220144917A KR1020210051193A KR20210051193A KR20220144917A KR 20220144917 A KR20220144917 A KR 20220144917A KR 1020210051193 A KR1020210051193 A KR 1020210051193A KR 20210051193 A KR20210051193 A KR 20210051193A KR 20220144917 A KR20220144917 A KR 20220144917A
Authority
KR
South Korea
Prior art keywords
image data
feature map
data
lidar
vehicle
Prior art date
Application number
KR1020210051193A
Other languages
English (en)
Other versions
KR102665635B1 (ko
Inventor
김대종
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Priority to KR1020210051193A priority Critical patent/KR102665635B1/ko
Priority to US17/718,679 priority patent/US20220334258A1/en
Priority to CN202210415945.4A priority patent/CN115311190A/zh
Publication of KR20220144917A publication Critical patent/KR20220144917A/ko
Application granted granted Critical
Publication of KR102665635B1 publication Critical patent/KR102665635B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량의 주행을 보조하는 장치는, 차량에 설치되어, 상기 차량의 전방 시야를 가지며, 영상 데이터를 획득하는 카메라; 상기 차량에 설치되어, 상기 차량의 전방향 시야를 가지며, 라이다 데이터를 획득하는 라이다; 및 상기 영상 데이터 및 상기 라이다 데이터 중 적어도 하나를 처리하는 제어부를 포함할 수 있다. 상기 제어부는, 상기 영상 데이터 및 상기 라이다 데이터를 보정하기 위한 캘리브레이션 매트릭스를 포함하고, 기계 학습을 이용하여 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵을 획득하고, 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵 사이의 차이에 기초하여 상기 캘리브레이션 매트릭스를 보정하고, 상기 보정된 캘리브레이션 매트릭스를 이용하여 상기 영상 데이터 및 상기 라이다 데이터를 보정할 수 있다.

Description

차량의 주행을 보조하는 장치 및 그 방법 {APPARATUS FOR ASSISTING DRIVING VEHICLE AND METHOD THEREOF}
개시된 발명은 차량의 주행을 보조하는 장치 및 그 방법에 관한 것으로써, 더욱 상세하게는 카메라 및 라이다를 포함하는 차량의 주행을 보조하는 장치 및 그 방법에 관한 것이다.
현대 사회에서 차량은 가장 보편적인 이동 수단으로서 차량을 이용하는 사람들의 수는 증가하고 있다. 차량 기술의 발전으로 인해 장거리의 이동이 용이하고, 생활이 편해지는 등의 장점도 있지만, 우리나라와 같이 인구밀도가 높은 곳에서는 도로 교통 사정이 악화되어 교통 정체가 심각해지는 문제가 자주 발생한다.
최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및/또는 주변 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 보조 시스템(Advanced Driver Assist System; ADAS)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.
차량에 탑재되는 첨단 운전자 보조 시스템의 일 예로, 차선 이탈 경고(Lane Departure Warning, LDW), 차선 유지 보조(Lane Keeping Assist, LKA), 상향등 보조(High Beam Assist, HBA), 자동 긴급 제동(Autonomous Emergency Braking, AEB), 교통 표지판 인식(Traffic Sign Recognition, TSR), 크루즈 컨트롤(Adaptive Cruise Control, ACC), 또는 사각지대 감지(Blind Spot Detection, BSD) 등이 있다.
운전자 보조 시스템은 주변 환경의 정보를 수집하고, 수집된 정보를 처리할 수 있다. 또한, 운전자 보조 시스템은, 수집된 정보를 처리한 결과에 기초하여, 사물을 인식하고 차량이 주행할 경로를 설계할 수 있다.
운전자 보조 시스템은 카메라, 레이더, 라이더 또는 초음파 센서 등 다양한 센서 모듈을 이용하여 주변 환경의 정보를 수집하며, 카메라, 레이더, 라이다 또는 초음파 센서 각각에 의하여 수집된 데이터를 융합할 수 있다.
이때, 운전자 보조 시스템은, 카메라, 레이더, 라이다 또는 초음파 센서 등에 의하여 수집된 데이터의 동기화를 위하여, 카메라, 레이더, 라이다 또는 초음파 센서 각각의 켈리브레이션(calibration)이 요구된다.
개시된 발명의 일 측면은 카메라의 영상 데이터와 라이다의 라이다 데이터 사이의 동기화를 위하여 카메라와 라이다의 켈리브레이션을 수행하는 차량의 주행을 보조하는 장치 및 그 방법을 제공하고자 한다.
개시된 발명의 일 측면은, 기계 학습을 이용하여 카메라 및 라이다의 켈리브레이션을 수행하는 차량의 주행을 보조하는 장치 및 그 방법을 제공하고자 한다.
개시된 발명의 일 측면에 따른 차량의 주행을 보조하는 장치는, 차량에 설치되어, 상기 차량의 전방 시야를 가지며, 영상 데이터를 획득하는 카메라; 상기 차량에 설치되어, 상기 차량의 전방향 시야를 가지며, 라이다 데이터를 획득하는 라이다; 및 상기 영상 데이터 및 상기 라이다 데이터 중 적어도 하나를 처리하는 제어부를 포함할 수 있다. 상기 제어부는, 상기 영상 데이터 및 상기 라이다 데이터를 보정하기 위한 캘리브레이션 매트릭스를 포함하고, 기계 학습을 이용하여 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵을 획득하고, 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵 사이의 차이에 기초하여 상기 캘리브레이션 매트릭스를 보정하고, 상기 보정된 캘리브레이션 매트릭스를 이용하여 상기 영상 데이터 및 상기 라이다 데이터를 보정할 수 있다.
상기 제어부는, 상기 라이다 데이터를 2차원 라이다 데이터로 변환하고, 상기 2차원 라이다 데이터를 영상 데이터의 픽셀 좌표에 대응되도록 변환할 수 있다.
상기 제어부는, 상기 영상 데이터 및 상기 2차원 라이다 데이터의 크기를 동기화할 수 있다.
상기 제어부는, 합성곱 신경망 알고리즘을 이용하여 상기 동기화된 영상 데이터의 특징 맵을 획득하고, 상기 합성곱 신경망 알고리즘을 이용하여 상기 동기화된 2차원 라이다 데이터의 특징 맵을 획득할 수 있다.
상기 제어부는, 상기 동기화된 영상 데이터와 필터 사이의 합성 곱에 기초하여 상기 동기화된 영상 데이터의 특징 맵을 획득하고, 상기 동기화된 2차원 라이다 데이터와 필터 사이의 합성 곱에 기초하여 상기 동기화된 2차원 라이다 데이터의 특징 맵을 획득할 수 있다.
상기 제어부는, 상기 동기화된 영상 데이터의 특징 맵과 상기 동기화된 2차원 라이다 데이터의 특징 맵이 통합된, 특징 매트릭스를 획득할 수 있다.
상기 제어부는, 상기 동기화된 영상 데이터의 특징 맵과 상기 동기화된 2차원 라이다 데이터의 특징 맵 사이의 차이에 기초하여, 상기 특징 매트릭스를 획득할 수 있다.
상기 제어부는, 합성곱 신경망 알고리즘을 이용하여 상기 특징 매트릭스로부터 상기 캘리브레이션 매트릭스를 보정하기 위한 보정 파라미터를 획득할 수 있다.
상기 제어부는, 상기 보정 파라미터에 의하여 보정된 캘리브레이션 매트릭스를 이용하여 상기 영상 데이터 및 상기 라이다 데이터를 보정할 수 있다.
개시된 발명의 일 측면에 따른 차량의 주행을 보조하는 방법은, 차량에 설치되어 상기 차량의 전방 시야를 가지는 카메라에 의하여, 영상 데이터를 획득하고; 상기 차량에 설치되어 상기 차량의 전방향 시야를 가지는 라이다에 의하여 라이다 데이터를 획득하고; 기계 학습을 이용하여 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵을 획득하고; 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵 사이의 차이에 기초하여, 상기 영상 데이터 및 상기 라이다 데이터를 보정하기 위한 캘리브레이션 매트릭스를 보정하고; 상기 보정된 캘리브레이션 매트릭스를 이용하여 상기 영상 데이터 및 상기 라이다 데이터를 보정하는 것을 포함할 수 있다.
개시된 발명의 일 측면에 따르면, 카메라의 영상 데이터와 라이다의 라이다 데이터 사이의 동기화를 위하여 카메라와 라이다의 켈리브레이션을 수행하는 차량의 주행을 보조하는 장치 및 그 방법을 제공을 제공할 수 있다.
개시된 발명의 일 측면에 따르면, 기계 학습을 이용하여 카메라 및 라이다의 켈리브레이션을 수행하는 차량의 주행을 보조하는 장치 및 그 방법을 제공할 수 있다.
그에 의하여, 차량의 주행을 보조하는 장치 및 그 방법은, 차량의 주행 중에 발생하는 진동에 의한 카메라의 영상 데이터와 라이다의 라이다 데이터 사이의 오차를 기계 학습을 이용하여 보정할 수 있다.
도 1은 일 실시예에 의한 차량 및 운전자 보조 장치의 구성을 도시한다.
도 2은 일 실시예에 의한 운전자 보조 장치에 포함된 카메라 및 레이더의 시야를 도시한다.
도 3은 일 실시예에 의한 운전자 보조 장치에 포함된 제어부의 기능 모듈을 도시한다.
도 4는 일 실시예에 의한 운전자 보조 장치가 카메라와 라이다를 캘리브레이션하는 방법의 일 예를 도시한다.
도 5는 일 실시예에 의한 운전자 보조 장치가 영상 데이터를 합성곱하는 일 예를 도시한다.
도 6은 일 실시예에 의한 운전자 보조 장치에 의한 영상 데이터의 합성곱을 설명하기 위한 도면이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 개시된 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 개시된 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 의한 차량의 구성을 도시한다. 도 2은 일 실시예에 의한 운전자 보조 장치에 포함된 카메라 및 레이더의 시야를 도시한다.
도 1에 도시된 바와 같이, 차량(1)은 구동 장치(20), 제동 장치(30), 조향 장치(40), 및/또는 운전자 보조 장치(100)를 포함할 수 있다. 이들은 차량용 통신 네트워크(NT)를 통하여 서로 통신할 수 있다. 예를 들어, 차량(1)에 포함된 전기 장치들(20, 30, 40, 100)은 이더넷(Ethernet), 모스트(MOST, Media Oriented Systems Transport), 플렉스레이(Flexray), 캔(CAN, Controller Area Network), 린(LIN, Local Interconnect Network) 등을 통하여 데이터를 주고 받을 수 있다.
구동 장치(20)는 차량(1)을 이동시키며, 예를 들어 엔진과, 엔진 관리 시스템(Engine Management System, EMS)과, 변속기와 변속기 제어 유닛(Transmission Control Unit, TCU)를 포함할 수 있다. 엔진은 차량(1)이 주행하기 위한 동력을 생성하며, 엔진 관리 시스템은 가속 페달을 통한 운전자의 가속 의지 또는 운전자 보조 장치(100)의 요청에 응답하여 엔진을 제어할 수 있다. 변속기는 엔진에 의하여 생성된 동력을 차륜까지 감속-전달하며, 변속기 제어 유닛은 변속 레버를 통한 운전자의 변속 명령 및/또는 운전자 보조 장치(100)의 요청에 응답하여 변속기를 제어할 수 있다.
제동 장치(30)는 차량(1)을 정지시키며, 예를 들어 브레이크 캘리퍼와 제동 제어 모듈(Brake Control Module, EBCM)을 포함할 수 있다. 브레이크 캘리퍼는 브레이크 디스크와의 마찰을 이용하여 차량(1)을 감속시키거나 차량(1)을 정지시킬 수 있으며, 전자 제동 제어 모듈은 브레이크 페달을 통한 운전자의 제동 의지 및/또는 운전자 보조 장치(100)의 요청에 응답하여 브레이크 캘리퍼를 제어할 수 있다. 예를 들어, 전자 제동 제어 모듈은 운전자 보조 장치(100)로부터 감속도를 포함하는 감속 요청을 수신하고, 요청된 감속도에 의존하여 차량(1)이 감속하도록 전기적으로 또는 유압을 통하여 브레이크 캘리퍼를 제어할 수 있다.
조향 장치(40)은 전동 조향 제어 모듈(Electronic Power Steering Control Module, EPS)를 포함할 수 있다. 조향 장치(40)는 차량(1)의 주행 방향을 변경시킬 수 있으며, 전자 조향 제어 모듈은 스티어링 휠을 통한 운전자의 조향 의지에 응답하여 운전자가 쉽게 스티어링 휠을 조작할 수 있도록 조향 장치(40)의 동작을 보조할 수 있다. 또한, 전자 조향 제어 모듈은 운전자 보조 장치(100)의 요청에 응답하여 조향 장치를 제어할 수 있다. 예를 들어, 전자 조향 제어 모듈은 운전자 보조 장치(100)으로부터 조향 토크를 포함하는 조향 요청을 수신하고, 요청된 조향 토크에 의존하여 차량(1)이 조향되도록 조향 장치를 제어할 수 있다.
운전자 보조 장치(100)는 차량용 통신 네트워크를 통하여 내비게이션 장치(10), 복수의 센서들(91, 92, 93), 구동 장치(20), 제동 장치(30), 조향 장치(40), 디스플레이 장치(50) 및 오디오 장치(60)와 통신할 수 있다. 운전자 보조 장치(100)는 내비게이션 장치(10)로부터 목적지까지의 경로에 관한 정보 및 차량(1)의 위치 정보를 수신할 수 있으며, 복수의 센서들(91, 92, 93)로부터 차량(1)의 차속, 가속도 및/또는 각속도에 관한 정보를 획득할 수 있다.
운전자 보조 장치(100)은 운전자에게 안전을 위한 다양한 기능을 제공할 수 있다. 예를 들어, 운전자 보조 장치(100)은 차선 이탈 경고(Lane Departure Warning, LDW)와, 차선 유지 보조(Lane Keeping Assist, LKA)와, 상향등 보조(High Beam Assist, HBA)와, 자동 긴급 제동(Autonomous Emergency Braking, AEB)과, 교통 표지판 인식(Traffic Sign Recognition, TSR)과, 크루즈 컨트롤(Adaptive Cruise Control, ACC)과, 사각지대 감지(Blind Spot Detection, BSD) 등을 제공할 수 있다.
운전자 보조 장치(100)은 운전자 보조 장치(100)은 카메라(110)와, 레이더(120)와, 라이다(130)와, 제어부(140)를 포함할 수 있다. 운전자 보조 장치(100)은 도 1에 도시된 바에 한정되지 아니한다. 예를 들어, 도 1에 도시된 운전자 보조 장치(100)에서, 카메라(110), 레이더(120) 및 라이다(130) 중에 적어도 하나의 감지 수단이 생략되거나 또는 차량(1)의 주변 객체를 감지할 수 있는 다양한 감지 수단이 추가될 수 있다.
카메라(110)와, 레이더(120)와, 라이다(130)와, 제어부(140)는 서로 분리되어 마련될 수 있다. 예를 들어, 제어부(140)는 카메라(110)의 하우징, 레이더(120)의 하우징 및 라이다 (130)의 하우징과 분리된 하우징에 설치될 수 있다. 제어부(140)는 광대역폭의 네트워크를 통하여 카메라(110), 레이더(120) 또는 라이다(130)와 데이터를 주고 받을 수 있다.
카메라(110)는 차량(1)의 주변을 촬영하고, 차량(1) 주변의 영상 데이터를 획득할 수 있다. 예를 들어, 카메라(110)는 도 2에 도시된 바와 같이 차량(1)의 프론트 윈드 쉴드에 설치될 수 있으며, 차량(1)의 전방을 향하는 시야(field of view) (110a)를 가질 수 있다.
카메라(110)는 복수의 렌즈들과 이미지 센서를 포함할 수 있다. 이미지 센서는 광을 전기 신호로 변환하는 복수의 포토 다이오드들을 포함할 수 있으며, 복수의 포토 다이오드들이 2차원 매트릭스로 배치될 수 있다.
영상 데이터는 차량(1) 주변에 위치하는 다른 차량 또는 보행자 또는 사이클리스트 또는 차선(차로를 구별하는 마커)에 관한 정보를 포함할 수 있다.
카메라(110)는 영상 데이터를 처리하는 그래픽 프로세서를 포함할 수 있으며, 영상 데이터의 처리에 기초하여 차량(1)의 주변 객체를 검출할 수 있다. 카메라(110)는 예를 들어 영상 처리를 이용하여 객체를 대표하는 트랙(track)을 생성할 수 있으며, 트랙을 분류할 수 있다(classify). 예를 들어, 카메라(110)는 트랙이 다른 차량인지, 또는 보행자인지, 또는 사이클리스트인지 등인지를 식별할 수 있다.
카메라(110)는 제어부(140)와 전기적으로 연결될 수 있다. 예를 들어, 카메라(110)는 차량용 통신 네트워크(NT)를 통하여 제어부(140)와 연결되거나, 하드 와이어(hard wire)를 통하여 제어부(140)와 연결되거나, 인쇄 회로 기판(Printed Circuit Board, PCB)을 통하여 제어부(140)와 연결될 수 있다. 카메라(110)는 차량(1) 주변의 영상 데이터(또는 트랙의 위치 및 분류)를 제어부(140)로 전달할 수 있다.
레이더(120)는 차량(1)의 주변을 향하여 송신 전파를 발신하고 주변 객체로부터 반사된 반사 전파에 기초하여 차량(1)의 주변 객체를 검출할 수 있다. 예를 들어, 레이더(120)는 도 2에 도시된 바와 같이 차량(1)의 그릴(grille) 또는 범퍼(bumper)에 설치될 수 있으며, 차량(1)의 전방을 향하는 감지 시야(field of sensing) (120a)을 가질 수 있다.
레이더(120)는 차량(1)의 주변을 향하여 송신 전파를 방사하는 송신 안테나(또는 송신 안테나 어레이)와, 객체에 반사된 반사 전파를 수신하는 수신 안테나(또는 수신 안테나 어레이)를 포함할 수 있다.
레이더(120)는 송신 안테나에 의한 송신된 송신 전파와 수신 안테나에 의하여 수신된 반사 전파로부터 레이더 데이터를 획득할 수 있다. 레이더 데이터는 차량(1) 전방에 위치하는 객체들의 위치 정보(예를 들어, 거리 정보) 및/또는 속도 정도를 포함할 수 있다.
레이더(120)는 레이더 데이터를 처리하는 시그널 프로세서를 포함할 수 있으며, 반사 전파에 의한 반사 포인트를 클러스팅(clustering)함으로써 객체를 대표하는 트랙을 생성할 수 있다. 레이더(120)는 송신 전파의 송신 시각과 반사 전파의 수신 시각 사이의 시간 차이(다시 말해, 전파가 송신 후 수신까지 이동한 시간)에 기초하여 트랙의 거리를 획득할 수 있다. 또한, 레이더(120)는 송신 전파의 주파수와 반사 전파의 주파수 사이의 차이에 기초하여 트랙의 상대 속도를 획득할 수 있다.
레이더(120)는 예를 들어 차량용 통신 네트워크(NT) 또는 하드 와이어 또는 인쇄 회로 기판을 통하여 제어부(140)와 연결될 수 있으며, 레이더 데이터(또는 트랙의 거리 및 상대 속도)를 제어부(140)로 전달할 수 있다.
라이다(130)는 차량(1)의 주변을 향하여 광(예를 들어, 적외선)을 발신하고 주변 객체로부터 반사된 반사 광에 기초하여 차량(1)의 주변 객체를 검출할 수 있다. 예를 들어, 라이다(130)는 도 2에 도시된 바와 같이 차량(1)의 루프(roof)에 설치될 수 있으며, 차량(1)의 주변의 모든 방향을 향하는 시야(130a)를 가질 수 있다.
라이다(130)는 광(예를 들어, 적외선 등)을 발신하는 광원(예를 들어, 발광 다이오드, 발광 다이오드 어레이, 레이저 다이오드 또는 레이저 다이오드 어레이)과, 광(예를 들어, 적외선 등)을 수신하는 광 센서(예를 들어, 포토 다이오드 또는 포토 다이오드 어레이)를 포함할 수 있다. 또한, 필요에 따라, 라이다(130)는 광원 및/또는 광 센서를 회전시키는 구동 장치를 더 포함할 수 있다.
라이다(130)는, 광원 및/또는 광 센서가 회전하는 동안, 광원을 통하여 광을 방출하고 객체에서 반사된 광을 광 센서를 통하여 수신할 수 있으며, 그에 의하여 라이다 데이터를 획득할 수 있다.
라이다 데이터는 차량(1)의 주변 객체들의 상대 위치(주변 객체의 거리 및/또는 주변 객체의 방향) 및/또는 상대 속도를 포함할 수 있다. 라이다(130)는 라이다 데이터를 처리할 수 있는 시그널 프로세서를 포함할 수 있으며, 반사 광에 의한 반사 포인트를 클러스팅함으로써 객체를 대표하는 트랙을 생성할 수 있다. 라이다(130)는 광 발신 시각과 광 수신 시각 사이의 시간 차이(다시 말해, 광이 발신된 이후 수신되기까지 이동한 시간)에 기초하여 객체까지의 거리를 획득할 수 있다. 또한, 라이다(130)는, 광 센서가 반사 광을 수신할 때 광원이 광을 발신한 방향에 기초하여, 차량(1)의 주행 방향에 대한 객체의 방향(또는 각도)을 획득할 수 있다.
라이다(130)는 예를 들어 차량용 통신 네트워크(NT) 또는 하드 와이어 또는 인쇄 회로 기판을 통하여 제어부(140)와 연결될 수 있으며, 라이다 데이터(또는 트랙의 상대 위치 및 상대 속도)를 제어부(140)로 전달할 수 있다.
제어부(140)는 카메라(110), 레이더(120) 및/또는 라이다(130)와 전기적으로 연결될 수 있다. 또한, 제어부(140)는 차량용 통신 네트워크(NT)를 통하여 내비게이션 장치(10), 구동 장치(20), 제동 장치(30), 조향 장치(40), 디스플레이 장치(50), 오디오 장치(60) 및/또는 복수의 센서들(91, 92, 93)과 연결될 수 있다.
제어부(140)는 카메라(110)의 영상 데이터, 레이더(120)의 레이더 데이터 및/또는 라이다(130)의 라이다 데이터를 처리하고, 구동 장치(20), 제동 장치(30) 및/또는 조향 장치(40)에 제어 신호를 제공할 수 있다.
제어부(140)는 프로세서(141)와 메모리(142)를 포함할 수 있다..
프로세서(141)는 카메라(110)의 영상 데이터, 레이더(120)의 레이더 데이터 및/또는 라이다(130)의 라이다 데이터를 처리할 수 있다. 프로세서(141)는, 카메라(110)의 영상 데이터, 레이더(120)의 레이더 데이터 및/또는 라이다(130)의 라이다 데이터를 처리하는 것에 기초하여, 구동 장치(10), 제동 장치(20) 및/또는 조향 장치(30)을 각각 제어하기 위한 구동 신호, 제동 신호 및/또는 조향 신호를 생성할 수 있다.
예를 들어, 프로세서(141)는 카메라(110)의 영상 데이터를 처리하는 이미지 프로세서, 레이더(120)의 레이더 데이터 및/또는 라이다(130)의 라이다 데이터를 처리하는 시그널 프로세서, 또는 구동/제동/조향 신호를 생성하는 마이크로 컨트롤 유닛(Micro Control Unit, MCU)를 포함할 수 있다.
메모리(142)는 프로세서(141)가 영상 데이터, 레이더 데이터 및/또는 라이다 데이터를 처리하기 위한 프로그램 및/또는 데이터를 저장할 수 있다. 메모리(142)는 또한 프로세서(141)가 구동/제동/조향 신호를 생성하기 위한 프로그램 및/또는 데이터를 저장할 수 있다.
메모리(142)는 카메라(110)로부터 수신된 영상 데이터, 레이더(120)로부터 수신된 레이더 데이터 및/또는 라이다(130)로부터 수신된 라이다 데이터를 임시로 기억하고, 프로세서(141)의 영상 데이터, 레이더 데이터 및/또는 라이다 데이터의 처리 결과를 임시로 기억할 수 있다.
메모리(142)는 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리 뿐만 아니라 플래시 메모리, 롬(Read Only Memory, ROM), 이피롬(Erasable Programmable Read Only Memory: EPROM) 등의 비휘발성 메모리를 포함할 수 있다.
이상에서 설명된 바와 같이 제어부(140)는, 카메라(110)의 영상 데이터, 레이더(120)의 레이더 데이터 또는 라이다(130)의 라이다 데이터에 기초하여, 구동 신호, 제동 신호 또는 조향 신호를 제공할 수 있다.
운전자 보조 장치(100)의 구체적인 동작은 아래에서 더욱 자세하게 설명된다.
도 3은 일 실시예에 의한 운전자 보조 장치에 포함된 제어부의 기능 모듈을 도시한다.
제어부(140)는, 기능적으로, 차량(1) 및/또는 차량(1)의 주변 객체들의 정보를 수집하는 인식 모듈(perception module) (146)과, 차량(1)의 주변 객체들과 충돌을 회피하는 상세 경로를 생성하는 판단 모듈(decision module) (147)과, 차량(1)이 생성된 상세 경로를 따라 주행하도록 차량(1)을 제어하는 제어 모듈(control module) (148)을 포함할 수 있다. 인식 모듈(146)과 판단 모듈(147)과 제어 모듈(148)은 각각 프로세서(141)에 포함된 하드웨어 모듈(예를 들어, ASIC 또는 FPGA)이거나 또 메모리(142)에 저장된 소프트웨어 모듈(예를 들어, 어플리케이션 프로그램 또는 데이터)일 수 있다.
제어부(140)의 인식 모듈(146)은 카메라(110)의 영상 데이터와 레이더(120)의 레이더 데이터와 라이다(130)의 라이다 데이터를 융합하여 차량(1)의 주변 객체들을 검출하는 센서 퓨전(Sensor Fusion) (146a)을 포함할 수 있다.
예를 들어, 제어부(140)는 카메라(110)의 영상 데이터와 레이더(120)의 레이더 데이터와 라이다(130)의 라이다 데이터에 기초하여 차량(1)의 주변 객체들(예를 들어, 다른 차량, 보행자, 사이클리스트 등)을 감지할 수 있다.
제어부(140)는 카메라(110)의 영상 데이터에 기초하여 차량(1)의 주변 객체들의 상대 위치(주행 방향에 대한 각도) 및/또는 분류(예를 들어, 객체가 다른 차량인지, 또는 보행자인지, 또는 사이클리스트인지 등)를 획득할 수 있다. 제어부(140)는 레이더(120)의 레이더 데이터에 기초하여 차량(1)의 주변 객체들의 상대 위치(차량으로부터 거리) 및/또는 상대 속도를 획득할 수 있다. 제어부(140)는 라이다(130)의 라이다 데이터에 기초하여 차량(1)의 주변 객체들의 상대 위치(차량으로부터 거리 및/또는 주행 방향에 대한 각도) 및/또는 상대 속도를 획득할 수 있다. 또한, 제어부(140)는 레이더 데이터 및/또는 라이다 데이터에 의하여 감지된 객체들을 영상 데이터에 의하여 감지된 객체들에 매칭하고, 매칭 결과에 기초하여 차량(1)의 주변 객체들의 분류, 상대 위치 및/또는 상대 속도를 획득할 수 있다.
또한, 제어부(140)는 카메라(110)의 영상 데이터에 기초하여 차량(1)이 주행하는 도로의 차선에 관한 정보를 획득할 수 있다. 예를 들어, 제어부(140)는 차선의 횡방향 위치를 식별할 수 있다.
인식 모듈(146)은 카메라(110)의 영상 데이터, 라이다(130)의 라이다 데이터, 지도 데이터 및/또는 차량(1)의 위치 데이터에 기초하여 차량(1)의 위치를 식별하는 위치 측정(Localization) (146b)을 포함할 수 있다.
예를 들어, 제어부(140)는 차량(1)의 위치 데이터에 기초하여 지도 데이터로부터 차량(1) 주변의 랜드 마크를 식별할 수 있다. 제어부(140)는 영상 데이터 및/또는 라이다 데이터에 기초하여 차량(1)에 대한 랜드 마크의 상대 위치를 식별할 수 있다. 제어부(140)는, 지도 데이터에 기초한 랜드 마트의 절대 좌표와 영상 데이터 및/또는 라이다 데이터에 기초한 상대 좌표에 기초하여, 차량(1)의 위치 데이터를 보정할 수 있다. 다시 말해, 제어부(140)는 차량(1)의 절대 좌표를 식별할 수 있다.
인식 모듈(146)은 차량(1) 및/또는 차량(1) 주변의 객체들을 지도 데이터에 투영하는 맵 투영(Projection) (146c)을 포함할 수 있다.
예를 들어, 제어부(140)는 차량(1)의 보정된 위치 데이터에 기초하여 차량(1)을 지도 데이터에 투영하고 차량(1)의 주변 객체들 상대 위치 및/또는 상대 속도에 기초하여 차량(1)의 주변 객체들을 지도 데이터에 투영할 수 있다.
제어부(140)의 판단 모듈(147)은 주변 객체들의 상대 위치와 상대 속도에 기초하여 차량(1)의 주변 객체들과 충돌을 예측하고, 충돌 위험을 식별하는 충돌 예측(Collision Risk Decision) (147a)을 포함할 수 있다.
예를 들어, 제어부(140)는 주변 객체들의 상대 위치(거리 및/또는 방향)와 상대 속도에 기초하여 차량(1)과 주변 객체 사이의 충돌까지 시간(Time to Collision, TTC) (또는 충돌까지의 거리, TTD)를 산출할 수 있다. 또한, 제어부(140)는 충돌까지의 시간 또는 충돌까지의 거리에 기초하여 주변 객체와의 충돌 위험을 식별할 수 있다.
판단 모듈(147)은 충돌을 회피하기 위한 타겟 또는 추종하기 위한 타겟을 선정하는 타겟 선정(Target Selection) (147b)을 포함할 수 있다.
예를 들어, 제어부(140)는, 자동 긴급 제동에서, 충돌 위험(또는 충돌까지의 시간)에 기초하여 충돌 위험이 가장 높은(또는 충돌까지의 시간이 가장 짧은) 주변 객체를 타겟으로 선정할 수 있다. 또한, 제어부(140)는, 크루즈 컨트롤에서, 차량(1)이 주행하는 차로와 동일한 차로에서 주행하는 선행 차량을 타겟으로 선정할 수 있다.
판단 모듈(147)은 타겟과의 충돌을 회피하기 위한 상세 경로 또는 목적지까지 도달하기 위한 상세 경로를 생성하는 경로 생성(Path Generation) (147c)을 포함할 수 있다.
예를 들어, 제어부(140)는 타겟을 추종하기 위하여 차로를 유지하는 상세 경로 또는 타겟과의 충돌을 회피하기 위하여 차로를 변경하는 상세 경로를 생성할 수 있다.
제어부(140)의 제어 모듈(148)은 구동 장치(20)를 제어하기 위한 구동 제어(148a)와, 제동 장치(30)를 제어하기 위한 제동 제어(148b)와, 조향 장치(40)를 제어하기 위한 조향 제어(148c)를 포함할 수 있다.
제어부(140)는 타겟을 추종하기 위하여 또는 타겟과의 충돌을 회피하기 위하여 구동 신호, 제동 신호 또는 조향 신호를 생성할 수 있다. 예를 들어, 제어부(140)는 타겟과의 거리(또는 선행 차량의 위치에 도달하기까지 시간)가 운전자에 의하여 설정된 거리가 되도록 하기 위한 구동 신호 및/또는 제동 신호를, 구동 장치(20) 및/또는 제동 장치(30)에 전송할 수 있다. 또한, 제어부(140)는 타겟과의 충돌을 회피하기 위기 위한 제동 신호 및/또는 조향 신호를, 제동 장치(30) 및/또는 조향 장치(40)에 전송할 수 있다.
이상에서 설명된 바와 같이, 운전자 보조 장치(100)는 카메라(110)의 영상 데이터와 레이더(120)의 레이더 데이터와 라이다(130)의 라이다 데이터를 융합하며, 그에 의하여 차량(1)의 주변 객체를 검출 및 식별할 수 있다.
운전자 보조 장치(100)는, 카메라(110)의 영상 데이터와 레이더(120)의 레이더 데이터와 라이다(130)의 라이다 데이터를 융합하기 위하여, 카메라(110)의 영상 데이터와 레이더(120)의 레이더 데이터와 라이다(130)의 라이다 데이터를 동기화할 수 있다.
특히, 운전자 보조 장치(100)는, 카메라(110)의 영상 데이터와 라이다(130)의 라이다 데이터의 동기화를 위하여, 카메라와 라이다 각각을 캘리브레이션할 수 있다.
종래에는 사람이 체크보드(또는 마커)를 이용하여 캘리브레이션을 수행하였다.
종래의 체크보드를 이용한 캘리브레이션 방식은 체크보드의 크기가 너무 크고 캘리브레이션을 위한 공간도 요구되며, 사용자 혼자서는 캘리브레이션을 수행할 수 없을 뿐만 아니라, 수시로 원하는 시점에 자동으로 캘리브레이션을 수행할 수 없다. 즉, 종래의 카메라 및 라이다의 캘리브레이션 방식은 차량이 출고될 당시에 최초로 수행될 수 있으며, 만약 차량의 진동 충격 등으로 카메라 및 라이다가 틀어질 경우 A/S 센터나 공장에 입고되어 캘리브레이션을 수행해야 되기 때문에 그 전까지는 카메라 및 라이다의 정상적인 기능을 이용할 수 없었다.
이에, 운전자 보조 장치(100)는 기계 학습을 이용하여 차량(1)의 주행 중에 카메라와 라이다 각각을 캘리브레이션할 수 있다.
도 4는 일 실시예에 의한 운전자 보조 장치가 카메라와 라이다를 캘리브레이션하는 방법의 일 예를 도시한다. 도 5는 일 실시예에 의한 운전자 보조 장치가 영상 데이터를 합성곱하는 일 예를 도시한다. 도 6은 일 실시예에 의한 운전자 보조 장치가 영상 데이터의 합성곱을 설명하기 위한 도면이다.
도 4, 도 5 및 도 6과 함께, 운전자 보조 장치(100)가 카메라와 라이다를 캘리브레이션하는 방법(1000)이 설명된다.
운전자 보조 장치(100)는 카메라(110)의 영상 데이터와 라이다(130)의 라이다 데이터를 획득할 수 있다(1010).
카메라(110)는 차량(1)의 주변을 촬영하고, 영상 데이터를 획득할 수 있다. 라이다(130) 역시 차량(1)의 주변을 촬영하고, 라이다 데이터를 획득할 수 있다.
제어부(140)는 카메라(110) 및 라이다(130)로부터 각각 영상 데이터와 라이다 데이터를 획득할 수 있다.
운전자 보조 장치(100)는 캘리브레이션 파라미터를 이용하여 카메라(110)의 영상 데이터와 라이다(130)의 라이다 데이터를 보정할 수 있다(1020).
제어부(140)는 카메라(110)의 영상 데이터와 라이다(130)의 라이다 데이터 각각을 캘리브레이션하기 위한 캘리브레이션 매트릭스를 포함할 수 있다.
예를 들어, 캘리브레이션 파라미터는 체크보드(또는 마커)를 이용하여 캘리브레이션을 수행한 결과에 기초한 카메라(110)의 영상 데이터를 보정하기 위한 매트릭스와 라이다(130)의 라이다 데이터를 보정하기 위한 매트릭스를 포함할 수 있다. 캘리브레이션 매트릭스는 영상 데이터 또는 라이다 데이터를 평행 이동하기 위한 매트릭스 또는 회전 이동하기 위한 매트릭스를 포함할 수 있다.
이처럼, 캘리브레이션 매트릭스는 카메라(110) 및 라이다(130) 각각의 내부적인 영향에 의한 왜곡을 보정하기 위한 내부적인 매트릭스(intrinsic matrix)를 포함할 수 있다.
뿐만 아니라, 캘리브레이션 매트릭스는 카메라(110)의 영상 데이터와 라이다(130)의 라이다 데이터를 융합하기 위한 캘리브레이션 매트릭스를 포함할 수 있다. 예를 들어, 캘리브레이션 매트릭스는 카메라(110)의 설치 위치와 라이다(130)의 설치 위치 사이의 차이를 보정하기 위한 외부적인 매트릭스(extrinsic matrix)를 포함할 수 있다.
제어부(140)는, 영상 데이터와 라이다 데이터 각각에 내부적인 매트릭스와 외부적인 매트릭스를 적용함으로써, 영상 데이터와 라이다 데이터를 각각 보정할 수 있다.
운전자 보조 장치(100)는 라이다 데이터를 2차원 데이터로 변환하고 2차원 데이터의 좌표를 변환할 수 있다(1030).
라이다 데이터는 차량(1)의 주변 객체들의 상대 위치(주변 객체의 거리 및/또는 주변 객체의 방향)를 포함할 수 있다. 다시 말해, 라이다 데이터는 차량(1)의 주변 객체들의 거리를 포함하는 3차원 데이터를 포함할 수 있다.
제어부(140)는 3차원 데이터인 라이다 데이터를 2차원 라이다 데이터로 변환할 수 있다. 다시 말해, 제어부(140)는 3차원 라이다 데이터로부터 2차원 라이다 데이터를 렌더링할 수 있다. 예를 들어, 제어부(140)는 3차원 라이다 데이터를 특정한 평면 상에 투영시킴으로서 2차원 라이다 데이터를 획득할 수 있다.
제어부(140)는 또한 3차원 라이다 데이터로부터 변환된 2차원 라이다 데이터를 카메라(110)의 영상 데이터의 픽셀 좌표에 대응되도록 변환할 수 있다. 구체적으로, 제어부(140)는 2차원 라이다 데이터를 영상 데이터의 픽셀 좌표계로 변환하기 위한 변환 매트릭스를 포함할 수 있으며, 변환 매트릭스를 이용하여 2차원 라이다 데이터를 픽셀 좌표계로 변환할 수 있다. 변환 매트릭스는 2차원 라이다 데이터의 객체를 평행 이동시키는 매트릭스, 또는 2차원 라이다 데이터의 객체를 회전시키는 매트릭스 등을 포함할 수 있다.
운전자 보조 장치(100)는 영상 데이터 및 2차원 라이다 데이터의 크기를 동기화할 수 있다(1040).
도 2에 도시된 바와 같이, 라이다(130)는 카메라(110)와 상이한 위치에 설치된다. 따라서, 동일한 객체가 카메라(110) 및 라이다(130)에 의하여 각각 촬영되는 경우, 2차원 라이다 데이터에서의 객체의 크기는 영상 데이터에서의 객체의 크기와 상이할 수 있다. 제어부(140)는, 영상 데이터와 2차원 라이다 데이터의 크기의 동기화를 위하여, 영상 데이터 또는 2차원 라이다 데이터의 크기를 확대 또는 축소할 수 있다. 예를 들어, 제어부(140)는 2차원 라이다 데이터의 객체를 확대 또는 축소하는 매트릭스를 이용하여 2차원 라이다 데이터의 크기를 확대 또는 축소할 수 있다.
또한, 도 2에 도시된 바와 같이, 라이다(130)의 시야(130a)는 카메라(110)의 시야(110a) 보다 넓다. 제어부(140)는, 영상 데이터와 2차원 라이다 데이터의 동기화를 위하여, 2차원 라이다 데이터를 재단할 수 있다. 예를 들어, 제어부(140)는 카메라(110)의 시야(110a)에 대응되도록 2차원 라이다 데이터의 일부를 배제할 수 있다.
이상에서 설명된 일련의 동작에 의하여, 라이다(130)의 2차원 라이다 데이터는 카메라(110)의 영상 데이터에 대응될 수 있다.
운전자 보조 장치(100)는 영상 데이터 및 2차원 라이다 데이터 각각으로부터 특징 맵을 획득할 수 있다(1050).
제어부(140)는 기계 학습을 이용하여 영상 데이터 및 2차원 라이다 데이터 각각으로부터 특징 맵을 획득할 수 있다.
예를 들어, 제어부(140)는 합성곱 신경망(convolutional neural network, CNN)을 이용하여 영상 데이터 및 2차원 라이다 데이터 각각으로부터 특징 맵을 획득할 수 있다. 합성곱 신경망은 영상 데이터로부터 객체를 식별 또는 분류하는 알고리즘으로써 널리 이용되고 있다.
합성곱 신경망은 일반적으로 영상의 특징 맵을 추출하는 특징 추출 단계(feature extraction)과 추출된 특징 맵에 기초하여 객체를 분류(또는 식별)하는 분류 단계(classification)를 포함할 수 있다.
제어부(140)는 합성곱 신경망의 특징 추출 단계를 이용하여 영상 데이터의 특징 맵과 2차원 라이다 데이터의 특징 맵을 획득할 수 있다.
도 5에 도시된 바와 같이, 특징 추출 단계는 합성곱(convolution)과 풀링(pooling)이 반복될 수 있다.
합성곱은 영상 데이터(영상 매트릭스)에 필터(또는 필터 매트릭스)를 적용하는 과정이다. 도 6의 (a) 및 (b)에 도시된 바와 같이, 영상 데이터와 필터는 각각 매트릭스 형태일 수 있다. 제어부(140)는, 필터 매트릭스가 영상 매트릭스를 지정된 간격으로 순회하는 동안, 영상 매트릭스와 필터 매트릭스 사이의 합성곱을 수행할 수 있다. 예를 들어, 제어부(140)는, 필터 매트릭스의 값들과 영상 매트릭스의 대응한 값들 사이의 곱을 획득하고, 획득된 곱들의 합을 획득할 수 있다.
영상 데이터와 필터 사이의 합성 곱에 의하여 특징 맵이 획득될 수 있다. 제어부(140)는 영상 데이터에 의한 특징 맵과 2차원 라이다 데이터에 의한 특징 맵을 획득할 수 있다.
풀링은 프로세서의 연상 부하를 저감시키기 위하여 특징 맵의 크기를 감소시키는 과정이다. 또한, 풀링에 의하여 특징 맵의 특정 데이터가 강조될 수 있다.
풀링은 특정 영역 내에서 최대 값을 획득하는 맥스 풀링(max pooling), 특정 영역 내에서 평균 값을 획득하는 평균 풀링(average pooling), 또는 특정 영역 내에서 최소 값을 획득하는 미니 풀링(mini pooling) 중 어느 하나가 채택될 수 있다. 예를 들어, 제어부(140)는 특징 맵의 인접한 2*2 영역에서 최대 값을 획득하는 맥스 풀링을 수행할 수 있다.
제어부(140)는 영상 데이터에 대하여 합성곱과 풀링을 반복적으로 수행함으로써 영상 데이터의 특징 맵을 획득하고, 2차원 라이다 데이터에 대하여 합성곱과 풀링을 반복적으로 수행함으로써 2차원 라이다 데이터의 특징 맵을 획득할 수 있다.
운전자 보조 장치(100)는 영상 데이터의 특징 맵과 2차원 라이다 데이터의 특징 맵을 통합할 수 있다(1060).
제어부(140)는 예를 들어 영상 데이터의 특징 맵과 2차원 라이다 데이터의 특징 맵 사이의 행렬 차이에 기초하여 특징 맵을 획득할 수 있다. 구체적으로, 제어부(140)는 영상 데이터의 특징 맵과 2차원 라이다 데이터의 특징 맵 사이의 행렬 뺄셈(matrix subtraction)을 수행할 수 있으며, 그에 의하여 특징 매트릭스를 획득할 수 있다.
운전자 보조 장치(100)는 통합된 특징 맵에 기초하여 캘리브레이션 매트릭스를 보정할 수 있다(1070).
제어부(140)는 기계 학습을 이용하여 특징 매트릭스에 기초하여 캘리브레이션 매트릭스를 보정할 수 있다. 예를 들어, 제어부(140)는 합성곱 신경망을 이용하여 특징 매트릭스로부터 캘리브레이션 매트릭스를 보정하기 위한 파라미터를 획득할 수 있다.
제어부(140)는 합성곱 신경망의 특징 추출 단계를 이용하여 특징 매트릭스의 특징 맵을 획득할 수 있다. 제어부(140)는, 특징 매트릭스의 특징 맥을 합성곱 신경망의 분류 단계에 적용함으로써, 캘리브레이션 매트릭스를 보정하기 위한 파라미터를 획득할 수 있다.
합성곱 신경망의 분류 단계는 뉴럴 네트워크로 구성될 수 있다.
뉴럴 네트워크는 영상 데이터가 입력되는 입력 레이어와, 식별된 객체에 관한 정보가 출력되는 출력 레이어와, 입력 레이어와 출력 레이어 사이의 히든 레이어를 포함할 수 있다. 입력 레이어는 그 각각에 영상의 픽셀의 휘도 값이 입력되는 복수의 입력 노드들을 포함할 수 있다. 히든 레이어는 그 각각에 복수의 입력 노드들의 값들에 제1 가중치들이 적용된 값이 입력되는 복수의 히든 노드들을 포함할 수 있다. 출력 레이어는 그 각각에 복수의 히든 노드들의 값들에 제2 가중치들이 적용된 값이 입력되는 복수의 출력 노드들을 포함할 수 있다.
제어부(140)는 복수의 출력 노드들의 값에 기초하여 캘리브레이션 매트릭스를 보정하기 위한 파라미터를 획득할 수 있다.
제어부(140)는 획득된 파라미터를 이용하여 캘리브레이션 매트릭스를 보정할 수 있다. 또한, 제어부(140)는 보정된 캘리브레이션 매트릭스를 이용하여 영상 데이터와 라이다 데이터를 이용하여 영상 데이터와 라이다 데이터 각각을 보정할 수 있다.
이상에서 설명된 바와 같이, 운전자 보조 장치(100)는 기계 학습을 이용하여 카메라(110)와 라이다(130) 각각에 대하여 캘리브레이션을 수행할 수 있다. 그에 의하여, 운전자 보조 장치(100)는 기계 학습을 이용한 캘리브레시이션을 이용하여, 차량(1)의 주행 중에 차량(1)의 진동에 의하여 카메라(110)와 라이다(130)가 정렬되지 아니한 것을 보정할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체'는가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로 , '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1: 차량 20: 구동 장치
30: 제동 장치 40: 조향 장치
100: 운전자 보조 장치 110: 카메라
120: 레이더 130: 라이다
140: 제어부

Claims (20)

  1. 차량의 주행을 보조하는 장치에 있어서,
    상기 차량에 설치되어, 상기 차량의 전방 시야를 가지며, 영상 데이터를 획득하는 카메라;
    상기 차량에 설치되어, 상기 차량의 전방향 시야를 가지며, 라이다 데이터를 획득하는 라이다; 및
    상기 영상 데이터 및 상기 라이다 데이터 중 적어도 하나를 처리하는 제어부를 포함하고,
    상기 제어부는,
    상기 영상 데이터 및 상기 라이다 데이터를 보정하기 위한 캘리브레이션 매트릭스를 포함하고,
    기계 학습을 이용하여 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵을 획득하고,
    상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵 사이의 차이에 기초하여 상기 캘리브레이션 매트릭스를 보정하고,
    상기 보정된 캘리브레이션 매트릭스를 이용하여 상기 영상 데이터 및 상기 라이다 데이터를 보정하는 장치.
  2. 제1항에 있어서, 상기 제어부는,
    상기 라이다 데이터를 2차원 라이다 데이터로 변환하고,
    상기 2차원 라이다 데이터를 영상 데이터의 픽셀 좌표에 대응되도록 변환하는 장치.
  3. 제2항에 있어서, 상기 제어부는,
    상기 영상 데이터의 크기와 상기 2차원 라이다 데이터의 크기를 동기화하는 장치.
  4. 제3항에 있어서, 상기 제어부는,
    합성곱 신경망 알고리즘을 이용하여 상기 동기화된 영상 데이터의 특징 맵을 획득하고,
    상기 합성곱 신경망 알고리즘을 이용하여 상기 동기화된 2차원 라이다 데이터의 특징 맵을 획득하는 장치.
  5. 제4항에 있어서, 상기 제어부는,
    상기 동기화된 영상 데이터와 필터 사이의 합성 곱에 기초하여 상기 동기화된 영상 데이터의 특징 맵을 획득하고,
    상기 동기화된 2차원 라이다 데이터와 필터 사이의 합성 곱에 기초하여 상기 동기화된 2차원 라이다 데이터의 특징 맵을 획득하는 장치.
  6. 제4항에 있어서, 상기 제어부는,
    상기 동기화된 영상 데이터의 특징 맵과 상기 동기화된 2차원 라이다 데이터의 특징 맵이 통합된 특징 매트릭스를 획득하는 장치.
  7. 제6항에 있어서, 상기 제어부는,
    상기 동기화된 영상 데이터의 특징 맵과 상기 동기화된 2차원 라이다 데이터의 특징 맵 사이의 차이에 기초하여, 상기 특징 매트릭스를 획득하는 장치.
  8. 제6항에 있어서, 상기 제어부는,
    합성곱 신경망 알고리즘을 이용하여 상기 특징 매트릭스로부터 상기 캘리브레이션 매트릭스를 보정하기 위한 보정 파라미터를 획득하는 장치.
  9. 제8항에 있어서, 상기 제어부는,
    상기 보정 파라미터에 의하여 보정된 캘리브레이션 매트릭스를 이용하여 상기 영상 데이터 및 상기 라이다 데이터를 보정하는 장치.
  10. 차량의 주행을 보조하는 방법에 있어서,
    상기 차량에 설치되어 상기 차량의 전방 시야를 가지는 카메라에 의하여, 영상 데이터를 획득하고;
    상기 차량에 설치되어 상기 차량의 전방향 시야를 가지는 라이다에 의하여 라이다 데이터를 획득하고;
    상기 차량에 설치된 프로세서에 의하여, 기계 학습을 이용하여 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵을 획득하고;
    상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵 사이의 차이에 기초하여, 상기 영상 데이터 및 상기 라이다 데이터를 보정하기 위한 캘리브레이션 매트릭스를 보정하고;
    상기 보정된 캘리브레이션 매트릭스를 이용하여 상기 영상 데이터 및 상기 라이다 데이터를 보정하는 것을 포함하는 방법.
  11. 제10항에 있어서, 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵을 획득하는 것은,
    상기 라이다 데이터를 2차원 라이다 데이터로 변환하고,
    상기 2차원 라이다 데이터를 영상 데이터의 픽셀 좌표에 대응되도록 변환하는 것을 포함하는 방법.
  12. 제11항에 있어서, 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵을 획득하는 것은,
    상기 영상 데이터의 크기와 상기 2차원 라이다 데이터의 크기를 동기화하는 것을 포함하는 방법.
  13. 제12항에 있어서, 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵을 획득하는 것은,
    합성곱 신경망 알고리즘을 이용하여 상기 동기화된 영상 데이터의 특징 맵을 획득하고,
    상기 합성곱 신경망 알고리즘을 이용하여 상기 동기화된 2차원 라이다 데이터의 특징 맵을 획득하는 것을 포함하는 방법.
  14. 제13항에 있어서, 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵을 획득하는 것은,
    상기 동기화된 영상 데이터와 필터 사이의 합성 곱에 기초하여 상기 동기화된 영상 데이터의 특징 맵을 획득하고,
    상기 동기화된 2차원 라이다 데이터와 필터 사이의 합성 곱에 기초하여 상기 동기화된 2차원 라이다 데이터의 특징 맵을 획득하는 것을 포함하는 방법.
  15. 제13항에 있어서, 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵을 획득하는 것은,
    상기 동기화된 영상 데이터의 특징 맵과 상기 동기화된 2차원 라이다 데이터의 특징 맵이 통합된 특징 매트릭스를 획득하는 것을 포함하는 방법.
  16. 제13항에 있어서, 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵을 획득하는 것은,
    상기 동기화된 영상 데이터의 특징 맵과 상기 동기화된 2차원 라이다 데이터의 특징 맵 사이의 차이에 기초하여, 상기 특징 매트릭스를 획득하는 것을 포함하는 방법.
  17. 제15항에 있어서, 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵을 획득하는 것은,
    합성곱 신경망 알고리즘을 이용하여 상기 특징 매트릭스로부터 상기 캘리브레이션 매트릭스를 보정하기 위한 보정 파라미터를 획득하는 것을 포함하는 방법.
  18. 제17항에 있어서, 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵을 획득하는 것은,
    상기 보정 파라미터에 의하여 보정된 캘리브레이션 매트릭스를 이용하여 상기 영상 데이터 및 상기 라이다 데이터를 보정하는 것을 포함하는 방법.
  19. 제10항에 기재된 방법을 실행시키기 위한 프로그램을 저장하는, 컴퓨터가 읽을 수 있는 저장 매체.
  20. 제10항에 기재된 방법을 실행시키기 위하여, 컴퓨터가 읽을 수 있는 저장 매체에 저장된 프로그램.
KR1020210051193A 2021-04-20 2021-04-20 차량의 주행을 보조하는 장치 및 그 방법 KR102665635B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210051193A KR102665635B1 (ko) 2021-04-20 2021-04-20 차량의 주행을 보조하는 장치 및 그 방법
US17/718,679 US20220334258A1 (en) 2021-04-20 2022-04-12 Apparatus for assisting driving of vehicle and method thereof
CN202210415945.4A CN115311190A (zh) 2021-04-20 2022-04-20 对车辆进行辅助驾驶的设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210051193A KR102665635B1 (ko) 2021-04-20 2021-04-20 차량의 주행을 보조하는 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220144917A true KR20220144917A (ko) 2022-10-28
KR102665635B1 KR102665635B1 (ko) 2024-05-14

Family

ID=83601277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210051193A KR102665635B1 (ko) 2021-04-20 2021-04-20 차량의 주행을 보조하는 장치 및 그 방법

Country Status (3)

Country Link
US (1) US20220334258A1 (ko)
KR (1) KR102665635B1 (ko)
CN (1) CN115311190A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220131426A (ko) * 2021-03-18 2022-09-28 현대모비스 주식회사 차량 제어 시스템 및 방법
KR20230139560A (ko) * 2022-03-28 2023-10-05 현대자동차주식회사 차량 및 그 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019093136A1 (ja) * 2017-11-08 2019-05-16 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR102060113B1 (ko) * 2019-01-30 2019-12-27 주식회사 몹티콘 캘리브레이션 시스템 및 방법
KR20200015147A (ko) * 2018-08-03 2020-02-12 한국과학기술원 딥 러닝 기반의 카메라 캘리브레이션 방법 및 장치
KR20200084552A (ko) * 2019-01-03 2020-07-13 현대모비스 주식회사 차량용 카메라 및 라이다 센서의 캘리브레이션 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019093136A1 (ja) * 2017-11-08 2019-05-16 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR20200015147A (ko) * 2018-08-03 2020-02-12 한국과학기술원 딥 러닝 기반의 카메라 캘리브레이션 방법 및 장치
KR20200084552A (ko) * 2019-01-03 2020-07-13 현대모비스 주식회사 차량용 카메라 및 라이다 센서의 캘리브레이션 장치 및 방법
KR102060113B1 (ko) * 2019-01-30 2019-12-27 주식회사 몹티콘 캘리브레이션 시스템 및 방법

Also Published As

Publication number Publication date
US20220334258A1 (en) 2022-10-20
KR102665635B1 (ko) 2024-05-14
CN115311190A (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
US9922565B2 (en) Sensor fusion of camera and V2V data for vehicles
JP6663406B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP2022520968A (ja) 視覚画像データを用いたオブジェクト属性の推定
WO2020003776A1 (ja) 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置
KR20200047886A (ko) 운전자 보조 시스템 및 그 제어방법
US20220334258A1 (en) Apparatus for assisting driving of vehicle and method thereof
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR20230031344A (ko) 자동차를 둘러싼 영역 내 장애물을 검출하기 위한 시스템 및 방법
US20220237921A1 (en) Outside environment recognition device
US20220332311A1 (en) Apparatus for assisting driving and method thereof
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
KR102662730B1 (ko) 운전자 보조 장치 및 그 제어 방법
EP3223188A1 (en) A vehicle environment mapping system
KR20220078831A (ko) 운전자 보조 시스템 및 운전자 보조 방법
KR102660433B1 (ko) 운전자 보조 장치 및 운전자 보조 방법
US20220237899A1 (en) Outside environment recognition device
KR102672340B1 (ko) 차량의 주행을 보조하는 장치 및 그 방법
US20230356716A1 (en) Apparatus and method for controlling the same
US20240182052A1 (en) Driver assistance apparatus and driver assistance method
US20230286547A1 (en) Driver assistance apparatus and driver assistance method
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US11970181B2 (en) Apparatus and method for assisting in driving vehicle
US11830254B2 (en) Outside environment recognition device
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
US20220185319A1 (en) Vehicle

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant