KR20220144915A - 차량의 주행을 보조하는 장치 및 그 방법 - Google Patents

차량의 주행을 보조하는 장치 및 그 방법 Download PDF

Info

Publication number
KR20220144915A
KR20220144915A KR1020210051164A KR20210051164A KR20220144915A KR 20220144915 A KR20220144915 A KR 20220144915A KR 1020210051164 A KR1020210051164 A KR 1020210051164A KR 20210051164 A KR20210051164 A KR 20210051164A KR 20220144915 A KR20220144915 A KR 20220144915A
Authority
KR
South Korea
Prior art keywords
vehicle
trajectory
control unit
longitudinal
image data
Prior art date
Application number
KR1020210051164A
Other languages
English (en)
Inventor
김인한
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Priority to KR1020210051164A priority Critical patent/KR20220144915A/ko
Priority to US17/718,698 priority patent/US20220332311A1/en
Priority to CN202210415934.6A priority patent/CN115214670A/zh
Publication of KR20220144915A publication Critical patent/KR20220144915A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52—Radar, Lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4043—Lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량의 주행을 보조하는 장치는, 상기 차량에 설치되어, 상기 차량 주변의 시야를 가지며, 영상 데이터를 획득하는 카메라; 및 상기 영상 데이터를 처리하는 제어부를 포함한다. 상기 제어부는, 상기 영상 데이터를 처리하는 것에 기초하여, 상기 차량 주변에 위치하는 적어도 하나의 객체를 식별하고, 상기 적어도 하나의 객체의 궤적과 상기 차량의 궤적 사이의 간섭에 기초하여, 상기 차량의 궤적을 갱신하고, 상기 차량의 갱신된 궤적에 기초하여 상기 차량의 구동 장치, 제동 장치 또는 조향 장치 중에 적어도 하나를 제어할 수 있다.

Description

차량의 주행을 보조하는 장치 및 그 방법 {APPARATUS FOR ASSISTING DRIVING AND METHOD THEREOF}
개시된 발명은 차량의 주행을 보조하는 장치 및 그 방법에 관한 것으로써, 더욱 상세하게는 차량의 주변에 위치하는 객체들을 검출할 수 있는 차량의 주행을 보조하는 장치 및 그 방법에 관한 것이다.
현대 사회에서 차량은 가장 보편적인 이동 수단으로서 차량을 이용하는 사람들의 수는 증가하고 있다. 차량 기술의 발전으로 인해 장거리의 이동이 용이하고, 생활이 편해지는 등의 장점도 있지만, 우리나라와 같이 인구밀도가 높은 곳에서는 도로 교통 사정이 악화되어 교통 정체가 심각해지는 문제가 자주 발생한다.
최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및/또는 주변 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 보조 시스템(Advanced Driver Assist System; ADAS)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.
차량에 탑재되는 첨단 운전자 보조 시스템의 일 예로, 차선 이탈 경고(Lane Departure Warning, LDW), 차선 유지 보조(Lane Keeping Assist, LKA), 상향등 보조(High Beam Assist, HBA), 자동 긴급 제동(Autonomous Emergency Braking, AEB), 교통 표지판 인식(Traffic Sign Recognition, TSR), 크루즈 컨트롤(Adaptive Cruise Control, ACC), 또는 사각지대 감지(Blind Spot Detection, BSD) 등이 있다.
운전자 보조 시스템은 주변 환경의 정보를 수집하고, 수집된 정보를 처리할 수 있다. 또한, 운전자 보조 시스템은, 수집된 정보를 처리한 결과에 기초하여, 사물을 인식하고 차량이 주행할 경로를 설계할 수 있다.
다만, 종래의 운전자 보조 시스템은, 오직 선택된 타겟과 관련된 정보(위치 정보 및 이동 정보)에 의존하여 차량의 이동을 제어하였다.
개시된 발명의 일 측면은, 차량의 주변에 위치하는 복수의 객체들의 궤적을 예측할 수 있는 차량의 주행을 보조하는 장치 및 그 방법을 제공하고자 한다.
개시된 발명의 일 측면에 따른 차량의 주행을 보조하는 장치는, 차량에 설치되어, 상기 차량 주변의 시야를 가지며, 영상 데이터를 획득하는 카메라; 및 상기 영상 데이터를 처리하는 제어부를 포함한다. 상기 제어부는, 상기 영상 데이터를 처리하는 것에 기초하여, 상기 차량 주변에 위치하는 적어도 하나의 객체를 식별하고, 상기 적어도 하나의 객체의 궤적과 상기 차량의 궤적 사이의 간섭에 기초하여, 상기 차량의 궤적을 갱신하고, 상기 차량의 갱신된 궤적에 기초하여 상기 차량의 구동 장치, 제동 장치 또는 조향 장치 중에 적어도 하나를 제어할 수 있다.
상기 제어부는, 상기 차량의 궤적과 상기 적어도 하나의 객체의 예상 궤적을 하나의 좌표계 상에 투영하고, 상기 하나의 좌표계 상에서 상기 차량의 궤적이 상기 적어도 하나의 객체의 궤적과 간섭되는지 여부를 식별할 수 있다.
상기 제어부는, 상기 영상 데이터를 처리하는 것에 기초하여, 상기 적어도 하나의 객체의 횡방향 속도, 횡방향 가속도, 정렬 각도, 종방향 속도 또는 종방향 가속도 중에 적어도 하나를 식별할 수 있다.
상기 제어부는, 상기 적어도 하나의 객체의 횡방향 속도, 횡방향 가속도 또는 정렬 각도 중에 적어도 하나에 기초하여 상기 적어도 하나의 객체가 차로를 변경하는지 여부를 식별할 수 있다.
상기 제어부는, 상기 적어도 하나의 객체의 횡방향 속도, 횡방향 가속도 또는 정렬 각도 중에 적어도 하나에 기초하여 상기 적어도 하나의 객체의 황방향 궤적을 예측하고, 상기 적어도 하나의 객체의 종방향 속도 또는 종방향 가속도에 기초하여 상기 적어도 하나의 객체의 종방향 궤적을 예측하고, 상기 황방향 궤적과 상기 종방향 궤적에 기초하여 상기 적어도 하나의 객체의 궤적을 예측할 수 있다.
상기 제어부는, 상기 차량의 내비게이션 장치로부터 획득된 목적지까지의 경로에 기초하여, 상기 차량의 궤적을 생성할 수 있다.
상기 제어부는, 상기 차량의 속도, 가속도 또는 각속도 중에 적어도 하나에 기초하여 상기 차량의 궤적을 예측할 수 있다.
상기 제어부는, 상기 차량의 궤적이 상기 적어도 하나의 객체의 궤적과 간섭되면, 상기 적어도 하나의 객체의 궤적을 회피하도록 상기 차량의 궤적을 갱신할 수 있다.
상기 장치는, 상기 차량에 설치되어, 상기 차량 주변의 시야를 가지며, 레이더 데이터를 획득하는 레이더를 더 포함한다. 상기 제어부는, 상기 레이더 데이터를 처리하는 것에 기초하여, 상기 차량 주변에 위치하는 적어도 하나의 객체를 식별하고, 상기 영상 데이터를 처리한 것에 기초한 적어도 하나의 객체와 상기 레이더 데이터를 처리한 것에 기초한 적어도 하나의 객체를 통합할 수 있다.
개시된 발명의 일 측면에 따른 차량의 주행을 보조하는 방법은, 차량에 설치되어 상기 차량 주변의 시야를 가지는 카메라에 의하여, 영상 데이터를 획득하고; 상기 차량에 설치된 프로세서에 의하여, 상기 영상 데이터를 처리하는 것에 기초하여, 상기 차량 주변에 위치하는 적어도 하나의 객체를 식별하고; 상기 적어도 하나의 객체의 궤적과 상기 차량의 궤적 사이의 간섭에 기초하여, 상기 차량의 궤적을 갱신하고; 상기 차량의 갱신된 궤적에 기초하여 상기 차량의 구동 장치, 제동 장치 또는 조향 장치 중에 적어도 하나를 제어하는 것을 포함할 수 있다.
개시된 발명의 일 측면에 따르면, 차량의 주변에 위치하는 복수의 객체들의 궤적을 예측할 수 있는 차량의 주행을 보조하는 장치 및 그 방법을 제공할 수 있다.
그에 의하여, 차량의 주행을 보조하는 장치는, 타겟 이외의 다른 객체로 인하여 유발되는 다양한 위험 상황을 예측하고, 이를 회피할 수 있다.
도 1은 일 실시예에 의한 차량 및 운전자 보조 장치의 구성을 도시한다.
도 2은 일 실시예에 의한 운전자 보조 장치에 포함된 카메라, 레이더 및 라이다의 시야를 도시한다.
도 3은 일 실시예에 의한 운전자 보조 장치에 포함된 제어부의 기능 모듈을 도시한다.
도 4는 도 3에 도시된 예측 모듈을 구체화환 도면이다.
도 5는 객체들의 객체 궤적들과 차량의 자기 궤적들을 도시한다.
도 6은 일 실시예에 의한 운전자 보조 장치의 동작을 도시한다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 개시된 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 개시된 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 의한 차량의 구성을 도시한다. 도 2은 일 실시예에 의한 운전자 보조 장치에 포함된 카메라, 레이더 및 라이다의 시야를 도시한다.
도 1에 도시된 바와 같이, 차량(1)은 내비게이션 장치(10), 구동 장치(20), 제동 장치(30), 조향 장치(40), 디스플레이 장치(50), 오디오 장치(60) 및/또는 운전자 보조 장치(100)를 포함할 수 있다. 또한, 차량(1)은 차량(1)의 움직임(dynamic)을 감지하는 센서들(91, 92, 93)를 더 포함할 수 있다. 예를 들어, 차량(1)은 차량(1)의 종방향 속도를 감지하는 차속 센서(91), 차량(1)의 종방향 가속도 및 횡방향 가속도를 감지하는 가속도 센서(92), 및/또는 차량(1)의 요 각속도(yaw rate), 롤 각속도(roll rate) 및 피치 각속도(pitch rate)를 감지하는 자이로 센서(93)를 더 포함할 수 있다.
이들은 차량용 통신 네트워크(NT)를 통하여 서로 통신할 수 있다. 예를 들어, 차량(1)에 포함된 전기 장치들(10, 20, 30, 40, 50, 60, 91, 92, 93, 100)은 이더넷(Ethernet), 모스트(MOST, Media Oriented Systems Transport), 플렉스레이(Flexray), 캔(CAN, Controller Area Network), 린(LIN, Local Interconnect Network) 등을 통하여 데이터를 주고 받을 수 있다.
내비게이션 장치(10)는 운전자가 입력한 목적지까지의 경로를 생성하고, 생성된 경로를 운전자에게 제공할 수 있다. 내비게이션 장치(10)는 글로벌 항법 위성 시스템(Global Navigation Satellite System, GNSS)에서 GNSS 신호를 수신하고, GNSS 신호에 기초하여 차량(1)의 절대 위치(좌표)를 식별할 수 있다. 내비게이션 장치(10)는 운전자가 입력한 목적지의 위치(좌표)와 차량(1)의 현재 위치(좌표)에 기초하여 목적지까지의 경로를 생성할 수 있다.
내비게이션 장치(10)는 지도 데이터 및 차량(1)의 위치 정보를 운전자 보조 장치(100)에 제공할 수 있다. 또한, 내비게이션 장치(10)는 목적지까지의 경로에 관한 정보를 운전자 보조 장치(100)에 제공할 수 있다. 예를 들어, 내비게이션 장치(10)는 차량(1)이 새로운 도로에 진입하기 위한 진입로까지의 거리 또는 차량(1)이 현재 주행 중인 도로에서 진출하기 위한 진출로까지의 거리 등의 정보를 운전자 보조 장치(100)에 제공할 수 있다.
구동 장치(20)는 차량(1)을 이동시키며, 예를 들어 엔진과, 엔진 관리 시스템(Engine Management System, EMS)과, 변속기와 변속기 제어 유닛(Transmission Control Unit, TCU)를 포함할 수 있다. 엔진은 차량(1)이 주행하기 위한 동력을 생성하며, 엔진 관리 시스템은 가속 페달을 통한 운전자의 가속 의지 또는 운전자 보조 장치(100)의 요청에 응답하여 엔진을 제어할 수 있다. 변속기는 엔진에 의하여 생성된 동력을 차륜까지 감속-전달하며, 변속기 제어 유닛은 변속 레버를 통한 운전자의 변속 명령 및/또는 운전자 보조 장치(100)의 요청에 응답하여 변속기를 제어할 수 있다.
제동 장치(30)는 차량(1)을 정지시키며, 예를 들어 브레이크 캘리퍼와 제동 제어 모듈(Brake Control Module, EBCM)을 포함할 수 있다. 브레이크 캘리퍼는 브레이크 디스크와의 마찰을 이용하여 차량(1)을 감속시키거나 차량(1)을 정지시킬 수 있으며, 전자 제동 제어 모듈은 브레이크 페달을 통한 운전자의 제동 의지 및/또는 운전자 보조 장치(100)의 요청에 응답하여 브레이크 캘리퍼를 제어할 수 있다. 예를 들어, 전자 제동 제어 모듈은 운전자 보조 장치(100)로부터 감속도를 포함하는 감속 요청을 수신하고, 요청된 감속도에 의존하여 차량(1)이 감속하도록 전기적으로 또는 유압을 통하여 브레이크 캘리퍼를 제어할 수 있다.
조향 장치(40)은 전동 조향 제어 모듈(Electronic Power Steering Control Module, EPS)를 포함할 수 있다. 조향 장치(40)는 차량(1)의 주행 방향을 변경시킬 수 있으며, 전자 조향 제어 모듈은 스티어링 휠을 통한 운전자의 조향 의지에 응답하여 운전자가 쉽게 스티어링 휠을 조작할 수 있도록 조향 장치(40)의 동작을 보조할 수 있다. 또한, 전자 조향 제어 모듈은 운전자 보조 장치(100)의 요청에 응답하여 조향 장치를 제어할 수 있다. 예를 들어, 전자 조향 제어 모듈은 운전자 보조 장치(100)으로부터 조향 토크를 포함하는 조향 요청을 수신하고, 요청된 조향 토크에 의존하여 차량(1)이 조향되도록 조향 장치를 제어할 수 있다.
디스플레이 장치(50)는 클러스터, 헤드 업 디스플레이, 센터페시아 모니터 등을 포함할 수 있으며, 영상과 음향을 통하여 운전자에게 다양한 정보와 엔터테인먼트를 제공할 수 있다. 예를 들어, 디스플레이 장치(50)는 차량(1)의 주행 정보, 경고 메시지 등을 운전자에게 제공할 수 있다.
오디오 장치(60)는 복수의 스피커들을 포함할 수 있으며, 음향을 통하여 운전자에게 다양한 정보와 엔터테인먼트를 제공할 수 있다. 예를 들어, 오디오 장치(60)는 차량(1)의 주행 정보, 경고 메시지 등을 운전자에게 제공할 수 있다.
운전자 보조 장치(100)는 차량용 통신 네트워크를 통하여 내비게이션 장치(10), 복수의 센서들(91, 92, 93), 구동 장치(20), 제동 장치(30), 조향 장치(40), 디스플레이 장치(50) 및 오디오 장치(60)와 통신할 수 있다. 운전자 보조 장치(100)는 내비게이션 장치(10)로부터 목적지까지의 경로에 관한 정보 및 차량(1)의 위치 정보를 수신할 수 있으며, 복수의 센서들(91, 92, 93)로부터 차량(1)의 차속, 가속도 및/또는 각속도에 관한 정보를 획득할 수 있다.
운전자 보조 장치(100)은 운전자에게 안전을 위한 다양한 기능을 제공할 수 있다. 예를 들어, 운전자 보조 장치(100)은 차선 이탈 경고(Lane Departure Warning, LDW)와, 차선 유지 보조(Lane Keeping Assist, LKA)와, 상향등 보조(High Beam Assist, HBA)와, 자동 긴급 제동(Autonomous Emergency Braking, AEB)과, 교통 표지판 인식(Traffic Sign Recognition, TSR)과, 크루즈 컨트롤(Adaptive Cruise Control, ACC)과, 사각지대 감지(Blind Spot Detection, BSD) 등을 제공할 수 있다.
운전자 보조 장치(100)은 운전자 보조 장치(100)은 카메라(110)와, 레이더(120)와, 라이다(130)와, 제어부(140)를 포함할 수 있다. 운전자 보조 장치(100)은 도 1에 도시된 바에 한정되지 아니한다. 예를 들어, 도 1에 도시된 운전자 보조 장치(100)에서, 카메라(110), 레이더(120) 및 라이다(130) 중에 적어도 하나의 감지 수단이 생략되거나 또는 차량(1)의 주변 객체를 감지할 수 있는 다양한 감지 수단이 추가될 수 있다.
카메라(110)와, 레이더(120)와, 라이다(130)와, 제어부(140)는 서로 분리되어 마련될 수 있다. 예를 들어, 제어부(140)는 카메라(110)의 하우징, 레이더(120)의 하우징 및 라이다 (130)의 하우징과 분리된 하우징에 설치될 수 있다. 제어부(140)는 광대역폭의 네트워크를 통하여 카메라(110), 레이더(120) 또는 라이다(130)와 데이터를 주고 받을 수 있다.
카메라(110)는 차량(1)의 주변을 촬영하고, 차량(1) 주변의 영상 데이터를 획득할 수 있다. 예를 들어, 카메라(110)는 도 2에 도시된 바와 같이 차량(1)의 프론트 윈드 쉴드에 설치될 수 있으며, 차량(1)의 전방을 향하는 시야(field of view) (110a)를 가질 수 있다.
카메라(110)는 복수의 렌즈들과 이미지 센서를 포함할 수 있다. 이미지 센서는 광을 전기 신호로 변환하는 복수의 포토 다이오드들을 포함할 수 있으며, 복수의 포토 다이오드들이 2차원 매트릭스로 배치될 수 있다.
영상 데이터는 차량(1) 주변에 위치하는 다른 차량 또는 보행자 또는 사이클리스트 또는 차선(차로를 구별하는 마커)에 관한 정보를 포함할 수 있다.
카메라(110)는 영상 데이터를 처리하는 그래픽 프로세서를 포함할 수 있으며, 영상 데이터의 처리에 기초하여 차량(1)의 주변 객체를 검출할 수 있다. 카메라(110)는 예를 들어 영상 처리를 이용하여 객체를 대표하는 트랙(track)을 생성할 수 있으며, 트랙을 분류할 수 있다(classify). 예를 들어, 카메라(110)는 트랙이 다른 차량인지, 또는 보행자인지, 또는 사이클리스트인지 등인지를 식별할 수 있다.
카메라(110)는 제어부(140)와 전기적으로 연결될 수 있다. 예를 들어, 카메라(110)는 차량용 통신 네트워크(NT)를 통하여 제어부(140)와 연결되거나, 하드 와이어(hard wire)를 통하여 제어부(140)와 연결되거나, 인쇄 회로 기판(Printed Circuit Board, PCB)을 통하여 제어부(140)와 연결될 수 있다. 카메라(110)는 차량(1) 주변의 영상 데이터(또는 트랙의 위치 및 분류)를 제어부(140)로 전달할 수 있다.
레이더(120)는 차량(1)의 주변을 향하여 송신 전파를 발신하고 주변 객체로부터 반사된 반사 전파에 기초하여 차량(1)의 주변 객체를 검출할 수 있다. 예를 들어, 레이더(120)는 도 2에 도시된 바와 같이 차량(1)의 그릴(grille) 또는 범퍼(bumper)에 설치될 수 있으며, 차량(1)의 전방을 향하는 감지 시야(field of sensing) (120a)을 가질 수 있다.
레이더(120)는 차량(1)의 주변을 향하여 송신 전파를 방사하는 송신 안테나(또는 송신 안테나 어레이)와, 객체에 반사된 반사 전파를 수신하는 수신 안테나(또는 수신 안테나 어레이)를 포함할 수 있다.
레이더(120)는 송신 안테나에 의한 송신된 송신 전파와 수신 안테나에 의하여 수신된 반사 전파로부터 레이더 데이터를 획득할 수 있다. 레이더 데이터는 차량(1) 전방에 위치하는 객체들의 위치 정보(예를 들어, 거리 정보) 및/또는 속도 정도를 포함할 수 있다.
레이더(120)는 레이더 데이터를 처리하는 시그널 프로세서를 포함할 수 있으며, 반사 전파에 의한 반사 포인트를 클러스팅(clustering)함으로써 객체를 대표하는 트랙을 생성할 수 있다. 레이더(120)는 송신 전파의 송신 시각과 반사 전파의 수신 시각 사이의 시간 차이(다시 말해, 전파가 송신 후 수신까지 이동한 시간)에 기초하여 트랙의 거리를 획득할 수 있다. 또한, 레이더(120)는 송신 전파의 주파수와 반사 전파의 주파수 사이의 차이에 기초하여 트랙의 상대 속도를 획득할 수 있다.
레이더(120)는 예를 들어 차량용 통신 네트워크(NT) 또는 하드 와이어 또는 인쇄 회로 기판을 통하여 제어부(140)와 연결될 수 있으며, 레이더 데이터(또는 트랙의 거리 및 상대 속도)를 제어부(140)로 전달할 수 있다.
라이다(130)는 차량(1)의 주변을 향하여 광(예를 들어, 적외선)을 발신하고 주변 객체로부터 반사된 반사 광에 기초하여 차량(1)의 주변 객체를 검출할 수 있다. 예를 들어, 라이다(130)는 도 2에 도시된 바와 같이 차량(1)의 루프(roof)에 설치될 수 있으며, 차량(1)의 주변의 모든 방향을 향하는 시야(130a)를 가질 수 있다.
라이다(130)는 광(예를 들어, 적외선 등)을 발신하는 광원(예를 들어, 발광 다이오드, 발광 다이오드 어레이, 레이저 다이오드 또는 레이저 다이오드 어레이)과, 광(예를 들어, 적외선 등)을 수신하는 광 센서(예를 들어, 포토 다이오드 또는 포토 다이오드 어레이)를 포함할 수 있다. 또한, 필요에 따라, 라이다(130)는 광원 및/또는 광 센서를 회전시키는 구동 장치를 더 포함할 수 있다.
라이다(130)는, 광원 및/또는 광 센서가 회전하는 동안, 광원을 통하여 광을 방출하고 객체에서 반사된 광을 광 센서를 통하여 수신할 수 있으며, 그에 의하여 라이다 데이터를 획득할 수 있다.
라이다 데이터는 차량(1)의 주변 객체들의 상대 위치(주변 객체의 거리 및/또는 주변 객체의 방향) 및/또는 상대 속도를 포함할 수 있다. 라이다(130)는 라이다 데이터를 처리할 수 있는 시그널 프로세서를 포함할 수 있으며, 반사 광에 의한 반사 포인트를 클러스팅함으로써 객체를 대표하는 트랙을 생성할 수 있다. 라이다(130)는 광 발신 시각과 광 수신 시각 사이의 시간 차이(다시 말해, 광이 발신된 이후 수신되기까지 이동한 시간)에 기초하여 객체까지의 거리를 획득할 수 있다. 또한, 라이다(130)는, 광 센서가 반사 광을 수신할 때 광원이 광을 발신한 방향에 기초하여, 차량(1)의 주행 방향에 대한 객체의 방향(또는 각도)을 획득할 수 있다.
라이다(130)는 예를 들어 차량용 통신 네트워크(NT) 또는 하드 와이어 또는 인쇄 회로 기판을 통하여 제어부(140)와 연결될 수 있으며, 라이다 데이터(또는 트랙의 상대 위치 및 상대 속도)를 제어부(140)로 전달할 수 있다.
제어부(140)는 카메라(110), 레이더(120) 및/또는 라이다(130)와 전기적으로 연결될 수 있다. 또한, 제어부(140)는 차량용 통신 네트워크(NT)를 통하여 내비게이션 장치(10), 구동 장치(20), 제동 장치(30), 조향 장치(40), 디스플레이 장치(50), 오디오 장치(60) 및/또는 복수의 센서들(91, 92, 93)과 연결될 수 있다.
제어부(140)는 카메라(110)의 영상 데이터, 레이더(120)의 레이더 데이터 및/또는 라이다(130)의 라이다 데이터를 처리하고, 구동 장치(20), 제동 장치(30) 및/또는 조향 장치(40)에 제어 신호를 제공할 수 있다.
제어부(140)는 프로세서(141)와 메모리(142)를 포함할 수 있다..
프로세서(141)는 카메라(110)의 영상 데이터, 레이더(120)의 레이더 데이터 및/또는 라이다(130)의 라이다 데이터를 처리할 수 있다. 프로세서(141)는, 카메라(110)의 영상 데이터, 레이더(120)의 레이더 데이터 및/또는 라이다(130)의 라이다 데이터를 처리하는 것에 기초하여, 구동 장치(10), 제동 장치(20) 및/또는 조향 장치(30)을 각각 제어하기 위한 구동 신호, 제동 신호 및/또는 조향 신호를 생성할 수 있다.
예를 들어, 프로세서(141)는 카메라(110)의 영상 데이터를 처리하는 이미지 프로세서, 레이더(120)의 레이더 데이터 및/또는 라이다(130)의 라이다 데이터를 처리하는 시그널 프로세서, 또는 구동/제동/조향 신호를 생성하는 마이크로 컨트롤 유닛(Micro Control Unit, MCU)를 포함할 수 있다.
메모리(142)는 프로세서(141)가 영상 데이터, 레이더 데이터 및/또는 라이다 데이터를 처리하기 위한 프로그램 및/또는 데이터를 저장할 수 있다. 메모리(142)는 또한 프로세서(141)가 구동/제동/조향 신호를 생성하기 위한 프로그램 및/또는 데이터를 저장할 수 있다.
메모리(142)는 카메라(110)로부터 수신된 영상 데이터, 레이더(120)로부터 수신된 레이더 데이터 및/또는 라이다(130)로부터 수신된 라이다 데이터를 임시로 기억하고, 프로세서(141)의 영상 데이터, 레이더 데이터 및/또는 라이다 데이터의 처리 결과를 임시로 기억할 수 있다.
메모리(142)는 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리 뿐만 아니라 플래시 메모리, 롬(Read Only Memory, ROM), 이피롬(Erasable Programmable Read Only Memory: EPROM) 등의 비휘발성 메모리를 포함할 수 있다.
이상에서 설명된 바와 같이 제어부(140)는, 카메라(110)의 영상 데이터, 레이더(120)의 레이더 데이터 또는 라이다(130)의 라이다 데이터에 기초하여, 구동 신호, 제동 신호 또는 조향 신호를 제공할 수 있다.
운전자 보조 장치(100)의 구체적인 동작은 아래에서 더욱 자세하게 설명된다.
도 3은 일 실시예에 의한 운전자 보조 장치에 포함된 제어부의 기능 모듈을 도시한다. 도 4는 도 3에 도시된 예측 모듈을 구체화환 도면이다. 도 5의 (a)는 다른 차량이 다른 차로에서 차량의 차로로 차로를 변경하는 일 예를 도시한다. 도 5의 (b)은 다른 차량이 차량의 차로에서 다른 차로로 차로를 변경하는 일 예를 도시한다. 도 5의 (c)은 차랑이 다른 차량의 차로로 차로를 변경하는 일 예를 도시한다.
도 3, 도 4 및 도 5에 도시된 바와 같이, 제어부(140)는 기능적으로, 복수의 모듈들을 포함할 수 있다. 모듈들 각각은 프로세서(141)에 포함된 하드웨어 모듈(예를 들어, ASIC 또는 FPGA)이거나 또는 메모리(142)에 저장된 소프트웨어 모듈(예를 들어 어플리케이션 프로그램 또는 데이터)일 수 있다.
제어부(140)는 센서 퓨전 모듈(Sensor Fusion Module) (210)과, 예측 모듈(Prediction Module) (220)과, 위치 측정 모듈(Localization Module) (230)과, 궤적 생성 모듈(Trajectory Planning Module) (240)과, 제어 모듈(Control Module) (250)을 포함할 수 있다.
제어부(140)의 센서 퓨전 모듈(210)은, 카메라(110)의 영상 데이터와 레이더(120)의 레이더 데이터와 라이다(130)의 라이다 데이터를 융합하여 차량(1)의 주변 객체들을 검출할 수 있다.
센서 퓨전 모듈(210)은 카메라(110)로부터 카메라 트랙의 상대 위치(주행 방향에 대한 각도) 및/또는 카메라 트랙의 분류(예를 들어, 객체가 다른 차량인지, 또는 보행자인지, 또는 사이클리스트인지 등)를 획득할 수 있다. 센서 퓨전 모듈(210)은 레이더(120)로부터 레이더 트랙의 상대 위치(차량으로부터 거리) 및/또는 상대 속도를 획득할 수 있다. 또한, 센서 퓨전 모듈(210)은 라이다(130)로부터 라이다 트랙의 상대 위치(차량으로부터 거리 및/또는 주행 방향에 대한 각도) 및/또는 상대 속도를 획득할 수 있다.
센서 퓨전 모듈(210)은 카메라 트랙, 레이더 트랙 및 라이다 트랙을 서로 간에 매칭하고, 매칭 결과에 기초하여 공통 트랙을 획득할 수 있다. 예를 들어, 센서 퓨전 모듈(210)은, 카메라 트랙의 위치 정보, 레이더 트랙의 위치 정보 및 라이다 트랙의 위치 정보에 기초하여, 카메라 트랙, 레이더 트랙 및 라이다 트랙 중에 중복되는 공통 트랙을 식별할 수 있다.
또한, 센서 퓨전 모듈(210)은 카메라 트랙의 정보, 레이더 트랙의 정보 및/또는 라이다 트랙의 정보를 통합할 수 있다. 센서 퓨전 모듈(210)은 카메라(110)로부터 획득된 공통 트랙의 정보(예를 들어, 위치 정보 및 속도 정보)와 레이더(120)로부터 획득된 공통 트랙의 정보(예를 들어, 위치 정보 및 속도 정보)와 라이다(130)로부터 획득된 공통 트랙의 정보(예를 들어, 위치 정보 및 속도 정보)를 통합할 수 있다.
센서 퓨전 모듈(210)은 공통 트랙들 및 그에 관한 정보(예를 들어, 분류, 위치, 속도에 관한 정보)를 예측 모듈(220)에 제공할 수 있다.
제어부(140)의 예측 모듈(220)은 센서 퓨전 모듈(210)로부터 공통 트랙들에 관한 정보를 수신하고, 트랙들의 궤적을 예측할 수 있다.
예측 모듈(220)은 도 4에 도시된 바와 같이 복수의 트랙들 각각에 대하여 객체 선택(Object Selection) (221), 특징 평가(Feature Estimation) (222), 차로 변경 예측(Lane Change Prediction) (223), 및/또는 객체 궤적 예측(Object Trajectory Prediction) (224)을 수행할 수 있다.
객체 선택(221)은 복수의 공통 트랙들 중에 차량(1)의 주행과 관련된 트랙들을 선택하는 과정을 포함할 수 있다. 예를 들어, 객체 선택(221)에서 제어부(140)는 복수의 공통 트랙들 중에 차량(1)이 주행하는 차로와 동일한 차로에 위치하는 트랙 또는 차량(1)이 주행하는 차로와 인접한 차로에 위치하는 트랙을 선택할 수 있다.
특징 평가(222)는 선택된 트랙들의 정보에서 트랙의 차선 변경을 예측할 수 있는 정보를 획득하는 과정을 포함할 수 있다. 예를 들어, 특징 평가(222)에서 제어부(140)는 선택된 트랙들의 정보 중에 트랙의 횡방향 위치, 횡방향 속도, 정렬 각도(align angle) 등을 획득할 수 있다. 여기서, 정렬 각도는 차선의 방향과 트랙이 이동하는 방향 사이의 각도를 나타낼 수 있다.
차로 변경 예측(223)은, 특징 평가(222)의하여 선별된 트랙의 정보(예를 들어, 트랙의 횡방향 위치, 횡방향 속도, 정렬 각도 등)에 기초하여, 트랙의 차로 변경 여부를 예측하는 과정을 포함할 수 있다.
차로 변경 예측(223)에서 제어부(140)는, 트랙의 횡방향 위치, 횡방향 속도 및/또는 정렬 각도에 기초하여 트랙의 차로 변경 여부를 예측할 수 있다.
예를 들어, 제어부(140)의 예측 모듈(220)은 도 5의 (a)에 도시된 바와 같이 차량(1)이 주행하는 차로와 인접한 차로에서 주행하는 객체(2)의 횡방향 위치, 횡방향 속도 및/또는 정렬 각도를 획득할 수 있다. 예측 모듈(220)은 객체(2)에 관한 선별된 정보에 기초하여 객체(2)이 인접 차로에서 차량(1)이 주행하는 차로로 차로를 변경하는 제1 객체 궤적(object trajectory) (OT1)을 예측할 수 있다.
또한, 예측 모듈(220)은 도 5의 (b)에 도시된 바와 같이 차량(1)이 주행하는 차로와 동일한 차로에서 주행하는 객체(3)의 횡방향 위치, 횡방향 속도 및/또는 정렬 각도를 획득할 수 있다. 제어부(140)는 객체(3)에 관한 선별된 정보에 기초하여 트랙(3)이 차량(1)이 주행하는 차로에서 인접 차로로 차로를 변경하는 제2 객체 궤적(OT2)을 예측할 수 있다.
객체 궤적 예측(224)은, 트랙들 각각에 관한 정보에 기초하여 트랙들에 대응하는 객체들의 횡방향 궤적을 예측하는 횡방향 궤적 예측과 객체들의 종방향 궤적을 예측하는 종방향 궤적 예측을 포함할 수 있다. 예를 들어, 객체 궤적 예측(224)에서, 예측 모듈(220)은 트랙들의 횡방향 위치, 횡방향 속도 및/또는 정렬 각도에 기초하여 객체의 횡방향 궤적을 예측할 수 있다. 또한, 예측 모듈(220)은 트랙들의 종방향 위치 및/또는 종방향 속도에 기초하여 객체의 종방향 궤적을 예측할 수 있다.
객체 궤적 예측(224)에서, 제어부(140)는 객체들 각각의 횡방향 궤적과 종방향 궤적에 기초하여 객체들 각각의 궤적을 예측할 수 있다.
예를 들어, 예측 모듈(220)은 도 5의 (c)에 도시된 바와 같이 차량(1)이 주행하는 차로와 인접한 차로에서 주행하는 객체(4)의 종방향 위치 및 종방향 속도를 획득할 수 있다. 예측 모듈(220)은 객체(4)에 관한 정보에 기초하여 객체(4)가 차량(1)이 주행하는 차로에서 차로의 변경 없이 주행하는 제3 객체 궤적(OT3)을 예측할 수 있다.
이처럼, 예측 모듈(220)은 객체들 각각의 예측된 궤적을 궤적 생성 모듈(240)에 제공할 수 있다.
제어부(140)의 위치 측정 모듈(230)은, 내비게이션 장치(10)로부터 지도 데이터 및 차량(1)의 위치 정보를 획득할 수 있다. 위치 측정 모듈(230)은 지도 데이터 및 차량(1)의 위치 정보에 기초하여 차량(1)의 위치를 식별할 수 있다. 다시 말해, 제어부(140)는 차량(1)의 절대 좌표를 식별할 수 있다. 위치 측정 모듈(230)은 지도 데이터 및 차량(1)의 위치에 관한 정보를 궤적 생성 모듈(240)에 제공할 수 있다.
제어부(140)의 궤적 생성 모듈(240)은 예측 모듈(220)로부터 객체들의 위치 및 예측된 궤적을 획득하고, 위치 측정 모듈(230)로부터 지도 데이터 및 차량(1)의 위치를 획득할 수 있다.
궤적 생성 모듈(240)은, 객체들의 위치 및 차량(1)의 위치에 기초하여, 차량(1) 및/또는 객체들을 지도 데이터에 투영할 수 있다. 예를 들어, 궤적 생성 모듈(240)는 차량(1)의 위치 정보에 기초하여 차량(1)을 지도 데이터에 투영하고 객체들의 상대 위치 및/또는 예측 궤적에 기초하여 차량(1)의 주변 객체들을 지도 데이터에 투영할 수 있다.
궤적 생성 모듈(240)은, 객체들의 예측된 궤적에 기초하여, 차량(1)과 객체들 사이의 충돌 여부를 식별하고, 객체들과의 충돌을 회피하기 위한 차량(1)의 궤적을 생성할 수 있다.
궤적 생성 모듈(240)은 복수의 센서들(91, 92, 93)로부터 차속, 가속도 및/또는 각속도 등 차량(1)의 움직임(dynamic)에 관한 정보를 획득할 수 있다. 궤적 생성 모듈(240)은 차량(1)의 차속, 가속도 및/또는 각속도에 기초하여 차량(1)의 궤적을 예측할 수 있다. 예를 들어, 제어부(140)의 궤적 생성 모듈(240)은 도 5의 (a)에 도시된 바와 같이 차량(1)의 종방향 속도 및/또는 종방향 가속도에 기초하여 차량(1)이 현재 차로에서 계속 주행하는 제1 자기 궤적(ego trajectory) (ET1)을 예상할 수 있다.
또한, 궤적 생성 모듈(240)은 내비게이션 장치(10)로부터 목적지까지의 경로에 관한 정보를 획득할 수 있다. 궤적 생성 모듈(240)은 목적지까지의 경로에 따른 차량(1)의 궤적을 생성할 수 있다. 예를 들어, 궤적 생성 모듈(240)은 도 5의 (b) 및 도 5의 (c)에 도시된 바와 같이 목적지까지의 경로에 기초하여 차량(1)이 인접한 차로로 차로를 변경하는 제2 자기 궤적(ET2)과 제3 자기 궤적(ET3)을 생성할 수 있다.
궤적 생성 모듈(240)은 객체(2, 3, 4)의 예상된 객체 궤적(OT1, OT2, OT3)이 차량(1)의 자기 궤적(ET1, ET2, ET3)과 중첩되거나 또는 간섭되는지 여부를 식별할 수 있다.
앞서 설명된 바와 같이, 궤적 생성 모듈(240)은 차량(1)을 지도에 투영하고 객체(2, 3, 4)을 투영할 수 있다. 궤적 생성 모듈(240)은 차량(1) 및 객체(2, 3, 4)와 함께, 차량(1)의 자기 궤적(ET1, ET2, ET3)과 객체(2, 3, 4)의 예상된 객체 궤적(OT1, OT2, OT3)을 지도에 투영할 수 있다. 궤적 생성 모듈(240)은 지도의 좌표계 상에서 차량(1)의 자기 궤적(ET1, ET2, ET3)이 객체(2, 3, 4)의 예상된 객체 궤적(OT1, OT2, OT3)과 중첩되거나 또는 간섭되는지 여부를 식별할 수 있다.
궤적 생성 모듈(240)은, 차량(1)의 자기 궤적(ET1, ET2, ET3)이 객체(2, 3, 4)의 예상된 객체 궤적(OT1, OT2, OT3)과 중첩되거나 또는 간섭되는 것에 기초하여, 객체(2, 3, 4)의 예상된 객체 궤적(OT1, OT2, OT3)과 간섭되지 않는 새로운 차량(1)의 자기 궤적을 생성할 수 있다.
예를 들어, 궤적 생성 모듈(240)은 도 5의 (a)에 도시된 바와 같이 제1 객체 궤적(OT1)과 간섭되지 아니하는 제4 자기 궤적(ET4)을 생성할 수 있다. 제4 자기 궤적(ET4)에 의하면, 제1 자기 궤적(ET1)과 비교하여 주행 거리가 짧으며 차량(1)의 감속이 요구된다.
또한, 궤적 생성 모듈(240)은 도 5의 (b)에 도시된 바와 같이 제2 객체 궤적(OT2)과 간섭되지 아니하는 제5 자기 궤적(ET5)을 생성할 수 있다. 제5 자기 궤적(ET5)에 의하면, 제2 자기 궤적(ET2)과 비교하여 차로의 변경 없이 현재 차로에서 주행이 요구된다.
또한, 궤적 생성 모듈(240)은 도 5의 (c)에 도시된 바와 같이 제3 객체 궤적(OT3)과 간섭되지 아니하는 제6 자기 궤적(ET6)을 생성할 수 있다. 제6 자기 궤적(ET6)에 의하면, 제3 자기 궤적(ET3)과 비교하여 차로의 변경 없이 현재 차로에서 주행과 감속이 요구된다.
제어부(140)의 제어 모듈(250)은 구동 장치(20)를 제어하기 위한 구동 제어와, 제동 장치(30)를 제어하기 위한 제동 제어와, 조향 장치(40)를 제어하기 위한 조향 제어를 포함할 수 있다.
제어 모듈(250)은 선택된 자기 궤적(ET4, ET5, ET6)을 추종하기 위하여 구동 신호, 제동 신호 또는 조향 신호를 생성할 수 있다.
예를 들어, 제어 모듈(250)는 도 5의 (a)에 도시된 바와 같이 제4 자기 궤적(ET4)을 추종하기 위하여 차량(1)이 감속되도록 제동 장치(30)에 제동 신호를 제공할 수 있다. 제어 모듈(250)은 도 5의 (b)에 도시된 바와 같이 제5 자기 궤적(ET5)을 추종하기 위하여 차량(1)이 현재 속도를 유지하도록 구동 장치(20)에 구동 신호를 제공할 수 있다. 또한, 제어 모듈(250)은 도 5의 (c)에 도시된 바와 같이 제6 자기 궤적(ET6)을 추종하기 위하여 차량(1)이 감속되도록 제동 장치(30)에 제동 신호를 제공할 수 있다.
이상에서 설명된 바와 같이, 운전자 보조 장치(100)는 주변 객체들에 관한 정보를 획득하고, 주변 객체들의 궤적을 예측할 수 있다. 운전자 보조 장치(100)는 하나의 좌표계 상에서 주변 객체들의 예측된 궤적과 차량(1)의 예측된(또는 생성된) 궤적을 비교하여, 차량(1)의 예측된(또는 생성된) 궤적이 주변 객체들의 예측된 궤적과 간섭되는지 여부를 식별할 수 있다. 운전자 보조 장치(100)는, 차량(1)의 예측된(또는 생성된) 궤적이 주변 객체들의 예측된 궤적과 간섭되는 것에 기초하여, 차량(1)의 궤적을 변경할 수 있다.
도 6은 일 실시예에 의한 운전자 보조 장치의 동작을 도시한다.
도 6과 함께, 운전자 보조 장치(100)의 동작(1000)이 설명된다.
운전자 보조 장치(100)는 센서 퓨저 및 트랙 선택을 수행한다(1010).
제어부(140)는 카메라(110)의 영상 데이터와 레이더(120)의 레이더 데이터와 라이다(130)의 라이다 데이터를 융합하여 차량(1)의 주변 객체들을 검출할 수 있다. 제어부(140)는 카메라 트랙, 레이더 트랙 및 라이다 트랙을 서로 간에 매칭하고, 매칭 결과에 기초하여 공통 트랙을 획득할 수 있다.
제어부(140)는 복수의 공통 트랙들 중에 차량(1)의 주행과 관련된 트랙들을 선택할 수 있다. 예를 들어, 제어부(140)는 복수의 공통 트랙들 중에 차량(1)이 주행하는 차로와 동일한 차로에 위치하는 트랙 또는 차량(1)이 주행하는 차로와 인접한 차로에 위치하는 트랙을 선택할 수 있다.
운전자 보조 장치(100)는 트랙들의 특징을 평가한다(1020).
제어부(140)는 선택된 트랙들의 정보에서 트랙의 차선 변경을 예측할 수 있는 정보를 획득할 수 있다. 예를 들어, 운전자 보조 장치(100)는 선택된 트랙들의 정보 중에 트랙의 횡방향 위치, 횡방향 속도, 정렬 각도 등을 획득할 수 있다.
운전자 보조 장치(100)는 트랙들의 차로 변경을 예측한다(1030).
제어부(140)는 선별된 트랙의 정보(예를 들어, 트랙의 횡방향 위치, 횡방향 속도, 정렬 각도 등)에 기초하여, 트랙의 차로 변경 여부를 예측할 수 있다.
운전자 보조 장치(100)는 트랙의 궤적을 예측한다(1040).
제어부(140)는 트랙들 각각에 관한 정보에 기초하여 트랙들에 대응하는 객체들의 횡방향 궤적을 예측하고, 객체들의 종방향 궤적을 예측할 수 있다. 예를 들어, 제어부(140)는 트랙들의 횡방향 위치, 횡방향 속도 및/또는 정렬 각도에 기초하여 객체의 횡방향 궤적을 예측할 수 있다. 또한, 제어부(140)는 트랙들의 종방향 위치 및/또는 종방향 속도에 기초하여 객체의 종방향 궤적을 예측할 수 있다.
제어부(140)는 객체들 각각의 횡방향 궤적과 종방향 궤적에 기초하여 객체들 각각의 궤적을 예측할 수 있다.
운전자 보조 장치(100)는 차량(1)의 궤적이 트랙의 궤적과 간섭되는지 여부를 식별한다(1050).
제어부(140)는 트랙들의 위치 및 차량(1)의 위치에 기초하여, 차량(1) 및/또는 객체들을 지도 데이터에 투영할 수 있다. 또한, 제어부(140)는, 차량(1) 및 트랙과 함께, 차량(1)의 자기 궤적과 트랙의 예상된 궤적을 지도에 투영할 수 있다.
제어부(140)는 지도의 좌표계 상에서 차량(1)의 궤적이 트랙의 예상된 궤적과 중첩되거나 또는 간섭되는지 여부를 식별할 수 있다.
차량(1)의 궤적이 트랙의 궤적과 간섭되면(1050의 예), 운전자 보조 장치(100)는 트랙의 예측된 궤적에 기초하여 차량(1)의 새로운 궤적을 생성한다(1055).
제어부(140)는, 차량(1)의 궤적이 트랙의 궤적과 간섭되는 것에 기초하여, 트랙의 궤적과 간섭되지 않는 차량(1)의 궤적을 생성할 수 있다.
또한, 제어부(140)는, 차량(1)의 새로운 궤적이 트랙의 궤적과 간섭되는지 여부를 식별할 수 있다.
차량(1)의 궤적이 트랙의 궤적과 간섭되지 아니하면(1050의 아니오), 운전자 보조 장치(100)는 차량(1)이 생성된 궤적을 따라 주행하도록 차량(1)을 제어한다(1060).
제어부(140)는, 차량(1)의 궤적을 구동 신호, 제동 신호 또는 조향 신호를 생성하고, 구동 신호, 제동 신호 또는 조향 신호를 각각 구동 장치(20), 제동 장치(30) 또는 조향 장치(40)에 제공할 수 있다.
이처럼, 운전자 보조 장치(100)는 하나의 좌표계 상에서 주변 객체들의 예측된 궤적과 차량(1)의 예측된(또는 생성된) 궤적을 비교하여, 트랙들의 예측된 궤적과 간섭되지 아니하는 차량(1)의 궤적을 생성할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체'는가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로 , '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1: 차량 10: 내비게이션 장치
20: 구동 장치 30: 제동 장치
40: 조향 장치 100: 운전자 보조 장치
110: 카메라 120: 레이더
130: 라이다 140: 제어부
210: 센서 퓨전 모듈 220: 예측 모듈
221: 객체 선택 222: 특징 평가
223: 차로 변경 예측 224: 객체 궤적 예측
230: 위치 측정 모듈 240: 궤적 생성 모듈
250: 제어 모듈

Claims (20)

  1. 차량의 주행을 보조하는 장치에 있어서,
    상기 차량에 설치되어, 상기 차량 주변의 시야를 가지며, 영상 데이터를 획득하는 카메라; 및
    상기 영상 데이터를 처리하는 제어부를 포함하고,
    상기 제어부는,
    상기 영상 데이터를 처리하는 것에 기초하여, 상기 차량 주변에 위치하는 적어도 하나의 객체를 식별하고,
    상기 적어도 하나의 객체의 궤적과 상기 차량의 궤적 사이의 간섭에 기초하여, 상기 차량의 궤적을 갱신하고,
    상기 차량의 갱신된 궤적에 기초하여 상기 차량의 구동 장치, 제동 장치 또는 조향 장치 중에 적어도 하나를 제어하는 장치.
  2. 제1항에 있어서, 상기 제어부는,
    상기 차량의 궤적과 상기 적어도 하나의 객체의 예상 궤적을 하나의 좌표계 상에 투영하고,
    상기 하나의 좌표계 상에서 상기 차량의 궤적이 상기 적어도 하나의 객체의 궤적과 간섭되는지 여부를 식별하는 장치.
  3. 제1항에 있어서, 상기 제어부는,
    상기 영상 데이터를 처리하는 것에 기초하여, 상기 적어도 하나의 객체의 횡방향 속도, 횡방향 가속도, 정렬 각도, 종방향 속도 또는 종방향 가속도 중에 적어도 하나를 식별하는 장치.
  4. 제3항에 있어서, 상기 제어부는,
    상기 적어도 하나의 객체의 횡방향 속도, 횡방향 가속도 또는 정렬 각도 중에 적어도 하나에 기초하여 상기 적어도 하나의 객체가 차로를 변경하는지 여부를 식별하는 장치.
  5. 제3항에 있어서, 상기 제어부는,
    상기 적어도 하나의 객체의 횡방향 속도, 횡방향 가속도 또는 정렬 각도 중에 적어도 하나에 기초하여 상기 적어도 하나의 객체의 황방향 궤적을 예측하고,
    상기 적어도 하나의 객체의 종방향 속도 또는 종방향 가속도에 기초하여 상기 적어도 하나의 객체의 종방향 궤적을 예측하고,
    상기 황방향 궤적과 상기 종방향 궤적에 기초하여 상기 적어도 하나의 객체의 궤적을 예측하는 장치.
  6. 제1항에 있어서, 상기 제어부는,
    상기 차량의 내비게이션 장치로부터 획득된 목적지까지의 경로에 기초하여, 상기 차량의 궤적을 생성하는 장치.
  7. 제1항에 있어서, 상기 제어부는,
    상기 차량의 속도, 가속도 또는 각속도 중에 적어도 하나에 기초하여 상기 차량의 궤적을 예측하는 장치.
  8. 제1항에 있어서, 상기 제어부는,
    상기 차량의 궤적이 상기 적어도 하나의 객체의 궤적과 간섭되면, 상기 적어도 하나의 객체의 궤적을 회피하도록 상기 차량의 궤적을 갱신하는 장치.
  9. 제1항에 있어서, 상기 장치는,
    상기 차량에 설치되어, 상기 차량 주변의 시야를 가지며, 레이더 데이터를 획득하는 레이더를 더 포함하고,
    상기 제어부는,
    상기 레이더 데이터를 처리하는 것에 기초하여, 상기 차량 주변에 위치하는 적어도 하나의 객체를 식별하고,
    상기 영상 데이터를 처리한 것에 기초한 적어도 하나의 객체와 상기 레이더 데이터를 처리한 것에 기초한 적어도 하나의 객체를 통합하는 장치.
  10. 차량의 주행을 보조하는 방법에 있어서,
    상기 차량에 설치되어 상기 차량 주변의 시야를 가지는 카메라에 의하여, 영상 데이터를 획득하고;
    상기 차량에 설치된 프로세서에 의하여, 상기 영상 데이터를 처리하는 것에 기초하여, 상기 차량 주변에 위치하는 적어도 하나의 객체를 식별하고;
    상기 적어도 하나의 객체의 궤적과 상기 차량의 궤적 사이의 간섭에 기초하여, 상기 차량의 궤적을 갱신하고;
    상기 차량의 갱신된 궤적에 기초하여 상기 차량의 구동 장치, 제동 장치 또는 조향 장치 중에 적어도 하나를 제어하는 것을 포함하는 방법.
  11. 제10항에 있어서, 상기 방법은,
    상기 차량의 궤적과 상기 적어도 하나의 객체의 예상 궤적을 하나의 좌표계 상에 투영하고;
    상기 하나의 좌표계 상에서 상기 차량의 궤적이 상기 적어도 하나의 객체의 궤적과 간섭되는지 여부를 식별하는 것을 더 포함하는 방법.
  12. 제10항에 있어서, 상기 방법은,
    상기 영상 데이터를 처리하는 것에 기초하여, 상기 적어도 하나의 객체의 횡방향 속도, 횡방향 가속도, 정렬 각도, 종방향 속도 또는 종방향 가속도 중에 적어도 하나를 식별하는 것을 더 포함하는 방법.
  13. 제12항에 있어서, 상기 방법은,
    상기 적어도 하나의 객체의 횡방향 속도, 횡방향 가속도 또는 정렬 각도 중에 적어도 하나에 기초하여 상기 적어도 하나의 객체가 차로를 변경하는지 여부를 식별하는 것을 더 포함하는 방법.
  14. 제12항에 있어서, 상기 방법은,
    상기 적어도 하나의 객체의 횡방향 속도, 횡방향 가속도 또는 정렬 각도 중에 적어도 하나에 기초하여 상기 적어도 하나의 객체의 황방향 궤적을 예측하고;
    상기 적어도 하나의 객체의 종방향 속도 또는 종방향 가속도에 기초하여 상기 적어도 하나의 객체의 종방향 궤적을 예측하고;
    상기 황방향 궤적과 상기 종방향 궤적에 기초하여 상기 적어도 하나의 객체의 궤적을 예측하는 것을 더 포함하는 방법.
  15. 제10항에 있어서, 상기 방법은,
    상기 차량의 내비게이션 장치로부터 획득된 목적지까지의 경로에 기초하여, 상기 차량의 궤적을 생성하는 것을 더 포함하는 방법.
  16. 제10항에 있어서, 상기 방법은,
    상기 차량의 속도, 가속도 또는 각속도 중에 적어도 하나에 기초하여 상기 차량의 궤적을 예측하는 것을 더 포함하는 방법.
  17. 제10항에 있어서, 상기 방법은,
    상기 차량의 궤적이 상기 적어도 하나의 객체의 궤적과 간섭되면, 상기 적어도 하나의 객체의 궤적을 회피하도록 상기 차량의 궤적을 갱신하는 것을 더 포함하는 방법.
  18. 제10항에 있어서, 상기 방법은,
    상기 차량에 설치되어, 상기 차량 주변의 시야를 가지는 레이더에 의하여, 레이더 데이터를 획득하고;
    상기 프로세서에 의하여, 상기 레이더 데이터를 처리하는 것에 기초하여, 상기 차량 주변에 위치하는 적어도 하나의 객체를 식별하고;
    상기 영상 데이터를 처리한 것에 기초한 적어도 하나의 객체와 상기 레이더 데이터를 처리한 것에 기초한 적어도 하나의 객체를 통합하는 것을 더 포함하는 방법.
  19. 제10항에 기재된 방법을 실행시키기 위한 프로그램을 저장하는, 컴퓨터가 읽을 수 있는 저장 매체.
  20. 제10항에 기재된 방법을 실행시키기 위하여, 컴퓨터가 읽을 수 있는 저장 매체에 저장된 프로그램.
KR1020210051164A 2021-04-20 2021-04-20 차량의 주행을 보조하는 장치 및 그 방법 KR20220144915A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210051164A KR20220144915A (ko) 2021-04-20 2021-04-20 차량의 주행을 보조하는 장치 및 그 방법
US17/718,698 US20220332311A1 (en) 2021-04-20 2022-04-12 Apparatus for assisting driving and method thereof
CN202210415934.6A CN115214670A (zh) 2021-04-20 2022-04-20 用于辅助驾驶的设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210051164A KR20220144915A (ko) 2021-04-20 2021-04-20 차량의 주행을 보조하는 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20220144915A true KR20220144915A (ko) 2022-10-28

Family

ID=83602100

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210051164A KR20220144915A (ko) 2021-04-20 2021-04-20 차량의 주행을 보조하는 장치 및 그 방법

Country Status (3)

Country Link
US (1) US20220332311A1 (ko)
KR (1) KR20220144915A (ko)
CN (1) CN115214670A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009890A1 (en) * 2017-07-05 2019-01-10 Bae Systems Information And Electronic Systems Integration Inc. OPEN ARCHITECTURE, CORRELATION OF MULTIPLE INPUT AND REAL-TIME THREATS

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11532167B2 (en) * 2019-10-31 2022-12-20 Zoox, Inc. State machine for obstacle avoidance
US11427191B2 (en) * 2019-10-31 2022-08-30 Zoox, Inc. Obstacle avoidance action

Also Published As

Publication number Publication date
US20220332311A1 (en) 2022-10-20
CN115214670A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
US20210197807A1 (en) Advanced driver assistance system, vehicle having the same, and method of controlling vehicle
KR102588920B1 (ko) 운전자 보조 시스템, 그를 가지는 차량 및 그 제어 방법
US10906542B2 (en) Vehicle detection system which classifies valid or invalid vehicles
US20200074851A1 (en) Control device and control method
JP7044038B2 (ja) 地図情報システム
US20200326702A1 (en) Vehicle remote instruction system
US20210284162A1 (en) Method and apparatus for determination of optimal cruising lane in an assisted driving system
JP2005231450A (ja) 車両用障害物検出装置
US20220332311A1 (en) Apparatus for assisting driving and method thereof
WO2022144957A1 (ja) 車両制御装置、車両制御方法、およびプログラム
US20230073860A1 (en) Apparatus for assisting travelling of vehicle and method thereof
JP7092955B1 (ja) 車両制御装置、車両制御方法、およびプログラム
US20230286547A1 (en) Driver assistance apparatus and driver assistance method
WO2020129656A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20240005670A1 (en) Apparatus for driver assistance and method of controlling the same
US20230356716A1 (en) Apparatus and method for controlling the same
US20220348207A1 (en) Apparatus and method for assisting driving of vehicle
US11970181B2 (en) Apparatus and method for assisting in driving vehicle
KR102665635B1 (ko) 차량의 주행을 보조하는 장치 및 그 방법
US20240051525A1 (en) Apparatus for driver assistance and method for driver assistance
US20240149876A1 (en) Driver assistance apparatus and driver assistance method
US20240010231A1 (en) Apparatus for driver assistance and method of controlling the same
WO2020261703A1 (ja) 情報処理装置と情報処理方法およびプログラム
KR20240068247A (ko) 운전자 보조 장치 및 운전자 보조 방법
KR20220144917A (ko) 차량의 주행을 보조하는 장치 및 그 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal