KR20210031011A - 객체 인식 장치 및 그 방법 - Google Patents

객체 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR20210031011A
KR20210031011A KR1020190111882A KR20190111882A KR20210031011A KR 20210031011 A KR20210031011 A KR 20210031011A KR 1020190111882 A KR1020190111882 A KR 1020190111882A KR 20190111882 A KR20190111882 A KR 20190111882A KR 20210031011 A KR20210031011 A KR 20210031011A
Authority
KR
South Korea
Prior art keywords
tolerance range
information
vehicle
guard rail
moving object
Prior art date
Application number
KR1020190111882A
Other languages
English (en)
Other versions
KR102628027B1 (ko
Inventor
표은종
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020190111882A priority Critical patent/KR102628027B1/ko
Priority to US17/016,501 priority patent/US11667295B2/en
Publication of KR20210031011A publication Critical patent/KR20210031011A/ko
Application granted granted Critical
Publication of KR102628027B1 publication Critical patent/KR102628027B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60W30/165—Automatically following the path of a preceding lead vehicle, e.g. "electronic tow-bar"
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/22—Platooning, i.e. convoy of communicating vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • B60Y2300/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60Y2300/165—Automatically following the path of a preceding lead vehicle, e.g. "electronic tow-bar"

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 개시는 객체 인식 장치 및 그 방법에 관한 것이다. 구체적으로, 본 개시에 따른 객체 인식 장치는 차량의 주행 정보 및 차량의 주변이 감지된 주변 감지 정보에 기초하여 객체 정보를 수집하는 객체 정보 수집부와, 미리 설정된 제1 관용 범위에 해당되는 객체를 객체 정보에 기초하여 선별하는 객체 선별부와, 제1 관용 범위에 해당되는 객체 중에서 이동 객체가 존재하는 경우, 주행 정보 및 객체 정보에 기초하여 제2 관용 범위를 설정하는 관용 범위 설정부 및 객체 정보에 기초하여 이동 객체가 제2 관용 범위에 해당되는지 여부를 판단하고, 제2 관용 범위에 해당되는 이동 객체의 객체 정보에 기초하여 가드레일로 인식하는 가드레일 인식부를 포함한다.

Description

객체 인식 장치 및 그 방법{Apparatus and Method for recognizing an object}
본 개시는 객체 인식 장치 및 그 방법에 관한 것이다.
종래부터 차량용 레이더 장치에 의해 측정되는 객체까지의 거리, 상대 속도 및 각도값 등의 측정 결과는 자차량이 전방의 장애물에 충돌했을 때의 피해를 경감시키는 충돌 피해 경감 브레이크 시스템(CMB:Collision Mitigation Brake), 전방의 차량에 추종하는 어댑티브 크루즈 컨트롤 시스템(ACC:Adaptive Cruise Control), 차량의 주행 중에 후측방에서 다른 차량이 접근해 오고, 차선 변경 등에 위험이 있을 때 운전자에게 경보하고 차량 운전의 안전성을 향상시키려고 하는 후측방 감시 시스템(BSW: Blind Spot Warning) 등 차량의 안전성이나 쾌적성을 향상시키기 위한 차량용 애플리케이션으로 활용되어 있다.
전술한 BSW 등의 자차량의 측방을 감시하는 시스템에 있어서는 레이더 장치에 의해 자차량의 측방에 현재 검지되어 있는 물체가 경보 대상의 물체인지를 판정할 필요가 있다. 특히 도로의 측방에는 가드레일 등의 구조물이 존재할 경우가 많아 물체가 가드레일 등의 구조물이거나 혹은 다른 차량인지를 식별할 필요가 있다.
일반적으로 레이더 장치에서는 상대속도를 검출할 수 있다. 이 때문에 상대속도의 차이에 의해 객체가 구조물이나 다른 차량인지를 식별하는 것은 어느 정도 가능하다. 그렇지만 FMCW(Frequency-Modulated Continuous-Wave) 방식과 같이 레이더 장치에 있어서, 도플러 성분을 이용해 객체의 상대속도를 산출할 경우, 레이더 장치를 중심으로 한 원의 접선에 대해서 수직의 방향의 상대속도 성분 밖에 관측할 수 없다. 이 때문에 자차량의 바로 옆을 다른 차량이 통과할 경우, 당해 외차의 도플러 성분은 제로가 되어 상대속도를 검출할 수 없다. 같이 자차량의 바로 옆에 존재하는 가드레일 등의 구조물의 도플러 성분도 제로가 된다. 이 결과, 자차량의 측방을 다른 차량이 앞지를 경우에 구조물과 다른 차량의 식별이 곤란해진다.
이러한 배경에서, 본 개시는 물리적 특성이 왜곡되더라도 가드레일 등과 같은 구조물을 정확히 인식하는 객체 인식 장치 및 그 방법을 제공하고자 한다.
또한, 본 개시는 가드레일 등과 같은 구조물을 정확히 인식함으로써 운전자에게 주행 편의성과 주행 안정성을 제공하는 객체 인식 장치 및 그 방법을 제공하고자 한다.
전술한 과제를 해결하기 위하여, 일 측면에서, 본 개시는 차량의 주행 정보 및 차량의 주변이 감지된 주변 감지 정보에 기초하여 객체 정보를 수집하는 객체 정보 수집부와, 미리 설정된 제1 관용 범위에 해당되는 객체를 객체 정보에 기초하여 선별하는 객체 선별부와, 제1 관용 범위에 해당되는 객체 중에서 이동 객체가 존재하는 경우, 주행 정보 및 객체 정보에 기초하여 제2 관용 범위를 설정하는 관용 범위 설정부 및 객체 정보에 기초하여 이동 객체가 제2 관용 범위에 해당되는지 여부를 판단하고, 제2 관용 범위에 해당되는 이동 객체의 객체 정보에 기초하여 가드레일로 인식하는 가드레일 인식부를 포함하는 객체 인식 장치를 제공한다.
다른 측면에서, 본 개시는 차량의 주행 정보 및 차량의 주변이 감지된 주변 감지 정보에 기초하여 객체 정보를 수집하는 객체 정보 수집 단계와, 미리 설정된 제1 관용 범위에 해당되는 객체를 객체 정보에 기초하여 선별하는 객체 선별 단계와, 제1 관용 범위에 해당되는 객체 중에서 이동 객체가 존재하는 경우, 주행 정보 및 객체 정보에 기초하여 제2 관용 범위를 설정하는 관용 범위 설정 단계 및 객체 정보에 기초하여 이동 객체가 제2 관용 범위에 해당되는지 여부를 판단하고, 제2 관용 범위에 해당되는 이동 객체의 객체 정보에 기초하여 가드레일로 인식하는 가드레일 인식 단계를 포함하는 객체 인식 방법을 제공한다.
이상에서 설명한 바와 같이, 본 개시에 의하면, 본 개시는 물리적 특성이 왜곡되더라도 가드레일 등과 같은 구조물을 정확히 인식하는 객체 인식 장치 및 그 방법을 제공할 수 있다.
또한, 본 개시에 의하면, 본 개시는 가드레일 등과 같은 구조물을 정확히 인식함으로써 운전자에게 주행 편의성과 주행 안정성을 제공하는 객체 인식 장치 및 그 방법을 제공할 수 있다.
도 1은 본 개시에 따른 차량 제어 시스템을 설명하는 블록도이다.
도 2는 본 개시에 따른 객체 인식 장치를 설명하는 블록도이다.
도 3은 본 개시에 따라 객체 정보를 수집하는 실시예를 나타낸 도면이다.
도 4는 도 3에 도시된 실시예를 설명하기 위한 흐름도이다.
도 5는 본 개시에 따라 관용 범위에 해당되는 객체를 선별하는 일 실시예를 나타낸 도면이다.
도 6은 도 5에 도시된 실시예를 설명하기 위한 흐름도이다.
도 7은 본 개시에 따라 관용 범위에 해당되는 객체를 예시적으로 나타낸 도면이다.
도 8은 본 개시에 따라 관용 범위에 해당되는 객체를 선별하는 다른 실시예를 나타낸 도면이다.
도 9는 도 8에 도시된 실시예를 설명하기 위한 흐름도이다.
도 10은 본 개시에 따라 이동 객체 중에서 유효 데이터를 선별하고 가드레일을 인식하는 일 실시예를 설명하기 위한 흐름도이다.
도 11은 본 개시에 따라 관용 범위에 해당되는 객체를 선별하고 가드레일을 인식하는 다른 실시예를 설명하기 위한 흐름도이다.
도 12는 본 개시에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 본 개시의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 개시에 따른 차량 제어 시스템(100)을 설명하는 블록도이다.
도 1을 참조하면, 본 개시에 따른 차량 제어 시스템(100)은 제1 센서(110)와, 제2 센서(120)와, 컨트롤러(130) 및 액추에이터(140) 등을 포함할 수 잇다.
제1 센서(110)는 차량의 외부에 대한 시야를 갖도록 차량에 배치되어 주변 감지 정보를 획득하도록 구성될 수 있다. 여기서, 주변 감지 정보는 차량의 주변 환경(보행자, 도로, 차선, 인프라 등) 차량의 외부에 대한 시야는 차량의 외부에 대한 감지 영역을 의미할 수 있다.
제1 센서(110)는 하나 이상일 수 있으며, 적어도 하나의 제1 센서(110)는 차량의 전방, 측방 또는 후방에 대한 시야를 갖도록 차량의 각 부분에 탑재될 수 있다.
제1 센서(110)는 이미지 데이터를 캡처하는 이미지 센서, 비이미지 데이터를 센싱하는 비-이미지 센서 등을 포함할 수 있다. 예를 들어, 제1 센서(110)는 이미지 센서에 해당하는 카메라, 라이다(LiDAR, 113)와, 비이미지 센서에 해당하는 레이더(RADAR, 111), 초음파 센서 등을 포함한다.
여기서, 이미지 센서부터 촬영된 영상 정보는 이미지 데이터로 구성되므로, 이미지 센서로부터 캡쳐된 이미지 데이터를 의미할 수 있다. 이하, 본 개시에서는 이미지 센서로부터 촬영된 영상 정보는 이미지 센서로부터 캡쳐된 이미지 데이터를 의미한다.
이미지 센서에 의해 캡쳐된 이미지 데이터는, 예를 들어, Raw 형태의 AVI, MPEG-4, H.264, DivX, JPEG 중 하나의 포맷으로 생성될 수 있다. 제1 센서(110)에서 캡쳐된 이미지 데이터는 프로세서에서 처리될 수 있다.
이미지 센서는 화각 및 분해능이 상대적으로 우세한 이미지 센서일 수 있다. 예를 들어, 이미지 센서의 화각은 약 100°이고, 분해능은 약 10μm일 수 있다. 하지만, 이에 한정되는 것은 아니며, 본 개시의 이미지 센서는 구현 가능한 센서들 중 가장 넓은 화각을 구비하는 센서를 의미할 수 있다.
비-이미지 센서는 차량의 외부에 대한 감지 영역을 갖도록 차량에 배치되어 주변 감지 정보를 획득하도록 구성될 수 있다.
이러한 비-이미지 센서는 채널이 상대적으로 많고 각도 분해능이 상대적으로 우세한 비-이미지 센서일 수 있다. 예를 들어, 비-이미지 센서의 각도 분해능은 5°일 수 있다. 하지만, 이에 한정되는 것은 아니며, 본 개시의 비-이미지 센서는 구현 가능한 센서들 중 가장 우수한 각도 분해능을 구비하는 센서를 의미할 수 있다.
제2 센서(120)는 차량 내부 정보를 센싱하기 위한 센서를 의미한다. 예를 들면, 제2 센서(120)는 차량의 속도를 센싱하는 차속 센서(121), 조향 각도를 센싱하는 조향각 센서(122), 조향 토크를 센싱하는 토크 센서(123) 또는 차량의 요레이트를 감지하는 요레이트 센서(124) 중 적어도 하나를 포함할 수 있다. 또한, 이 외에도 제2 센서(120)는 차량의 제동력을 감지하는 브레이크 센서, 조향 모터에 대한 정보를 센싱하는 모터 위치 센서, 차량의 움직임을 센싱하는 차량 움직임 감지 센서 또는 차량 자세 감지 센서 등과 같이, 차량 내부의 다양한 데이터를 센싱하기 위한 센서를 필요에 따라 더 포함할 수 있다.
컨트롤러(130)는 제1 센서(110) 및 제2 센서(120) 중 적어도 하나의 센서로부터 획득된 데이터를 처리할 수 있다. 구체적으로, 컨트롤러(130)는 제1 센서(110) 및 제2 센서(120) 각각으로부터 데이터를 입력받고, 특정 대상(가드레일, 신호등, 보행자 등)을 인식할 수 있고, 차량을 제어하는 제어 신호를 출력할 수 있다.
예를 들어, 컨트롤러(130)는 제1 센서(110)로부터 입력받은 주변 감지 정보와 제1 센서(110)로부터 입력받은 주행 정보를 이용하여 객체(또는 타겟이라 함)를 인식하고, 객체에 대한 특성(이동 속도, 위치, 입사각, 색상 등)을 분석하여, 가드레일과 같은 구조물로 인식하기 위한 조건에 부합하는 객체를 가드레일과 같은 구조물로 인식한다.
다른 예를 들어, 컨트롤러(130)는 제1 센서(110)로부터 입력받은 주변 감지 정보를 이용하여 타겟을 감지 및 인식하고, 타겟의 위치, 속도, 이동 방향 등의 물리량 정보를 획득한다. 그리고, 컨트롤러(130)는 제2 센서(120)로부터 입력받은 주변 감지 정보를 이용하여 차량의 속도, 차량의 위치 등 물리량 정보를 획득한다. 그 다음, 컨트롤러(130)는 획득된 물리량 정보를 이용하여 타겟과 차량 간의 충돌 가능성을 판단하고, 충돌 가능성이 있다고 판단한 경우, 경보 제어, 차량의 거동(감속, 제동, 회피 조향 등) 제어 등의 제어를 수행하는 제어 신호를 액추에이터(140)에 출력한다.
한편, 컨트롤러(130)는 ADAS(Adaptive Driving Assistance System) 기능을 수행할 수 있다. 여기서, ADAS는 다양한 종류의 첨단 운전자 보조 시스템을 의미할 수 있으며, 운전자 보조 시스템으로는 예를 들면, 긴급 제동 시스템(Autonomous Emergency Braking), 스마트 주차 보조 시스템(SPAS: Smart Parking Assistance System), 사각 감지(BSD: Blind Spot Detection) 시스템, 적응형 크루즈 컨트롤(ACC: Adaptive Cruise Control) 시스템, 차선 이탈 경고 시스템(LDWS: Lane Departure Warning System), 차선 유지 보조 시스템(LKAS: Lane Keeping Assist System), 차선 변경 보조 시스템(LCAS: Lane Change Assist System) 등을 포함할 수 있다. 하지만, 이에 한정되는 것은 아니다.
컨트롤러(130)는 전자 제어 유닛(ECU: Electro Controller Unit), 마이크로 컨트롤러(130) 유닛(MCU: Micro Controller Unit) 등을 이용하여 구현 가능하다.
액추에이터(140)는 컨트롤러(130)의 제어 동작에 따라 구동할 수 있다. 구체적으로, 컨트롤러(130)가 제어 신호를 출력하면, 액추에이터(140)는 제어 신호를 입력받고, 제어 신호에 의해 지시되는 제어 동작을 수행하도록 구동할 수 있다.
이러한 액추에이터(140)는 예를 들어, 액추에이터(140)는 차량의 제동을 수행하는 제동 액추에이터(Braking actuator), 차량의 회피 조향을 수행하는 조향 액추에이터(Steering actuator), 경보 메시지를 운전자에게 시각적으로 표시하는 디스플레이(Display), 경고음을 출력하는 경보 액추에이터(Alarm actuator), 운전자에게 촉각적으로 알리는 햅틱 액추에이터(Haptic actuator) 등을 포함할 수 있다. 하지만, 이에 한정되는 것은 아니다.
이하에서는 전술한 컨트롤러(130)의 기능을 모두 수행할 수 있는 객체 인식 장치를 구체적으로 설명한다.
도 2는 본 개시에 따른 객체 인식 장치(200)를 설명하는 블록도이다.
도 2를 참조하면, 본 개시에 따른 객체 인식 장치(200)는 객체 정보 수집부(210)와, 객체 선별부(220)와, 관용 범위 설정부(230) 및 가드레일 인식부(240) 등을 포함할 수 있다.
객체 정보 수집부(210)는 차량의 주행 정보 및 차량의 주변이 감지된 주변 감지 정보에 기초하여 객체 정보를 수집할 수 있다.
여기서, 차량의 주행 정보는 제2 센서(120)에 의해 검출된 정보일 수 있으며, 주행 정보는 예를 들어, 차속, 요레이트, 조향 휠의 조향각, 바퀴의 조타각 등을 포함할 수 있다.
여기서, 주변 감지 정보는 제1 센서(110)에 의해 감지된 정보일 수 있으며, 주변 감지 정보는 예를 들어, 차량의 전방, 측방, 후방 또는 이들의 조합이 감지된 정보이다. 하지만, 이에 한정되는 것은 아니다.
여기서, 객체 정보는 객체에 대한 정보를 의미할 수 있으며, 객체에 대한 물리적 정보를 모두 포함할 수 있다. 예를 들어, 객체 정보는 객체의 위치, 절대 속도, 이동 방향, 색상, 외형, 종류, 차량에 대한 객체의 상대 속도 등을 포함할 수 있다.
객체 정보는 제1 센서(110)에 의해 감지되어 정지하는 것으로 인식되는 정지 객체에 대한 정지 객체 정보와 제1 센서(110)에 의해 감지되어 움직이는 것으로 인식되는 이동 객체에 대한 이동 객체 정보 중 적어도 하나의 정보를 포함할 수 있다.
예를 들면, 객체 정보 수집부(210)는 주행 정보와 주변 감지 정보에 기초하여 차량에 대한 객체의 상대 속도를 계산하고, 상대 속도에 따라 구분되는 이동 객체 및 정지 객체 중에서, 적어도 하나의 객체에 대한 객체 정보를 수집한다.
객체 선별부(220)는 미리 설정된 제1 관용 범위에 해당되는 객체를 객체 정보에 기초하여 선별할 수 있다.
여기서, 제1 관용 범위는 가드레일 등과 같은 특정 구조물을 인식하기 위한 조건을 의미할 수 있다. 예를 들어, 제1 관용 범위는 일정한 범위 내에 군집된 객체일 것, 하나 이상의 군집된 객체 간의 종방향 간격이 차량을 기준으로 규칙적일 것 등을 의미한다. 하지만, 이에 한정되는 것은 아니며, 보다 구체적인 내용은 도 5 및 도 6을 참조하여 후술한다.
관용 범위 설정부(230)는 제1 관용 범위에 해당되는 객체 중에서 이동 객체가 존재하는 경우, 주행 정보 및 객체 정보에 기초하여 제2 관용 범위를 설정할 수 있다.
여기서, 제2 관용 범위는 제1 관용 범위와 유사하게 가드레일 등과 같은 특정 구조물을 인식하기 위한 조건을 의미할 수 있다. 가드레일 등과 같은 구조물은 일반적으로 제1 센서(110), 예를 들어 레이더에 의해 감지되면, 전술한 정지 객체로 인식될 수 있지만, 전술한 구조물 중 일부분이 레이더에 의해 감지될 경우, 구조물의 입사각에 의해 이동 객체로 인식될 수도 있다. 따라서, 이렇게 이동 객체로 인식될 수 있는 구조물도 제1 관용 범위와 별도로 설정된 제2 관용 범위를 통해 가드레일 등과 같은 특정 구조물로 인식될 수 있다.
가드레일 인식부(240)는 객체 정보에 기초하여 이동 객체가 제2 관용 범위에 해당되는지 여부를 판단하고, 제2 관용 범위에 해당되는 이동 객체의 객체 정보에 기초하여 가드레일로 인식할 수 있다.
한편, 제1 관용 범위에 포함된 객체가 정지 객체인 경우, 가드레일 인식부(240)는, 제1 관용 범위에 포함된 객체의 객체 정보에 기초하여 가드레일로 인식할 수 있다.
전술한 바에 의하면, 본 개시에 따른 객체 인식 장치(200)는 센서에 의해 감지된 객체에 대한 물리적 특성이 왜곡되더라도 가드레일 등과 같은 특정 구조물을 정확히 인식할 수 있는 효과를 제공한다.
이하에서는 객체 정보를 수집하는 실시예를 설명한다.
도 3은 본 개시에 따라 객체 정보를 수집하는 실시예를 나타낸 도면이고, 도 4는 도 3에 도시된 실시예를 설명하기 위한 흐름도이다.
도 3을 참조하면, 본 개시에 따른 객체 인식 장치(200)를 포함하고 차량 제어 시스템(100)을 수행 가능한 차량(300)이 주행하는 경우, 차량(300)에 탑재된 제1 센서(110)는 감지 영역 내에 위치하는 가드레일 등과 같은 구조물(310)과 다른 차량(320) 등을 감지할 수 있다. 여기서, 제1 센서(110)는 도 3에 도시된 바와 같이, 차량(300)의 후방에 탑재되어 차량(300)의 후측방을 일정한 감지 영역을 가지고 객체를 감지할 수 있으나, 이에 한정되는 것은 아니고, 차량(300)의 전방에 탑재되어 차량(300)의 전방을 감지할 수 있다.
한편, 제1 센서(110), 예를 들어 레이더의 경우, 레이더는 일정한 감지 영역에 해당하는 방사 영역을 통해 레이더 신호를 객체(가드레일, 다른 차량(320) 등)를 향하여 송신하고, 객체로부터 반사된 레이더 신호를 수신하여 이를 도플러 효과 등을 이용해 처리하며, 객체를 검출하고, 객체의 이동 속도 등과 같은 객체의 물리적 특성을 검출할 수 있다.
주행하는 차량(300)에 탑재된 객체 인식 장치(200)는 차량(300)의 차속 등 주행 정보와 주변 감지 정보를 이용하여 차량(300)에 대한 객체의 상대 속도를 산출할 수 있으며, 산출된 객체의 상대 속도를 이용하여 정지 객체, 이동 객체를 구분할 수 있다.
도 4를 참조하여 예를 들면, 객체 인식 장치(200)는 제2 센서(120)에 의해 검출된 주행 정보를 수신하고(S111), 수신된 주행 정보로부터 차속 정보를 획득한다(S112).
한편, 객체 인식 장치(200)는 제1 센서(110)에 의해 감지된 주변 감지 정보를 수신하고(S113), 수신된 주변 감지 정보로부터 객체의 이동 속도 정보를 획득한다(S114).
그 다음, 객체 인식 장치(200)는 차량(300)의 차속과 객체의 이동 속도를 이용하여 차량(300)에 대한 객체의 상대 속도를 계산한다(S120).
여기서, 상대 속도는 아래와 같은 수식에 의해 계산될 수 있다.
[수식 1]
Figure pat00001
그 다음, 객체 인식 장치(200)는 차량(300)에 대한 객체의 상대 속도의 크기가 차량(300)의 차속과 크기가 같고, 차량(300)에 대한 객체의 상대 속도의 방향이 차량(300)의 차속의 방향과 반대인지 여부를 판단한다(S130).
차량(300)에 대한 객체의 상대 속도가 전술한 조건(S130)을 만족하면, 객체 인식 장치(200)는 그 객체를 정지 객체로 인식하고(S141), 정지 객체에 대한 정지 객체 정보를 수집한다(S151).
한편, 차량(300)에 대한 객체의 상대 속도가 전술한 조건(S130)을 만족하지 않으면, 객체 인식 장치(200)는 그 객체를 이동 객체로 인식하고(S142), 이동 객체에 대한 이동 객체 정보를 수집한다(S152).
전술한 바에 의하면, 본 개시에 따른 객체 인식 장치(200)는 차량(300)에 대한 객체의 상대 속도를 이용하여 정지 객체 및 이동 객체를 구분함으로써 가드레일 등과 같은 구조물(310)을 보다 빠르게 인식할 수 있는 효과를 제공한다.
한편, 정지 객체, 이동 객체 모두 일정 범위 안에 포함되어 군집화(Clustering)될 수 있으며, 군집화된 객체가 일정 조건에 해당하면, 그 객체는 가드레일 등과 같은 구조물(310)로 인식될 수 있다.
이하에서는 관용 범위에 해당되는 객체를 선별하는 실시예를 설명한다.
도 5는 본 개시에 따라 관용 범위에 해당되는 객체를 선별하는 일 실시예를 나타낸 도면이고, 도 6은 도 5에 도시된 실시예를 설명하기 위한 흐름도이다.
도 5를 참조하면, 제1 센서(110)가 레이더인 경우, 레이더는 가드레일, 다른 차량(320) 등 객체의 표면에서 반사된 점을 도 5에 도시된 바와 같이 표시할 수 있다.
이때, 객체 인식 장치(200)는 반사된 점들 중에서 일정한 범위에 포함된 점들을 군집화, 그룹화하고, 군집화된 군집들(410, 420, 430) 간의 종방향 분포를 확인하여, 일정한 종방향 간격으로 존재하는 객체들을 선별할 수 있다.
도 6을 참조하여 예를 들면, 객체 인식 장치(200)는 객체 정보를 수집하고(S210), 객체 정보를 이용해 객체들을 일정 기준에 따라 군집화한다(S220).
예를 들면, 객체 선별부(220)는 객체 정보에 포함된 객체에 대하여 군집화(Clustering) 기법을 이용해 일정 범위 내에서 위치하는 객체를 군집화(Clustering)한다.
그 다음, 객체 인식 장치(200)는 군집화된 군집(410, 420, 430)의 종방향 분포를 확인하고(S230), 일정 기준에 해당되는 객체를 선별한다(S240).
예를 들면, 객체 선별부(220)는 군집화된 군집(410, 420, 430)의 종방향 분포를 확인하여 미리 설정된 기준 종방향 간격 내에서 분포된 군집(410, 420, 430)에 대응되는 객체를 선별한다.
전술한 바에 의하면, 본 개시에 따른 객체 인식 장치(200)는 군집화 기법을 통해 객체를 부분적으로 선별함으로써 가드레일 등과 같은 구조물(310)을 정확히 인식할 수 있는 효과를 제공한다.
한편, 전술한 군집(410, 420, 430)에 포함된 객체는 주로 정지 객체일 수 있지만, 군집(410, 420, 430)에 포함된 일부 객체는 이동 객체일 수 있다. 이때, 이동 객체는 실제 움직이는 객체가 제1 센서(110)에 의해 감지된 것일 수도 있지만, 움직이지 않는 구조물(310)이 제1 센서(110), 예를 들어 레이더에 의해 감지된 경우, 일부 이동 객체로 인식될 수도 있다.
구조물(310)이 이동 객체로 인식되는 경우에도 가드레일 등과 같은 구조물(310)로 인식될 필요가 있다.
도 7은 본 개시에 따라 관용 범위에 해당되는 객체를 예시적으로 나타낸 도면이고, 도 8은 본 개시에 따라 관용 범위에 해당되는 객체를 선별하는 다른 실시예를 나타낸 도면이며, 도 9는 도 8에 도시된 실시예를 설명하기 위한 흐름도이다.
도 7을 참조하면, 일반적으로 가드레일 등 움직이지 않는 구조물(310)은 일정한 특징을 가지고 있다. 예를 들면, 구조물(310)의 상대 속도의 경우, 상대 속도의 크기는 차속의 크기과 동일하고, 상대 속도의 방향은 차속의 방향과 반대일이다.
따라서, 도 7에 도시된 바와 같이, 상대 속도의 크기가 일정하고, 도 5 및 도 6을 참조하여 전술한 바와 동일한 군집화 방법으로 군집화된 제1 군집(510)의 종방향 분포가 미리 설정된 기준 간격 내에 분포된 경우, 그 객체들은 가드레일 등과 같은 구조물(310)로 쉽게 인식될 수 있다.
그러나, 도 7에 도시된 바와 같이, 도 5 및 도 6을 참조하여 전술한 바와 동일한 군집화 방법으로 군집화된 제2 군집(520)의 경우, 가드레일 등과 같은 구조물(310)이 이동 객체로서 제1 센서(110)에 의해 감지되어 제2 군집(520)에 포함될 수 있으며, 이 경우, 제1 군집(510)과 달리 제2 군집(520)의 종방향 분포는 미리 설정된 기준 간격 내에서 분포되어 있지만, 그 상대 속도는 일정하지 않을 수 있다.
이는 제1 센서(110), 예를 들어 레이더가 차량(300)의 측방에 배치된 경우, 측방 레이더의 특성상 정지 객체의 상대 속도가 객체의 입사각을 통해 왜곡되는 물리적인 특성이 발생하기 때문이다.
따라서, 이러한 물리적인 특성으로 인해 가드레일 등과 같은 구조물(310)을 판단하는 초기 조건인 제1 관용 범위를 이용해 객체 정보를 수집하는 과정에서 오류가 생길 수 있다.
도 8을 참조하여 예를 들면, 제1 센서(110), 예를 들어 측방 레이더로부터 탐지되는 객체들은 객체의 입사각(Φ)의 물리적인 영향을 받을 수 있다. 객체의 입사각도가 반영된 도플러(Doppler) 값이 추출되고 이는 객체의 상대속도의 오류를 발생 시킨다. 또한, 이러한 오류는 제1 센서(110)의 장착 각도(θ)에 의해서 더욱 증가할 수 있다.
따라서, 객체 인식 장치(200)는 차량(300)의 차속(v)과 객체의 입사각(Φ)에 기초하여 제2 관용 범위를 설정하고, 제2 관용 범위에 기초하여 이동 객체 중에서 유효 데이터를 선별할 수 있다.
예를 들면, 관용 범위 설정부(230)는 주행 정보로부터 차량(300)의 차속을 획득하고, 객체 정보로부터 이동 객체의 입사각을 추출하며, 입사각 및 차속에 기초하여 제2 관용 범위를 설정할 수 있다. 그리고, 가드레일 인식부(240)는 제2 관용 범위를 이용하여 이동 객체 중에서 가드레일로 인식 가능한 유효 데이터를 선별한다.
도 8을 참조하여 보다 구체적으로 예를 들면, 관용 범위 설정부(230)는 차속(v)의 방향과 반대인 방향이고 차속(v)의 크기와 동일한 기준 벡터(-v)를 산출하고, 기준 벡터(-v)에서 입사각만큼 벌어진 단위 벡터(e)를 산출하고, 기준 속도(-v)를 단위 벡터(e) 상으로 사영(Projection) 연산을 수행하고, 사영 연산으로 산출된 기준 속도를 제2 관용 범위로 설정한다.
이때, 관용 범위 설정부(230)는 기준 벡터에서 미리 저장된 레이더 센서의 장착 각도와 입사각을 합한 각도만큼 벌어진 단위 벡터를 산출할 수 있다.
전술한 제2 관용 범위는 아래와 같은 [수식 2]에 의해 구체적으로 결정될 수 있다.
[수식 2]
Figure pat00002
vref는 기준 속도이고, vhost vheicle은 차량(300)의 차속이고, Φ는 제1 센서(110)가 레이더인 경우에 객체의 입사각이며, θ는 제1 센서(110)의 장착 각도이다.
도 9를 참조하여 예를 들면, 객체 인식 장치(200)는 주행 정보를 수신하고(S311), 주행 정보로부터 차속 정보를 획득한다(S312), 한편 객체 인식 장치(200)는 객체 정보를 수집하고(S313), 객체 정보로부터 이동 객체의 입사각을 추출한다(S314). 한편, 객체 인식 장치(200)는 제1 센서(110)의 장착 각도를 추출한다(S315). 여기서, 제1 센서(110)의 장착 각도는 객체 인식 장치(200)에 포함된 메모리(미도시)에 미리 저장될 수 있다.
한편, 객체 인식 장치(200)는 차속, 이동 객체의 입사각 및 제1 센서(110)의 장착 각도를 전술한 [수식 2]에 대입하여 기준 속도를 산출하고(S320), 관용 범위를 설정한다(S330). 여기서, 관용 범위는 제2 관용 범위를 의미한다.
전술한 바에 의하면, 본 개시에 따른 객체 인식 장치(200)는 객체의 물리적 특성이 왜곡되더라도 가드레일 등과 같은 구조물(310)을 인식하는 기준을 설정함으로써 오동작을 방지하는 효과를 제공한다.
도 10은 본 개시에 따라 이동 객체 중에서 유효 데이터를 선별하고 가드레일을 인식하는 일 실시예를 설명하기 위한 흐름도이다.
도 10을 참조하면, 본 개시에 따른 객체 인식 장치(200)는 객체 정보를 수집하고(S410), 객체 정보로부터 이동 객체의 상대 속도를 획득한다(S420).
예를 들면, 가드레일 인식부(240)는 객체 정보로부터 이동 객체의 상대 속도를 획득한다.
그 다음, 객체 인식 장치(200)는 차량(300)에 대한 객체의 상대 속도를 제2 관용 범위와 비교한다(S430). 구체적으로 객체 인식 장치(200)는 차량(300)에 대한 객체의 상대 속도를 제2 관용 범위로 설정된 기준 속도와 일정 오차 범위 내에서 동일한지 여부를 판단한다.
예를 들면, 가드레일 인식부(240)는 이동 객체의 상대 속도와 제2 관용 범위에 포함된 기준 속도를 비교하고, 비교 결과에 기초하여 이동 객체가 제2 관용 범위에 해당되는지 여부를 판단한다.
다른 예를 들면, 가드레일 인식부(240)는 이동 객체의 상대 속도와 기준 속도 간의 차이값을 계산하고, 차이값이 미리 설정된 오차 범위 이내이면, 이동 객체가 제2 관용 범위에 해당되는 것으로 판단한다.
상대 속도가 제2 관용 범위 동일한 경우(상대 속도가 제2 관용 범위에 해당하는 경우), 객체 인식 장치(200)는 그 이동 객체에 대한 이동 객체 정보를 유효 데이터로 인식하고(S440), 이동 객체의 입사각에 따른 상대 속도를 역보상하며(S450), 보상 후 가드레일 정보를 생성 및 출력한다(S460).
예를 들면, 이동 객체가 제2 관용 범위에 해당되면, 가드레일 인식부(240)는 이동 객체의 상대 속도를 역보상하여 보정 객체 정보를 생성하고, 보정 객체 정보에 포함된 보정 객체를 가드레일로 인식한다.
한편, 상대 속도가 제2 관용 범위와 동일하지 않는 경우, 객체 인식 장치(200)는 이동 객체의 이동 객체 정보를 유효 데이터에서 제외한다(S470)
전술한 바에 의하면, 본 개시에 따른 객체 인식 장치(200)는 가드레일을 정확하게 인식할 수 있는 효과를 제공한다.
도 11은 본 개시에 따라 관용 범위에 해당되는 객체를 선별하고 가드레일을 인식하는 다른 실시예를 설명하기 위한 흐름도이다.
도 11을 참조하면, 본 개시에 따른 객체 인식 장치는 제1 센서(110)인 레이더로부터 레이더 정보를 수집하고(S510), 제2 센서(120)로부터 주행 정보를 수집한다(S520).
그 다음, 객체 인식 장치(200)는 레이더 정보와 주행 정보를 이용하여 정지 객체 정보를 수집한다(S530).
그 다음, 객체 인식 장치(200)는 정지 객체인 가드레일의 횡방향 위치를 추정하고, 가드레일을 커브 피팅한다(S540).
그 다음, 객체 인식 장치(200)는 제1 관용 범위에 해당되는 이동 객체가 있는지 여부를 확인하며(S550), 제1 관용 범위에 해당되는 이동 객체가 없는 경우, 객체 인식 장치(200)는 다시 정지 객체 정보를 수집한다(S530).
만약, 제1 관용 범위에 해당되는 이동 객체가 있는 경우, 객체 인식 장치(200)는 차량(300)에 대한 이동 객체의 상대 속도를 계산하고(S560), 이동 객체가 제2 관용 범위에 해당되는지 여부를 확인한다(S570).
이동 객체가 제2 관용 범위에 해당되지 않는 경우, 객체 인식 장치(200)는 제1 관용 범위에 해당되는 이동 객체가 있는지 여부를 다시 확인한다(S550).
만약, 이동 객체가 제2 관용 범위에 해당되는 경우, 객체 인식 장치(200)는 이동 객체의 입사각에 따른 상대 속도를 역보상하고(S580), 이에 따라 가드레일 정보를 생성 및 출력한다(S590).
이하에서는 본 개시를 모두 수행할 수 있는 객체 인식 방법을 설명한다.
도 12는 본 개시에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.
도 12를 참조하면, 본 개시에 따른 객체 인식 방법은 차량(300)의 주행 정보 및 차량(300)의 주변이 감지된 주변 감지 정보에 기초하여 객체 정보를 수집하는 객체 정보 수집 단계와, 미리 설정된 제1 관용 범위에 해당되는 객체를 객체 정보에 기초하여 선별하는 객체 선별 단계와, 제1 관용 범위에 해당되는 객체 중에서 이동 객체가 존재하는 경우, 주행 정보 및 객체 정보에 기초하여 제2 관용 범위를 설정하는 관용 범위 설정 단계 및 객체 정보에 기초하여 이동 객체가 제2 관용 범위에 해당되는지 여부를 판단하고, 제2 관용 범위에 해당되는 이동 객체의 객체 정보에 기초하여 가드레일로 인식하는 가드레일 인식 단계 등을 포함할 수 있다.
여기서, 객체 선별 단계는 객체 정보에 포함된 객체에 대하여 군집화(Clustering) 기법을 이용해 일정 범위 내에서 위치하는 객체를 군집화(Clustering)하고, 군집화된 군집의 종방향 분포를 확인하여 미리 설정된 기준 종방향 간격 내에서 분포된 군집에 대응되는 객체를 선별할 수 있다.
여기서, 관용 범위 설정 단계는 주행 정보로부터 차량(300)의 차속을 획득하고, 객체 정보로부터 이동 객체의 입사각을 추출하며, 입사각 및 차속에 기초하여 제2 관용 범위를 설정할 수 있다.
구체적으로, 관용 범위 설정 단계는 차속의 방향과 반대인 방향이고 차속의 크기와 동일한 기준 벡터를 산출하고, 기준 벡터에서 입사각만큼 벌어진 단위 벡터를 산출하고, 기준 벡터를 단위 벡터 상으로 사영(Projection) 연산을 수행하고, 사영 연산으로 산출된 기준 속도를 제2 관용 범위로 설정한다.
가드레일 인식 단계는 객체 정보로부터 이동 객체의 상대 속도를 획득하고, 이동 객체의 상대 속도와 제2 관용 범위에 포함된 기준 속도를 비교하고, 비교 결과에 기초하여 이동 객체가 제2 관용 범위에 해당되는지 여부를 판단할 수 있다.
한편, 가드레일 인식 단계는 제1 관용 범위에 포함된 객체가 정지 객체인 경우, 제1 관용 범위에 포함된 객체의 객체 정보에 기초하여 가드레일로 인식할 수 있다.
이상에서 설명한 바와 같이, 본 개시에 의하면, 본 개시는 물리적 특성이 왜곡되더라도 가드레일 등과 같은 구조물(310)을 정확히 인식하는 객체 인식 장치(200) 및 그 방법을 제공할 수 있다.
또한, 본 개시에 의하면, 본 개시는 가드레일 등과 같은 구조물(310)을 정확히 인식함으로써 운전자에게 주행 편의성과 주행 안정성을 제공하는 객체 인식 장치(200) 및 그 방법을 제공할 수 있다.
이상에서의 설명 및 첨부된 도면은 본 개시의 기술 사상을 예시적으로 나타낸 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 본질적인 특성에서 벗어나지 않는 범위에서 구성의 결합, 분리, 치환 및 변경 등의 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 개시에 개시된 실시예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 개시의 기술 사상의 범위가 한정되는 것은 아니다. 즉, 본 개시의 과제 해결 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 차량 제어 시스템 110: 제1 센서
120: 제2 센서 130: 컨트롤러
140: 액추에이터 200: 객체 인식 장치
210: 객체 정보 수집부 220: 객체 선별부
230: 관용 범위 설정부 240: 가드레일 인식부
300: 차량 310: 감지 영역
320: 다른 차량 330: 구조물

Claims (16)

  1. 차량의 주행 정보 및 상기 차량의 주변이 감지된 주변 감지 정보에 기초하여 객체 정보를 수집하는 객체 정보 수집부;
    미리 설정된 제1 관용 범위에 해당되는 객체를 상기 객체 정보에 기초하여 선별하는 객체 선별부;
    상기 제1 관용 범위에 해당되는 객체 중에서 이동 객체가 존재하는 경우, 상기 주행 정보 및 상기 객체 정보에 기초하여 제2 관용 범위를 설정하는 관용 범위 설정부; 및
    상기 객체 정보에 기초하여 상기 이동 객체가 상기 제2 관용 범위에 해당되는지 여부를 판단하고, 상기 제2 관용 범위에 해당되는 이동 객체의 객체 정보에 기초하여 가드레일로 인식하는 가드레일 인식부를 포함하는 객체 인식 장치.
  2. 제1항에 있어서,
    상기 객체 정보 수집부는,
    상기 주행 정보와 상기 주변 감지 정보에 기초하여 상기 차량에 대한 상기 객체의 상대 속도를 계산하고,
    상기 상대 속도에 따라 구분되는 상기 이동 객체 및 정지 객체 중에서, 적어도 하나의 객체에 대한 객체 정보를 수집하는 것을 특징으로 하는 객체 인식 장치.
  3. 제1항에 있어서,
    상기 객체 선별부는,
    상기 객체 정보에 포함된 객체에 대하여 군집화(Clustering) 기법을 이용해 일정 범위 내에서 위치하는 상기 객체를 군집화(Clustering)하고,
    상기 군집화된 군집의 종방향 분포를 확인하여 미리 설정된 기준 종방향 간격 내에서 분포된 군집에 대응되는 객체를 선별하는 것을 특징으로 하는 객체 인식 장치.
  4. 제1항에 있어서,
    상기 관용 범위 설정부는,
    상기 주행 정보로부터 상기 차량의 차속을 획득하고, 상기 객체 정보로부터 상기 이동 객체의 입사각을 추출하며, 상기 입사각 및 상기 차속에 기초하여 상기 제2 관용 범위를 설정하는 것을 특징으로 하는 객체 인식 장치.
  5. 제4항에 있어서,
    상기 관용 범위 설정부는,
    상기 차속의 방향과 반대인 방향이고 상기 차속의 크기와 동일한 기준 벡터를 산출하고,
    상기 기준 벡터에서 상기 입사각만큼 벌어진 단위 벡터를 산출하고,
    상기 기준 벡터를 상기 단위 벡터 상으로 사영(Projection) 연산을 수행하고,
    상기 사영 연산으로 산출된 기준 속도를 상기 제2 관용 범위로 설정하는 것을 특징으로 하는 객체 인식 장치.
  6. 제5항에 있어서,
    상기 관용 범위 설정부는,
    상기 기준 벡터에서 미리 저장된 레이더 센서의 장착 각도와 상기 입사각을 합한 각도만큼 벌어진 단위 벡터를 산출하는 것을 특징으로 하는 객체 인식 장치.
  7. 제1항에 있어서,
    상기 가드레일 인식부는,
    상기 객체 정보로부터 상기 이동 객체의 상대 속도를 획득하고,
    상기 이동 객체의 상기 상대 속도와 상기 제2 관용 범위에 포함된 기준 속도를 비교하고,
    비교 결과에 기초하여 상기 이동 객체가 상기 제2 관용 범위에 해당되는지 여부를 판단하는 것을 특징으로 하는 객체 인식 장치.
  8. 제7항에 있어서,
    상기 가드레일 인식부는,
    상기 이동 객체의 상기 상대 속도와 상기 기준 속도 간의 차이값을 계산하고,
    상기 차이값이 미리 설정된 오차 범위 이내이면, 상기 이동 객체가 상기 제2 관용 범위에 해당되는 것으로 판단하는 것을 특징으로 하는 객체 인식 장치.
  9. 제7항에 있어서,
    상기 가드레일 인식부는,
    상기 이동 객체가 상기 제2 관용 범위에 해당되면, 상기 이동 객체의 상기 상대 속도를 역보상하여 보정 객체 정보를 생성하고,
    상기 보정 객체 정보에 포함된 보정 객체를 상기 가드레일로 인식하는 것을 특징으로 하는 객체 인식 장치.
  10. 제1항에 있어서,
    상기 가드레일 인식부는,
    상기 제1 관용 범위에 포함된 객체가 정지 객체인 경우, 상기 제1 관용 범위에 포함된 상기 객체의 객체 정보에 기초하여 가드레일로 인식하는 것을 특징으로 하는 객체 인식 장치.
  11. 차량의 주행 정보 및 상기 차량의 주변이 감지된 주변 감지 정보에 기초하여 객체 정보를 수집하는 객체 정보 수집 단계;
    미리 설정된 제1 관용 범위에 해당되는 객체를 상기 객체 정보에 기초하여 선별하는 객체 선별 단계;
    상기 제1 관용 범위에 해당되는 객체 중에서 이동 객체가 존재하는 경우, 상기 주행 정보 및 상기 객체 정보에 기초하여 제2 관용 범위를 설정하는 관용 범위 설정 단계; 및
    상기 객체 정보에 기초하여 상기 이동 객체가 상기 제2 관용 범위에 해당되는지 여부를 판단하고, 상기 제2 관용 범위에 해당되는 이동 객체의 객체 정보에 기초하여 가드레일로 인식하는 가드레일 인식 단계를 포함하는 객체 인식 방법.
  12. 제11항에 있어서,
    상기 객체 선별 단계는,
    상기 객체 정보에 포함된 객체에 대하여 군집화(Clustering) 기법을 이용해 일정 범위 내에서 위치하는 상기 객체를 군집화(Clustering)하고,
    상기 군집화된 군집의 종방향 분포를 확인하여 미리 설정된 기준 종방향 간격 내에서 분포된 군집에 대응되는 객체를 선별하는 것을 특징으로 하는 객체 인식 방법.
  13. 제11항에 있어서,
    상기 관용 범위 설정 단계는,
    상기 주행 정보로부터 상기 차량의 차속을 획득하고, 상기 객체 정보로부터 상기 이동 객체의 입사각을 추출하며, 상기 입사각 및 상기 차속에 기초하여 상기 제2 관용 범위를 설정하는 것을 특징으로 하는 객체 인식 방법.
  14. 제13항에 있어서,
    상기 관용 범위 설정 단계는,
    상기 차속의 방향과 반대인 방향이고 상기 차속의 크기와 동일한 기준 벡터를 산출하고,
    상기 기준 벡터에서 상기 입사각만큼 벌어진 단위 벡터를 산출하고,
    상기 기준 벡터를 상기 단위 벡터 상으로 사영(Projection) 연산을 수행하고,
    상기 사영 연산으로 산출된 기준 속도를 상기 제2 관용 범위로 설정하는 것을 특징으로 하는 객체 인식 방법.
  15. 제11항에 있어서,
    상기 가드레일 인식 단계는,
    상기 객체 정보로부터 상기 이동 객체의 상대 속도를 획득하고,
    상기 이동 객체의 상기 상대 속도와 상기 제2 관용 범위에 포함된 기준 속도를 비교하고,
    비교 결과에 기초하여 상기 이동 객체가 상기 제2 관용 범위에 해당되는지 여부를 판단하는 것을 특징으로 하는 객체 인식 방법.
  16. 제11항에 있어서,
    상기 가드레일 인식 단계는,
    상기 제1 관용 범위에 포함된 객체가 정지 객체인 경우, 상기 제1 관용 범위에 포함된 상기 객체의 객체 정보에 기초하여 가드레일로 인식하는 것을 특징으로 하는 객체 인식 방법.
KR1020190111882A 2019-09-10 2019-09-10 객체 인식 장치 및 그 방법 KR102628027B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190111882A KR102628027B1 (ko) 2019-09-10 2019-09-10 객체 인식 장치 및 그 방법
US17/016,501 US11667295B2 (en) 2019-09-10 2020-09-10 Apparatus and method for recognizing object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190111882A KR102628027B1 (ko) 2019-09-10 2019-09-10 객체 인식 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210031011A true KR20210031011A (ko) 2021-03-19
KR102628027B1 KR102628027B1 (ko) 2024-01-24

Family

ID=74851266

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190111882A KR102628027B1 (ko) 2019-09-10 2019-09-10 객체 인식 장치 및 그 방법

Country Status (2)

Country Link
US (1) US11667295B2 (ko)
KR (1) KR102628027B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11364883B2 (en) * 2020-03-27 2022-06-21 Nvidia Corporation Leveraging rear-view sensors for automatic emergency braking in autonomous machine applications

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101394574B1 (ko) * 2012-11-28 2014-05-27 현대자동차주식회사 자율주행시스템의 가드레일정보 생성방법 및 장치
KR20150127745A (ko) * 2013-05-03 2015-11-17 구글 인코포레이티드 차량의 속도를 제어하기 위한 예측 추론

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101292606B1 (ko) 2008-08-22 2013-08-05 주식회사 만도 차량의 자동 운행 제어 장치 및 방법
JP5714075B2 (ja) 2013-10-24 2015-05-07 三菱電機株式会社 車載用レーダ装置およびターゲット検出方法
DE102017212418A1 (de) 2017-07-20 2019-01-24 Continental Automotive Gmbh Fahrerassistenzsystem und -verfahren zur leitplankenerkennung
US10628671B2 (en) * 2017-11-01 2020-04-21 Here Global B.V. Road modeling from overhead imagery
US10699135B2 (en) * 2017-11-20 2020-06-30 Here Global B.V. Automatic localization geometry generator for stripe-shaped objects
CN110044371A (zh) * 2018-01-16 2019-07-23 华为技术有限公司 一种车辆定位的方法以及车辆定位装置
DE102018201896B4 (de) * 2018-02-07 2022-07-07 Ford Global Technologies, Llc Ermitteln des Fahrens eines Fahrzeugs auf einer Auffahrt
EP3785048A1 (en) * 2018-04-25 2021-03-03 Waymo LLC Underbody radar units
JPWO2020189262A1 (ko) * 2019-03-20 2020-09-24
WO2020208387A1 (ja) * 2019-04-09 2020-10-15 日産自動車株式会社 情報処理装置、情報処理方法、及びサーバ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101394574B1 (ko) * 2012-11-28 2014-05-27 현대자동차주식회사 자율주행시스템의 가드레일정보 생성방법 및 장치
KR20150127745A (ko) * 2013-05-03 2015-11-17 구글 인코포레이티드 차량의 속도를 제어하기 위한 예측 추론

Also Published As

Publication number Publication date
KR102628027B1 (ko) 2024-01-24
US11667295B2 (en) 2023-06-06
US20210073559A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
CN108263279B (zh) 基于传感器整合的行人检测和行人碰撞避免装置及方法
EP2302412B1 (en) System and method for evaluation of an automotive vehicle forward collision threat
US10994732B2 (en) Controller for a vehicle
JP5938569B2 (ja) 方位情報を考慮する高度運転者支援システム、及びその動作方法
US6903677B2 (en) Collision prediction device, method of predicting collision, and computer product
JP6856452B2 (ja) 物標判定装置及び運転支援システム
US10836388B2 (en) Vehicle control method and apparatus
CN109305165B (zh) 智能超声系统、车辆后方碰撞警告装置及其控制方法
EP3134888B1 (en) False warning reduction using location data
KR20180078986A (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR20170079096A (ko) 지능형 차량용 블랙박스
US10482332B2 (en) Pedestrian determining apparatus for determining whether an object is a pedestrian crossing ahead of an own vehicle
KR20180007412A (ko) 멀티센서 기반의 융합형 물체 감지 장치 및 방법
Suzuki et al. Sensor fusion-based pedestrian collision warning system with crosswalk detection
WO2017208601A1 (ja) 画像処理装置、外界認識装置
CN110745145A (zh) 用于adas的多传感器管理系统
KR102628027B1 (ko) 객체 인식 장치 및 그 방법
JP6663622B2 (ja) 撮像装置
Jung et al. Isrss: Integrated side/rear safety system
KR102485318B1 (ko) 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법
KR102662224B1 (ko) 레이더 장치, 레이더 장치의 타겟 인식 방법 및 레이더 장치를 포함하는 차량 제어 시스템
CN114390989B (zh) 车辆控制设备及其控制方法
US20230154335A1 (en) Driver assistance system including pedestrian protection function
Knoll Driving assistance systems

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant