KR101778558B1 - 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법 - Google Patents

물체 인식 장치, 그를 가지는 차량 및 그 제어 방법 Download PDF

Info

Publication number
KR101778558B1
KR101778558B1 KR1020150121666A KR20150121666A KR101778558B1 KR 101778558 B1 KR101778558 B1 KR 101778558B1 KR 1020150121666 A KR1020150121666 A KR 1020150121666A KR 20150121666 A KR20150121666 A KR 20150121666A KR 101778558 B1 KR101778558 B1 KR 101778558B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
image information
image
distance
Prior art date
Application number
KR1020150121666A
Other languages
English (en)
Other versions
KR20170025334A (ko
Inventor
신기철
허명선
오영철
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020150121666A priority Critical patent/KR101778558B1/ko
Priority to US14/957,061 priority patent/US9905024B2/en
Priority to CN201510920654.0A priority patent/CN106485194B/zh
Publication of KR20170025334A publication Critical patent/KR20170025334A/ko
Application granted granted Critical
Publication of KR101778558B1 publication Critical patent/KR101778558B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G01S17/026—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B60W2420/52—
    • B60W2550/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)

Abstract

본 발명의 물체 인식 장치는 복수의 물체의 형상에 각각 대응하는 영상 정보를 저장하는 저장부; 및 거리 검출부에서 검출된 복수의 신호를 군집화하여 적어도 하나의 물체의 위치 정보를 획득하고, 획득된 적어도 하나의 물체의 위치 정보에 기초하여 제1물체를 설정하고, 제1물체의 위치 정보에 기초하여 방해 영역을 설정하고, 방해 영역에 위치하는 제2물체의 위치 정보와 영상 정보를 획득하고, 제2물체의 영상 정보와 저장부의 영상 정보에 기초하여 획득된 제2물체의 위치 정보를 보정하는 제어부를 포함한다.
본 발명은 거리 검출부에서 검출된 거리 정보와, 영상 검출부에서 검출된 영상 정보를 이용하여 검출된 물체 형상 및 위치를 보정함으로써 물체의 형상 및 위치에 대한 정확도를 높일 수 있다.

Description

물체 인식 장치, 그를 가지는 차량 및 그 제어 방법 {Object recognition apparatus, vehicle having the same and method for controlling the same}
본 발명은 주변의 물체를 인식하기 위한 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법에 관한 것이다.
지능형 차량은 사람의 시야를 대신할 수 있는 초음파센서, 이미지 센서, 레이저센서 및 라이더센서 중 적어도 하나의 센서를 포함하고, 적어도 하나의 센서를 이용하여 차량의 주행에 관련된 정보들을 수집하고 전방의 장애물들과 같은 물체를 인식하면서 운전자의 조작이 없이도 자동으로 주행하는 자율 주행 차량으로, 운전자의 부주의, 과실 및 시야 한계로 인해 운전자가 정확하게 도로 환경에 대한 인식을 할 수 없는 경우에도 운전자의 도로 환경에 대한 인식을 보조함으로써 사고 발생을 방지한다.
지능형 차량은 차량의 이미지 센서를 이용하여 물체 인식 시, 자 차량 및 타 차량의 그림자를 차량으로 잘못 인식하는 경우가 발생하거나, 직사광선, 빛을 반사하는 물체, 후방의 강한 광원 또는 저조도 환경으로 인한 오경보 및 미경보가 발생하는 문제가 있다.
지능형 차량은 초음파센서와 같은 거리 센서를 이용하여 물체 인식 시,장애물의 형태 및 존재 여부는 확인할 수 있으나, 전방의 물체의 가려짐으로 인해 물체 인식의 한계를 가지고 있으며 도로 표지판을 인식하거나 경사로나 과속 방지턱을 장애물로 인식하는 등의 물체 인식의 정확도가 낮은 문제가 있다.
지능형 차량은 라이더(LiDAR), 레이더 센서 등을 이용하여 물체 인식 시 전방 200m 이상 떨어진 곳에 도로와 시설 등을 인지할 수 없는 문제가 있고 차선이 없는 도로나 포트홀, 악천후 등 돌발 상황 시에는 안전운행을 장담할 수 없는 문제가 있다.
또한 지능형 차량은 라이더(LiDAR), 레이더 센서 등을 이용하여 물체 인식 시 인지한 물체가 어떤 물체인지 식별하는 것에 어려움이 있으며, 도로 혼잡상황에서 전방의 차량들이 라이더 센서의 시야를 방해하여 전방의 차량에 의해 더 앞쪽에 위치한 차량의 형태 및 위치를 정확하게 인지하지 못하는 문제가 있다.
예를 들어 지능형 차량은 자 차량의 전방 100m에 위치한 차량이 라이다 센서의 시야를 방해하여 자 차량의 전방 200m에 위치한 차량의 형태 및 위치를 인식하지 못하는 문제가 있다.
일 측면은 카메라에 의해 검출된 물체의 정보에 기초하여 라이다 센서에 의해 검출된 물체의 정보를 보정하는 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법을 제공한다.
다른 측면은 주변의 영상을 검출하고 물체의 형상 정보를 학습하는 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법을 제공한다.
일 측면에 따른 물체 인식 장치는 복수의 물체의 형상에 각각 대응하는 영상 정보를 저장하는 저장부; 및 거리 검출부에서 검출된 복수의 신호를 군집화하여 적어도 하나의 물체의 위치 정보를 획득하고, 획득된 적어도 하나의 물체의 위치 정보에 기초하여 제1물체를 설정하고, 제1물체의 위치 정보에 기초하여 방해 영역을 설정하고, 방해 영역에 위치하는 제2물체의 위치 정보와 영상 정보를 획득하고, 제2물체의 영상 정보와 저장부의 영상 정보에 기초하여 획득된 제2물체의 위치 정보를 보정하는 제어부를 포함한다.
물체 인식 장치의 제어부는, 영상 검출부에서 검출된 영상 신호에 기초하여 물체의 영상 정보를 획득하고 획득된 영상 정보에 기초하여 물체의 형상을 학습하고 학습된 물체의 영상 정보의 저장을 제어하는 것을 포함한다.
물체 인식 장치의 제어부는, 복수의 신호를 군집화하여 제2물체의 형상 정보를 획득하고, 제2물체의 영상 정보와 저장부의 영상 정보에 기초하여 획득된 제2물체의 형상 정보를 보정하는 것을 포함한다.
다른 측면에 따른 차량은, 차체; 차체에 마련되고 주변의 물체와의 거리를 검출하는 거리 검출부; 차체에 마련되고 주변의 물체의 영상을 검출하는 영상 검출부; 복수의 물체의 형상에 각각 대응하는 영상 정보를 저장하는 저장부; 및 거리 검출부에서 검출된 복수의 신호를 군집화하여 적어도 하나의 물체의 위치 정보를 획득하고, 획득된 적어도 하나의 물체의 위치 정보에 기초하여 차체와 가장 근접한 차량을 제1차량으로 설정하고, 제1차량의 위치 정보에 기초하여 방해 영역을 설정하고, 방해 영역에 위치하는 제2차량의 위치 정보와 영상 정보를 획득하고, 제2차량의 영상 정보와 저장부의 영상 정보에 기초하여 획득된 제2차량의 위치 정보를 보정하는 물체 인식 장치를 포함한다.
다른 측면에 따른 차량의 물체 인식 장치는, 영상 검출부에서 검출된 영상 신호에 기초하여 물체의 영상 정보를 획득하고 획득된 영상 정보에 기초하여 물체의 형상을 학습하고 학습된 물체의 영상 정보의 저장을 제어하는 것을 포함한다.
다른 측면에 따른 차량의 물체 인식 장치는, 복수의 신호의 군집화에 기초하여 제2물체의 형상 정보를 획득하고, 제2물체의 영상 정보와 저장부의 영상 정보에 기초하여 획득된 제2물체의 형상 정보를 보정하는 것을 포함한다.
다른 측면에 따른 차량의 물체 인식 장치는, 저장부의 복수의 영상 정보 중 제2차량의 영상 정보와 매칭되는 영상 정보를 확인하고, 확인된 영상 정보에 기초하여 거리 검출부에 의해 검출되지 않은 미 검출 부분의 영상 정보를 획득하고, 획득된 미 검출 부분의 영상 정보에 기초하여 제2차량의 형상 정보를 보정하는 것을 포함한다.
다른 측면에 따른 차량은 자율 주행 모드이면 제1차량의 형상 정보, 위치 정보와 보정된 제2차량의 위치 정보, 형상 정보에 기초하여 구동 장치의 구동을 제어하는 전자 제어 유닛을 더 포함한다.
다른 측면에 따른 차량은 현재 위치를 수신하는 통신부를 더 포함하고, 전자 제어 유닛은 현재 위치에 기초하여 구동 장치의 구동을 제어하는 것을 포함한다.
다른 측면에 따른 차량의 물체 인식 장치는, 차체와 동일한 차로를 주행하되 차체와 가장 근접하게 위치한 선행 차량을 제1차량으로 설정하는 것을 포함한다.
다른 측면에 따른 차량의 물체 인식 장치는, 차체가 위치하는 차로의 좌우 차로를 주행하되 차체와 가장 근접하게 위치한 선행 차량을 제1차량으로 설정하는 것을 포함한다.
다른 측면에 따른 차량의 거리 검출부는, 적어도 하나의 라이다 센서를 포함하고, 영상 검출부는, 적어도 하나의 이미지 센서를 포함한다.
다른 측면에 따른 차량의 물체 인식 장치는, 제1차량의 위치 정보 중 좌측 끝점에서 좌측으로 제1일정거리, 우측 끝점에서 우측으로 제2일정거리 및 좌우측 끝점에서 전방으로 제3일정거리 내의 영역을 방해 영역으로 설정하는 것을 포함한다.
다른 측면에 따른 차량의 물체 인식 장치는, 제1차량의 위치 정보에 기초하여 미리 설정된 크기의 영역을 방해 영역으로 설정하는 것을 포함한다.
또 다른 측면에 따른 차량은 차체; 차체에 마련되고 주변의 물체와의 거리를 검출하는 거리 검출부; 차체에 마련되고 주변의 물체의 영상을 검출하는 영상 검출부; 복수의 물체의 형상에 각각 대응하는 영상 정보를 저장하는 저장부; 및 거리 검출부에서 검출된 복수의 신호를 군집화하여 적어도 하나의 물체의 형상 정보 및 위치 정보를 획득하고,물체의 영상 정보와저장부에 저장된 영상 정보에 기초하여획득된 물체의 형상 정보 및 위치 정보를 보정하는 물체 인식 장치를 포함한다.
또 다른 측면에 따른 차량의 물체 인식 장치는, 물체의 영상 정보에 기초하여 물체의 형상을 학습하고 학습된 물체의 영상 정보의 저장을 제어하는 것을 포함한다.
또 다른 측면에 따른 차량의 거리 검출부는, 적어도 하나의 라이다 센서를 포함하고, 영상 검출부는, 적어도 하나의 이미지 센서를 포함한다.
또 다른 측면에 따른 차량의 물체 인식 장치는, 거리 검출부와 가장 근접하게 위치하는 물체를 확인하고, 확인된 물체를 기준으로 미리 설정된 크기의 방해 영역 내에 위치하는 물체의 정보를 보정하는 것을 포함한다.
다른 측면에 따른 차량의 물체 인식 장치는, 저장부의 복수의 영상 정보 중 방해 영역 내 물체의 영상 정보와 매칭되는 영상 정보를 확인하고, 확인된 영상 정보에 기초하여 거리 검출부에 의해 검출되지 않은 미 검출 부분의 영상 정보를 획득하고, 획득된 미 검출 부분의 영상 정보에 기초하여 방해 영역 내 물체의 형상 정보 및 위치 정보를 보정하는 것을 포함한다.
또 다른 측면에 따른 차량의 제어 방법은, 차체에 마련되고 주변의 물체와의 거리를 검출하고, 거리 검출부에서 검출된 복수의 신호를 군집화하여 적어도 하나의 물체의 위치 정보를 획득하고, 획득된 적어도 하나의 물체의 위치 정보에 기초하여 차체와 가장 근접한 차량을 제1차량으로 설정하고, 제1차량의 위치 정보에 기초하여 방해 영역을 설정하고, 방해 영역에 위치하는 제2차량의 위치 정보와 영상 정보를 획득하고, 제2차량의 영상 정보와 저장부에 저장된 복수의 영상 정보에 기초하여 획득된 제2차량의 위치 정보를 보정하고, 보정된 제2차량의 위치 정보에 기초하여 차량의 구동을 제어한다.
또 다른 측면에 따른 차량의 제어 방법은, 영상 검출부를 이용하여 주변의 영상 신호를 검출하고, 영상 신호에 기초하여 물체의 영상 정보를 획득하고, 획득된 영상 정보에 기초하여 물체의 형상을 학습하고, 학습된 물체의 영상 정보를 저장하는 것을 더 포함한다.
또 다른 측면에 따른 차량의 제어 방법은, 복수의 신호의 군집화에 기초하여 제2물체의 형상 정보를 획득하고, 제2물체의 영상 정보와 저장부의 복수의 영상 정보에 기초하여 획득된 제2물체의 형상 정보를 보정하는 것을 더 포함한다.
제2물체의 형상을 보정하는 것은, 저장부의 복수의 영상 정보 중 제2차량의 영상 정보와 매칭되는 영상 정보를 확인하고, 확인된 영상 정보에 기초하여 거리 검출부에 의해 검출되지 않은 미 검출 부분의 영상 정보를 획득하고, 획득된 미 검출 부분의 영상 정보에 기초하여 제2차량의 형상 정보를 보정하는 것을 포함한다.
제1차량을 설정하는 것은, 적어도 하나의 차로를 주행하되 차체와 가장 근접하게 위치한 선행 차량을 제1차량으로 설정하는 것을 포함한다.
방해 영역을 설정하는 것은, 제1차량의 위치 정보 중 좌측 끝점에서 좌측으로 제1일정거리, 우측 끝점에서 우측으로 제2일정거리 및 좌우측 끝점에서 전방으로 제3일정거리 내의 영역을 방해 영역으로 설정하는 것을 포함한다.
본 발명은 거리 검출부에서 검출된 거리 정보와, 영상 검출부에서 검출된 영상 정보를 이용하여 검출된 물체 형상 및 위치를 보정함으로써 물체의 형상 및 위치에 대한 정확도를 높일 수 있다.
따라서 도로의 혼잡 구간에서 자 차량에 인접하게 위치한 차량들에 의해 거리 검출부의 센싱 시야가 가려지더라도 자 차량과 원거리에 위치한차량의 형상 및 위치를 정확하게 인식할 수 있고 이에 따라 주변차량의 거동 및 주행 궤적을 좀 더 정확하게 인식할 수 있다.
이렇게 인식된 장애물의 위치를 기반으로 차량을 자율 주행함으로써 장애물과의 접촉사고의 가능성을 낮출 수 있어 차량의 안전도를 향상시킬 수 있다.
이와 같이 본 발명은 물체 인식 기능 및 자율 주행 기능을 가진 차량의 품질 및 상품성을 향상시킬 수 있고 나아가 사용자의 만족도를 높일 수 있으며 사용자의 편리성 및 차량의 안전성을 향상시킬 수 있고 제품의 경쟁력을 확보할 수 있다.
도 1은 실시 예에 따른 차량의 외관 예시도이다.
도 2는 실시 예에 따른 차량의 내부 예시도이다.
도 3은 실시 예에 따른 차량의 제어 구성도이다.
도 4는 실시 예에 따른 차량의 제어 순서도이다.
도 5는 실시 예에 따른 차량의 물체 검출 예시도이다.
도 6은 실시 예에 따른 차량의 주변의 도로 상황 예시도이다.
도 7은 실시 예에 따른 차량의 거리 검출부에 수신된 신호의 좌표 예시도이다.
도 8은 실시 예에 따른 차량의 거리 검출부에 수신된 신호를 군집화하는 예시도이다.
도 9는 실시 예에 따른 차량의 거리 검출부에 의해 검출된 차량의 예시도이다.
도 10은 실시 예에 따른 차량의 제1차량을 설정하는 예시도이다.
도 11은 실시 예에 따른 차량의 방해 영역을 설정하는 예시도이다.
도 12는 실시 예에 따른 차량의 제2차량의 설정 예시도이다.
도 13은 실시 예에 따른 차량의 제1차량별 방해 영역을 설정하는 예시도이다.
도 14는 실시 예에 따른 차량의 제2차량의 정보 보정 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명에 대해 상세히 설명한다.
도 1은 실시 예에 따른차량의 외관예시도이고, 도 2는 실시 예에 따른 차량의 내부예시도이다.
차량(1)은 내장과 외장을 갖는 차체(Body)와, 차체를 제외한 나머지 부분으로 주행에 필요한 기계 장치가 설치되는 차대(Chassis)를 포함한다.
도 1 에 도시된 바와 같이 차체의 외장(110)은 프론트 패널(111), 본네트(112), 루프 패널(113), 리어 패널(114), 트렁크(115), 전후좌우 도어(116), 전후좌우 도어(116)에 개폐 가능하게 마련된 윈도우 글래스(117)를 포함한다.
그리고 차체의 외장은 프론트 패널, 본네트, 루프 패널, 리어 패널, 트렁크, 전후좌우 도어의 윈도우 글래스 사이의 경계에 마련된 필러(118)와, 운전자에게 차량(1) 후방의 시야를 제공하는 사이드 미러(119)를 더 포함한다.
차량(1)은 전후좌우 방향의 주변의 물체와의 거리를 검출하는 거리검출부와, 전후좌우 방향의 주변의 영상을 검출하는 영상 검출부와, 강수 여부 및 강수량을 검출하는 레인 검출부와, 전후좌우 차륜의 속도를 검출하는 휠 속도 검출부와, 차량의 가속도를 검출하는 가속도 검출부와, 차량의 조향각을 검출하는 각속도 검출부등의 검출 장치를 더 포함하는 것도 가능하다.
여기서 거리 검출부(120)는 레이더(radar) 센서 또는 라이다(Light detection and Ranging, Lidar) 센서를 포함할 수 있다.
이러한 거리 검출부(120)는 차량의 프론트 패널(111) 및 루프 패널(113) 중 적어도 하나의 패널에 마련될 수 있다.
거리 검출부(120)는 프론트 패널(111)의 중앙에 하나가 마련되거나, 프론트 패널(111)의 좌측, 우측 및 중앙에 세 개가 마련될 수도 있다.
영상 검출부(130)는 카메라로, CCD 또는 CMOS 이미지 센서를 포함할 수 있다.
영상 검출부(130)는 전면의 윈도우 글래스에 마련되되 차량 내부의 윈도 글래스에 마련될 수도 있고, 차량 내부의 룸미러에 마련될 수도 있으며, 루프 패널(113)의 마련되되 외부로 노출되도록 마련될 수도 있다.
도 2에 도시된 바와 같이, 차체의 내장(140)은 탑승자가 앉는 시트(141)와, 대시 보드(142)와, 대시 보드 상에 배치되고 타코미터, 속도계, 냉각수 온도계, 연료계, 방향전환 지시등, 상향등 표시등, 경고등, 안전벨트 경고등, 주행 거리계, 주행 기록계, 자동변속 선택레버 표시등, 도어 열림 경고등, 엔진 오일 경고등, 연료부족 경고등이 배치된 계기판(즉 클러스터, 143)과, 차량 방향을 조작하는 스티어링 휠(144)과, 공기조화기의 송풍구와 조절판이 배치되고 오디오 기기가 배치된 센터 페시아(145)를 포함한다.
시트(141)는 운전자가 앉는 운전석(141a), 동승자가 앉는 조수석(141b), 차량 내 후방에 위치하는 뒷좌석을 포함한다.
스티어링 휠(144)은 차량(1)의 주행 방향을 조절하기 위한 장치로, 운전자에 의해 파지되는 림 및 차량(1)의 조향 장치와 연결되고 림과 조향을 위한 회전축의 허브를 연결하는 스포크를 포함할 수 있다.
아울러 스포크에는 차량(1) 내의 각종 장치, 일례로 오디오 장치 등을 제어하기 위한 조작 장치(미도시)가 마련될 수 있다.
센터 페시아(145)에는 오디오 기기, 공기 조화기 및 히터를 제어하기 위한 헤드유닛(146)과, 송풍구, 시거잭, 멀티단자(147) 등이 설치될 수 있다.
여기서 멀티단자(147)는 헤드 유닛(146)과 인접한 위치에 배치될 수 있고,USB 포트, AUX단자를 포함하고, SD슬롯을 더 포함할 수 있다.
차량(1)은 각종 기능의 동작 명령을 입력받기 위한 입력부(148)를 더 포함할 수 있다.
입력부(148)는 헤드 유닛(146) 및 센터페시아(145)에 마련될 수 있고, 각종 기능의 동작 온 오프 버튼, 각종 기능의 설정값을 변경하기 위한 버튼 등과 같은 적어도 하나의 물리적인 버튼을 포함한다.
이러한 입력부(148)는 버튼의 조작 신호를 전자 제어 유닛(ECU), 헤드 유닛(146) 내의 제어부 또는 단말기(150)에전송할 수 있다.
입력부(148)는 단말기(150)의 표시부에 일체로 마련된 터치 패널을 포함할 수 있다. 이러한 입력부(148)는 단말기(150)의 표시부에 버튼 형상으로 활성화되어 표시될 수 있고 이때 표시된 버튼의 위치 정보를 입력받는다.
입력부(148)는 단말기(150)의 표시부에 표시된 커서의 이동 명령 및 선택 명령 등을 입력하기 위한 조그 다이얼(미도시) 또는 터치 패드를 더 포함하는 것도 가능하다.
이러한 입력부(148)는 조그 다이얼의 조작신호 또는 터치 패드에 터치된 터치 신호를 전자 제어 유닛(ECU), 헤드 유닛(146) 내의 제어부 또는 단말기(150)에전송할 수 있다.
여기서 조그 다이얼 또는 터치 패드는 센터페시아 등에 마련될 수 있다.
입력부(148)는 단말기(150)의 동작 온 오프 명령을 입력받고, 복수 기능 중 적어도 하나의 기능을 선택받으며, 선택된 기능의 신호를 전자 제어 유닛(ECU), 헤드 유닛(146) 내의 제어부 또는 단말기(150)에전송할 수 있다.
좀 더 구체적으로 입력부(148)는 운전자가 직접 차량을 운전하는 수동운전모드와 자율 주행 모드 중 어느 하나를 입력받는 것도 가능하고, 자율 주행 모드가 입력되면 자율 주행 모드의 입력 신호를 전자 제어 유닛(ECU)에 전송한다.
또한, 입력부(148)는 내비게이션 기능 선택 시 목적지의 정보를 입력받고 입력된 목적지의 정보를 단말기(150)에 전송하며, 디엠비 기능 선택 시 채널 및 음량 정보를 입력받고 입력된 채널 및 음량 정보를 단말기(150)에 전송한다.
차량(1)은 수행 중인 기능에 대한 정보 및 사용자에 의해 입력된 정보를 표시하는 표시부(149)를 더 포함할 수 있다.
아울러 차량(1)은 수행 중인 기능에 대한 정보 및 사용자에 의해 입력된 정보를 단말기(150)에 표시하는 것도 가능하다.
이러한 단말기(150)는 대시 보드 상에 거치식으로 설치될 수도 있다.
단말기(150)는 오디오 기능, 비디오 기능, 내비게이션 기능, DMB 기능, 라디오 기능을 수행하고, 자율 주행 모드 시 전후좌우 방향의 영상을 표시하는 것도 가능하다.
이러한 단말기(150)는 외부에서 수신된 컨텐츠나 저장매체에 저장된 정보의 영상 및 오디오를 출력하는 것도 가능하고, 외부에서 전송된 오디오 신호를 출력하는 오디오 기능을 수행하는 것도 가능하다.
차량의 차대는 동력 발생 장치, 동력 전달 장치, 주행 장치, 조향 장치, 제동 장치, 현가 장치, 변속 장치, 연료 장치, 전후좌우 차륜 등을 포함한다.
또한 차량에는 운전자 및 탑승자의 안전을 위하여 여러 가지 안전장치들이 마련될 수 있다.
차량의 안정장치로는 차량 충돌 시 운전자 등 탑승자의 안전을 목적으로 하는 에어백 제어 장치와, 차량의 가속 또는 코너링 시 차량의 자세를 제어하는 차량자세 안정 제어 장치(ESC: Electronic Stability Control) 등 여러 종류의 안전장치들이 있다.
이러한 차량(1)은 동력 발생 장치, 동력 전달 장치, 주행 장치, 조향 장치, 제동 장치, 현가 장치, 변속 장치, 연료 장치 등과 같이 전후좌우 차륜에 구동력과 제동력을 인가하기 위한 구동 장치를 더 포함하고, 구동 장치와 여러 가지 안전 장치 및 각종 검출 장치들의 구동을 제어하는 전자 제어 유닛(ECU: Electronic Control Unit)을 포함한다.
또한 차량(1)은 운전자의 편의를 위해 설치된 핸즈프리 장치, GPS 수신기, 오디오 기기 및 블루투스 장치, 후방 카메라, 사용자용 단말기의 충전 장치, 하이패스 장치 등의 전자 장치를 더 포함하는 것도 가능하다.
이러한 차량(1)은 시동모터(미도시)에 동작 명령을 입력하기 위한 시동 버튼을 더 포함할 수 있다.
즉 차량(1)은 시동 버튼이 온 되면 시동모터(미도시)를 동작시키고 시동 모터의 동작을 통해 동력 발생장치인 엔진(미도시)을 구동시킨다.
차량(1)은 단말기, 오디오 기기, 실내 등, 시동 모터, 그 외 전자장치들에 전기적으로 연결되어 구동 전력을 공급하는 배터리(미도시)를 더 포함한다.
이러한 배터리는 주행 중 자체 발전기 또는 엔진의 동력을 이용하여 충전을 수행한다.
또한 차량(1)은 내부의 각종 전자 장치들 사이의 통신 및 외부 단말기인 사용자용 단말기와 통신을 위한 통신 장치를 더 포함할 수 있다.
통신 장치는 캔 통신 모듈, 와이파이 통신 모듈, USB 통신 모듈 및 블루투스 통신 모듈을 포함할 수 있다.
또한 통신 장치는 위성으로부터 위치 정보를 획득하기 위한 GPS 수신 모듈을 더 포함할 수 있고, DMB 등의 TPEG, SXM, RDS와 같은 브로드캐스팅 통신 모듈을 더 포함할 수 있다.
도 3은 실시 예에 따른 차량의 제어 구성도이다.
차량(1)은 거리 검출부(120), 영상 검출부(130), 입력부(148), 표시부(149), 물체 인식장치(160), 전자 제어유닛(ECU: 170), 통신부(171) 및 구동 장치(180)를 포함한다.
거리 검출부(120)는 차량의 외부에 위치하는 물체, 예를 들면 자 차량의 전방에서 주행하는 선행차량과, 도로 주변에 설치된 구조물 등과 같은 정지물체와, 반대 차선에서 다가오는 차량 등을 검출하기 위한 신호를 검출한다.
즉 거리 검출부(120)는 자 차량의 현재 위치에서 자 차량의 전방, 좌우의 측방의 물체 검출에 대응하는 신호를 출력하되, 검출된 물체와의 거리에 대응하는 신호를 물체 인식장치의 제어부(161)에 전송한다.
이러한 거리 검출부(120)는 라이더 센서를 포함한다.
라이다(LiDAR: Light Detection And Ranging)센서는 레이저 레이다(Laser Radar) 원리를 이용한 비접촉식 거리 검출 센서이다.
라이다 센서는 레이저를 송신하는 송신부와, 센서 범위 내에 존재하는 물체의 표면에 반사되어 돌아오는 레이저를 수신하는 수신부를 포함할 수 있다.
여기서 레이저는 단일레이저 펄스일 수 있다.
거리 검출부(120)는 초음파 센서 또는 레이더 센서를 포함할 수도 있다.
초음파 센서는 초음파를 일정시간 발생시킨 뒤 물체에 반사되어 돌아오는 신호를 검출한다.
초음파 센서는 근거리 범위 내에서 보행자 등의 장애물의 유무를 판별하는데 사용될 수 있다.
레이더(Radar) 센서는 발신 및 수신을 같은 장소에서 행할 때, 전파의 방사에 의하여 생긴 반사파를 이용하여 물체의 위치를 탐지하는 장치이다.
이러한 레이더 센서는 송신한 전파와 수신되는 전파가 겹쳐서 구별이 곤란하게 되는 것을 방지하기 위하여 도플러 효과를 이용하거나 송신전파의 주파수를 시간에 따라 변경하거나 송신전파로 펄스파를 출력하기도 한다.
참고로, 라이다 센서는 레이더(RaDAR: Radio Detecting And Ranging) 센서에 비해 횡방향에 대한 감지 정확도가 높기 때문에 전방에 통로가 존재하는지 판단하는 과정의 정확도를 높일 수 있다.
영상 검출부(130)는 물체 정보를 검출하여 전기적인 영상 신호로 변환하는 장치로, 자 차량의 현재 위치에서 자 차량 외부의 환경, 특히 차량이 주행하는 도로 및 그 주변의 자 차량의 전방, 좌우의 측방의 물체 정보를 검출하고 검출된 물체 정보의 영상 신호를 인식 장치의 제어부(161)로 전송한다.
영상 검출부(130)는 차량 전방의 영상을 획득하는 전방 카메라를 포함하고, 차량 좌우 측방의 영상을 획득하는 좌측 카메라와 우측 카메라, 차량 후방의 영상을 획득하는 후방 카메라 중 적어도 하나를 포함할 수 있다.
입력부(148)는 버튼, 터치 패널 및 조그 다이얼 중 적어도 하나로 마련될 수 있고 사용자에 의해 선택된 신호를 인식 장치의 제어부(161)로 전송한다.
입력부(148)는 물체를 인식하고 인식된 물체에 기초하여 적어도 하나의 기능을 수행하는 인식 모드를 입력받는다.
여기서 인식 모드는, 자율 주행 모드 및 장애물 인식을 알리는 경고 모드 중 적어도 하나의 모드를 포함할 수 있다.
입력부(148)는 운전자가 직접 차량을 운전하는 수동 운전 모드를 입력받을 수도 있다.
입력부(148)는 자율 주행 모드 시에 목적지를 입력받는 것도 가능하다.
표시부(149)는 제어부(161)의 제어에 의해 프로그램 수행 중에 발생하는 영상 정보, 예컨대, 각종 메뉴 영상 정보, 디지털 방송 영상 정보 또는 내비게이션의 영상 정보 등을 표시하고, 자 차량 전방의 외부 영상 정보를 표시하는 것도 가능하다.
표시부(149)는 현재 수행 중인 모드의 정보를 표시하는 것도 가능하고, 목적지의 정보를 표시하는 것도 가능하다.
여기서 목적지의 정보는, 주소 정보, 총 거리 정보, 총 소요 시간 정보, 남은 거리 정보, 남은 시간 정보 등을 포함할 수 있다.
물체 인식장치(160)는 물체 인식 모드의 수행 명령이 수신되면 거리 검출부(120)와 영상 검출부(130)를 활성화시키고, 거리 검출부(120)에서 전송된 복수의 신호에 기초하여 물체와 형상 정보를 획득하고, 획득된 물체 형상 별 위치 정보를 획득한다.
여기서 물체 형상 별 위치 정보는 물체 형상 별 거리 정보를 포함한다.
물체 인식 장치(160)는 영상 검출부(130)에서 검출된 영상 신호에 기초하여 물체의 영상을 획득하고 획득된 물체의 영상 정보와 미리 저장된 물체의 영상 정보에 기초하여 거리 검출부에 의해 획득된 물체의 형상 정보 및 위치 정보를 보정한다.
이러한 물체 인식 장치(160)는 제어부(161)와 저장부(162)를 포함한다.
제어부(161)는 자 차량과 근접하게 위치하는 물체를 스캔하도록 자 차량 내에 설치된 거리 검출부(120)의 동작을 제어한다.
즉, 제어부(161)는 미리 설정된 각도로 회전하도록 거리 검출부(120)의 이동을 제어하고 또한 미리 설정된 주기로 신호를 송신하도록 거리 검출부(120)의 동작을 제어하며, 거리 검출부(120)에서 검출된 신호들을 수신하고 수신된 각 신호의 송수신 시간에 기초하여 거리를 산출하되 회전 각도별로 수신된 신호에 대응하는 거리를 산출한다.
이때 회전 각도별 수신된 신호는, 라이더 센서에 의해 스캔된 물체에서 반사된 신호로, 반사된 방향 및 거리에 대응하여 좌표의 점 데이터로 수집될 수 있다.
제어부(161)는 거리 검출부의 이동 제어 시, 근거리의 좌우 스캔이 완료되면 원거리의 좌우 스캔을 제어하는 것도 가능하고, 원거리의 좌우 스캔이 완료되면 근거리의 좌우 스캔을 제어하는 것도 가능하다.
아울러 제어부(161)는 근거리와 원거리 스캔을 수행하면서 좌우로 회전 하도록 하는 것도 가능하다.
아울러 거리 검출부가 초음파 센서인 경우, 제어부(161)는 초음파의 발생 시간과 검출 시간의 시간차에 기초하여 물체와의 거리를 검출할 수 있다.
거리 검출부가 레이더 센서인 경우, 제어부(161)는 레이더 센서의 전파가 물체에 부딪쳐서 반사될 때 그 반사파를 검출하여 물체의 거리를 검출한다.
제어부(161)는 수집된 점 데이터를 군집화하여 물체의 형상 정보 및 위치 정보를 획득한다.
즉 제어부(161)는 자 차량과 물체 간의 방향, 거리 및 점의 양으로부터의 물체의 형상 정보 및 위치 정보를 획득한다.
제어부(161)는 획득된 물체의 위치 정보에 기초하여 획득된 물체 중 자 차량과 동일한 차로 내에서 주행하는 선행 차량 중 자 차량과 가장 근접한 위치의 선행 차량을 제1차량으로 설정하고, 설정된 제1차량의 위치 정보에 기초하여 방해 영역을 설정한다.
제어부(161)는 획득된 물체의 위치 정보에 기초하여 획득된 물체 중 자 차량의 좌우측 차로 내에서 주행하는 차량 중 자 차량과 가장 근접한 위치의 차량을 좌우 차로의 제1차량으로 설정하고, 설정된 좌우 차로의 제1차량의 위치 정보에 기초하여 좌우 측의 방해 영역을 설정하는 것도 가능하다.
여기서 좌우 차로의 제1차량을 설정하는 것은, 자 차량이 위치하는 차로에 따라 좌측 차로의 제1차량만을 설정하는 것도 가능하고, 우측 차로의 제1차량만을 설정하는 것도 가능하다.
제어부(161)는 자 차량의 주변을 주행 중인 적어도 하나의 차량의 위치 정보를 2차원 평면 좌표로 획득하고, 이 중 자 차량과 가장 인접한 차량을 제1차량으로 설정하고 설정된 제1차량의 좌표를 획득한 후 제1차량의 좌표를 기준으로 좌 측 방향으로 제1일정거리, 우측 방향으로 제2일정거리 및 전방으로 제3일정거리 내의 영역을 방해 영역으로 설정한다.
여기서 제1일정거리와 제2일정거리는 동일할 수도 있고 상이할 수도 있다.
그리고 제1차량은 자 차량의 전 방에 위치한 차량일 수도 있고, 좌측 또는 우측에 위치한 차량일 수도 있다.
제어부(161)는 제1차량의 위치 정보를 기준으로 미리 설정된 크기의 영역을 방해 영역으로 설정하는 것도 가능하다.
제어부(161)는 영상 검출부(130)에서 검출된 영상 신호를 수신하고 수신된 영상 신호의 신호 처리를 수행하되 신호 처리의 속도를 향상시키기 위하여 사이즈와 포맷을 변경하고, 화질 개선 작업을 수행한다.
제어부(161)는 영상 신호에 대하여 클리어링 처리 및 노이즈 제거 처리를 수행하여 영상 정보를 생성하고 영상 정보에서 물체를 분해하는 비전기술들을 적용하여 영상 정보로부터 물체들을 결과물로 추출한다.
제어부(161)는 획득된 영상 정보에 기초하여 물체를 검출하고 검출된 물체의 형상 정보를 학습하여 저장부(162)에 저장한다.
제어부(161)는 물체의 형상 정보 학습 시, 물체의 크기, 종류로 분류하여 학습할 수 있다.
제어부(161)는 물체 인식 모드 시에 물체의 형상을 학습하는 것도 가능하고, 주기적으로 물체의 형상을 학습하는 것도 가능하며, 사용자의 명령에 기초하여 물체의 형상을 학습하는 것도 가능하다.
제어부(161)는 거리 검출부를 이용하여 물체 인식 시에 영상 검출부를 이용하여 물체의 영상 정보를 함께 획득하도록 하고, 획득된 물체의 영상 정보와 저장부(162)에 저장된 물체의 영상 정보에 기초하여 거리 검출부에 의해 획득된 물체의 형상 정보 및 위치 정보를 보정하는 것도 가능하다.
즉 제어부(161)는 저장부(162)에 저장된 물체의 영상 정보 중 획득된 물체의 영상 정보와 매칭되는 영상 정보를 확인하고, 확인된 영상 정보와 획득된 물체의 영상 정보를 비교하여 획득된 물체의 영상 정보 중 미검출 영상 정보를 확인하며 확인된 미 검출 영상 정보를 이용하여 거리 검출부에 의해 획득된 물체의 형상 정보를 보정하고 보정된 형상 정보에 기초하여 거리 검출부에 의해 획득된 물체의 위치 정보를 보정하는 것도 가능하다.
여기서 미 검출 영상 정보는, 원거리의 차량의 영상 정보 중 자 차량과 인접하게 위치한 선행 차량에 의해 가려진 부분의 영상 정보이다.
거리 검출부에 의해 획득된 물체의 형상 정보도 자 차량과 인접하게 위치한 선행 차량에 의해 가려진 부분은 획득할 수 없다. 이에 따라 저장부에 저장된 물체의 형상 정보에 기초하여 선행 차량에 의해 가려진 부분을 보정하는 것이다.
이에 따라 제어부(161)는 물체의 영상 정보를 학습하여 물체의 종류, 크기 및 형상을 인식할 수 있다.
아울러 제어부(161)는 방해 영역에 위치하는 차량의 형상 정보와 위치 정보만을 보정하는 것도 가능하다.
제어부(161)는 차량의 형상 정보와 위치 정보가 보정된 물체의 정보를 전자 제어 유닛(170)에 전송할 수 있다.
제어부(161)는 영상 정보로부터 물체를 추출하고 물질의 크기와 위치를 식별하고 물체의 위치 및 궤적을 계산하여 물체가 자전거, 보행자, 표지판인지 구별하는 것도 가능하고 신호등의 색상을 인식하는 것도 가능하다.
이러한 제어부(161)는 CPU 또는 MCU일 수 있고, 프로세서일 수 있다.
이와 같은 물체 인식 장치의 제어부(161)의 기능은 전자 제어 유닛(170) 내에 포함될 수도 있다.
저장부(162)는 제어부(161)에서 학습된 물체의 형상 정보를 저장하고, 물체의 종류 정보 및 크기 정보를 더 저장할 수 있다.
여기서 물체의 형상 정보는, 물체의 영상 정보로 차량의 영상 정보일 수 있다.
아울러 저장부(162)는 물체와의 거리에 대응하여 크기가 조정된 형상 정보를 포함할 수 있다.
저장부(162)는 물체 인식 기능 동작에 필요한 응용 프로그램, 자율 주행 모드에 필요한 응용 프로그램들을 저장할 수 있다.
저장부(162)는 S램(S-RAM), D랩(D-RAM) 등의 휘발성 메모리뿐만 아니라 플래시 메모리, 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read Only Memory: EEPROM) 등의 비휘발성 메모리를 포함할 수 있다.
전자 제어 유닛(ECU: 170)은 물체 인식 모드 시에 물체 인식 장치(160)에서 인식된 물체의 형상 및 위치 정보에 기초하여 구동장치(180) 및 출력부(미도시)의 구동을 제어한다.
전자 제어 유닛(ECU: 170)은 경고 모드 시에 차선을 인식하고 인식된 차선 정보와 인식된 물체에 관한 정보를 수신하여 장애물이 주행 차로에 존재하는지 여부를 판단하고 인식한 차로 내에 장애물이 존재하지 않는 경우, 주행 차로의 장애물이 아닌 것으로 판단한다.
이 경우 주의 경고를 위한 제어가 불필요 할 수 있다.
전자 제어 유닛(ECU: 170)은 인식된 장애물이 차량이 아닌 보행자로 판단되면 주행 차로의 장애물이 아닌 것으로 판단하더라도 주의 경고를 위한 제어를 수행할 수 있다. 이러한 이유는 보행자는 차로와 나란하지 않게 움직일 수 있기 때문이다.
이때 출력부(미도시)는 차량간 또는 차량과 보행자 간 충돌을 방지하기 위하여 운전자, 다른 차량의 운전자 또는 보행자에게 주의 경고를 할 수 있다.
출력부(미도시)는 오디오를 이용하여 위험을 경고하거나, 가시적인 불빛으로 경고하거나, 충돌 위험성이 있는 경우 핸들이나 좌석을 진동시키는 것과 같은 많은 다른 수단으로 운전자에게 경고할 수 있다.
또한 전자 제어 유닛은 다른 차량이나 보행자와의 충돌을 피하기 위해 제동 장치를 제어하거나 사고를 예방하기 위해 좌측이나 우측으로 방향을 전환하도록 조향 장치를 제어할 수 있다.
전자 제어 유닛(ECU: 170)은 인식된 물체의 위치 정보의 형상 정보에 기초하여 자율 주행을 제어하는 것도 가능하다.
전자 제어 유닛(170)은 자율 주행 모드이면 목적지 정보를 확인하고 확인된 목적지의 정보에 기초하여 현재 위치에서 목적지까지 경로를 탐색하고 탐색된 경로에 기초하여 구동장치(180)를 제어한다.
이때 전자 제어유닛(ECU: 170)은 구동 장치(180)인 동력 발생 장치, 동력 전달 장치, 주행 장치, 조향 장치, 제동 장치, 현가 장치, 변속 장치, 연료 장치 중 적어도 하나의 구동을 제어할 수 있다.
통신부(171)는 유무선 통신을 포함할 수 있다.
즉 통신부(171)는 캔 통신 모듈, 와이파이 통신 모듈, USB 통신 모듈 및 블루투스 통신 모듈, DMB 등의 TPEG, SXM, RDS와 같은 브로드캐스팅 통신 모듈을 포함할 수 있다.
통신부(171)는 GPS 수신부를 포함할 수 있다.
GPS 수신부는 복수의 위성에서 제공된 위치 정보를 수신하여 차량의 현재 위치 정보를 획득한다.
여기서 GPS(Global Positioning System) 수신기는 복수의 GPS 위성의 신호를 수신하는 안테나와, 복수의 GPS위성의 위치 신호에 대응하는 거리 및 시간 정보를 이용하여 차량의 위치를 획득하는 소프트웨어와, 획득된 차량의 현재 위치 정보를 출력하는 출력부를 포함한다.
통신부(171)는 내부의 각종 전자 장치들 사이의 통신, 차량용 단말기와의 통신 및 사용자용 단말기와의 통신을 수행하는 것도 가능하다.
도 4는 실시 예에 따른 차량의 제어 순서도이다.
차량(1)은 물체 인식 모드이면 거리 검출부(120)와 영상 검출부(130)를 활성화시킨다.
차량(1)은 거리 검출부(120)를 동작시켜 자 차량의 주변, 즉 전방 및 좌우 측방을 스캔한다. 여기서 거리 검출부(120)는 적어도 하나일 수 있다.
차량(1)은 영상 검출부를 이용하여 주변을 촬영함으로써 영상 신호를 검출하고, 검출된 영상 신호로부터 영상 정보를 획득한다.
차량(1)은 거리 검출부(120)에 수신된 반사파의 신호에 기초하여 물체를 검출(191)한다. 이를 도 5 내지 도 9를 참조하여 설명한다.
거리 검출부(120)에 수신된 반사파의 신호는, 거리 검출부인 라이더 센서에 의해 스캔된 물체에서 반사된 신호로, 반사된 방향 및 거리에 대응하여 좌표의 점 데이터로 수집될 수 있다.
도 5의 (a)에 도시된 바와 같이, 차량은 자 차량의 전방 및 좌우 방향을 향해 레이저를 송신한다. 이때 레이저의 송신 방향에 물체가 존재하면 그 물체에 레이저가 닿게 되고 물체가 존재하지 않으면 레이저가 직진성을 갖고 송신 방향으로 나아간다.
도 5의 (b)에 도시된 바와 같이, 차량은 레이저의 송신 방향과 대응하는 위치에서 반사된 반사파의 신호를 수신한다.
즉 차량은 각 송신 방향으로 송신된 레이저의 반사파를 수신하되, 물체의 표면에서 각각 반사된 반사파를 수신한다. 이때 수신된 반사파는 점 데이터로 획득될 수 있다.
도 6에 도시된 바와 같이, 편도 4차선의 도로에서 자 차량(1)이 3차로에 위치하는 상황이고, 좌우 차로 및 동일 차로에 선행 차량이 존재한다고 가정한다.
여기서 선행 차량은 자 차량의 위치를 기준으로 자 차량보다 앞에 위치한 차량을 의미한다.
이때 각 차로에 위치한 선행 차량 중 자 차량(1)과 가장 인접하게 위치한 각 차로의 선행 차량을 제1차량(2)이라고 하고, 제1차량(2)의 선행 차량으로 제1차량(2)과 인접한 선행 차량을 제2차량(3)으로 정의할 수 있다.
도 7에 도시된 바와 같이, 차량(1)은 거리 검출부를 이용하여 레이저를 송신하면 각 차로의 선행 차량(2, 3)에서 반사된 반사파의 신호를 검출할 수 있고, 검출된 신호에 기초하여 좌표 내의 점 데이터를 획득할 수 있다.
도 8에 도시된 바와 같이, 차량(1)은 좌표 내의 점 데이터를 군집화하여 물체의 형상 정보 및 위치 정보를 획득한다.
여기서 점 데이터의 군집화는 자 차량과 물체 간의 방향, 거리 및 점의 양에 기초하여 서로 이웃한 점들을 연결하는 것을 포함한다.
도 9에 도시된 바와 같이, 차량(1)은 점 데이터를 군집화함으로써 각 차로에 위치한 선행 차량의 형상 정보 및 위치 정보를 획득하고 획득된 선행 차량의 위치 정보에 기초하여 각 차로에 위치한 선행 차량 중 자 차량(1)과 가장 인접하게 위치한 각 차로의 선행 차량을 제1차량(2)으로 설정하고, 제1차량(2)의 선행 차량으로 제1차량(2)과 인접한 선행 차량을 제2차량(3)으로 설정한다.
차량(1)은 획득된 설정된 제1차량의 위치 정보에 기초하여 방해 영역을 설정(192)한다.
좀 더 구체적으로 거리 검출부인 라이다 센서는 직신성을 갖는 레이저를 송신하고 물체에서 반사된 반사파의 신호에 기초하여 물체의 형상 및 위치를 검출하는 방식이기 때문에, 라이다 센서와 가장 근접하게 위치한 제1물체(즉, 제1차량)에 의해 제2물체(즉, 제2차량)의 일부가 가려진 경우 제2물체의 노출된 표면에서 반사된 반사파만을 검출할 수 있다.
즉 라이다 센서는 제2물체의 가려진 표면으로 레이저를 송신할 수 없기 때문에 반사파 또한 수신할 수 없다.
이 때문에 차량(1)은 제2물체의 표면 중 제1물체에 의해 가려진 부분을 인식할 수 없다.
따라서 차량(1)은 거리 검출부를 이용하여 전방의 물체 인식 시, 제1물체에 의해 가려지는 제2물체가 존재하는지 판단하고, 제2물체가 존재한다고 판단되면 제2물체의 가려진 부분을 인식한다.
이를 위해 차량(1)은 거리 검출부인 라이다 센서의 사야 중 제1물체에 의해 가려지는 영역, 즉 제1물체에 의해 라이다 센서의 시야가 방해받는 방해 영역을 설정하고 설정된 방해 영역 내의 제2물체를 인식(193)한다.
이를 도 10 내지 도 13을 참조하여 설명한다.
도 10에 도시된 바와 같이, 자 차량(1)과 동일한 차로를 주행하는 선행 차량이 제1차량(2)으로 설정되었을 때, 방해 영역을 설정하는 과정을 설명한다.
도 11에 도시된 바와 같이, 차량(1)은 제1차량(2)의 위치 정보에 기초하여 좌표 계의 중심을 기준으로 (x, y) 좌표를 획득한다.
차량(1)은 군집화된 제1차량(2)의 형상 정보를 사각형의 형상으로 인식할 수 있고, 이때 사각형의 4개의 모서리의 좌표를 얻을 수 있다.
차량(1)은 제1차량(2)의 좌우 끝점을 활용하여 영역을 설정하도록 한다.
즉 차량(1)은 제1차량의 좌우 경계 좌표를 각각 (XL, YL), (XR, YR)로 나타내고, 방해 영역에 걸쳐진 차량의 일부가 방해 영역 밖으로 돌출될 수 있으므로, 이보다 좀 더 큰 영역을 정의하기 위해 제1차량의 좌표를 기준으로 좌측 경계 좌표에서 좌 측 방향으로 제1일정거리(m)만큼 이동시키고, 우측 경계 좌표에서 우측 방향으로 제2일정거리(m)만큼 이동시킨 경계 좌표를 획득한다.
즉 차량(1)은 점(XL, YL+m), (XR, YR-m)를 지나는 직선으로 영역의 경계를 정의한다.
여기서 제1일정거리와 제2일정거리는 동일할 수도 있고 상이할 수도 있다.
그리고 차량(1)은 두 점에서 전방으로 제3일정거리만큼 이동된 영역을 방해 영역으로 설정한다.
여기서 좌측 점(XL, YL+m)을 연결하는 직선은 aLX+ bL로 나타낼 수 있고, 우측 점(XR, YR-m)을 연결하는 직선은 aRX+ bR 로 나타낼 수 있으며, 중심 점(Xi, Yi)을 지나고 좌우를 구분하기 위한 직선은 aCX+ bC 로 나타낼 수 있다.
여기서 각각의 파라미터는 다음과 같이 정의된다.
aL = YL/X L, bL=m, aR = YR /XR, bR=-m, aC = YC /X C, bC= Xi
즉, 차량(1)은 좌우 두 개의 직선으로 둘러 쌓이는 영역을 방해 영역으로 설정한다.
그리고 차량(1)은 차량의 X좌표가 XL보다 큰 영역을 좌측 방해 영역(L)으로 설정하고, 차량의 X좌표가 XR보다 큰 영역을 우측 방해 영역(R)으로 설정한다.
좀 더 구체적으로
aLX+ bL>Y>aC X+ bC 이고, X>XL 이면 좌측 방해 영역(L)으로 설정하고,
aCX+ bC>Y> aRX+ bR 이고, X>XR이면 우측 방해 영역(R)으로 설정한다.
도 12에 도시된 바와 같이, 차량(1)은 제2차량(3)의 좌표(Xj, Yj)를 획득하고 획득된 제2차량의 좌표(Xj, Yj)에 기초하여 제2차량이 좌측 방해 영역 또는 우측 방해 영역 내에 위치하는지 판단한다.
제2차량(3)은 aLX+bL> Yj> aCX+bC 이고, Xj>XL 이므로 좌측 방해 영역(L)에 위치한다고 판단한다.
그리고 차량(1)은 제2차량(3)의 좌표(XK, YK)를 획득하고 획득된 제2차량의 좌표(XK, YK)에 기초하여 제2차량이 좌측 방해 영역 또는 우측 방해 영역 내에 위치하는지 판단한다.
제2차량(3)은 aCX+bC >YK> aRX+bR 이고, XK>XR 이므로 우측 방해 영역(R)에 위치한다고 판단한다.
그리고 차량(1)은 제2차량(3)의 좌표(XM, YM)를 획득하고 획득된 제2차량의 좌표(XM, YM)에 기초하여 제2차량이 좌측 방해 영역 또는 우측 방해 영역 내에 위치하는지 판단하고, 제2차량(3)이 방해 영역에 위치하지 않는다고 판단되면 제1차량에 의해 가려지지 않는 차량으로 판단한다.
즉, 차량(1)은 거리 검출부의 센싱 시야에 위치하는 차량으로 판단한다.
차량(1)은 위와 같은 과정을 통해 각 차로를 주행하는 선행 차량 중 제1차량을 설정하고, 설정된 제1차량의 위치 정보에 기초하여 각 차로의 방해 영역을 설정할 수 있다.
도 13에 도시된 바와 같이, 차량(1)은 각 차로에 위치한 선행 차량 중 자 차량(1)과 가장 인접하게 위치한 각 차로의 선행 차량을 제1차량(2)으로 설정하고, 각 차로의 제1차량(2)의 위치 정보에 기초하여 각 차로의 방해 영역을 설정할 수 있다.
아울러 좌우 차로의 제1차량을 설정하는 것은, 자 차량이 위치하는 차로에 따라 좌측 차로의 제1차량만을 설정하는 것도 가능하고, 우측 차로의 제1차량만을 설정하는 것도 가능하다.
다음 차량(1)은 방해 영역에 위치한 제2차량의 정보를 보정하되 거리 검출부에 의해 검출된 제2차량의 정보를 보정한다.
여기서 제2차량은 자 차량의 위치를 기준으로 제1차량보다 앞에 위치하는 차량이다.
좀 더 구체적으로, 차량(1)은 방해 영역에 위치한 제2차량의 영상 정보를 획득하고, 저장부(162)에 저장된 차량의 영상 정보 중 획득된 제2차량의 영상 정보와 매칭되는 영상 정보를 확인하고, 확인된 영상 정보와 획득된 제2차량의 영상 정보를 비교하여 획득된 제2차량의 영상 정보 중 미검출된 영상 정보를 확인한다.
이때 차량(1)은 제1차량에 의해 제2차량의 우측이 가려졌는지, 좌측이 가려졌는지 확인할 수 있다.
여기서 미 검출된 제2차량의 영상 정보를 확인하는 것은, 거리 검출부에 의해 검출되지 못한 부분의 영상 정보를 획득하는 것을 포함한다.
이때 차량(1)은 제1차량에 의해 가려진 부분, 즉 제2차량의 좌측의 영상 정보 또는 우측 영상 정보를 획득(194)할 수 있다.
차량(1)은 확인된 미 검출 영상 정보를 이용하여 거리 검출부에 의해 획득된 제2차량의 형상 정보를 보정한다. 이때 차량(1)은 거리 검출부에 의해 획득되지 못한 부분을 보정(195)한다.
차량(1)은 보정된 형상 정보에 기초하여 거리 검출부에 의해 획득된 제2차량의 좌우의 위치 정보를 보정한다.
도 14에 도시된 바와 같이 차량(1)은 시야를 방해 받은 방해 영역에 위치한 제2차량 중, 미리 저장된 영상 정보와 획득된 영상 정보에 기초하여 좌측 또는 우측만 인지되는 제2차량을 확인하고 확인된 제2차량의 반대 편 측의 형상 정보를 보상함으로써 제2차량의 형상 및 위치를 좀 더 정확하게 인식할 수 있다.
아울러 차량은 제2차량의 미 검출 영상 정보의 크기를 제2차량과의 거리에 기초하여 조정하고 조정된 크기에 기초하여 거리 검출부에 의해 획득된 제2차량의 크기 정보를 보정하는 것도 가능하다.
차량(1)은 제1차량의 위치 정보와 제2차량의 위치 정보에 기초하여 제2차량의 미검출 부분이 좌측 또는 우측 부분인지 판단하고 판단된 부분의 형상을 보상하는 것도 가능하다.
예를 들어, 차량(1)은 제2차량이 좌측 방해 영역에 위치한다고 판단되면 제2차량의 우측 형상을 미리 설정된 크기만큼 보정하고, 제2차량이 우측 방해 영역에 위치한다고 판단되면 제2차량의 좌측 형상을 미리 설정된 크기만큼 보정하는 것도 가능하다.
차량은 이와 같이 물체를 인식하면서 획득된 영상 정보를 이용하여 학습을 수행하고 학습된 물체의 형상 정보를 저장부(162)에 저장한다.
이와 같이 물체의 형상 정보 학습 시, 물체의 크기, 종류로 분류하여 학습할 수 있다.
1: 자 차량 2: 제1차량
3: 제2차량 120: 거리 검출부
130: 영상 검출부 148: 입력부
160: 물체 인식 장치

Claims (25)

  1. 복수의 물체의 형상에 각각 대응하는 영상 정보를 저장하는 저장부; 및
    거리 검출부에서 검출된 복수의 신호에 기초하여 제1물체의 위치 정보를 획득하고, 상기 획득된 적어도 하나의 물체의 위치 정보에 기초하여 제1물체를 설정하고, 상기 제1물체의 위치 정보에 기초하여 방해 영역을 설정하고, 상기 거리 검출부에 검출된 복수의 신호에 기초하여 좌표 내 점 데이터를 획득하고 상기 획득된 좌표 내 점 데이터의 점들 간의 방향, 거리 및 양에 기초하여 서로 이웃한 점들을 연결하는 군집화를 수행하고, 상기 군집화된 정보에 기초하여 상기 방해 영역에 위치하는 제2물체의 형상 정보를 획득하고, 상기 획득된 제2물체의 형상 정보와 상기 저장부의 영상 정보에 기초하여 상기 획득된 제2물체의 형상 정보를 보정하고, 상기 보정된 형상 정보에 기초하여 상기 제2물체의 위치 정보를 보정하는 제어부를 포함하는 물체 인식 장치.
  2. 제 1항에 있어서, 상기 제어부는,
    영상 검출부에서 검출된 영상 신호에 기초하여 물체의 영상 정보를 획득하고 상기 획득된 영상 정보에 기초하여 상기 물체의 형상을 학습하고 학습된 물체의 영상 정보의 저장을 제어하는 것을 포함하는 물체 인식 장치.
  3. 삭제
  4. 차체;
    상기 차체에 마련되고 주변의 물체와의 거리를 검출하는 거리 검출부;
    상기 차체에 마련되고 상기 주변의 물체의 영상을 검출하는 영상 검출부;
    복수의 물체의 형상에 각각 대응하는 영상 정보를 저장하는 저장부; 및
    상기 거리 검출부에서 검출된 복수의 신호에 기초하여 좌표 내 점 데이터를 획득하고 상기 획득된 좌표 내 점 데이터의 점들 간의 방향, 거리 및 양에 기초하여 서로 이웃한 점들을 연결하는 군집화를 수행하고, 상기 군집화된 정보에 기초하여 복수 개의 물체의 형상 정보와 위치 정보를 획득하고, 상기 복수 개의 물체의 위치 정보에 기초하여 상기 차체와 가장 근접한 물체를 제1차량으로 설정하고, 상기 제1차량의 위치 정보에 기초하여 방해 영역을 설정하고, 상기 방해 영역에 위치하는 제2차량의 위치 정보와 형상 정보를 확인하고, 상기 제2차량의 형상 정보와 상기 저장부의 영상 정보에 기초하여 상기 확인된 제2차량의 형상 정보 및 위치 정보를 보정하는 물체 인식 장치를 포함하는 차량.
  5. 제 4 항에 있어서, 상기 물체 인식 장치는,
    상기 영상 검출부에서 검출된 영상 신호에 기초하여 물체의 영상 정보를 획득하고 상기 획득된 영상 정보에 기초하여 상기 물체의 형상을 학습하고 학습된 물체의 영상 정보의 저장을 제어하는 것을 포함하는 차량.
  6. 삭제
  7. 제 4 항에 있어서, 상기 물체 인식 장치는,
    상기 저장부의 복수의 영상 정보 중 상기 제2차량의 형상 정보와 매칭되는 영상 정보를 확인하고, 상기 확인된 영상 정보에 기초하여 상기 거리 검출부에 의해 검출되지 않은 미 검출 부분의 영상 정보를 획득하고, 상기 획득된 미 검출 부분의 영상 정보에 기초하여 상기 제2차량의 형상 정보를 보정하는 것을 포함하는 차량.
  8. 제 4 항에 있어서,
    자율 주행 모드이면 상기 제1차량의 형상 정보, 위치 정보와 상기 보정된 제2차량의 위치 정보, 형상 정보에 기초하여 구동 장치의 구동을 제어하는 전자 제어 유닛을 더 포함하는 차량.
  9. 제 8 항에 있어서,
    현재 위치를 수신하는 통신부를 더 포함하고,
    상기 전자 제어 유닛은 상기 현재 위치에 기초하여 상기 구동 장치의 구동을 제어하는 것을 포함하는 차량.
  10. 제 4항에 있어서, 상기 물체 인식 장치는,
    상기 차체와 동일한 차로를 주행하되 상기 차체와 가장 근접하게 위치한 선행 차량을 상기 제1차량으로 설정하는 것을 포함하는 차량.
  11. 제 4항에 있어서, 상기 물체 인식 장치는,
    상기 차체가 위치하는 차로의 좌우 차로를 주행하되 상기 차체와 가장 근접하게 위치한 선행 차량을 상기 제1차량으로 설정하는 것을 포함하는 차량.
  12. 제 4항에 있어서,
    상기 거리 검출부는, 적어도 하나의 라이다 센서를 포함하고,
    상기 영상 검출부는, 적어도 하나의 이미지 센서를 포함하는 차량.
  13. 제 4항에 있어서, 상기 물체 인식 장치는,
    상기 제1차량의 위치 정보 중 좌측 끝점에서 좌측으로 제1일정거리, 우측 끝점에서 우측으로 제2일정거리 및 좌우측 끝점에서 전방으로 제3일정거리 내의 영역을 방해 영역으로 설정하는 것을 포함하는 차량.
  14. 제 4항에 있어서, 상기 물체 인식 장치는,
    상기 제1차량의 위치 정보에 기초하여 미리 설정된 크기의 영역을 방해 영역으로 설정하는 것을 포함하는 차량.
  15. 차체;
    상기 차체에 마련되고 주변의 물체와의 거리를 검출하는 거리 검출부;
    상기 차체에 마련되고 상기 주변의 물체의 영상을 검출하는 영상 검출부;
    복수의 물체의 형상에 각각 대응하는 영상 정보를 저장하는 저장부; 및
    상기 거리 검출부에서 검출된 복수의 신호에 기초하여 좌표 내 점 데이터를 획득하고, 상기 획득된 좌표 내 점 데이터의 점들 간의 방향, 거리 및 양에 기초하여 서로 이웃한 점들을 연결하는 군집화를 수행하고, 상기 군집화된 정보에 기초하여 복수 개의 물체의 형상 정보 및 위치 정보를 획득하고, 상기 물체의 형상 정보와 상기 저장부에 저장된 영상 정보에 기초하여 상기 획득된 물체의 형상 정보 및 위치 정보를 보정하는 물체 인식 장치를 포함하는 차량.
  16. 제 15 항에 있어서, 상기 물체 인식 장치는,
    상기 물체의 영상 정보에 기초하여 상기 물체의 형상을 학습하고 학습된 물체의 영상 정보의 저장을 제어하는 것을 포함하는 차량.
  17. 제 15 항에 있어서,
    상기 거리 검출부는, 적어도 하나의 라이다 센서를 포함하고,
    상기 영상 검출부는, 적어도 하나의 이미지 센서를 포함하는 차량.
  18. 제 17 항에 있어서, 상기 물체 인식 장치는,
    상기 거리 검출부와 가장 근접하게 위치하는 물체를 확인하고, 상기 확인된 물체를 기준으로 미리 설정된 크기의 방해 영역 내에 위치하는 물체의 정보를 보정하는 것을 포함하는 차량.
  19. 제 18 항에 있어서, 상기 물체 인식 장치는,
    상기 저장부의 복수의 영상 정보 중 상기 방해 영역 내 물체의 영상 정보와 매칭되는 영상 정보를 확인하고, 상기 확인된 영상 정보에 기초하여 상기 거리 검출부에 의해 검출되지 않은 미 검출 부분의 영상 정보를 획득하고, 상기 획득된 미 검출 부분의 영상 정보에 기초하여 상기 방해 영역 내 물체의 형상 정보 및 위치 정보를 보정하는 것을 포함하는 차량.
  20. 차체에 마련되고 주변의 물체와의 거리를 검출하고,
    검출된 복수의 신호에 기초하여 좌표 내 점 데이터를 획득하고,
    상기 획득된 좌표 내 점 데이터의 점들 간의 방향, 거리 및 양에 기초하여 서로 이웃한 점들을 연결하는 군집화를 수행하고,
    상기 군집화에 의한 군집화된 정보에 기초하여 복수 개의 물체의 형상 정보와 위치 정보를 획득하고,
    상기 획득된 복수 개의 물체의 위치 정보에 기초하여 상기 복수 개의 물체 중 상기 차체와 가장 근접한 물체를 제1차량으로 설정하고,
    상기 제1차량의 위치 정보에 기초하여 방해 영역을 설정하고,
    상기 방해 영역에 위치하는 물체를 제2차량으로 설정하고,
    상기 제2차량의 위치 정보와 형상 정보를 획득하고,
    상기 제2차량의 영상 정보와 저장부에 저장된 복수의 영상 정보에 기초하여 상기 획득된 제2차량의 형상 정보를 획득하고,
    상기 획득된 제2차량의 형상 정보에 기초하여 상기 제2차량의 위치 정보를 보정하고,
    상기 보정된 제2차량의 위치 정보에 기초하여 차량의 구동을 제어하는 차량의 제어 방법.
  21. 제 20항에 있어서,
    영상 검출부를 이용하여 주변의 영상 신호를 검출하고,
    상기 영상 신호에 기초하여 차량의 영상 정보를 획득하고,
    상기 획득된 영상 정보에 기초하여 상기 차량의 형상을 학습하고,
    상기 학습된 차량의 영상 정보를 저장하는 것을 더 포함하는 차량의 제어 방법.
  22. 삭제
  23. 제 20 항에 있어서, 상기 제2차량의 형상을 보정하는 것은,
    상기 저장부의 복수의 영상 정보 중 상기 제2차량의 영상 정보와 매칭되는 영상 정보를 확인하고,
    상기 확인된 영상 정보에 기초하여 검출되지 않은 미 검출 부분의 영상 정보를 획득하고,
    상기 획득된 미 검출 부분의 영상 정보에 기초하여 상기 제2차량의 형상 정보를 보정하는 것을 포함하는 차량의 제어 방법.
  24. 제 20 항에 있어서, 상기 제1차량을 설정하는 것은,
    적어도 하나의 차로를 주행하되 상기 차체와 가장 근접하게 위치한 선행 차량을 상기 제1차량으로 설정하는 것을 포함하는 차량의 제어 방법.
  25. 제 20 항에 있어서, 상기 방해 영역을 설정하는 것은,
    상기 제1차량의 위치 정보 중 좌측 끝점에서 좌측으로 제1일정거리, 우측 끝점에서 우측으로 제2일정거리 및 좌우측 끝점에서 전방으로 제3일정거리 내의 영역을 방해 영역으로 설정하는 것을 포함하는 차량의 제어 방법.
KR1020150121666A 2015-08-28 2015-08-28 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법 KR101778558B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150121666A KR101778558B1 (ko) 2015-08-28 2015-08-28 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법
US14/957,061 US9905024B2 (en) 2015-08-28 2015-12-02 Object recognition device, vehicle having the same and method of controlling the same
CN201510920654.0A CN106485194B (zh) 2015-08-28 2015-12-11 目标识别装置、具有目标识别装置的车辆及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150121666A KR101778558B1 (ko) 2015-08-28 2015-08-28 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20170025334A KR20170025334A (ko) 2017-03-08
KR101778558B1 true KR101778558B1 (ko) 2017-09-26

Family

ID=58096657

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150121666A KR101778558B1 (ko) 2015-08-28 2015-08-28 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법

Country Status (3)

Country Link
US (1) US9905024B2 (ko)
KR (1) KR101778558B1 (ko)
CN (1) CN106485194B (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016027289A1 (ja) * 2014-08-21 2016-02-25 三菱電機株式会社 運転支援装置、運転支援方法及びプログラム
DE112015007054B4 (de) 2015-11-20 2019-11-28 Mitsubishi Electric Corp. Fahrunterstützungsvorrichtung, fahrunterstützungssystem, fahrunterstützungsverfahren und fahrunterstützungsprogramm
JP2017138694A (ja) * 2016-02-02 2017-08-10 ソニー株式会社 映像処理装置及び映像処理方法
KR20180106417A (ko) * 2017-03-20 2018-10-01 현대자동차주식회사 차량의 위치 인식 시스템 및 방법
CN110461677B (zh) * 2017-03-30 2022-10-21 本田技研工业株式会社 车辆控制系统、车辆控制方法及存储介质
JP6813436B2 (ja) * 2017-06-16 2021-01-13 株式会社東芝 情報処理装置、移動体、情報処理方法、およびプログラム
CN109305165B (zh) * 2017-07-28 2022-04-12 现代摩比斯株式会社 智能超声系统、车辆后方碰撞警告装置及其控制方法
JP6592852B2 (ja) * 2017-09-07 2019-10-23 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
KR20190047302A (ko) 2017-10-27 2019-05-08 삼성에스디에스 주식회사 차량의 측후방 영상의 패닝 방법 및 그 장치
KR102015076B1 (ko) * 2017-11-13 2019-08-27 주식회사 소네트 일상 주행 데이터를 이용한 자율 주행 알고리즘 개발 장치 및 그 방법
US11511735B2 (en) * 2017-12-26 2022-11-29 Sony Corporation Signal processing apparatus and signal processing method
KR102434007B1 (ko) * 2018-01-05 2022-08-19 현대자동차주식회사 차량 및 그 제어 방법
CN209955917U (zh) * 2018-03-05 2020-01-17 株式会社小糸制作所 传感器系统
US11567182B2 (en) 2018-03-09 2023-01-31 Innovusion, Inc. LiDAR safety systems and methods
CN110271502A (zh) * 2018-03-16 2019-09-24 株式会社小糸制作所 传感器系统
US11609307B2 (en) * 2018-03-26 2023-03-21 Mitsubishi Electric Corporation Object detection apparatus, vehicle, object detection method, and computer readable medium
US11609313B2 (en) 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
US11614526B1 (en) * 2018-08-24 2023-03-28 Innovusion, Inc. Virtual windows for LIDAR safety systems and methods
CN110901638B (zh) * 2018-08-28 2021-05-28 大陆泰密克汽车系统（上海）有限公司 驾驶辅助方法及系统
KR102692320B1 (ko) * 2018-12-07 2024-08-07 현대자동차주식회사 사물 인식 기반 주행 패턴 관리 서버, 그를 이용한 차량의 주행 제어 장치 및 그 방법
JP7243163B2 (ja) * 2018-12-10 2023-03-22 株式会社Ihi 物体追跡装置
WO2020132233A1 (en) * 2018-12-20 2020-06-25 Augean Robotics, Inc. Collaborative autonomous ground vehicle
CN110309741B (zh) * 2019-06-19 2022-03-08 百度在线网络技术（北京）有限公司 障碍物检测方法及装置
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
US11718296B2 (en) 2019-12-09 2023-08-08 Bendix Commercial Vehicle Systems Llc Using shared traffic information to support adaptive cruise control (ACC) between platooning vehicles
US20210181737A1 (en) * 2019-12-16 2021-06-17 Waymo Llc Prevention, detection and handling of the tire blowouts on autonomous trucks
CN111497836A (zh) * 2020-04-30 2020-08-07 上海芯物科技有限公司 车辆驾驶中的非机动车避让方法、装置、车辆及存储介质
JP7514664B2 (ja) 2020-06-24 2024-07-11 日産自動車株式会社 物体認識方法及び物体認識システム
KR20220025585A (ko) 2020-08-24 2022-03-03 삼성전자주식회사 위치 추정 방법 및 장치
JP2022086805A (ja) * 2020-11-30 2022-06-09 株式会社アイシン 障害物検出装置、方法及びプログラム
CN113177436B (zh) * 2021-04-01 2022-01-14 深圳市鑫保泰技术有限公司 一种超声波指静脉认证装置
KR102655066B1 (ko) * 2021-12-02 2024-04-09 주식회사 에이스웍스코리아 자율 주행 차량의 적응 순항 제어 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009231937A (ja) 2008-03-19 2009-10-08 Mazda Motor Corp 車両用周囲監視装置
JP2015079368A (ja) 2013-10-17 2015-04-23 ヤマハ発動機株式会社 自律走行車両

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3562250B2 (ja) 1997-07-29 2004-09-08 日産自動車株式会社 先行車両検出装置
GB0115433D0 (en) 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
DE10305861A1 (de) 2003-02-13 2004-08-26 Adam Opel Ag Vorrichtung eines Kraftfahrzeuges zur räumlichen Erfassung einer Szene innerhalb und/oder außerhalb des Kraftfahrzeuges
DE102004021561A1 (de) 2004-05-03 2005-12-08 Daimlerchrysler Ag Objekterkennungssystem für ein Kraftfahrzeug
FR2921027B1 (fr) 2007-09-17 2010-02-26 Valeo Vision Dispositif d'aide a la conduite pour vehicule automobile comportant un systeme de capture d'images stereoscopique
CN102472817B (zh) 2009-07-31 2014-02-26 本田技研工业株式会社 车用物体探测装置和车用物体探测方法
JP5401344B2 (ja) * 2010-01-28 2014-01-29 日立オートモティブシステムズ株式会社 車両用外界認識装置
KR101240469B1 (ko) * 2010-11-23 2013-03-11 현대모비스 주식회사 객체 인식 시스템, 차량용 장애물 인식 시스템 및 차량용 장애물 인식 방법
KR20120072131A (ko) 2010-12-23 2012-07-03 한국전자통신연구원 이미지 센서와 거리센서의 데이터 융합에 의한 상황인식 방법 및 그 장치
KR101551667B1 (ko) * 2013-11-27 2015-09-09 현대모비스(주) 라이다 센서 시스템
TWI534764B (zh) * 2014-01-10 2016-05-21 財團法人工業技術研究院 車輛定位裝置與方法
JP6312304B2 (ja) * 2014-01-28 2018-04-18 三菱重工機械システム株式会社 位置測定方法、自己位置測定装置及び車載器
JP6303564B2 (ja) * 2014-02-11 2018-04-04 株式会社デンソー 位置情報校正装置、位置情報校正アプリケーションプログラム
WO2016027289A1 (ja) * 2014-08-21 2016-02-25 三菱電機株式会社 運転支援装置、運転支援方法及びプログラム
KR101526826B1 (ko) * 2014-12-24 2015-06-05 한국항공우주연구원 자율 주행 보조 장치
JP6380422B2 (ja) * 2016-02-05 2018-08-29 トヨタ自動車株式会社 自動運転システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009231937A (ja) 2008-03-19 2009-10-08 Mazda Motor Corp 車両用周囲監視装置
JP2015079368A (ja) 2013-10-17 2015-04-23 ヤマハ発動機株式会社 自律走行車両

Also Published As

Publication number Publication date
CN106485194A (zh) 2017-03-08
CN106485194B (zh) 2021-11-16
KR20170025334A (ko) 2017-03-08
US9905024B2 (en) 2018-02-27
US20170061219A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
KR101778558B1 (ko) 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법
CN108230749B (zh) 车辆及其控制方法
CN106945660B (zh) 一种自动泊车系统
CN107176165B (zh) 车辆的控制装置
CN110831819B (zh) 泊车辅助方法以及泊车辅助装置
US9747800B2 (en) Vehicle recognition notification apparatus and vehicle recognition notification system
US9126533B2 (en) Driving support method and driving support device
JP6303453B2 (ja) 駐車支援装置
US20190193738A1 (en) Vehicle and Control Method Thereof
KR102565928B1 (ko) 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
KR20190018949A (ko) 운행 보조 시스템 및 차량
US20140156178A1 (en) Road marker recognition device and method
US20210334564A1 (en) Method for monitoring an occupant and a device therefor
US10896338B2 (en) Control system
JP5017242B2 (ja) 視覚支援装置
KR102486179B1 (ko) 차량 및 그 제어 방법
KR102611337B1 (ko) 차량의 ar 디스플레이 장치 및 그것의 동작방법
KR101768115B1 (ko) 컨트롤 패드, 그를 가지는 차량 및 그 제어 방법
CN111357038A (zh) 驾驶员注意力检测方法及装置
US11335085B2 (en) Advanced driver assistance system, vehicle having the same and method for controlling the vehicle
KR20220012445A (ko) 차량 및 그 제어 방법
KR20190065043A (ko) 차량의 운행 시스템
KR102499975B1 (ko) 차량 및 그 제어 방법
KR102434007B1 (ko) 차량 및 그 제어 방법
US20240326788A1 (en) Driver assistance apparatus

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant