KR20200043570A - 차량의 후진 주행 지원 장치 및 그 제어방법 - Google Patents

차량의 후진 주행 지원 장치 및 그 제어방법 Download PDF

Info

Publication number
KR20200043570A
KR20200043570A KR1020180123759A KR20180123759A KR20200043570A KR 20200043570 A KR20200043570 A KR 20200043570A KR 1020180123759 A KR1020180123759 A KR 1020180123759A KR 20180123759 A KR20180123759 A KR 20180123759A KR 20200043570 A KR20200043570 A KR 20200043570A
Authority
KR
South Korea
Prior art keywords
driving
vehicle
backward
collection unit
reverse
Prior art date
Application number
KR1020180123759A
Other languages
English (en)
Other versions
KR102593422B1 (ko
Inventor
김정구
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020180123759A priority Critical patent/KR102593422B1/ko
Priority to DE102019127566.0A priority patent/DE102019127566B4/de
Priority to US16/601,868 priority patent/US11465612B2/en
Priority to CN201910987336.4A priority patent/CN111055839B/zh
Priority to CN202111079205.XA priority patent/CN113602260B/zh
Publication of KR20200043570A publication Critical patent/KR20200043570A/ko
Priority to KR1020200075242A priority patent/KR102356469B1/ko
Priority to US17/487,424 priority patent/US11667289B2/en
Application granted granted Critical
Publication of KR102593422B1 publication Critical patent/KR102593422B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/16—Ratio selector position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18033—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/303—Speed sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량의 후진 주행 지원 장치 및 그 제어 방법에 관한 것이다.
본 발명의 일 실시 예에 따른 차량의 후진 주행 지원 장치는, 차량의 전진 주행 시에 카메라가 촬영한 하나 이상의 전진 영상 프레임을 수집하는 제1 수집부와, 차량의 전진 주행 시에 차속센서에 의해 측정된 휠펄스 카운트와, 조향각 센서에 의해 측정된 조향각과, 요레이트 센서에 의해 측정된 요레이트를 매칭시켜 차량의 이동 위치를 추정하고, 제1 수집부가 수집한 연속한 전진 영상 프레임들 사이에 존재하는 공통된 특징점 매칭을 통해 전진 주행 시의 전진 주행 궤적을 후진 주행 예측 경로로 생성하는 주행 경로 생성부와, 차량의 전진 주행이 완료된 후 후진 주행 예측 경로로 자동 후진 주행 시에 카메라가 촬영한 하나 이상의 후진 영상 프레임을 수집하는 제2 수집부와, 제1 수집부가 수집한 전진 영상 프레임의 특징점과, 제2 수집부가 수집하고 전진 영상 프레임과 동일한 위치에서 촬영된 후진 영상 프레임의 특징점의 매칭을 통하여 두 개 특징점 사이의 매칭 편차를 산출하는 편차 산출부와, 후진 주행 예측 경로로 자동 후진 주행 시에, 후진 주행 예측 경로를 특징점의 매칭 편차만큼 보정한 후진 주행 보정 경로를 생성하는 보정 주행 경로 생성부를 포함한다.

Description

차량의 후진 주행 지원 장치 및 그 제어방법{BACKWARD DRIVING ASSIST APPARATUS OF VEHICLE AND CONTROL METHOD THEREOF}
본 발명은 차량의 후진 주행 지원 장치 및 그 제어 방법에 관한 것이다.
일반적으로 차량의 후진주행 시 운전의 어려움을 호소하는 운전자가 많다.
이는 차량의 후진주행이 전진주행과 그 이동궤적이 상이하기 때문이며, 또한 차량의 후진 주행 시에는 후진경로 및 장애물을 확인하기 위해 백미러, 사이드미러 및 후방카메라 등의 여러 가지 요소를 운전자가 직접적으로 확인하면서 스티어링을 제어해야 하기 때문이다.
예를 들면, 도로의 폭이 좁은 길 또는 도로의 측면에 차량이 주정차 되어 있는 길 등을 후진으로 통과해야 할 때, 운전자는 주정차 되어 있는 차량 등의 장애물 간의 간격을 확인하여 후진 가능 여부를 직접적으로 판단하면서 장애물을 회피하여 후진주행 해야 하고, 또한 장애물을 회피하면서도 후진경로 상의 좌우 어느 한쪽으로 치우치지 않도록 운전해야 하므로, 운전자의 숙련도 및 각별한 주의가 요구되었다.
이에 따라, 운전자가 안전하고 편안하게 후진주행 할 수 있도록 후진 주행보조장치가 개발되고 있으며, 예를 들어, 현재 차량이 후진할 때 보조해 주는 장치로는 PAS(Parking Assist System)와 PGS(Parking Guide System) 및 후방 모니터 등이 있다.
본 발명의 배경기술은 대한민국 공개특허공보 제2015-0077823호(2015.07.08. 공개, 차량의 자동 후진 경로 제어 시스템)에 개시되어 있다.
이와 같은 종래기술에 의한 자동 후진경로 제어 시스템에서는 전진주행 시 생성한 주행궤적 데이터를 일정거리 간격으로 순서대로 저장한 후 후진주행 시 전진 주행시 저장한 순서의 역순으로 주행궤적 데이터를 획득하여 후진경로를 제어하게 된다.
그러나 전진주행과 후진주행은 차량의 구성상 회전반경이 달라 차속 센서 및 조향각 센서만을 이용하여 전진주행 경로와 동일하게 후진주행 경로를 제어할 경우 오차율이 높은 문제점이 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은 전술한 문제점 및/또는 한계를 해결하기 위해 안출된 것으로, 일 측면에 따른 본 발명의 목적은 카메라로 촬영한 전진 주행 영상과 후진 주행 영상의 특징의 변화를 이용하여 차량의 후진 주행 경로를 보정함으로써 차량의 주행경로 제어정밀도를 향상시키는데 있다.
본 발명의 일 실시 예에 따른 차량의 후진 주행 지원 장치는, 차량의 전진 주행 시에 카메라가 촬영한 하나 이상의 전진 영상 프레임을 수집하는 제1 수집부; 상기 차량의 전진 주행 시에 차속센서에 의해 측정된 휠펄스 카운트와, 조향각 센서에 의해 측정된 조향각과, 요레이트 센서에 의해 측정된 요레이트를 매칭시켜 상기 차량의 이동 위치를 추정하고, 상기 제1 수집부가 수집한 연속한 전진 영상 프레임들 사이에 존재하는 공통된 특징점 매칭을 통해 상기 전진 주행 시의 전진 주행 궤적을 후진 주행 예측 경로로 생성하는 주행 경로 생성부; 상기 차량의 전진 주행이 완료된 후 상기 후진 주행 예측 경로로 자동 후진 주행 시에 상기 카메라가 촬영한 하나 이상의 후진 영상 프레임을 수집하는 제2 수집부; 상기 제1 수집부가 수집한 전진 영상 프레임의 특징점과, 상기 제2 수집부가 수집하고 상기 전진 영상 프레임과 동일한 위치에서 촬영된 후진 영상 프레임의 특징점의 매칭을 통하여 두 개 특징점 사이의 매칭 편차를 산출하는 편차 산출부; 및 상기 후진 주행 예측 경로로 자동 후진 주행 시에, 상기 후진 주행 예측 경로를 상기 특징점의 매칭 편차만큼 보정한 후진 주행 보정 경로를 생성하는 보정 주행 경로 생성부;를 포함할 수 있다.
상기 제1 수집부는, 연속한 두 개의 전진 영상 프레임 중 어느 한 전진 영상 프레임에 포함된 특징점의 위치에서 나머지 전진 영상 프레임에 포함된 특징점의 위치를 가상의 직선으로 연결한 후, 상기 가상의 직선이 전진 영상 프레임의 수평선과 이루는 각도로서의 상기 차량의 방향각을 산출할 수 있다.
상기 제1 수집부는, 상기 카메라가 촬영한 일련의 전진 영상 프레임들로부터 이동하는 물체를 상기 특징점으로부터 제외시킬 수 있다.
상기 제2 수집부는, 상기 차량의 전진 주행이 완료된 후 상기 후진 주행 예측 경로로 자동 후진 주행 시에, 상기 방향각에 해당하는 위치로 이동하여 촬영한 상기 후진 영상 프레임을 수집할 수 있다.
본 발명의 일 실시 예에 따른 차량의 후진 주행 지원 방법은, 제1 수집부에 의해, 차량의 전진 주행 시에 카메라가 촬영한 하나 이상의 전진 영상 프레임을 수집하는 단계; 주행 경로 생성부에 의해, 상기 차량의 전진 주행 시에 차속센서에 의해 측정된 휠펄스 카운트와, 조향각 센서에 의해 측정된 조향각과, 요레이트 센서에 의해 측정된 요레이트를 매칭시켜 상기 차량의 이동 위치를 추정하고, 상기 제1 수집부가 수집한 연속한 전진 영상 프레임들 사이에 존재하는 공통된 특징점 매칭을 통해 상기 전진 주행 시의 전진 주행 궤적을 후진 주행 예측 경로로 생성하는 단계; 제2 수집부에 의해, 상기 차량의 전진 주행이 완료된 후 상기 후진 주행 예측 경로로 자동 후진 주행 시에 상기 카메라가 촬영한 하나 이상의 후진 영상 프레임을 수집하는 단계; 편차 산출부에 의해, 상기 제1 수집부가 수집한 전진 영상 프레임의 특징점과, 상기 제2 수집부가 수집하고 상기 전진 영상 프레임과 동일한 위치에서 촬영된 후진 영상 프레임의 특징점의 매칭을 통하여 두 개 특징점 사이의 매칭 편차를 산출하는 단계; 및 보정 주행 경로 생성부에 의해, 상기 후진 주행 예측 경로로 자동 후진 주행 시에, 상기 후진 주행 예측 경로를 상기 특징점의 매칭 편차만큼 보정한 후진 주행 보정 경로를 생성하는 단계;를 포함할 수 있다.
상기 방법은, 상기 제1 수집부에 의해, 연속한 두 개의 전진 영상 프레임 중 어느 한 전진 영상 프레임에 포함된 특징점의 위치에서 나머지 전진 영상 프레임에 포함된 특징점의 위치를 가상의 직선으로 연결한 후, 상기 가상의 직선이 전진 영상 프레임의 수평선과 이루는 각도로서의 상기 차량의 방향각을 산출하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 제1 수집부에 의해, 상기 카메라가 촬영한 일련의 전진 영상 프레임들로부터 이동하는 물체를 상기 특징점으로부터 제외시키는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 제2 수집부에 의해, 상기 차량의 전진 주행이 완료된 후 상기 후진 주행 예측 경로로 자동 후진 주행 시에, 상기 방향각에 해당하는 위치로 이동하여 촬영한 상기 후진 영상 프레임을 수집할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
실시 예들에 따르면, 카메라로 촬영한 전진 주행 영상과 후진 주행 영상의 특징의 변화를 이용하여 차량의 후진 주행 경로를 보정함으로써 차량의 주행경로 제어정밀도를 향상시킬 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 차량의 후진 주행 지원 장치를 개략적으로 설명하기 위하여 도시한 도면이다.
도 2는 도 1의 차량의 후진 주행 지원 장치 중 제어부의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다.
도 3은 도 1의 차량의 후진 주행 지원 장치에서 후진 보정 경로 생성을 개략적으로 설명하기 위하여 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 차량의 후진 주행 지원 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 차량의 후진 주행 지원 장치를 개략적으로 설명하기 위하여 도시한 도면이다. 도 1을 참조하면, 차량의 후진 주행 지원 장치(100)는 차속 센서(110), 조향각 센서(120), 요레이트 센서(130), 변속레버 감지부(140), 카메라(150), 메모리(160), MDPS 제어부(170), 제어부(180)를 포함할 수 있다.
차속 센서(110)는 차륜의 휠펄스를 카운트하여 차속과 이동거리를 파악할 수 있도록 휠펄스 카운트를 제어부(180)에 제공할 수 있다.
조향각 센서(120)는 차량의 조향휠이 회전한 조향각을 측정하여 제어부(180)에 제공할 수 있다.
요레이트 센서(130)는 주행 시 차량의 기울어진 요레이트 값을 측정하여 제어부(180)에 제공할 수 있다.
변속레버 감지부(140)는 변속레버의 위치를 감지하여 제어부(180)에 제공할 수 있다.
카메라(150)는 차량의 전진 주행 시 및/또는 차량의 후진 주행 시에 턴 온 되어 일련의 영상 프레임을 촬영(생성)할 수 있다. 여기서 카메라(150)는 차량의 전진 주행 시에 일련의 전진 영상 프레임을 촬영할 수 있고, 차량의 후진 주행 시에 일련의 후진 영상 프레임을 촬영할 수 있는 후방, 전방 및 측면 중 하나 이상의 카메라(150)를 포함할 수 있다.
이러한 카메라(150)는 예컨대 COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 촬영영역 내의 피사체를 촬영할 수 있으며, 입력되는 영상 프레임(또는 동영상)는 렌즈를 통해 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광 신호를 전기적 신호(촬영 신호)로 변환하여 출력할 수 있다.
이러한 카메라(150)는 영상 처리부(미도시)를 더 포함할 수 있다. 영상 처리부 영상 프레임에 대하여 노이즈를 저감하고, 감마 보정(gamma correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 영상 처리부는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 수행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 수행할 수 있다. 이러한 영상 처리부는 카메라(150)에 구비되거나, 제어부(180)에 구비되거나, 별도의 장치로 구비될 수 있다.
메모리(160)는 제어부(180)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 더 나아가 메모리(160)는 제어부(180)의 제어 하에 카메라(150)가 촬영한 영상 프레임을 저장할 수 있다. 또한 메모리(160)는 제어부(180)의 제어 하에 차량 전진 주행 시의 전진 주행 궤적을 후진 주행 예측 경로로 저장할 수 있고, 후진 주행 예측 경로를 특징점의 매칭 편차만큼 보정한 후진 주행 보정 경로를 저장할 수 있다.
저장 매체로서의 메모리(160)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(160)는 내장 저장 매체 및/또는 외장 저장 매체를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 저장 매체, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 저장 매체, 또는 NOR 플래시 저장 매체 등과 같은 비휘발성 저장 매체, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 저장 매체 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.
MDPS 제어부(170)는 차량의 전진 주행 시에 목표 조향각에 따라 구동모터(미도시)를 작동시키고 조향휠(미도시)을 회전시켜 전진 주행을 지원할 수 있고, 전진 주행이 완료된 후 후진 주행 예측 경로 및/또는 후진 주행 보정 경로에 따라 자동으로 구동모터를 작동시키고 조향휠을 회전시켜 후진 주행을 지원할 수 있다.
제어부(180)는 차량의 전진 주행 시에 차속 센서(110)에 의해 측정된 휠펄스 카운트와, 조향각 센서(120)에 의해 측정된 조향각과, 요레이트 센서(130)에 의해 측정된 요레이트를 매칭시켜 차량의 이동 위치를 추정하고, 카메라(150)로부터 수신한 연속한 전진 영상 프레임들 사이에 존재하는 공통된 특징점을 이용하여 전진 주행 시의 전진 주행 궤적을 후진 주행 예측 경로로 생성할 수 있다. 또한 제어부(180)는 전진 영상 프레임의 특징점과, 카메라(150)로부터 수신하고 전진 영상 프레임과 동일한 위치에서 촬영된 후진 영상 프레임의 특징점의 매칭을 통하여 두 개 특징점 사이의 매칭 편차를 산출하고, 후진 주행 예측 경로를 특징점의 매칭 편차만큼 보정한 후진 주행 보정 경로를 생성할 수 있다.
도 2는 도 1의 차량의 후진 주행 지원 장치 중 제어부의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이고, 도 3은 도 1의 차량의 후진 주행 지원 장치에서 후진 보정 경로 생성을 개략적으로 설명하기 위하여 도시한 도면이다. 도 2를 참조하면 제어부(180)는 제1 수집부(181), 주행 경로 생성부(182), 제2 수집부(183), 편차 산출부(184) 및 보정 주행 경로 생성부(185)를 포함할 수 있다.
제1 수집부(181)는 차량의 전진 주행 시에 카메라(150)가 촬영한 하나 이상의 전진 영상 프레임을 수집할 수 있다. 본 실시 예에서 제1 수집부(181)는 연속한 두 개의 전진 영상 프레임 중 어느 한 전진 영상 프레임에 포함된 특징점의 위치에서 나머지 전진 영상 프레임에 포함된 특징점의 위치를 가상의 직선으로 연결한 후, 가상의 직선이 전진 영상 프레임의 수평선과 이루는 각도로서의 차량의 방향각을 산출할 수 있다. 또한 제1 수집부(181)는 방향각 산출 시에 카메라(150)가 촬영한 일련의 전진 영상 프레임들로부터 이동하는 물체를 특징점으로부터 제외시킬 수 있다. 이는 이동하는 물체를 특징점으로부터 제외시키고, 고정되어 있는 물체를 특징점으로 이용함으로써 특징점 매칭에 의한 경로 생성 시에 발생하는 오차를 줄이기 위함이다. 본 실시 예에서 방향각을 산출하는 제1 수집부(181)의 기능은 주행 경로 생성부(182)에 포함될 수 있다.
주행 경로 생성부(182)는 차속 센서(110)의 휠펄스 카운트와, 조향각 센서(120)의 조향각과, 요레이트 센서(130)의 요레이트값을 매칭시켜 차량의 위치를 추측항법(dead reckoning)으로 추정할 수 있다. 주행 경로 생성부(182)는 차량의 위치 추정값과, 제1 수집부(181)가 수집하고, 방향각이 적용된 연속한 전진 영상 프레임들 사이에 존재하는 공통된 특징점 매칭을 통해 전진 주행 시의 전진 주행 궤적을 후진 주행 예측 경로로 생성할 수 있다.
도 3a를 참조하면, 주행 경로 생성부(182)에 의해 생성한 차량 전진 주행 시의 전진 주행 궤적(C→B→A 포함, 310)을 도시하고 있다. 주행 경로 생성부(182)는 예를 들어, 제1 전진 영상 프레임(320)과 제1 전진 영상 프레임(320) 다음의 연속한 제2 전진 영상 프레임(330)에 공통적으로 존재하는 특징점(340) 매칭을 통하여 전진 주행 궤적(310) 중 어느 한 지점을 생성할 수 있다. 이러한 방법으로 연속한 전진 영상 프레임들 사이에 존재하는 공통된 특징점 매칭을 통해 전진 주행 시의 전진 주행 궤적을 생성하여 메모리(160)에 저장할 수 있고, 이 전진 주행 궤적은 후진 주행 경로로 사용될 수 있다.
제2 수집부(183)는 차량의 전진 주행이 완료된 후 메모리(160)에 저장된 후진 주행 예측 경로로 자동 후진 주행 시에 카메라(150)가 촬영한 하나 이상의 후진 영상 프레임을 수집할 수 있다.
이때 제2 수집부(183)는 자동 후진 주행 직전에, 앞서 제1 수집부(181)에서 산출한 방향각으로 카메라(150)를 이동시키거나 차량을 이동시킨 후, 후진 주행 예측 경로로 자동 후진 주행하면서 카메라(150)가 촬영한 후진 영상 프레임을 수집할 수 있다.
이는 동일 위치에서 전진 영상 프레임과 후진 영상 프레임의 촬영 방향이 다르면 피사체에 맺히는 영상이 다르고, 이로 인해 영상을 매칭하는 것은 불가능하기 때문이다. 즉, 단순히 전진하는 차량과 후진하는 차량은 동일 위치점에서 카메라(150)가 촬영하는 영상이 다를 수 있다. 따라서, 전진 영상 프레임을 메모리(160)에 저장할 때 특징점의 위치 및 방향을 사전에 결정해 놓고 후진 시에 이를 반영하여 후진 영상 프레임을 촬영하도록 할 수 있다.
편차 산출부(184)는 제1 수집부(181)가 수집한 전진 영상 프레임의 특징점과, 제2 수집부(183)가 수집하고 전진 영상 프레임과 동일한 위치에서 촬영된 후진 영상 프레임의 특징점의 매칭을 통하여 두 개 특징점 사이의 매칭 편차를 산출할 수 있다.
도 3b를 참조하면, 차량의 전진 주행이 완료된 후 자동 후진 주행 시의 후진 주행 예측 경로(A→B→C 포함, 350)을 도시하고 있으며, 예를 들어, 전진 영상 프레임의 특징점(340)의 위치 및 방향각이 적용된 제1 후진 영상 프레임(370) 및 제1 후진 영상 프레임(370) 다음의 연속한 제2 후진 영상 프레임(380)을 도시하고 있다.
도 3c를 참조하면, 편차 산출부(184)는 특징점(340)을 포함하는 제1 후진 영상 프레임(370)과 메모리(160)에 저장된 특징점(340)을 포함하는 제2 전진 영상 프레임(330)을 비교하여 특징점(340) 매칭을 판단하고, 특징점(340)의 매칭 편차(φ, 예를 들어 횡방향 치우침)를 산출할 수 있다. 본 실시 예에서는 하나의 후진 영상 프레임 및 전진 영상 프레임의 비교를 통해 매칭 편차를 산출하는 내용만을 개시하고 있으나, 이에 국한되지 않고 후진 주행 예측 경로(350) 상에서 촬영한 일련의 후진 영상 프레임 및 메모리(160)에 저장된 일련의 전진 영상 프레임의 비교를 통해 복수의 매칭 편차를 산출할 수 있다.
보정 주행 경로 생성부(185)는 후진 주행 예측 경로(도 3의 350)로 자동 후진 주행 시에, 후진 주행 예측 경로를 특징점의 매칭 편차(φ)만큼 보정하여 후진 주행 보정 경로(도 3의 360)를 생성하고, 차량은 후진 주행 보정 경로(360)로 후진 주행을 수행할 수 있다.
이와 같이 차량의 자동 후진 시에 도로 환경과 무관하게 발생하는 외란(슬립, 횡오차 등)을 영상 프레임 매칭을 통해 보정함으로써 주행경로 제어정밀도를 향상시킬 수 있다.
도 4는 본 발명의 일 실시 예에 따른 차량의 후진 주행 지원 방법을 설명하기 위한 흐름도이다. 이하의 설명에서 도 1 내지 도 3에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 4를 참조하면, S410단계에서, 후진 주행 지원 장치(100)는 차량의 전진 주행 시에 카메라(150)가 촬영한 하나 이상의 전진 영상 프레임을 수집한다. 여기서, 후진 주행 지원 장치(100)는 연속한 두 개의 전진 영상 프레임에 공통적으로 포함된 특징점의 위치를 이용하여 차량의 방향각을 산출할 수 있고, 방향각 산출 시에 카메라(150)가 촬영한 일련의 전진 영상 프레임들로부터 이동하는 물체를 특징점으로부터 제외시킬 수 있다.
S420단계에서, 후진 주행 지원 장치(100)는 차속 센서(110)의 휠펄스 카운트와, 조향각 센서(120)의 조향각과, 요레이트 센서(130)의 요레이트값을 매칭시켜 추측항법(dead reckoning)으로 추정한 차량의 위치 추정값과, 방향각이 적용된 연속한 전진 영상 프레임들 사이에 존재하는 공통된 특징점 매칭을 통해 전진 주행 시의 전진 주행 궤적을 후진 주행 예측 경로로 생성한다.
S430단계에서, 후진 주행 지원 장치(100)는 차량의 전진 주행이 완료된 후 후진 주행 예측 경로로 자동 후진 주행 시에 카메라(150)가 촬영한 하나 이상의 후진 영상 프레임을 수집한다. 여기서, 자동 후진 주행 직전에, 앞서 산출한 방향각으로 카메라(150)를 이동시키거나 차량을 이동시킨 후, 후진 주행 예측 경로로 자동 후진 주행하면서 카메라(150)가 촬영한 후진 영상 프레임을 수집할 수 있다.
S440단계에서, 후진 주행 지원 장치(100)는 전진 영상 프레임의 특징점과, 전진 영상 프레임과 동일한 위치에서 촬영된 후진 영상 프레임의 특징점의 매칭을 통하여 두 개 특징점 사이의 매칭 편차를 산출한다.
S450단계에서, 후진 주행 지원 장치(100)는 후진 주행 예측 경로로 자동 후진 주행 시에, 후진 주행 예측 경로를 특징점의 매칭 편차만큼 보정하여 후진 주행 보정 경로를 생성하고, 차량은 후진 주행 보정 경로(360)로 후진 주행을 수행한다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 후진 주행 지원 장치
110: 차속 센서
120: 조향각 센서
130: 요레이트 센서
140: 변속레버 감지부
150: 카메라
160: 메모리
170: MDPS 제어부
180: 제어부

Claims (8)

  1. 차량의 전진 주행 시에 카메라가 촬영한 하나 이상의 전진 영상 프레임을 수집하는 제1 수집부;
    상기 차량의 전진 주행 시에 차속센서에 의해 측정된 휠펄스 카운트와, 조향각 센서에 의해 측정된 조향각과, 요레이트 센서에 의해 측정된 요레이트를 매칭시켜 상기 차량의 이동 위치를 추정하고, 상기 제1 수집부가 수집한 연속한 전진 영상 프레임들 사이에 존재하는 공통된 특징점 매칭을 통해 상기 전진 주행 시의 전진 주행 궤적을 후진 주행 예측 경로로 생성하는 주행 경로 생성부;
    상기 차량의 전진 주행이 완료된 후 상기 후진 주행 예측 경로로 자동 후진 주행 시에 상기 카메라가 촬영한 하나 이상의 후진 영상 프레임을 수집하는 제2 수집부;
    상기 제1 수집부가 수집한 전진 영상 프레임의 특징점과, 상기 제2 수집부가 수집하고 상기 전진 영상 프레임과 동일한 위치에서 촬영된 후진 영상 프레임의 특징점의 매칭을 통하여 두 개 특징점 사이의 매칭 편차를 산출하는 편차 산출부; 및
    상기 후진 주행 예측 경로로 자동 후진 주행 시에, 상기 후진 주행 예측 경로를 상기 특징점의 매칭 편차만큼 보정한 후진 주행 보정 경로를 생성하는 보정 주행 경로 생성부;를 포함하는, 차량의 후진 주행 지원 장치.
  2. 제 1항에 있어서, 상기 제1 수집부는,
    연속한 두 개의 전진 영상 프레임 중 어느 한 전진 영상 프레임에 포함된 특징점의 위치에서 나머지 전진 영상 프레임에 포함된 특징점의 위치를 가상의 직선으로 연결한 후, 상기 가상의 직선이 전진 영상 프레임의 수평선과 이루는 각도로서의 상기 차량의 방향각을 산출하는, 차량의 후진 주행 지원 장치.
  3. 제 1항에 있어서, 상기 제1 수집부는,
    상기 카메라가 촬영한 일련의 전진 영상 프레임들로부터 이동하는 물체를 상기 특징점으로부터 제외시키는, 차량의 후진 주행 지원 장치.
  4. 제 2항에 있어서, 상기 제2 수집부는,
    상기 차량의 전진 주행이 완료된 후 상기 후진 주행 예측 경로로 자동 후진 주행 시에, 상기 방향각에 해당하는 위치로 이동하여 촬영한 상기 후진 영상 프레임을 수집하는, 차량의 후진 주행 지원 장치.
  5. 제1 수집부에 의해, 차량의 전진 주행 시에 카메라가 촬영한 하나 이상의 전진 영상 프레임을 수집하는 단계;
    주행 경로 생성부에 의해, 상기 차량의 전진 주행 시에 차속센서에 의해 측정된 휠펄스 카운트와, 조향각 센서에 의해 측정된 조향각과, 요레이트 센서에 의해 측정된 요레이트를 매칭시켜 상기 차량의 이동 위치를 추정하고, 상기 제1 수집부가 수집한 연속한 전진 영상 프레임들 사이에 존재하는 공통된 특징점 매칭을 통해 상기 전진 주행 시의 전진 주행 궤적을 후진 주행 예측 경로로 생성하는 단계;
    제2 수집부에 의해, 상기 차량의 전진 주행이 완료된 후 상기 후진 주행 예측 경로로 자동 후진 주행 시에 상기 카메라가 촬영한 하나 이상의 후진 영상 프레임을 수집하는 단계;
    편차 산출부에 의해, 상기 제1 수집부가 수집한 전진 영상 프레임의 특징점과, 상기 제2 수집부가 수집하고 상기 전진 영상 프레임과 동일한 위치에서 촬영된 후진 영상 프레임의 특징점의 매칭을 통하여 두 개 특징점 사이의 매칭 편차를 산출하는 단계; 및
    보정 주행 경로 생성부에 의해, 상기 후진 주행 예측 경로로 자동 후진 주행 시에, 상기 후진 주행 예측 경로를 상기 특징점의 매칭 편차만큼 보정한 후진 주행 보정 경로를 생성하는 단계;를 포함하는, 차량의 후진 주행 지원 방법.
  6. 제 5항에 있어서,
    상기 제1 수집부에 의해, 연속한 두 개의 전진 영상 프레임 중 어느 한 전진 영상 프레임에 포함된 특징점의 위치에서 나머지 전진 영상 프레임에 포함된 특징점의 위치를 가상의 직선으로 연결한 후, 상기 가상의 직선이 전진 영상 프레임의 수평선과 이루는 각도로서의 상기 차량의 방향각을 산출하는 단계;를 더 포함하는 차량의 후진 주행 지원 방법.
  7. 제 5항에 있어서,
    상기 제1 수집부에 의해, 상기 카메라가 촬영한 일련의 전진 영상 프레임들로부터 이동하는 물체를 상기 특징점으로부터 제외시키는 단계;를 더 포함하는, 차량의 후진 주행 지원 방법.
  8. 제 6항에 있어서,
    상기 제2 수집부에 의해, 상기 차량의 전진 주행이 완료된 후 상기 후진 주행 예측 경로로 자동 후진 주행 시에, 상기 방향각에 해당하는 위치로 이동하여 촬영한 상기 후진 영상 프레임을 수집하는, 차량의 후진 주행 지원 방법.
KR1020180123759A 2018-10-17 2018-10-17 차량의 후진 주행 지원 장치 및 그 제어방법 KR102593422B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020180123759A KR102593422B1 (ko) 2018-10-17 2018-10-17 차량의 후진 주행 지원 장치 및 그 제어방법
DE102019127566.0A DE102019127566B4 (de) 2018-10-17 2019-10-14 Rückfahrassistenzvorrichtung für ein Fahrzeug und Verfahren zum Steuern selbiger
US16/601,868 US11465612B2 (en) 2018-10-17 2019-10-15 Backward driving assist apparatus for vehicle and method of controlling same
CN201910987336.4A CN111055839B (zh) 2018-10-17 2019-10-17 车辆向后行驶辅助装置及其控制方法
CN202111079205.XA CN113602260B (zh) 2018-10-17 2019-10-17 车辆向后行驶辅助装置及其控制方法
KR1020200075242A KR102356469B1 (ko) 2018-10-17 2020-06-19 차량의 후진 주행 지원 장치 및 방법
US17/487,424 US11667289B2 (en) 2018-10-17 2021-09-28 Backward driving assist apparatus for vehicle and method of controlling same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180123759A KR102593422B1 (ko) 2018-10-17 2018-10-17 차량의 후진 주행 지원 장치 및 그 제어방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200075242A Division KR102356469B1 (ko) 2018-10-17 2020-06-19 차량의 후진 주행 지원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200043570A true KR20200043570A (ko) 2020-04-28
KR102593422B1 KR102593422B1 (ko) 2023-10-26

Family

ID=70280325

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180123759A KR102593422B1 (ko) 2018-10-17 2018-10-17 차량의 후진 주행 지원 장치 및 그 제어방법

Country Status (4)

Country Link
US (2) US11465612B2 (ko)
KR (1) KR102593422B1 (ko)
CN (2) CN111055839B (ko)
DE (1) DE102019127566B4 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10974758B2 (en) * 2018-11-19 2021-04-13 GM Global Technology Operations LLC Method and apparatus that direct lateral control during backward motion
JP7273544B2 (ja) * 2019-03-07 2023-05-15 株式会社Subaru 車両の情報提供装置、車両の情報提供方法及びプログラム
US11554779B2 (en) * 2019-11-25 2023-01-17 Hyundai Mobis Co., Ltd. Apparatus and method for controlling backward driving of vehicle
DE102020202964A1 (de) * 2020-03-09 2021-09-09 Continental Automotive Gmbh Die Erfindung betrifft ein Verfahren zur Erhöhung der Sicherheit von Fahrfunktionen.
CN111994064A (zh) * 2020-08-31 2020-11-27 中国第一汽车股份有限公司 车辆控制方法、装置、设备、系统及存储介质
DE102020211461B4 (de) * 2020-09-11 2022-03-24 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Rückfahrassistenzsystems für ein Fahrzeug und Rückfahrassistenzsystem
US11654933B2 (en) * 2020-11-10 2023-05-23 GM Global Technology Operations LLC Navigation trajectory using reinforcement learning for an ego vehicle in a navigation network
CN112380448B (zh) * 2020-12-03 2022-02-22 腾讯科技（深圳）有限公司 车辆数据处理方法、装置、计算机设备和存储介质
DE102022205771A1 (de) * 2022-06-07 2023-12-07 Volkswagen Aktiengesellschaft Verfahren zum Bewerten von Bewegungen eines Fahrzeugs, Verfahren zum Betreiben eines Fahrzeugführungssystems, elektronisches Fahrzeugführungssystem sowie ein Fahrzeug mit einem elektronischen Fahrzeugführungssystem

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002048513A (ja) * 2000-05-26 2002-02-15 Honda Motor Co Ltd 位置検出装置、位置検出方法、及び位置検出プログラム
JP2007237930A (ja) * 2006-03-08 2007-09-20 Aisin Aw Co Ltd 運転支援装置
KR20170016201A (ko) * 2015-08-03 2017-02-13 현대모비스 주식회사 주차 지원 장치 및 그 제어 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7797108B2 (en) * 2006-10-19 2010-09-14 Gm Global Technology Operations, Inc. Collision avoidance system and method of aiding rearward vehicular motion
KR20120106033A (ko) * 2011-03-17 2012-09-26 현대모비스 주식회사 차량 정보를 이용한 후진 주행 궤적선 제공 장치 및 그 방법
KR101558708B1 (ko) 2013-12-30 2015-10-07 현대자동차주식회사 차량의 자동 후진 경로 제어 시스템
DE102014213074B4 (de) * 2014-07-04 2023-12-14 Bayerische Motoren Werke Aktiengesellschaft Rückfahrassistenzsystem für ein zweispuriges Kraftfahrzeug mit Vorderradlenkung
JP6394497B2 (ja) * 2015-05-25 2018-09-26 トヨタ自動車株式会社 車両の自動運転システム
DE102015217555A1 (de) 2015-09-15 2017-03-16 Robert Bosch Gmbh Vorrichtung und Verfahren zur Manöverassistenz für ein Fortbewegungsmittel
DE102017200218A1 (de) 2017-01-09 2018-07-12 Bayerische Motoren Werke Aktiengesellschaft Steuereinheit und Verfahren zur Berücksichtigung von Hindernissen bei einem Rückfahrassistenzsystem
US10871380B2 (en) * 2017-03-23 2020-12-22 Hitachi Automotive Systems, Ltd. Vehicle control device
KR20180123759A (ko) 2017-05-10 2018-11-20 조인환 Rad 방식의 자동차 유리막코팅 시공방법
DE102017114605A1 (de) 2017-06-30 2019-01-03 Connaught Electronics Ltd. Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug mit Bestimmung einer Trajektorie anhand eines Umgebungsszenarios, Fahrerassistenzsystem sowie Kraftfahrzeug

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002048513A (ja) * 2000-05-26 2002-02-15 Honda Motor Co Ltd 位置検出装置、位置検出方法、及び位置検出プログラム
JP2007237930A (ja) * 2006-03-08 2007-09-20 Aisin Aw Co Ltd 運転支援装置
KR20170016201A (ko) * 2015-08-03 2017-02-13 현대모비스 주식회사 주차 지원 장치 및 그 제어 방법

Also Published As

Publication number Publication date
CN111055839A (zh) 2020-04-24
CN113602260B (zh) 2024-04-02
US11465612B2 (en) 2022-10-11
DE102019127566B4 (de) 2023-01-19
US11667289B2 (en) 2023-06-06
US20220009482A1 (en) 2022-01-13
CN113602260A (zh) 2021-11-05
DE102019127566A1 (de) 2020-04-23
US20200122717A1 (en) 2020-04-23
CN111055839B (zh) 2023-04-28
KR102593422B1 (ko) 2023-10-26

Similar Documents

Publication Publication Date Title
KR102593422B1 (ko) 차량의 후진 주행 지원 장치 및 그 제어방법
JP4856656B2 (ja) 車両検出装置
KR101584693B1 (ko) 카메라 파라미터 측정 장치 및 그 방법
CN104517283B (zh) 用于车辆上摄像机的在线校准的系统、车辆和方法
EP2930658A1 (en) Image-capturing device for moving body
US10846542B2 (en) Systems and methods for augmentating upright object detection
US11560145B2 (en) Travel path recognition apparatus and travel path recognition method
US11126875B2 (en) Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium
US11378974B2 (en) Information processing device and recording medium recording vehicle parking support program
JP3765862B2 (ja) 車両用環境認識装置
JP2020067698A (ja) 区画線検出装置及び区画線検出方法
US11308337B2 (en) Image capturing device
KR102356469B1 (ko) 차량의 후진 주행 지원 장치 및 방법
US20200193633A1 (en) Image processing device and image processing method
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
WO2018016599A1 (ja) 画像処理装置及び画像処理方法
KR101544421B1 (ko) 충격 감지 센서를 이용한 차량용 블랙박스 제어 장치 및 방법
US20230415760A1 (en) Method for assisting safer driving and electronic device
JP7009209B2 (ja) カメラずれ検出装置、カメラずれ検出方法および異常検出装置
CN114103812B (zh) 倒车入库引导系统及方法
JP3365168B2 (ja) 後方白線認識装置
KR102175956B1 (ko) Ｌｋａｓ의 오프셋 보정 장치 및 그 방법
JP6704488B1 (ja) 座標データ補正装置およびこれを用いた移動体追従装置並びに移動体追従方法
JP6981881B2 (ja) カメラずれ検出装置およびカメラずれ検出方法
JP2010081385A (ja) 運転支援装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181017

PG1501 Laying open of application
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20200619

Patent event code: PA01071R01D

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210701

Comment text: Request for Examination of Application

Patent event code: PA02011R04I

Patent event date: 20200619

Comment text: Divisional Application of Patent

Patent event code: PA02011R01I

Patent event date: 20181017

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230118

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230720

PG1601 Publication of registration