KR102258102B1 - Method for controlling steering wheel and System therefor - Google Patents

Method for controlling steering wheel and System therefor Download PDF

Info

Publication number
KR102258102B1
KR102258102B1 KR1020200136230A KR20200136230A KR102258102B1 KR 102258102 B1 KR102258102 B1 KR 102258102B1 KR 1020200136230 A KR1020200136230 A KR 1020200136230A KR 20200136230 A KR20200136230 A KR 20200136230A KR 102258102 B1 KR102258102 B1 KR 102258102B1
Authority
KR
South Korea
Prior art keywords
parking
line
interest
vehicle
image
Prior art date
Application number
KR1020200136230A
Other languages
Korean (ko)
Other versions
KR20200125546A (en
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130095702A external-priority patent/KR102170286B1/en
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200136230A priority Critical patent/KR102258102B1/en
Publication of KR20200125546A publication Critical patent/KR20200125546A/en
Application granted granted Critical
Publication of KR102258102B1 publication Critical patent/KR102258102B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3685Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities the POI's being parking facilities
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/08Systems for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/10Path keeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 합성된 제 1 영상과 장애물 지도에 근거하여 유효 주차 구획을 인식하고, 상기 유효 주차 구획에 근거하여 초기 주차 경로를 생성하는 단계, 상기 초기 주차 경로를 기반으로 차량이 상기 유효 주차 구획으로 진입할 때 합성된 제 2 영상으로부터 관심 주차선을 검출하고, 검출된 상기 관심 주차선을 관심 주차선 지도에 저장하는 단계, 현재 추출된 관심 주차선 및 상기 관심 주차선 지도에 저장된 관심 주차선에 근거하여 계산된 회전 각도 및 이동량과 차등 오도메트리에 의해 추정된 회전 각도 및 이동량을 비교하여 상기 차량의 위치 오차를 보정하는 단계, 및 상기 보정된 차량의 위치에 근거하여 상기 유효 주차 구획에 주차할 수 있는 주차 경로를 재생성 하고, 상기 초기 주차 경로 또는 상기 재생성된 주차 경로에 근거하여 상기 차량의 조향 휠을 제어하는 단계를 포함할 수 있다.The present invention recognizes an effective parking segment based on the synthesized first image and an obstacle map, and generates an initial parking route based on the effective parking segment, wherein the vehicle is converted to the effective parking segment based on the initial parking route. Detecting a parking line of interest from the second image synthesized when entering, and storing the detected parking line of interest in a map of the parking line of interest, to the currently extracted parking line of interest and the parking line of interest stored in the map of the parking line of interest. Compensating the position error of the vehicle by comparing the rotation angle and movement amount calculated based on the rotation angle and movement amount estimated by the differential odometry, and parking in the effective parking section based on the corrected vehicle position. Regenerating a possible parking path, and controlling a steering wheel of the vehicle based on the initial parking path or the regenerated parking path.

Figure 112020111094338-pat00001
Figure 112020111094338-pat00001

Description

조향 휠 제어 방법 및 이를 위한 위한 시스템{Method for controlling steering wheel and System therefor}A method for controlling a steering wheel and a system therefor therefor

본 발명은 조향 휠 제어 방법 및 이를 위한 장치에 대한 것으로, 특히 AVM 합성 영상과 거리 감지 센서 기반 주차 지원 시스템을 이용한 조향 휠을 제어하는 방법 및 이를 위한 시스템에 대한 것이다.The present invention relates to a steering wheel control method and an apparatus therefor, and in particular, to a method of controlling a steering wheel using an AVM composite image and a parking assistance system based on a distance sensor, and a system therefor.

초보나 고령 운전자에게 주차는 부담되는 일로 특히 좁은 공간에서 주차하는데 많은 어려움을 겪고 있어 주차 지원 시스템에 대한 수요가 증가하고 있다. 이러한 시장의 요구와 최근 Motor-Driven Power Steering(MDPS) 장착 차량의 증가에 따라 적은 비용으로 운전자의 부담을 경감시키고 편의를 증가시킬 수 있는 초음파 기반 주차지원 시스템 적용이 늘어나고 있다. Parking is a burden for beginners and elderly drivers, and as they are having a lot of difficulty in parking in a particularly small space, the demand for parking assistance systems is increasing. With such market demand and the recent increase in motor-driven power steering (MDPS)-equipped vehicles, the application of ultrasonic-based parking assistance systems that can reduce the burden on the driver and increase convenience at a low cost is increasing.

이와 같이 종래 초음파 센서로 주차 구획 공간을 인식하기 위해서는 주차 구획 공간 옆의 주변 차량 또는 장애물이 필요하게 되어 있어, 그렇지 않은 경우 유효 주차 구획 공간을 인식하는데 정확도가 낮아질 수 있다.As described above, in order to recognize a parking partition space with a conventional ultrasonic sensor, a nearby vehicle or an obstacle next to the parking partition space is required. If not, accuracy in recognizing an effective parking partition space may be lowered.

또한, 이러한 종래 주차 지원 시스템에서 가장 기본이 되는 로직은 차량 위치 추정기로 차량의 후륜 센서 데이터를 이용한 차등 오도메트리(Differential Odometry) 방법이 많이 사용되고 있는데, 이러한 차등 오도메트리는 차량 제원 및 노면 상태 등의 불확실성에 의해 유효 주차 구획 공간을 인식하는데 있어 정확도가 낮아질 수 있다.In addition, the most basic logic in such a conventional parking assistance system is a vehicle position estimator, and a differential odometry method using rear wheel sensor data of a vehicle is widely used. The accuracy of recognizing the effective parking lot space may be lowered due to the uncertainty of.

상기 오도메트리의 자세 추정에 오류를 발생시키는 오차의 원인은 계통적 오차(Systematic error)로, 이는 차량에 오차 원인이 내재된 결정적인 원인에 해당한다. 계통적 오차의 원인으로는 2개의 휠 직경의 불일치, 휠의 미스얼라인먼트 (Misalignment), 그리고 기구학적인 모델링 오차(Kinematic modeling error) 등이 있다. The cause of an error that causes an error in estimating the attitude of the odometry is a systematic error, which is a decisive cause in which the error cause is inherent in the vehicle. The causes of systematic error include misalignment of two wheel diameters, misalignment of the wheel, and kinematic modeling error.

한편, 장애물 감지를 위한 수단과 영상 기반 주차 구획선을 검출하기 위한 수단을 이용하여 상기 장애물 감지 수단에 의해 생성된 장애물 지도를 근거로 상기 영상 기반 수단에서 제공된 영상에서 관심 영역을 선정하고 주차 구획선을 검출하는 장치가 유럽 특허 EP2377728에 상세하게 설명되어 있다. 이와 같은 종래 기술에서는 영상 기반 주차 구획선 검출이 실패하면, 장애물 지도를 근거로 하여 유효 주차 구획을 결정하는 방법이 자세히 설명되어 있는 바, 이러한 방식은 차량 제원 및 노면 상태의 불확실성에 따른 차량 위치 추정 오차가 커지는 경우, 유효 주차 구획 정확도 및 인식률이 떨어질 수 있다.On the other hand, using a means for detecting an obstacle and a means for detecting an image-based parking division line, based on the obstacle map generated by the obstacle detection means, an ROI is selected from an image provided by the image-based means, and a parking division line is detected. The device is described in detail in European patent EP2377728. In such a conventional technique, when the image-based parking division line detection fails, a method of determining an effective parking division based on an obstacle map is described in detail. When is large, the effective parking zone accuracy and recognition rate may be deteriorated.

만일, 차량 제원 및 노면 상태의 불확실성에 따른 차량 위치 추정 오차가 커지는 경우, 주차하는 과정에서 주차 정렬도의 오차가 커질 수 있는데, 종래 기술은 이점에 대한 해결 방안을 제시하지 못한다.If the vehicle position estimation error increases due to the vehicle specifications and the uncertainty of the road surface condition, the error in the parking alignment may increase during the parking process, but the prior art does not provide a solution to the advantage.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, AVM 시스템의 합성 영상으로부터 주차선 가이드 라인 및 주차 구획 코너 검출/정합을 통해 자동차 움직임을 정확히 예측하고, 유효 주차 구획 인식을 위한 주차 구획 지도 및 장애물 지도를 정확히 구축함으로써 유효 주차 구획 인식 성능을 높임과 동시에 유효 주차 구획으로 주차하는 과정에서도 관심 주차선 검출/정합을 통해 자동차 위치를 정확히 추정하여 원하는 위치에 주차되도록 주차 제어 성능을 향상시키고, 향후 주차 제어를 향상시키기 위해 관심선 구획 지도를 정확히 구축하고자 한다.The present invention has been devised to solve the above problems, and accurately predicts vehicle movement through detection/matching of parking line guide lines and parking division corners from a synthesized image of an AVM system, and a parking division map for effective parking division recognition. And by accurately building an obstacle map, the effective parking zone recognition performance is improved, and the parking control performance is improved so that the vehicle is parked at a desired location by accurately estimating the car position through detection/matching of the parking line of interest even in the process of parking in the effective parking zone In order to improve parking control in the future, we intend to accurately construct a map of the line of interest.

또한, 주차 구획 인식 과정에서 검출한 주차선 가이드 라인과 주차 구획 코너 정보를 이용하여 차량 위치 오차 보정을 통해 정확한 주차 구획 지도 및 장애물 지도를 작성하고, 유효 주차 구획으로 주차하는 과정에서 관심 주차선 정보를 이용한 차량 위치 오차 보정을 수행함과 동시에 실시간 주차 경로 재생성을 통해 주차 정렬도 오차를 최소화하고자 한다.In addition, by using the parking line guide line and parking lot corner information detected in the process of recognizing the parking lot, correct parking lot maps and obstacle maps by correcting vehicle position errors, and parking lot information of interest in the process of parking in an effective parking lot. It is intended to minimize the error in parking alignment through real-time parking path regeneration while performing vehicle position error correction using.

본 발명의 일 실시예에 따른 조향 휠 제어 방법은 합성된 제 1 영상과 장애물 지도에 근거하여 유효 주차 구획을 인식하고, 상기 유효 주차 구획에 근거하여 초기 주차 경로를 생성하는 단계, 상기 초기 주차 경로를 기반으로 차량이 상기 유효 주차 구획으로 진입할 때 합성된 제 2 영상으로부터 관심 주차선을 검출하고, 검출된 상기 관심 주차선을 관심 주차선 지도에 저장하는 단계, 현재 추출된 관심 주차선 및 상기 관심 주차선 지도에 저장된 관심 주차선에 근거하여 계산된 회전 각도 및 이동량과 차등 오도메트리에 의해 추정된 회전 각도 및 이동량을 비교하여 상기 차량의 위치 오차를 보정하는 단계, 및 상기 보정된 차량의 위치에 근거하여 상기 유효 주차 구획에 주차할 수 있는 주차 경로를 재생성 하고, 상기 초기 주차 경로 또는 상기 재생성된 주차 경로에 근거하여 상기 차량의 조향 휠을 제어하는 단계를 포함할 수 있다.The steering wheel control method according to an embodiment of the present invention includes the steps of recognizing an effective parking segment based on the synthesized first image and an obstacle map, and generating an initial parking route based on the effective parking segment, the initial parking route. Based on the step of detecting a parking line of interest from the synthesized second image when the vehicle enters the effective parking section, and storing the detected parking line of interest in a map of the parking line of interest, the currently extracted parking line of interest and the Compensating the position error of the vehicle by comparing the rotation angle and movement amount calculated based on the parking line of interest stored in the parking line of interest map and the rotation angle and movement amount estimated by differential odometry, and the corrected vehicle position And regenerating a parking path capable of parking in the effective parking section based on and controlling a steering wheel of the vehicle based on the initial parking path or the regenerated parking path.

일 실시예에 있어서, 상기 검출된 상기 관심 주차선을 관심 주차선 지도에 저장하는 단계는 상기 제 2 영상에 기초하여 좌측 주차 구획선, 우측 주차 구획선 및 주차선 가이드 라인을 포함하는 관심 주차선을 검출하는 단계, 및 검출된 상기 관심 주차선을 상기 관심 주차선 지도에 업데이트하는 단계를 포함할 수 있다.In an embodiment, the storing of the detected parking line of interest in a map of the parking line of interest detects a parking line of interest including a left parking partition line, a right parking partition line, and a parking line guide line based on the second image. And updating the detected parking line of interest to the map of the parking line of interest.

일 실시예에 있어서, 상기 관심 주차선을 검출하는 단계는 상기 제 2 영상을 수평 방향으로 탐색하여 그레디언트가 상대적으로 높은 영역을 검출하고, 주차선 밝기 패턴 특성을 갖는 두 개의 후보 점을 추출하며, 상기 두 개의 후보 점들에 대한 대표 선 성분을 정의하는 제 1 단계, 및 상기 제 2 영상을 수직 방향으로 탐색하여 그레디언트가 상대적으로 높은 영역을 검출하고, 주차선 밝기 패턴 특성을 갖는 두 개의 후보 점을 추출하며, 상기 두 개의 후보 점들에 대한 대표 선 성분을 정의하는 제 2 단계를 포함하며, 상기 제 1 및 제 2 단계를 통해 상기 좌측 주차 구획선과, 상기 우측 주차 구획선과, 상기 좌측 주차 구획선 및 상기 우측 주차 구획선과 수직을 이루는 상기 주차선 가이드 라인을 포함하는 상기 관심 주차선을 검출할 수 있다.In an embodiment, in the detecting of the parking line of interest, the second image is searched in a horizontal direction to detect a region having a relatively high gradient, and two candidate points having a parking line brightness pattern characteristic are extracted, A first step of defining a representative line component for the two candidate points, and a region having a relatively high gradient by searching the second image in a vertical direction, and two candidate points having a parking line brightness pattern characteristic And a second step of extracting and defining a representative line component for the two candidate points, and the left parking partition line, the right parking partition line, the left parking partition line, and the The parking line of interest including the parking line guide line perpendicular to the right parking partition line may be detected.

일 실시예에 있어서, 상기 주차선 밝기 패턴 특성은 어두운 선과 어두운선 사이에 소정 크기의 밝은 영역을 포함할 수 있다.In an embodiment, the parking line brightness pattern characteristic may include a bright area having a predetermined size between a dark line and a dark line.

본 발명의 다른 일 실시예에 따른 조향 휠 제어 시스템은 유효 주차 구획으로 차량이 진입하기 전 상기 차량에 설치된 복수 개의 카메라 영상들로부터 합성된 제 1 영상, 상기 유효 주차 구획으로 상기 차량이 진입할 때 상기 차량에 설치된 복수 개의 카메라 영상들로부터 합성된 제 2 영상 및 상기 제 2 영상으로부터 검출된 관심 주차선을 제공하는 AVM(Around View Monitor) 시스템, 초음파 센서에 기반하여 장애물 지도를 생성하는 거리 감지부, 및 상기 제 1 영상과 상기 장애물 지도에 근거하여 상기 유효 주차 구획을 인식하고, 상기 유효 주차 구획에 근거하여 초기 주차 경로를 생성하며, 현재 관심 주차선과 관심 주차선 지도에 저장된 관심 주차선에 근거하여 계산된 회전 각도 및 이동량과 차등 오도메트리에 의해 추정된 회전 각도 및 이동량을 비교하여 상기 차량의 위치 오차를 보정하고, 상기 보정된 차량의 위치에 근거하여 상기 유효 주차 구획에 주차할 수 있는 주차 경로를 재생성 하고, 상기 초기 주차 경로 또는 상기 재생성된 주차 경로에 근거하여 상기 차량의 조향 휠을 제어하는 조향 휠 제어부를 포함할 수 있다.The steering wheel control system according to another embodiment of the present invention includes a first image synthesized from a plurality of camera images installed in the vehicle before the vehicle enters the effective parking compartment, and when the vehicle enters the effective parking compartment. An AVM (Around View Monitor) system that provides a second image synthesized from a plurality of camera images installed in the vehicle and a parking line of interest detected from the second image, and a distance detection unit that generates an obstacle map based on an ultrasonic sensor , And recognizes the effective parking segment based on the first image and the obstacle map, generates an initial parking route based on the effective parking segment, and based on the current parking line of interest and the parking line of interest stored in the map of the parking line of interest. By comparing the calculated rotation angle and movement amount with the rotation angle and movement amount estimated by differential odometry, correcting the position error of the vehicle, and parking available in the effective parking compartment based on the corrected position of the vehicle And a steering wheel controller configured to regenerate a path and control a steering wheel of the vehicle based on the initial parking path or the regenerated parking path.

다른 일 실시예에 있어서, 상기 관심 주차선은 좌측 주차 구획선, 우측 주차 구획선 및 주차선 가이드 라인을 포함하고, 상기 주차선 가이드 라인은 상기 좌측 주차 구획선 및 상기 우측 주차 구획선과 수직일 수 있다.In another embodiment, the parking line of interest may include a left parking division line, a right parking division line, and a parking line guide line, and the parking line guide line may be perpendicular to the left parking division line and the right parking division line.

다른 일 실시예에 있어서, 상기 AVM 시스템은 상기 제 2 영상을 수평 방향과 수직 방향으로 각각 탐색하여 그레디언트가 상대적으로 높은 영역을 검출하고, 주차선 밝기 패턴 특성을 갖는 두 개의 후보 점을 추출하며, 상기 두 개의 후보 점들에 기초하여 상기 좌측 주차 구획선, 상기 우측 주차 구획선 및 상기 주차선 가이드 라인을 포함하는 상기 관심 주차선을 검출할 수 있다.In another embodiment, the AVM system detects a region having a relatively high gradient by searching for the second image in a horizontal direction and a vertical direction, respectively, and extracts two candidate points having a parking line brightness pattern characteristic, The parking line of interest including the left parking division line, the right parking division line, and the parking line guide line may be detected based on the two candidate points.

본 발명의 다양한 실시예에 따르면, AVM 영상으로부터 유효 주차 구획 인식을 위한 주차 구획 지도 및 장애물 지도를 정확히 구축함으로써 유효 주차 구획 인식 성능을 높임과 동시에 유효 주차 구획으로 주차하는 과정에서도 관심 주차선 검출/정합을 통해 자동차 위치를 정확히 추정하여 원하는 위치에 주차되도록 주차 제어 성능을 향상시키는 효과가 있다. According to various embodiments of the present invention, by accurately constructing a parking segment map and an obstacle map for recognizing an effective parking segment from an AVM image, an effective parking segment recognition performance is improved, and a parking line of interest is detected in the process of parking in an effective parking segment. There is an effect of improving the parking control performance so that the vehicle is parked at a desired location by accurately estimating the location of the vehicle through matching.

또한, 유효 주차 구획으로 주차하는 과정에서 관심 주차선 정보를 이용한 차량 위치 오차 보정을 수행함과 동시에 실시간 주차 경로 재생성을 통해 주차 정렬도 오차를 최소화하는 효과가 있다.In addition, there is an effect of minimizing a parking alignment error through real-time parking path regeneration while performing vehicle position error correction using information on a parking line of interest in the process of parking in an effective parking section.

도 1은 본 발명의 바람직한 일 실시예에 따른 주차 구획 인식 과정을 도시한 흐름도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 유효 주차 구획에 근거하여 차량을 주차하는 과정을 도시한 흐름도이다.
도 3은 본 발명의 바람직한 다른 실시예에 따른 유효 주차 구획 인식 과정을 도시한 흐름도이다.
도 4는 본 발명의 바람직한 일 실시예에 따라 도 1에 도시된 주차선 가이드 라인을 검출하기 위해 주차선 밝기 패턴 특성을 갖는 후보 점을 추출하는 과정을 도시한 블록도이다.
도 5는 본 발명의 바람직한 일 실시예에 따라 도 1에 도시된 주차선 가이드 라인을 검출하기 위해 라인 피팅 알고리즘을 이용하는 과정을 도시한 블록도이다.
도 6은 본 발명의 바람직한 일 실시예에 따라 도 1 및 도 3에 도시된 주차 구획 코너 검출 방법을 도시한 블록도이다.
도 7은 본 발명의 바람직한 일 실시예에 따른 주차 구획 코너 검출 방법을 테스트한 결과를 도시한 블록도이다.
도 8은 본 발명의 바람직한 일 실시예에 따라 주차선 가이드 라인 오차 보정 방법을 도시한 블록도이다.
도 9a 내지 도 9c는 본 발명의 바람직한 일 실시예에 따라 주차 구획 코너 오차 보정 방법을 도시한 블록도 및 흐름도이다.
도 10a 내지 도 10b는 본 발명의 바람직한 일 실시예에 따란 관심 주차선 검출 방법을 도시한 블록도이다.
도 11은 본 발명의 바람직한 일 실시예에 따라 주차 기준선을 검출하는 방법을 도시한 블록도이다.
도 12는 본 발명의 바람직한 실시예에 따라 관심 주차선을 검출하기 위한 주차선 가이드 라인 검출하는 방법을 도시한 블록도이다.
도 13은 본 발명의 바람직한 실시예에 따라 관심 주차선을 이용한 주차 차량 위치 보정 방법을 도시한 블록도이다.
도 14는 본 발명의 바람직한 일 실시예에 따른 유효 주차 구획에 근거하여 차량을 주차하는 시스템을 도시한 블록도이다.
1 is a flowchart illustrating a process of recognizing a parking zone according to an exemplary embodiment of the present invention.
2 is a flowchart illustrating a process of parking a vehicle based on an effective parking zone according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating a process of recognizing an effective parking segment according to another exemplary embodiment of the present invention.
4 is a block diagram illustrating a process of extracting a candidate point having a parking line brightness pattern characteristic in order to detect the parking line guide line shown in FIG. 1 according to an exemplary embodiment of the present invention.
5 is a block diagram illustrating a process of using a line fitting algorithm to detect the parking line guide line shown in FIG. 1 according to an exemplary embodiment of the present invention.
6 is a block diagram illustrating a method of detecting a corner of a parking division shown in FIGS. 1 and 3 according to an exemplary embodiment of the present invention.
7 is a block diagram showing a test result of a method for detecting a corner of a parking division according to an exemplary embodiment of the present invention.
8 is a block diagram illustrating a method of correcting a parking line guide line error according to an exemplary embodiment of the present invention.
9A to 9C are block diagrams and flowcharts illustrating a method of correcting a corner error in a parking division according to an exemplary embodiment of the present invention.
10A to 10B are block diagrams illustrating a method of detecting a parking line of interest according to an exemplary embodiment of the present invention.
11 is a block diagram illustrating a method of detecting a parking reference line according to an exemplary embodiment of the present invention.
12 is a block diagram illustrating a method of detecting a parking line guide line for detecting a parking line of interest according to a preferred embodiment of the present invention.
13 is a block diagram illustrating a method of correcting a position of a parked vehicle using a parking line of interest according to a preferred embodiment of the present invention.
14 is a block diagram showing a system for parking a vehicle based on an effective parking partition according to an exemplary embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms different from each other, and only these embodiments make the disclosure of the present invention complete, and common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to the possessor, and the invention is only defined by the scope of the claims. Meanwhile, terms used in the present specification are for explaining embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, "comprises" and/or "comprising" refers to the presence of one or more other components, steps, operations and/or elements in which the recited component, step, operation and/or element is Or does not preclude additions.

도 1은 본 발명의 바람직한 일 실시예에 따른 주차 구획 인식 과정을 도시한 흐름도이다.1 is a flowchart illustrating a process of recognizing a parking zone according to an exemplary embodiment of the present invention.

도 1을 참조하면, 복수 개의 카메라 영상들을 입력으로 받는 AVM(Around View Monitoring) 시스템은 상기 영상들의 제1 합성 영상으로부터 주차 구획 코너 및 주차선 가이드 라인을 검출한다. (S10, S11) 상기 주차선 가이드 라인은 상기 차량이 처음 진입하려는 부분의 경계선을 가르킨다. 상기 주차 구획 코너는 상기 주차선 가이드 라인과 인접하는 적어도 두 개의 코너를 포함한다.Referring to FIG. 1, an AVM (Around View Monitoring) system receiving a plurality of camera images as inputs detects a parking partition corner and a parking line guide line from a first composite image of the images. (S10, S11) The parking line guide line indicates a boundary line of a portion where the vehicle is to enter for the first time. The parking partition corner includes at least two corners adjacent to the parking line guide line.

상기 검출한 주차선 가이드 라인과, 적어도 두 개의 주차 구획 코너에 근거하여 주차 구획 지도를 생성하며 이후 연속해서 만들어지는 제2 합성 영상에 근거하여 업데이트한다. (S16) 추가적으로, 상기 제1 합성 영상 및 상기 제2 합성 영상으로부터 상기 차량의 회전 각도 및/또는 이동량을 계산할 수 있으며, 상기 계산된 회전 각도 및/또는 이동량을 오도메트리 기법에 근거하여 추정된 차량 위치와 매칭하여 차량 위치 오차를 보정할 수 있다. 이러한 위치 보정은 상기 주차 구획 지도의 업데이트시 반영될 수 있다. 이러한 위치 오차 보정 방법은 도 8 내지 도 9c와 관련지어 이후 상세히 설명할 예정이다.A parking segment map is generated based on the detected parking line guide line and at least two parking segment corners, and then updated based on a second composite image continuously generated. (S16) Additionally, the rotation angle and/or movement amount of the vehicle may be calculated from the first and second synthesis images, and the calculated rotation angle and/or movement amount is estimated based on an odometry technique. The vehicle position error can be corrected by matching the vehicle position. Such position correction may be reflected when the parking zone map is updated. This position error correction method will be described in detail later in connection with FIGS. 8 to 9C.

한편, 초음파 센서는 상기 복수 개의 카메라 영상들로부터 주차선 가이드 라인 및 적어도 두 개의 주차 구획 코너를 검출하는 동안에 거리 감지 기능에 기반하여 장애물 지도를 생성 및 업데이트한다. (S12)Meanwhile, the ultrasonic sensor generates and updates an obstacle map based on a distance detection function while detecting a parking line guide line and at least two parking division corners from the plurality of camera images. (S12)

상기 업데이트된 장애물 지도 및 주차 구획 지도를 이용하여 주차하려는 주차 구획 공간의 장애물 유/무 인식 및 유효 주차 구획을 인식한다. (S13)Using the updated obstacle map and parking segment map, presence/absence of an obstacle in a parking segment to be parked and an effective parking segment are recognized. (S13)

상기 유효 주차 구획 인식이 성공하면, 상기 인식한 장애물에 근거하여 상기 유효 주차 구획에 주차할 수 있도록 초기 주차 경로를 생성한다. (S14, S15)When the effective parking segment recognition is successful, an initial parking path is generated to park in the effective parking segment based on the recognized obstacle. (S14, S15)

도 2는 본 발명의 바람직한 일 실시예에 따른 유효 주차 구획에 근거하여 차량을 주차하는 과정을 도시한 흐름도이다.2 is a flowchart illustrating a process of parking a vehicle based on an effective parking zone according to an exemplary embodiment of the present invention.

도 2를 참조하면, 도 1에서와 같이 생성된 초기 주차 경로에 근거하여 차량이 상기 유효 주차 구획으로 진입하면서 복수 개의 카메라들로부터 제공된 영상들의 제3 합성 영상으로부터 관심 주차선을 검출한다. (S20) 상기 관심 주차선은 해당 차량이 주차하게 될 유효 주차 구역에서 상기 차량을 종축으로 좌측 주차 구획선과, 우측 주차 구획선과, 이 두 구획선들과 수직을 이루는 주차선 가이드 라인을 포함한다. 상기 주차선 가이드 라인은 상기 초기 주차 경로를 위한 주차선 가이드 라인과 동일한 형태를 갖는다.Referring to FIG. 2, while a vehicle enters the effective parking section based on the initial parking path generated as in FIG. 1, a parking line of interest is detected from a third composite image of images provided from a plurality of cameras. (S20) The parking line of interest includes a left parking division line, a right parking division line, and a parking line guide line perpendicular to the two division lines with the vehicle as a vertical axis in an effective parking area in which the corresponding vehicle is to be parked. The parking line guide line has the same shape as the parking line guide line for the initial parking route.

상기 영상들의 제3 합성 영상 및 상기 영상들의 연속되는 영상들로부터 합성된 제4 합성 영상으로부터 상기 차량의 회전 각도 및 이동량을 계산할 수 있으며, 상기 계산된 회전 각도 및 이동량을 오도메트리 기법에 근거하여 추정된 차량 위치와 매칭하여 차량 위치를 보정할 수 있다. (S22) 이러한 위치 보정은 상기 관심 주차선 지도를 업데이트시 반영될 수 있다. (S23) The rotation angle and movement amount of the vehicle may be calculated from a third synthesis image of the images and a fourth synthesis image synthesized from successive images of the images, and the calculated rotation angle and movement amount may be calculated based on an odometry technique. The vehicle position may be corrected by matching with the estimated vehicle position. (S22) This position correction may be reflected when the map of the parking line of interest is updated. (S23)

상기 관심 주차선 정합 과정은 관심 주차선 검출 방법 및 이 관심 주차선에 기반하여 차량 위치를 보정해주는 방법을 도 10a 내지 도 13과 관련지어 이후 상세히 설명할 예정이다.In the process of matching the parking line of interest, a method of detecting a parking line of interest and a method of correcting a vehicle position based on the parking line of interest will be described in detail later in connection with FIGS. 10A to 13.

상기 보정된 차량 위치는 도 1에서 생성된 장애물 지도에도 반영될 수 있도록 한다. (S26)The corrected vehicle position may be reflected in the obstacle map generated in FIG. 1. (S26)

상기 차량의 위치 오차를 반영한 관심 주차선 지도 및 장애물 지도에 근거하여 주차하려는 유효 주차 구획에 주차할 수 있도록 하는 주차 경로를 재생성한다. (S24)A parking path for parking in an effective parking zone to be parked is regenerated based on a parking line map of interest and an obstacle map reflecting the position error of the vehicle. (S24)

상기 재생성된 주차 경로에 근거하여 차량의 조향 휠 제어가 이루어진다. (S25)The steering wheel of the vehicle is controlled based on the recreated parking path. (S25)

도 3은 본 발명의 바람직한 다른 실시예에 따른 유효 주차 구획 인식 과정을 도시한 흐름도이다.3 is a flowchart illustrating a process of recognizing an effective parking segment according to another exemplary embodiment of the present invention.

도 3을 참조하면, 복수 개의 카메라 영상들을 입력으로 받는 AVM(Around View Monitoring) 시스템에서는 상기 영상들의 제5 합성 영상으로부터 주차 구획 코너 및 주차선 가이드 라인을 검출한다. (S30, S31) 상기 주차선 가이드 라인은 상기 차량이 처음 진입하려는 부분의 경계선을 가르킨다. 상기 주차 구획 코너는 상기 주차선 가이드 라인과 인접하는 적어도 두 개의 코너를 포함한다.Referring to FIG. 3, in an AVM (Around View Monitoring) system that receives a plurality of camera images as inputs, a parking partition corner and a parking line guide line are detected from a fifth composite image of the images. (S30, S31) The parking line guide line indicates a boundary line of a portion where the vehicle is to enter for the first time. The parking partition corner includes at least two corners adjacent to the parking line guide line.

이후, 상기 영상들의 제5 합성 영상 및 상기 영상들의 연속되는 영상들로부터 합성된 제6 합성 영상 간의 주차 구획 코너 정합을 통해(S32) 차량 제원 및 노면 상태에 따른 차등 오도메트리에 기반하는 차량 위치의 추정 오차를 보정한다. (S33)Thereafter, by matching the parking segment corner between the fifth composite image of the images and the sixth composite image synthesized from the consecutive images of the images (S32), the vehicle position based on the differential odometry according to the vehicle specifications and the road surface condition is determined. Correct the estimation error. (S33)

상기 주차 구획 코너 정합 과정은 도 9a 내지 도 9c와 관련지어 이후 상세히 설명할 예정이다.The process of matching the parking division corner will be described in detail later in connection with FIGS. 9A to 9C.

상기 검출한 주차선 가이드 라인과, 적어도 두 개의 주차 구획 코너, 그리고 상기 보정된 차량 위치에 근거하여 상기 제5 합성 영상으로부터 생성된 주차 구획 지도를 업데이트한다. (S34)The parking segment map generated from the fifth composite image is updated based on the detected parking line guide line, at least two parking segment corners, and the corrected vehicle position. (S34)

한편, 상기 복수 개의 카메라 영상들로부터 주차선 가이드 라인 및 적어도 두 개의 주차 구획 코너를 검출하는 동안에 초음파 센서에 기반하여 장애물 지도를 생성하며, 상기 보정된 차량 위치를 반영하여 상기 장애물 지도를 업데이트한다. (S36)Meanwhile, while detecting a parking line guide line and at least two parking division corners from the plurality of camera images, an obstacle map is generated based on an ultrasonic sensor, and the obstacle map is updated by reflecting the corrected vehicle position. (S36)

상기 업데이트된 장애물 지도 및 주차 구획 지도를 이용하여 주차하려는 주차 구획 공간의 장애물 유/무 인식 및 유효 주차 구획을 인식한다. (S35)Using the updated obstacle map and parking segment map, presence/absence of an obstacle in a parking segment to be parked and an effective parking segment are recognized. (S35)

상기 유효 주차 구획 인식이 성공하면, 상기 인식한 장애물에 근거하여 상기 유효 주차 구획에 주차할 수 있도록 초기 주차 경로를 생성한다. (S37, S38)When the effective parking segment recognition is successful, an initial parking path is generated to park in the effective parking segment based on the recognized obstacle. (S37, S38)

도 4는 본 발명의 바람직한 일 실시예에 따라 도 1에 도시된 주차선 가이드 라인을 검출하기 위해 주차선 밝기 패턴 특성을 갖는 후보 점을 추출하는 과정을 도시한 블록도이다.4 is a block diagram illustrating a process of extracting a candidate point having a parking line brightness pattern characteristic in order to detect the parking line guide line shown in FIG. 1 according to an exemplary embodiment of the present invention.

도 4를 참조하면, c에 도시된 타겟 영상 특징 점(여기서는 주차선 가이드 라인을 찾기 위한 어두운 선과 어두운 선 사이에 소정 밝기의 소정 영역을 검출하기 위한)을 찾기 위해 영상 (a) 및 (b)에 도시된 바와 같이 탐색할 수평 구간들을 선정한다. 윤곽선 영상(a)에서 수평 방향으로 탐색하여 그레디언트가 상대적으로 높은 곳을 검출하여 특징 점으로 정의한다. 각 관심 구간에서 주차선 밝기 패턴 특성을 갖는 두 개의 후보 점을 조합 생성하여 후보 점을 추출한다. 상기 주차선 밝기 패턴 특성은 어두운 선과 어두운 선 사이에 소정 크기의 밝은 영역이 있을 때를 가리킨다.4, images (a) and (b) to find the target image feature point shown in c (here, for detecting a predetermined area of a predetermined brightness between a dark line and a dark line for finding a parking line guide line) As shown in, horizontal sections to be searched are selected. In the outline image (a), a location with a relatively high gradient is detected by searching in the horizontal direction and defined as a feature point. The candidate points are extracted by combining and generating two candidate points having a parking line brightness pattern characteristic in each interest section. The parking line brightness pattern characteristic indicates when there is a bright area of a predetermined size between a dark line and a dark line.

도 5는 본 발명의 바람직한 일 실시예에 따라 도 1에 도시된 주차선 가이드 라인을 검출하기 위해 라인 피팅 알고리즘을 이용하는 과정을 도시한 블록도이다.5 is a block diagram illustrating a process of using a line fitting algorithm to detect the parking line guide line shown in FIG. 1 according to an exemplary embodiment of the present invention.

도 5를 참조하면, (a), (b)에 도시된 바와 같이 윤곽선 영상에서 주차선 밝기 패턴을 갖는 후보 점(왼쪽/오른쪽) 기준으로 360도 방향 탐색하여 선 성분을 추출한다. (c)에 도시된 굵은 붉은 선과 같이 다수의 후보점을 지나는 선 성분이 최종 주차선 가이드 라인으로 인식된다.Referring to FIG. 5, as shown in (a) and (b), a line component is extracted by searching in a 360-degree direction based on a candidate point (left/right) having a parking line brightness pattern in an outline image. A line component passing through a plurality of candidate points, such as the thick red line shown in (c), is recognized as the final parking line guideline.

도 6은 본 발명의 바람직한 일 실시예에 따라 도 1 및 도 3에 도시된 주차 구획 코너 검출 방법을 도시한 블록도이다.6 is a block diagram illustrating a method of detecting a corner of a parking division shown in FIGS. 1 and 3 according to an exemplary embodiment of the present invention.

도 6을 참조하면, 해리스 코너 검출 알고리즘 등을 이용하여 코너 특징 점을 추출한다. (a) 상기 해리스 코너 검출 알고리즘은 기본적으로 영상 내에 상하 좌우로 움직이는 윈도우가 존재하며 이 윈도우 내의 화소값의 변화를 분석하여 코너점을 찾은 방식으로 구현된다. 영상 내 객체의 밝기값 변화가 없다면 윈도우를 상하 좌우 방향으로 움직여도 화소값의 변화량은 없을 것이다. 하지만, 좌우로 이동하면서 상하 방향으로 존재하는 영상의 경계선을 만났을 경우 당연히 좌우 방향으로 움직이는 윈도우 내의 화소값에는 큰 변화가 생기지만 상하 방향으로 움직이는 윈도우에 대해서는 화소값의 변화가 없을 것이다. 그럼 이 윈도우가 좌우 방향뿐만 아니라, 상하 방향으로도 움직인다고 생각하면 상하 방향으로 움직이는 동안 분명히 화소값의 변화가 큰 지점을 지나가게 될 것이다. 즉, 이점이 최종적인 코너점이 되는 것이다. 상기 코너점은 영상이 회전하여도 같은 위치로 찾아지는 장점이 있다.Referring to FIG. 6, corner feature points are extracted using a Harris corner detection algorithm or the like. (a) The Harris corner detection algorithm is implemented in a way that basically there is a window that moves vertically and horizontally in an image, and a corner point is found by analyzing changes in pixel values in the window. If there is no change in the brightness value of the object in the image, there will be no change in the pixel value even if the window is moved vertically and horizontally. However, when moving left and right and encountering the boundary line of an image that exists in the vertical direction, of course, a large change occurs in the pixel value in the window moving in the left-right direction, but there will be no change in the pixel value for the window moving in the vertical direction. Then, if you think that this window moves not only in the left-right direction, but also in the vertical direction, it will obviously pass the point where the change of the pixel value is large while moving in the vertical direction. That is, this is the final corner point. The corner point has the advantage of finding the same position even when the image is rotated.

주차 구획 코너 타입(c에 도시된 바와 같이 L-자형 연결 지점과 T-자형 연결 지점을 위한 A 타입과 B 타입이 존재한다.)의 밝기 패턴 특성을 갖는 코너를 검출하여 주차선 가이드 라인(빨간색 실선)을 지나는 주차 구획 코너를 최종 선정한다. (b)Parking division corner type (as shown in c, there are types A and B for the L-shaped connection point and the T-shaped connection point) by detecting a corner with a brightness pattern characteristic of the parking line guide line (red color) The parking division corner passing through the solid line) is finally selected. (b)

도 7은 본 발명의 바람직한 일 실시예에 따른 주차 구획 코너 검출 방법을 테스트한 결과를 도시한 블록도이다.7 is a block diagram showing a test result of a method for detecting a corner of a parking division according to an exemplary embodiment of the present invention.

도 8은 본 발명의 바람직한 일 실시예에 따라 주차선 가이드 라인 오차 보정 방법을 도시한 블록도이다.8 is a block diagram illustrating a method of correcting a parking line guide line error according to an exemplary embodiment of the present invention.

도 8을 참조하면, 이전 AVM 영상으로부터 검출되어 저장된 주차 구획 지도 상의 주차선 가이드 라인과 현재 AVM 영상으로부터 검출된 주차선 가이드 라인 간의 각도 차를 계산하여 자차 회전 각도를 추정한다. 이 추정된 자차 회전 각도와 차등 오도메트리에 의해 추정된 회전 각도와 비교하여 자동차 회전 각도의 오차를 보정할 수 있다. Referring to FIG. 8, the vehicle rotation angle is estimated by calculating an angle difference between a parking line guide line on a parking segment map detected and stored from a previous AVM image and a parking line guide line detected from a current AVM image. The error of the vehicle rotation angle can be corrected by comparing the estimated host vehicle rotation angle with the rotation angle estimated by differential odometry.

도 9a 내지 도 9c는 본 발명의 바람직한 일 실시예에 따라 주차 구획 코너 오차 보정 방법을 도시한 블록도 및 흐름도이다.9A to 9C are block diagrams and flowcharts illustrating a method of correcting a corner error in a parking division according to an exemplary embodiment of the present invention.

도 9a 내지 도 9b를 참조하면, 이전 AVM 영상으로부터 검출되어 저장된 주차 구획 지도 상의 주차 구획 코너와 현재 AVM 영상으로부터 검출된 주차 구획 코너 간의 이동량을 계산하여 자차 이동량을 추정한다.9A to 9B, the amount of movement of the own vehicle is estimated by calculating a movement amount between a parking segment corner on a parking segment map detected and stored from a previous AVM image and a parking segment corner detected from a current AVM image.

도 9c를 참조하면, 상기 이동량을 추정하기 위해 먼저 도 6에 도시된 바와 같이 주차 구획 코너 타입(c에 도시된 바와 같이 L-자형 연결 지점과 T-자형 연결 지점을 위한 A 타입과 B 타입이 존재한다.)의 밝기 패턴 특성을 갖는 코너를 검출하여 주차선 가이드 라인(빨간색 실선)을 지나는 적어도 두 개의 주차 구획 코너를 최종 선정한다. (S40) Referring to FIG. 9C, in order to estimate the amount of movement, first, as shown in FIG. 6, the parking division corner types (types A and B for the L-shaped connection point and the T-shaped connection point as shown in c) are Exists), and at least two parking zone corners passing through the parking line guide line (solid red line) are finally selected. (S40)

이 최종 선정된 적어도 두 개의 주차 구획 코너들을 정합하여 자차 이동량을 추정한다.These finally selected at least two parking division corners are matched to estimate the amount of movement of the own vehicle.

보다 상세하게는, 상기 도 8에서 추정한 자차 회전 각도를 이용하여 한쪽 영상(a)의 교차 점들을 회전 변환함으로써 연속되는 두 영상 간의 회전 성분을 제거한다. (S41) 영상 좌표계에서 상기 교차점들 간의 이동량을 계산한다. (S42) 상기 계산된 이동량을 실세계 좌표계로 변환하여 자차 이동량을 계산한다. (S43)In more detail, rotational components between two consecutive images are removed by rotationally transforming the intersection points of one image (a) using the own vehicle rotation angle estimated in FIG. 8. (S41) The amount of movement between the intersection points is calculated in the image coordinate system. (S42) The calculated movement amount is converted into a real world coordinate system to calculate the own vehicle movement amount. (S43)

상기 추정된 자차 이동량과 차등 오도메트리에 의해 추정된 이동량을 비교하여 자동차 이동량(위치)의 오차를 보정할 수 있다.The error of the vehicle movement amount (position) may be corrected by comparing the estimated movement amount of the own vehicle with the movement amount estimated by differential odometry.

도 10a 내지 도 10b는 본 발명의 바람직한 일 실시예에 따란 관심 주차선 검출 방법을 도시한 블록도이다.10A to 10B are block diagrams illustrating a method of detecting a parking line of interest according to an exemplary embodiment of the present invention.

도 10a를 참조하면, d에 도시된 타겟 영상 특징 점(여기서는 관심 주차선에 포함될 주차선 가이드 라인을 찾기 위한 어두운 선과 어두운 선 사이에 소정 밝기의 소정 영역을 검출하기 위한)을 찾기 위해 영상 (a) 및 (b)에 도시된 바와 같이 탐색할 수평 구간들을 선정한다. 윤곽선 영상(b)에서 수평 방향으로 탐색하여 그레디언트가 상대적으로 높은 곳을 검출하여 특징 점으로 정의한다. 각 관심 구간에서 주차선 밝기 패턴 특성을 갖는 두 개의 후보 점을 조합 생성하여 후보 점을 추출한다. 상기 주차선 밝기 패턴 특성은 어두운 선과 어두운 선 사이에 소정 크기의 밝은 영역이 있을 때를 가리킨다.Referring to FIG. 10A, in order to find the target image feature point shown in d (here, for detecting a predetermined area of a predetermined brightness between a dark line and a dark line for finding a parking line guide line to be included in a parking line of interest), an image (a ) And (b), horizontal sections to be searched are selected. In the outline image (b), a location with a relatively high gradient is detected by searching in the horizontal direction and defined as a feature point. The candidate points are extracted by combining and generating two candidate points having a parking line brightness pattern characteristic in each interest section. The parking line brightness pattern characteristic indicates when there is a bright area of a predetermined size between a dark line and a dark line.

도 10b를 참조하면, (a), (b)에 도시된 바와 같이 윤곽선 영상에서 주차선 밝기 패턴을 갖는 후보 점(왼쪽/오른쪽) 기준으로 360도 방향 탐색하여 선 성분을 추출한다.Referring to FIG. 10B, as shown in (a) and (b), a line component is extracted by searching in a 360-degree direction based on a candidate point (left/right) having a parking line brightness pattern in an outline image.

왼쪽과 오른쪽 특징 점에 대한 선 성분 검출 후, 각도 차를 비교하여 올바른 선 성분의 추출을 확인한다. (d) 영상에 도시된 바와 같이 차량 전면부에 위치한 선 성분은 적법한 선이 아님을 판단할 수 있다.After detecting the line component for the left and right feature points, the angle difference is compared to confirm the extraction of the correct line component. (d) As shown in the image, it can be determined that the line component located on the front of the vehicle is not a legitimate line.

두 개의 선 성분 중 라인 피팅 에러가 최소인 선 성분을 이용하여 대표 선 성분을 정의한다. 또한, (c) 및 (d)에 도시된 바와 같이, 왼쪽/오른쪽 특징 점의 중심점을 지나는 선 성분으로 표현한다. 이는 주차선 중심을 지나는 선 성분을 구하기 위함이다.The representative line component is defined by using the line component with the minimum line fitting error among the two line components. In addition, as shown in (c) and (d), it is expressed as a line component passing through the center point of the left/right feature point. This is to find the line component passing through the center of the parking line.

도 11은 본 발명의 바람직한 일 실시예에 따라 주차 기준선을 검출하는 방법을 도시한 블록도이다.11 is a block diagram illustrating a method of detecting a parking reference line according to an exemplary embodiment of the present invention.

도 11을 참조하면, 자차 종축을 기준으로 하여 왼쪽/오른쪽 관심 주차선 관심 영역(빨간 사각형)을 정의한다. (a) Referring to FIG. 11, a left/right parking line of interest region of interest (red rectangle) is defined based on the longitudinal axis of the host vehicle. (a)

왼쪽/오른쪽 관심 주차선 영역에서 주차선 밝기 패턴을 갖는 후보 점들을 가장 잘 반영하는 최적의 선 성분을 선택한다. (b) In the left/right parking line area of interest, the optimal line component that best reflects the candidate points having the parking line brightness pattern is selected. (b)

왼쪽/오른쪽 관심 주차선(노란 실선)의 방향 오차와 간격이 주차 구획 기하학 조건을 만족하면, 주차 기준선(빨간 점선)을 계산한다. (c)If the direction error and spacing of the left/right parking line of interest (yellow solid line) satisfies the parking zone geometry condition, the parking reference line (red dotted line) is calculated. (c)

도 12는 본 발명의 바람직한 실시예에 따라 관심 주차선을 검출하기 위한 주차선 가이드 라인 검출하는 방법을 도시한 블록도이다.12 is a block diagram illustrating a method of detecting a parking line guide line for detecting a parking line of interest according to a preferred embodiment of the present invention.

도 12를 참조하면, 윤곽선 영상(a)에서 수직 방향으로 탐색하는 걸 제외하고 도 10a에 도시된 주차선 가이드 라인 검출 방법과 동일하며, 좌/우측 주차 구획선과 수직 관계를 이루는 주차선 가이드 라인을 검출한다.Referring to FIG. 12, except for searching in the vertical direction in the outline image (a), it is the same as the parking line guide line detection method shown in FIG. 10A, and a parking line guide line forming a vertical relationship with the left/right parking division lines is used. To detect.

도 13은 본 발명의 바람직한 일 실시예에 따라 관심 주차선을 이용한 주차 차량 위치 보정 방법을 도시한 블록도이다.13 is a block diagram illustrating a method of correcting a position of a parked vehicle using a parking line of interest according to an exemplary embodiment of the present invention.

도 13을 참조하면, 현재 영상에서 추출된 관심 주차선을 실세계 지도 좌표계로 변환한 후, 관심 주차선 지도에 저장된 관심 주차선과 오차가 최소로 되는 회전 각도와 이동량을 계산한 후, 차등 오도메트리에 의해 추정된 자차 회전 각도 및 이동량과 비교하여 차량의 위치 오차를 보정할 수 있다.13, after converting the parking line of interest extracted from the current image into a real-world map coordinate system, calculating the rotation angle and the amount of movement at which the error is minimum with the parking line of interest stored in the map of the parking line of interest, The position error of the vehicle may be corrected by comparing it with the estimated rotation angle and movement amount of the own vehicle.

도 14는 본 발명의 바람직한 일 실시예에 따른 유효 주차 구획에 근거하여 차량을 주차하는 시스템을 도시한 블록도이다.14 is a block diagram showing a system for parking a vehicle based on an effective parking partition according to an exemplary embodiment of the present invention.

도 14를 참조하면, 본 발명의 일 실시예에 따른 조향 휠 시스템은, 차량에 설치된 복수 개의 카메라 영상들로부터 합성된 제1 영상으로부터 주차 구획 코너 및 주차선 가이드라인을 검출하고, 초기 주차 경로를 참고하면서 유효 주차 구획으로 상기 차량이 진입할 때 상기 차량에 설치된 복수 개의 카메라 영상들로부터 합성된 제2 영상으로부터 관심 주차선을 검출하는 AVM(Around View Monitor) 시스템(10)과, 초음파 센서에 기반하여 장애물 지도를 생성하는 거리 감지부(20), 상기 검출된 주차 구획 코너 및 상기 주차선 가이드 라인, 상기 생성된 장애물에 지도에 근거하여 주차하려는 주차 구획의 장애물 유/무 및 유효 주차 구획을 인식하고, 상기 인식한 장애물 및 유효 주차 구획에 근거하여 상기 유효 주차 구획에 주차할 수 있도록 초기 주차 경로를 생성하고, 상기 검출된 주차선 가이드 라인, 주차 구획 코너, 및 관심 주차선들 중 적어도 하나에 근거하여 상기 차량의 위치를 보정하고, 상기 보정된 차량 위치에 근거하여 상기 유효 주차 구획에 주차할 수 있는 주차 경로를 재생성 하고, 상기 초기 주차 경로 또는 상기 재생성된 주차 경로에 근거하여 상기 차량의 조향 휠을 제어하는 조향 휠 제어부(30)를 포함하여 구성된다.Referring to FIG. 14, the steering wheel system according to an embodiment of the present invention detects a parking partition corner and a parking line guideline from a first image synthesized from a plurality of camera images installed in a vehicle, and determines an initial parking path. Based on an AVM (Around View Monitor) system (10) that detects a parking line of interest from a second image synthesized from a plurality of camera images installed in the vehicle when the vehicle enters the effective parking compartment while referring to it, and an ultrasonic sensor The distance detection unit 20 for generating an obstacle map, the detected parking segment corner and the parking line guideline, and the presence/absence of an obstacle in the parking segment to be parked and the effective parking segment based on the map based on the generated obstacle. And, based on the recognized obstacle and the effective parking section, to create an initial parking path to park in the effective parking section, and based on at least one of the detected parking line guide line, parking section corner, and parking lines of interest To correct the position of the vehicle, regenerate a parking path capable of parking in the effective parking section based on the corrected vehicle position, and a steering wheel of the vehicle based on the initial parking path or the regenerated parking path It is configured to include a steering wheel control unit 30 to control.

예를 들어, 상기 조향 휠 제어부(30)는 상기 제1 영상 및 상기 제1 영상의 연속되는 상기 제2 영상으로부터 검출된 관심 주차선들로부터 상기 차량의 회전 각도와 이동량을 계산하고, 이 계산된 회전 각도와 이동량을 오도메트리에 근거하여 추정된 차량 위치와 매칭하여 상기 차량의 위치를 보정할 수 있다. For example, the steering wheel control unit 30 calculates the rotation angle and movement amount of the vehicle from the parking lines of interest detected from the first image and the second continuous image of the first image, and the calculated rotation The position of the vehicle may be corrected by matching the angle and the amount of movement with the vehicle position estimated based on the odometry.

상기 차량 위치를 추정하기 위한 오도메트리 추정부(40)는 상기 차량의 후륜 센서 데이터를 이용할 수 있다.The odometry estimating unit 40 for estimating the vehicle position may use rear wheel sensor data of the vehicle.

상기 관심 주차선은 상기 차량을 종축으로 좌측 주차 구획선과, 우측 주차 구획선과, 이 두 구획선들과 수직을 이루는 주차선 가이드 라인을 포함할 수 있다.The parking line of interest may include a left parking division line, a right parking division line, and a parking line guide line perpendicular to the two division lines with the vehicle as a vertical axis.

이상에서 설명한 본 발명의 실시 예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiments of the present invention described above are not implemented only through an apparatus and a method, but may be implemented through a program that realizes a function corresponding to the configuration of the embodiment of the present invention or a recording medium in which the program is recorded. Implementation can be easily implemented by an expert in the technical field to which the present invention belongs from the description of the above-described embodiment.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.The present invention described above is capable of various substitutions, modifications, and changes within the scope of the technical spirit of the present invention to those of ordinary skill in the art. It is not limited by the drawings, and all or part of each of the embodiments may be selectively combined so that various modifications may be made.

10 : AVM 시스템
20 : 거리 감지부
30 : 조향 휠 제어부
40 : 오도메트리 추정부
10: AVM system
20: distance detection unit
30: steering wheel control unit
40: odometry estimation unit

Claims (7)

합성된 제 1 영상과 장애물 지도에 근거하여 유효 주차 구획을 인식하고, 상기 유효 주차 구획에 근거하여 초기 주차 경로를 생성하는 단계;
상기 초기 주차 경로를 기반으로 차량이 상기 유효 주차 구획으로 진입할 때 합성된 제 2 영상으로부터 관심 주차선을 검출하고, 검출된 상기 관심 주차선을 관심 주차선 지도에 저장하는 단계;
현재 추출된 관심 주차선 및 상기 관심 주차선 지도에 저장된 관심 주차선에 근거하여 계산된 회전 각도 및 이동량과 차등 오도메트리에 의해 추정된 회전 각도 및 이동량을 비교하여 상기 차량의 위치 오차를 보정하는 단계; 및
상기 보정된 차량의 위치에 근거하여 상기 유효 주차 구획에 주차할 수 있는 주차 경로를 재생성 하고, 상기 초기 주차 경로 또는 상기 재생성된 주차 경로에 근거하여 상기 차량의 조향 휠을 제어하는 단계;
를 포함하는 것을 특징으로 하는 조향 휠 제어 방법.
Recognizing an effective parking segment based on the synthesized first image and an obstacle map, and generating an initial parking route based on the effective parking segment;
Detecting a parking line of interest from a second image synthesized when a vehicle enters the effective parking section based on the initial parking route, and storing the detected parking line of interest in a map of the parking line of interest;
Compensating the position error of the vehicle by comparing the rotation angle and movement amount calculated based on the currently extracted parking line of interest and the parking line of interest stored in the map of the parking lot of interest, and the rotation angle and movement amount estimated by differential odometry. ; And
Regenerating a parking path capable of parking in the effective parking section based on the corrected position of the vehicle, and controlling a steering wheel of the vehicle based on the initial parking path or the regenerated parking path;
Steering wheel control method comprising a.
청구항 1에 있어서,
상기 검출된 상기 관심 주차선을 관심 주차선 지도에 저장하는 단계는,
상기 제 2 영상에 기초하여 좌측 주차 구획선, 우측 주차 구획선 및 주차선 가이드 라인을 포함하는 관심 주차선을 검출하는 단계, 및
검출된 상기 관심 주차선을 상기 관심 주차선 지도에 업데이트하는 단계를 포함하는 것을 특징으로 하는 조향 휠 제어 방법.
The method according to claim 1,
The step of storing the detected parking line of interest in a map of the parking line of interest,
Detecting a parking line of interest including a left parking partition line, a right parking partition line, and a parking line guide line based on the second image, and
And updating the detected parking line of interest to the map of the parking line of interest.
청구항 2에 있어서,
상기 관심 주차선을 검출하는 단계는,
상기 제 2 영상을 수평 방향으로 탐색하여 그레디언트가 상대적으로 높은 영역을 검출하고, 주차선 밝기 패턴 특성을 갖는 두 개의 후보 점을 추출하며, 상기 두 개의 후보 점들에 대한 대표 선 성분을 정의하는 제 1 단계, 및
상기 제 2 영상을 수직 방향으로 탐색하여 그레디언트가 상대적으로 높은 영역을 검출하고, 주차선 밝기 패턴 특성을 갖는 두 개의 후보 점을 추출하며, 상기 두 개의 후보 점들에 대한 대표 선 성분을 정의하는 제 2 단계를 포함하며,
상기 제 1 및 제 2 단계를 통해 상기 좌측 주차 구획선과, 상기 우측 주차 구획선과, 상기 좌측 주차 구획선 및 상기 우측 주차 구획선과 수직을 이루는 상기 주차선 가이드 라인을 포함하는 상기 관심 주차선을 검출하는 것을 특징으로 하는 조향 휠 제어 방법.
The method according to claim 2,
The step of detecting the parking line of interest,
A first for searching the second image in a horizontal direction to detect a region having a relatively high gradient, extracting two candidate points having a parking line brightness pattern characteristic, and defining a representative line component for the two candidate points Step, and
A second image that searches the second image in a vertical direction to detect a region having a relatively high gradient, extracts two candidate points having a parking line brightness pattern characteristic, and defines a representative line component for the two candidate points. Includes steps,
Detecting the parking line of interest including the left parking division line, the right parking division line, and the parking line guide line perpendicular to the left parking division line and the right parking division line through the first and second steps. Steering wheel control method, characterized in that.
청구항 3에 있어서,
상기 주차선 밝기 패턴 특성은,
어두운 선과 어두운선 사이에 소정 크기의 밝은 영역을 포함하는 것을 특징으로 하는 조향 휠 제어 방법.
The method of claim 3,
The parking line brightness pattern characteristic,
A method of controlling a steering wheel, comprising a bright area having a predetermined size between the dark line and the dark line.
유효 주차 구획으로 차량이 진입하기 전 상기 차량에 설치된 복수 개의 카메라 영상들로부터 합성된 제 1 영상, 상기 유효 주차 구획으로 상기 차량이 진입할 때 상기 차량에 설치된 복수 개의 카메라 영상들로부터 합성된 제 2 영상 및 상기 제 2 영상으로부터 검출된 관심 주차선을 제공하는 AVM(Around View Monitor) 시스템;
초음파 센서에 기반하여 장애물 지도를 생성하는 거리 감지부; 및
상기 제 1 영상과 상기 장애물 지도에 근거하여 상기 유효 주차 구획을 인식하고, 상기 유효 주차 구획에 근거하여 초기 주차 경로를 생성하며, 현재 관심 주차선과 관심 주차선 지도에 저장된 관심 주차선에 근거하여 계산된 회전 각도 및 이동량과 차등 오도메트리에 의해 추정된 회전 각도 및 이동량을 비교하여 상기 차량의 위치 오차를 보정하고, 상기 보정된 차량의 위치에 근거하여 상기 유효 주차 구획에 주차할 수 있는 주차 경로를 재생성 하고, 상기 초기 주차 경로 또는 상기 재생성된 주차 경로에 근거하여 상기 차량의 조향 휠을 제어하는 조향 휠 제어부;
를 포함하는 것을 특징으로 하는 조향 휠 제어 시스템.
A first image synthesized from a plurality of camera images installed in the vehicle before the vehicle enters the effective parking segment, and a second image synthesized from a plurality of camera images installed in the vehicle when the vehicle enters the effective parking segment. An AVM (Around View Monitor) system that provides an image and a parking line of interest detected from the second image;
A distance detector for generating an obstacle map based on the ultrasonic sensor; And
Recognizes the effective parking segment based on the first image and the obstacle map, generates an initial parking route based on the effective parking segment, and calculates based on the current parking line of interest and the parking line of interest stored in the map of the parking line of interest. Compensating the position error of the vehicle by comparing the calculated rotation angle and movement amount with the rotation angle and movement amount estimated by the differential odometry, and based on the corrected position of the vehicle, a parking path for parking in the effective parking compartment is determined. A steering wheel controller configured to regenerate and control a steering wheel of the vehicle based on the initial parking path or the regenerated parking path;
Steering wheel control system comprising a.
청구항 5에 있어서,
상기 관심 주차선은,
좌측 주차 구획선, 우측 주차 구획선 및 주차선 가이드 라인을 포함하고,
상기 주차선 가이드 라인은,
상기 좌측 주차 구획선 및 상기 우측 주차 구획선과 수직인 것을 특징으로 하는 조향 휠 제어 시스템.
The method of claim 5,
The parking line of interest,
Including the left parking division line, the right parking division line and the parking line guide line,
The parking line guide line,
The steering wheel control system, characterized in that perpendicular to the left parking partition line and the right parking partition line.
청구항 6에 있어서,
상기 AVM 시스템은,
상기 제 2 영상을 수평 방향과 수직 방향으로 각각 탐색하여 그레디언트가 상대적으로 높은 영역을 검출하고, 주차선 밝기 패턴 특성을 갖는 두 개의 후보 점을 추출하며, 상기 두 개의 후보 점들에 기초하여 상기 좌측 주차 구획선, 상기 우측 주차 구획선 및 상기 주차선 가이드 라인을 포함하는 상기 관심 주차선을 검출하는 것을 특징으로 하는 조향 휠 제어 시스템.
The method of claim 6,
The AVM system,
The second image is searched in a horizontal direction and a vertical direction, respectively, to detect a region having a relatively high gradient, extract two candidate points having a parking line brightness pattern characteristic, and the left parking based on the two candidate points. The steering wheel control system, characterized in that to detect the parking line of interest including the division line, the right parking division line, and the parking line guide line.
KR1020200136230A 2013-08-13 2020-10-20 Method for controlling steering wheel and System therefor KR102258102B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200136230A KR102258102B1 (en) 2013-08-13 2020-10-20 Method for controlling steering wheel and System therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130095702A KR102170286B1 (en) 2013-08-13 2013-08-13 Method for controlling steering wheel and System therefor
KR1020200136230A KR102258102B1 (en) 2013-08-13 2020-10-20 Method for controlling steering wheel and System therefor

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130095702A Division KR102170286B1 (en) 2013-08-13 2013-08-13 Method for controlling steering wheel and System therefor

Publications (2)

Publication Number Publication Date
KR20200125546A KR20200125546A (en) 2020-11-04
KR102258102B1 true KR102258102B1 (en) 2021-05-31

Family

ID=73571404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200136230A KR102258102B1 (en) 2013-08-13 2020-10-20 Method for controlling steering wheel and System therefor

Country Status (1)

Country Link
KR (1) KR102258102B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006315460A (en) * 2005-05-10 2006-11-24 Toyota Motor Corp Parking supporting device
CN102407848A (en) * 2010-09-21 2012-04-11 高强 Controller system with automatic parking and intelligent driving functions

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101327736B1 (en) * 2011-12-23 2013-11-11 현대자동차주식회사 AVM Top View Based Parking Support System

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006315460A (en) * 2005-05-10 2006-11-24 Toyota Motor Corp Parking supporting device
CN102407848A (en) * 2010-09-21 2012-04-11 高强 Controller system with automatic parking and intelligent driving functions

Also Published As

Publication number Publication date
KR20200125546A (en) 2020-11-04

Similar Documents

Publication Publication Date Title
KR101511992B1 (en) Method for controlling steering wheel and System therefor
JP5966747B2 (en) Vehicle travel control apparatus and method
US8611609B2 (en) Lane line estimating apparatus
KR102170286B1 (en) Method for controlling steering wheel and System therefor
US10822030B2 (en) Parking guidance system, parking guidance method thereof and automatic parking system
CN111231942B (en) Parking assist apparatus
KR20200019725A (en) Parking Assistance Method and Parking Control Device
JP2017529517A (en) Method of tracking a target vehicle approaching a car by a car camera system, a camera system, and a car
JP5281867B2 (en) Vehicle traveling speed control device and method
EP3859476A1 (en) Position estimation device
JP2019066333A (en) Outside recognition device for vehicle
US20200193184A1 (en) Image processing device and image processing method
KR20170016199A (en) Parking slot detecting apparatus and control method for the same
KR101424636B1 (en) Automatic parking system for vehicle
KR102258102B1 (en) Method for controlling steering wheel and System therefor
JP5931691B2 (en) White line detection device and white line detection method
KR101738425B1 (en) Apparatus and method for setting region of interest for detecting traffic lanes
JP2018083480A (en) Parking support method and parking support device
CN116071714A (en) Lane departure detection method, system, electronic device, and readable storage medium
KR102363691B1 (en) Velocity estimation method of object for autonomous driving and apparatus
CN114734990A (en) Memory automatic parking method and parking system
CN109878413A (en) A kind of electric vehicle backing early warning system and device
CN113261007A (en) Method and apparatus for multi-sensor data fusion for autonomous and autonomous vehicles
JP5460413B2 (en) Own vehicle position recognition device
JP6554943B2 (en) Image processing apparatus, image processing method, and evaluation method

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant