KR101327736B1 - Ａｖｍ탑뷰 기반 주차지원 시스템 - Google Patents

Ａｖｍ탑뷰 기반 주차지원 시스템 Download PDF

Info

Publication number
KR101327736B1
KR101327736B1 KR1020110141009A KR20110141009A KR101327736B1 KR 101327736 B1 KR101327736 B1 KR 101327736B1 KR 1020110141009 A KR1020110141009 A KR 1020110141009A KR 20110141009 A KR20110141009 A KR 20110141009A KR 101327736 B1 KR101327736 B1 KR 101327736B1
Authority
KR
South Korea
Prior art keywords
parking
parking space
vehicle
top view
avm
Prior art date
Application number
KR1020110141009A
Other languages
English (en)
Other versions
KR20130073256A (ko
Inventor
윤대중
최재섭
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020110141009A priority Critical patent/KR101327736B1/ko
Priority to JP2012090482A priority patent/JP2013133098A/ja
Priority to DE102012216593A priority patent/DE102012216593A1/de
Priority to US13/625,584 priority patent/US20130162825A1/en
Priority to CN2012104342189A priority patent/CN103171552A/zh
Publication of KR20130073256A publication Critical patent/KR20130073256A/ko
Application granted granted Critical
Publication of KR101327736B1 publication Critical patent/KR101327736B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/028—Guided parking by providing commands to the driver, e.g. acoustically or optically
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 AVM탑뷰 기반 주차지원 시스템에 관한 것으로서 보다 상세하게는,
차량의 전후좌우에 장착된 AVM(Around View Monitoring) 카메라를 이용하여 차량 주위의 영상을 촬영하여 탑뷰모드로 변환함으로써, 차량 주변의 주차구획 표시를 인식하고, 연속 영상등록을 통해서 차량 이동궤적 뿐만 아니라, 가용한 주차 공간을 인식하여 주차궤적을 따라운전자에게 최적의 주차위치를 제공하는 AVM탑뷰 기반 주차지원 시스템에 관한 것이다.

Description

ＡＶＭ탑뷰 기반 주차지원 시스템 {AVM Top View Based Parking Support System}
본 발명은 AVM탑뷰 기반 주차지원 시스템에 관한 것으로서 보다 상세하게는,
차량의 전후좌우에 장착된 AVM(Around View Monitoring) 카메라를 이용하여 차량 주위의 영상을 촬영하여 탑뷰모드로 변환함으로써, 차량 주변의 주차구획 표시를 인식하고, 연속 영상등록을 통해서 차량 이동궤적 뿐만 아니라, 가용한 주차 공간을 인식하여 주차궤적을 따라운전자에게 최적의 주차위치를 제공하는 AVM탑뷰 기반 주차지원 시스템에 관한 것이다.
일반적으로, 차량 내부에 탑승하는 운전자의 시계는 주로 전방을 향하도록 이루어진다. 따라서, 운전자의 좌우측과 후방 시계는 차체에 의하여 상당부분 가려지기 때문에 매우 한정된 시계를 가진다.
상기와 같은 문제를 해결하기 위하여 통상적으로 운전자의 한정된 범위의 시계를 보완기 위한 거울을 포함하여 이루어지는 시계 보조수단(예를 들어, 사이드 미러 등)이 사용되고 있으며, 최근에는 차량의 외부의 영상을 촬영하여 운전자에게 제공하는 카메라수단을 포함하는 기술들이 차량에 적용되고 있는 추세이다.
그 중에서 현재 차량 주위에 다수의 카메라를 설치하여 차량 주변의 360°전방향의 영상을 보여주는 AVM(Around View Monitoring) 시스템이 있다. 이 공지의 기술은 차량 주변을 촬영하는 카메라를 복수의 갯수로 설치하고, 복수의 카메라를 통하여 촬영된 차량 주변의 전방향 영상을 운전자에게 제공함으로써, 차량 주변에 사각지대를 해소하도록 이루어진다.
그러나, 상기 AVM 시스템은 단순히 차량 주변의 영상을 운전자에게 보여주는 기능만을 제공하며, 운전자는 주차시 상기 AVM 시스템을 통하여 제공되는 영상으로부터 직접 주차 상황을 판단해야하기 때문에, 주차를 하는데 있어서 크게 도움이 되지 못하는 단점이 있었다.
본 발명은 상기와 같은 문제를 해결하기 위해 창안된 것으로서, 차량의 전후좌우에 장착된 AVM(Around View Monitoring) 카메라를 이용한 주차지원 시스템에 관한 것이며, 보다 상세하게는, 차량에 장착된 4개의 카메라를 이용해서 차량 주위의 영상을 취득하고, 취득한 영상을 Top view (Bird’s Eye View)로 변환하여 주차 환경에서 주변 주차구획 표시를 인식하며, 이 때 연속 영상등록을 통해서 차량 이동궤적 뿐만 아니라, 가용한 주차 공간을 인식하여, 주차궤적을 고려해서 운전자에게 최적의 주차위치를 제공하는 AVM탑뷰 기반 주차지원 시스템를 제공하는 것을 목적으로 한다.
본 발명은 상기와 같은 목적을 달성하기 위하여,
AVM을 이용한 주차지원 시스템에 있어서, AVM을 포함하고, 상기 AVM을 이용하여 차량 주변의 영상을 촬영하여 획득하고, 획득한 영상을 탑뷰영상으로 변환 및 합성하는 카메라부; 상기 카메라부로부터 생성된 탑뷰영상을 주기적으로 수신하고, 영상인식 기술을 이용하여 순차적으로 연속된 탑뷰영상을 비교하여 주차공간을 인식하는 주차공간인식부; 차량의 각 센서들로부터 차량 주행 정보를 수신하고, 상기 주차공간인식부로부터 인식된 주차공간에 대하여 상기 차량 주행 정보를 바탕으로 최적 주차 경로를 산출하여 생성하는 제어부; 및 차량의 조향 정보를 수신하고, 상기 제어부에서 생성된 최적 주차 경로를 상기 조향 정보에 대응하도록 변환하여 표시하는 주차지원부를 포함하는 것을 특징으로 한다.
또한, 초음파 센서를 포함하고 상기 초음파 센서를 통하여 주차공간을 인식하는 초음파 센서부를 더 포함하고, 상기 초음파 센서부는 상기 주차공간인식부와 연동하며, 상기 주차공간인식부는 주차공간 인식에 있어서 상기 초음파 센서부의 데이터를 더 이용하도록 하는 것을 특징으로 한다.
또한, 상기 주차공간인식부는, 영상인식 기술을 이용하여 연속된 영상의 특징점을 추출하고, 연속된 두 영상의 특징점을 매칭하며, 오정합된 특징점들을 삭제하고, 유효 특징점들을 정합함으로써, 주차공간을 인식하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 주차공간인식부로부터 인식된 주차공간에 대하여 차량 주행 정보를 매칭하여 주차궤적 및 전후진 이동 회수를 고려하여 최적 주차가능 위치를 산출하도록 이루어지는 것을 특징으로 한다.
상기와 같은 구성을 갖는 본 발명은,
AVM 시스템을 이용하여 차량 주변의 영상을 취득하고 탑뷰 영상으로 변환하여 사용함으로써, 차량 주변의 상황을 실시간으로 인식할 수 있는 효과가 있으며, 차량 주위의 어떠한 방향이라도 주차공간을 인식할 수 있는 효과가 있다.
또한, 차량 주변의 영상을 연속적으로 촬영하여 등록하고, 연속된 영상을 서로 비교하여 주차공간 및 주차선 인식을 하며, 이를 바탕으로, 차량의 지나온 경로를 보여주고 최적의 주차공간을 표시함으로써, 주차시 신뢰도를 향상시키며, 정확도를 향상시키는 효과가 있다.
또한, 탑뷰 기반의 영상을 운전자에게 제공하며, 주차 과정을 시각화하여 제공함으로써, 주차지원 시스템에 대한 안정감 향상시키는 효과가 있다.
도 1은 본 발명의 AVM탑뷰 기반 주차지원 시스템의 바람직한 실시예를 나타내는 시스템 구성을 나타내는 블럭도이다.
도 2는 AVM으로부터 촬영된 차량 주변의 영상을 나타낸다.
도 3은 차량 주변 영상을 탑뷰 형식의 영상으로 변환하는 가상의 모델링을 나타내는 모식도이다.
도 4는 가상 카메라 모델링에 의하여 변환 및 합성되어 획득된 탑뷰 형식의 영상을 나타낸다.
도 5 내지 도 8은 상기 주차공간인식부의 주차공간 인식 과정을 나타낸다.
도 9는 상기와 같은 단계를 반복하여 주차공간을 탐색 및 설정하는 구조를 나타내는 평면도이다.
도 10은 상기 도 9의 주차공간 탐색 및 설정의 실시예를 나타낸다.
도 11은 본 발명의 다른 실시예를 나타낸다.
이하 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다.
도 1은 본 발명의 AVM탑뷰 기반 주차지원 시스템의 바람직한 실시예에 따른 시스템 구성을 나타내는 블럭도이며, 도 2는 AVM으로부터 촬영된 차량 주변의 영상을 나타낸다.
본 발명은 차량 주변의 주차공간 인식을 위하여 카메라부(10)를 포함한다.
바람직하게는 본 발명의 카메라부(10)는 공지의 AVM(Around View Monitoring)을 포함한다.
상기 AVM은 도 2에 도시된 바와 같이, 차량의 주변을 촬영하여 영상을 획득하는 카메라수단을 차량 전방향을 향하여 복수의 갯수로 설치하고, 상기 복수의 카메라수단을 통하여 촬영된 영상을 운전자에게 제공함으로써, 차량 주변의 시야를 확보하고, 운전자가 보기 어려운 사각지대를 해소할 수 있는 장점을 제공하는 공지의 수단이다.
본 발명에 있어서, 상기 AVM은, 바람직하게는, 공지의 광각 카메라를 포함할 수 있다. 따라서, 상기 AVM에 의하여 차량 주변의 영상을 상기 차량을 중심으로 360°전방향으로 촬영할 수 있다.
한편, 상기와 같이 AVM을 통하여 촬영된 차량 주변의 영상은 상기 AVM 을 제어하는 제어부(30)(상기 AVM 내에 포함될 수 있음)에 의하여 도 3과 같은 가상의카메라 모델링이 이루어지고, 탑뷰(Top View), 즉 버드아이뷰(Bird's Eye View)로 변환 및 합성되어 도 4에 도시된 바와 같은 이차원(2D) 평면 영상으로 변환된다.
따라서, 상기 AVM의 제어부(30)는 차량 주변의 영상을 상기와 같은 영상처리를 거쳐 차량의 상부에서 바라본 것과 같은 시야의 탑뷰 형태의 영상을 획득할 수 있다.
본 발명의 주차지원 시스템은 상기와 같이 획득된 탑뷰 형태의 영상을 이용하여 주차위치를 인식하고, 주차지원을 하도록 이루어진다.
상기 카메라부(10)에 의하여 차량 주변의 탑뷰 영상이 획득되면, 주차공간 인식부(20)는 상기 탑뷰 영상을 통하여 주차공간을 인식한다.
상기 주차공간 인식부(20)의 주차공간 인식 과정은 도 5 내지 8에 도시된다.
도 5에 도시된 바와 같이, 상기 제어부(30)는 상기 AVM에 의하여 촬영된 영상을 탑뷰 형태로 변환하여, 차량 주변의 탑뷰영상을 연속적, 주기적으로 획득한다. 또한, 상기 제어부(30)는 상기와 같이 획득한 차량 주변의 탑뷰 영상을 서로 비교한다.
이때, 상기 주차공간 인식부(20)는 주기적으로 입력되는 영상으로부터 서로 연속된 두 영상을 비교하여 주차 공간을 인식하고 차량 궤적을 인식하도록 이루어지는데, 여기에 공지의 영상 인식 기술이 사용된다.
바람직하게는 상기와 같은 연속된 두 영상의 비교를 위하여 공지의 코너 디텍션(Corner Detection) 기술이 사용된다. 상기 코너 디텍션 기술은 영상인식에 있어서, 영상 내에 포함된 오브젝트(object)들의 코너를 추출하여 인식하는 공지의 기술로서, 연속된 영상의 차이점을 판단하기 위하여 사용된다.
특히, 영상처리 및 인식 분야에 있어 코너 (Corner) 정보는 모양 (Shape) 이나 추적 (Tracking) 등의 분야에 있어서 중요한 기준점이 되기 때문에, 본 발명은 연속 촬영된 탑뷰 형식의 차량 주변 영상의 인식을 위하여 상기와 같은 코너 디텍션 기술을 사용하여 주요 특징점을 추출하도록 이루어진다.
본 발명의 바람직한 실시예에서, 상기와 같은 코너 디텍션 기술 중에서 가장 대표적인 해리스(Harris) 코너 디텍션 기술이 사용될 수 있다. 그러나, 이에 한정하는 것이 아님은 자명하다.
상기와 같이 연속된 두 영상의 주요 특징점이 추출되면, 상기 제어부(30)는 도 6에 도시된 바와 같이, 연속된 두 영상의 특징점들을 서로 매칭하여 비교한다.
연속된 두 영상의 특징점 매칭은 공지의 NCC(Normalized Cross Correlation)기술이 사용된다.
상기 NCC기술은 서로 비교해야할 환경에 의하여 달라질 수 있는 두장의 영상을 서로 비교하기 위하여 정규화 하는 기술로서, 본 발명의 제어부(30)는 차량의 이동에 의하여 달라지는 연속된 두 영상을 정규화 하여 비교하기 위하여 상기 NCC기술을 사용한다.
이때, 바람직하게는 상기 제어부(30)는 연속된 두 영상의 특징점 주변의 7x7 정사각형 영역 픽셀들의 밝기값을 특징점의 설명자로 사용하고, 상기 NCC기술을 이용하여 정규화하여 각 특징점들을 서로 매칭하고, 유사도를 측정할 수 있다.
상기와 같이, 정규화된 연속된 두 영상의 각 특징점들이 서로 매칭되면, 도 7에 도시된 바와 같이, 오정합된 특징점을 삭제하는 단계를 거친다.
이때, 유사 변환(similarity transformation)모델을 통하여 연속된 두 영상간의 변위차와 각도차를 추출하고, RANSAC(RANdom SAmple Consensus) 기술을 통하여 유효한 특징점들만 비교할 수 있도록 오정합된 특징점들을 삭제하는 단계를 거친다. 상기 RANSAC 기술은 거짓정보(본 발명에서 오정합된 특징점)를 포함하는 일련의 데이터 집합으로부터 수학적 모델의 인자들을 반복적인 작업으로 예측하는 공지의 기술로서, 본 발명의 제어부(30)는 상기 RANSAC 기술을 통하여 오정합된 특징점들을 인식하여 삭제할 수 있다.
상기와 같이 오정합된 특징점들이 삭제되고, 유효 특징점들이 선택되면, 도 8에 도시된 바와 같이, 추정된 유효 특징점들에 기반하여 영상들을 정합하는 단계를 거친다. 즉, 상기 도 5 내지 7의 단계를 연속으로 거치며, 연속되는 영상들을 차량의 이동에 따라 계속 정합함으로써, 차량의 이동 궤적을 인식할 수 있고, 차량의 위치를 추정할 수 있다.
도 9는 상기와 같은 단계를 반복하여 주차공간을 탐색 및 설정하는 구조를 나타내는 평면도이며, 도 10은 상기 도 9의 주차공간 탐색 및 설정의 실시예를 나타낸다.
상술한 바와 같이, 본 발명의 AVM탑뷰 기반 주차지원 시스템이 적용된 차량은 주차장을 이동하며 실시간으로 탑뷰 방식의 영상을 촬영하여 연속된 영상을 비교함으로써, 주차공간을 인식하도록 이루어진다. 이때, 도 9에 도시된 바와 같이, 주차공간이 상기 차량의 탑뷰 영상 범위 내에 인식이 되면, 상기 주차공간 인식부(20)는 상기 연속적으로 등록되는 영상을 바탕으로 차선을 인식하여 도로폭 및 주차 가능 영역을 산출한다.
이때, 상기 제어부(30)는 주차궤적 생성을 위하여 차량에 구비되는 각종 센서들로부터 차량 주행 정보를 수신하는 것이 바람직하다. 이때, 수신하는 정보들은 예를 들어, 차속, 휠펄스, SAS 등이 될 수 있다.
도 9와 같이 촬영된 영상을 연속적으로 등록하게 되면 도 10에 도시된 바와 같이, 차량 이동 궤적에 따라 영상이 등록되게 되며, 이러한 영상을 바탕으로 상기 주차공간 인식부(20)가 차선 인식을 하고, 상기 제어부(30)가 주차 가능 영역을 산출한다. 이때, 차영상(difference image)를 사용하여 주차공간 내의 장애물을 판단하도록 하는 것이 바람직하며, 상기 제어부(30)는 차량의 위치와 인식된 주차 공간의 상대적 위치를 고려하여 알맞은 주차 공간을 선택하고, 최적의 주차 가능 위치를 표시하여 운전자에게 제공하도록 하는 것이 바람직하다. 즉, 상기 제어부(30)는 주차 가능 공간으로 선택된 후보 주차공간들 중에서 주차궤적 및 전후진 이동 회수를 고려하여 최적 주차 가능 위치를 산출하고 이를 후술할 주차지원부(40)를 통하여 운전자에게 표시하여 제공함으로써, 운전자의 주차를 지원할 수 있다.
상기 도 1의 주차지원부(40)는 상기와 같이 상기 제어부(30)로부터 설정된 주차경로를 HMI(Human Machine Interface)를 통하여 운전자에게 제공한다.
즉, 도시된 바와 같이, 상기 주차지원부(40)는 차량의 각종 주행 정보, 즉, 기어 포지션, 속도, MDPS 토크, SPAS 스위치 등의 정보를 입력받아서, 상기와 같이 제어부(30)로부터 설정된 주차경로를 상기 주행정보에 대응하도록 변환하여, 표시하는 기능을 한다.
따라서, 상기 주차지원부(40)는 상기 제어부(30)에서 산출된 주차경로를 통하여 현재 차량의 위치로부터 상기 최적 주차 공간까지 차량 이동 궤적, 즉, 주차 경로를 표시하여 운전자에게 제공할 수 있다.
도 11은 본 발명의 다른 실시예를 나타낸다.
본 발명의 다른 실시예에서는 도시된 바와 같이, 상기 주차공간 인식부(20)는 공지의 초음파 센서를 사용한 SPAS 시스템을 포함하는 초음파 센서부(50)와 연동 가능하도록 이루어진다. 다시말해서, 주차공간 탐색 및 주차공간내 장애물 인식에 있어서, 상기 초음파 센서부와 연동시 상기 초음파 센서부의 데이터를 가용 주차구획을 인식하고 장애물을 인식하는데 사용함으로써, 정확성 및 신속성을 향상시킬 수 있다. 본 실시예에서 제어부 및 주차지원부는 상술한 도 1의 제어부(30) 및 주차지원부(40)와 동일한 기능을 하도록 이루어진다.
이상으로 본 발명의 AVM탑뷰 기반 주차지원 시스템의 바람직한 실시예를 상세하게 설명하였으나, 이는 본 발명에 대한 이해를 돕기 위하여 특정한 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도, 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 고안이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
10: 카메라부 20: 주차공간 인식부
30: 제어부 40: 주차지원부
50: 초음파 센서부

Claims (4)

  1. AVM을 이용한 주차지원 시스템에 있어서,
    AVM을 포함하고, 상기 AVM을 이용하여 차량 주변의 영상을 촬영하여 획득하고, 획득한 영상을 탑뷰영상으로 변환 및 합성하는 카메라부(10);
    상기 카메라부(10)로부터 생성된 탑뷰영상을 주기적으로 수신하고, 영상인식 기술을 이용하여 순차적으로 연속된 탑뷰영상을 비교하여 주차공간을 인식하는 주차공간 인식부(20);
    차량의 각 센서들로부터 차량 주행 정보를 수신하고, 상기 주차공간 인식부(20)로부터 인식된 주차공간에 대하여 상기 차량 주행 정보를 바탕으로 최적 주차 경로를 산출하여 생성하는 제어부(30); 및
    차량의 조향 정보를 수신하고, 상기 제어부(30)에서 생성된 최적 주차 경로를 상기 조향 정보에 대응하도록 변환하여 표시하는 주차지원부(40)를 포함하고,
    상기 주차공간 인식부(20)는, 영상인식 기술을 이용하여 연속된 영상의 특징점을 추출하고, 연속된 두 영상의 특징점을 매칭하며, 오정합된 특징점들을 삭제하고, 유효 특징점들을 정합함으로써, 주차공간을 인식하는 것을 특징으로 하는 AVM탑뷰 기반 주차지원 시스템.
  2. 제 1항에 있어서,
    초음파 센서를 포함하고 상기 초음파 센서를 통하여 주차공간을 인식하는 초음파 센서부(50)를 더 포함하고,
    상기 초음파 센서부(50)는 상기 주차공간 인식부(20)와 연동하며,
    상기 주차공간 인식부(20)는 주차공간 인식에 있어서 상기 초음파 센서부(50)의 데이터를 더 이용하도록 하는 것을 특징으로 하는 AVM탑뷰 기반 주차지원 시스템.
  3. 삭제
  4. 제 1항에 있어서,
    상기 제어부(30)는,
    상기 주차공간 인식부(20)로부터 인식된 주차공간에 대하여 차량 주행 정보를 매칭하여 주차궤적 및 전후진 이동 회수를 고려하여 최적 주차가능 위치를 산출하도록 이루어지는 것을 특징으로 하는 AVM탑뷰 기반 주차지원 시스템.


KR1020110141009A 2011-12-23 2011-12-23 Ａｖｍ탑뷰 기반 주차지원 시스템 KR101327736B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020110141009A KR101327736B1 (ko) 2011-12-23 2011-12-23 Ａｖｍ탑뷰 기반 주차지원 시스템
JP2012090482A JP2013133098A (ja) 2011-12-23 2012-04-11 アラウンドビューモニタートップビュー基盤の駐車支援システム
DE102012216593A DE102012216593A1 (de) 2011-12-23 2012-09-18 Draufsichtbasiertes avm-einparkhilfesystem
US13/625,584 US20130162825A1 (en) 2011-12-23 2012-09-24 Avm top view based parking support system
CN2012104342189A CN103171552A (zh) 2011-12-23 2012-11-02 基于avm俯视图的停车辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110141009A KR101327736B1 (ko) 2011-12-23 2011-12-23 Ａｖｍ탑뷰 기반 주차지원 시스템

Publications (2)

Publication Number Publication Date
KR20130073256A KR20130073256A (ko) 2013-07-03
KR101327736B1 true KR101327736B1 (ko) 2013-11-11

Family

ID=48575815

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110141009A KR101327736B1 (ko) 2011-12-23 2011-12-23 Ａｖｍ탑뷰 기반 주차지원 시스템

Country Status (5)

Country Link
US (1) US20130162825A1 (ko)
JP (1) JP2013133098A (ko)
KR (1) KR101327736B1 (ko)
CN (1) CN103171552A (ko)
DE (1) DE102012216593A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101488636B1 (ko) 2014-01-29 2015-02-11 조선대학교산학협력단 투시변환을 이용한 탑뷰 주차 지원 시스템 및 그 방법
KR20160112674A (ko) 2015-03-20 2016-09-28 주식회사 성우모바일 영상과 거리 보정을 통한 주차 보조 시스템
KR20160118743A (ko) 2015-04-03 2016-10-12 주식회사 성우모바일 차량의 네비게이터와 avm 카메라 영상을 통합 처리하는 이기종 영상 통합처리 시스템
KR101772929B1 (ko) * 2015-10-07 2017-09-12 주식회사 성우모바일 네비게이터와 avm 카메라의 영상 통합처리와 avm 카메라의 영상 통합처리 시스템

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013002283A1 (de) * 2013-02-08 2014-08-14 Volkswagen Ag Verfahren und Vorrichtung zum Vorwärtseinparken eines Kraftfahrzeugs in eine Querparklücke
KR102170286B1 (ko) * 2013-08-13 2020-10-26 현대모비스 주식회사 조향 휠 제어 방법 및 이를 위한 위한 시스템
KR102258102B1 (ko) * 2013-08-13 2021-05-31 현대모비스 주식회사 조향 휠 제어 방법 및 이를 위한 위한 시스템
KR101511992B1 (ko) * 2013-09-06 2015-04-14 현대모비스(주) 조향 휠 제어 방법 및 이를 위한 위한 시스템
US10139238B2 (en) * 2013-09-11 2018-11-27 Qualcomm Incorporated Systems, methods, and apparatus related to guidance and alignment for an electric vehicle and charging station
WO2015049847A1 (ja) 2013-10-01 2015-04-09 ヤンマー株式会社 コンバイン
KR102153030B1 (ko) * 2013-11-05 2020-09-07 현대모비스 주식회사 주차 지원 장치 및 방법
KR101470240B1 (ko) * 2013-11-14 2014-12-08 현대자동차주식회사 주차 영역 검출 장치 및 그 방법
CN105992513A (zh) 2013-12-02 2016-10-05 洋马株式会社 联合收获机
KR101526743B1 (ko) * 2013-12-17 2015-06-05 현대자동차주식회사 차량의 후측방 경고 장치 및 방법
KR101498976B1 (ko) * 2013-12-19 2015-03-05 현대모비스(주) 차량용 주차지원시스템 및 주차지원방법
KR101670847B1 (ko) * 2014-04-04 2016-11-09 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR20150139368A (ko) * 2014-06-03 2015-12-11 엘지전자 주식회사 차량 충전 보조장치 및 이를 구비한 차량
KR102176773B1 (ko) 2014-06-11 2020-11-09 현대모비스 주식회사 자동차의 주차시스템
KR102176775B1 (ko) * 2014-07-02 2020-11-09 현대모비스 주식회사 어라운드 뷰 시스템 및 그 동작방법
KR102268641B1 (ko) * 2014-07-10 2021-06-23 현대모비스 주식회사 어라운드 뷰 시스템 및 그 동작방법
KR102303224B1 (ko) * 2014-10-17 2021-09-16 현대모비스 주식회사 주차 지원 시스템
KR20160112526A (ko) * 2015-03-19 2016-09-28 현대자동차주식회사 차량 및 그 제어 방법
US20160371983A1 (en) * 2015-06-22 2016-12-22 Garmin Switzerland Gmbh Parking assist system and method
KR20170016199A (ko) * 2015-08-03 2017-02-13 현대모비스 주식회사 주차 구획 인식 장치 및 그 제어 방법
US11691619B2 (en) 2015-08-12 2023-07-04 Hyundai Motor Company Automatic parking system and automatic parking method
US10392009B2 (en) 2015-08-12 2019-08-27 Hyundai Motor Company Automatic parking system and automatic parking method
KR101745152B1 (ko) * 2015-10-13 2017-06-08 현대자동차주식회사 전자동 주차 시스템 및 그 동작 방법
BR112018008270B1 (pt) * 2015-10-22 2023-03-21 Nissan Motor Co., Ltd Dispositivo e método de detecção de linha de vaga de estacionamento
KR101892026B1 (ko) 2015-11-10 2018-08-27 현대자동차주식회사 차량의 원격 주차 제어 방법 및 장치
KR101915163B1 (ko) * 2016-12-30 2019-01-07 현대자동차주식회사 자동 주차 시스템 및 자동 주차 방법
US10606257B2 (en) 2015-11-10 2020-03-31 Hyundai Motor Company Automatic parking system and automatic parking method
US20170197615A1 (en) * 2016-01-11 2017-07-13 Ford Global Technologies, Llc System and method for reverse perpendicular parking a vehicle
CN105763854B (zh) * 2016-04-18 2019-01-08 扬州航盛科技有限公司 一种基于单目摄像头的全景成像系统及其成像方法
KR102005944B1 (ko) 2016-10-19 2019-08-01 주식회사 만도 주차 보조 시스템 및 그 제어 방법
KR101982774B1 (ko) * 2016-11-29 2019-05-27 엘지전자 주식회사 자율 주행 차량
KR102395278B1 (ko) * 2016-12-02 2022-05-09 현대자동차주식회사 주차 경로 생성 장치, 그를 포함한 시스템 및 그 방법
KR101915167B1 (ko) * 2016-12-30 2018-11-06 현대자동차주식회사 자동 주차 시스템 및 자동 주차 방법
DE102017130173A1 (de) * 2017-02-24 2018-08-30 Denso Ten Limited Ladeunterstützungsvorrichtung
WO2019058614A1 (ja) * 2017-09-19 2019-03-28 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御システム、表示制御方法およびプログラム
CN107738612B (zh) * 2017-09-22 2020-04-14 西安电子科技大学 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
CN108090435B (zh) * 2017-12-13 2022-01-25 深圳市航盛电子股份有限公司 一种可停车区域识别方法、系统及介质
CN108394416B (zh) * 2018-01-30 2020-01-31 惠州市德赛西威汽车电子股份有限公司 一种车位显示辅助方法及系统
JP7069772B2 (ja) * 2018-02-06 2022-05-18 株式会社アイシン 車両制御装置、駐車場管制装置および自動バレー駐車システム
CN108482366A (zh) * 2018-03-23 2018-09-04 重庆长安汽车股份有限公司 基于车辆自动驾驶的代客泊车系统及方法
CN110758246B (zh) * 2018-07-25 2021-06-04 广州小鹏汽车科技有限公司 一种自动泊车方法及装置
KR102521834B1 (ko) * 2018-08-21 2023-04-17 삼성전자주식회사 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치
CN110908366B (zh) * 2018-08-28 2023-08-25 大陆智行科技(上海)有限公司 自动驾驶方法及装置
JP7151293B2 (ja) * 2018-09-06 2022-10-12 株式会社アイシン 車両周辺表示装置
CN111028534B (zh) * 2018-10-09 2022-04-26 杭州海康威视数字技术股份有限公司 一种泊车位检测方法及装置
JP2020065141A (ja) 2018-10-16 2020-04-23 現代自動車株式会社Ｈｙｕｎｄａｉ Ｍｏｔｏｒ Ｃｏｍｐａｎｙ 車両の俯瞰映像生成システム及びその方法
CN109606354B (zh) * 2018-10-18 2020-07-28 同济大学 一种基于分层规划的自动泊车方法及辅助系统
CN109685000A (zh) * 2018-12-21 2019-04-26 广州小鹏汽车科技有限公司 一种基于视觉的车位检测方法及装置
CN111508260A (zh) * 2019-01-30 2020-08-07 上海欧菲智能车联科技有限公司 车辆停车位检测方法、装置和系统
JP7160014B2 (ja) * 2019-10-11 2022-10-25 トヨタ自動車株式会社 駐車支援装置
JP7311004B2 (ja) * 2019-10-11 2023-07-19 トヨタ自動車株式会社 駐車支援装置
JP7256463B2 (ja) * 2019-10-11 2023-04-12 トヨタ自動車株式会社 車両駐車支援装置
JP7238722B2 (ja) * 2019-10-11 2023-03-14 トヨタ自動車株式会社 車両駐車支援装置
CN113053131B (zh) * 2019-12-26 2022-11-01 北京新能源汽车股份有限公司 一种空闲车位识别方法、装置及车辆
KR102300596B1 (ko) * 2020-06-25 2021-09-10 모비어스앤밸류체인(주) 자율 주행 지게차의 협로 주행을 위한 방법 및 이를 위한 장치
CN113276768B (zh) * 2021-04-21 2023-04-07 上海阅瞳科技有限公司 泊车辅助装置及方法
CN113140133B (zh) * 2021-04-22 2022-06-28 开迈斯新能源科技有限公司 超声波雷达地锁的检测方法及装置
DE102021118658A1 (de) 2021-07-20 2023-01-26 Avl Software And Functions Gmbh Verfahren zur Erkennung von Parkflächen für ein Fahrzeug
CN113830078B (zh) * 2021-10-19 2023-08-04 同济大学 一种基于停车位角点检测的自动泊车方法及系统
CN117601848B (zh) * 2023-12-20 2024-07-09 广州车全影电子科技有限公司 基于汽车全景的泊车控制方法、系统、介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129021A (ja) * 2004-10-28 2006-05-18 Denso Corp 駐車支援システム
JP2010081385A (ja) * 2008-09-26 2010-04-08 Sanyo Electric Co Ltd 運転支援装置
KR20100096757A (ko) * 2009-02-25 2010-09-02 주식회사 만도 주차 제어 방법 및 그 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
DE10351894A1 (de) * 2003-11-06 2005-06-09 Robert Bosch Gmbh Verfahren zur Ermittlung einer Parklücke
JP4461920B2 (ja) * 2004-06-23 2010-05-12 株式会社デンソー 駐車支援装置
JP3977368B2 (ja) * 2004-09-30 2007-09-19 クラリオン株式会社 駐車支援システム
JP4432736B2 (ja) * 2004-11-09 2010-03-17 株式会社デンソー 駐車支援システム
JP4480083B2 (ja) * 2005-02-23 2010-06-16 アイシン精機株式会社 物体認識装置
JP4561456B2 (ja) * 2005-04-21 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4380655B2 (ja) * 2006-04-25 2009-12-09 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
CN101082502A (zh) * 2006-05-29 2007-12-05 爱信艾达株式会社 驻车辅助方法及驻车辅助装置
JP5309442B2 (ja) * 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4367475B2 (ja) * 2006-10-06 2009-11-18 アイシン精機株式会社 移動物体認識装置、移動物体認識方法及びコンピュータプログラム
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
JP4386083B2 (ja) * 2007-02-27 2009-12-16 トヨタ自動車株式会社 駐車支援装置
JP5088074B2 (ja) * 2007-10-01 2012-12-05 日産自動車株式会社 駐車支援装置及び方法
JP4900232B2 (ja) * 2007-12-26 2012-03-21 日産自動車株式会社 車両用駐車支援装置および映像表示方法
CN101556692A (zh) * 2008-04-09 2009-10-14 西安盛泽电子有限公司 基于特征点邻域伪Zernike矩的图像拼接方法
JP4900326B2 (ja) * 2008-06-10 2012-03-21 日産自動車株式会社 駐車支援装置及び駐車支援方法
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP5067377B2 (ja) * 2009-02-10 2012-11-07 株式会社デンソー 駐車支援システム、車載駐車支援装置
JP5403330B2 (ja) * 2009-02-25 2014-01-29 アイシン精機株式会社 駐車支援装置
US8848978B2 (en) * 2011-09-16 2014-09-30 Harman International (China) Holdings Co., Ltd. Fast obstacle detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129021A (ja) * 2004-10-28 2006-05-18 Denso Corp 駐車支援システム
JP2010081385A (ja) * 2008-09-26 2010-04-08 Sanyo Electric Co Ltd 運転支援装置
KR20100096757A (ko) * 2009-02-25 2010-09-02 주식회사 만도 주차 제어 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이종호, 양주웅, 윤대중. 주차지원시스템 알고리즘 개발. 한국자동차공학회 2007년 춘계학술대회논문집, pp. 2105-2109. *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101488636B1 (ko) 2014-01-29 2015-02-11 조선대학교산학협력단 투시변환을 이용한 탑뷰 주차 지원 시스템 및 그 방법
KR20160112674A (ko) 2015-03-20 2016-09-28 주식회사 성우모바일 영상과 거리 보정을 통한 주차 보조 시스템
KR20160118743A (ko) 2015-04-03 2016-10-12 주식회사 성우모바일 차량의 네비게이터와 avm 카메라 영상을 통합 처리하는 이기종 영상 통합처리 시스템
KR101772929B1 (ko) * 2015-10-07 2017-09-12 주식회사 성우모바일 네비게이터와 avm 카메라의 영상 통합처리와 avm 카메라의 영상 통합처리 시스템

Also Published As

Publication number Publication date
DE102012216593A1 (de) 2013-06-27
US20130162825A1 (en) 2013-06-27
JP2013133098A (ja) 2013-07-08
CN103171552A (zh) 2013-06-26
KR20130073256A (ko) 2013-07-03

Similar Documents

Publication Publication Date Title
KR101327736B1 (ko) Ａｖｍ탑뷰 기반 주차지원 시스템
US11023788B2 (en) Systems and methods for estimating future paths
US9418556B2 (en) Apparatus and method for displaying a blind spot
EP3007099B1 (en) Image recognition system for a vehicle and corresponding method
US20180137376A1 (en) State estimating method and apparatus
CN107273788B (zh) 在车辆中执行车道检测的成像系统与车辆成像系统
CN107953828B (zh) 车辆的行人识别方法及车辆的行人识别系统
US9898671B2 (en) Vehicle vision system with structure and motion estimation
EP3286056B1 (en) System and method for a full lane change aid system with augmented reality technology
US20120257056A1 (en) Image processing apparatus, image processing method, and image processing program
KR20090103165A (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
JP4797877B2 (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP2009040108A (ja) 画像表示制御装置及び画像表示制御システム
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
JP2000293693A (ja) 障害物検出方法および装置
Khalifa et al. A hyperbola-pair based lane detection system for vehicle guidance
CN112230652A (zh) 行走机器人及其移动控制的方法、计算机存储介质
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP5785515B2 (ja) 歩行者検出装置及び方法、並びに車両用衝突判定装置
JP6886136B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
Nedevschi et al. Online extrinsic parameters calibration for stereovision systems used in far-range detection vehicle applications
KR20180041525A (ko) 차량의 물체 트래킹 시스템 및 그 제어 방법
Schamm et al. Vision and ToF-based driving assistance for a personal transporter
JP4704998B2 (ja) 画像処理装置
JP2008003696A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181030

Year of fee payment: 6