KR20170124299A - 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법 - Google Patents

가상 주차선 생성에 의한 주차 지원 장치 및 그 방법 Download PDF

Info

Publication number
KR20170124299A
KR20170124299A KR1020160054022A KR20160054022A KR20170124299A KR 20170124299 A KR20170124299 A KR 20170124299A KR 1020160054022 A KR1020160054022 A KR 1020160054022A KR 20160054022 A KR20160054022 A KR 20160054022A KR 20170124299 A KR20170124299 A KR 20170124299A
Authority
KR
South Korea
Prior art keywords
parking
line
parking lot
vehicle
image
Prior art date
Application number
KR1020160054022A
Other languages
English (en)
Other versions
KR102485480B1 (ko
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020160054022A priority Critical patent/KR102485480B1/ko
Publication of KR20170124299A publication Critical patent/KR20170124299A/ko
Application granted granted Critical
Publication of KR102485480B1 publication Critical patent/KR102485480B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision

Abstract

본 발명의 일면에 따른 주차 지원 장치는 카메라를 이용하여 차량 주변의 영상을 획득하고, 상기 획득한 영상을 이용하여 탑뷰 이미지(Top-view image)를 생성하는 AVM 시스템부, 상기 탑뷰 이미지로부터 엣지영상을 생성하는 영상처리부, 상기 탑뷰 이미지와 상기 엣지영상으로부터 주차 구획선을 산출하는 주차 구획선 산출부, 상기 주차 구획선으로부터 가상 주차 기준선을 생성하는 가상 주차 기준선 생성부 및 상기 주차 구획선과 상기 가상 주차 기준선을 토대로 주차 대상 영역을 결정하는 주차 대상 영역 결정부를 포함하는 것을 특징으로 한다.

Description

가상 주차선 생성에 의한 주차 지원 장치 및 그 방법{A method and apparatus of assisting parking by creating virtual parking lines}
본 발명은 어라운드 뷰 모니터링 시스템(Around view monitoring system, 이하 'AVM 시스템')과 스마트 주차 보조 시스템(Smart paking assist system, SPAS)을 이용하여 주차 대상 영역을 인식하고, 운전자에게 이동 경로를 제공하는 주차 지원 장치 및 그 방법에 관한 것이다.
최근, 주차 지원 장치에 관한 다양한 발명들이 출원되고 있다.
종래에는 주차된 차량이 존재할 경우 초음파 센서를 이용하여 차량 등 장애물의 위치를 파악하여 주차 대상 영역을 계산하였으나, 초음파 센서를 이용한 3차원 영상을 획득하는 것은 연산처리시간이 많이 소요되고, 주차장에 주차된 차량이 없는 경우에는 이용할 수 없는 문제가 있었다.
또한, 주차된 차량이 없는 경우에는 카메라를 이용하여 주차장의 주차선을 인식하고 주차가능영역을 계산할 수 있는 발명이 활발하게 발명되고 있다. 카메라의 영상으로부터 평면적인 화면을 생성하는 AVM 시스템, 초음파센서를 이용하여 주차 이동 경로를 생성하고, 자동으로 주차하는 시스템인 SPAS가 발전되고 있다.
종래 AVM 시스템을 이용한 주차 지원 장치는 주차 구획의 입구인 주차 기준선(차량의 진행방향과 평행)을 인식하고 주차 기준선을 토대로 주차 구획선(차량의 진행방향과 수직 또는 일정한 각도)을 산출하여, 주차 대상 영역을 결정한다. 종래 기술에 따르면, 주차 기준선이 표시되는 폐쇄형 주차 구획의 경우 문제되지 않으나, 주차 기준선이 없는 개방형 주차 구획의 경우, 주차 대상 영역을 정확히 인식하기 어려운 문제가 있다.
본 발명은 전술한 문제를 해결하기 위하여, 개방형 주차 구획의 경우에도 가상 주차선을 생성하고 주차 대상 영역을 인식하여 사용자에게 제공하는 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일면에 따른 주차 지원 장치는 카메라를 이용하여 차량 주변의 영상을 획득하고, 상기 획득한 영상을 이용하여 탑뷰 이미지(Top-view image)를 생성하는 AVM 시스템부, 상기 탑뷰 이미지로부터 엣지영상을 생성하는 영상처리부, 상기 탑뷰 이미지와 상기 엣지영상으로부터 주차 구획선을 산출하는 주차 구획선 산출부, 상기 주차 구획선으로부터 가상 주차 기준선을 생성하는 가상 주차 기준선 생성부 및 상기 주차 구획선과 상기 가상 주차 기준선을 토대로 주차 대상 영역을 결정하는 주차 대상 영역 결정부를 포함한다.
본 발명의 다른 일면에 따른 주차 지원 방법은 하나 이상의 카메라를 이용하여 촬영된 영상을 획득하는 단계, 상기 획득한 영상을 평면도 형태로 합성하여 탑뷰 이미지를 생성하는 단계, 상기 탑뷰 이미지를 엣지영상으로 변환하는 단계, 차량 진행방향으로 노면의 스캔하여 밝은색 계통의 특징점을 검출하고, 상기 검출된 특징점 주변의 경계점으로부터 경계선을 인식하고, 상기 경계선으로부터 주차 구획선을 산출하는 단계, 상기 검출된 주차 구획선으로 부터 주차 구획 교차점을 산출하고, 상기 주차구획 교차점을 연결하여 가상 주차 기준선을 생성하는 단계 및 상기 주차 구획선과 상기 가상 주차 기준선으로부터 주차 대상 영역을 결정하는 단계를 포함한다.
본 발명에 따르면, 개방형 주차구획의 경우에도 가상 주차선을 생성함으로써 주차 대상 영역을 명확히 인식할 수 있는 효과가 있다.
도 1은 AVM 시스템이 생성하는 탑뷰 이미지를 도시한 도면.
도 2a는 폐쇄형 직각 주차 구획의 개략도.
도 2b은 개방형 직각 주차 구획의 개략도.
도 2c는 폐쇄형 사선 주차 구획의 개략도.
도 2d은 폐쇄형 사선 주차 구획의 개략도.
도 3은 특징점 탐색에 이용하는 Top-hat filter의 형태.
도 4a는 개방형 직각 주차 구획에 있어서 주차 구획선을 산출하는 방법을 설명하기 위한 도면.
도 4b는 개방형 직각 주차 구획에 있어서 가상 주차 기준선을 생성하는 방법을 설명하기 위한 도면.
도 4c는 개방형 사선 주차 구획에 있어서 주차 구획선을 산출하는 방법을 설명하기 위한 도면.
도 4d는 개방형 사선 주차 구획에 있어서 가상 주차 기준선을 생성하는 방법을 설명하기 위한 도면.
도 5a는 주차 구획선을 산출하는 방법을 설명하는 절차흐름도.
도 5b는 가상 주차 기준선을 생성하는 방법을 설명하는 절차흐름도.
도 6a는 직각 수진 주차 구획에서 전진 이동 경로를 생성하고 주향휠을 제어하는 방법을 설명하기 위한 도면.
도 6b는 직각 수직 주차 구획에서 후진 이동 경로를 생성하고 주향휠을 제어하는 방법을 설명하기 위한 도면.
도 7a는 사선 주차구역에서 후진 주차하는 방법을 설명하기 위한 도면.
도 7b는 사선 주차구역에서 전진 주차하는 방법을 설명하기 위한 도면.
도 8는 가상 주차 기준선 생성에 의한 주차 지원 방법의 절차 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다.
도 1은 AVM 시스템의 탑뷰 이미지를 도시한 도면을 나타낸다.
AVM 시스템(Around view monitoring system)이란 하나 이상의 카메라를 이용하여 전후좌우 전 방위의 영상을 획득하고, 획득한 영상을 한 화면으로 합성하여 사용자에게 제공하는 시스템을 말한다.
본 발명의 카메라는 필요에 따라 하나 이상의 카메라를 이용하여 합성화면을 생성할 수 있다. 예컨대 전후좌우에 카메라를 1대씩 총 4대를 설치하거나, 360도 카메라 1대로 이를 대신할 수 있다. 하나 이상의 카메라로부터 획득한 영상을 도 1에 나타난 것과 같이 합성한다.
보통의 AVM 시스템은 전후좌우에서 촬영한 다수의 화면을 합성하고 변환하여 마치 위에서 보는 평면도처럼 보이는 탑뷰 이미지(합성영상)(100)를 생성한다. 종래에는 카메라의 영상으로부터 곧바로 주차선을 인식하는 것에 어려움이 많았으나, AVM 시스템이 개선되어 평면도 형태의 탑뷰이미지(100)를 이용하여 직선형태의 주차선을 산출하는 것이 용이해졌다.
AVM 시스템은 주차된 차량에 의해 차선이 가려질 경우에는 정확한 영상을 획득하기 어렵고, 합성영상의 경계부분은 왜곡되는 문제가 있으나, 전후좌우 모든 방향의 영상을 한눈에 볼 수 있는 장점이 있다.
AVM 시스템에 의해 생성된 합성영상은 마치 자동차의 위에서 촬영한 사진처럼 보이므로 탑뷰 이미지(Top-view image) 또는 어라운드 뷰 이미지(around view image) 라고 한다.
본 발명에서는 탑뷰이미지(100)는 사용자에게 디스플레이되고, 탑뷰이미지(100)로부터 분석된 정보를 이용하여 주차 구획선(220)을 산출하여 주차 대상 영역(600)을 결정하고, SPAS(Smart parking assist system)는 초음파 센서에 의해 인식된 주차된 차량 등 장애물 정보와 탑뷰이미지(100)를 이용하여 이동 경로를 산출하고 주향휠을 제어하여 자동으로 주차할 수 있도록 한다.
본 발명은 AVM 시스템이 생성한 탑뷰 이미지(100)외에 초음파 센서를 이용한 장애물 정보와 v2x 기술을 이용한 정보를 활용할 수 있다.
v2x 기술이란 vehicle to everything 의 약자로 통신수단을 통하여 자동차와 다른 장치와의 정보교환을 할 수 있는 기술로서 구체적으로 v2d(vehicle to device), v2v(vehicle to vehicle), v2g(vehicle to grid), v2i(vehicle to infra) 등이 있다.
본 발명에서는 주차된 다른 차량에 탑재된 v2x 모듈로부터 선행 주차시 얻은 정보를 받을 수 있는 v2v 기술을 활용할 수 있고, 주차장에 설치된 v2x 모듈로부터 주차장 내부 정보를 받을 경우, 주차 구획의 유형과 무관하게 주차 대상 영역을 빠르게 결정할 수 있을 것이다.
도 2a는 폐쇄형 직각 주차 구획의 개략도를 나타낸다.
도 2b은 개방형 직각 주차 구획의 개략도를 나타낸다.
도 2c는 폐쇄형 사선 주차 구획의 개략도를 나타낸다.
도 2d은 개방형 사선 주차 구획의 개략도를 나타낸다.
종래 주차 대상 구역을 결정하는 방법은 도 2a 또는 도 2c에 표시된 주차 기준선(210)을 먼저 검출하고, 검출된 주차 기준선(210)으로부터 수직 또는 일정한 각도를 이루는 주차 구획선(220)을 검출하는 방법을 사용한다. 도 2a와 도 2c와 같은 폐쇄형 주차 구획의 경우에는 주차 기준선이 표시되어 있으므로 종래 주차 대상 구역을 인식하는 방법를 이용할 수 있으나, 도 2b와 도 2d와 같은 개방 주차 구획의 경우에는 주차 기준선이 존재하지 아니하므로 종래 주차 대상 구역을 인식하는 방법을 이용할 수 없는 문제가 있다.
본 발명은 상술한 문제를 해결하기 위하여, 주차 구획선(220)을 먼저 산출하고, 산출된 주차 구획선(220)에 포함된 주차 구획 교차점(440)을 이용하여 가상 주차 기준선(450)을 생성하는 방법을 사용한다. 상세한 설명은 도 4a 내지 도 4d를 참조한다.
도 3은 특징점(300) 검출에 이용하는 탑-햇 필터(Top-hat filter)와 특징점(300)의 위치를 표시한 모식도를 나탄낸다.
주차 구획선(220)은 대체로 노면과의 비교하여 밝은 색 계통의 색을 띄며, AVM 시스템으로부터 생성된 탑뷰 이미지로부터 주변보다 밝은 색을 띄는 지점을 탐색할 수 있게 된다. 직각주차 구역의 경우, 차량이 진행하는 방향과 수직하거나 일정한 각도의 방향으로 주차 구획선(220)이 존재하므로, 탑뷰 이미지의 노이즈를 제거한 후 차량의 진행방향과 평행한 방향에 따라(도 4a 또는 도 4c의 특징점 탐색방향에 따라) 탑-햇 필터(Top-hat filter)를 적용하여 주차 구획선(220)의 특징점(300)의 대략적인 위치를 탐색한다. 특징점(300)으로부터 주차 구획선(220)을 산출하는 구체적인 탐색방법은 도 4a를 참고하여 설명하도록 한다.
개방형 직각 주차 구획에 있어서 도 4a는 주차 구획선(220)을 산출하는 방법을 설명하기 위한 도면이고, 도 4b는 가상 주차 기준선(450)을 생성하는 방법을 설명하기 위한 도면이다.
도 3에서 설명한 바와 같이 탑뷰 이미지(100)에서 차량진행 방향으로부터 특징점(300)의 대략적인 위치를 탐색하고, 국부 최대(local maxima) 탐색 기법을 이용해 활용하여 탐색된 특징점(300) 양쪽의 기준 경계점(410)을 검출한다.
탑뷰이미지(100)는 소벨 엣지 검출(Sobel edge detection), 프리위트 엣지 검출(Prewitt edge detection), 로버츠 엣지 걸출(Roberts edge detection), 캐니 엣지 검출(Canny edge detection) 등의 방법에 의하여 엣지 영상(Edge image, 영상의 경계를 경계점(415)으로 변환한 영상)으로 변환된다.
소벨 엣지 검출이란 수평 밝기 변화량(Gx)과 수직 밝기 변화량(Gy)를 구한 후, 그 절대값의 합(|G|=|Gx|+|Gy|)과 변화량의 비율(θ=arctan(|Gy/Gx|)을 정의한다. |G|가 임계치(threshold)이하일 경우 노이즈로 처리하고, 임계치 이상일 경우 경계점(Edge Fixel)(415)으로 처리한다.
각각의 엣지 검출 방법은 밝기 변화량을 측정하기 위해 사용하는 마스크가 상이하고, 연산속도, 정확도 및 경계선 검출 정도에 있어서 장단점이 있다.
엣지 영상으로 변환하는 경우, 외부조도에 따라 같은 주차장이라 하여도 경계선 검출 결과가 상이할 수 있다. 광량이 많은 낮시간의 야외의 경우 외부조도가 높고, 밤시간에는 외부조도가 낮을 수 있다. 지하주차장의 경우에도 외부 광원의 존재여부에 따라 외부조도가 상이할 수 있다.
v2x 기술을 이용하여 주차장의 위치를 파악할 수 있을 경우, 특정지점의 밝기를 측정하여 외부조도의 기준으로 삼을 수 있다. 측정한 외부조도에 따라 엣지 검출에 사용할 마스크(mask)값을 변경하여 민감도를 높게 또는 낮게 설정할 수 있다.
마스크란 엣지 검출방법에서 사용하는 행렬을 의미하는데, 2x2 행렬, 3x3행렬, 4x4행렬, 5x5행렬 등을 사용하여 밝기를 측정하고자 하는 지점주변의 밝기 변화 파라미터를 산출하는데 사용된다.
처음 방문한 주차장이나 주차장의 위치를 파악할 수 없어 특정지점의 밝기를 비교할 수 없을 경우에는 차체 외부의 특정지점(예컨대 본네트)을 촬영한 영상을 이용하여 외부조도를 측정하는 방법을 사용한다.
예컨대, 어두운 환경에서는 본네트에 반사되는 빛의 양이 적으므로 그에 따라 외부조도가 낮다고 판단하여 밝기변화에 더 민감한 마스크를 사용한다. 반면, 낮시간 외부조도가 높은 경우에도 밝기변화에 더 민감한 마스크를 사용한다. 다만, 어두운 경우에는 어두운 밝기에 해당하는 픽셀에 대하여만 민감도를 높이고, 밝은 경우에는 밝은 밝기에 해당하는 픽셀에 대하여만 민감도를 높이는 것이 바람직하다. 선별적으로 민감도를 적용하는 방법은 사용하는 픽셀의 평균 밝기를 기준으로 사용할 마스크를 변경한다. 예컨대 3x3 행렬을 사용하는 경우, 측정하는 경우 팔방(八方)의 픽셀과 중심 픽셀의 밝기의 평균을 구하여 밝기에 대한 제1 임계치 이상 밝은 경우 밝은 픽셀용 마스크를 사용하고, 밝기에 대한 제2 임계치 이하로 어두운 경우 어두운 픽셀용 마스크를 사용한다. 여기서 밝기에 대한 제1 임계치는 제2 임계치보다 크다(밝다).
엣지 영상에서 특징점(300) 근방의 양쪽 기준 경계점(410)을 기준으로 새로운 경계점(415)들을 검출한다. 검출된 경계점(415)들을 확장된 허프 변환(extended Hough transform)을 이용하여 경계선을 추정할 수 있다. 기준 경계점(410)을 중심으로 1도 단위로 회전하면서 반복하여 최적의 경계선을 추정한다.
특징점(300)의 양쪽에 2개의 기준 경계점(410)이 존재하므로, 하나의 특징점(300)에 대하여 2번에 걸쳐 경계선을 추정하게 되고, 그 결과 추정된 경계선을 제1경계선, 제2경계선이라 칭한다. 제1경계선과 제2경계선은 주차 구획선(220)의 양쪽 경계일 가능성이 높다.
주차 구획선(220)의 폭은 일정할 것으로 예측되기 때문에 추정된 제1경계선과 제2경계선의 기울기와 거리가 임계치 이내의 값이라면, 기울기의 평균과 특징점(300)을 이용하여 주차 구획선 제1후보를 추출한다. 이 때, 제1경계선과 제2경계선의 각도 및 거리를 이용하여 주차 구획선 제1후보의 선의 두께(제1경계선과 제2경계선 차이의 거리)를 함께 저장한다.
상기 제1경계선과 제2경계선 사이의 거리는 양 경계선의 평균 기울기에 수직 방향으로 거리를 측정하여 평균값을 사용하거나, 최대값과 최소값을 측정하여 평균을 낸다. 일반적으로 주차구획선의 두께는 일정하다고 볼 수 있으므로 계산차이가 결과가 미치는 영향은 적다고 할 것이다.
각 특징점(300) 별로 주차 구획선 제1 후보를 추출하고, 서로 다른 주차 구획선 제1후보들 사이의 기울기와 간격, 각 제1 후보의 선의 두께를 비교하여 주차 구획선 제2후보를 추출한다.
주차 구획선(220)은 그 두께, 주차 구획선(220) 사이의 기울기 및 인접한 주차 구획선(220) 사이의 간격이 일정할 것이므로, 주차 구획선 제1후보 중 선의 두께, 인접한 제1후보들 사이의 간격 및 제1후보의 기울기가 일정 범위이내의 값을 가지는 경우에 주차 구획선 제2후보로 판단한다.
주차 구획선 제2 후보를 추출하기 위하여 기울기를 비교하는 방법은 주차 구획선 제1후보들의 평균 기울기를 구하고, 평균 기울기에 가장 가까운 기울기를 갖는 주차 구획선 제1 후보를 주차 후보 대표선으로 정하고, 다른 주차 구획선 제1후보의 기울기와 주차 후보 대표선의 기울기의 차이를 비교한다. 이 방법은 소수의 노이즈를 제거하는데 유용하다.
주차 후보 대표선은 제외된 후보를 고려해서 다시 산정할 수 있다. 방향이 전혀 다른 주차 구획선 제1 후보가 다수 존재할 경우, 최초의 주차 후보 대표선은 부정확할 수 있으므로, 주차 후보 대표선의 기울기와 차이가 큰 주차 구획선 제1 후보들을 제외시키고 주차 후보 대표선을 다시 계산하여 주차 구획선 제2 후보를 산출할 수 있다.
상이한 기울기를 가지는 후보의 수가 비슷하여 문제를 해결할 수 없는 경우에는 엣지영상의 경계선의 정확도에 가중치 부여한 가중 평균값으로 주차 후보 대표선의 기울기를 선택할 수 있다.
상기 경계선의 정확도는 제1 경계선과 제2 경계선의 기울기의 차이, 제1 경계선과 제2 경계선 사이의 간격, 경계점들로부터 제1 경계선 추정 시에 회귀분석상 표준오차(예컨대 잔차제곱합, Residual Sum of squares)를 토대로 가중치를 적용하여 산정한다.
주차 구획선 제2후보를 추출하기 위하여 기울기를 비교하는 다른 방법은 주차 구획선 제1후보의 기울기를 기준으로 정렬하고, 기울기를 동일하다고 판단할 기울기 임계범위를 정하여 각각의 주차 구획선 제1후보 별로 기울기 임계범위 내에 포함된 다른 주차 구획선 제1후보의 개수를 세서 상기 기울기 임계범위 내에 가장 많은 주차 구획선 제1후보를 포함하는 주차 구획선 제1후보를 주차 후보 대표선으로 정하고, 주차 후보 대표선의 기울기 임계범위 내에 포함되는 주차 구획선 제1후보 모두를 주차 구획선 제2후보로 판단할 수 있다.
상기 주차 구획선 제1후보의 기울기를 tan(θ)라 할 때, 상기 기울기 임계범위는 각도(θ)를 기준으로 설정하는 것이 바람직하다.
이 때 제1후보군에 속하는 총 후보수를 고려하여 기울기의 최소값과 최대값 의 차이가 상기 기울기 임계범위의 2배 이내라면 상기 정렬과정 및 판단과정 없이, 주차 구획선 제1후보 모두를 주차 구획선 제2후보의 기울기 조건을 만족한 것으로로 판단하고, 주차 후보 대표선을 판단할 필요는 없다.
통상 주차장의 인접한 주차 구획선(220) 사이의 간격은 일정한 경우가 많으므로 인접한 제1후보 사이의 간격이 일정 범위 이내에 포함되었는지 여부를 주차 구획선 제2후보를 추출하는 다른 조건으로 한다.
인접한 제2후보들 사이의 간격이 다른 인접한 제2후보들 사이의 간격의 2이상의 정수 배에 가까울 경우에는 중간의 주차 구획선(220)이 풍화작용 등으로 지워지는 등의 문제로 주차 구획선 제2후보로 판단하지 못할 가능성이 있으므로, 주차 구획선(220)이 존재할 것으로 예측되는 위치에서 주차 구획선 제1후보를 정밀하게 재검출하여 한 후 주차 구획선 제2후보 여부를 판단한다.
주차 구획선 제2후보군 중에서 인접한 제2후보 사이의 간격, 제2후보의 방향 및 선의 두께 등이 법규를 만족하는 경우에 주차 구획선(220)으로 산출한다. 주차 구획선(220)의 두께, 양측 주차 구획선(220)의 간격, 차량에 대하여 주차해야 할 구역이 좌측인지 우측인지 여부 등의 정보를 주차 구획선(220) 정보로서 함께 저장한다.
2 이상의 주차 구획선(220) 중에 최종 주차 대상 영역(600)을 결정하기 위해 인접한 2개의 주차 구획선(220)을 선택할 수 있다.
상기 산출된 주차 구획선(220)의 방향과 간격으로부터 주차 구획의 유형을 판단한다. 폐쇄형 주차 구역의 경우, 주차 기준선(210)과 주차 구획선(220)이 이루는 각도가 90도일 경우, 수직 주차 구역 내지 수평 주차 구역으로 판단한다. 수직 주차 구역과 수평 주차 구역의 구별은 주차 구획선(220)의 길이와 주차 구획선(220) 간의 간격으로부터 알 수 있다. 주차 기준선(210)과 주차 구획선(220)이 이루는 각도가 90도 아닐 경우, 예컨대, 30도, 45도, 60도 일 경우에는 사선주차구역으로 판단한다.
폐쇄형 주차 구역의 경우에는 종래 기술에 따라 주차 기준선(210)을 먼저 검출하고, 주차 기준선(210)을 기준으로 주차 구획선(220)을 검출하여 주차 대상 영역(600)을 결정할 수 있으나, 본 발명에 따라 가상 주차 기준선(450)을 검출하여, 실제 주차 기준선(210)을 대비할 수 있다.
본 발명에 따라 주차 대상 영역(600)을 결정하는 바람직한 실시예는
1) 주차된 차량이 존재하는 경우, 초음파 센서를 이용하여 장애물을 파악하여 적정한 주차구역을 산정한다. 주차된 차량이 존재하는 경우에는 주차선이 차량에 의해 가려져 인식하기 어려울 수 있으므로 차량만으로 주차구역을 추출할 수 있다. 다만, 주차된 차량이 존재하는 경우라도 주차 구획선(220) 또는 주차 기준선(210)이 명확히 인식된다면 AVM 시스템으로부터 탑뷰 이미지(100)의 분석결과와 초음파 센서를 이용해 파악한 장애물 정보를 함께 이용하여 주차 영역을 산출하는 것이 바람직하다.
2) 주차된 차량이 존재하지 않는 폐쇄형 주차구역일 경우에는 주차 기준선(210)을 먼저 산출하여 주차 기준선(210)을 기준으로 주차 구획선(220)을 산출하는 것이 바람직하나, 본원 발명의 가상 주차 기준선(450) 생성에 의한 방법을 동시에 이용할 수 있다.
3) 주차 기준선(210)이 없는 개방형 주차구역일 경우에는 주차 구획선(220)을 먼저 검출한 후 가상 주차 기준선(450)을 생성하여 주차 대상 영역(600)을 정하는 본원 발명의 적용대상이다.
주어진 주차 상황에 따라 종래 기술과 본 발명의 기술사상을 병용하는 것이 바람직하다.
주차된 차량이 존재하지 않는 개방형 주차 구역의 경우, 상기에서 설명한 바와 같이 주차 구획선(220)을 먼저 검출하고, 주차 구획선(220)으로부터 하기 도 4b에서 설명하는 방법으로 가상 주차 기준선(450)를 추정한다. 주차 구획선(220)과 가상 주차 기준선(450)이 이루는 각도를 기준으로 직각 주차 구역, 평행 주차 구역, 사선 주차 구역을 판단한다.
도 4b는 주차 구획선(220)으로부터 가상 주차 기준선(450)을 생성하는 방법을 설명하기는 위한 예시도이다.
도 4a에서 결정된 각각의 주차 구획선(220)으로부터 끝점(end point)을 추출한다. 추출된 끝점을 주차 구획 교차점(440)이라 한다. 추출된 2이상의 교차점을 연결하여 가상 주차 기준선(450)을 결정한다. 교차점은 가상 주차 기준선(450)과 주차 구획선(220)이 교차하는 점이 된다.
이 때, 초음파 센서에 의하여 주차된 차량의 위치와 방향을 이용하여 교차점의 위치를 조정할 수 있다. 주차 구획선(220)의 경우 끝부분이 지워지거나 훼손되는 등 그 길이를 신뢰할 수 없는 경우가 있어 주차 구획 교차점(440)을 보수적으로 설정하여 사고를 방지할 필요가 있기 때문이다.
3이상의 주차 구획 교차점(440)이 존재할 경우 가상 주차 기준선(450)은 최소자승오차법에 기초한 회귀분석을 통한 가상 주차 기준선(450)을 결정한다. 가상 주차 기준선(450)의 폭은 0일 수 있고, 주차 구획선(220)의 평균 폭을 토대로 결정할 수 있다.
가상 주차 기준선(450)이 결정되면 이를 기준으로 스마트 주차 보조 시스템이 작동한다. 후진으로 직각 주차를 하기 위하여 전진할 때 가상 주차 기준선(450)과 평행하게 차량 주행 방향을 정할 수 있다. 자세한 설명은 도 6a, 도 6b에서 하도록 한다.
가상 주차 기준선(450)을 기준으로 주차 구획선(220)을 다시 추출하여 기추출한 주차 구획선(220)과 비교하는 방식으로 검출된 주차 구획선(220)을 재검증할 수 있다. 특징점(300)을 이용하여 주차 구획선(220)을 추출하는 방법은 노이즈가 특징점(300)으로 판단할 수 있다.
적절하게 추정하여 생성된 가상 주차 기준선(450)과 종래 기술을 이용하면 보다 정확하게 주차 구획선(220)을 예측하는 것이 가능하며, 예측된 주차 구획선(220)이 기 추출된 주차 구획선(220)과 상이하다면, 가상 주차 기준선(450)이 잘못된 설정된 결과일 수 있으므로, 다른 주차 구역을 찾도록 할 수 있다.
지금까지는 단일 영상을 기반으로 주차 구획선(220)을 추출하는 방법을 설명하였다. 실제 주차할 때는 주차장 내를 이동 중에 있으므로 지속적으로 탑뷰이미지(100)를 생성하게 되고, 연속 영상을 기반으로 주차 구획선(220)을 측정하고 보정하기 위하여 칼만 필터의 동적 시스템 모델을 이용한다.
최근 AVM 시스템의 발전으로 카메라의 영상을 주차장 바닥 평면을 정확히 표시하도록 합성 변환하는 탑뷰이미지(100)를 생성할 수 있지만, 차량에서 가까운 거리보다 먼 거리의 경우에는 정확도 떨어지는 문제가 있다. 그러므로 차량이 검출하고자 하는 주차 구획선(220)에 근접하면 주차 구획선(220)을 더 정확하게 산출할 수 있다.
연속영상을 토대로 주차 구획선(220)을 산출하는 경우에는 일정 시간 간격으로 주차 구획선(220)을 반복하여 산출하게 되는데, 시간의 흐름에 따라 시간 간격을 t0기, t1기, t2기 등으로 정의하면, 현재(t0기)의 주차 구획선(220)을 측정하고, t0기의 정보(이동 속도 및 이동 방향)를 토대로 가까운 미래(t1기)에 측정할 주차 구획선(220)을 t0기 시점에서 예측할 수 있다.
t1기에 주차 구획선(220)을 다시 측정하여, 전기(t0)의 예측값과 당기(t1)의 측정값이 서로 다른 경우 귀납적으로 조정된 예측 파라미터를 이용하여 t2기의 주차 구획선(220)을 예측하게 된다. 이러한 방식을 칼만필터의 동적 시스템 모델이라 한다.
사용자마다 사용하는 주된 주차장이 존재하는 경우가 많으며, 주차환경은 사용자마다 상이할 수 있으므로, 일률적인 예측 파라미터를 사용하는 것보다, 주차할 때마다 필요한 정보를 저장하여 이후 주차할 때 이용하는 것이 효율적이다. 특히 연속 영상의 경우, 먼거리에 있는 주차구역과 가까운 거리에 있는 주차구역에 대하여 예측 파라미터를 달리하여 예측하는 것이 바람직할 수도 있다.
예를 들어 차량으로 출퇴근하는 운전자라면, 회사의 주차장과 집의 주차장에 대하여 주차 구획선(220)을 산출하고 주차 대상 영역(600)을 결정하기 위한 입력 정보와 출력 정보를 템플릿 형태로 저장하고, 입력 정보의 특징을 파악하여 색인을 만들어 두고, 이후 동일한 정보를 입력받게 되면, 새로운 연산 없이 과거 자료로부터 출력 정보를 검색하여, 다른 정보(주차된 차량 및 장애물 등)만을 반영하여 필요한 정보를 생성할 수 있을 것이다. 상기 템플릿을 이용하여 연산시간을 줄이면서도 주차 대상 구역 판단 및 주차 지원 방법의 정확성을 높일 수 있다.
결정된 주차 구획선(220)에 대하여 칼만필터의 동적 시스템 모델을 적용한 측정(measure), 예측(predict), 갱신(update) 과정을 거쳐 필요한 주차 구획선(220)의 정보(위치, 두께, 간격, 방향 등)를 함께 결정한다.
본 발명에 따르면 주차 구획선(220), 가상 주차 기준선(450) 및 주차 대상 영역(600)을 빠르게 산출할 수 있기 때문에, 주차 대상 영역(600)에 주차 하기 위하여 장애물을 회피하여 전진 이동 경로를 생성하고 주향휠을 제어하여 이동하면서 칼만필터방식에 따라 갱신된 자료를 바탕으로 전진 이동 경로 및 후진 이동 경로를 재생성한다.
도 4c는 개방형 사선 주차 구획에 있어서 주차 구획선(220)을 산출하는 방법을 설명하기 위한 도면이고, 도 4d는 개방형 사선 주차 구획에 있어서 가상 주차 기준선(450)을 생성하기 위한 방법을 설명하기 위한 도면이다.
사선 주차구역도 직각주차구역과 마찬가지로 (1) 특징점(300)을 탐색하고, (2) 경계점(415)을 검출하고, (3) 경계선을 추정하고, (4) 주차 구획선 제1후보를 추출하고, (5) 주차 구획선 제2후보를 추출하고, (6) 주차 구획선(220)을 산출한 후 (7) 가상 주차 기준선(450)을 생성하고, (8) 주차 대상 영역(600)을 결정하는 순서를 따른다.
양자간의 차이는 경계선을 추정하는 단계에 있어서 각도가 서로 상이한데 기인한다. 예컨대 상기 각도는 차량의 진행방향을 기준으로 30도, 45도 60도 등을 이룰 수 있다.
도 5a는 주차 구획선(220)을 산출하는 방법을 설명하는 절차흐름도를 나타낸다.
본 발명에 따른 주차 구획선(220)을 검출하는 방법은 (1) 2차원 영상의 모든 픽셀을 처리하는 것은 처리시간이 오래 걸리므로, 1차원적으로 복수의 특징점(300)을 탐색하고(S510), (2) 검출된 특징점(300) 근방 기준 경계점(Edge fixel)(410)을 검출하고(S521), (3) 기준 경계점(410)을 기준으로 1도 단위로 방향을 탐색하여 직선 형태의 경계선을 이루는 경계점(415)을 추출하고, (4) 추출된 경계점(415)으로부터 한쌍의 경계선을 추출하여(S522) 두 경계선의 기울기의 차이가 임계치이내인 주차 구획선 제1후보를 추출하고(S531), (5) 제1후보로부터 후보들간의 기울기와 간격이 일정범위 이내에 속하는 제2후보를 추출하고(S532), (6) 제2후보군으로부터 법규상의 주차선의 간격 및 각도를 토대로 단일영상 주차 구획선(220)을 산출하고(S540), (8) 칼만필터를 이용하여 연속 영상 주차 구획선(220)의 정보를 갱신한다(550),.
도 5b는 검출된 주차 구획선(220)으로부터 가상 주차 기준선(450)을 추정하는 방법을 설명하는 절차흐름도를 나타낸다.
상기 산출된 주차 구획선(220)으로부터 끝점인 주차 구획 교차점(440)을 검출하고(S560), 검출된 교차점으로부터 가상 주차 기준선(450)을 추정하고(S570), 주차 구획선(220)과 가상 주차 기준선(450)을 이용해 주차 대상 영역(600)을 결정(S580)한다.
도 6a는 본 발명에 따른 개방형 직각 주차 구획에서 후진 주차를 위하여 주차 대상 영역(600) 및 장애물을 인식하여, 장애물을 회피하여 전진 이동 경로를 생성하고 주향휠을 제어하는 방법을 설명하기 위한 도면을 나타낸다. 도 6b는 본 발명에 따른 개방형 직각 주차 구획에서 후진 이동 경로를 생성하고 주향휠을 제어하는 방법을 설명하기 위한 도면을 나타낸다.
가상 주차 기준선(450)을 추정하였다면, 주행 차량으로부터 가상 주차 기준선(450)과 거리와 편향각을 계산하여 편향각이 0도가 되도록 방향을 수정하고 적절히 전진한 후 후진하여 주차하게 된다.
직각 주차 구획의 경우는 후진 주차를 원칙으로 한다. 후진주차를 위해서는 가상 주차 기준선(450)의 방향과 같은 방향으로 차를 전진 이동 경로를 생성하고 주향휠을 제어하여 전진한다(도 6a). 전진 이동 후에는 후진 이동 경로를 생성하고 주향휠을 제어하여 후진한다(도 6b).
도 6a에 따르면, 주차된 차량이 가상 주차 기준선(450)을 넘어 주차되었다면, 주행차량의 주향휠을 조작하여 장애물(주차된 차량)을 회피하여 전진하게 된다. 즉, (1) 주행 차량과 가상 주차 기준선(450) 사이에 일정한 거리를 유지하고, (2) 가상 주차 기준선(450)과 차량의 종축과 평행을 유지하고, (3) 장애물과 차량간의 일정한 거리를 유지하면서 전진한다.
종래기술은 정지상태에서 이동 경로를 계산한 후에 비로서 주향휠을 제어하여 이동하나, 본 발명은 전진 이동 경로 생성을 위한 가상 주차 기준선(450)을 생성하고 주차 대상 구역을 결정한 상태에서 전진 이동 경로를 곧바로 계산할 수 있으며, 이동하면서 동시에 이동 경로 생성 결과를 갱신할 수 있으므로 종래 기술과 대비하여 더 빠르게 주차할 수 있는 효과가 있다.
도 6b에 따르면 주차 대상 영역(600)으로 후진하여 주차하고 있는데, 차량의 주행방향(종축 방향)과 가상 주차 기준선(450)의 방향을 평행하고, 주차된 차량과도 일정 거리를 유지하고 있다. 주차 대상 영역(600) 면적, 가로 길이, 세로 길이는 차량의 면적, 가로 길이, 세로 길이보다 커야 한다.
후진하여 주차할 경우에는 차량의 종렬축과 주차 대상 영역(600)의 세로 중선을 일치시키도록 조향휠을 조정하고 주차된 차량과 접촉되지 않도록 안전거리를 유지하도록 계산한다.
AVM 시스템과 초음파 센서를 이용하여 주차 대상 영역(600)을 정확히 판단하는 것은 주차 대상 영역(600)을 통과하였을 때 가장 많은 정보를 취득할 수 있으므로 후진 주차가 유리하다.
도 7a는 본 발명에 따른 개방형 사선 주차 구획의 경우 사선의 방향에 따라 후진 주차하는 방법을 설명하기 위한 예시도를 나타낸다.
도 7b는 본 발명에 따른 개방형 사선 주차 구획의 경우 사선의 방향에 따라 전진 주차하는 방법을 설명하기 위한 예시도를 나타낸다.
도 7a에 따라 후진 주차하는 경우는 각도에 차이가 있을 뿐, 도 6b에서 설명한 방법으로 후진 주차 하는 경우와 동일한 방법을 이용할 수 있으나, 도 7b에 따른 전진 주차하는 경우는 상이하다 할 것이다. 사선 주차구역일 경우에는 주행하는 도로의 폭이 좁아서 후진 주차가 불가능할 수 있다. 또한 전진 주차를 하기에는 주차 대상 영역(600)을 판단하기에 정보가 부족하여 진입하면서 곧바로 전진 주차하는 것이 불가능할 수 있다. 그리하여, 빈 주차 구역을 완전히 지나친 후, 주차 대상 영역(600)이라 판단되면 다시 후진하여, 전진 주차를 하게 되는 점에서 차이가 있다.
도 8는 후진 주차 하는 경우에 있어서, 주차 보조 방법의 절차 흐름도를 나타낸다.
먼저, AVM 시스템으로부터 영상을 획득하고(S810), 복수의 카메라에 의해 영상을 합성하여 탑뷰이미지(100)를 생성한다(S820). 탑뷰이미지(100)를 토대로 주차 구획선(220)을 산출하고(S830), 상기 주차 구획선(220)으로부터 가상 주차 기준선(450)을 추정하여 생성한다(S840).
주차 구획선(220)과 가상 주차 기준선(450)을 토대로 주차 대상 영역(600)을 결정하고(S850), 가상 주차 기준선(450)과 차량 사이의 거리 및 편향각을 계산하여(S860) 조향 휠을 제어하여 가상 주차 기준선(450)의 방향과 차량의 주행방향이 평행하도록 전진 이동 경로를 생성하고(S870), 생성한 이동 경로에 맞추어 조향휠을 제어하여 전진한다(S875). 이 때, 초음파 센서를 이용하여 장애물을 인식하고 회피할 수 있다.
차량의 이동에 따라 생성된 신규 탑뷰이미지(100)를 이용하여 주차 구획선(220)을 다시 산출하고, 기 결정한 주차 대상 영역(600)을 갱신하여 더 정확한 주차 대상 영역(600)을 결정한다(S880). 갱신된 주차 대상 영역(600)에 정확히 주차할 수 있도록 후진 이동 경로를 생성하고(S890), 생성된 후진 이동 경로에 맞추어 조향휠을 제어하여 후진 주차한다(S895).
후진 이동 경로는 1회에 후진 주차가 가능하지 아니한 경우 후진과 전진을 반복하여 수회에 걸쳐 주차한다. 수회에 걸쳐 주차하기 전에 시뮬레이션 한 결과에 따라 반복할 횟수를 운전자에게 표시하여 준다.
차량이 주차를 위해 전진 또는 후진으로 이동하는 중에는 초음파 센서로 감지된 장애물을 회피하여 이동 경로를 생성할 수 있다.
이동 중에 계속하여 주차 구획선(220)을 재산출하고, 가상 주차 기준선(450)을 다시 추정하여, 주차 대상 영역(600)을 갱신하여, 더 정밀한 이동 경로를 생성한다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술 분야에 통상의 지식을 가진 자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니 되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.
100 : 탑뷰 이미지
210 : 주차 기준선
220 : 주차 구획선
300 : 특징점
410 : 기준 경계점
415 : 경계점
420 : 주차 구획선 후보군
440 : 주차 구획 교차점
450 : 가상 주차 기준선
S510 : 특징점을 탐색하는 단계
S521 : 기준 경계점을 검출하는 단계
S522 : 경계선을 추정하는 단계
S531 : 주차 구획선 제1후보를 추출하는 단계
S532 : 주차 구획선 제2후보를 추출하는 단계
S540 : 주차 구획선을 산출하는 단계
S550 : 주차 구획선의 정보를 예측하고 갱신하는 단계
S560 : 주차 구획선의 교차점을 산출하는 단계
S570 : 가상 주차 기준선을 추정하는 단계
S580 : 주차 대상 영역을 결정하는 단계
S600 : 주차 대상 영역
S810 : 카메라 영상을 획득하는 단계
S820 : AVM 시스템이 탑뷰 이미지를 생성하는 단계
S830 : 주차 구획선을 산출하는 단계
S840 : 가상 주차 기준선을 생성하는 단계
S850 : 단일 영상에서 주차 대상 영역을 결정하는 단계
S860 : 가상 주차 기준선과 차량간의 거리 및 편향각을 계산하는 단계
S870 : 전진 이동 경로를 생성하는 단계
S875 : 조향 휠을 제어하여 전진하는 단계
S880 : 연속 영상에서 주차 대상 영역을 갱신하는 단계
S890 : 후진 이동 경로를 생성하는 단계
S895 : 조향 휠을 제어하여 후진 주차하는 단계

Claims (12)

  1. 카메라를 이용하여 차량 주변의 영상을 획득하고, 상기 획득한 영상을 이용하여 탑뷰 이미지(Top-view image)를 생성하는 AVM 시스템부;
    상기 탑뷰 이미지로부터 엣지영상을 생성하는 영상처리부;
    상기 탑뷰 이미지와 상기 엣지영상으로부터 주차 구획선을 산출하는 주차 구획선 산출부;
    상기 주차 구획선으로부터 가상 주차 기준선을 생성하는 가상 주차 기준선 생성부; 및
    상기 주차 구획선과 상기 가상 주차 기준선을 토대로 주차 대상 영역을 결정하는 주차 대상 영역 결정부
    를 포함하는 주차 지원 장치.
  2. 제1항에 있어서,
    상기 가상 주차 기준선과 차량 사이의 거리와 편향각을 산출하고, 상기 주차 대상 영역을 고려하여 이동 경로를 산출하는 이동 경로 생성부; 및
    상기 이동 경로로 차량을 이동 시키는 조향휠 제어부;
    를 더 포함하는 주차 지원 장치.
  3. 제1항에 있어서,
    주차장에 주차된 자동차 및 장애물을 탐지하는 초음파 센서부; 및
    상기 주차된 자동차 및 주차장 시설에 설치된 v2x 장치와 통신하여 상기 주차된 자동차의 위치 및 차량 정보를 수신하고, 주차장 시설에 관한 정보를 수신하는 v2x 센서부
    를 더 포함하고,
    상기 초음파 센서부가 인식한 자동차 및 장애물 정보와 상기 v2x 센서부가 인식한 자동차 및 주차장 시설 정보를 이용하여, 상기 주차 대상 영역을 결정하는 것을 특징으로 하는
    주차 지원 장치.
  4. 제2항에 있어서,
    주차장에 주차된 자동차 및 장애물을 탐지하는 초음파 센서부; 및
    상기 자동차 및 주차장 시설에 설치된 v2x 장치와 통신하여 상기 자동차의 위치 및 차량 정보를 수신하고, 주차장 시설에 관한 정보를 수신하는 v2x 센서부
    를 더 포함하고,
    상기 초음파 센서부가 인식한 자동차 및 장애물 정보와 상기 v2x 센서부가 인식한 자동차 및 주차장 시설 정보를 고려하여 상기 이동 경로 생성하는 것을 특징으로 하는
    주차 지원 장치.
  5. 제1항에 있어서,
    상기 주차 구획선 산출부는
    상기 탑뷰 이미지로부터 차량 주행방향으로 탑햇 필터를 이용하여 복수의 특징점을 탐색하고, 상기 특징점 중 하나의 근방 양쪽의 경계점을 찾고, 상기 경계점을 기준을 360도 회전하며, 상기 각 특징점 당 2개의 경계선을 추출하고,
    상기 추출한 2개의 경계선의 기울기의 차이가 일정 범위 이내인 주차 구획선 제1후보를 추출하고,
    상기 주차 구획선 제1후보들의 선의 두께, 인접한 선간의 거리, 선의 기울기의 정보를 토대로 주차 구획선 제2후보를 검출하고,
    상기 주차 구획선 제2후보의 정보가 주차장에 관한 법규를 만족하는 단일 영상 주차 구획선을 산출하고,
    연속 영상으로부터 반복하여 주차 구획선을 산출하여 갱신하는 것을 특징으로 하는
    주차 지원 장치.
  6. 제2항에 있어서,
    상기 이동 경로는 전방 이동 경로와 후방 이동 경로를 포함하되,
    상기 전방 이동 경로는 상기 거리 및 상기 편향각을 이용하여 가상 주차 기준선과의 거리를 일정하게 유지하고, 주차된 차량 등의 장애물과의 거리를 일정하게 유지하고, 차량 주행 방향이 가상 주차 기준선의 방향과 평행하게 유지되도록 생성하고,
    상기 후방 이동 경로는 최종 주차 상태가 인식된 주차 대상 영역의 중심선과 차량의 종렬축이 일치하도록 생성되고,
    상기 주향휠 제어부는 상기 생성한 전방 이동 경로와 후방 이동 경로에 따라 주향휠을 제어하는 것을 특징으로 하는
    주차 지원 장치.
  7. 제1항에 있어서,
    장애인 주차 구획 표시를 검출하는 장애인 주차 구획 검출부를 더 포함하고,
    상기 장애인 주차 구획 검출부는
    운전자가 장애인 운전 차량으로 설정하지 않은 경우 주차 불가 영역으로 판단하고,
    운전자가 장애인 운전 차량으로 설정한 경우 주차 대상 영역이 법규에 따른 장애인 주차 구역의 조건을 만족하는 경우 주차하고, 그렇지 않으면 주차 불가 영역으로 판단하는 것을 특징으로 하는
    주차 지원 장치.
  8. 제1항에 있어서,
    상기 카메라로부터 획득한 영상 중 차량의 외면 및 주변의 밝기를 분석하여 외부 조도를 측정하고,
    상기 측정한 외부 조도에 따라 경계점 검출에 따른 민감도를 조정하여, 엣지영상을 생성하는 것을 특징으로 하는
    주차 지원 장치.
  9. 하나 이상의 카메라를 이용하여 촬영된 영상을 획득하는 단계;
    상기 획득한 영상을 평면도 형태로 합성하여 탑뷰 이미지를 생성하는 단계;
    상기 탑뷰 이미지를 엣지영상으로 변환하는 단계;
    차량 진행방향으로 노면의 스캔하여 밝은색 계통의 특징점을 검출하고, 상기 검출된 특징점 주변의 경계점으로부터 경계선을 인식하고, 상기 경계선으로부터 주차 구획선을 산출하는 단계;
    상기 검출된 주차 구획선으로 부터 주차 구획 교차점을 산출하고, 상기 주차구획 교차점을 연결하여 가상 주차 기준선을 생성하는 단계; 및
    상기 주차 구획선과 상기 가상 주차 기준선으로부터 주차 대상 영역을 결정하는 단계
    를 포함하는 주차 지원 방법.
  10. 제9항에 있어서,
    가상 주차 기준선과 차량 사이의 거리를 일정하게 유지하고, 차량 주행 방향이 가상 주차 기준선의 방향과 평행하도록 하고, 주차 대상 영역 근방의 장애물과의 거리를 일정하게 유지하도록 전진 이동 경로를 설정하는 단계;
    전방으로 이동한 후에 상기 결정된 주차 대상 영역에 주행 차량을 후진 주차하기 위하여 후진 이동 경로를 설정하는 단계;
    상기 전진 이동 경로와 후진 이동 경로에 따라 이동할 수 있도록 주향휠을 제어하는 단계를
    더 포함하는 주차 지원 방법.
  11. 제9항에 있어서,
    상기 주차 구획선을 산출하는 단계는
    (a) 상기 경계선으로부터 한 쌍의 경계선간의 간격, 경계선의 방향의 일치여부를 토대로 주차 구획선 제1후보를 추출하는 단계;
    (b) 인접한 주차 구획선 제1후보들간의 간격과, 주차 구획선 제1후보들의 방향이 일정 범위이내의 값을 가지는 경우, 주차 구획선 제2후보로 추출하는 단계; 및
    (c) 상기 주차 구획선 제2후보들 중 선의 두께, 선의 방향, 선간의 간격이 법규를 만족하는 경우 주차 구획선으로 산출하는 단계
    를 포함하는 것을 특징으로 하는 주차 지원 방법.
  12. 제9항에 있어서,
    상기 탑뷰 이미지를 생성하는 단계는 유한 시간 간격으로 차량의 위치 이동에 따라 복수의 탑뷰 이미지를 생성하는 것을 특징으로 하고,
    상기 주차 구획을 산출하는 단계는
    상기의 탑뷰 이미지로부터 산출된 주차 구획선과 산출 당시 차량의 위치 및 이동 속도를 고려하여 다음기 주차 구획선을 예측하고,
    다음기의 연속된 탑뷰 이미지로부터 산출된 주차 구획선과 전기에서 예측된 주차 구획선을 비교하여 예측 파라미터를 수정하는 방법으로 주차 구획선을 갱신하고,
    각 시기별로 주차 구획선의 산출결과와 예측결과를 저장하는 것
    을 특징으로 하는 주차 지원 방법.

KR1020160054022A 2016-05-02 2016-05-02 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법 KR102485480B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160054022A KR102485480B1 (ko) 2016-05-02 2016-05-02 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160054022A KR102485480B1 (ko) 2016-05-02 2016-05-02 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170124299A true KR20170124299A (ko) 2017-11-10
KR102485480B1 KR102485480B1 (ko) 2023-01-05

Family

ID=60386624

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160054022A KR102485480B1 (ko) 2016-05-02 2016-05-02 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102485480B1 (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109632332A (zh) * 2018-12-12 2019-04-16 清华大学苏州汽车研究院（吴江） 一种自动泊车仿真测试系统及测试方法
EP3576010A1 (en) * 2018-05-31 2019-12-04 KPIT Technologies Ltd. System and method for detection of free parking space for a vehicle
KR20200068045A (ko) 2018-11-26 2020-06-15 (주)캠시스 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법
KR20200071842A (ko) 2018-12-04 2020-06-22 (주)캠시스 어라운드 뷰 모니터링 시스템 및 가용 주차 공간 검출 방법
JP2020152348A (ja) * 2019-03-22 2020-09-24 株式会社Ｊｖｃケンウッド 駐車支援制御装置、駐車支援装置、駐車支援方法およびプログラム
WO2020194848A1 (ja) * 2019-03-22 2020-10-01 株式会社Ｊｖｃケンウッド 駐車支援制御装置、駐車支援装置、駐車支援方法およびプログラム
CN111824129A (zh) * 2019-04-22 2020-10-27 歌乐株式会社 图像处理装置及图像处理方法
KR102178120B1 (ko) * 2020-03-26 2020-11-12 이용석 도로 및 유휴지를 활용한 탄력적 주차관리 시스템
CN112016381A (zh) * 2019-05-30 2020-12-01 歌乐株式会社 图像处理装置以及图像处理方法
EP3725626A4 (en) * 2017-12-15 2021-08-18 NIO (Anhui) Holding Co., Ltd. AUTOMATIC PARKING AND DEVICE, INTELLIGENT VEHICLE AND COMPUTER STORAGE MEDIUM
CN113525337A (zh) * 2020-03-31 2021-10-22 本田技研工业株式会社 驻车位辨识系统及包括该驻车位辨识系统的驻车辅助系统
CN115909795A (zh) * 2023-03-09 2023-04-04 斯润天朗（北京）科技有限公司 基于车场协同的自主泊车系统及方法
KR102626499B1 (ko) * 2023-05-27 2024-01-18 임철수 주차지원시스템이 형성된 자동차 및 그 작동방법
CN117818587A (zh) * 2024-03-06 2024-04-05 毫末智行科技有限公司 车辆控制方法、装置、计算机可读存储介质和电子设备
CN113525337B (en) * 2020-03-31 2024-05-03 本田技研工业株式会社 Parking space identification system and parking auxiliary system comprising same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001229498A (ja) * 2000-02-17 2001-08-24 Mitsubishi Electric Corp 駐車場案内システム
JP2008291791A (ja) * 2007-05-25 2008-12-04 Toyota Motor Corp 駐車支援装置
JP2009205191A (ja) * 2008-02-26 2009-09-10 Hitachi Ltd 駐車スペース認識装置
JP2012025378A (ja) * 2010-06-25 2012-02-09 Nissan Motor Co Ltd 車両駐車支援制御装置及び車両駐車支援制御方法
KR101566912B1 (ko) * 2014-08-04 2015-11-13 현대모비스 주식회사 Avm 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001229498A (ja) * 2000-02-17 2001-08-24 Mitsubishi Electric Corp 駐車場案内システム
JP2008291791A (ja) * 2007-05-25 2008-12-04 Toyota Motor Corp 駐車支援装置
JP2009205191A (ja) * 2008-02-26 2009-09-10 Hitachi Ltd 駐車スペース認識装置
JP2012025378A (ja) * 2010-06-25 2012-02-09 Nissan Motor Co Ltd 車両駐車支援制御装置及び車両駐車支援制御方法
KR101566912B1 (ko) * 2014-08-04 2015-11-13 현대모비스 주식회사 Avm 장치 및 방법

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3725626A4 (en) * 2017-12-15 2021-08-18 NIO (Anhui) Holding Co., Ltd. AUTOMATIC PARKING AND DEVICE, INTELLIGENT VEHICLE AND COMPUTER STORAGE MEDIUM
EP3576010A1 (en) * 2018-05-31 2019-12-04 KPIT Technologies Ltd. System and method for detection of free parking space for a vehicle
KR20200068045A (ko) 2018-11-26 2020-06-15 (주)캠시스 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법
KR20200071842A (ko) 2018-12-04 2020-06-22 (주)캠시스 어라운드 뷰 모니터링 시스템 및 가용 주차 공간 검출 방법
CN109632332A (zh) * 2018-12-12 2019-04-16 清华大学苏州汽车研究院（吴江） 一种自动泊车仿真测试系统及测试方法
CN109632332B (zh) * 2018-12-12 2023-11-07 清华大学苏州汽车研究院（吴江） 一种自动泊车仿真测试系统及测试方法
JP2020152348A (ja) * 2019-03-22 2020-09-24 株式会社Ｊｖｃケンウッド 駐車支援制御装置、駐車支援装置、駐車支援方法およびプログラム
WO2020194848A1 (ja) * 2019-03-22 2020-10-01 株式会社Ｊｖｃケンウッド 駐車支援制御装置、駐車支援装置、駐車支援方法およびプログラム
CN111824129A (zh) * 2019-04-22 2020-10-27 歌乐株式会社 图像处理装置及图像处理方法
CN111824129B (zh) * 2019-04-22 2024-04-05 歌乐株式会社 图像处理装置及图像处理方法
CN112016381A (zh) * 2019-05-30 2020-12-01 歌乐株式会社 图像处理装置以及图像处理方法
CN112016381B (zh) * 2019-05-30 2024-04-02 歌乐株式会社 图像处理装置以及图像处理方法
KR102178120B1 (ko) * 2020-03-26 2020-11-12 이용석 도로 및 유휴지를 활용한 탄력적 주차관리 시스템
CN113525337A (zh) * 2020-03-31 2021-10-22 本田技研工业株式会社 驻车位辨识系统及包括该驻车位辨识系统的驻车辅助系统
US11842548B2 (en) 2020-03-31 2023-12-12 Honda Motor Co., Ltd. Parking space recognition system and parking assist system including the same
CN113525337B (en) * 2020-03-31 2024-05-03 本田技研工业株式会社 Parking space identification system and parking auxiliary system comprising same
CN115909795A (zh) * 2023-03-09 2023-04-04 斯润天朗（北京）科技有限公司 基于车场协同的自主泊车系统及方法
KR102626499B1 (ko) * 2023-05-27 2024-01-18 임철수 주차지원시스템이 형성된 자동차 및 그 작동방법
CN117818587A (zh) * 2024-03-06 2024-04-05 毫末智行科技有限公司 车辆控制方法、装置、计算机可读存储介质和电子设备

Also Published As

Publication number Publication date
KR102485480B1 (ko) 2023-01-05

Similar Documents

Publication Publication Date Title
KR20170124299A (ko) 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법
US10753758B2 (en) Top-down refinement in lane marking navigation
KR102614323B1 (ko) 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성
CN110171405B (zh) 基于检测对象制动车辆的系统和方法
Jung et al. A lane departure warning system using lateral offset with uncalibrated camera
Hautière et al. Real-time disparity contrast combination for onboard estimation of the visibility distance
US9652980B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
RU2668459C1 (ru) Устройство оценки положения и способ оценки положения
US20190251374A1 (en) Travel assistance device and computer program
US9123242B2 (en) Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN103770704A (zh) 用于识别车辆的停车位标志线的系统和方法
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
US20090052742A1 (en) Image processing apparatus and method thereof
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP4937844B2 (ja) 歩行者検出装置
US20200200545A1 (en) Method and System for Determining Landmarks in an Environment of a Vehicle
JP2018048949A (ja) 物体識別装置
KR20190059894A (ko) 카메라 영상에서 대상의 감지
CN113673403B (zh) 行驶环境检测方法、系统、装置、计算机设备、计算机可读存储介质及汽车
JP2010176592A (ja) 車両用運転支援装置
JP2002008019A (ja) 軌道認識装置及び軌道認識装置を用いた鉄道車両
KR102380599B1 (ko) 교통 정보 분석 시스템 및 그에 관한 방법
KR20070070671A (ko) 광흐름을 이용한 속도 측정 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant