KR102174423B1 - 자동 주차 기능을 위한 주차선 이탈 감지 방법 및 장치 - Google Patents

자동 주차 기능을 위한 주차선 이탈 감지 방법 및 장치 Download PDF

Info

Publication number
KR102174423B1
KR102174423B1 KR1020180152545A KR20180152545A KR102174423B1 KR 102174423 B1 KR102174423 B1 KR 102174423B1 KR 1020180152545 A KR1020180152545 A KR 1020180152545A KR 20180152545 A KR20180152545 A KR 20180152545A KR 102174423 B1 KR102174423 B1 KR 102174423B1
Authority
KR
South Korea
Prior art keywords
parking
vehicle
parking line
image information
avm
Prior art date
Application number
KR1020180152545A
Other languages
English (en)
Other versions
KR20200072590A (ko
Inventor
기석철
이동규
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020180152545A priority Critical patent/KR102174423B1/ko
Publication of KR20200072590A publication Critical patent/KR20200072590A/ko
Application granted granted Critical
Publication of KR102174423B1 publication Critical patent/KR102174423B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G06K9/00812—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

자동 주차 기능을 위한 주차선 이탈 감지 방법 및 장치를 개시한다.
복수 개의 카메라를 이용하여 수집한 촬영영상에 대해 영상 전처리 기법 중 하나인 패딩(Padding)을 수행하여 가공영상 정보를 획득하고, 기 학습된 주차인식 모델에 가공영상 정보를 대입하여 차량과 주차선의 교차영역을 탐지하며, 탐지결과에 따라 사용자에게 경고알람 데이터를 전송하는 주차선 이탈 감지 방법 및 장치를 제공한다.

Description

자동 주차 기능을 위한 주차선 이탈 감지 방법 및 장치{Method And Apparatus for Detection of Parking Loss for Automatic Parking}
본 실시예는 자동 주차 기능을 위한 주차선 이탈 감지 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
전 세계적으로 수많은 차량들이 보급되면서 차량의 자동주차에 관한 수요가 지속적으로 발생하고 있다. 이에 따라 ADAS(Advanced Driving Assistance System) 중 하나인 AVM(Around View Monitoring)에 대한 관심은 꾸준히 높아져 왔다. 한편, 대부분의 운전자에게 있어서 자동차의 주차는 가장 큰 어려움으로써 손꼽히고 있다. 이러한 주차 문제에 도움을 제공하기 위하여 주차 지원 시스템이 개발된 바 있으며, 이미 여러 가지 형태로 제품에 적용되어 판매되고 있다.
기존의 AVM은 4개의 광각 카메라를 하나의 탑뷰(Top View)영상으로 융합하여 차량 내부의 모니터로 출력하지만, 사용자가 모니터와 주변 주차상황을 동시에 살펴야 한다는 점에서 혼잡한 주차 환경에서의 빠른 주차를 진행하기 힘들다는 문제가 있다.
또한, 차량에 별도로 구비된 카메라를 이용하여 자율주차 시스템을 구성함에 있어 안전한 자동주차 기능을 구현하기 위해 주차 상황에 대한 실시간 인지를 경고로 출력해주는 시스템을 필요로 한다.
본 실시예는, 복수 개의 카메라를 이용하여 수집한 촬영영상에 대해 영상 전처리 기법 중 하나인 패딩(Padding)을 수행하여 가공영상 정보를 획득하고, 기 학습된 주차인식 모델에 가공영상 정보를 대입하여 차량과 주차선의 교차영역을 탐지하며, 탐지결과에 따라 사용자에게 경고알람 데이터를 전송하는 주차선 이탈 감지 방법 및 장치를 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 차량에 구비된 적어도 하나 이상의 카메라로부터 수집한 촬영영상을 기반으로 AVM(Around View Monitoring, AVM) 영상정보를 획득하는 영상획득부; 상기 AVM 영상정보에 대하여 영상 전처리 기법을 수행하여 가공영상 정보를 생성하는 데이터 전처리부; 이미지 데이터베이스를 기반으로 주차인식 모델을 학습하는 모델학습부; 상기 가공영상 정보를 상기 주차인식 모델에 대입하여 출력한 출력결과 정보를 기반으로 상기 차량의 주차선 침범 여부를 판단하는 주차선 침범 판단부; 및 상기 주차선 침범 여부에 따라 사용자에게 경고알람 데이터를 전송하는 경고알람 전송부를 포함하는 것을 특징으로 하는 주차선 이탈 감지 장치를 제공한다.
본 실시예의 다른 측면에 의하면, 차량에 구비된 적어도 하나 이상의 카메라로부터 수집한 촬영영상을 기반으로 AVM(Around View Monitoring, AVM) 영상정보를 획득하는 영상획득 과정; 상기 AVM 영상정보에 대하여 영상 전처리 기법을 수행하여 가공영상 정보를 생성하는 데이터 전처리 과정; 이미지 데이터베이스를 기반으로 주차인식 모델을 학습하는 모델학습 과정; 상기 가공영상 정보를 상기 주차인식 모델에 대입하여 출력한 출력결과 정보를 기반으로 상기 차량의 주차선 침범 여부를 판단하는 주차선 침범 판단과정; 및 상기 주차선 침범 여부에 따라 사용자에게 경고알람 데이터를 전송하는 경고알람 전송과정을 포함하는 것을 특징으로 하는 주차선 이탈 감지 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 복수 개의 카메라를 이용하여 수집한 촬영영상에 대해 영상 전처리 기법을 수행한 결과 가공영상 정보를 획득하고, 기 학습된 주차인식 모델에 가공영상 정보를 대입하여 차량과 주차선의 교차영역을 탐지하며, 탐지결과에 따라 사용자에게 경고알람 데이터를 전송하는 주차선 이탈 감지 방법 및 장치를 제공하는 효과가 있다.
또한 본 실시예에 의하면, 사용자는 경고알람 데이터를 기반으로 차량의 주차진행 상황에 대한 인지를 할 수 있으므로, 사용자가 처리해야 하는 상황의 복잡도를 간소화하는 효과가 있다.
또한 본 실시예에 의하면, 차량의 현재 주차진행 상황에 대한 정보를 기반으로 카메라 기반의 자동주차 시스템(Autonomous Valet Parking System)을 구현할 수 있는 효과가 있다.
도 1의 (a) 및 (b)는 AVM을 이용한 어라운드 뷰 시스템 및 자동주차 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 실시예에 따른 주차선 이탈 감지 장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 주차선 이탈 감지 장치에서 수행하는 데이터 전처리 기법인 패딩 기법을 설명하기 위한 도면이다.
도 4는 본 실시예에 따른 주차선 이탈 감지 장치가 주차선과 차량영역의 교차 여부를 판단하는 방법을 설명하기 위한 예시도이다.
도 5는 본 실시예에 따른 주차선 이탈 감지 장치가 감지할 수 있는 주차 상황을 설명하기 위한 예시도이다.
도 6은 본 실시예에 따른 주차선 이탈 감지 방법을 설명하기 위한 순서도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 본 실시예에서 '포함'이라는 용어는 명세서 상에 기재된 구성요소, 특징, 단계 또는 이들을 조합한 것이 존재한다는 것이지, 하나 또는 복수 개의 구성요소나 다른 특징, 단계 또는 이들을 조합한 것의 존재 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
도 1의 (a) 및 (b)는 AVM을 이용한 어라운드 뷰 시스템 및 자동주차 시스템을 개략적으로 나타낸 도면이다.
도 1의 (a)는 AVM을 이용한 어라운드 뷰 시스템을 나타낸 도면이다. 어라운드 뷰 시스템(Around View System)은 차량 주변을 촬영하는 카메라를 복수 개 설치하고, 복수 개의 카메라를 이용하여 촬영된 차량 주변의 전방향 영상을 운전자에게 제공함으로써 운전자의 주차를 지원하도록 이루어진다. 하지만, 어라운드 뷰 시스템은 모니터를 통해 제공되는 전방향 영상이 차량 주변의 좁은 영역만을 제공함에 따라 자동 주차 지원기능을 제공하는데 있어서는 어려움이 존재한다.
도 1의 (b)는 AVM을 이용한 자동주차 시스템을 나타낸 도면이다. 도 1의 (b)를 참조하면, 자동주차 시스템은 차량에 구비된 카메라를 기반으로 촬영된 촬영영상을 이용하여 주변의 장애물을 탐지하고, 이에 따라 자동주차 기능을 수행한다. 이러한 자동주차 시스템 관련 기술이 개선 및 진보됨에 따라, 차량의 주차선 이탈 여부를 판단하여 자동주차 기능을 보조할 수 있는 바, 도 2에서 본 실시예에 따른 주차선 이탈 감지 장치(200)에 대해 자세하게 후술토록 한다.
도 2는 본 실시예에 따른 주차선 이탈 감지 장치를 개략적으로 나타낸 블록 구성도이다.
도 2를 참조하면, 본 실시예에 따른 주차선 이탈 감지 장치(200)는 영상획득부(210), 데이터 전처리부(220), 학습 데이터베이스(222), 모델학습부(230), 주차선 침범 판단부(240) 및 경고알람 전송부(250)를 포함한다. 주차선 이탈 감지 장치(200)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
영상획득부(210)는 차량에 구비된 적어도 하나 이상의 카메라로부터 수집한 촬영 영상을 기반으로 AVM 영상정보를 생성한다. 여기서 AVM 영상정보는 복수의 카메라로부터 수집한 촬영영상을 탑뷰(Top View), 즉 버즈아이뷰(Bird's Eye View)로 변환 및 합성한 영상정보를 의미한다. AVM 영상정보는 일반적으로 탑재된 차량을 기준으로 전방, 후방, 좌측방 및 우측방에 대해 동일한 거리를 촬영한 영상을 기반으로 생성되므로, 차량이 완벽한 정사각형이 아니라면 AVM 영상정보는 직사각형의 영상정보를 갖는다.
한편, 본 실시예에 따른 주차선 이탈 감지 장치(200)는 AVM 영상정보를 이용한 자동주차 시스템을 지원할 수 있다. 이를 위해, 주차선 이탈 감지 장치(200)가 구현되는 차량에는 AVM 자동주차 시스템이 탑재될 수 있으며, 주차선 이탈 감지 장치(200)는 AVM 자동주차 시스템과 연동하여 AVM 영상정보를 생성하는데 있어서 필요한 촬영영상을 수집한다. AVM 자동주차 시스템은 복수 개의 카메라(미도시)를 포함하며, 영상획득부(210)는 복수 개의 카메라를 이용하여 촬영된 차량의 전방, 후방, 좌측방 및 우측방에 대한 촬영영상을 수집한다.
다른 실시예에서 주차선 이탈 감지 장치(200)는 차량 내 탑재된 AVM 자동주차 시스템으로부터 직접 AVM 영상정보를 제공받는 형태로 구현될 수도 있다. 이 경우, 영상획득부(210)는 AVM 카메라 시스템으로부터 제공받은 AVM 영상을 산출부(320)로 전달하는 역할을 수행한다.
데이터 전처리부(220)는 영상획득부(210)에서 생성한 AVM 영상정보에 대하여 영상 전처리 기법을 수행하여 가공영상 정보를 생성한다. 보다 상세하게는, 데이터 전처리부(220)는 전술한 바와 같이 직사각형의 출력영상인 AVM 영상정보의 특성상 정방형 영상정보를 획득하기 위한 데이터 전처리를 수행하고, 이에 따른 결과로 가공영상 정보를 생성한다. 이하 본 실시예에서는 데이터 전처리부(220)가 수행하는 영상 데이터 전처리 기법으로 패딩(Padding) 기법을 이용하는 것이 바람직하나, 반드시 이에 한정되는 것은 아니다. 패딩 기법에 대해서는 도 3의 (a) 및 (b)와 관련하여 후술한다.
데이터 전처리부(220)는 AVM 영상정보 상에서 차량이 차지하는 영역에 해당하는 차량영역을 특정한다. 차량영역은 해당 차량의 형상에 따라 다를 수 있으나, 일반적으로 직사각형의 영역으로 특정된다.
데이터 전처리부(220)는 차량영역을 적어도 두 개 이상의 영역으로 분할한다. 본 실시예에서는 차량영역이 9개의 영역으로 분할되는 것으로 예시하여 설명하나 반드시 이에 한정되는 것은 아니다. 차량영역의 분할은 차량영역과 주차선이 교차하는 부분을 특정하여 보다 정확한 교차영역을 확인하고자 수행되는 것이므로, 분할영역의 수는 차량영역의 크기, 사용자의 설정값 등에 의해 자유롭게 설정될 수 있다.
데이터 전처리부(220)는 영상획득부(210)로부터 제공되는 AVM 영상정보를 기반으로 차량영역 중 분할영역과 주차선이 교차하는 교차점을 산출한다. 이하, 본 실시예에서는 데이터 전처리부(220)가 AVM 영상정보 내에서 교차점을 산출하는 것으로 예시하여 설명하나 반드시 이에 한정되는 것은 아니다. 예컨대, 교차점은 데이터 전처리부(220)에서 산출되는 않고, 별도의 교차점 산출부(미도시)에서 산출될 수도 있다.
학습 데이터베이스(222)는 차량의 주차와 관련된 이미지로, 패딩 기법 및 교차점이 산출된 정방형의 이미지를 포함한다. 보다 상세하게는, 학습 데이터베이스(222)는 주차선과 분할영역 간 교차 여부, 즉 교차점이 존재하는지 여부에 대해 라벨링(Labeling)된 이미지를 포함한다.
모델학습부(230)는 학습 데이터베이스(222)를 기반으로 주차인식 모델을 학습한다. 보다 상세하게는, 모델학습부(230)는 학습 데이터베이스(222)로부터 주차와 관련된 이미지를 수집하고, 이를 기반으로 주차인식 모델을 학습하여 입력영상 정보 또는 이미지에 대한 출력값을 산출한다.
모델학습부(230)는 라벨링된 이미지를 기반으로 출력값을 산출하여 출력된 출력결과 정보를 주차선 침범 판단부(240)로 전송한다. 모델학습부(230)는 주차인식 모델로서, VGG-16 모델을 사용하는 것이 바람직하나, 반드시 이에 한정되는 것은 아니다. 여기서 VGG-16 모델은 정방형 영상정보를 입력값으로 사용하는 학습모델로, 차량영역 전체의 출력값을 1로 본다. 즉, VGG-16 모델은 차량영역 중 각각의 분할영역에서 출력되는 출력값의 총 합이 1이 된다.
한편, 주차인식 모델을 학습하는 방법은 CNN(Convolution Neural Network, CNN)을 기반으로 하는 딥-러닝(Deep-Learning) 기법을 이용하여 주차인식 모델을 학습하나, 반드시 이에 한정되는 것은 아니고, 주차인식 모델을 학습하기 위한 다른 방법도 포함될 수 있다.
모델학습부(230)는 차량과 주차선이 교차하는 교차영역과 교차하지 않는 비교차영역의 출력결과 정보를 정의하여 주차인식 모델을 학습한다. 예컨대, 분할영역 중 차량과 교차하는 교차영역의 출력값은 0이고, 비교차영역의 출력값은 1/k(k: 비교차영역)로 설정할 수 있다. 이는 분할영역의 총 합이 1이 되어야 하는 VGG-16 학습모델의 특성에 따른 임계값이므로, VGG-16 학습모델이 아닌 다른 모델을 이용하는 경우에는 다르게 설정될 수 있다.
모델학습부(230)는 차량영역 전부가 주차선과 교차하지 않는 경우 비교차영역의 최소값을 설정하여 주차인식 모델을 학습한다. 예컨대, 모델학습부(230)는 차량영역을 9개의 분할영역으로 나누고 차량영역 전부 비교차영역인 경우, 각각의 분할영역은 1/9(약 0.11)의 출력값을 갖고, 모델학습부(230)는 해당 출력값을 최소 임계값으로 설정한다.
주차선 침범 판단부(240)는 AVM 영상정보를 학습된 주차인식 모델에 대입하여 출력된 출력값을 기반으로 주차선과 각각의 분할영역의 교차 여부를 판단한다. 즉, 주차선 침범 판단부(240)는 비교차영역의 개수의 역수를 기반으로 교차판단 임계값을 설정한다.
예컨대, 주차선 침범 판단부(240)는 차량영역을 분할한 분할영역이 총 9개이고, 9개의 분할영역 중 교차영역이 4개, 비교차영역이 5개인 영상에 대해서 비교차영역의 역수인 1/5, 즉 0.2의 출력값을 갖는다. 주차선 침범 판단부(240)는 출력값의 1/2에 해당하는 값, 즉 0.2의 1/2인 0.1을 교차판단 임계값으로 설정한다. 여기서, 교차판단 임계값은 실험적인 결과에 의해 출력값의 1/2로 설정하였으나, 반드시 이러한 것은 아니고 다르게 설정할 수도 있다. 주차선 침범 판단부(240)에서 교차영역의 판단방법은 도 4와 관련하여 후술한다.
주차선 침범 판단부(240)는 도 2에서 모델학습부(230)와 구분되는 것처럼 도시되어 있으나, 반드시 이에 한정되는 것은 아니고, 모델학습부(230)와 분리되지 않고 하나로 구현될 수 있다.
경고알람 전송부(250)는 주차선 침범 판단부(240)에서 주차선을 침범한 것으로 판단한 경우, 사용자에게 경고알람을 전송한다. 경고알람은 SMS, 음성, 경고음 등 다양한 형태로 사용자에게 제공될 수 있다.
경고알람 전송부(250)는 분할영역 중 교차영역과 비교차영역을 구분하기 위한 표식을 포함할 수 있다. 예컨대, 경고알람 전송부(250)는 교차영역 및 비교차영역을 표시하는 색상을 다르게 하여 사용자가 경고알람 데이터를 수신하는 경우 교차영역과 비교차영역을 구분하기 용이하도록 사용자에게 제공한다.
도 3은 본 실시예에 따른 주차선 이탈 감지 장치에서 수행하는 데이터 전처리 기법인 패딩 기법을 설명하기 위한 도면이다.
도 3을 참조하면, 본 실시예에 따른 주차선 이탈 감지 장치(200)는 패딩 기법을 이용하여 AVM 영상정보를 가공하여 가공영상 정보를 생성한다. AVM 영상정보는 일반적으로 가로와 세로의 길이가 다르므로, 주차선 이탈 감지 장치(200)는 AVM 영상정보에 대해 패딩 기법을 이용하여 직사각형의 영상정보를 정방형으로 변환한다.
도 3의 (a)를 참조하면, 주차선 이탈 감지 장치(200)는 직사각형 형태의 AVM 영상정보를 획득한다. 주차선 이탈 감지 장치(200)는 차량에 구비된 복수 개의 카메라를 이용하여 차량 주변의 상황에 대한 영상을 수집한다. 일반적으로 AVM 시스템은 차량의 전방, 후방, 좌측방 및 우측방에 대해 동일한 거리만큼 촬영한 영상을 출력한다. 따라서, 주차선 이탈 감지 장치(200)는 차량이 일반적으로 가로가 짧고, 세로가 긴 직사각형의 특성을 가지므로, 직사각형의 AVM 영상정보를 획득한다.
도 3의 (b)를 참조하면, 주차선 이탈 감지 장치(200)는 도 3의 (a)의 AVM 영상정보를 가공한 가공영상 정보를 획득한다. 보다 상세하게는, 주차선 이탈 감지 장치(200)는 AVM 영상정보의 양 측면에 0값을 가지는 패딩 영역을 부여하여 정방형이 되도록 AVM 영상정보를 가공한다. 따라서, AVM 영상정보는 패딩 기법에 의해 정방형의 영상정보인 가공영상 정보로 변환된다.
주차선 이탈 감지 장치(200)는 본 실시예에서 패딩 기법에 의해 정방형으로 AVM 영상정보를 가공하는 것으로 도시되어 있으나, 반드시 이에 한정되는 것은 아니고, 좌측방 및 우측방을 늘여 보간하는 방식을 이용할 수도 있다.
도 4는 본 실시예에 따른 주차선 이탈 감지 장치가 주차선과 차량영역의 교차 여부를 판단하는 방법을 설명하기 위한 예시도이다.
도 4를 참조하면, 주차선과 차량영역이 교차하는 교차영역은 4개, 비교차영역은 5개이다. 분할영역은 주차선과 교차하지 않는 경우 최소 임계값으로 1/9(약 0.11)을 갖는다. 즉, 분할영역이 가질 수 있는 가장 작은 출력값이 1/9이다(도 2의 모델학습부(230) 참조).
주차선 이탈 감지 장치(200)는 주차영역과 비교차영역을 판단하기 위한 교차판단 임계값을 갖는다. 여기서 교차판단 임계값은 비교차영역의 개수의 역수를 기반으로 설정된다. 예컨대, 도 4에서 비교차영역은 5개이므로, 비교차영역의 개수의 역수는 1/5이 된다. 교차판단 임계값은 산출된 역수값의 1/2인 1/10로 설정한다. 교차판단 임계값은 실험적인 결과에 의해 설정된 값으로, 사용자에 의해 다르게 설정될 수도 있다.
주차선 이탈 감지 장치(200)는 교차판단 임계값을 기준으로 하여 교차영역과 비교차영역을 판단한다. 4개의 교차영역의 출력값은 대략 0에 근접한 값이고, 5개의 비교차영역의 출력값은 대략 0.2의 값을 갖는다. 따라서, 주차선 이탈 감지 장치(200)는 교차판단 임계값인 0.1을 기준으로 0.1보다 큰 값을 갖는 영역은 비교차영역으로, 작은 값을 갖는 영역은 교차영역으로 판단한다.
도 5는 본 실시예에 따른 주차선 이탈 감지 장치가 감지할 수 있는 주차 상황을 설명하기 위한 예시도이다.
도 5를 참조하면, 본 실시예에 따른 주차선 이탈 감지 장치(200)는 차량의 주차 완료 시 주차선 및 차량의 현재 위치에 기반하여 차량의 주차 상태를 확인할 수 있다. 도 5에서 첫 번째 상황은 정상적인 주차의 경우를, 나머지 상황은 비정상적인 주차의 경우를 나타낸다. 첫 번째 상황을 제외한 나머지 상황의 경우, 주차선 이탈 감지 장치(200)는 사용자에게 경고알람 데이터를 전송할 수 있다.
주차선 이탈 감지 장치(200)는 주차선과 차량이 교차하는 경우를 판단하여 차량의 주차 상태를 확인 가능하도록 동작함으로써 운전자로 하여금 그 결과에 대한 신뢰성을 보장하는 효과가 있다.
도 6은 본 실시예에 따른 주차선 이탈 감지 방법을 설명하기 위한 순서도이다.
주차선 이탈 감지 장치(200)는 복수 개의 카메라를 이용하여 차량의 주변부를 촬영한다(S602). 주차선 이탈 감지 장치(200)는 촬영영상을 기반으로 AVM 영상정보를 획득한다(S604). AVM 영상정보는 복수 개의 촬영영상을 하나의 탑뷰영상으로 합성한 것을 의미한다.
주차선 이탈 감지 장치(200)는 AVM 영상정보의 좌우 측면에 대해 패딩 영역을 부여한다(S606). 주차선 이탈 감지 장치(200)는 정방형 영상정보를 획득하기 위해 패딩 영역을 부여하는 것이므로, 패딩 기법에 한정되는 것이 아니라 정방형 영상정보를 획득하기 위한 다른 방법, 예컨대 보간법 등을 이용하는 것도 가능하다.
주차선 이탈 감지 장치(200)는 AVM 영상정보에서 차량이 차지하는 영역인 차량영역을 특정한다(S608). 또한, 주차선 이탈 감지 장치(200)는 차량영역을 적어도 두 개 이상의 영역으로 분할하여 분할영역을 생성하여 가공영상 정보를 생성한다(S610).
주차선 이탈 감지 장치(200)는 가공영상 정보를 기 학습된 주차인식 모델에 대입한다(S612). 주차선 이탈 감지 장치(200)는 주차인식 모델에서 출력된 출력결과 정보를 기반으로 차량과 주차선이 교차하는 영역인 교차영역을 특정한다(S614).
주차선 이탈 감지 장치(200)는 교차영역이 존재하는 것으로 판단되는 경우, 분할영역 중 주차선과 교차되는 영역과 교차되지 않는 영역을 교차판단 임계값을 이용하여 특정한다(S616 내지 S618). 주차선 이탈 감지 장치(200)는 교차영역이 존재하는 경우 사용자에게 경고알람 데이터를 전송한다(S620). 한편, 주차선 이탈 감지 장치(200)는 교차영역이 존재하지 않는 것으로 판단되는 경우, 단계 S602 내지 S614의 단계를 반복한다.
도 6에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 6에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
200: 주차선 이탈 감지 장치 210: 영상획득부
220: 데이터 전처리부 222: 학습 데이터베이스
230: 모델학습부 240: 주차선 침범 판단부
250: 경고알람 전송부

Claims (11)

  1. 차량에 구비된 적어도 하나 이상의 카메라로부터 수집한 촬영영상을 기반으로 AVM(Around View Monitoring, AVM) 영상정보를 획득하는 영상획득부;
    상기 AVM 영상정보에 대하여 영상 전처리 기법을 수행하여 가공영상 정보를 생성하는 데이터 전처리부;
    상기 차량의 주차와 관련된 이미지를 포함하는 학습 데이터베이스;
    상기 학습 데이터베이스를 기반으로 주차인식 모델을 학습하는 모델학습부;
    상기 가공영상 정보를 상기 주차인식 모델에 대입하여 출력한 출력결과 정보를 기반으로 상기 차량의 주차선 침범 여부를 판단하는 주차선 침범 판단부; 및
    상기 주차선 침범 여부에 따라 사용자에게 경고알람 데이터를 전송하는 경고알람 전송부를 포함하되
    상기 학습 데이터베이스는, 주차선과 차량 간 교차 여부에 대해 라벨링(Labeling)된 이미지를 포함하고,
    상기 모델학습부는, 차량과 주차선이 교차하는 경우에 대한 교차영역 출력결과 정보 및 차량과 주차선이 교차하지 않는 경우에 대한 비교차영역 출력결과 정보를 정의하여 주차인식 모델을 학습하는 것을 특징으로 하는 주차선 이탈 감지 장치.
  2. 제 1 항에 있어서,
    상기 데이터 전처리부는,
    상기 AVM 영상정보의 좌우 측면에 패딩(Padding) 영역을 부여하여 상기 차량이 차지하는 차량영역을 정방형 영역으로 가공하는 것을 특징으로 하는 주차선 이탈 감지 장치.
  3. 제 1 항에 있어서,
    상기 데이터 전처리부는,
    상기 AVM 영상정보 상에서 상기 차량이 차지하는 차량영역을 적어도 두 개 이상의 영역으로 분할하여 상기 가공영상 정보를 생성하는 것을 특징으로 하는 주차선 이탈 감지 장치.
  4. 제 3 항에 있어서,
    상기 주차선 침범 판단부는,
    상기 가공영상 정보 상에서 기 설정된 임계값을 이용하여 상기 차량영역의 분할영역과 상기 주차선이 모두 교차하는지 여부를 판단하는 것을 특징으로 하는 주차선 이탈 감지 장치.
  5. 제 4 항에 있어서,
    상기 주차선 침범 판단부는,
    상기 차량영역과 상기 주차선이 교차하는 것으로 판단한 경우, 상기 분할영역 중 상기 주차선과 교차하는 교차영역을 판단하는 것을 특징으로 하는 주차선 이탈 감지 장치.
  6. 제 4 항에 있어서,
    상기 경고알람 전송부는,
    상기 분할영역 중 상기 주차선과 교차하는 교차영역 또는 교차하지 않는 교차영역을 구분하고, 상기 분할영역 별로 교차 여부를 구분하기 위한 표식을 포함하는 상기 경고알람 데이터를 전송하는 것을 특징으로 하는 주차선 이탈 감지 장치.
  7. 제 1 항에 있어서,
    상기 영상획득부는,
    복수 개의 상기 촬영영상을 수집하고, 수집된 촬영영상을 하나의 상기 AVM 영상정보로 구성하는 것을 특징으로 하는 주차선 이탈 감지 장치.
  8. 제 1 항에 있어서,
    상기 모델학습부는,
    상기 주차인식 모델로서, 딥-러닝(Deep-Learning)을 기반으로 하는 VGG-16 모델을 사용하는 것을 특징으로 하는 주차선 이탈 감지 장치.
  9. 차량에 구비된 적어도 하나 이상의 카메라로부터 수집한 촬영영상을 기반으로 AVM(Around View Monitoring, AVM) 영상정보를 획득하는 영상획득 과정;
    상기 AVM 영상정보에 대하여 영상 전처리 기법을 수행하여 가공영상 정보를 생성하는 데이터 전처리 과정;
    학습 데이터베이스를 기반으로 주차인식 모델을 학습하는 모델학습 과정;
    상기 가공영상 정보를 상기 주차인식 모델에 대입하여 출력한 출력결과 정보를 기반으로 상기 차량의 주차선 침범 여부를 판단하는 주차선 침범 판단과정; 및
    상기 주차선 침범 여부에 따라 사용자에게 경고알람 데이터를 전송하는 경고알람 전송과정을 포함하되,
    상기 학습 데이터베이스는, 주차선과 차량 간 교차 여부에 대해 라벨링(Labeling)된 이미지를 포함하고,
    상기 모델학습 과정은, 차량과 주차선이 교차하는 경우에 대한 교차영역 출력결과 정보 및 차량과 주차선이 교차하지 않는 경우에 대한 비교차영역 출력결과 정보를 정의하여 주차인식 모델을 학습하는 것을 특징으로 하는 주차선 이탈 감지 방법.
  10. 제 9 항에 있어서,
    상기 데이터 전처리 과정은,
    상기 AVM 영상정보 상에서 상기 차량이 차지하는 차량영역을 적어도 두 개 이상의 영역으로 분할하여 상기 가공영상 정보를 생성하는 것을 특징으로 하는 주차선 이탈 감지 방법.
  11. 제 10 항에 있어서,
    상기 주차선 침범 판단과정은,
    상기 가공영상 정보 상에서 기 설정된 임계값을 이용하여 상기 차량영역의 분할영역과 상기 주차선이 모두 교차하는지 여부를 판단하는 것을 특징으로 하는 주차선 이탈 감지 방법.
KR1020180152545A 2018-11-30 2018-11-30 자동 주차 기능을 위한 주차선 이탈 감지 방법 및 장치 KR102174423B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180152545A KR102174423B1 (ko) 2018-11-30 2018-11-30 자동 주차 기능을 위한 주차선 이탈 감지 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180152545A KR102174423B1 (ko) 2018-11-30 2018-11-30 자동 주차 기능을 위한 주차선 이탈 감지 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200072590A KR20200072590A (ko) 2020-06-23
KR102174423B1 true KR102174423B1 (ko) 2020-11-05

Family

ID=71137995

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180152545A KR102174423B1 (ko) 2018-11-30 2018-11-30 자동 주차 기능을 위한 주차선 이탈 감지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102174423B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037249A (zh) * 2020-07-21 2020-12-04 贵州宽凳智云科技有限公司北京分公司 一种对摄像装置影像中物体进行跟踪的方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170036695A1 (en) * 2015-08-03 2017-02-09 Hyundai Mobis Co., Ltd. Parking assistance apparatus and method of controlling the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120086576A (ko) * 2011-01-26 2012-08-03 현대모비스 주식회사 주차 조향 보조 시스템
KR20180092765A (ko) * 2017-02-10 2018-08-20 영남대학교 산학협력단 탑뷰 영상을 이용한 차선인식 장치 및 방법
KR102360158B1 (ko) * 2017-03-07 2022-02-09 현대자동차주식회사 주차구획 인식 장치 및 방법
KR101972352B1 (ko) * 2018-06-25 2019-04-25 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170036695A1 (en) * 2015-08-03 2017-02-09 Hyundai Mobis Co., Ltd. Parking assistance apparatus and method of controlling the same

Also Published As

Publication number Publication date
KR20200072590A (ko) 2020-06-23

Similar Documents

Publication Publication Date Title
EP3418943B1 (en) Object detecting apparatus, object detecting method, and computer-readable medium
US11392131B2 (en) Method for determining driving policy
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
JP5536125B2 (ja) 画像処理装置および方法、ならびに移動体衝突防止装置
US11804048B2 (en) Recognizing the movement intention of a pedestrian from camera images
CN107273788B (zh) 在车辆中执行车道检测的成像系统与车辆成像系统
US10618467B2 (en) Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle
CN110068814B (zh) 一种测量障碍物距离的方法及装置
KR101916467B1 (ko) Ａｖｍ 시스템의 장애물 검출 장치 및 방법
EP2557550A1 (en) Vehicle periphery monitoring device, vehicle periphery monitoring method, and vehicle device
KR101326943B1 (ko) 추월차량 경고 시스템 및 추월차량 경고 방법
KR101986734B1 (ko) 차량 운전 보조 장치 및 이의 안전 운전 유도 방법
JP4937844B2 (ja) 歩行者検出装置
US20210027074A1 (en) Vehicle system, space area estimation method, and space area estimation apparatus
JP2011048520A (ja) 車両周辺監視装置および車両周辺監視方法
US20160371549A1 (en) Method and Device for Detecting Objects from Depth-Resolved Image Data
US12030501B2 (en) Vehicular control system with enhanced vehicle passing maneuvering
KR102174423B1 (ko) 자동 주차 기능을 위한 주차선 이탈 감지 방법 및 장치
CN103577790A (zh) 道路转弯类型检测方法和装置
JP2007087203A (ja) 衝突判定システム、衝突判定方法及びコンピュータプログラム
CN111066024B (zh) 用于识别车道的方法和装置、驾驶员辅助系统以及车辆
JP2021092996A (ja) 計測システム、車両、計測方法、計測装置及び計測プログラム
KR101545091B1 (ko) 카메라를 이용한 주차 공간 인식 방법 및 장치
JP5004882B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant