KR102132823B1

KR102132823B1 - 어라운드 뷰 모니터링 시스템 및 가용 주차 공간 검출 방법

Info

Publication number: KR102132823B1
Application number: KR1020180154162A
Authority: KR
Inventors: 윤형석; 김성록; 이윤재; 여정현
Original assignee: (주)캠시스
Priority date: 2018-12-04
Filing date: 2018-12-04
Publication date: 2020-07-10
Also published as: KR20200071842A

Abstract

어라운드 뷰 모니터링 시스템 및 가용 주차 공간 검출 방법이 개시된다. AVM 시스템은 복수의 카메라에서 생성된 촬영 영상을 이용하여 탑뷰 형태의 AVM 영상을 생성하는 영상 처리부; 상기 AVM 영상을 대상으로 미리 지정된 제1 검출 기법으로 베이스라인과 주차선의 코너점을 검출하고, 상기 제1 검출 기법으로 검출된 코너점을 미리 지정된 제2 검출 기법으로 검증하여 유효한 코너점을 선정하며, 상기 베이스라인과 상기 유효한 코너점을 이용하여 주차선을 결정하는 주차선 검출 유닛; 및 상기 결정된 주차선에 의해 인식된 각 주차 공간에 분석선을 설정하고, 설정된 분석선 영역의 픽셀 위치별 픽셀 강도값을 나타내는 추이 그래프를 생성한 후, 생성된 추이 그래프의 변동률값을 미리 지정된 임계값과 비교하여 각 주차 공간을 가용 주차 공간과 비가용 주차 공간으로 분류하는 주차 공간 분석 유닛을 포함한다.

Description

어라운드 뷰 모니터링 시스템 및 가용 주차 공간 검출 방법{Around view monitoring system and method for detecting empty parking lot}

본 발명은 어라운드 뷰 모니터링 시스템 및 가용 주차 공간 검출 방법에 관한 것이다.

차량은 탑승한 운전자가 원하는 방향으로 이동하는 장치이며, 최근 운전자나 보행자의 안전이나 편의를 도모하기 위해 지능형 자동차(smart vehicle)의 개발도 활발해지고 있다.

일 예로, 차량에 탑승한 운전자가 AVM 영상을 참조하여 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 룸 미러를 보지 않고도 편리하게 주차할 수 있도록 하는 어라운드 뷰 모니터링(AVM, Around View Monitoring) 시스템이 차량에 탑재되고 있다.

어라운드 뷰 모니터링 시스템은 차량의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역이 자연스럽게 보이도록 보정 처리하여 자동차의 주변환경을 탑뷰(Top View) 형태의 AVM 영상으로 화면상에 표시하는 시스템이다.

도 1에는 AVM 시스템의 개념이 개략적으로 도시되어 있다.

도 1의 (a)와 (b)에 도시된 바와 같이, 차량의 전후방, 좌우측면에는 각각 카메라(10, 20, 30, 40)가 설치된다. 카메라들(10, 20, 30, 40) 각각은 차량의 전후방 및 좌우측면의 영상(A, B, C, D)를 촬영하고, 촬영된 영상을 차량을 위에서 내려다보는 탑뷰 형태의 AVM 영상으로 재구성하여 차량에 장착된 디스플레이 장치에 출력한다.

최근에는 주차장의 주차 가능 공간을 인식하기 위해 카메라를 이용하여 주차선을 인식하는 기술이 활발하게 개발되고 있으며, 주된 개발 방식으로 허프 변환(hough transform)을 이용하는 방식과 템플릿 매칭을 이용하는 방식 등이 있다.

그러나 허프 변환을 이용하는 방식은 단순 계산으로 주차선의 검출이 가능한 장점은 있으나, 특정의 주위 환경에서는 주차선이 효과적으로 검출되지 못하는 문제점이 있다.

또한, 템플릿 매칭을 이용하는 방식은 주위 환경에 상관없이 주차선의 검출이 가능한 장점은 있으나, 검출 속도가 매우 느린 문제점이 있다.

한국공개특허 제10-2017-0124299호(2017.11.10자 공개)

J. S. Lee and S. C. Kee, "Empty Parking Space Detection Method using Around View Monitoring System", in Institute of Control, Robotics and Systems, vol. 23, no. 6, pp. 455-461, 2017 J. K. Suhr and H. G. Jung, "Automatic parking space detection and tracking for underground and indoor environments," IEEE Transactions on Industrial Electronics, vol. 63, no. 9, pp. 5687-5698, 2016 M. Fan, Z. Hu, K. Hamada, and H. Chen, "Line Filter-Based Parking Slot Detection for Intelligent Parking Assistance System," in Proceedings of SAE-China Congress 2014: Selected Papers, 2015, pp. 175-181 L. Zhang, J. Huang, X. Li, L. Xiong. "Vision-Based Parking-Slot Detection: A DCNN_Based Approach and a Large-Scale Benchmark Dataset," IEEE Transactions on Image Processing, vol. 27, no. 11, pp.5350-5364, 2018 A Krizhevsky, I Sutskever, G E Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. 2012

본 발명은 장애물의 존재 여부에 관계없이 신속하고 정확하게 주차선을 검출할 수 있고, 검출된 주차선에 대응되는 주차선 가이드라인을 생성 및 표시하여 운전자가 주차 공간을 명확히 인식할 수 있도록 하는 어라운드 뷰 모니터링 시스템 및 가용 주차 공간 검출 방법을 제공하기 위한 것이다.

본 발명은 인식된 주차 공간 각각이 주차가 가능한 가용 주차 공간인지, 타 차량이 이미 주차하였거나 장애물이 존재하는 비가용 주차 공간인지 인식하여 운전자에게 제시함으로써, 운전자가 가용 주차 공간의 선택을 용이하게 하는 어라운드 뷰 모니터링 시스템 및 가용 주차 공간 검출 방법을 제공하기 위한 것이다.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 복수의 카메라에서 생성된 촬영 영상을 이용하여 탑뷰 형태의 AVM 영상을 생성하는 영상 처리부; 상기 AVM 영상을 대상으로 미리 지정된 제1 검출 기법으로 베이스라인과 주차선의 코너점을 검출하고, 상기 제1 검출 기법으로 검출된 코너점을 미리 지정된 제2 검출 기법으로 검증하여 유효한 코너점을 선정하며, 상기 베이스라인과 상기 유효한 코너점을 이용하여 주차선을 결정하는 주차선 검출 유닛; 및 상기 결정된 주차선에 의해 인식된 각 주차 공간에 분석선을 설정하고, 설정된 분석선 영역의 픽셀 위치별 픽셀 강도값을 나타내는 추이 그래프를 생성한 후, 생성된 추이 그래프의 변동률값을 미리 지정된 임계값과 비교하여 각 주차 공간을 가용 주차 공간과 비가용 주차 공간으로 분류하는 주차 공간 분석 유닛을 포함하는 AVM 시스템이 제공된다.

상기 주차선 검출 유닛은, 상기 AVM 영상을 대상으로 라인 필터와 허프 변환을 적용하여 베이스라인과 코너점을 검출하되, 상기 AVM 영상에 라인 필터를 적용하여 중첩 피처맵을 생성하고, 상기 중첩 피처맵을 대상으로 허프 변환을 적용하여 주차선의 베이스라인을 결정하며, 상기 베이스라인에 미리 지정된 각도로 연결되는 직선을 검출하여 상기 베이스라인과 상기 직선의 교점을 주차선의 코너점으로 검출하는 코너점 검출부; 상기 코너점 검출부에 의해 검출된 코너점에 대해 미리 저장된 주차선 데이터셋을 이용하여 딥러닝 기법으로 미리 학습된 물체 검출 모델을 적용하여 교점이 아닌 코너점을 제외시키는 방식으로 검증하여 유효한 코너점을 선정하는 검증부; 및 상기 베이스라인과 상기 유효한 코너점을 기준하여 주차선을 결정하는 주차선 검출부를 포함할 수 있다.

상기 코너점 검출부는 허프 변환되어 검출된 직선들 각각의 길이와 직선을 구성하는 픽셀의 밀도를 이용하여 산출한 산출값이 가장 큰 직선을 베이스라인으로 결정할 수 있다.

상기 주차선 검출부는 허프 변환되어 검출된 직선들 중 상기 유효한 코너점에서 상기 베이스라인과 미리 지정된 각도로 연결되는 직선을 주차선을 형성하는 사이드라인으로 결정하고, 상기 베이스라인과 상기 사이드라인을 이용하여 주차선을 결정할 수 있다.

상기 주차 공간 분석 유닛은, 주차 공간을 각각 구획하는 주차선의 양측 사이드라인의 임의의 한 점들을 서로 연결하여 주차 공간을 가로지르는 분석선을 설정한 후, 각 주차 공간에 대해 설정된 분석선 영역의 픽셀 위치별 픽셀 강도값(intensity)을 나타내는 추이 그래프를 생성하는 강도값 산출부; 및 각 주차 공간에 대해 생성된 추이 그래프의 변동률값을 미리 지정된 임계값과 비교하여 각 주차 공간을 가용 주차 공간과 비가용 주차 공간 중 어느 하나로 분류하는 주차 공간 분류부를 포함할 수 있다.

차량에 구비된 출력부에는 각 주차 공간이 가용 주차 공간인지 비가용 주차 공간인지를 나타내는 가상의 분류 식별자가 AVM 영상에 오버레이되어 출력되고, 가용 주차 공간인 어느 하나의 주차 공간이 선택되면, 상기 차량에 구비된 자율 주차 시스템은 선택된 가용 주차 공간에 상기 차량이 주차되도록 하는 자율 주차 기능을 수행할 수 있다.

본 발명의 다른 측면에 따르면, 가용 주차 공간을 검출하기 위한 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은, (a) AVM 영상에 라인 필터를 적용하여 중첩 피처맵을 생성하는 단계; (b) 상기 중첩 피처맵을 대상으로 허프 변환을 적용하여 주차선의 베이스라인을 결정하고, 상기 베이스라인에 미리 지정된 각도로 연결되는 직선을 검출하여 상기 베이스라인과 상기 직선의 교점을 주차선의 코너점으로 검출하는 단계; (c) 미리 저장된 주차선 데이터셋을 이용하여 딥러닝 기법으로 미리 학습된 물체 검출 모델을 상기 단계 (b)에서 검출된 코너점에 적용하여 교점이 아닌 코너점을 제외시키는 방식으로 검증하여 유효한 코너점을 선정하는 단계; (d) 상기 베이스라인과 상기 유효한 코너점을 기준하여 주차선을 결정하는 단계; (e) 주차 공간을 각각 구획하는 주차선의 양측 사이드라인의 임의의 한 점들을 서로 연결하여 주차 공간을 가로지르는 분석선을 설정하고, 각 주차 공간에 대해 설정된 분석선 영역의 픽셀 위치별 픽셀 강도값(intensity)을 나타내는 추이 그래프를 생성하는 단계; 및 (f) 각 주차 공간에 대해 생성된 추이 그래프의 변동률값을 미리 지정된 임계값과 비교하여 각 주차 공간을 가용 주차 공간과 비가용 주차 공간 중 어느 하나로 분류하는 단계를 포함하는 컴퓨터-판독가능 매체에 저장된 컴퓨터프로그램이 제공된다.

상기 베이스라인은 상기 중첩 피처맵이 허프 변환되어 검출된 직선들 중 직선 길이와 직선을 구성하는 픽셀의 밀도를 이용하여 산출한 산출값이 가장 큰 직선일 수 있다.

상기 단계 (d)에서, 허프 변환되어 검출된 직선들 중 상기 유효한 코너점에서 상기 베이스라인과 미리 지정된 각도로 연결되는 직선이 주차선을 형성하는 사이드라인으로 결정되고, 상기 베이스라인과 상기 사이드라인을 이용하여 주차선이 결정될 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예에 따르면, 장애물의 존재 여부에 관계없이 신속하고 정확하게 주차선을 검출할 수 있고, 검출된 주차선에 대응되는 주차선 가이드라인을 생성 및 표시하여 운전자가 주차 공간을 명확히 인식할 수 있도록 하는 효과가 있다.

또한, 인식된 주차 공간 각각이 주차가 가능한 가용 주차 공간인지, 타 차량이 이미 주차하였거나 장애물이 존재하는 비가용 주차 공간인지 인식하여 운전자에게 제시함으로써, 운전자가 가용 주차 공간의 선택을 용이하게 하는 효과도 있다.

도 1은 AVM 시스템의 개념을 개략적으로 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 AVM 시스템의 블록 구성도.
도 3 및 도 4는 본 발명의 일 실시예에 따른 코너점 검출부의 동작을 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 검증부의 검증 개념을 설명하기 위한 도면.
도 6은 본 발명의 일 실시예에 따른 AVM 시스템의 실제 실험 결과를 나타내는 도면.
도 7은 본 발명의 일 실시예에 따른 주차 공간 분석 유닛의 동작을 설명하기 위한 도면.
도 8은 본 발명의 일 실시예에 따른 가용 주차 공간 검출 방법을 나타낸 순서도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "…부", "…유닛", "…모듈", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 2는 본 발명의 일 실시예에 따른 AVM 시스템의 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 코너점 검출부의 동작을 설명하기 위한 도면이다. 도 5는 본 발명의 일 실시예에 따른 검증부의 검증 개념을 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 AVM 시스템의 실제 실험 결과를 나타내는 도면이며, 도 7은 본 발명의 일 실시예에 따른 주차 공간 분석 유닛의 동작을 설명하기 위한 도면이다.

도 2를 참조하면, AVM 시스템은 카메라 유닛(200), 영상 처리부(210), 오버레이부(220), 출력부(230), 주차선 검출 유닛(240) 및 주차 공간 분석 유닛(250)을 포함할 수 있다.

카메라 유닛(200)은 4개 이상의 AVM 시스템용 카메라를 포함한다. 각 카메라는 차량 주변의 영상을 획득할 수 있도록 차량의 전후좌우에 각각 설치되며, 예를 들어 어안렌즈(fish eye lens)를 포함하는 광각 카메라로 구현될 수 있다. 여기서, 광각 카메라는 단순한 광학기구뿐 아니라, 광학 신호를 전기적 신호로 변환하는 이미지 센서 등의 전기적 장치를 더 포함할 수 있다.

영상 처리부(210)는 카메라 유닛(200)에서 입력되는 복수의 촬영 영상을 하나의 AVM 영상으로 변환할 수 있다. 여기서, AVM 영상이란 예를 들어 차량의 전후좌우에서 각각 획득된 촬영 영상이 지면에 수직한 탑뷰 형태의 영상으로 합성되어 한 화면으로 보여지는 영상일 수 있다.

이때, 차량의 전후좌우에 각각 설치된 카메라들의 위치, 지향 방향 및 지면과의 거리가 다르기 때문에, 영상 처리부(210)는 영상 처리를 통해 촬영 영상들 각각의 왜곡을 보정하여 AVM 영상을 생성할 수 있다. 이를 위해, 영상 처리부(210)는 예를 들어 촬영 영상의 휘도 및 색상 편차에 대한 보정, 어안렌즈에의 렌즈 왜곡 보상, 원근감에 대한 편차 보상, 시점 변환 등을 통해 복수의 촬영 영상을 하나의 AVM 영상으로 변환할 수 있을 것이다. AVM 영상 내에는 AVM 시스템이 설치된 차량의 기등록된 사이즈를 이용하여 생성된 가상의 차량이 함께 표시될 수 있을 것이다(도 1의 (b) 참조).

오버레이부(220)는 영상 처리부(210)에서 생성된 AVM 영상에 후술될 주차선 검출 유닛(240)에서 결정한 주차선에 대응되는 주차선 가이드라인이 오버레이되어 표시되도록 처리할 수 있다.

주차선 가이드라인이 오버레이된 AVM 영상은 예를 들어 차량에 구비된 디스플레이 장치인 출력부(230)를 통해 출력될 수 있다. 물론, 검출된 주차선이 존재하지 않는 경우에는, 주차선 가이드라인이 오버레이되지 않은 AVM 영상이 출력부(230)를 통해 출력될 수 있음은 당연하다.

또한, 오버레이부(220)는 후술될 주차 공간 분석 유닛(250)에서 해석한 주차공간 분류 정보에 상응하는 가상의 분류 식별자(710, 도 7 참조)가 상응하는 주차 공간(즉, 주차선에 의해 구획된 내부 공간)에 표시되도록 AVM 영상에 오버레이 처리할 수도 있다.

주차선 검출 유닛(240)은 코너점 검출부(241), 검증부(243), 학습 DB(245) 및 주차선 검출부(247)를 포함할 수 있다.

코너점 검출부(241)는 미리 지정된 제1 검출 기법을 이용하여 주차선의 베이스라인(baseline)과 코너점을 검출한다. 여기서, 미리 지정된 제1 검출 기법은 라인 필터(line filter)와 허프 변환(hough transform)을 이용하는 기법일 수 있다.

우선, 코너점 검출부(241)는 라인 필터를 이용하여 주차선을 검출한다. 일반적으로 주차선이 운전자의 인식력을 높이기 위해 일정한 두께를 가지는 밝은 색의 라인으로 제작되지만, 본 실시예의 코너점 검출부(241)는 다양한 환경에서 보다 효과적으로 주차선이 검출될 수 있도록 하기 위해 종래의 소벨(Sobel) 필터나 캐니(canny) 필터와 같은 에지 검출 필터에 비해 상대적으로 조명 변화 및 그림자에 강한 특성을 가지는 라인 필터를 적용한다.

라인 필터는 {-1, …, -1, 0, 1, …, 1} 형태의 마스크 구조를 가지고 있으며, AVM 영상을 대상으로 X방향과 Y방향으로 각각 라인 필터로 연산하면 주차선이 시작하는 부분(즉, 상대적으로 밝아지는 영역)이 상승 에지(edge)를 가지고, 주차선이 끝나는 부분(즉, 상대적으로 어두워지는 영역)은 하강 에지를 가지는 것으로 인식된다. 이러한 특징을 이용하여 역으로 한번 더 연산하면 주차선의 중심 위치에서 가장 높은 반응값이 나타나는 특성이 있다.

참고로, 도 3의 (b)는 차량이 주차선 내에 주차된 상황의 AVM 영상(도 3의 (a) 참조)에 대해 라인 필터로 X방향 연산한 피처맵(feature map)을 나타낸 것이고, 도 3의 (c)는 동일한 AVM 영상에 대해 라인 필터로 Y방향 연산한 피처맵을 나타내며, 도 3의 (d)는 두 방향을 중첩하여 이진화한 결과의 중첩 피처맵을 나타낸다.

도 3에 예시된 각각의 피처맵을 참조할 때, 주위 값보다 상대적으로 밝은 값을 가지는 부분(예를 들어, 주차선, 식물 등)이 상대적으로 큰 피처(feature)를 가짐을 확인할 수 있다. 또한, 각각의 피처맵을 참조할 때 주차선은 직선의 형태를 가지도록 표시됨도 확인할 수 있다.

코너점 검출부(241)는 라인 필터로 연산된 중첩 피처맵(도 3의 (d) 참조)을 대상으로 허프 변환을 실시한다. 허프 변환은 영상에서 일반적인 직선, 곡선, 원과 같은 특징을 찾는데 일반적으로 이용되는 것으로, 이에 대한 구체적인 설명은 생략한다.

중첩 피처맵을 대상으로 허프 변환을 실시하면, 도 4의 (a)에 예시된 바와 같이, 중첩 피처맵에서 직선의 형태로 표시되던 주차선 뿐 아니라 그 이외의 큰 피처를 가지는 부분들도 직선의 형태로 검출된다.

이때, 코너점 검출부(241)가 주차선의 검출을 목적으로 함을 고려할 때, 주차선 이외의 선들은 불필요한 것들로서 제거될 필요가 있다.

이를 위해, 코너점 검출부(241)는 주차선만을 선택적으로 검출할 수 있도록 하기 위해. 검출된 선의 길이와 선이 가지는 픽셀의 밀도를 이용하여 산출한 산출값이 가장 큰 값을 가지는 선을 베이스라인으로 선정한다. 이때, 계산된 선의 길이와 픽셀의 밀도 각각에 대해 가중치를 부여하여 합산하는 등 베이스라인의 선정을 위해 각 선에 대한 산출값을 산출하고, 산출값의 우열을 결정하는 방법은 다양할 수 있다.

즉, 코너점 검출부(241)는 허프 변환에 의해 검출된 선들 각각에 대해 선의 길이 및 선을 구성하는 픽셀의 밀도를 계산한 후, 가장 큰 값을 가지는 선을 베이스라인으로 선정한다(도 4의 (b)의 녹색 원 참조).

이후, 코너점 검출부(241)는 선정된 베이스라인을 기준으로 주차 영역의 코너점을 검출한다. 일반적으로 허프 변환은 두 점을 기준하여 선을 검출하기 때문에, 각각의 두 점들을 이용하여 각 직선의 방정식이 계산될 수 있다.

따라서, 코너점 검출부(241)는 베이스라인의 직선 방정식으로 기울기를 계산한 후, 허프 변환의 결과로 추출된 직선의 기울기들과의 각도 차이를 계산하고, 베이스라인의 기울기와 직각을 가지는 선이 존재하면 해당 교점의 위치를 주차선의 코너점으로 검출될 수 있다(도 4의 (c)의 노란색 원들 참조). 이때, 검출된 코너점들은 베이스라인 상에 위치된다. 여기서, 주차선을 구획하는 사이드라인이 베이스라인에 수직 또는 임의의 경사각을 가지도록 연결되는 경우라면 해당 경사각을 가지는 선을 검출하여 코너점을 검출할 수 있음은 당연하다.

그러나, 허프 변환의 경우 다양한 선들이 검출되기 때문에 잘못된 위치가 코너점으로 검출될 수 있는 문제점이 있어, 본 실시예에 따른 주차선 검출 유닛(240)은 검증부(243)를 이용하여 정확한 코너점의 검출을 위한 검증을 실시하는 특징이 있다. 참고로, 도 4의 (c)에는 노란색 원으로 표시된 4개의 지점이 코너점으로 검출되었으나, 왼쪽으로부터 두번째 위치는 도 5의 (c)에 예시된 베이스라인상의 특정 위치이며 코너점으로 잘못 검출된 경우이다.

검증부(243)는 학습된 물체 검출 모델(object detection model)을 이용하는 미리 지정된 제2 검출 기법을 이용하여 코너점 검출부(241)에 의해 검출된 코너점이 유효한 코너점인지 여부를 검증한다. 여기서, 물체 검출 모델은 예를 들어 CNN(Convolutional Neural Network) 모델, R-CNN(Regions with Convolutional Neural Network, Region based Convolutional Neural Network) 모델, fast R-CNN 모델, YOLO(You Only Look Once) v2 모델 등일 수 있다.

검출 정확도를 향상시키기 위해, 검증부(243)는 적용할 CNN 모델 등인 물체 검출 모델을 학습 DB(245)에 저장된 주차선 데이터셋을 이용하여 딥러닝(deep learning) 기법으로 미리 학습시켜 코너점 검출부(241)에서 검출된 코너점의 검증에 이용할 수 있다. 학습 DB(245)에 미리 저장되는 주차선 데이터셋은 예를 들어 논문 "Vision-Based Parking-Slot Detection: A DCNN_Based Approach and a Large-Scale Benchmark Dataset"에서 공개된 9,827장의 영상으로 구성된 트레이닝 데이터셋과 2,338장의 영상으로 구성된 테스트 데이터셋일 수 있다.

예를 들어, 학습된 CNN 모델인 물체 검출 모델을 이용하여 검증부(243)는 코너점 검출부(241)에 의해 검출된 교차점 각각의 영역을 관심 영역으로 설정하고, 관심 영역 내에 교점이 존재하는지를 분석하여 검증한다. 여기서, CNN 모델은 딥러닝 방식의 학습 과정을 통해 관심 영역의 영상에 적용할 영상 필터의 필터값이 조정될 수 있다.

검증부(243)는 제1 검출 기법에 의해 코너점 검출부(241)에서 검출된 코너점을 대상으로 제2 검출 기법인 물체 검출 모델을 적용하여 교점이 아닌 코너점은 제외시키는 방식으로 검증하여 유효한 코너점을 선정한다.

이는, 코너점 검출부(241)가 라인 필터와 허프 변환을 이용하는 제1 검출 기법에 의해 주차선의 코너점을 검출하더라도 그 검출 정확도가 완벽할 수 없기 때문에, 제1 검출 기법의 단점을 보완하여 보다 정확하게 주차선의 코너점들이 검출되도록 하기 위한 것이다.

주차선 검출부(247)는 코너점 검출부(241)에 의해 결정된 베이스라인과, 검증부(243)에 의해 선정된 유효한 코너점을 기준하여 주차선을 결정한다. 이때, 유효한 코너점과 코너점 검출부(241)에 의한 허프 변환에서 검출된 선을 이용하여 베이스라인에 미리 지정된 각도(예를 들어 수직 또는 사선 방향)로 연결되는 주차선(즉, 사이드라인)이 결정될 수도 있다(도 4의 (d) 참조).

주차선 검출부(247)는 결정한 주차선에 상응하는 주차선 가이드라인을 오버레이부(220)로 제공하여, 주차선 가이드라인이 오버레이된 AVM 영상이 출력부(230)를 통해 출력되도록 할 수 있다.

도 6에는 본 발명자가 차량에 카메라 4대를 설치하여 AVM 환경을 구축한 후 야외 주차장에서 주차선 검출 성능을 실험한 실험 결과가 도시되어 있다. 이때, 입력되는 AVM 영상의 크기는 520x688을 이용하였고, 전체 알고리즘은 인텔사의 i7-7700 3.60GHz의 CPU 환경과, NVIDIA사의 RTX2070의 그래픽 카드를 탑재한 Desktop 환경에서 실시되었다.

실험 결과, 도 6에 예시된 바와 같이 효과적으로 주차선이 검출되는 것을 입증하였다. 이해의 편의를 위해, 실험 결과에서 베이스라인은 빨간색 선으로 표시하였고, 주차선의 코너점은 파란색 원 형태로 표시하였고, 베이스라인과 코너점을 기준하여 검출한 사이드라인은 초록색 선으로 표시하였다. 실험 결과를 참조할 때, 본 실시예에 따른 주차선 검출 유닛(240)은 차량의 위치와 상관없이 주차선을 검출할 수 있을 뿐 아니라, 장애물이 있는 경우에도 주차선을 검출할 수 있음을 확인할 수 있다.

다시 도 1을 참조하면, 주차 공간 분석 유닛(250)은 강도값 산출부(251) 및 주차공간 분류부(253)를 포함할 수 있다.

강도값 산출부(251)는 주차선 검출을 통해 인식된 각각의 주차 공간에 대한 영상의 픽셀 강도값(intensity)를 산출한다.

이때, 강도값 산출부(251)는 도 7의 (a)에 예시된 바와 같이, 각 주차 공간(예를 들어 주차 공간 "A", 주차 공간 "B")을 각각 구획하는 주차선 중 양측 사이드라인의 임의의 한 점들을 연결한 분석선을 설정(즉, 주차 공간 "A"는 P1-P2, 주차 공간 "B"는 P2-P3)한 후, AVM 영상에서 각 주차 공간에 상응하는 분석선 영역의 픽셀 강도값을 산출하여 픽셀 위치별 픽셀 강도값을 나타내는 픽셀 강도값의 추이 그래프를 생성한다(도 7의 (b) 및 (c) 참조). 여기서, 사이드라인의 한 점은 예를 들어 사이드라인의 중간점으로 설정될 수 있다. 참고로, 도 7의 (b)와 (c)의 픽셀 강도값의 추이 그래프에서 가로축은 분석선을 이루는 각 픽셀의 위치를 나타내고, 세로축은 각 픽셀의 강도(intensity)의 크기를 나타낸다.

주차공간 분류부(253)는 강도값 산출부(251)에 의해 산출된 각 주차 공간에 상응하는 픽셀 강도값의 추이 그래프를 이용하여 각 주차 공간을 가용 주차 공간과 비가용 주차 공간으로 분류한다.

도 7의 (a)에 예시된 바와 같이, 주차 공간 "A"와 같이 차량이 주차되어 있거나 장애물이 존재하는 상태라면, 도 7(b)에 예시된 바와 같이 픽셀 강도값의 추이 그래프가 상대적으로 큰 변동률(즉, 큰 상승 구간과 하강 구간이 다수 존재)을 가지도록 해석된다. 따라서, 주차공간 분류부(253)는 미리 지정된 임계값보다 큰 변동률값을 가지는 추이 그래프에 상응하는 주차 공간은 비가용 주차 공간으로 분류할 수 있다. 여기서, 추이 그래프가 가지는 변동률에 상응하여 변동률값을 산출하는 방법은 미리 설정될 수 있다.

이에 비해, 주차 공간 "B"와 같이 빈 공간인 상태라면, 도 7(c)에 예시된 바와 같이 픽셀 강도값의 추이 그래프가 상대적으로 작은 변동률을 가지도록 해석된다. 따라서, 주차공간 분류부(253)는 미리 지정된 임계값보다 작은 변동률값을 가지는 추이 그래프에 상응하는 주차 공간은 가용 주차 공간으로 분류할 수 있다.

주차공간 분류부(253)는 가용 주차 공간 또는 비가용 주차 공간으로 분류한 주차 공간 분류 정보에 상응하도록 각 주차 공간에 할당된 가상의 분류 식별자(710)를 오버레이부(220)로 제공하여 AVM 영상에 오버레이 처리되어 출력부(230)를 통해 출력되도록 할 수 있다(도 7의 (d) 참조). 가상의 분류 식별자(710)는 예를 들어 가용 주차 공간에는 GP(Go Parking)으로 할당되고, 비가용 주차 공간에는 DP(Do not Parking)로 할당될 수 있다.

출력부(230)를 통해 출력되는 AVM 영상에 복수의 가용 주차 공간이 표시된 경우, 차량에 탑승한 사용자는 어느 하나의 가용 주차 공간에 대한 선택 정보를 입력할 수 있다. 사용자에 의해 선택 정보가 입력되면, 선택된 가용 주차 공간에 대한 정보가 차량에 구비된 자율 주차 시스템으로 제공되고, 자율 주차 시스템에 의해 선택 정보에 상응하는 가용 주차 공간으로 차량이 주차 처리될 수 있다. 자율 주차 시스템을 이용하여 차량의 움직임을 제어하는 자율 주차 기술은 현재 이미 다양하게 개발되어 공지되었거나 개발되고 있으므로 이에 대한 상세한 설명은 생략한다.

도 8은 본 발명의 일 실시예에 따른 가용 주차 공간 검출 방법을 나타낸 순서도이다.

도 8을 참조하면, 단계 810에서 주차선 검출 유닛(240)은 복수의 카메라에서 생성된 촬영 영상이 탑뷰 형태로 합성된 AVM 영상을 입력받는다.

단계 820에서, 주차선 검출 유닛(240)은 라인 필터와 허프 변환을 이용하도록 미리 지정된 제1 검출 기법을 이용하여 주차선의 베이스라인과 코너점을 검출한다.

즉, 라인 필터를 이용하여 AVM 영상을 X방향과 Y 방향으로 각각 연산하고, 두 방향의 연산 결과를 중첩한 중첩 피처맵을 생성한 후, 중첩 피처맵을 대상으로 허프 변환을 실시하여 검출된 직선들 중 선의 길이와 선이 가지는 픽셀의 밀도가 가장 큰 선을 베이스라인으로 선정한다.

이어서, 베이스라인의 직선 방정식의 기울기와 미리 지정된 각도(예를 들어, 직교 또는 미리 지정된 경사각)로 연결되는 직선을 검출하고 해당 직선과의 교점을 주차선의 코너점으로 검출한다.

단계 830에서, 주차선 검출 유닛(240)은 딥러닝 기법으로 미리 학습된 CNN 모델 등의 물체 검출 모델을 이용하는 제2 검출 기법에 의해 단계 830에서 검출된 교차점이 유효한 교차점인지를 검증한다. 이때, 제1 검출 기법에 의해 코너점 검출부(241)에서 검출된 코너점을 대상으로 제2 검출 기법인 물체 검출 모델을 적용하여 예를 들어 교점이 아닌 코너점은 제외시키는 방식으로 검증하여 유효한 코너점을 선정할 수 있다.

단계 840에서, 주차선 검출 유닛(240)은 단계 820에서 결정된 베이스라인과 단계 830에서 선정된 유효한 코너점들을 기준하여 주차선을 결정한다. 이때, 유효한 코너점과 전술한 허프 변환에서 검출된 선을 이용하여 베이스라인에 수직 또는 사선 방향으로 연결되는 주차선(즉, 사이드라인)이 결정될 수도 있을 것이며, 결정된 주차선에 대응되는 주차선 가이드라인이 AVM 영상에 오버레이되어 출력부(230)를 통해 출력될 수 있을 것이다.

단계 850에서 주차 공간 분석 유닛(250)은 결정된 주차선에 의해 인식된 각각의 주차 공간에 대해 분석선을 설정하고, 설정된 분석선 영역의 픽셀 위치별 픽셀 강도값을 나타내는 픽셀 강도값의 추이 그래프를 생성한 후, 각 주차 공간에 상응하는 추이 그래프의 변동률값을 미리 지정된 임계값과 비교하여 가용 주차 공간과 비가용 주차 공간으로 분류한다. 각 주차 공간을 분류한 주차 공간 분류 정보에 상응하도록 각 주차 공간에 할당된 가상의 분류 식별자(710)가 AVM 영상에 오버레이되어 출력부(230)를 통해 출력될 수 있을 것이다.

단계 860에서, 차량에 탑승한 사용자가 AVM 영상에 표시된 가용 주차 공간 중 어느 하나에 대한 선택 정보를 입력하면, 차량에 구비된 자율 주차 시스템은 선택 정보에 상응하는 선택된 가용 주차 공간에 대한 정보를 이용하여 해당 가용 주차 공간에 차량이 주차되도록 하는 자율 주차 처리를 수행한다.

전술한 바와 같이, 본 실시예에 따른 어라운드 뷰 모니터링 시스템 및 가용 주차 공간 검출 방법은 장애물의 존재 여부에 관계없이 신속하고 정확하게 주차선을 검출할 수 있고, 검출된 주차선에 대응되는 주차선 가이드라인을 생성 및 표시하여 운전자가 주차 공간을 명확히 인식할 수 있도록 하며, 인식된 주차 공간 각각이 가용 주차공간 또는 비가용 주차공간인지를 인식하여 운전자에게 제시함으로써 운전자가 가용 주차 공간의 선택을 용이하게 하는 특징이 있다.

상술한 가용 주차 공간 검출 방법은 디지털 처리 장치에 내장된 소프트웨어 프로그램, 애플리케이션 등으로 구현되어 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램 등을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10, 20, 30, 40 : 카메라 200 : 카메라 유닛
210 : 영상 처리부 220 : 오버레이부
230 : 출력부 240 : 주차선 검출 유닛
241 : 코너점 검출부 243 : 검증부
245 : 학습 DB 247 : 주차선 검출부
250 : 주차 공간 분석 유닛 251 : 강도값 산출부
253 : 주차공간 분류부

Claims

복수의 카메라에서 생성된 촬영 영상을 이용하여 탑뷰 형태의 AVM 영상을 생성하는 영상 처리부;
상기 AVM 영상을 대상으로 미리 지정된 제1 검출 기법으로 베이스라인과 주차선의 코너점을 검출하고, 상기 제1 검출 기법으로 검출된 코너점을 미리 지정된 제2 검출 기법으로 검증하여 유효한 코너점을 선정하며, 상기 베이스라인과 상기 유효한 코너점을 이용하여 주차선을 결정하는 주차선 검출 유닛; 및
상기 결정된 주차선에 의해 인식된 각 주차 공간에 분석선을 설정하고, 설정된 분석선 영역의 픽셀 위치별 픽셀 강도값을 나타내는 추이 그래프를 생성한 후, 생성된 추이 그래프의 변동률값을 미리 지정된 임계값과 비교하여 각 주차 공간을 가용 주차 공간과 비가용 주차 공간으로 분류하는 주차 공간 분석 유닛을 포함하되,
상기 주차선 검출 유닛은,
상기 AVM 영상을 대상으로 라인 필터와 허프 변환을 적용하여 베이스라인과 코너점을 검출하되, 상기 AVM 영상에 라인 필터를 적용하여 중첩 피처맵을 생성하고, 상기 중첩 피처맵을 대상으로 허프 변환을 적용하여 주차선의 베이스라인을 결정하며, 상기 베이스라인에 미리 지정된 각도로 연결되는 직선을 검출하여 상기 베이스라인과 상기 직선의 교점을 주차선의 코너점으로 검출하는 코너점 검출부;
상기 코너점 검출부에 의해 검출된 코너점에 대해 미리 저장된 주차선 데이터셋을 이용하여 딥러닝 기법으로 미리 학습된 물체 검출 모델을 적용하여 교점이 아닌 코너점을 제외시키는 방식으로 검증하여 유효한 코너점을 선정하는 검증부; 및
상기 베이스라인과 상기 유효한 코너점을 기준하여 주차선을 결정하는 주차선 검출부를 포함하고,
상기 주차선 검출부는 허프 변환되어 검출된 직선들 중 상기 유효한 코너점에서 상기 베이스라인과 미리 지정된 각도로 연결되는 직선을 주차선을 형성하는 사이드라인으로 결정하고, 상기 베이스라인과 상기 사이드라인을 이용하여 주차선을 결정하며,
상기 주차 공간 분석 유닛은,
주차 공간을 각각 구획하는 주차선의 양측 사이드라인의 임의의 한 점들을 서로 연결하여 주차 공간을 가로지르는 분석선을 설정한 후, 각 주차 공간에 대해 설정된 분석선 영역의 픽셀 위치별 픽셀 강도값(intensity)을 나타내는 추이 그래프를 생성하는 강도값 산출부; 및
각 주차 공간에 대해 생성된 추이 그래프의 변동률값을 미리 지정된 임계값과 비교하여 각 주차 공간을 가용 주차 공간과 비가용 주차 공간 중 어느 하나로 분류하는 주차 공간 분류부를 포함하는 것을 특징으로 하는 AVM 시스템.
삭제
제1항에 있어서,
상기 코너점 검출부는 허프 변환되어 검출된 직선들 각각의 길이와 직선을 구성하는 픽셀의 밀도를 이용하여 산출한 산출값이 가장 큰 직선을 베이스라인으로 결정하는 것을 특징으로 하는 AVM 시스템.
삭제
삭제
제1항에 있어서,
차량에 구비된 출력부에는 각 주차 공간이 가용 주차 공간인지 비가용 주차 공간인지를 나타내는 가상의 분류 식별자가 AVM 영상에 오버레이되어 출력되고,
가용 주차 공간인 어느 하나의 주차 공간이 선택되면, 상기 차량에 구비된 자율 주차 시스템은 선택된 가용 주차 공간에 상기 차량이 주차되도록 하는 자율 주차 기능을 수행하는 것을 특징으로 하는 AVM 시스템.
가용 주차 공간을 검출하기 위한 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은,
(a) AVM 영상에 라인 필터를 적용하여 중첩 피처맵을 생성하는 단계;
(b) 상기 중첩 피처맵을 대상으로 허프 변환을 적용하여 주차선의 베이스라인을 결정하고, 상기 베이스라인에 미리 지정된 각도로 연결되는 직선을 검출하여 상기 베이스라인과 상기 직선의 교점을 주차선의 코너점으로 검출하는 단계;
(c) 미리 저장된 주차선 데이터셋을 이용하여 딥러닝 기법으로 미리 학습된 물체 검출 모델을 상기 단계 (b)에서 검출된 코너점에 적용하여 교점이 아닌 코너점을 제외시키는 방식으로 검증하여 유효한 코너점을 선정하는 단계;
(d) 상기 베이스라인과 상기 유효한 코너점을 기준하여 주차선을 결정하는 단계;
(e) 주차 공간을 각각 구획하는 주차선의 양측 사이드라인의 임의의 한 점들을 서로 연결하여 주차 공간을 가로지르는 분석선을 설정하고, 각 주차 공간에 대해 설정된 분석선 영역의 픽셀 위치별 픽셀 강도값(intensity)을 나타내는 추이 그래프를 생성하는 단계; 및
(f) 각 주차 공간에 대해 생성된 추이 그래프의 변동률값을 미리 지정된 임계값과 비교하여 각 주차 공간을 가용 주차 공간과 비가용 주차 공간 중 어느 하나로 분류하는 단계를 포함하는 컴퓨터-판독가능 매체에 저장된 컴퓨터프로그램.
제7항에 있어서,
차량에 구비된 출력부에는 각 주차 공간이 가용 주차 공간인지 비가용 주차 공간인지를 나타내는 가상의 분류 식별자가 AVM 영상에 오버레이되어 출력되고,
가용 주차 공간인 어느 하나의 주차 공간이 선택되면, 상기 차량에 구비된 자율 주차 시스템은 선택된 가용 주차 공간에 상기 차량이 주차되도록 하는 자율 주차 기능을 수행하는 것을 특징으로 하는 컴퓨터-판독가능 매체에 저장된 컴퓨터프로그램.
제7항에 있어서,
상기 베이스라인은 상기 중첩 피처맵이 허프 변환되어 검출된 직선들 중 직선 길이와 직선을 구성하는 픽셀의 밀도를 이용하여 산출한 산출값이 가장 큰 직선인 것을 특징으로 하는 컴퓨터-판독가능 매체에 저장된 컴퓨터프로그램.
제7항에 있어서,
상기 단계 (d)에서, 허프 변환되어 검출된 직선들 중 상기 유효한 코너점에서 상기 베이스라인과 미리 지정된 각도로 연결되는 직선이 주차선을 형성하는 사이드라인으로 결정되고, 상기 베이스라인과 상기 사이드라인을 이용하여 주차선이 결정되는 것을 특징으로 하는 컴퓨터-판독가능 매체에 저장된 컴퓨터프로그램.