KR101470240B1 - 주차 영역 검출 장치 및 그 방법 - Google Patents

Abstract

주차 영역 검출 방법이 개시된다. 본 주차 영역 검출 방법은 차량 주변 환경을 촬상하여 탑 뷰(Top-View) 이미지를 생성하는 단계, 탑 뷰 이미지 내에서 제1 방향 주차선을 검출하는 단계, 탑 뷰 이미지 내에서 제1 방향 주차선과 상이한 방향의 제2 방향 주차선을 검출하는 단계 및 제1 방향 주차선 및 제2 방향 주차선을 조합하여 주차 영역을 검출하는 단계를 포함한다.

Description

주차 영역 검출 장치 및 그 방법{PARKING AREA DETECTING APPARATUS AND METHOD THEREOF}

본 발명은 주차 영역 검출 장치 및 그 방법에 관한 것으로 차량 주변에 위치하는 주차 영역을 검출하여 운전자에게 제공할 수 있는 주차 영역 추적 장치 및 그 방법에 관한 것이다.

일반적으로, 차량 내부에 탑승하는 운전자의 시계는 주로 전방을 향하도록 이루어진다. 따라서, 운전자의 좌우 측과 후방 시계는 차체에 의하여 상당부분 가려지기 때문에 매우 한정된 시계를 가진다. 이러한 문제를 해결하기 위하여 통상적으로 운전자의 한정된 범위의 시계를 보완하기 위한 거울을 포함하여 이루어지는 시계 보조수단(예를 들어, 사이드 미러 등)이 사용되고 있으며, 최근에는 차량의 외부의 영상을 촬영하여 운전자에게 제공하는 카메라수단을 포함하는 기술들이 차량에 적용되고 있는 추세이다.

그 중에서 현재 차량 주위에 복수의 카메라를 설치하여 차량 주변의 360°전방향의 영상을 보여주는 AVM(Around View Monitoring) 시스템이 있다. AVM 시스템은 차량 주변을 촬영하는 복수의 카메라를 통하여 촬상된 차량 주변의 영상을 조합하여 운전자가 하늘에서 차량을 바라보는 듯한 탑 뷰(Top View) 이미지를 제공함으로써, 차량 주변 장애물 및 주차 영역을 표시하고 사각지대 해소할 수 있게 해준다.

AVM 시스템에서 주차 공간을 검출할 때 주차 영역이 기둥 등의 장애물에 의해 탑 뷰 이미지 내에서 가려지는 경우 주차를 시작하는 순간 주차 구역을 검출하지 못하게 되는 문제점이 발생할 수 있다.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 기둥 등의 장애물에 의해 주차 영역이 가려지는 경우에도 주차 영역을 검출할 수 있는 주차 영역 추적 장치 및 그 방법을 제공함에 있다.

본 발명의 일 실시 예에 따른 주차 영역 검출 방법은, 차량 주변 환경을 촬상하여 탑 뷰(Top-View) 이미지를 생성하는 단계, 상기 탑 뷰 이미지 내에서 제1 방향 주차선을 검출하는 단계, 상기 탑 뷰 이미지 내에서 제1 방향 주차선과 상이한 방향의 제2 방향 주차선을 검출하는 단계 및 상기 제1 방향 주차선 및 상기 제2 방향 주차선을 조합하여 주차 영역을 검출하는 단계를 포함한다.

여기서, 상기 제1 방향 주차선을 검출하는 단계는, 상기 탑 뷰 이미지 내에 포함된 엣지 픽셀을 검출하는 단계, 상기 검출된 엣지 픽셀을 이용하여 상기 탑 뷰 이미지 내에서 평행한 두 직선을 검출하는 단계 및 상기 평행한 두 직선 사이의 영역을 제1 방향 주차선으로 설정하는 단계를 포함할 수 있다.

그리고, 상기 엣지 픽셀을 검출하는 단계는, 상기 탑 뷰 이미지 내에 포함된 엣지 픽셀 중 특정 방향을 가지는 엣지 픽셀을 검출할 수 있다.

또한, 상기 엣지 픽셀을 검출하는 단계는, 상기 엣지 픽셀 중 차량으로부터 기 설정된 거리 내에 존재하는 엣지 픽셀을 검출할 수 있다.

그리고, 상기 제2 방향 주차선을 검출하는 단계는, 상기 탑 뷰 이미지 내에 포함된 엣지 픽셀 중 상기 제1 방향 주차선과 기 설정된 각도를 이루는 엣지 픽셀을 검출하는 단계, 직선 형태의 템플릿을 이용하여 제1 방향 주차선의 위치별로 상기 템플릿과 상기 엣지 픽셀 간의 상이도를 측정하는 단계 및 상기 상이도의 지역 최소점(local minimum)의 위치를 상기 제2 방향 주차선의 위치로 판단하는 단계를 포함할 수 있다.

그리고, 상기 엣지 픽셀을 검출하는 단계는, 상기 제1 방향으로 픽셀값이 감소하는 엣지 픽셀 및 픽셀값이 증가하는 엣지 픽셀을 각각 검출할 수 있다.

그리고, 상기 주차 영역 검출 방법은, 상기 주차 영역을 구성하는 제2 방향 주차선의 상이도에 기초하여 주차 영역의 신뢰도를 산출하는 단계, 초음파 센서로부터 획득된 차량 주변 사물의 위치 정보를 이용하여 상기 주차 영역 내부의 점유도를 산출하는 단계 및 상기 신뢰도 및 상기 점유도에 기초하여 주차 영역을 결정하는 단계를 더 포함할 수 있다.

또한, 상기 주차 영역 검출 방법은, 과거 검출된 주차 영역이 존재하면 상기 과거 검출된 주차 영역에 대해 차량의 이동에 따른 현재 위치를 예측하는 단계, 상기 주차 영역을 상기 과거 검출된 주차 영역과 비교하여 겹치는 영역의 비율을 판단하는 단계 및 상기 겹치는 영역이 기 설정된 비율 이하이면 상기 주차 가능 영역을 새로운 주차 영역으로 등록하고, 기 설정된 비율을 초과하면 상기 주차 가능 영역 및 과거 검출된 주차 영역 중 하나를 선택하는 단계를 더 포함할 수 있다.

그리고, 상기 주차 영역 검출 방법은 상기 검출된 주차 영역 중 적어도 하나에 템플릿을 생성하여 주차 영역을 추적하는 단계를 더 포함할 수 있다.

또한, 상기 주차 영역 검출 방법은, 상기 탑 뷰 이미지 내에서 주차 영역이 검출되지 않으면, 과거 검출된 주차 영역에 대해 차량의 이동에 따른 현재 위치를 예측하는 단계 및 상기 탑 뷰 이미지 내에 상기 예측된 주차 영역을 표시하는 단계를 더 포함할 수 있다.

이상과 같은 본 발명의 다양한 실시 예에 따르면 차량 주변에 위치하는 주차 영역을 정확하게 검출할 수 있으며, 검출된 주차 영역을 등록하고 지속적으로 관리함으로써 현재 이미지에서 기둥 등 장애물에 의해 주차 영역이 일부 가려지거나 검출되지 않는 경우에도 주차 영역을 표시할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 주차 영역 검출 장치의 구성을 나타내는 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 주차 영역 검출 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 엣지 픽셀 검출 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 제1 방향 주차선 검출 결과를 보여주는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 템플릿을 이용한 상이도 측정 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 제2 방향 주차선 검출 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 주차 영역 검출 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따라 탑 뷰 이미지에 표시된 초음파 위치 정보를 나타내는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 주차 영역의 위치 예측 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 주차 영역 검출 결과를 나타내는 도면이다.
도 11는 본 발명의 일 실시 예에 따른 템플릿 설정 과정을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시 예에 따른 템플릿을 이용한 주차 영역 추적 결과를 나타내는 도면이다.

이하에서 첨부한 도면을 참조하여 본 발명에 대해 구체적으로 설명한다.

도 1은 본 발명의 일 실시 예에 따른 주차 영역 검출 장치의 구성을 나타내는 블럭도이다.

도 1에 따르면 주차 영역 검출 장치는 촬상부(110), 센싱부(120), 디스플레이부(130), 저장부(140) 및 제어부(150)를 포함한다.

촬상부(110)는 차량 주변 환경을 촬상한다. 촬상부(110)는 차량 주변 환경을 360°전(全)방향으로 촬상하기 위해 복수의 카메라로 구현될 수 있다. 예를 들어, 차량의 전면, 후면, 좌측면, 우측면에 설치된 네 개의 카메라로 구현될 수 있다. 그리고, 촬상부(110)는 적은 개수의 카메라로 차량 주변환경을 촬상하기 위해 광각 카메라로 구현될 수 있다.

촬상부(110)를 통해 촬상된 차량 주변의 이미지는 제어부(150)에 의한 영상 처리를 통해 차량의 위쪽에서 내려다보는 듯한 탑 뷰(Top View) 이미지로 변환될 수 있다. 촬상부(110)는 차량 주변 환경을 연속적으로 촬상함으로써 운전자에게 차량 주변 환경에 대한 정보를 지속적으로 제공할 수 있다.

센싱부(120)는 차량 상태에 대한 정보를 센싱한다. 센싱부(120)는 차량의 이동 거리 및 이동 방향을 감지할 수 있는 조향각 센서 및 휠 속도 센서를 포함할 수 있다. 또한, 센싱부(120)는 차량 주변 사물의 위치를 감지할 수 있는 초음파 센서를 포함할 수 있다.

디스플레이부(130)는 탑 뷰 이미지를 디스플레이한다. 또한, 디스플레이부(130)는 탑 뷰 이미지 내에 검출된 주차 영역 및 주차 영역에 설정된 템플릿을 디스플레이할 수 있다. 한편, 디스플레이부(130)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등 다양한 디스플레이 패널로 구현될 수 있으며, 투명 디스플레이 패널 또는 플렉서블 디스플레이 패널 등으로 구현될 수도 있다.

저장부(140)는 제어부(150)에 의해 검출된 주차 영역에 대한 정보를 저장한다. 저장부(140)는 탑 뷰 이미지에 포함된 주차 영역의 리스트를 저장할 수 있다. 이후, 차량의 이동에 따라 탑 뷰 이미지에서 새로운 주차 영역 및 기둥이 검출되면 새로운 주차 영역을 저장할 수 있다. 그리고, 저장부(140)는 제2 방향 주차선을 검출하기 위해 사용되는 템플릿 및 주차 영역을 추적하기 위해 주차 영역에 설정될 템플릿의 형태를 저장할 수 있다.

제어부(150)는 주차 영역 추적 장치(100)의 전반적인 동작을 제어한다. 그리고, 제어부(150)는 영상 처리를 통해 탑 뷰 이미지로부터 주차 영역을 검출할 수 있으며, 검출된 주차 영역에 대한 리스트를 관리할 수 있다. 그리고, 검출된 주차 영역에 템플릿을 설정하여 주차 영역을 추적할 수 있다. 또한, 탑 뷰 이미지 내에서 주차 영역이 검출되지 않는 경우에는 과거 검출된 주차 영역을 이용하여 주차 영역을 예측할 수 있다. 이하에서는 제어부(150)의 구체적인 구성에 대해 설명한다.

탑 뷰 이미지 생성부(151)는 촬상부(110)에서 촬상된 차량 주변 이미지들을 조합하여 탑 뷰 이미지를 생성할 수 있다.

주차 영역 검출부(152)는 탑 뷰 이미지 생성부(151)에서 생성된 탑 뷰 이미지 내에서 주차 영역을 검출한다. 주차 영역 검출부(152)는 주차선을 이용하여 주차 영역을 검출할 수 있다. 구체적으로, 주차 영역 검출부(152)는 탑 뷰 이미지 내에서 제1 방향 주차선을 검출하고, 제1 방향 주차선과 상이한 방향의 제2 방향 주차선을 검출할 수 있다. 그리고, 제1 방향 주차선 및 제2 방향 주차선을 조합하여 주차 영역을 검출할 수 있다.

제1 방향 주차선을 검출하기 위해 주차 영역 검출부(152)는 탑 뷰 이미지 내에 포함된 엣지 픽셀을 검출한다. 여기서, 주차 영역 검출부(152)는 탑 뷰 이미지 내에 포함된 엣지 픽셀 중 특정 방향을 가지는 엣지 픽셀을 검출할 수 있다. 또한, 탑 뷰 이미지 내에 포함된 엣지 픽셀 중 차량으로부터 기 설정된 거리 내에 존재하는 엣지 픽셀을 검출할 수 있다. 검출하는 엣지 픽셀을 한정함으로써 영상 처리 과정에서의 데이터 처리량을 감소시킬 수 있으며, 신속한 영상 처리가 가능해 진다. 그리고, 주차 영역 검출부(152)는 검출된 엣지 픽셀을 이용하여 평행한 두 직선을 검출할 수 있다. 평행한 두 직선이 검출되면 평행한 두 직선 사이의 영역을 제1 방향 주차선으로 설정할 수 있다.

그리고, 제2 방향 주차선을 검출하기 위해 주차 영역 검출부(152)는 탑 뷰 이미지 내에 포함된 엣지 픽셀 중 제1 방향 주차선과 수직을 이루는 엣지 픽셀을 검출할 수 있다. 그리고, 직선 형태의 템플릿을 이용하여 제1 방향 주차선의 위치별로 템플릿과 엣지 픽셀간의 상이도를 측정한다. 이 때, 제1 방향으로 픽셀값이 감소하는 엣지 픽셀 및 픽셀값이 증가하는 엣지 픽셀을 각각 검출하여 상이도를 측정할 수 있다. 상이도 측정 결과 상이도의 지역 최소점(local minimum)의 위치를 제2 방향 주차선의 위치로 판단하여 제2 방향 주차선을 검출할 수 있다.

제1 및 제2 방향 주차선이 검출되면 주차 영역 검출부(152)는 제1 및 제2 방향 주차선이 이루는 영역을 주차 영역으로 검출할 수 있다.

한편, 주차 영역 검출부(152)는 검출된 주차 영역의 신뢰성을 높이기 위해 검출된 주차 영역에 대한 신뢰도 및 점유도를 이용하여 최종 주차 영역을 결정할 수 있다. 구체적으로, 주차 영역 검출부(152)는 검출된 주차 영역을 구성하는 제2 방향 주차선의 상이도에 기초하여 주차 영역의 신뢰도를 산출하고, 센싱부(120)의 초음파 센서로부터 획득된 차량 주변 사물의 위치 정보를 이용하여 주차 영역 내부의 점유도를 산출한다. 그리고, 신뢰도 및 점유도에 기초하여 최종 주차 영역을 결정할 수 있다. 이에 따라, 주차 영역에 대한 신뢰성을 높일 수 있으며 실제 주차 가능한 주차 영역인지 여부를 알 수 있게 된다.

주차 영역 관리부(153)는 검출된 주차 영역을 주차 영역 리스트에 등록하여 관리, 추적한다. 즉, 주차 영역 검출부(152)는 탑 뷰 이미지가 생성될 때마다 주차 영역을 검출하며, 주차 영역 관리부(153)는 각각의 탑 뷰 이미지에서 검출된 주차 영역을 비교하여 새로운 주차 영역을 등록하거나 중복되는 주차 영역을 통합하여 관리할 수 있다.

주차 영역 관리부(153)는 주차 영역 검출부(152)에 의해 주차 영역이 검출되면 과거 검출된 주차 영역이 존재하는지 판단한다. 과거 검출된 주차 영역이 존재하지 않으면 현재 검출된 주차 영역을 새로운 주차 영역으로 판단하고 주차 영역 리스트에 등록할 수 있다. 과거 검출된 주차 영역이 존재하면 현재 검출된 주차 영역과 과거 검출된 주차 영역을 비교하여 현재 검출된 주차 영역이 새롭게 검출되었는지, 아니면 과거 검출된 주차 영역이 반복되어 검출되었는지를 판단할 수 있다. 구체적으로, 주차 영역 관리부(153)는 과거 검출된 주차 영역에 대해 차량의 이동에 따른 현재 위치를 예측한다. 그리고, 현재 검출된 주차 영역과 위치가 예측된 과거 검출된 주차 영역과 비교하여 겹치는 영역의 비율에 따라 현재 검출된 주차 영역이 새로운 주차 영역인지 여부를 판단할 수 있다.

그리고, 주차 영역 관리부(153)는 장애물 등에 의해 현재 탑 뷰 이미지 내에서 주차 영역이 검출되지 않는 경우에도, 주차 영역 리스트에 등록된 주차 영역에 대해 차량의 이동에 따른 현재 위치를 예측하여 탑 뷰 이미지에 예측된 주차 영역을 표시할 수 있다.

템플릿 생성부(154)는 주차 영역 리스트에 등록된 주차 영역 중 적어도 하나에 템플릿을 생성할 수 있다. 그리고, 생성된 템플릿을 이용하여 주차 영역을 지속적으로 추적할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 주차 영역 검출 방법을 설명하기 위한 흐름도이다.

도 2에 따르면 주차 영역 검출 장치(100)는 먼저, 탑 뷰 이미지를 생성한다(S201). 구체적으로, 차량 주변 환경을 360°전(全) 방향으로 촬상하고, 촬상된 이미지들을 조합하여 탑 뷰 이미지를 생성할 수 있다.

그리고, 탑 뷰 이미지가 생성되면 탑 뷰 이미지 내에서 제1 방향 주차선을 검출한다(S202). 제1 방향은 동일한 형상의 복수의 주차구역이 연속되어 있을 때, 각 주차 구역의 입구선을 이은 선이 가리키는 방향을 의미한다. 여기서, 제1 방향 주차선을 검출하는 과정을 설명하기 전에 이해를 돕기위해 제1 방향 주차선의 특징에 대해 설명한다.

제1 방향 주차선은 주차 영역의 특성상 주차 공간 탐색 시 차량의 진행 방향과 유사한 방향을 가질 수 있으며, 일반적인 도로의 폭이나 카메라 사양 등을 고려한 관심영역 내에 존재할 수 있다. 그리고, 제1 방향 주차선은 바닥면에 비해 밝은 색상으로 그려져 있으며, 이에 따라 어두운 색에서 밝은 색으로 변하는 직선 및 밝은 색에서 어두운 색으로 변하는 직선으로 구성될 수 있다.

제1 방향 주차선을 검출하기 위해 우선 탑 뷰 이미지 내에서 엣지 픽셀을 검출할 수 있다. 이에 대해 도 3을 참조하여 설명한다.

도 3은 본 발명의 일 실시 예에 따른 엣지 픽셀 검출 과정을 설명하기 위한 도면이다.

도 3의 (a)는 차량 주변을 촬상하여 생성한 탑 뷰 이미지를 나타낸다. 도 3의 (a)를 참조하면 차량의 좌측으로 제1 방향 주차선이 존재함을 알 수 있다. 도 3의 (b)는 도 3의 (a)에 도시된 탑 뷰 이미지 내에서 엣지 픽셀을 검출한 결과를 나타낸다. 도 3의 (b)를 참조하면 탑 뷰 이미지 내에서 제1 방향 주차선 뿐만 아니라 엣지를 가지는 다양한 픽셀이 모두 검출될 수 있다. 따라서, 주차 영역 검출 장치(100)는 영상 처리량을 감소시키기고 제1 방향 주차선의 검출률을 향상시키기 위해 차량으로부터 기 설정된 거리(예를 들어, 150cm) 내에 존재하는 엣지 픽셀을 검출할 수 있다. 그리고, 기 설정된 방향(예를 들어, 차량의 이동 방향을 기준으로 ±45°또는 ±30°이내)을 가지는 엣지 픽셀을 검출할 수 있다.

탑 뷰 이미지 내에서 엣지 픽셀이 검출되면 검출된 엣지 픽셀을 이용하여 평행한 두 직선을 검출한다. 평행한 두 직선은 하기의 수학식 1로 표현할 수 있다.

이론상으로 평행한 두 직선을 결정하기 위해서는 미지수 a, b, c가 결정되어야 하며, 평행한 두 직선상에 존재하는 점 세개 이상의 좌표를 알면 미지수 a, b, c를 결정할 수 있다. 따라서, 엣지 픽셀의 좌표를 상기 방정식에 대입하여 평행한 두 직선을 검출할 수 있다. 다만, 제1 방향 주차선상에 존재하지 않는 엣지 픽셀도 검출될 수 있으므로 최소자승오차(least square error)를 최소화하는 두 직선을 검출할 수 있다. 또한, 제1 방향 주차선상에 존재하지 않는 엣지 픽셀의 영향을 최소화하기 위하여 RANSAC(RANdom SAmple Consensus) 알고리즘을 이용하여 평행한 두 직선을 검출할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 제1 방향 주차선 검출 결과를 보여주는 도면이다.

도 4를 참조하면 상술한 방법으로 다양한 주차 환경에서 제1 방향 주차선을 정학하게 검출할 수 있음을 알 수 있다. 특히, 도 4의 (d) 및 (e)를 참조하면 제1 방향 주차선이 불연속적으로 이루어진 경우에도 제1 방향 주차선을 정확하게 검출할 수 있음을 알 수 있다. 또한, 도 4의 (g) 및 (h)를 참조하면 탑 뷰 이미지가 흐려서 주차선을 구분하기 힘든 경우에도 제1 방향 주차선을 정확하게 검출할 수 있음을 알 수 있다.

평행한 두 직선이 검출되면 두 직선 사이의 영역을 제1 방향 주차선으로 설정할 수 있다. 두 직선 사이의 거리는 제1 방향 주차선의 두께에 해당한다.

제1 방향 주차선이 검출되면 제2 방향 주차선을 검출한다(S203). 제2 방향 주차선은 제1 방향 주차선과 수직(직각주차 또는 평행주차의 경우)하거나 일정한 각도(사선 주차의 경우)를 이루는 주차선을 의미한다. 제2 방향 주차선도 제1 방향 주차선과 같이 바닥면에 비해 밝은 색상으로 그려져 있으며, 이에 따라 어두운 색에서 밝은 색으로 변하는 직선 및 밝은 색에서 어두운 색으로 변하는 직선으로 구성될 수 있다.

제2 방향 주차선을 검출하기 위해 우선 제1 방향 주차선과 기 설정된 각도(예를 들어, 직각주차 또는 평행주차 구획의 경우 ±90°)를 이루는 엣지 픽셀을 검출한다. 제2 방향 주차선은 제1 방향 주차선과 주차 구획의 형상에 따라 상대 각도를 특정지을 수 있으므로, 특정 엣지 픽셀을 검출할 수 있다. 그리고, 직선 형태의 템플릿을 이용하여 제1 방향 주차선의 위치별로 템플릿과 엣지 픽셀 간의 상이도를 측정한다. 상이도 측정 결과 기 설정된 값 이하의 상이도를 가지는 위치를 제2 방향 주차선의 위치로 판단할 수 있다. 제2 방향 주차선을 검출하는 과정에 대해 도 5 및 도 6을 참조하여 구체적으로 설명한다.

도 5는 본 발명의 일 실시 예에 따른 템플릿을 이용한 상이도 측정 과정을 설명하기 위한 도면이다.

도 5의 (a) 및 (b)를 참조하면 직각주차 구획 예시에서 제1 방향 주차선과 수직을 이루는 검출된 엣지 픽셀이 검출되어 있다. 여기서, 제2 방향 주차선 검출을 위해 엣지 픽셀을 검출할 때 제1 방향으로 픽셀값이 감소하는 엣지 픽셀과 픽셀값이 증가하는 엣지 픽셀을 각각 검출할 수 있다. 도 5의 (a)는 제1 방향 주차선과 수직을 이루는 엣지 픽셀 중 탑 뷰 이미지의 아래 방향으로 어두운 색에서 밝은 색으로 변하는 엣지 픽셀을 검출한 결과를 보여준다. 그리고, 도 5의 (b)는 제1 방향 주차선과 수직을 이루는 엣지 픽셀 중 탑 뷰 이미지의 아래 방향으로 밝은 색에서 어두운 색으로 변하는 엣지 픽셀을 검출한 결과를 보여준다.

엣지 픽셀이 검출되면 도 5의 (a) 및 (b)에 표시된 것과 같은 직선 형태의 템플릿을 이용하여 제1 방향 주차선을 따라 이동시키면서 제1 방향 주차선의 위치별로 템플릿과 엣지 픽셀 간의 상이도를 측정한다. 상이도 측정은 Chamfer Maching 알고리즘과 같은 매칭 알고리즘을 이용하여 측정할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 제2 주차선 검출 과정을 설명하기 위한 도면이다.

도 6의 (a) 및 (b)는 각각 도 5의 (a) 및 (b) 영상에서 템플릿을 이용한 상이도 측정 결과를 나타낸다. 도 6의 (a) 및 (b)에 도시된 그래프는 제1 방향 주차선의 위치별 템플릿과 엣지 픽셀 간의 상이도를 나타내며, 제1 방향 주차선에 근접할수록 낮은 상이도 값을 나타낸다.

상이도 측정 결과 상이도의 지역 최소점(local minimum)의 위치를 제2 방향 주차선의 위치로 판단하여 제2 방향 주차선을 검출할 수 있다. 도 6의 (c)는 도 6의 (a) 및 (b)에서 지역 최소점으로 검출된 위치를 제2 방향 주차선으로 판단하여 제2 방향 주차선에 대응하는 직선을 표시한 결과를 나타낸다.

한편, 제2 방향 주차선을 검출할 때 기둥 등의 장애물로 인해 제2 방향 주차선을 구성하는 두 직선 중 하나의 직선만이 검출되는 상황이 발생할 수 있으나 하나의 직선만으로도 제2 방향 주차선으로 인식할 수 있다. 도 6의 (c)를 참조하면 제2 방향 주차선 네 개 중 하단의 세 주차선은 제1 방향 주차선과 같이 두 개의 직선이 검출되어 제2 방향 주차선으로 인식할 수 있다. 그리고, 탑 뷰 이미지의 최상단에 위치하는 제2 방향 주차선은 주차선을 구성하는 두 직선 중 밝은 색에서 어두운 색으로 변하는 직선만이 검출되었으나, 제2 방향 주차선으로 인식할 수 있다. 즉, 제2 방향 주차선 검출은 직선 하나로도 검출할 수 있고, 직선 두 개로도 검출할 수 있는 multiple hypothesis 방식을 사용할 수 있다.

제1 방향 주차선 및 제2 방향 주차선이 검출되면 제1 방향 주차선 및 제2 방향 주차선을 조합하여 주차 영역을 검출할 수 있다(S204). 이에 대해 도 7을 참조하여 설명한다.

도 7은 본 발명의 일 실시 예에 따른 주차 영역 검출 과정을 설명하기 위한 도면이다.

도 7을 참조하면 제1 방향 주차선 및 제2 방향 주차선을 조합하여 검출된 정사각형 형태의 주차 영역이 표시되어 있다. 상술한 바와 같이 제2 방향 주차선은 하나의 직선 또는 두 개의 직선으로 검출될 수 있다. 따라서, 제1 방향 주차선 및 제2 방향 주차선을 조합하여 검출된 주차 영역의 제2 방향 주차선은 두 개, 세 개 또는 네 개의 직선으로 이루어질 수 있다. 도 7에 검출된 세 개의 주차 영역 중 최상단의 주차 영역은 세 개의 직선으로 검출된 주차 영역에 해당하며, 나머지 두 개의 주차 영역은 네 개의 직선으로 검출된 주차 영역에 해당한다.

한편, 주차 영역 검출 장치(100)는 탑 뷰 이미지 내에서 주차 영역이 검출되면 검출된 주차 영역의 신뢰성을 높이기 위해 검출된 주차 영역에 대한 신뢰도 및 점유도를 이용하여 최종 주차 영역을 결정할 수 있다. 즉, 탑 뷰 이미지 내에서 주차 영역이 검출되면, 제2 방향 주차선의 상이도에 기초하여 주차 영역의 신뢰도를 산출하고, 초음파 센서로부터 획득된 차량 주변 사물의 위치 정보를 이용하여 주차 영역 내부의 점유도를 산출할 수 있다. 산출된 신뢰도 및 점유도에 기초하여 주차 영역을 결정할 수 있다.

주차 영역에 대한 신뢰도는 주차 영역을 구성하는 제2 방향 주차선의 상이도에 기초하여 결정될 수 있다. 구체적으로, 주차 영역의 신뢰도는 주차 영역을 구성하는 두 개의 제2 방향 주차선의 신뢰도의 평균값이 될 수 있다. 그리고, 제2 방향 주차선 각각의 신뢰도는 제2 방향 주차선을 구성하는 직선의 상이도에 기초하여 결정될 수 있다. 제2 방향 주차선이 하나의 직선에 의해 검출된 경우 직선의 상이도 값을 0 내지 1 사이의 값을 가지도록 정규화하여 제2 방향 주차선의 신뢰도로 산출할 수 있다. 그리고, 제2 방향 주차선이 두 개의 직선에 의해 검출된 경우 두 개의 직선의 상이도 값 중 작은 상이도 값을 0 내지 1 사이의 값을 가지도록 정규화하여 제2 방향 주차선의 신뢰도를 산출할 수 있다.

그리고, 주차 영역에 대한 점유도는 초음파 센서로부터 획득된 차량 주변 사물의 위치 정보를 이용하여 판단할 수 있다. 이에 대해 도 8을 참조하여 설명한다.

도 8은 본 발명의 일 실시 예에 따라 탑 뷰 이미지에 표시된 초음파 위치 정보를 나타내는 도면이다.

주차 영역 검출 장치(100)는 과거 탑 뷰 이미지 내에서 검출된 차량 주변 사물의 초음파 정보를 차량의 이동을 고려하여 현재의 위치를 예측할 수 있다. 조향각 센서 및 휠 속도 센서로부터 획득된 정보를 이용하여 차량의 이동 방향 및 거리를 예측할 수 있으며, 차량의 이동 방향 및 거리를 이용하여 현재 탑 뷰 이미지 내에서 초음파 정보의 위치를 예측할 수 있다.

도 8의 (a)를 참조하면 과거에 획득된 복수의 초음파 위치 정보를 차량의 이동을 고려하여 현재의 탑 뷰 이미지 내에 표시한 결과를 보여준다. 도 8의 (a)에 표시된 초음파 정보 중 흰색 원으로 표시된 정보(positive 출력)는 초음파 센서로 측정 가능한 거리 내에 사물이 존재하여 그 위치를 표시한 경우이며, 검은색 원으로 표시된 정보(negative 출력)는 초음파 센서로 측정 가능한 거리 내에 사물이 존재하지 않은 경우를 나타낸다. 도 8의 (a)에 표시된 초음파 정보는 불연속적인 점으로 표시되므로 이를 연속적인 형태로 변경할 수 있다. 도 8의 (b)는 도 8의 (a)에 표시된 초음파 정보를 연속적인 형태로 변경한 결과를 나타낸다. 도 8의 (b)에서는 kernel density estimator를 이용하여 positive 출력 및 negative 출력을 각각 연속적인 형태로 변경하였다. 연속적인 형태의 초음파 정보가 획득되면 주차 영역별로 전체 초음파 정보 대비 positive 출력을 가지는 초음파 정보의 비율을 계산하여 점유도로 산출할 수 있다. 점유도는 확률에 해당하므로 0 내지 1 사이의 값을 가질 수 있다.

주차 영역에 대한 신뢰도 및 점유도가 산출되면 신뢰도 및 점유도에 기초하여 최종적으로 주차 영역을 결정할 수 있다. 구체적으로, 신뢰도 및 점유도에 가중치를 부여(예를 들어, 신뢰도에 0.3 점유도에 0.7의 가중치 부여)하여 합산할 수 있다. 합산한 값이 기 설정된 값 이하인 경우 주차 영역으로 결정하고 기 설정된 값을 초과하는 경우 주차 영역으로 선택하지 않을 수 있다. 신뢰도 및 점유도에 부여되는 가중치는 차량 주변 환경에 따라 변경될 수 있다. 예를 들어, 탑 뷰 이미지 내에 주차선이 선명하게 표시되어 있거나, 기둥 등의 장애물이 존재하지 않는 경우에는 신뢰도에 부여되는 가중치를 높게 설정할 수 있으며, 가중치의 합은 1이 될 수 있다.

탑 뷰 이미지 내에서 주차 영역이 검출되면 과거 검출된 주차 영역이 존재하는지 판단한다(S205). 구체적으로, 주차 영역 리스트에 등록된 주차 영역이 존재하면 과거 검출된 주차 영역이 존재한다고 판단할 수 있으며, 주차 영역 리스트에 등록된 주차 영역이 존재하지 않으면 과거 검출된 주차 영역이 존재하지 않는다고 판단할 수 있다.

과거 검출된 주차 영역이 존재하지 않으면(S205-N), 검출된 주차 영역을 주차 영역 리스트에 등록한다(S210). 그리고, 과거 검출된 주차 영역이 존재하면(S205-Y), 과거 검출된 주차 영역의 현재 위치를 예측한다(S206). 이에 대해, 도 9를 참조하여 구체적으로 설명한다.

도 9는 본 발명의 일 실시 예에 따른 주차 영역의 위치 예측 과정을 설명하기 위한 도면이다.

도 9의 (a)는 과거 탑 뷰 이미지에서 검출된 주차 영역을 나타낸다. 과거 검출된 주차 영역의 현재 위치는 초음파 정보와 같은 방식으로 예측할 수 있다. 즉, 조향각 센서 및 휠 속도 센서로부터 획득된 정보를 이용하여 차량의 이동 방향 및 거리를 예측하고, 차량의 이동 방향 및 거리를 이용하여 현재 탑 뷰 이미지 내에서 과거 검출된 주차 영역의 위치를 예측할 수 있다. 도 9의 (b)는 차량의 이동 방향을 고려하여 예측된 과거 주차 영역을 나타낸다. 다만, 예측된 주차 영역은 도 9의 (b)에서와 같이 실제 주차 영역과 오차가 발생할 수 있다. 예측된 주차 영역에 오차가 발생하는 경우에는 예측된 주차 영역의 위치를 보정할 수 있다. 도 9의 (c)와 같이 과거 주차 영역의 제1 방향 주차선을 현재 탑 뷰 이미지에서 검출된 제1 방향 주차선에 투영시키고, 제2 방향 주차선을 현재 탑 뷰 이미지에서 검출된 제1 방향 주차선과 수직을 이루도록 보정할 수 있다. 도 9의 (d)는 예측된 주차 영역의 위치를 보정한 결과를 나타낸다.

이후, 과거 검출된 주차 영역의 현재 위치가 예측되면 현재 검출된 주차 영역을 과거 검출된 주차 영역과 비교하여(S207), 겹치는 영역이 기 설정된 비율 이상인지 판단한다(S208). 주차 영역의 비교는 주차 영역의 제1 방향 주차선의 너비를 한변의 길이로 하는 정사각형 영역을 설정하여 겹치는 영역의 비율을 판단할 수 있다. 이 때, 정사각형 영역의 교집합과 합집합의 비율을 의미하는 Jaccard coeeficient를 사용하여 측정할 수 있다. 두 주차 구역이 완전히 일치하는 경우 Jaccard coeeficient는 1이 되며 전혀 겹치지 않는 경우 0이 될 수 있다.

판단 결과 겹치는 영역이 기 설정된 비율(예를 들어, 50%) 미만이면(S208-N), 현재 탑 뷰 이미지에서 검출된 주차 영역을 새로운 주차 영역으로 등록할 수 있다(S210). 겹치는 영역이 기 설정된 비율 이상이면(S208-Y), 과거 검출된 주차 영역이 반복 검출된 것으로 판단하여 현재 검출된 주차 영역과 과거 검출된 주차 영역 중 하나를 선택한다(S209). 여기서, 주차 영역의 신뢰도 및 점유도를 합산한 값이 작은 주차 영역을 선택할 수 있다. 그리고, 선택된 주차 영역을 주차 영역 리스트에 등록하고(S210), 반복 검출 횟수를 갱신한다. 주차 영역을 주차 영역 리스트에 등록할 때 해당 주차 영역에 대응하는 신뢰도 및 점유도가 함께 등록될 수 있으며, 동일한 주차 영역이 반복적으로 검출되는 경우에는 반복 검출 횟수를 함께 등록할 수 있다.

한편, 단계 S208 내지 S210에서 겹치는 영역의 비율이 기 설정된 값 이상인지 미만인지 여부로 새로운 주차 영역인지 여부를 판단하였으나 실시 예에 따라 겹치는 영역의 비율을 세 개의 구간으로 나누어 등록 여부를 결정할 수 있다. 즉, 겹치는 영역의 비율이 T1(예를 들어, 20%) 이하인 경우, T2(예를 들어, 80%) 이상인 경우 및 T1과 T2 사이인 경우로 나눌 수 있다.

구체적으로, 겹치는 영역의 비율이 T1 이하인 경우에는 현재 검출된 주차 영역을 새로운 주차 영역으로 판단하여 주차 영역 리스트에 등록할 수 있다. 그리고, 겹치는 영역의 비율이 T2 이상인 경우에는 현재 검출된 주차 영역과 과거 검출된 주차 영역을 동일한 주차 영역으로 판단하여, 신뢰도 및 점유도를 합산한 값이 작은 주차 영역을 선택하고 반복 검출 횟수를 갱신할 수 있다. 겹치는 영역의 비율이 T1 및 T2 사이인 경우 오차에 의해 동일하지 않은 주차 영역이 겹쳐져서 검출되었다고 판단하여 신뢰도 및 점유도를 합산한 값이 작고, 반복 검출 횟사가 많은 주차 영역을 우선으로 선택할 수 있다. 다만, 동일한 주차 영역이 반복 검출된 것이 아니므로 반복 검출 횟수를 갱신하지는 않는다.

한편, 주차 영역 검출 장치(100)는 현재 탑 뷰 이미지 내에서 주차 영역이 검출되지 않으면, 도 9에서 설명한 과정과 유사하게 과거 검출된 주차 영역에 대해 차량의 이동에 따른 현재 위치를 예측할 수 있으며, 예측된 주차 영역을 현재 탑 뷰 이미지에 표시할 수 있다.

도 10은 본 발명의 일 실시 예에 따른 주차 영역 검출 결과를 나타내는 도면이다.

도 10을 참조하면 다양한 상황에서 주차 영역이 명확하게 검출됨을 알 수 있다. 또한, 기둥에 의해 주차 영역 일부가 가려지는 경우에도 주차 영역을 검출할 수 있으며, 다른 차량이 주차하여 주차가 불가능한 주차 영역은 검출하지 않음을 알 수 있다.

상술한 주차 영역 검출 방법에 따르면 차량 주변에 위치하는 주차 영역을 정확하게 검출할 수 있으며, 검출된 주차 영역을 등록하고 지속적으로 관리함으로써 현재 이미지에서 기둥 등 장애물에 의해 주차 영역이 검출되지 않는 경우에도 주차 영역을 표시할 수 있다.

한편, 주차 영역이 검출되면 검출된 주차 영역 중 적어도 하나에 템플릿을 설정하여 주차 영역을 추적할 수 있다. 이에 대해 도 11 및 도 12을 참조하여 설명한다.

도 11는 본 발명의 일 실시 예에 따른 템플릿 설정 과정을 설명하기 위한 도면이다. 도 11의 (a)는 탑 뷰 이미지에서 주차 영역을 검출한 결과를 보여준다. 그리고, 도 11의 (b)는 검출된 주차 영역에 주차 영역의 형태와 유사한 'ㅠ' 모양의 템플릿을 설정한 결과를 보여준다. 템플릿의 형태는 주차 영역을 구성하는 주차선과 유사하게 'ㄷ' 또는 'ㅠ' 와 같이 설정될 수 있다. 다만, 주차선의 두께는 주차 영역을 검출하기 전까지 확정할 수 없으므로 탑 뷰 이미지에서 검출된 주차선들로부터 추정할 수 있으며, median 연산자를 사용하여 템플릿의 두께를 추정할 수 있다.

도 12는 본 발명의 일 실시 예에 따른 템플릿을 이용한 주차 영역 추적 결과를 나타내는 도면이다.

도 12의 (a) 내지 (c)는 검출된 주차 영역에 'ㅠ' 모양의 템플릿을 설정한 후 주차하는 과정에서 지속적으로 주차 영역을 추적한 결과를 보여준다. 도 12의 (b)를 참조하면 차량의 좌측에 존재하는 기둥에 의해 제2 방향 주차선이 가려졌음에도 효과적으로 주차 영역을 추적함을 알 수 있다.

상술한 본 발명의 다양한 실시 예들에 따른 주차 영역 검출 방법은 단말 장치에서 실행 가능한 프로그램으로 구현될 수 있다. 그리고, 이러한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.

구체적으로는, 상술한 방법들을 수행하기 위한 코드는, 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 다양한 유형의 비휘발성 기록 매체에 저장되어 있을 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 ; 주차 영역 검출 장치 110 : 촬상부
120 : 센싱부 130 : 디스플레이부
140 : 저장부 150 : 제어부

Claims (10)

1. 차량 주변 환경을 촬상하여 탑 뷰(Top-View) 이미지를 생성하는 단계;
   상기 탑 뷰 이미지 내에서 제1 방향 주차선을 검출하는 단계;
   상기 탑 뷰 이미지 내에서 제1 방향 주차선과 상이한 방향의 제2 방향 주차선을 검출하는 단계; 및
   상기 제1 방향 주차선 및 상기 제2 방향 주차선을 조합하여 주차 영역을 검출하는 단계;를 포함하는 것을 특징으로 하는 주차 영역 검출 방법.
2. 제1항에 있어서,
   상기 제1 방향 주차선을 검출하는 단계는,
   상기 탑 뷰 이미지 내에 포함된 엣지 픽셀을 검출하는 단계;
   상기 검출된 엣지 픽셀을 이용하여 상기 탑 뷰 이미지 내에서 평행한 두 직선을 검출하는 단계; 및
   상기 평행한 두 직선 사이의 영역을 제1 방향 주차선으로 설정하는 단계;를 포함하는 것을 특징으로 하는 주차 영역 검출 방법.
3. 제2항에 있어서,
   상기 엣지 픽셀을 검출하는 단계는,
   상기 탑 뷰 이미지 내에 포함된 엣지 픽셀 중 특정 방향을 가지는 엣지 픽셀을 검출하는 것을 특징으로 하는 주차 영역 검출 방법.
4. 제2항에 있어서,
   상기 엣지 픽셀을 검출하는 단계는,
   상기 엣지 픽셀 중 차량으로부터 기 설정된 거리 내에 존재하는 엣지 픽셀을 검출하는 것을 특징으로 하는 주차 영역 검출 방법.
5. 제1항에 있어서,
   상기 제2 방향 주차선을 검출하는 단계는,
   상기 탑 뷰 이미지 내에 포함된 엣지 픽셀 중 상기 제1 방향 주차선과 기 설정된 각도를 이루는 엣지 픽셀을 검출하는 단계;
   직선 형태의 템플릿을 이용하여 제1 방향 주차선의 위치별로 상기 템플릿과 상기 엣지 픽셀 간의 상이도를 측정하는 단계; 및
   상기 상이도의 지역 최소점(local minimum)의 위치를 상기 제2 방향 주차선의 위치로 판단하는 단계;를 포함하는 것을 특징으로 하는 주차 영역 검출 방법.
6. 제5항에 있어서,
   상기 엣지 픽셀을 검출하는 단계는,
   상기 제1 방향으로 픽셀값이 감소하는 엣지 픽셀 및 픽셀값이 증가하는 엣지 픽셀을 각각 검출하는 것을 특징으로 하는 주차 영역 검출 방법.
7. 제1항에 있어서,
   상기 주차 영역을 구성하는 제2 방향 주차선의 상이도에 기초하여 주차 영역의 신뢰도를 산출하는 단계;
   초음파 센서로부터 획득된 차량 주변 사물의 위치 정보를 이용하여 상기 주차 영역 내부의 점유도를 산출하는 단계; 및
   상기 신뢰도 및 상기 점유도에 기초하여 주차 영역을 결정하는 단계;를 더 포함하는 것을 특징으로 하는 주차 영역 검출 방법.
8. 제1항에 있어서,
   과거 검출된 주차 영역이 존재하면 상기 과거 검출된 주차 영역에 대해 차량의 이동에 따른 현재 위치를 예측하는 단계;
   상기 주차 영역을 상기 과거 검출된 주차 영역과 비교하여 겹치는 영역의 비율을 판단하는 단계; 및
   상기 겹치는 영역이 기 설정된 비율 이하이면 상기 주차 가능 영역을 새로운 주차 영역으로 등록하고, 기 설정된 비율을 초과하면 상기 주차 가능 영역 및 과거 검출된 주차 영역 중 하나를 선택하는 단계;를 더 포함하는 것을 특징으로 하는 주차 영역 검출 방법.
9. 제1항에 있어서,
   상기 검출된 주차 영역 중 적어도 하나에 템플릿을 생성하여 주차 영역을 추적하는 단계;를 더 포함하는 것을 특징으로 하는 주차 영역 검출 방법.
10. 제1항에 있어서,
    상기 탑 뷰 이미지 내에서 주차 영역이 검출되지 않으면, 과거 검출된 주차 영역에 대해 차량의 이동에 따른 현재 위치를 예측하는 단계; 및
    상기 탑 뷰 이미지 내에 상기 예측된 주차 영역을 표시하는 단계;를 더 포함하는 것을 특징으로 하는 주차 영역 검출 방법.

Images