KR101983448B1 - 자동 주차를 위한 주차선 검출 방법 - Google Patents

Abstract

차량에 의해 가려지는 주차선을 예측 또는 복원하고, 주차선 주변의 장애물이 주차선으로 오검출되는 것을 방지하여 보다 정확하게 주차선을 검출할 수 있는 주차선 검출 방법이 개시된다. 개시된 자동 주차를 위한 주차선 검출 방법은 차량에 장착된 카메라로부터 획득된 차량 주변 영상을 이용하여, 노면에 표시된 주차선을 검출하는 단계; 및 상기 차량의 움직임 정보 및 상기 검출된 주차선에 기반하여, 상기 차량의 이동에 따른 주차선을 예측하는 단계를 포함한다.

Description

자동 주차를 위한 주차선 검출 방법{PARKING LINE DETECTION METHOD FOR AUTOMATIC PARKING}

본 발명은 자동 주차를 위한 주차선 검출 방법에 관한 것으로서, 더욱 상세하게는 차량에 의해 가려지는 주차선을 예측 또는 복원하고, 주차선 주변의 장애물이 주차선으로 오검출되는 것을 방지하여 보다 정확하게 주차선을 검출할 수 있는 방법에 관한 것이다.

주차공간을 인식하기 위해서는 기본적으로 두 가지 기술이 요구된다. 비어있는 공간을 인식하는 것과 주차구획을 인식하는 것이다. 따라서 관련기술은 공간을 인식 방법과, 주차구획표시(parking slot marking)를 인식하는 방법으로 분류될 수 있다.

공간인식 방법은 차량이 주차 가능한 비어있는 공간을 찾는 방법으로, 현재 상용화되어 있는 대부분의 주차보조 시스템(parking assistance system; PAS) 제품이 이 방법을 사용한다. 이 방법은 공간을 인식하는 센서에 따라 구분될 수 있으며, 사용되는 센서로는 초음파 센서가 가장 많이 사용된다. 그 외 라이다(LiDAR) 센서, 레이더 센서등도 사용되며, 최근에는 비전 기술에 기반한 공간인식기술 연구가 활발하게 진행되고 있다.

주차구획표시, 즉 주차선 인식 방법은 비전 기술을 이용하여 주차선을 검출하는 방법이다. 카메라로 취득된 영상에 Hough transform, Radon transform 등을 적용하여 주차선을 검출한다.

차량이 주차선 상에 위치하는 상황에서 비전 기반으로 주차선을 인식할 경우, 카메라로부터 찰영된 영상에 일부 주차선이 가려지기 때문에, 미검출되는 주차선이 발생할 수 있으며, 주차선 주변의 장애물이 존재할 경우, 장애물이 주차선으로 검출되는 등 오검출의 가능성이 있다.

관련된 선행문헌으로 대한민국 공개특허 제2016-0123668호가 있다.

본 발명은 차량에 의해 가려지는 주차선을 예측 또는 복원하여, 보다 정확하게 주차선을 검출할 수 있는 자동 주차를 위한 주차선 검출 방법을 제공하기 위한 것이다.

또한 본 발명은 주차선 주변의 장애물이 주차선으로 오검출되는 것을 방지할 수 있는 자동 주차를 위한 주차선 검출 방법을 제공하기 위한 것이다.

상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 차량에 장착된 카메라로부터 획득된 차량 주변 영상을 이용하여, 노면에 표시된 주차선을 검출하는 단계; 및 상기 차량의 움직임 정보 및 상기 검출된 주차선에 기반하여, 상기 차량의 이동에 따른 주차선을 예측하는 단계를 포함하는 자동 주차를 위한 주차선 검출 방법이 제공된다.

또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 차량에 장착된 카메라로부터 획득된 차량 주변 영상을 이용하여, 노면에 표시된 주차선을 검출하는 단계; 및 상기 차량의 움직임 정보 및 상기 검출된 주차선에 기반하여, 상기 차량의 이동에 따라 미검출되는 주차선을 복원하는 단계를 포함하는 자동 주차를 위한 주차선 검출 방법이 제공된다.

본 발명에 따르면, 차량이 주차선 상에 위치하지 않을 때 검출된 주차선과, 차량의 움직임을 이용하여, 차량의 이동에 따른 주차선을 예측함으로써, 차량에 의해 가려져 검출되기 어려운 주차선을 복원할 수 있다.

또한 본 발명에 따르면, 주차선 주변의 장애물이 주차선으로 오검출되는 것을 방지할 수 있다.

도 1은 본 발명의 일실시예에 따른 주차선 검출 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 주차선 검출 방법을 나타내는 흐름도이다.
도 3은 주차구역 부근에서의 차량의 움직임을 나타내는 도면이다.
도 4는 차량의 움직임에 따른 차량 주변 영상을 나타내는 도면이다.
도 5는 복원된 주차선을 나타내는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 주차선 검출 방법을 나타내는 흐름도이다.
도 7 및 도 8은 본 발명에 따른 주차선 검출 결과를 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

자동 주차를 위해서는 노면에 표시된 주차선을 검출할 필요가 있으며, 이에 본 발명은, 자동 주차를 위한 주차선 검출 방법을 제안한다.

비전(vision) 기반으로 주차선을 검출할 경우, 차량이 주차선 상에 위치하면 차량에 장착된 카메라로부터 획득된 차량 주변 영상에서 주차선 일부가 차량에 의해 가려지기 때문에, 주차선 일부가 검출되기 어렵다. 이에 본 발명은, 차량이 주차선 상에 위치하지 않을 때 검출된 주차선과, 차량의 움직임을 이용하여, 차량의 이동에 따른 주차선을 예측한다.

주차 과정을 살펴보면, 차량이 주차선 외부에서 주차선 방향으로 이동하면서 차량 주변 영상에서 주차선 일부가 차량에 의해 가려지게 되는데, 가려지는 주차선은 차량의 움직임에 의해 결정된다. 또한 차량이 주차선 외부, 즉 주차선 상에 위치하지 않을 때는 차량 주변 영상에 주차선 일부가 차량에 의해 가려지지 않는다. 따라서, 차량이 주차선 상에 위치하지 않을 때 검출된 주차선과, 차량의 움직임을 이용하면, 차량의 이동에 의해 차량이 주차선 상에 위치하여 차량에 의해 가려진 주차선도 예측할 수 있다.

또한 본 발명은 주차선 주변의 장애물이 주차선으로 오검출되는 것을 방지하기 위해, 주차선 검출 영상에서 장애물 성분을 제거한다. 노면에 표시된 주차선과 달리 트래픽 콘(traffic corn)과 같은 장애물은 부피를 가지고, 카메라의 촬영 위치에 따라 형상이 달라지기 때문에, 이러한 현상을 이용하여 장애물 성분을 제거할 수 있다.

본 발명은 어라운드 뷰 모니터링 시스템(AVM) 카메라로부터 획득된 차량 주변 영상으로부터 주차선을 검출할 수 있으며, 이와 같이 검출된 주차선은 자동 주차 시스템에 이용될 수 있다.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 보다 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 주차선 검출 장치를 설명하기 위한 도면이다.

도 1을 참조하면 본 발명에 따른 주차선 검출 장치는 노면 표식 검출부(110) 및 후처리부(120)를 포함한다.

노면 표식 검출부(110)는 차량에 장착된 카메라로부터 획득된 차량 주변 영상을 이용하여, 노면에 표시된 주차선을 검출한다. 차량 주변 영상은 어라운드 뷰 모니터링 시스템에 의해 촬영된 주변 영상일 수 있다. 그리고 차량 주변 영상 속 주차선은 검출 대상으로서, 주차선 검출을 위해 비전 기반의 다양한 검출 알고리즘이 이용될 수 있다.

후처리부(120)는 노면 표식 검출부(110)의 검출 결과를 후처리한다. 후처리부(120)는 미검출되는 주차선을 예측, 복원하거나, 주차선 검출 영상에서 장애물 성분을 제거할 수 있다.

전술된 바와 같이, 차량이 주차선 상에 위치할 경우 주차선이 가려진 형태로 카메라에 의해 촬영되기 때문에, 가려진 주차선은 미검출될 수 있다. 후처리부(120)는 주차선이 가려지기 전에 검출된 주차선과, 차량의 움직임 정보를 이용하여 차량의 이동에 따른 주차선을 예측하거나 차량의 이동에 의해 미검출되는 주차선을 복원할 수 있다.

또한 차량 주변 영상에 포함된 장애물은 주차선과 함께 검출될 수 있으며, 따라서 주차선 검출 영상에 주차선과 함께 장애물 성분이 포함될 수 있다. 이러한 장애물은 노면에 표시된 주차선과 달리 부피를 가지며 따라서 서로 다른 지점에서 촬영된 차량 주변 영상에서 장애물의 형상은 달라진다. 후처리부(120)는 시간에 흐름에 따라 차량 주변 영상에서 형상이 변경되는 객체를 장애물로 판단하고, 장애물에 대응되는 검출 성분을 주차선 검출 영상에서 제거할 수 있다.

주차선 복원/예측 방법과 장애물 성분 제거 방법은 이하 도면에서 보다 상세히 설명하기로 한다.

도 2는 본 발명의 일실시예에 따른 주차선 검출 방법을 나타내는 흐름도이다. 도 3은 주차구역 부근에서의 차량의 움직임을 나타내며, 도 4는 차량의 움직임에 따른 차량 주변 영상을 나타내는 도면이다. 도 5는 복원된 주차선을 나타내는 도면이다.

본 발명에 따른 주차선 검출 방법은 프로세서를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 일실시예로서 차량의 ECU 또는 전술된 주차선 검출 장치에서 수행될 수 있다. 이하에서는 차량에 탑재된 주차선 검출 장치의 주차선 검출 방법이 일실시예로서 설명된다.

본 발명에 따른 주차선 검출 장치는 차량에 장착된 카메라로부터 획득된 차량 주변 영상을 이용하여, 노면에 표시된 주차선을 검출(S210)한다. 주차선 검출 장치는 주기적으로 차량 주변 영상을 획득하여 주차선을 검출할 수 있다.

그리고 주차선 검출 장치는 차량의 움직임 정보 및 검출된 주차선에 기반하여, 차량의 이동에 따른 주차선을 예측(S220)한다.

단계 S220에서 주차선 검출 장치는 차량이 주차선과 이격된 상태에서 획득된 차량 주변 영상으로부터 검출된 주차선을 이용하여, 주차선을 예측하며, 예측된 주차선은 차량과 오버랩된, 즉 차량이 주차선 상에 위치하여 차량에 의해 가려진 주차선을 포함한다. 도 3 및 도 4를 이용하여 단계 S220을 보다 상세히 설명하기로 한다.

도 3에서, 점선은 차량의 카메라에서 촬영된 차량 주변 영상의 크기를 나타내며, 크기가 동일해야 하나 이해의 편의를 위해 차량 A가 제1지점(310)에 위치할 경우의 차량 주변 영상(311)의 크기와 제2지점(320)에 위치할 경우의 차량 주변 영상(321)의 크기는 서로 다르게 표시되어 있다.

도 3에 도시된 바와 같이, 차량 A가 제1지점(310)에 위치할 경우, 도 4(a)에 도시된 바와 같이, 차량 주변 영상(311)에서 차량 A에 의해 가려지는 주차선이 없으므로, 차량 A에 의해 주차선이 미검출되지 않는다. 하지만, 차량 A가 직선 방향으로 후진하여 제2지점(320)에 위치하면, 도 4(b)에 도시된 바와 같이, 차량 주변 영상(321)에서 차량 A에 의해 가려지는 주차선이 발생하므로 차량 A에 의해 주차선이 미검출될 수 있다.

주차선 검출 장치는 도 4(a)의 차량 주변 영상(311)으로부터 검출된 주차선을 차량 A의 이동 방향에 따라 이동시켜, 차량 A가 제2지점(320)에 위치할 때 차량 A에 의해 가려지는 주차선을 예측할 수 있다. 도 3에서는 차량 A가 직선 방향으로 후진하였으므로, 주차선 검출 장치는 도 4(a)의 차량 주변 영상(311)으로부터 검출된 주차선을 후진 방향과 반대 방향으로 이동시킴으로써, 차량 A가 제2지점(320)에 위치할 때 차량 A에 의해 가려지는 주차선을 예측할 수 있다.

도 4(b)의 차량 주변 영상(321)으로부터 검출된 주차선과 예측된 주차선을 결합하면, 주차선 검출 장치는 최종적으로 차량 A가 제2지점(320)에 위치할 때의 주차선 검출 영상을 도 5와 같이 얻을 수 있다. 또는 제1지점(310)에서 주차선 전체가 검출된다면, 주차선 검출 장치는 제2지점(320)에서 별도로 주차선을 검출하지 않고, 주차선 검출 장치가 탑재된 차량은, 예측된 주차선을 차량의 이동에 따라 지속적으로 이동시키면서, 자동 주차를 수행할 수 있다.

일실시예로서, 차량의 움직임 정보는 차량에 탑재된 센서로부터 획득될 수 있으며, 예컨대 조향 센서로부터 차량의 이동 방향 정보가 얻어질 수 있으며 휠 센서로부터 차량의 이동 거리 정보가 얻어질 수 있다.

결국, 본 발명에 따르면, 차량에 의해 가려져 검출되기 어려운 주차선이 검출될 수 있다.

한편, 단계 S220에서 주차선 검출 장치는 시간에 흐름에 따라 차량 주변 영상에서 형상이 변경되는 장애물을, 예측된 주차선이 포함된 주차선 검출 영상에서 제거할 수 있다.

장애물은 주차선과 함께 검출될 수 있으며, 주차선 검출 영상에서 잡음 성분이다. 따라서 제거할 필요가 있으며, 주차선 검출 장치는 전술된 바와 같이, 차량 주변 영상에서 장애물의 형상이 바뀌는 현상을 이용하여 주차선 검출 영상에서 장애물 성분을 제거할 수 있다.

예를 들어, 차량 A의 우측에 트래픽 콘 장애물이 위치할 경우, 제1지점(310)에서의 차량 주변 영상(311)과 제2지점(320)에서의 차량 주변 영상(321)에서 트래픽 콘의 형상은 달라지게 된다. 따라서, 주차선 검출 장치는 이러한 트래픽 콘을 장애물로 인식할 수 있으며, 트래픽 콘이 주차선과 함께 검출된다면, 차량 주변 영상에서의 트래픽 콘의 위치와 주차선 검출 영상에서의 트래픽 콘의 위치가 대응되므로, 주차선 검출 영상에서 트래픽 콘 성분을 제거할 수 있다.

또는 장애물의 형상이 달라짐에 따라서, 주차선 검출 영상에 포함되는 장애물 성분의 모양 또한 달라질 수 있다. 주차선 검출 장치는 주차선 검출 영상에 격자 필터를 적용하고, 형상이 달라지는 검출 성분을 장애물 성분으로 판단하여 장애물 선분을 주차선 검출 영상에서 제거할 수 있다.

또한 본 발명에 따른 주차선 검출 장치는 오류 모델을 검출 또는 예측된 주차선에 대해 적용하여, 잡음 성분을 제거할 수 있다. 일반적으로 어라운드 뷰 모니터링 시스템 카메라는 차량에 부착되어 차량으로부터 멀리 떨어진 노면까지 촬영하기 때문에, 차량 주변 영상에 포함된 객체들은 차량으로부터 멀리 떨어질수록 왜곡될 수 있다.

따라서, 본 발명에 따른 주차선 검출 장치는 차량으로부터 거리가 멀어질수록 검출 오류가 증가하는 오류 모델을 검출 또는 예측된 주차선에 대해 적용하여, 잡음 성분을 제거할 수 있다. 오류 모델은 차량에 장착된 카메라의 특성을 고려하여 미리 생성될 수 있으며, 주차선 검출 영상에서 오류 모델의 오류값이 임계값 이상인 검출 결과는 제거될 수 있다. 오류 모델은 주차선 검출 영상과 동일한 크기로 설계될 수 있으며, 주차선 검출 영상의 화소 단위로 검출 오류 값이 할당될 수 있다. 오류 모델은 일종의 필터로서, 동작한다.

도 6은 본 발명의 다른 실시예에 따른 주차선 검출 방법을 나타내는 흐름도이다.

본 발명에 따른 주차선 검출 장치는 차량에 장착된 카메라로부터 획득된 차량 주변 영상을 이용하여, 노면에 표시된 주차선을 검출(S610)한다.

그리고, 차량의 움직임 정보 및 검출된 주차선에 기반하여, 차량의 이동에 따라 미검출되는 주차선을 복원한다. 보다 구체적으로 제2지점에서 획득된 차량 주변 영상으로부터 미검출되는 주차선이 존재하는지 판단(S620)하고, 미검출되는 주차선이 존재하는 경우, 제1지점에서 획득된 차량 주변 영상으로부터 검출된 주차선 및 움직임 정보를 이용하여, 미검출되는 주차선을 복원(S630)한다.

주차선 검출 장치가 예를 들어, 제2지점에서 도 4(b)의 차량 주변 영상을 획득한 경우 주차선 검출 장치는 차량 주변 영상에서 미검출되는 주차선이 존재하는 것으로 판단할 수 있으므로, 차량이 주차선과 이격된 제1지점에서 획득한 차량 주변 영상 예를 들어, 도 4(a)의 차량 주변 영상으로부터 검출된 주차선을 이용하여 미검출되는 주차선을 복원할 수 있다. 이 때, 제1지점에서 제2지점 사이의 차량의 움직임에 따라서, 제1지점에서 검출된 주차선을 이동시켜, 미검출되는 주차선을 복원할 수 있다. 주차선 검출 장치는 도 4(b)의 차량 주변 영상으로부터 검출된 주차선에, 도 4(a)의 차량 주변 영상으로부터 검출된 주차선을 이동시켜 결합하여, 미검출되는 주차선을 복원할 수 있다.

일반적으로 주차선은 연속된 직선으로 이루어지므로, 검출된 주차선이 끊어진 경우 주차선 검출 장치는 차량 주변 영상에서 미검출되는 주차선이 존재하는 것으로 판단할 수 있다.

한편, 본 발명에 따른 주차선 검출 장치는 도 2에서 설명된 바와 같이, 장애물 성분을 주차선 검출 영상에서 제거할 수 있다. 즉, 주차선 검출 장치는 시간에 흐름에 따라 차량 주변 영상에서 형상이 변경되는 장애물을, 복원된 주차선이 포함된 주차선 검출 영상에서 제거할 수 있다.

또한 본 발명에 따른 주차선 검출 장치는 도 2에서 설명된 바와 같이, 오류 모델을 적용할 수 있다. 즉, 주차선 검출 장치는 차량으로부터 거리가 멀어질수록 검출 오류가 증가하는 오류 모델을 검출 또는 복원된 주차선에 대해 적용하여, 잡음 성분을 제거할 수 있다.

도 7 및 도 8은 본 발명에 따른 주차선 검출 결과를 설명하기 위한 도면이다. 도 7은 차량에 의해 가려진 주차선이 복원된 결과를 나타내며, 도 8은 장애물 성분이 제거된 결과를 나타낸다.

도 7(a)에 도시된 바와 같이, 차량이 주차선 상에 위치한 경우, 차량에 의해 주차선이 가려지기 때문에, 종래의 경우 도 7(b)와 같이 주차선이 검출되며 미검출된 주차선이 존재한다. 그러나 본 발명에 따르면 도 7(c)에 도시된 바와 같이, 차량에 의해 가려진 주차선이 모두 복원됨을 알 수 있다.

또한 도 8(a)에 도시된 바와 같이, 차량 주변 영상에 장애물(810)이 포함되는 경우, 도 8(b)와 같이 장애물 성분이 주차선과 함께 검출될 수 있는데, 본 발명에 따르면, 장애물 성분을 제거함으로써 도 8(c)와 같이 보다 정확한 주차선 검출 영상을 얻을 수 있다.

앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (10)

1. 차량에 장착된 카메라로부터 획득된 차량 주변 영상을 이용하여, 노면에 표시된 주차선을 검출하는 단계;
   상기 차량의 움직임 정보 및 상기 차량이 상기 주차선과 이격된 제1지점에서 검출된 주차선에 기반하여, 상기 차량의 이동에 따른 제2지점에서 상기 차량에 의해 가려지는 주차선을 예측하는 단계; 및
   상기 제1지점에서 검출된 주차선과, 상기 예측된 주차선을 결합하는 단계를 포함하며,
   상기 주차선을 예측하는 단계는
   시간에 흐름에 따라 상기 차량 주변 영상에서 형상이 변경되는 장애물을, 상기 예측된 주차선이 포함된 주차선 검출 영상에서 제거하는
   자동 주차를 위한 주차선 검출 방법.
   
2. 삭제
3. 삭제
4. 제 1항에 있어서,
   상기 주차선을 예측하는 단계는
   상기 차량의 움직임 정보에 따라 상기 제1지점에서 검출된 주차선을 이동시켜, 상기 차량에 의해 가려진 주차선을 예측하는
   자동 주차를 위한 주차선 검출 방법.
5. 삭제
6. 제 1항에 있어서,
   상기 차량으로부터 거리가 멀어질수록 검출 오류가 증가하는 오류 모델을 상기 검출 또는 예측된 주차선에 대해 적용하여, 잡음 성분을 제거하는 단계
   를 더 포함하는 자동 주차를 위한 주차선 검출 방법.
   
7. 삭제
8. 삭제
9. 삭제
10. 삭제

Images