KR102153030B1

KR102153030B1 - 주차 지원 장치 및 방법

Info

Publication number: KR102153030B1
Application number: KR1020130133446A
Authority: KR
Inventors: 이성수
Original assignee: 현대모비스 주식회사
Priority date: 2013-11-05
Filing date: 2013-11-05
Publication date: 2020-09-07
Also published as: DE102014115399B4; KR20150051665A; US20150127217A1; DE102014115399A1; US9254843B2

Abstract

본 발명은 주차 지원 장치 및 방법에 대한 것으로, 특히 AVM 합성 영상으로부터 주차 구획 가이드라인 검출 또는 검출 가능 영역을 이용하여 운전자가 주차 구획 코너 검출 가능 범위 안에서 운전할 수 있도록 하는 주차 지원 장치 및 방법에 대한 것이다.
본 발명의 일 실시 예에 따른 주차 지원 방법은 차량에 설치된 다수의 카메라들로부터 입력되는 영상들로부터 합성된 제1 영상으로부터 주차 구획 가이드 라인을 검출하는 단계와, 상기 차량과 상기 검출한 주차 구획 가이드 라인과의 거리를 계산하는 단계와, 상기 계산된 거리가 임계치 이내 인지를 판단하는 단계와, 상기 판단 결과, 상기 임계치 이내가 아닌 경우, 상기 차량과 상기 검출한 주차 구획 가이드 라인과의 거리를 변경하도록 메시지를 출력하는 단계를 포함하여 이루어진다.

Description

주차 지원 장치 및 방법{Apparatus and Method for Assisting Parking}

본 발명은 주차 지원 장치 및 방법에 대한 것으로, 특히 AVM 합성 영상으로부터 주차 구획 가이드라인 검출 또는 검출 가능 영역을 이용하여 운전자가 주차 구획 코너 검출 가능 범위 안에서 운전할 수 있도록 하는 주차 지원 장치 및 방법에 대한 것이다.

초보나 고령 운전자에게 주차는 부담되는 일로 특히 좁은 공간에서 주차하는데 많은 어려움을 겪고 있어 주차지원 시스템에 대한 수요가 증가하고 있다. 이러한 시장의 요구와 최근 Motor-Driven Power Steering(MDPS) 장착 차량의 증가에 따라 적은 비용으로 운전자의 부담을 경감시키고 편의를 증가시킬 수 있는 초음파 기반 주차지원 시스템 적용이 늘어나고 있다.

하지만 종래의 초음파 기반 주차지원 시스템은 초음파 센서로 주차 구획 공간을 인식하기 위해 주차 구획 공간 옆의 주변 차량 또는 장애물이 필요로 하는 단점을 가지고 있다. 이러한 문제점을 해결하기 위해 최근에는 카메라를 추가로 이용하여 영상 기반 주차 구획을 인식하는 시스템을 개발 중에 있다.

하지만, 종래의 주차지원 시스템은 주차 구획 인식 단계에서 운전자가 직접 핸들을 조작하여 주차선 근처를 주행하기 때문에 의도와 다르게 주차선과 차량 간의 거리가 멀어지는 상황이 생겨 카메라 또는 초음파 센서 유효 감지를 벗어나는 경우가 발생할 수 있다. 이러한 상황이 지속되면 주차 구획 인식의 성능을 현저히 떨어뜨리게 된다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, AVM 합성 영상으로부터 주차 구획 가이드라인 검출 또는 검출 가능 영역을 이용하여 운전자가 주차 구획 코너 검출 가능 범위 안에서 운전할 수 있도록 화면 표시 또는 안내 메시지를 제공함으로써 주차 구획 인식 성능을 개선하는 방법 및 장치를 제공하고자 하는 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 주차 지원 방법은 차량에 설치된 다수의 카메라들로부터 입력되는 영상들로부터 합성된 제1 영상으로부터 주차 구획 가이드 라인을 검출하는 단계와, 상기 차량과 상기 검출한 주차 구획 가이드 라인과의 거리를 계산하는 단계와, 상기 계산된 거리가 임계치 이내 인지를 판단하는 단계와, 상기 판단 결과, 상기 임계치 이내가 아닌 경우, 상기 차량과 상기 검출한 주차 구획 가이드 라인과의 거리를 변경하도록 메시지를 출력하는 단계를 포함하여 이루어진다.

상기 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 주차 지원 방법은 차량에 설치된 다수의 카메라들로부터 입력되는 영상들로부터 합성된 제1 영상에 주차 구획 코너를 검출 가능한 영역을 표시하여 출력하는 단계와, 상기 표시된 영역 상에서 상기 주차 구획 코너를 검출하는 단계와, 상기 검출 결과, 상기 주차 구획 코너를 검출할 수 없는 경우, 상기 주차 구획 코너가 상기 표시된 영역 상에 위치하도록 메시지를 출력하는 단계를 포함하여 이루어진다.

본 발명의 다양한 실시 예에 따르면, 본 발명은 주차 지원 시스템에 적용하여 주차 구획 인식 성능을 향상시키는 효과가 있다.

도 1은 본 발명의 바람직한 일 실시 예에 따라 주차 가이드 라인 검출 과정을 도시한 흐름도이다.
도 2는 본 발명의 바람직한 일 실시 예에 따라 주차 가이드 라인 인식 성공 또는 실패 시 표시되는 안내 메시지의 예를 도시한 도면이다.
도 3 본 발명의 바람직한 다른 실시 예에 따라 주차 구획 코너 인식 과정을 도시한 흐름도이다.
도 4는 본 발명의 바람직한 다른 실시 예에 따라 주차 구획 코너 인식 성공 또는 실패 시 표시되는 안내 메시지의 예를 도시한 도면이다.
도 5는 본 발명의 바람직한 일 실시 예에 따라 도 1에 도시된 주차 가이드 라인을 검출하기 위해 주차 가이드 라인 밝기 패턴 특성을 갖는 후보 점을 추출하는 과정을 도시한 블록도이다.
도 6은 본 발명의 바람직한 일 실시 예에 따라 도 1에 도시된 주차 가이드 라인을 검출하기 위해 라인 피팅 알고리즘을 이용하는 과정을 도시한 블록도이다.
도 7은 본 발명의 바람직한 다른 실시 예에 따라 도 2에 도시된 주차 구획 코너 인식을 위한 교차점 검출 방법을 도시한 블록도이다.
도 8은 본 발명의 바람직한 다른 실시 예에 따른 주차 구획 코너 인식을 위한 교차점 검출 방법을 테스트한 결과를 도시한 블록도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

본 발명은 AVM(Around View Monitoring) 시스템과 주차 지원 시스템을 이용하여 주차를 할 때, 주차 구획 인식 단계에서 주차 구획 인식 성능을 높이기 위한 화면 표시 및 안내 메시지 제공 방법을 제안한다.

첫 번째 방법으로서, AVM 합성 영상으로부터 주차 구획 가이드라인을 인식하여 거리를 계산한 후 인식 가능 범위를 벗어날 경우, 운전자가 주차 구획 가이드라인 근처로 이동할 수 있게 화면 표시 또는 안내 메시지를 제공함으로써 주차 구획 인식 성능을 개선한다.

이를 위해 본 발명의 일 실시 예에서는 차량에 설치된 다수의 카메라들을 포함하는 AVM 시스템과, 상기 카메라들로부터 입력되는 영상들로부터 합성된 제1 영상으로부터 주차 구획 가이드 라인을 검출하고, 상기 차량과 상기 검출한 주차 구획 가이드 라인과의 거리를 계산하고, 상기 계산된 거리가 임계치 이내 인지를 판단하고, 상기 판단 결과, 상기 임계치 이내가 아닌 경우, 상기 차량과 상기 검출한 주차 구획 가이드 라인과의 거리를 변경하도록 메시지를 출력하도록 제어하는 주차 지원 시스템을 포함한다.

두 번째 방법으로서, 디스플레이 장치에 인식 가능 영역을 표시하여 운전자가 인식 가능 영역에 주차 구획 코너가 보이도록 운전을 유도함으로써 주차 구획 인식 성능을 개선한다.

이를 위해 본 발명의 다른 실시 예에서는 차량에 설치된 다수의 카메라들을 포함하는 AVM 시스템과 상기 카메라들로부터 입력되는 영상들로부터 합성된 제1 영상에 주차 구획 코너를 검출 가능한 영역을 표시하여 출력하도록 제어하고, 상기 표시된 영역 상에서 상기 주차 구획 코너를 검출하고, 상기 검출 결과, 상기 주차 구획 코너를 검출할 수 없는 경우, 상기 주차 구획 코너가 상기 표시된 영역 상에 위치하도록 메시지를 출력하도록 제어하는 주차 지원 시스템을 포함한다.

도 1은 본 발명의 바람직한 일 실시 예에 따라 주차 가이드 라인 검출 과정을 도시한 흐름도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 주차 지원 시스템은 운전자가 차량을 주차할 구획 공간 근처로 이동하면 작동한다. 만일, 차량이 전진 주행할 경우, 상기 주차 지원 시스템은 주차 구획 가이드 라인을 검출하는 과정을 수행한다.

상기 주차 지원 시스템은 차량에 설치된 다수의 카메라들로부터 차량 주변 영상들을 수신한다. 상기 수신된 영상들로부터 합성된 제1 영상으로부터 주차 구획 가이드 라인을 검출한다. (S10)

상기 차량과 상기 검출한 주차 구획 가이드 라인과의 거리를 계산한다. (S11)

상기 계산된 거리가 임계치 이내 인지를 판단한다. (S12)

상기 판단 결과, 상기 임계치 이내가 아닌 경우, 상기 차량과 상기 검출한 주차 구획 가이드 라인과의 거리를 변경하도록 차량 이동 안내를 화면에 표시하거나, 음성으로 출력한다. (S13)

도 2는 본 발명의 바람직한 일 실시 예에 따라 주차 가이드 라인 인식 성공 또는 실패시 표시되는 안내 메시지의 예를 도시한 도면이다.

도 2를 참조하면, 차량과 검출한 주차 구획 가이드라인 거리가 임계치 이상 일 때, 주차 구획 가이드라인은 (a)와 같이 빨간색으로 표시하고, 이동 방향 화살표를 노란색으로 표시한다. 또한, 차량 이동 안내 메시지를 텍스트 또는 음성으로 출력한다. 예를 들어, "차량과 주차 구획 가이드라인(빨간색)의 간격을 좁혀주세요" 라고 표시하거나, 출력한다.

그러나, 차량과 검출한 주차 구획 가이드라인 거리가 임계치 이내 일 때, 주차 구획 가이드라인은 (b)와 같이 파란색으로 표시한다.

도 3 본 발명의 바람직한 다른 실시 예에 따라 주차 구획 코너 인식 과정을 도시한 흐름도이다.

도 3을 참조하면, 본 발명의 다른 실시 예에 따른 주차 지원 시스템은 운전자가 차량을 주차할 구획 공간 근처로 이동하면 작동한다. 만일, 차량이 전진 주행할 경우, 상기 주차 지원 시스템은 주차 구획 코너를 검출하는 과정을 수행한다.

상기 주차 지원 시스템은 차량에 설치된 다수의 카메라들로부터 차량 주변 영상들을 수신한다. 상기 수신된 영상들로부터 합성된 제1 영상에 주차 구획 코너를 인식 가능한 영역을 상기 제1 영상에 표시한다. (S20)

상기 표시된 영역 상에서 상기 주차 구획 코너를 검출한다. (S21)

상기 검출 결과, 상기 주차 구획 코너를 검출할 수 없는 경우(S22), 상기 주차 구획 코너가 상기 표시된 영역 상에 위치하도록 차량 이동 안내를 화면에 표시하거나, 음성으로 출력한다. (S23)

도 4는 본 발명의 바람직한 다른 실시 예에 따라 주차 구획 코너 인식 성공 또는 실패 시 표시되는 안내 메시지의 예를 도시한 도면이다.

도 4를 참조하면, 주차 구획 코너 검출 실패 시, (a)와 같이 인식되지 않은 좌/우 영역을 빨간색으로 표시한다. 또한, 좌/우 이동 방향 화살표를 노란색으로 표시한다 또한, 차량 이동 안내 메시지를 텍스트 또는 음성으로 출력한다. 예를 들어, "주차 구획 코너가 인식 가능 영역에 보이도록 차량을 이동해 주세요" 라고 표시하거나, 출력한다.

그러나, 주차 구획 코너 검출 성공 시, 인식된 영역을 파란색으로 표시한다.

도 5는 본 발명의 바람직한 일 실시 예에 따라 도 1에 도시된 주차 가이드 라인을 검출하기 위해 주차 가이드 라인 밝기 패턴 특성을 갖는 후보 점을 추출하는 과정을 도시한 블록도이다.

도 5를 참조하면, c에 도시된 타겟 영상 특징 점(여기서는 주차 가이드 라인을 찾기 위한 어두운 선과 어두운 선 사이에 소정 밝기의 소정 영역을 검출하기 위한)을 찾기 위해 영상 (a) 및 (b)에 도시된 바와 같이 탐색할 수평 구간들을 선정한다. 윤곽선 영상(a)에서 수평 방향으로 탐색하여 그래디언트가 상대적으로 높은 곳을 검출하여 특징 점으로 정의한다. 각 관심 구간에서 주차 가이드 라인 밝기 패턴 특성을 갖는 두 개의 후보 점을 조합 생성하여 후보 점을 추출한다. 상기 주차 가이드 라인 밝기 패턴 특성은 어두운 선과 어두운 선 사이에 소정 크기의 밝은 영역이 있을 때를 가리킨다.

도 6은 본 발명의 바람직한 일 실시 예에 따라 도 1에 도시된 주차 가이드 라인을 검출하기 위해 라인 피팅 알고리즘을 이용하는 과정을 도시한 블록도이다.

도 6을 참조하면, (a), (b)에 도시된 바와 같이 윤곽선 영상에서 주차 가이드 라인 밝기 패턴을 갖는 후보 점(왼쪽/오른쪽) 기준으로 360도 방향 탐색하여 선 성분을 추출한다. (c)에 도시된 굵은 붉은 선과 같이 다수의 후보점을 지나는 선 성분이 최종 주차선 가이드 라인으로 인식된다.

도 7은 본 발명의 바람직한 다른 실시 예에 따라 도 2에 도시된 주차 구획 코너 인식을 위한 교차점 검출 방법을 도시한 블록도이다.

도 7을 참조하면, 해리스 교차점 검출 알고리즘 등을 이용하여 교차점 특징 점을 추출한다. (a) 상기 해리스 교차점 검출 알고리즘은 기본적으로 영상 내에 상하 좌우로 움직이는 윈도우가 존재하며 이 윈도우 내의 화소값의 변화를 분석하여 교차점을 찾은 방식으로 구현된다. 영상 내 객체의 밝기 값 변화가 없다면 윈도우를 상하 좌우 방향으로 움직여도 화소 값의 변화량은 없을 것이다. 하지만, 좌우로 이동하면서 상하 방향으로　존재하는 영상의 경계선을 만났을 경우 당연히 좌우 방향으로 움직이는 윈도우 내의 화소 값에는 큰 변화가 생기지만 상하 방향으로 움직이는 윈도우에 대해서는 화소 값의 변화가 없을 것이다. 그럼 이 윈도우가 좌우 방향뿐만 아니라, 상하 방향으로도 움직인다고 생각하면 상하 방향으로 움직이는 동안 분명히 화소 값의 변화가 큰 지점을 지나가게 될 것이다. 즉, 이점이 최종적인 주차 구획 코너의 교차점이 되는 것이다.　상기 교차점은 영상이 회전하여도 같은 위치로 찾아지는 장점이 있다.

교차점(c에 도시된 바와 같이 L-자형 연결 지점과 T-자형 연결 지점을 위한 A 타입과 B 타입이 존재한다.)의 밝기 패턴 특성을 갖는 교차점을 검출하여 주차선(빨간색 실선)을 지나는 주차 구획 코너의 교차점을 최종 선정한다. (b)

예를 들어, A 타입은 흑(좌)-백(우)의 순서로 밝기 패턴 특성을 갖는 모서리를 포함한다. B 타입은 백(좌)-흑(우)의 순서로 밝기 패턴 특성을 갖는 모서리를 포함한다. L-자형 교차점은 상기 A 타입과 B 타입을 포함한다. T 자형 교차점은 상기 B 타입이 두 개 이상 포함된다.

도 8은 본 발명의 바람직한 다른 실시 예에 따른 주차 구획 코너 인식을 위한 교차점 검출 방법을 테스트한 결과를 도시한 블록도이다.

도 8을 참조하면, 도 7과 같이 교차점을 인식하여 올바르게 주차 구획 코너를 인식할 수 있음을 확인할 수 있다.

이상에서 설명한 본 발명의 실시 예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.

Claims

차량에 설치된 다수의 카메라들로부터 입력되는 영상들로부터 합성된 제1 영상으로부터 주차 구획 가이드 라인을 검출하는 단계;
상기 차량과 상기 검출한 주차 구획 가이드 라인과의 거리를 계산하는 단계;
상기 계산된 거리가 임계치 이내 인지를 판단하는 단계; 및
상기 판단 결과, 상기 임계치 이내가 아닌 경우, 상기 차량과 상기 검출한 주차 구획 가이드 라인과의 거리를 변경하도록 메시지를 출력하는 단계를 포함하고,
상기 주차 구획 가이드 라인을 검출하는 단계는,
윤곽선 영상에서 주차 가이드 라인 밝기 패턴을 갖는 후보 점 기준으로 360도 방향 탐색하여 선 성분을 추출하고, 다수의 후보점을 지나는 선 성분을 최종 주차선 가이드 라인으로 검출하는 것을 특징으로 하는 주차 지원 방법.
제 1 항에 있어서, 상기 출력하는 단계는
상기 메시지를 화면에 표시하거나, 음성으로 출력하는 것을 특징으로 하는 주차 지원 방법.
삭제
삭제
차량에 설치된 다수의 카메라들;
상기 카메라들로부터 입력되는 영상들로부터 합성된 제1 영상으로부터 주차 구획 가이드 라인을 검출하고, 상기 차량과 상기 검출한 주차 구획 가이드 라인과의 거리를 계산하고, 상기 계산된 거리가 임계치 이내 인지를 판단하고, 상기 판단 결과, 상기 임계치 이내가 아닌 경우, 상기 차량과 상기 검출한 주차 구획 가이드 라인과의 거리를 변경하도록 메시지를 출력하도록 제어하는 주차 지원 시스템; 및
상기 메시지를 출력하는 표시부를 포함하며,
상기 주차 지원 시스템은,
주차 구획 가이드 라인 검출 시, 윤곽선 영상에서 주차 가이드 라인 밝기 패턴을 갖는 후보 점 기준으로 360도 방향 탐색하여 선 성분을 추출하고, 다수의 후보점을 지나는 선 성분을 최종 주차선 가이드 라인으로 검출하는 것을 특징으로 하는 주차 지원 장치.
삭제