KR20180078984A

KR20180078984A - 자동 주차 시스템 및 자동 주차 방법

Info

Publication number: KR20180078984A
Application number: KR1020160184300A
Authority: KR
Inventors: 김윤수; 양주웅; 윤대중; 박승욱; 최재섭; 하경수; 이민병; 박진호; 정인용
Original assignee: 기아자동차주식회사; 현대자동차주식회사
Priority date: 2016-12-30
Filing date: 2016-12-30
Publication date: 2018-07-10
Also published as: CN108266033A; EP3343438A1; KR101915167B1

Abstract

본 발명의 실시예에 따른 자동 주차 시스템을 제공한다. 자동 주차 시스템은 자차량 주변의 영상을 획득하고, 획득한 영상을 외부영상으로 변환 및 합성하는 카메라 프로세서, 상기 자차량과 주변 차량들 사이의 이격 거리들을 측정하는 센서 프로세서, 상기 이격 거리들과 상기 외부영상을 주기적으로 수신하고, 영상인식 기술을 이용하여 순차적으로 연속된 상기 외부영상 및 상기 이격 거리들을 비교하여 주차 영역들을 인식하는 주차공간 인식부 및 상기 자차량의 현재 위치와 상기 주차 영역들 중 최적의 주차 영역 사이의 진행 경로를 산출하고, 상기 진행 경로를 바탕으로 상기 자차량을 제어하는 제어부를 포함하고, 상기 주차공간 인식부는 상기 자차량의 길이 및 폭을 고려하여 주차 영역들을 탐지한다.

Description

자동 주차 시스템 및 자동 주차 방법{Automatically parking system and automatically parking method}

본 발명은 자동 주차에 관한 것으로, 구체적으로 주차 영역의 탐지를 이용한 자동 주차 시스템 및 자동 주차 방법에 관한 것이다.

자동 주차 시스템은 자동 주차 시스템은 주차에 서투른 초보운전자에게 편리한 주차를 제공할 수 있는 시스템으로, 운전자는 차량을 주차 시 차량의 후방에 부착된 카메라나 초음파 센서를 사용하여 장애물의 위치를 판단하고 평행주차 또는 직각주차를 선택하게 되면, 자동 주차 시스템은 일정한 동작을 수행하게 된다.

특히, 카메라를 이용하는 자동 주차 시스템의 경우, 운전자는 모니터를 통하여 후방 시야를 확인하면서 주차할 위치를 선택한 후 최종적으로 차량의 주차를 선택하면, 자동 주차 시스템은 센서값을 이용하여 차량의 조향휠을 자동으로 제어하고 이에 따라 차량은 안전하게 주차된다. 또한, 카메라 및 센서를 통해 주차할 영역을 미리 설정할 수 있고, 자동 주차 시스템은 카메라와 센서가 획득한 데이터를 통해 자동 주차를 수행하게 된다. 이 때, 카메라는 전방, 후방 및 측방을 모두 감지할 수 있고, AVM(Around View Monitoring)으로 구현될 수 있다.

일반적인, AVM 시스템은 단순히 차량 주변의 영상을 운전자에게 보여주는 기능만을 제공하며, 운전자는 주차 시 AVM 시스템을 통하여 제공되는 영상으로부터 직접 주차 상황을 판단해야 하기 때문에, 주차에 직접적인 도움이 되지는 않는다.

본 발명의 기술적 과제는 센서를 통해 최적의 주차 영역을 설정하여 자동으로 주차를 진행할 수 있는 자동 주차 시스템 및 자동 주차 방법을 제공하는 것이다.

본 발명의 기술적 과제는 차량에 장착된 복수개의 카메라를 이용해서 차량 주위의 영상을 취득하고, 취득한 영상을 변환하여 가용한 주차 영역을 인식하여, 주차 영역에 대응한 진행 경로를 운전자에게 제공하는 자동 주차 시스템 및 자동 주차 방법을 제공하는 것이다.

본 발명의 기술적 과제는 원격으로 자동 주차 모드를 수행하여 자차량 양쪽에 주차되어 있는 차량과의 이격 거리를 제어하여 타차량 및 자차량의 승하차 시에 편의성을 제공할 수 있는 자동 주차 시스템 및 자동 주차 방법을 제공할 수 있다.

일 예에 의하여, 상기 주차공간 인식부는 영상인식 기술을 이용하여 연속된 영상의 특징점을 추출하고, 연속된 두 영상의 특징점을 매칭하며, 오정합된 특징점들을 삭제하고, 유효 특징점들을 정합함으로써 주차 영역들을 인식한다.

일 예에 의하여, 상기 자차량이 진행 경로를 주행하는 동안, 상기 제어부는 상기 센서 프로세서 및 상기 카메라 프로세서가 획득한 데이터를 이용하여 상기 자차량과 장애물과의 충돌을 방지하도록 상기 자차량을 제어한다.

일 예에 의하여, 상기 센서 프로세서는 상기 최적의 주차 영역에서 상기 자차량의 측방에 위치한 주변 차량들과의 이격 거리들을 감지하고, 상기 제어부는 상기 이격 거리들에 기초하여 상기 자차량의 조수석 측에 위치한 조수석 측방 차량과의 제1 이격 거리가 기설정된 기준 거리로 조절되도록 상기 자차량을 제어한다.

일 예에 의하여, 상기 제어부는, 상기 제1 이격 거리가 상기 기준 거리보다 작은 경우, 상기 제1 이격 거리를 상기 기준 거리로 조정하고 난 후 상기 자차량과 상기 자차량의 운전석 측에 위치한 운전석 측방 차량과의 제2 이격 거리가 상기 기준 거리 이상인지 여부를 판단한다.

일 예에 의하여, 상기 제어부는 상기 제2 이격 거리가 상기 기준거리 이상인 경우, 상기 제2 이격 거리가 상기 기준 거리가 되도록 상기 자차량을 제어한다.

일 예에 의하여, 상기 제어부는 상기 제2 이격 거리가 상기 기준거리 미만인 경우, 상기 제2 이격 거리가 기설정된 최소 이격 거리가 되도록 상기 자차량을 제어한다.

일 예에 의하여, 상기 최소 이격 거리는 상기 자차량과 상기 운전석 측방 차량 사이에 위치한 주차선과 상기 자차량 사이의 거리로 설정되는 것을 특징으로 한다.

일 예에 의하여, 상기 제어부는 상기 제1 이격 거리가 상기 기준 거리보다 작은 경우, 상기 자차량과 상기 자차량의 운전석 측에 위치한 운전석 측방 차량과의 제2 이격 거리가 기설정된 임계 거리 이상인지 여부를 판단하고, 상기 임계 거리는 상기 제1 이격 거리를 상기 기준 거리로 조정하도록 이동한 거리에 기설정된 최소 이격 거리를 더한 값으로 설정된다.

일 예에 의하여, 상기 센서 프로세서는 상기 최적의 주차 영역의 주위의 주변 차량들 및 주차 라인을 탐지한다.

일 예에 의하여, 상기 주차 영역들을 운전자에게 알려주는 표시 컨트롤러를 더 포함하고, 상기 제어부는 운전자에 의해 선택된 상기 최적의 주차 영역으로 상기 차량을 구동하도록 제어한다.

일 예에 의하여, 상기 제어부는 상기 자차량의 조향, 가속, 브레이크, 기어 변경 및 주차 브레이크를 제어한다.

일 예에 의하여, 상기 외부영상은 상기 자차량의 상부에서 상기 자차량을 바라보는 탑뷰 영상이다.

본 발명의 실시예에 따른 자동 주차 방법을 제공한다. 자차량을 자동으로 주차하기 위한 자동 주차 방법에 있어서, 자동 주차 모드를 설정하는 단계, 상기 자차량 주변의 외부영상, 상기 자차량과 주변 차량들 간의 이격 거리 및 상기 자차량의 길이와 폭을 이용하여 주차 영역들을 탐지하는 단계, 상기 주차 영역들 중 최적의 주차 영역을 선택하는 단계 및 상기 최적의 주차 영역으로 상기 자차량을 자동으로 주차하는 단계를 포함하고, 상기 주차 영역들을 탐지하는 단계는 영상인식 기술을 이용하여 순차적으로 연속된 상기 외부영상 및 상기 이격 거리들을 비교하여 상기 주차 영역들을 인식한다.

일 예에 의하여, 상기 자차량을 자동으로 주차하는 단계 이후, 상기 자동 주차 모드를 종료하는 단계를 포함하고, 상기 자동 주차 모드를 종료하는 단계는 자동 주차 모드 스위치의 끔 또는 기어를 파킹으로 변경을 통해 수행된다.

일 예에 의하여, 상기 자차량을 자동으로 주차하는 단계에서 자동 주차 모드 스위치를 끄거나 또는 기어를 파킹으로 변경하는 경우 상기 자동 주차 모드는 종료된다.

일 예에 의하여, 상기 자차량을 자동으로 주차하는 단계에서 기어의 변경, 조향의 변경 또는 브레이크의 동작 중 어느 하나의 수행이 있는 경우 상기 자동 주차 모드는 중단된다.

일 예에 의하여, 상기 이격 거리들은 상기 자차량과 상기 자차량의 조수석 측에 위치한 조수석 측방 차량과의 제1 이격 거리 및 상기 자차량과 상기 자차량의 운전석 측에 위치한 운전석 측방 차량과의 제2 이격 거리를 포함하고, 상기 자차량을 자동으로 주차하는 단계는 상기 제1 이격 거리와 상기 제2 이격 거리가 기설정된 기준 거리로 조절되도록 상기 자차량을 제어하는 것을 포함한다.

일 예에 의하여, 상기 주차 영역들을 탐지하는 단계는, 영상인식 기술을 이용하여 연속된 영상의 특징점을 추출하는 단계, 연속된 두 영상의 특징점을 매칭하여 오정합된 특징점들을 삭제하는 단계 및 유효 특징점들에 기반하여 영상들을 정합하는 단계를 포함한다.

본 발명의 실시예에 따르면, 주차 영역들 중 최적의 주차 영역을 설정하여 자차량의 현재 위치에서 최적의 주차 영역으로 자동으로 주차를 진행할 수 있는 자동 주차 시스템을 제공할 수 있다.

본 발명의 실시예에 따르면, AVM 시스템을 이용하여 차량 주변의 영상을 취득하고 탑뷰 영상으로 변환하여 사용함으로써, 차량 주변의 상황을 실시간으로 인식할 수 있고, 차량 주위의 어떠한 방향이라도 주차공간을 인식할 수 있다.

본 발명의 실시예에 따르면, 차량 주변의 영상을 연속적으로 촬영하여 등록하고, 연속된 영상을 서로 비교하여 주차공간 및 주차선 인식을 하며, 이를 바탕으로, 차량의 지나온 경로를 보여주고 최적의 주차공간을 표시함으로써, 주차 시 신뢰도를 향상시키며, 정확도를 향상시키는 효과가 있다. 또한, 탑뷰 기반의 영상을 운전자에게 제공하며, 주차 과정을 시각화하여 제공함으로써, 주차지원 시스템에 대한 안정감 향상시키는 효과가 있다.

본 발명의 실시예에 따르면, 자동 주차 시스템 수행 시에 자차량 양쪽에 주차되어 있는 주변 차량들과의 이격 거리를 제어하여 자차량과 주변 차량의 승하차를 편하게 할 수 있다.

본 발명의 실시예에 따르면, 파악 된 주차상황을 기반으로 주변 차량의 운전자가 쉽게 승하차를 할 수 없는 환경이라고 판단될 경우, 자차량과 주변 차랑과의 이격 거리를 재조정할 수 있다.

도 1은 본 발명의 실시예에 따른 자동 주차 시스템을 구성하는 구성 요소들을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 자동 주차 방법의 순서를 나타내는 순서도이다.
도 3은 본 발명의 실시예에 따른 평행주차 시의 주차 영역을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 평행주차 시 주차 라인이 있는 경우의 주차 영역을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 수직주차 시의 주차 영역을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 수직주차 시 주차 라인이 있는 경우의 주차 영역을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 가상 카메라 모델링에 의하여 변환 및 합성되어 획득된 탑뷰 형식의 영상을 나타내는 도면이다.
도 8 내지 도 11은 본 발명의 실시예에 따른 주차공간 인식부의 주차 영역의 인식 과정을 나타내는 도면들이다.
도 12는 본 발명의 제2 실시예에 따른 자동 주차시의 이격 거리 조정을 설명하기 위한 도면이다.
도 13은 본 발명의 제2 실시예에 따른 자동 주차시의 이격 거리 조정을 설명하기 위한 도면이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.

제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

도 1은 본 발명의 실시예에 따른 자동 주차 시스템을 구성하는 구성 요소들을 나타내는 도면이다.

도 1을 참조하면, 자동 주차 시스템(1)은 센서부(100), 주차공간 인식부(150), 제어부(200) 및 구동부(300)를 포함할 수 있다. 센서부(100)가 획득한 데이터는 주차공간 인식부(150) 및 제어부(200)로 전달될 수 있고, 주차공간 인식부(150)는 센서부(100)에 의해 획득된 데이터를 통해 주차 영역을 산출할 수 있다. 제어부(200)는 주차공간 인식부(150)에 의해 산출된 주차 영역으로 자차량을 주차하도록 구동부(300)를 제어할 수 있다.

센서부(100)는 카메라 프로세서(110), Lidar 프로세서(120) 및 Radar 프로세서(130)를 포함할 수 있다.

카메라 프로세서(110)는 자차량의 전방, 후방 및/또는 측방을 감지하고, 이를 통해 획득한 데이터를 ECU 레벨로 전송할 수 있다. 카메라 프로세서(110)는 크게 이미지 센서, 이미지 프로세서 및 카메라 MCU를 포함할 수 있다. 일 예로, 렌즈를 통해 촬영한 피사체의 이미지를 이미지 센서가 센싱하고, 이미지 프로세서가 이미지 센서로부터 그 데이터를 수신하여 프로세싱하며, 카메라 MCU는 이미지 프로세서로부터 그 데이터를 수신할 수 있다.

일 예로, 카메라 프로세서(110)는 AVM(Around View Monitoring)을 포함할 수 있다. AVM은 자차량의 주변을 촬영하여 영상을 획득하는 카메라 장치를 차량의 모든 방향을 향하여 복수의 개수로 설치함으로써 구현될 수 있다. AVM은 복수의 카메라 장치를 통하여 촬영된 영상을 운전자에게 제공함으로써, 자차량 주변의 시야를 확보하고 운전자가 보기 어려운 사각지대를 해소할 수 있는 장점을 제공할 수 있다.

다른 예로, 카메라 프로세서(110)는 전방의 차량에 대한 데이터, 전방의 차선에 대한 데이터, 전방의 사이클리스트에 대한 데이터, 교통 표지판에 대한 데이터, 액티브 하이빔 컨트롤(AHBC)에 대한 데이터, 휠 디텍션(wheel detection)에 대한 데이터(예컨대, 카메라 FOV 안으로 들어오는 Close Cut0in 차량에 대해서 차량 바퀴 인식을 통해 보다 빠르게 차량을 인식하기 위한 데이터), 교통 신호등에 대한 데이터, 로드 마킹(예컨대, 도로 위의 화살표)에 대한 데이터, VD at any angle에 대한 데이터(전방 차량의 전 주방 방향 또는 각도에 대해 차량을 인식하기 위한 데이터), 로드 프로파일(예컨대, 전방 도로 형상(굴곡, 과속 방지턱 또는 호올(hole))을 인식하여 서스펜션 제어를 통해 승차감을 향상시키기 위한 데이터)에 대한 데이터, 시맨틱 프리 스페이스(예컨대, 바운더리 라벨링)에 대한 데이터, 일반적 물체(측면 차량 등)에 대한 데이터, 어드밴스트 패쓰 플래닝(advanced path planning)에 대한 데이터(예를 들어, 차선이 없거나 오염된 도로에서도 주변 환경을 통한 Deep Learning으로 차량 주행 예상 경로를 예측하기 위한 데이터), 오도메트리(odometry)에 대한 데이터(예컨대, 주행 도로 랜드 마크를 인식하여 GPS의 인식 정보와 융합시키기 위한 데이터), 주차 라인에 대한 데이터 및 주차를 위한 차량과 차량 사이의 간격에 대한 데이터 등을 획득할 수 있다.

Lidar 프로세서(120)는 센서인 Lidar 장치와 연결되어 장치는 자동차의 전방, 후방 및 측방 영역을 감지할 수 있다. Lidar 장치는 레이저 송신 모듈, 레이저 검출 모듈, 신호 수집 및 처리 모듈, 데이터 송수신 모듈로 구성될 수 있고, 레이저의 광원은 250 nm 내지 11 μm 의 파장 영역에서 파장을 가지거나 파장 가변이 가능한 레이저 광원들이 사용될 수 있다. 또한 Lidar 장치는 신호의 변조 방식에 따라서, TOF(time of flight) 방식과 phase shift 방식으로 구분될 수 있다.

Radar 프로세서(130)는 센서인 Radar 장치와 연결되어 차량 전방, 후방 및 측방 영역의 물체를 감지할 수 있다. Radar 장치는 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 센서 장치일 수 있다. Radar 장치를 이용하면 주파수 변조 반송파(FMCW, Frequency Modulation Carrier Wave) 또는 펄스 반송파(Pulse Carrier) 방식을 이용하여 수평각도 30도 범위에서 150m 전방까지의 물체를 감지할 수 있다. Radar 프로세서(130)는 Radar 장치가 센싱하여 출력한 데이터를 프로세싱할 수 있고, 이러한 프로세싱은 센싱한 전방의 물체를 확대하거나 전체 시야 영역 중에서 물체의 영역에 포커스를 맞추는 것을 포함할 수 있다.

Lidar 프로세서(120) 및 Radar 프로세서(130)는 자차량의 주행 및 주차 중 주변 차량이나 장애물과의 이격 거리를 측정할 수 있고, 이격 거리에 대한 데이터를 제어부(200)에 전송할 수 있다. 제어부(200)는 이격 거리에 대한 데이터를 통해 자차량과 장애물과의 충돌을 방지할 수 있다.

주차공간 인식부(150)는 카메라 프로세서(110)를 포함하는 센서부(100)를 통해 획득된 영상 및 이격 거리에 대한 데이터를 수신하여 자차량의 주차가 가능한 주차 영역들을 인식할 수 있다. 주차공간 인식부(150)는 주기적으로 입력되는 영상으로부터 서로 연속된 두 영상을 비교하여 주차 공간을 인식하고 차량 궤적을 인식할 수 있다. 이 때, Lidar 프로세서(120) 및 Radar 프로세서(130)를 통해 획득한 자차량과 주변 차량들(또는 장애물) 간의 이격 거리에 대한 데이터는 주차공간 인식부(150)가 주차 영역들을 인식하고 산출하는데 도움을 줄 수 있다.

제어부(200)는 ECU 레벨에 속하는 ECU(electrical control unit)로 자동차에서 사용되는 다수의 전자 장치들을 통합적으로 제어하는 장치일 수 있다. 일 예로, 제어부(200)는 프로세서 레벨에 속하는 프로세서들 및 컨트롤러 레벨에 속하는 컨트롤러들 모두를 제어할 수 있다. 제어부(200)는 프로세서들로부터 센싱 데이터를 수신하여 상황에 맞도록 컨트롤러를 제어하는 제어 명령을 생성하여 컨트롤러들에게 제어 명령을 전송할 수 있다. 다만, 본 명세서에서는 설명의 편의를 위해 프로세서 레벨 보다 상위의 레벨로서 ECU 레벨을 설명하고 있으나, 프로세서 레벨에 속하는 프로세서들 중의 하나의 프로세서가 ECU로서 역할을 수행할 수도 있고, 두 개의 프로세서가 결합하여 ECU로서 역할을 수행할 수도 있다.

구동부(300)는 표시 컨트롤러, 조향 컨트롤러, 구동 컨트롤러, 브레이크 컨트롤러 및 기어 컨트롤러 등을 포함할 수 있다. 컨트롤러들 각각은 제어부(200)로부터 수신한 제어 명령에 기초하여 자동차의 구성 부품들을 제어할 수 있다.

표시 컨트롤러는 운전자에게 특정 상황에 대한 정보를 제공하거나 위험 상황을 경고하는 구성일 수 있다. 표시 컨트롤러는 차량의 운행 상황 및 위험 상황을 경고하기 위해 오디오 방식, 비디오 방식 또는 햅틱 방식의 신호를 발생시킬 수 있다. 예를 들어, 표시 컨트롤러는 상황 설명 및 경고음을 오디오 방식으로 출력할 수 있고, 상황에 대한 메시지 또는 경고 메시지를 HUD 디스플레이 또는 사이드 미러 디스플레이를 통해 출력할 수 있다. 또는, 표시 컨트롤러는 경고 진동을 발생시키기 위해 핸들에 장착된 진동모터를 동작시킬 수 있다.

조향 컨트롤러는 스티어링 휠을 구동시키는 전동식 파워스티어링 시스템(MPDS)에 대한 제어를 수행할 수 있다. 예를 들어, 차량의 충돌이 예상되는 경우에 조향 컨트롤러는 충돌을 회피하거나 피해를 최소화할 수 있는 방향으로 자동차의 조향을 제어할 수 있다.

구동 컨트롤러는 차량을 운행하기 위해 감속, 가속 및 엔진의 온/오프(on/off)를 수행할 수 있다. 일 예로, 구동 컨트롤러는 제어부(200)의 제어 명령에 따라 차량의 운행 시 충돌이 예상되는 경우 감속을 수행할 수 있고, 차량의 운행의 시작 또는 종료 시에 엔진의 온/오프를 수행할 수 있다.

브레이크 컨트롤러는 차량의 브레이크의 동작 여부를 제어하고 브레이크의 답력을 제어할 수 있다. 예를 들어, 브레이크 컨트롤러는 전방 충돌이 예상되는 경우에 운전자가 브레이크를 동작시켰는지 여부와 무관하게 제어부(200)의 제어 명령에 따라 자동적으로 긴급 브레이크를 작동시키도록 제어할 수 있다.

한편, 본 도면을 이용하여 상술한 바에 따르면 프로세서, ECU 및 컨트롤러가 각각 독립적인 구성요소로 설명하였으나, 반드시 이에 한정되는 것이 아님을 이해하여야 한다. 2개 이상의 프로세서들은 1개의 프로세서로 통합될 수 있고, 2개 이상의 프로세서들은 서로 연동할 수 있고, 2개 이상의 프로세서들 및 ECU는 하나의 장치로 통합될 수 있고, 2개 이상의 컨트롤러들은 1개의 컨트롤러로 통합될 수 있고, 2개 이상의 컨트롤러들은 서로 연동할 수 있고, 2개 이상의 컨트롤러들 및 ECU는 하나의 장치로 통합될 수 있다.

도 2는 본 발명의 실시예에 따른 자동 주차 방법의 순서를 나타내는 순서도이다. 본 발명의 실시예에 따른 자동 주차 시스템은 일부 자동 주차 시스템(Partially Automated Parking System, PAPS)을 의미한다.

도 2를 참조하면, 운전자는 차량에 장착된 자동 주차 모드를 설정할 수 있다. 자동 주차 모드를 설정함에 따라, 차량의 모드는 준비 상태에서 자동 주차를 실행할 수 있는 능동 상태로 변경될 수 있다. 자동 주차 모드를 설정하는 방법은 운전자가 운전석에 앉아 자동 주차 모드를 실행시키는 제1 타입(type)과 운전자가 차량 외부 또는 운전석 이외의 자리에서 리모컨 장치를 이용하여 자동 주차 모드를 실행시키는 제2 타입이 있을 수 있다(S10). 센서부는 자차량의 주변을 감지하여 자차량의 주차가 가능한 복수개의 주차 영역들을 산출할 수 있다. 센서부는 주차 라인들, 주차 라인 근처에 배치된 연석 및 주변 차량들 사이의 빈 공간 등을 감지할 수 있다. 이 때, 제어부는 자차량의 길이 및 폭을 고려하여 주차 영역들을 산출할 수 있다(S20). 제어부는 표시 컨트롤러를 통해 운전자에게 산출된 주차 영역들에 대한 데이터를 표시할 수 있다. 운전자는 차량 내부의 디스 플레이 장치 또는 별도의 스위치를 통해 최적의 주차 영역이라고 판단되는 주차 영역을 선택하거나(제1 타입), 리모컨 장치를 이용하여 최적의 주차 영역이라고 판단되는 주차 영역을 선택할 수 있다(제2 타입). 이 때, 제어부는 주차 영역들 중 자차량이 주차하기 최적의 주차 영역이라고 판단되는 주차 영역을 운전자에게 추천할 수 있다(S30). 최적의 주차 영역이 결정되면, 제어부는 자차량의 현재 위치와 최적의 주차 영역 사이의 진행 경로를 계산하여 산출할 수 있다(S40). 제어부는 진행 경로를 기초로 자차량을 운행할 수 있다. 제어부는 자차량을 자동으로 운행할 수 있고, 조향 컨트롤러, 구동 컨트롤러, 브레이크 컨트롤러 및 기어 컨트롤러를 제어할 수 있다. 이 때, 제어부는 10km/h 이하의 속도로 자차량을 제어할 수 있고, 차량의 속도의 감속 또는 가속, 기어의 변경, 브레이크의 실행 및 주차 브레이크의 실행 등을 제어할 수 있다. 센서부는 자차량이 자동으로 주차되는 동안 장애물과의 거리를 감지할 수 있고, 제어부는 자차량과 장애물과의 거리를 통해 충돌 가능성을 판단하여 이를 운전자에게 알려줄 수 있다. 센서부는 자차량과 장애물과의 거리를 감지할 수 있는 카메라 장치, Lidar 장치 및 Radar 장치 중 적어도 하나 이상을 포함할 수 있다. 운전자는 자동으로 주차를 실행할 것인지 여부를 선택할 수 있다. 운전자가 자동 주차를 실행하면 제어부는 자동으로 자차량을 제어하여 최적의 주차 영역으로 자차량을 주차할 수 있고, 운전자가 자동 주차 실행을 하지 않으면 운전자가 직접 최적의 주차 영역으로 자차량을 주차할 수 있다. 자동 주차가 실행되는 동안, 운전자가 자동 주차 모드의 실행 스위치를 오프(off)하거나 기어를 파킹(P)으로 변경하는 경우 자차량은 정지할 수 있다. 이 때, 제어부는 표시 컨트롤러를 통해 운전자에게 자동 주차 모드를 계속 유지할 것인지를 알릴 수 있다. 운전자의 의사에 따라 자동 주차 모드가 다시 실행되거나 자동 주차 모드는 종료될 수 있다. 또한, 자동 주차가 실행되는 동안, 기어를 파킹(P)이외의 다른 기어로 변경하는 경우 및 조향을 일정 기준 이상으로 변경하는 경우 차량은 정지할 수 있다. 예를 들어, 일정 기준의 조향 변경은 대략 5Nm의 토크가 스티어링 휠에 가해지는 경우를 의미할 수 있다. 이 때, 제어부는 표시 컨트롤러를 통해 운전자에게 자동 주차 모드를 계속 유지할 것인지를 알릴 수 있다. 운전자의 의사에 따라 자동 주차 모드가 다시 실행되거나 자동 주차 모드는 종료될 수 있다. 또한, 자동 주차가 실행되는 동안, 브레이크가 일정 기준 이상으로 실행되는 경우, 제어부는 자동 주차 시스템의 적용보다 운전자의 브레이크 실행을 우선 순위로 판단할 수 있다. 즉, 브레이크를 통해 자차량이 정차될 수 있다(S55, S60). 그 외에, 운전자의 의사에 따라 자동 주차 모드를 종료시킬 수 있다. 운전자는 자동 주차 모드의 실행 스위치의 오프(제1 타입) 또는 리모컨 장치를 통해 자동 주차 모드의 실행 취소(제2 타입)를 실행시킬 수 있다(S70).

도 3은 본 발명의 실시예에 따른 평행주차 시의 주차 영역을 나타내는 도면이고, 도 4는 본 발명의 실시예에 따른 평행주차 시 주차 라인이 있는 경우의 주차 영역을 나타내는 도면이다.

도 3 및 도 4를 참조하면, 자차량(10)에 부착된 센서부를 통해 평행주차가 가능한 주차 영역들을 탐지할 수 있다. 센서부는 주차 라인(21), 주차 영역들 주위에 배치된 연석(22) 및 주변 차량들(50) 사이의 공간을 탐지하고 제어부는 이러한 정보를 통해 자차량(10)이 주차 가능한 공간인지를 계산하여 주차 영역들이 산출될 수 있다. 제어부는 주차 영역들 중 주차하기에 가장 적합한 최적의 주차 영역(20)을 산출할 수 있다. 제어부는 자차량(10)의 길이 및 폭을 고려하여 최적의 주차 영역(20)을 선택할 수 있다.

도 3의 경우, 제어부는 주변 차량들(50) 사이의 공간을 계산하여 최적의 주차 영역(20)을 산출할 수 있다. 연석(22)은 주변 차량들(50) 사이의 공간을 정의하는데 도움을 줄 수 있다. 또한, 센서부는 평행으로 주차된 주변 차량들(50)의 정렬 라인을 감지하여 최적의 주차 영역(20)을 산출하는데 도움을 줄 수 있다. 최적의 주차 영역(20)은 주변 차량들(50)이 주차된 방향으로 연장된 길이(X1) 및 길이(X1)와 수직하는 방향으로 연장되는 폭(Y1)을 가질 수 있다. 길이(X1)는 자차량(10)의 길이와 제1 여유 공간(+a)을 더한 값일 수 있고, 폭(Y1)은 자차량(10)의 폭과 제2 여유 공간(+b)을 더한 값일 수 있다. 예를 들어, 제1 여유 공간(+a)은 자차량(10)의 길이가 짧은 차량(4m 이하)인 경우

일 수 있고, 자차량(10)의 길이가 긴 차량(6m 이상)인 경우

일 수 있고, 제2 여유 공간(+b)은 0.2m일 수 있다. 즉, 제어부는 자차량(10)의 길이와 폭을 고려하여 최적의 주차 영역(20)을 산출할 수 있다.

도 4의 경우, 센서부는 주차 라인(21)을 감지하고, 제어부는 주차 라인(21)의 길이(X1)와 폭(Y1)을 계산하여 자차량(10)이 주차 가능한지를 판단할 수 있다. 주차 라인(21)은 최소 5의 명암비를 가진 것일 수 있다. 주차 라인(21)은 일정한 너비(W1)을 가질 수 있고, 제어부는 주차 라인(21)의 길이(X1), 폭(Y1) 및 너비(W1)를 고려하여 최적의 주차 영역(20) 인지를 판단할 수 있다.

도 5는 본 발명의 실시예에 따른 수직주차 시의 주차 영역을 나타내는 도면이고, 도 6은 본 발명의 실시예에 따른 수직주차 시 주차 라인이 있는 경우의 주차 영역을 나타내는 도면이다.

도 5 및 도 6을 참조하면, 자차량에 부착된 센서부를 통해 수직주차가 가능한 주차 영역들을 탐지할 수 있다. 센서부는 주차 라인(21) 및 주변 차량들(50) 사이의 공간을 탐지하고 제어부는 이러한 정보를 통해 자차량이 주차 가능한 공간인지를 계산하여 주차 영역들이 산출될 수 있다.

도 5의 경우, 제어부는 주변 차량들(50) 사이의 공간을 계산하여 최적의 주차 영역(20)을 산출할 수 있다. 최적의 주차 영역(20)은 주변 차량들(50)이 주차된 방향으로 연장된 폭(Y2) 및 폭(Y2)과 수직하는 방향으로 연장되는 길이(X2)를 가질 수 있다. 길이(X2)는 자차량의 길이와 유사할 수 있고, 폭(Y2)은 자차량의 폭과 제3 여유 공간(+c)을 더한 값일 수 있다. 예를 들어, 제3 여유 공간(+c)은 1.2m일 수 있다.

도 6의 경우, 센서부는 주차 라인(21)을 감지하고, 제어부는 주차 라인(21)의 길이(X2)와 폭(Y2)을 계산하여 자차량(10)이 주차 가능한지를 판단할 수 있다. 주차 라인(21)은 최소 5의 명암비를 가진 것일 수 있다. 주차 라인(21)은 일정한 너비(W2)을 가질 수 있고, 제어부는 주차 라인(21)의 길이(X2), 폭(Y2) 및 너비(W2)를 고려하여 최적의 주차 영역(20) 인지를 판단할 수 있다. 예를 들어, 자차량이 대형 차인 경우, 길이(X2)는 자차량의 길이보다 1.0m길 수 있고 폭(Y2)은 자차량의 폭보다 0.06m길 수 있다. 즉, 제어부는 자차량(10)의 길이와 폭을 고려하여 최적의 주차 영역(20)을 산출할 수 있다.

도 7은 본 발명의 실시예에 따른 가상 카메라 모델링에 의하여 변환 및 합성되어 획득된 탑뷰 형식의 영상을 나타내는 도면이다.

도 1 및 도 7을 참조하면, 카메라 프로세서(110)가 AVM로 구현되는 경우, 자차량 주변의 영상을 자차량을 중심으로 360° 전방향으로 촬영할 수 있다. AVM을 통하여 촬영된 차량 주변의 영상은 주차공간 인식부(150) 또는 제어부(200)(상기 AVM 내에 포함될 수 있음)에 의하여 가상의 카메라 모델링이 이루어지고, 이에 따라 이차원(2D) 평면 영상인 외부영상으로 변환될 수 있다. 이 때, 외부영상은 자차량의 상부에서 자차량을 바라보는 것과 같은 탑뷰(Top View), 즉 버드아이뷰(Bird's Eye View) 영상일 수 있다.

도 8 내지 도 11은 본 발명의 실시예에 따른 주차공간 인식부의 주차 영역의 인식 과정을 나타내는 도면들이다.

도 1 및 도 8 내지 도 11을 참조하면, 주차 영역들을 인식하기 위해 연속된 두 영상의 비교하는 코너 디텍션(Corner Detection) 기술이 사용될 수 있다. 코너 디텍션 기술은 영상인식에 있어서, 영상 내에 포함된 오브젝트(object)들의 코너를 추출하여 인식하는 기술로서, 연속된 영상의 차이점을 판단하기 위하여 사용될 수 있다. 특히, 영상처리 및 인식 분야에 있어 코너(Corner) 정보는 모양(Shape) 이나 추적(Tracking) 등의 분야에 있어서 중요한 기준점이 되기 때문에, 본 발명은 연속 촬영된 탑뷰 형식의 차량 주변 영상의 인식을 위하여 상기와 같은 코너 디텍션 기술을 사용하여 주요 특징점을 추출하도록 이루어질 수 있다. 상기와 같은 코너 디텍션 기술 중에서 가장 대표적인 해리스(Harris) 코너 디텍션 기술이 사용될 수 있다. 그러나, 코너 디텍션 기술은 이에 한정되지 않을 수 있다.

연속된 두 영상의 주요 특징점이 추출되면, 제어부(200)는 연속된 두 영상의 특징점들을 서로 매칭하여 비교할 수 있다. 연속된 두 영상의 특징점 매칭은 공지의 NCC(Normalized Cross Correlation)기술이 사용될 수 있다. 상기 NCC기술은 두개의 영상을 서로 비교하기 위하여 정규화 하는 기술로서, 제어부(200)는 차량의 이동에 의하여 달라지는 연속된 두 영상을 정규화 하여 비교하기 위하여 상기 NCC기술을 사용할 수 있다. 이때, 제어부(200)는 연속된 두 영상의 특징점 주변의 7x7 정사각형 영역 픽셀들의 밝기값을 특징점의 설명자로 사용하고, 상기 NCC기술을 이용하여 정규화하여 각 특징점들을 서로 매칭하고, 유사도를 측정할 수 있다. 상기와 같이, 정규화된 연속된 두 영상의 각 특징점들이 서로 매칭되면, 도 10에 도시된 바와 같이, 오정합된 특징점을 삭제하는 단계를 거친다. 이때, 유사 변환(similarity transformation)모델을 통하여 연속된 두 영상간의 변위차와 각도차를 추출하고, RANSAC(RANdom SAmple Consensus) 기술을 통하여 유효한 특징점들만 비교할 수 있도록 오정합된 특징점들을 삭제하는 단계를 거친다. 상기 RANSAC 기술은 거짓정보(본 발명에서 오정합된 특징점)를 포함하는 일련의 데이터 집합으로부터 수학적 모델의 인자들을 반복적인 작업으로 예측하는 공지의 기술로서, 제어부(200)는 상기 RANSAC 기술을 통하여 오정합된 특징점들을 인식하여 삭제할 수 있다. 상기와 같이 오정합된 특징점들이 삭제되고, 유효 특징점들이 선택되면, 도 11에 도시된 바와 같이, 추정된 유효 특징점들에 기반하여 영상들을 정합하는 단계를 거친다. 즉, 상기 도 8 내지 10의 단계를 연속으로 거치며, 연속되는 영상들을 차량의 이동에 따라 계속 정합함으로써, 차량의 이동 궤적을 인식할 수 있고, 차량의 위치를 추정할 수 있다.

도 12는 본 발명의 제2 실시예에 따른 자동 주차시의 이격 거리 조정을 설명하기 위한 도면이다. 운전석 측 거리(a)는 자차량과 자차량의 운전석 측에 위치하는 주변 차량 간의 이격 거리를 의미하고, 조수석 측 거리(b)는 자차량과 자차량의 조수석 측에 위치하는 주변 차량 간의 이격 거리를 의미한다.

도 12를 참조하면, 최적의 주차 영역으로 자차량이 진입하는 경우 자차량과 주변 차량들 사이의 이격 거리를 조정할 수 있다. 최적의 주차 영역으로 최초 진입 시, 추출된 조수석 측 거리(b)가 소정의 기준 거리(d) 보다 작을 경우 공간이 충분하지 않다고 판단되고, 운전석 측 거리(a)가 조수석 측 거리(b)에 대하여 주차 공간을 확보한 후 기준 거리(d)에 맞출 수 있을 만큼 충분한 경우에는 여유공간을 확보하는 제어가 수행될 수 있다. 반면, 운전석 측 거리(a)가 충분하지 않을 경우 최소 이격 거리 제어가 수행될 수 있다.

즉, 본 실시예와 같이 여유 공간 확보 제어가 수행되는 조건은 차량과 조수석 측방 차량의 이격 거리가 기준 거리보다 작고(b < d), 차량과 조수석 측방 차량의 이격 거리를 기준 거리로 조정하고 난 후 차량과 차량의 운전석 측에 위치한 운전석 측방 차량과의 이격 거리가 임계 거리 이상인 경우에 해당한다.

이 때, 임계 거리는 기설정된 최소 이격 거리와 |d - b|의 합으로 표현될 수 있다.

즉, a ≥ 최소 이격 거리 + |d - b|일 때, 여유 공간 확보 제어가 수행될 수 있고, 제어부는 차량과 조수석 측방 차량의 이격 거리가 기준 거리가 되도록 자차량을 제어할 수 있다. 이 때, 거리 제어량은 d - b에 해당한다.

도 13은 본 발명의 제2 실시예에 따른 자동 주차시의 이격 거리 조정을 설명하기 위한 도면이다.

도 13을 참조하면, 최적의 주차 영역으로 최초 진입 시, 추출된 조수석 측 거리(b)가 기준 거리 보다 작을 경우 공간이 충분하지 않다고 판단되고, 운전석 측 거리(a)가 조수석 측 거리(b)에 대하여 주차 공간을 확보한 후 기준 거리(d)에 맞출 수 있을 만큼 충분하지 않은 경우 최소 이격 거리 제어가 수행된다.

즉, 본 실시예와 같이 최소 이격 거리 제어가 수행되는 조건은 자차량과 조수석 측방 차량의 이격 거리가 기준 거리보다 작고(b < d), 차량과 조수석 측방 차량의 이격 거리를 기준 거리로 조정하고 난 후 자차량과 자차량의 운전석 측에 위치한 운전석 측방 차량과의 이격 거리가 임계 거리 미만인 경우에 해당한다.

즉, a < 최소 이격 거리 + |d - b|일 때, 최소 이격 거리 제어가 수행될 수 있고, 제어부는 차자량과 운전석 측방 차량과의 이격 거리가 기설정된 최소 이격 거리가 되도록 자차량을 제어할 수 있다. 이 때, 최소 이격 거리는 자차량과 운전석 측방 차량 사이의 주차선부터 자차량까지의 거리로 설정되거나 임의의 값으로 설정될 수 있고, 차량이 이동하는 거리 제어량은 a - c에 해당한다.

한편, 본 명세서에서는 설명의 편의상 PAPS(Partially Automated Parking Systems)를 예시로 하고 있음이 이해되어야 한다. 전술한 바와 같이 PAPS는 여러 개의 ADAS 기능들 중의 하나에 불과하며, 본 발명이 제시하는 PAPS 구현은 관련되는 다른 ADAS 기능을 구현하기 위해서도 이용될 수 있음이 이해되어야 한다. 예를 들어, 본 발명에 제시하는 방식은 PAPS, LDWS(Land Departure Warning System), LKAS(Lane Keeping Assistance System), PDCMS(Pedestrian Detection and Collision Mitigation System), FVCWS(Forward Vehicle Collision Warning System), LSF(Low Speed Following), MALSO(Manoeuvring Aids for Low Speed Operation) 및 ERBA(Extended Range Backing Aid) 등의 ADAS 기능들 중에서 하나의 기능 또는 복수개의 기능의 결합을 구현하기 위해서도 사용될 수 있다.

하나 이상의 예시적인 실시예에서, 설명한 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다.　 소프트웨어로 구현된다면, 이 기능들은 컴퓨터 판독 가능 매체 상에 하나 이상의 명령 또는 코드로서 저장 또는 전송될 수 있다.　 컴퓨터 판독 가능 매체는 한 장소에서 다른 장소로 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함하는 통신 매체 및 컴퓨터 저장 매체를 모두 포함한다.　 저장 매체는 컴퓨터에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다.　 한정이 아닌 예시로, 이러한 컴퓨터 판독 가능 매체는 RAM, ROM, EEPROM, CD-ROM이나 다른 광 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스, 또는 명령이나 데이터 구조의 형태로 원하는 프로그램코드를 전달 또는 저장하는데 사용될 수 있으며 컴퓨터에 의해 액세스 가능한 임의의 다른 매체를 포함할 수 있다.　 또한, 임의의 접속이 컴퓨터 판독 가능 매체로 적절히 지칭된다.　 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 꼬임 쌍선, 디지털 가입자 회선(DSL), 또는 적외선, 라디오 및 초고주파와 같은 무선 기술을 이용하여 웹사이트, 서버 또는 다른 원격 소스로부터 전송된다면, 동축 케이블, 광섬유 케이블, 꼬임 쌍선, DSL, 또는 적외선, 라디오 및 초고주파와 같은 무선 기술들이 매체의 정의에 포함된다.　 여기서 사용된 것과 같은 디스크(disk 및 disc)는 콤팩트 디스크(CD), 레이저 디스크, 광 디스크, 디지털 다목적 디스크(DVD), 플로피디스크 및 블루레이 디스크를 포함하며, 디스크(disk)들은 보통 데이터를 자기적으로 재생하는 반면, 디스크(disc)들은 데이터를 레이저에 의해 광학적으로 재생한다.　 상기의 조합들 또한 컴퓨터 판독 가능 매체의 범위 내에 포함되어야 한다.

실시예들이 프로그램 코드나 코드 세그먼트들로 구현될 때, 코드 세그먼트는 프로시저, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 명령문들의 임의의 조합을 나타낼 수 있는 것으로 인식해야 한다.　 코드 세그먼트는 정보, 데이터, 인수(argument), 파라미터 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 연결될 수 있다.　 정보, 인수, 파라미터, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함하는 임의의 적당한 수단을 이용하여 전달, 발송 또는 전송될 수 있다.　 추가로, 어떤 측면들에서 방법 또는 알고리즘의 단계들 및/또는 동작들은 컴퓨터 프로그램 물건으로 통합될 수 있는 기계 판독 가능 매체 및/또는 컴퓨터 판독 가능 매체 상에 코드들 및/또는 명령들 중 하나 또는 이들의 임의의 조합이나 세트로서 상주할 수 있다.

소프트웨어에서 구현에서, 여기서 설명한 기술들은 여기서 설명한 기능들을 수행하는 모듈들(예를 들어, 프로시저, 함수 등)로 구현될 수 있다.　 소프트웨어 코드들은 메모리 유닛들에 저장될 수 있으며 프로세서들에 의해 실행될 수 있다.　 메모리 유닛은 프로세서 내에 구현될 수도 있고 프로세서 외부에 구현될 수 있으며, 이 경우 메모리 유닛은 공지된 바와 같이 다양한 수단에 의해 프로세서에 통신 가능하게 연결될 수 있다.

하드웨어 구현에서, 처리 유닛들은 하나 이상의 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 디바이스(DSPD), 프로그래밍 가능 로직 디바이스(PLD), 현장 프로그래밍 가능 게이트 어레이(FPGA), 프로세서, 제어기, 마이크로컨트롤러, 마이크로프로세서, 여기서 설명한 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 이들의 조합 내에 구현될 수 있다.

상술한 것은 하나 이상의 실시예의 실례를 포함한다.　 물론, 상술한 실시예들을 설명할 목적으로 컴포넌트들 또는 방법들의 가능한 모든 조합을 기술할 수 있는 것이 아니라, 당업자들은 다양한 실시예의 많은 추가 조합 및 치환이 가능함을 인식할 수 있다.　 따라서 설명한 실시예들은 첨부된 청구범위의 진의 및 범위 내에 있는 모든 대안, 변형 및 개조를 포함하는 것이다.　 더욱이, 상세한 설명 또는 청구범위에서 "포함한다"라는 용어가 사용되는 범위에 대해, 이러한 용어는 "구성되는"이라는 용어가 청구범위에서 과도적인 단어로 사용될 때 해석되는 것과 같이 "구성되는"과 비슷한 식으로 포함되는 것이다.

여기서 사용된 바와 같이, "추론하다" 또는 "추론"이라는 용어는 일반적으로 이벤트 및/또는 데이터에 의해 포착되는 한 세트의 관측으로부터 시스템, 환경 및/또는 사용자의 상태에 관해 판단하거나 추론하는 프로세스를 말한다.　 추론은 특정 상황이나 동작을 식별하는데 이용될 수 있고, 또는 예를 들어 상태들에 대한 확률 분포를 생성할 수 있다.　 추론은 확률적일 수 있는데, 즉 데이터 및 이벤트들의 고찰에 기초한 해당 상태들에 대한 확률 분포의 계산일 수 있다.　 추론은 또한 한 세트의 이벤트들 및/또는 데이터로부터 상위 레벨 이벤트들을 구성하는데 이용되는 기술들을 말할 수도 있다.　 이러한 추론은 한 세트의 관측된 이벤트들 및/또는 저장된 이벤트 데이터로부터의 새로운 이벤트들 또는 동작들, 이벤트들이 시간상 밀접하게 상관되는지 여부, 그리고 이벤트들과 데이터가 하나 또는 여러 이벤트 및 데이터 소스들로부터 나오는지를 추정하게 한다.

더욱이, 본 출원에서 사용된 바와 같이, "컴포넌트", "모듈", "시스템" 등의 용어는 이에 한정되는 것은 아니지만, 하드웨어, 펌웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행중인 소프트웨어와 같은 컴퓨터 관련 엔티티를 포함하는 것이다.　 예를 들어, 컴포넌트는 이에 한정되는 것은 아니지만, 프로세서상에서 실행하는 프로세스, 프로세서, 객체, 실행 가능한 실행 스레드, 프로그램 및/또는 컴퓨터일 수도 있다.　 예시로, 연산 디바이스 상에서 구동하는 애플리케이션과 연산 디바이스 모두 컴포넌트일 수 있다.　 하나 이상의 컴포넌트가 프로세스 및/또는 실행 스레드 내에 상주할 수 있으며, 컴포넌트가 하나의 컴퓨터에 집중될 수도 있고 그리고/또는 2개 이상의 컴퓨터 사이에 분산될 수도 있다.　 또한, 이들 컴포넌트는 각종 데이터 구조를 저장한 각종 컴퓨터 판독 가능 매체로부터 실행될 수 있다.　 컴포넌트들은 하나 이상의 데이터 패킷(예를 들어, 로컬 시스템, 분산 시스템의 다른 컴포넌트와 그리고/또는 신호에 의해 다른 시스템들과 인터넷과 같은 네트워크를 거쳐 상호 작용하는 어떤 컴포넌트로부터의 데이터)을 갖는 신호에 따르는 등 로컬 및/또는 원격 프로세스에 의해 통신할 수 있다.

Claims

자차량 주변의 영상을 획득하고, 획득한 영상을 외부영상으로 변환 및 합성하는 카메라 프로세서;
상기 자차량과 주변 차량들 사이의 이격 거리들을 측정하는 센서 프로세서;
상기 이격 거리들과 상기 외부영상을 주기적으로 수신하고, 영상인식 기술을 이용하여 순차적으로 연속된 상기 외부영상 및 상기 이격 거리들을 비교하여 주차 영역들을 인식하는 주차공간 인식부; 및
상기 자차량의 현재 위치와 상기 주차 영역들 중 최적의 주차 영역 사이의 진행 경로를 산출하고, 상기 진행 경로를 바탕으로 상기 자차량을 제어하는 제어부를 포함하고,
상기 주차공간 인식부는 상기 자차량의 길이 및 폭을 고려하여 주차 영역들을 탐지하는 자동 주차 시스템.
제 1 항에 있어서,
상기 주차공간 인식부는 영상인식 기술을 이용하여 연속된 영상의 특징점을 추출하고, 연속된 두 영상의 특징점을 매칭하며, 오정합된 특징점들을 삭제하고, 유효 특징점들을 정합함으로써 주차 영역들을 인식하는 자동 주차 시스템.
제 1 항에 있어서,
상기 자차량이 진행 경로를 주행하는 동안, 상기 제어부는 상기 센서 프로세서 및 상기 카메라 프로세서가 획득한 데이터를 이용하여 상기 자차량과 장애물과의 충돌을 방지하도록 상기 자차량을 제어하는 자동 주차 시스템.
제 1 항에 있어서,
상기 센서 프로세서는 상기 최적의 주차 영역에서 상기 자차량의 측방에 위치한 주변 차량들과의 이격 거리들을 감지하고,
상기 제어부는 상기 이격 거리들에 기초하여 상기 자차량의 조수석 측에 위치한 조수석 측방 차량과의 제1 이격 거리가 기설정된 기준 거리로 조절되도록 상기 자차량을 제어하는 자동 주차 시스템.
제 4 항에 있어서,
상기 제어부는:
상기 제1 이격 거리가 상기 기준 거리보다 작은 경우, 상기 제1 이격 거리를 상기 기준 거리로 조정하고 난 후 상기 자차량과 상기 자차량의 운전석 측에 위치한 운전석 측방 차량과의 제2 이격 거리가 상기 기준 거리 이상인지 여부를 판단하는,
자동 주차 시스템.
제 5 항에 있어서,
상기 제어부는:
상기 제2 이격 거리가 상기 기준거리 이상인 경우, 상기 제2 이격 거리가 상기 기준 거리가 되도록 상기 자차량을 제어하는,
자동 주차 시스템.
제 5 항에 있어서,
상기 제어부는:
상기 제2 이격 거리가 상기 기준거리 미만인 경우, 상기 제2 이격 거리가 기설정된 최소 이격 거리가 되도록 상기 자차량을 제어하는,
자동 주차 시스템.
제 7 항에 있어서,
상기 최소 이격 거리는 상기 자차량과 상기 운전석 측방 차량 사이에 위치한 주차선과 상기 자차량 사이의 거리로 설정되는 것을 특징으로 자동 주차 시스템.
제 4 항에 있어서,
상기 제어부는:
상기 제1 이격 거리가 상기 기준 거리보다 작은 경우, 상기 자차량과 상기 자차량의 운전석 측에 위치한 운전석 측방 차량과의 제2 이격 거리가 기설정된 임계 거리 이상인지 여부를 판단하고,
상기 임계 거리는 상기 제1 이격 거리를 상기 기준 거리로 조정하도록 이동한 거리에 기설정된 최소 이격 거리를 더한 값으로 설정되는 자동 주차 시스템.
제 1 항에 있어서,
상기 센서 프로세서는 상기 최적의 주차 영역의 주위의 주변 차량들 및 주차 라인을 탐지하는 자동 주차 시스템.
제 1 항에 있어서,
상기 주차 영역들을 운전자에게 알려주는 표시 컨트롤러를 더 포함하고,
상기 제어부는 운전자에 의해 선택된 상기 최적의 주차 영역으로 상기 차량을 구동하도록 제어하는 자동 주차 시스템.
제 1 항에 있어서,
상기 제어부는 상기 자차량의 조향, 가속, 브레이크, 기어 변경 및 주차 브레이크를 제어하는 자동 주차 시스템.
제 1 항에 있어서,
상기 외부영상은 상기 자차량의 상부에서 상기 자차량을 바라보는 탑뷰 영상인 자동 주차 시스템.
자차량을 자동으로 주차하기 위한 자동 주차 방법에 있어서,
자동 주차 모드를 설정하는 단계;
상기 자차량 주변의 외부영상, 상기 자차량과 주변 차량들 간의 이격 거리 및 상기 자차량의 길이와 폭을 이용하여 주차 영역들을 탐지하는 단계;
상기 주차 영역들 중 최적의 주차 영역을 선택하는 단계; 및
상기 최적의 주차 영역으로 상기 자차량을 자동으로 주차하는 단계를 포함하고,
상기 주차 영역들을 탐지하는 단계는 영상인식 기술을 이용하여 순차적으로 연속된 상기 외부영상 및 상기 이격 거리들을 비교하여 상기 주차 영역들을 인식하는 자동 주차 방법.
제 14 항에 있어서,
상기 자차량을 자동으로 주차하는 단계 이후, 상기 자동 주차 모드를 종료하는 단계를 포함하고,
상기 자동 주차 모드를 종료하는 단계는 자동 주차 모드 스위치의 끔 또는 기어를 파킹으로 변경을 통해 수행되는 자동 주차 방법.
제 14 항에 있어서,
상기 자차량을 자동으로 주차하는 단계에서 자동 주차 모드 스위치를 끄거나 또는 기어를 파킹으로 변경하는 경우 상기 자동 주차 모드는 종료되는 자동 주차 방법.
제 14 항에 있어서,
상기 자차량을 자동으로 주차하는 단계에서 기어의 변경, 조향의 변경 또는 브레이크의 동작 중 어느 하나의 수행이 있는 경우 상기 자동 주차 모드는 중단되는 자동 주차 방법.
제 14 항에 있어서,
상기 이격 거리들은 상기 자차량과 상기 자차량의 조수석 측에 위치한 조수석 측방 차량과의 제1 이격 거리 및 상기 자차량과 상기 자차량의 운전석 측에 위치한 운전석 측방 차량과의 제2 이격 거리를 포함하고,
상기 자차량을 자동으로 주차하는 단계는 상기 제1 이격 거리와 상기 제2 이격 거리가 기설정된 기준 거리로 조절되도록 상기 자차량을 제어하는 것을 포함하는 자동 주차 방법.
제 14 항에 있어서,
상기 주차 영역들을 탐지하는 단계는:
영상인식 기술을 이용하여 연속된 영상의 특징점을 추출하는 단계;
연속된 두 영상의 특징점을 매칭하여 오정합된 특징점들을 삭제하는 단계; 및
유효 특징점들에 기반하여 영상들을 정합하는 단계;
를 포함하는 자동 주차 방법.