KR102019288B1 - 주차 보조 방법 및 장치 - Google Patents

Abstract

본 발명은 주차 보조 방법에 관한 것으로서, 차량을 주차하고자 하는지 판단하는 단계, 상기 판단 결과 주차하고자 하는 경우 주차하고자 하는 위치의 주변 차량을 인식하는 단계, 상기 인식된 주변 차량의 윈도우 영역을 이미지 프로세싱하는 단계, 상기 이미지 프로세싱한 결과 탑승자가 있는지 여부를 인식하는 단계, 및 상기 인식 결과 탑승자가 있는 경우 상기 차량의 운전자에게 상기 주변 차량에 탑승자가 있음을 알리는 단계를 포함하는 것을 특징으로 하며, 주차시 예측하지 못한 문 열림으로 인한 충돌을 사전에 방지할 수 있다.

Description

주차 보조 방법 및 장치{An apparatus and method for parking assistance}

본 발명은 주차 보조 방법에 관한 것으로서, 더욱 상세하게는 AVM(Around View Monitoring) 시스템과 앞(Front) / 뒤(Rear) 카메라를 활용하여 주변 차량 및주변 차량 탑승자를 인식함으로써, 주차시 예측하지 못한 문 열림으로 충돌을 사전에 방지할 수 있는 주차 보조 방법 및 장치에 관한 것이다.

기존의 탑승자 감지시스템은 차량 실내에 탑재된 각종 센서가 운전석, 조수석의 탑승자의 상태를 감지하였다. 예를 들면, 시트에 내장된 체중 센서를 이용한 에어백 제어 시스템과 차량 실내 근적외선 카메라와 조타각 센서를 이용한 운전자 모니터링 시스템, 또는 반도체 가스 센서를 이용한 알코올 감지시스템 등이 실용화되어 있는 상황이다. 이상의 감지 시스템은 모두 자기 차량 내의 운전자나 탑승자를 감지하는 기술이다.

한편, 차량 내의 카메라가 아닌 도로상의 감시 카메라를 활용하여 차량 내의 운전자를 인지하는 방법이 있다.

도 1은 도로상의 감시 카메라를 활용하여 주행차량의 탑승자 존재 여부 및 탑승자의 수를 체크하는 것을 나타낸 도면이다.

도 1에 도시된 종래 기술은 차량의 외부에서 차량 내부의 탑승자가 존재하는지 여부를 비디오 카메라 또는 캡처된 이미지로 판단하기만 할 뿐 주차장에서 주차시 문열림 등에 의한 불측의 충돌을 예방하기는 어려워 사고발생 가능성이 높은 문제가 있었다.

따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 차량을 주차할 때 주변 차량 내에 탑승자 내지 움직이는 물체가 존재하는지 여부를 판단하여 직접적인 위험성 및 간접적인 위험성까지 예측하여 문 열림 등에 의한 사고를 방지할 수 있는 주차 보조 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 두 번째 과제는 AVM(Around View Monitoring) 시스템과 앞(Front) / 뒤(Rear) 카메라를 활용하여 주변 차량을 감지함으로써, 주차시 예측하지 못한 문 열림으로 충돌을 사전에 방지할 수 있는 주차 보조 장치를 제공하는 것이다.

또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.

본 발명은 상기 첫 번째 과제를 달성하기 위하여, 차량을 주차하고자 하는지 판단하는 단계; 상기 판단 결과 주차하고자 하는 경우 주차하고자 하는 위치의 주변 차량을 인식하는 단계; 상기 인식된 주변 차량의 윈도우 영역을 이미지 프로세싱하는 단계; 상기 이미지 프로세싱한 결과 탑승자가 있는지 여부를 인식하는 단계; 및 상기 인식 결과 탑승자가 있는 경우 상기 차량의 운전자에게 상기 주변 차량에 탑승자가 있음을 알리는 단계를 포함하는 주차 보조 방법을 제공한다.

상기 탑승자가 있는지 여부는, 상기 이미지 프로세싱된 이미지로부터 물체의 경계선을 검출하고, 상기 검출된 경계선으로부터 계산된 선형성이 탑승자가 없을 때보다 작으면, 탑승자가 있는 것으로 판단할 수 있다.

상기 이미지 프로세싱은 상기 주변 차량의 윈도우 영역의 이미지 밝기값을 기준값과 비교하여 상기 기준값보다 낮은 경우 노출 시간이 긴 이미지의 출력 밝기값을 선택하고 상기 윈도우 영역의 이미지 밝기값이 기준값보다 높은 경우는 노출 시간이 짧은 이미지의 출력 밝기값에 노출 시간이 긴 경우의 출력 밝기값과 노출 시간이 짧은 경우의 출력 밝기값의 비율에 따른 이득값을 곱한 값을 출력 밝기값으로 선택하는 것이 바람직하다.

또한, 상기 윈도우 영역을 이미지 프로세싱하는 단계는, 상기 윈도우 영역 내의 헤드 레스트를 이미지 프로세싱하는 것이 바람직하다.

이때, 상기 인식된 주변 차량의 윈도우 영역을 이미지 프로세싱하는 단계는, 주변 밝기와 무관하게 상기 윈도우 영역의 이미지 밝기값을 기준으로 이미지 프로세싱을 하는 것이 바람직하다.

한편, 상기 주변 차량을 인식하는 카메라 모드와 상기 인식된 주변 차량의 윈도우 영역을 인식하는 카메라 모드는 다른 것일 수 있다.

본 발명은 상기 두 번째 과제를 달성하기 위하여 차량을 주차하고자 하는 주차모드인지 판단하는 차량모드 판단부; 상기 차량모드 판단부 판단 결과 상기 차량을 주차하고자 하는 경우 주차하고자 하는 위치의 주변 차량을 인식하는 주변차량 인식부; 상기 인식된 주변 차량의 윈도우 영역을 이미지 프로세싱하고, 상기 이미지 프로세싱한 결과로부터 탑승자가 있는지 여부를 인식하는 탑승자 인식부; 및 상기 인식 결과 탑승자가 있는 경우 상기 차량의 운전자에게 상기 주변 차량에 탑승자가 있음을 알리는 정보 알림부를 포함하는 주차 보조 장치를 제공한다.

상기 기술적 과제를 해결하기 위하여, 본 발명은 상기된 주차 보조 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

본 발명에 따르면, AVM(Around View Monitoring) 시스템과 앞(Front) / 뒤(Rear) 카메라를 활용하여 주변 차량을 감지함으로써, 주차시 예측하지 못한 문 열림으로 인한 충돌을 사전에 방지할 수 있다. 또한, 본 발명에 따르면, 차량을 주차할 때 주변 차량 내에 탑승자 내지 움직이는 물체가 존재하는지 여부를 판단하여 직접적인 위험성 및 간접적인 위험성까지 예측할 수 있다. 나아가, 본 발명에 따르면, 저조도에서 카메라만을 이용하여 물체인식을 높이는 저가 제품 생산 가능하다.

도 1은 도로상의 감시 카메라를 활용하여 주행차량의 탑승자 존재 여부 및 탑승자의 수를 체크하는 것을 나타낸 도면이다.
도 2는 본 발명의 바람직한 일 실시 예에 따른 주차 보조 장치의 구성도이다.
도 3은 본 발명의 바람직한 일 실시 예에 따른 주차 보조 방법의 흐름도이다.
도 4는 본 발명에서 사용된 이미지 프로세싱을 상세하게 설명하기 위한 도면이다.
도 5는 차량이 후진으로 주차하는 경우와 전진으로 주차하는 경우의 시야각을 나타낸 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다.

도 2는 본 발명의 바람직한 일 실시 예에 따른 주차 보조 장치의 구성도이다.

도 2를 참조하면, 본 실시 예에 따른 주차 보조 장치는 차량모드 판단부(210), 주변차량 인식부(220), 탑승자 인식부(230), 및 정보 알림부(240)로 구성된다.

차량모드 판단부(210)는 차량을 주차하고자 하는 주차 모드인지 판단한다.

본 명세서에 기재된 주차 모드란, 차량을 전진시키거나 후진시켜 주차하고자 하는 경우 또는 주차장에 정차하고 있는 경우를 의미한다.

전진 모드는 차량이 앞으로 주행 중인 것을 의미하며, 후진 모드는 차량이 뒤로 주행 중인 것을 의미한다. 전진 모드와 후진 모드는 주차를 하고자 하는 것이 아니라 주행하고자 하는 상태라는 점에서 주차 모드와 차이가 있다.

정차 모드는 도로 상에 주행 중 정지 신호 등에 의해 차량이 잠시 멈춰 있는 상태를 의미하는 것으로 운행을 전제로 한다.

전진 모드와 후진 모드는 주차를 전제로 움직이는 모드가 아니라는 점에서 주차 모드와 차이가 있으며, 정차 모드는 주차 모드에서 정차하고 있는 경우와 비교할 때 차가 움직이지 않는 경우라는 점에서 유사하나 정차 모드는 차량이 계속 움직이는 것을 예정한다는 점에서 주차 모드와 차이가 있다.

주변차량 인식부(220)는 차량모드 판단부(210)의 판단 결과 상기 차량을 주차하고자 하는 주차모드인 경우 주차하고자 하는 위치의 주변 차량을 인식한다.

주차 모드에 해당하는 경우 주변 차량의 이미지를 AVM(Around View Monitoring) 시스템과 앞(Front) / 뒤(Rear) 카메라를 활용하여 획득한 다음, 획득한 이미지들을 합성함으로써, 주변 차량을 인식할 수 있다.

또한 주변 차량 인식부(220)는 주변 차량 외에도 주차에 방해되는 물건, 지나가는 사람 등 주차하는데 방해가 될 수 있는 물체를 인식하고 정보 알림부(240)를 통해 운전자에게 알릴 수 있다.

탑승자 인식부(230)는 주변차량 인식부(220)에 의해 인식된 주변 차량의 윈도우 영역을 이미지 프로세싱하고, 상기 이미지 프로세싱한 결과로부터 탑승자가 있는지 여부를 인식한다.

탑승자 인식부(230)는 상기 이미지 프로세싱된 이미지로부터 경계선을 검출하고, 상기 검출된 경계선으로부터 계산된 선형성이 탑승자가 없을 때 계산되는 선형성보다 작으면, 탑승자가 있는 것으로 판단할 수 있다. 상기 선형성은 검출된 경계선들의 일정 길이에 대한 곡률을 평균한 것으로 정의할 수 있으나 이에 한정되지 않으며, 다양한 정의를 할 수 있다.

상기 경계선을 검출하는 방법은 픽셀의 밝기가 갑자기 변화하는 픽셀을 경계선으로 검출할 수 있다. 상기 경계선을 검출하는 방법으로 소벨(Sobel) 마스크, 프리윗(Prewitt) 마스크, 로버츠(Roberts) 마스크 등을 사용할 수 있으며, 1차 미분, 2차 미분, 라플라시안, 가우시안-라플라시안(LoG), 또는 캐니(canny) 알고리즘을 이용하여 에지를 추출할 수 있다. 상기 이미지 프로세싱은 상기 주변 차량을 대상으로 복수의 사진을 찍은 후, 상기 복수의 사진 중에서 가장 넓은 범위의 색 정보를 갖고 있는 영역을 선별하여, 상기 선별된 영역들을 한 장의 사진으로 합성할 수 있다.

탑승자 인식부(230)는 상기 윈도우 영역 내의 헤드 레스트 또는 좌석을 이미지 프로세싱하는 것이 바람직하다.

주변차량 인식부(220)가 상기 주변 차량을 인식하는 카메라 모드와 탑승자 인식부(230)가 상기 인식된 주변 차량의 윈도우 영역을 인식하는 카메라 모드는 다른 것이 바람직하다. 이때, 탑승자 인식부(230)는 주변 밝기와 무관하게 상기 이미지 프로세싱을 할 수 있다.

정보 알림부(240)는 탑승자 인식부(230)의 인식 결과 탑승자가 있는 경우 상기 차량의 운전자에게 상기 주변 차량에 탑승자가 있음을 알린다.

도 3은 본 발명의 바람직한 일 실시 예에 따른 주차 보조 방법의 흐름도이다.

도 3을 참조하면, 본 실시 예에 따른 주차 보조 방법은 도 2에 도시된 주차 보조 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 2에 도시된 주차 보조 장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 주차 보조 방법에도 적용된다.

310 단계에서 주차 보조 장치는 차량의 모드를 인식하고 차량을 주차하고자 하는 주차모드인지 판단한다. 상기 차량의 모드는 전진 모드, 후진 모드, 주차 모드 또는 정차 모드 중 적어도 하나 이상을 포함한다.

전진과 후진을 하되 주차를 전제로 움직이는 주차 모드로 판단하기 위해서는 주변 상황을 인식하는 구성을 더 포함할 수 있다. 마찬가지로, 정차를 하고 있으나 주행 중 정차인 경우와 주차 모드에서 정차하고 있는 경우를 구분하기 위해 상기 주변 상황을 인식하는 구성을 더 포함할 수 있다.

상기 주변 상황을 인식하는 구성이란, 상기 차량의 현재 위치, 주변에 주차선이 있는지 여부, 또는 소정의 시간 동안 상기 차량의 평균 속도 등을 고려하여 주변 상황을 인식하는 구성일 수 있다. 예를 들어, 상기 차량이 주차장에 위치한 경우, 주변에 주차선이 있는 경우, 또는 소정의 시간 동안 차량의 평균 속도가 10Km/h 이하(예시)인 경우로 판단되면, 주차 모드인 것으로 인식할 수 있다.

상기 주변 상황을 인식하는 구성은 상기 나열된 것 외에도 차량 내 기어의 상태, 스티어링 동작, 속도 등을 감안하여 상기 차량이 주차 모드인 것으로 인식할 수 있다.

본 발명의 다른 실시 예에 따른 주차 보조 장치는 별도의 입력을 운전자로부터 입력받아 주차모드임을 인식함으로써, 상기 주변 상황을 인식하는 구성을 대체할 수 있을 것이다.

320 단계에서 주차 보조 장치는 310 단계에서 차량 모드를 인식한 결과 주차 모드로 인식하면, 주차하고자 하는 위치의 주변 차량을 인식한다.

상기 주변 차량이란 상기 차량을 중심으로 일정 반경 내에 있는 차량, 예상 주행 경로로부터 일정 거리 내에 있는 차량, 또는 주차하고자 하는 주차 공간의 양 옆에 있는 차량 중에 어느 하나일 수 있으나 이에 한정되지는 않는다. 한편, 상기 차량의 주행 경로로 예상할 때 충돌 가능성이 있다고 판단되는 경우 충돌 가능성이 있는 주변 차량을 확대하거나 해상도를 높임으로써, 운전자가 충돌을 회피할 수 있도록 할 수 있다. 주변 차량의 존재 여부 확인하기 위해서 고해상도 이미지를 사용할 필요는 없고, 저해상도의 이미지를 사용할 수 있으며, 레이저 등으로 대체가능하다.

330 단계에서 주차 보조 장치는 320 단계에서 주변 차량으로 인식된 차량의 윈도우 영역을 이미지 프로세싱한다.

본 발명에 따른 주차 보조장치는 주변 차량으로 인식된 차량의 윈도우 영역을 감지하고 윈도우 영역에 대해서 이미지 프로세싱을 함으로써 계산량을 감소시킬 수 있다. 또한, 윈도우 전체 이미지가 아닌 윈도우 영역 내의 특정 부분(예를 들면, 헤드레스트)만을 적용하여 더 계산량을 감소시키면서 인식 확률을 높일 수도 있다. 이때, 상기 차량의 윈도우 영역은 차량의 앞유리이거나 뒷유리일 수 있다.

상기 이미지 프로세싱은 상기 주변 차량을 대상으로 노출시간이 다른 복수의 사진을 동시에 또는 연속적으로 찍은 후, 상기 복수의 사진 중에서 특정 선택영역에 대해 어두운 영역과 밝은 영역의 밝기값을 조절하여, 사진 전체의 선명도 (contrast) 및 색조(hue)를 개선하기 위해 상기 선별된 영역들을 한 장의 사진으로 합성할 수 있다. 이때 노출시간은 선별된 영역의 밝기값을 기준으로 복수의 노출시간이 결정될 수 있다. 예를 들어 차량의 윈도우에 어두운 색깔의 필름이 코팅된 경우, 해당 차량의 윈도우 영역은 낮은 밝기값을 갖게 된다. 이러한 경우, 차량 안에 탑승자 및 물체를 인식하기 위해서는 보다 긴 노출시간이 설정되어야 하며, 해당 노출시간에 최적화된 짧은 노출시간이 결정될 수 있다. 따라서 특정 선별된 영역의 밝기값을 기준으로 복수의 이미지 촬영을 위한 노출시간이 자동으로 결정될 수 있다. 또한 이미지의 합성에 있어서, 물체의 경계선 추출을 용이하게 하기 위해, 선별 영역의 기준 밝기값이 계산되어야 하며, 해당 기준 밝기값보다 낮은 밝기값을 갖는 경계선의 경우에는, 노출시간이 긴 이미지에서 해당 밝기값을 추출하여 경계선의 밝기값을 높이고, 반대로 기준 밝기값보다 높은 밝기값을 갖는 물체의 경계선에 대해서는 서로 다른 노출값을 갖는 이미지의 밝기값을 모두 이용하여, 원래의 밝기값보다 낮게 조절할 수 있다.

나아가, 주위 환경의 조도에 따라 카메라의 노출시간을 조절함으로써, 이미지를 개선할 수 있다. 즉, 주변 환경이 어두운 경우 카메라의 노출시간을 늘림으로써, 밝기를 보강하고, 주변 환경이 밝은 경우 노출시간을 줄임으로써, 밝기를 억제하여, 식별이 용이하도록 할 수 있다.

보다 상세하게 살펴보면, 카메라의 한 프레임의 이미지에서 노출 시간을 조절함에 따라 어두운 부분과 밝은 부분의 밝기(Brightness) 차이를 조절하는 것이 가능하다. 예를 들면, 1/60초의 프레임을 1/64초의 Long Time Exposure와 시간적으로 1/19인 1/1200초의 Short Time Exposure로 구성을 하고, 이 두 이미지를 합성하여 식별이 용이한 합성 이미지를 얻을 수 있다.

이상과 같이 상기 윈도우 영역에 대한 이미지 프로세싱은 320 단계에서 주변 차량을 인식하는 경우보다 넓은 범위의 색 정보를 갖는 이미지이거나 고해상도의 이미지를 사용함으로써, 인식률을 높일 수 있다.

도 4는 본 발명에서 사용된 이미지 프로세싱을 상세하게 설명하기 위한 도면이다.

도 4를 참조하면, 어느 하나의 프레임에 해당하는 이미지 신호를 입력받은 후 각각 픽셀의 입력 밝기값이 기준값보다 낮은(어두운) 경우, 다음 프레임의 해당 픽셀은 노출 시간을 길게 한 이미지 신호(롱타임 노출 이미지 신호)를 선택하여 출력하고, 입력 밝기값이 기준값보다 높은(밝은) 경우는 과다 노출에 의한 포화가 발생할 수 있으므로 다음 프레임의 해당 픽셀은 노출 시간을 짧게 한 이미지 신호(숏타임 노출 이미지 신호)에 긴 노출 시간과 짧은 노출 시간의 비율에 해당하는 이득값(G)을 곱한 밝기값(개선된 롱타임 이미지 신호)을 선택하여 출력한다.

도 4에서와 같이 숏타임 노출 이미지 신호의 경우 입력 밝기값과 출력 밝기갑의 기울기가 롱타임 노출 이미지 신호보다 완만하므로, 숏타임 노출 이미지 신호에 이득값을 곱한 출력 밝기값을 기준값보다 큰 입력 밝기값에 적용하면, 각각의 픽셀에서 입력값 대비 출력값이 이미지 센서에서 포화되는 현상을 방지하여 전체 이미지를 보다 선명하게 확인할 수 있게 된다.

이상에서 살펴본 바와 같이 본 발명에서의 이미지 프로세싱은 상기 주변 차량의 윈도우 영역의 이미지 밝기값을 기준값과 비교하여 상기 기준값보다 낮은 경우 노출 시간이 긴 이미지의 출력 밝기값을 선택하고 상기 윈도우 영역의 이미지 밝기값이 기준값보다 높은 경우는 노출 시간이 짧은 이미지의 출력 밝기값에 노출 시간이 긴 경우의 출력 밝기값과 노출 시간이 짧은 경우의 출력 밝기값의 비율에 따른 이득값을 곱한 값을 출력 밝기값으로 선택할 수 있다. 나아가 주변 밝기와 무관하게 상기 윈도우 영역의 이미지 밝기값을 기준으로 이미지 프로세싱을 할 수 있다.

다시 도 3을 참조하면, 340 단계에서 주차 보조 장치는 330 단계에서 이미지 프로세싱한 결과를 이용하여 탑승자가 있는지 여부를 판단한다.

탑승자가 있는지 여부를 판단하기 위한 방법으로서, 1)이미지 프로세싱된 이미지의 경계선을 검출하고, 검출된 경계선의 연속성을 판단하거나 2)이미지 프로세싱된 이미지의 검출된 경계선의 총 길이가 임계값을 넘거나 3) 이미지 프로세싱된 이미지의 변화가 있는 경우 탑승자가 있는지 여부를 판단할 수 있다. 즉 시간에 따른 이미지의 변화를 감지함으로써, 탑승자의 유무를 판단할 수 있다.

특히, 1) 경계선의 연속성을 판단하는 경우 윈도우 영역 내에서 윤곽(contour)의 선형성이 있는 부분을 찾고 선형성의 연속 여부를 판단할 수 있다. 상기 선형성이 있는 부분은 좌석의 헤드레스트 부분인 것이 바람직하다. 헤드 레스트 부분이 사각형 또는 마름모인데, 선형성이 운전자에 의해 불연속이 생긴 경우 탑승자가 존재하는 것으로 판단할 수 있다. 이 경우 탑승자의 윤곽 등을 계산하여 인지하기보다는 좌석이나 헤드레스트 등 윤곽의 선형성을 가지는 물체의 선형성 여부를 판단하여 탐승자를 인지하므로 계산량을 줄여 실시간 감지를 가능하게 한다.

상기 선형성은 일정 영역 내에서 검출된 경계선들의 소정의 길이에 대한 곡률을 평균한 것으로 정의할 수 있으나 이에 한정되지 않으며, 다양한 정의를 할 수 있다.

350 단계에서 주차 보조 장치는 340 단계에서 탑승자가 있다고 판단하면, 차량의 운전자에게 정보를 알린다. 상기 알리는 정보는 상기 340 단계에서 판단된 탑승자가 있는 위치가 어디인지 여부를 포함하는 정보 및 경고 메시지를 포함한다.

나아가 본 발명의 다른 실시 예에 따른 주차 보조 장치는 주차하고자 하는 공간의 양 옆으로 주차되어 있는 차의 차문이 열리는 경우 브레이크를 제어하여 속도를 낮추거나 정지시킬 수 있다.

또한, 본 발명에 따른 주차 보조 장치가 있는 차량의 진행 방향과 주차되어 있는 차량의 탑승자의 위치에 따라 경고 여부를 결정할 수 있다. 만일 본 발명에 따른 차량이 주차되어 있는 차량의 조수석으로 접근 중이고, 운전석에만 탑승자가 있는 경우에는 경고를 안 할 수 있다. 반대로 본 발명에 따른 차량이 주차되어 있는 차량의 운전석으로 접근 중이고, 조수석에만 탑승자가 있는 경우에도 경고를 안 할 수 있다.

도 5는 차량이 후진으로 주차하는 경우와 전진으로 주차하는 경우의 시야각을 나타낸 것이다.

도 5a는 차량이 후진 방향으로 주차하는 경우를 나타낸 것이다.

도 5a를 참조하여 살펴보면, 후진하는 차량의 왼쪽 차량에는 운전석에 탑승자가 앉아 있고, 오른쪽 차량 역시 운전석에 탑승자가 앉아 있다. 이 경우 후진하는 차량의 운전자로서는 오른쪽 차량의 운전석에 있는 탑승자를 고려하면서 주차를 할 필요는 없으므로, 오른쪽 차량에 대해서는 경고를 하지 않고 왼쪽 차량에 대해서만 경고를 할 수 있다.

도 5b는 차량이 전진 방향으로 주차하는 경우를 나타낸 것이다.

도 5b를 참조하여 살펴보면, 전진하는 차량의 왼쪽 차량에는 운전석에 탑승자가 앉아 있고, 오른쪽 차량 역시 운전석에 탑승자가 앉아 있다. 이 경우 전진하는 차량의 운전자로서는 오른쪽 차량의 운전석에 있는 탑승자를 고려하면서 주차를 할 필요는 없으므로, 오른쪽 차량에 대해서는 경고를 하지 않고 왼쪽 차량에 대해서만 경고를 할 수 있다. 또한, 오른쪽 차량과의 간격을 왼쪽 차량과의 간격보다 좁게 하여도 탑승자가 내리는데 문제가 없는 경우이므로, 주차시 오른쪽 차량과 가까이 주차하여도 무관하다는 정보를 운전자에게 알릴 수 있다.

본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터,데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

상술한 모든 기능은 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등과 같은 프로세서에 의해 수행될 수 있다. 상기 코드의 설계, 개발 및 구현은 본 발명의 설명에 기초하여 당업자에게 자명하다고 할 것이다.

이상 본 발명에 대하여 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서 상술한 실시 예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시 예들을 포함한다고 할 것이다.

Claims (13)

1. 차량을 주차하고자 하는지 판단하는 단계;
   상기 판단 결과 상기 차량이 주차하고자 하는 경우, 주차하고자 하는 위치의 주변 차량을 인식하는 단계;
   상기 인식된 주변 차량의 윈도우 영역을 이미지 프로세싱하는 단계;
   상기 이미지 프로세싱한 결과 탑승자가 있는지 여부를 인식하는 단계; 및
   상기 인식 결과 탑승자가 있는 경우 상기 차량의 운전자에게 상기 주변 차량에 탑승자가 있음을 알리는 단계를 포함하고,
   상기 이미지 프로세싱은 상기 윈도우 영역 내의 헤드 레스트를 이미지 프로세싱하고,
   상기 탑승자가 있는지 여부는,
   상기 이미지 프로세싱된 이미지로부터 물체의 경계선을 검출하고, 상기 검출된 경계선으로부터 계산된 선형성이 탑승자가 없을 때보다 작으면, 탑승자가 있는 것으로 판단하는 것을 특징으로 하는 주차 보조 방법.
   
2. 삭제
3. 제1 항에 있어서,
   상기 이미지 프로세싱은 상기 주변 차량의 윈도우 영역의 픽셀 밝기값을 기준값과 비교하여 상기 기준값보다 낮은 경우 노출 시간이 긴 이미지의 출력 밝기값을 선택하고 상기 윈도우 영역의 이미지 밝기값이 기준값보다 높은 경우는 노출 시간이 짧은 이미지의 출력 밝기값에 노출 시간이 긴 경우의 출력 밝기값과 노출 시간이 짧은 경우의 출력 밝기값의 비율에 따른 이득값을 곱한 값을 출력 밝기값으로 선택하는 것을 특징으로 하는 주차 보조 방법.
   
4. 삭제
5. 제1 항에 있어서,
   상기 주변 차량을 인식하는 카메라 모드와 상기 인식된 주변 차량의 윈도우 영역을 인식하는 카메라 모드는 다른 것을 특징으로 하는 주차 보조 방법.
   
6. 제1 항에 있어서,
   상기 인식된 주변 차량의 윈도우 영역을 이미지 프로세싱하는 단계는,
   주변 밝기와 무관하게 상기 윈도우 영역의 이미지 밝기값을 기준으로 이미지 프로세싱을 하는 것을 특징으로 하는 주차 보조 방법.
   
7. 차량을 주차하고자 하는 주차모드인지 판단하는 차량모드 판단부;
   상기 차량모드 판단부 판단 결과 상기 차량을 주차하고자 하는 경우 주차하고자 하는 위치의 주변 차량을 인식하는 주변차량 인식부;
   상기 인식된 주변 차량의 윈도우 영역을 이미지 프로세싱하고, 상기 이미지 프로세싱한 결과로부터 탑승자가 있는지 여부를 인식하는 탑승자 인식부; 및
   상기 인식 결과 탑승자가 있는 경우 상기 차량의 운전자에게 상기 주변 차량에 탑승자가 있음을 알리는 정보 알림부를 포함하고,
   상기 이미지 프로세싱은 상기 윈도우 영역 내의 헤드 레스트를 이미지 프로세싱하고,
   상기 탑승자 인식부는 상기 이미지 프로세싱된 이미지로부터 경계선을 검출하고, 상기 검출된 경계선으로부터 계산된 선형성이 탑승자가 없을 때보다 작으면, 탑승자가 있는 것으로 판단하는 것을 특징으로 하는 주차 보조 장치.
   
8. 삭제
9. 제7 항에 있어서,
   상기 이미지 프로세싱은 상기 주변 차량의 윈도우 영역의 픽셀 밝기값을 기준값과 비교하여 상기 기준값보다 낮은 경우 노출 시간이 긴 이미지의 출력 밝기값을 선택하고 상기 윈도우 영역의 이미지 밝기값이 기준값보다 높은 경우는 노출 시간이 짧은 이미지의 출력 밝기값에 노출 시간이 긴 경우의 출력 밝기값과 노출 시간이 짧은 경우의 출력 밝기값의 비율에 따른 이득값을 곱한 값을 출력 밝기값으로 선택하는 것을 특징으로 하는 주차 보조 장치.
   
10. 삭제
11. 제7 항에 있어서,
    상기 주변차량 인식부가 상기 주변 차량을 인식하는 카메라 모드와 상기 탑승자 인식부가 상기 인식된 주변 차량의 윈도우 영역을 인식하는 카메라 모드는 다른 것을 특징으로 하는 주차 보조 장치.
    
12. 제7 항에 있어서,
    상기 탑승자 인식부는 주변 밝기와 무관하게 상기 윈도우 영역의 이미지 밝기값을 기준으로 이미지 프로세싱을 하는 것을 특징으로 하는 주차 보조 장치.
    
13. 제1 항, 제3 항, 제5 항, 또는 제6 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images