KR20060134546A - 3차원 주차장 인식시스템 및 제어방법 - Google Patents

Abstract

본 발명은 자동/반자동 주차 보조 시스템에 관한 것으로, 더욱 상세하게는 3차원 주차장 인식시스템에 관한 것이다. 본 발명의 목적은 차량의 후방의 3차원 위치를 인식하여 운전자의 주차편의성을 향상시키고 스트라이프 영상을 간편하게 얻을 수 있도록 하고 외란에 의한 위치의 왜곡을 최소화하는데 있다. 본 발명의 3차원 주차장 인식시스템은 이를 위해 운전자에게 여러 가지 정보를 표시하는 휴먼 머신 인터페이스(HMI)에 연결되고 차량의 후면영상을 촬영하는 카메라와 차량의 후방으로 광원을 투사하는 광원발생기와 카메라에 의해 획득된 영상을 처리하는 영상처리기와 상기 카메라와 상기 광원발생기의 동작여부를 제어하는 제어부를 포함한다.

Description

3차원 주차장 인식시스템 및 제어방법{Three-dimension recognition system of parking zone and its control method}

도 1은 본 발명에 따른 3차원 주차장 인식시스템이 차량에 설치형태를 나타낸 개략도.

도 2는 본 발명에 따른 3차원 주차장 인식시스템의 제어 블록도.

도 3은 본 발명의 3차원 주차장 인식시스템의 동작을 나타내는 동작도.

도 4는 본 발명에 따른 3차원 주차장 인식시스템의 제어과정을 나타내는 흐름도.

도 5는 본 발명의 3차원 주차장 인식시스템이 적용된 주차보조시스템의 블록도.

*도면의 주요 기능에 대한 부호의 설명*

11 : 광원발생기 12 : 카메라

14 : 영상처리기 15 : 휴먼 머신 인터페이스(HMI)

50 : 주차 보조 제어기

본 발명은 반자동/자동 주차시스템에 관한 것으로, 더욱 상세하게는 주차장 에 주차된 차량의 3차원 위치의 인식을 위한 3차원 주차장 인식시스템에 관한 것이다.

최근 자동차는 개인의 필수품으로서 그 보급량이 폭발적으로 늘고 있는 추세이다. 그래서 많은 사람들이 운전면허를 발급 받고 차량을 운전하는데 자동차의 보급량에 비해 주차공간의 확보량이 미치지 못하기 때문에 한정된 주차공간을 효율적으로 이용하기 위해 자동차 당 주차공간이 여유롭지 못한 것이 현실이다. 그런데 초보단계에 겪는 가장 어려움 중에 하나는 주차기술문제로 많은 운전미숙자들이 고민을 하는 부분이다. 주차는 주차공간에 대한 공간감각과 차량의 동적특성이 운전자의 몸에 익숙해진 상태에서만 안전하게 할 수 있다. 이것이 되지 않은 상황에서 주차행위를 할 경우 시간소모와 정신적인 압박뿐 아니라 접촉사고 등을 유발시키고 비정상적인 주차로 주차질서를 지키지 못해 다른 차량운전자에게도 정신적인 피해를 주게 된다.

따라서 자동 주차를 위한 많은 연구가 있는 실정이다. 최근 많은 차량에는 ESP(Electronic Stability Program), TCS(Traction Control System) 등 차량의 안전성을 확보하는 장치들이 장착되고 있는데 이들 장치는 각종 센서를 이용하여 차량의 현 상태를 파악하고 안전성 확보를 위해 제동장치 및 조향장치를 제어하여 미끄러운 노면 등에서도 운전자가 안정적으로 차량을 조정할 수 있게 한다. 차량에는 각종센서가 마련되어 있어 이를 통해 차량의 현 위치를 파악할 수 있는데 상기한 주차에 관한 문제점을 해결하기 위해 많은 연구가 있으나 주차된 차량의 3차원위치의 파악을 위한 장치들이 마련되어 있지 않거나 장치되어 있다하더라도 단순히 후방에 카메라를 마련하여 카메라에 연결된 디스플레이장치로 후방의 상황을 표시하 는 정도에 불과하다. 이런 경우 차량조작이 미숙한 초보운전자의 경우 주차를 가장 어려워하고 주차 시 사고발생의 위험마저 있는 것이 사실이다.

또한 상기의 자동 또는 반자동의 주차에서 카메라로 촬영된 영상으로는 차량의 위치정보를 얻기가 어렵고 또한 용량이 방대하여 이를 처리할 처리부가 고성능일 것이 요구된다. 이에 광원발생기(통상 레이저 발생기)를 이용하여 물체의 외곽선을 따라 생긴 스트라이프를 분석하여 3차원으로 주차차량의 위치를 파악할 수 있는 기술을 이용하여 주차된 차량의 3차원 위치정보를 얻게 되면 이를 통해 차량의 현 위치에서 목표위치까지의 경로를 계획하고 차량에 장착된 각종센서를 통해 차량을 능동적으로 조향할 수 있게 된다.

본 발명은 전술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 3차원 위치의 인식이 가능한 라이트 스트라이프 프로젝션을 차량에 장착하여 주차의 편이성을 증가시키고 3차원 위치인식에 필요한 스트라이프 영상을 간편하게 발생할 수 있도록 하고 광원발생부의 광원으로 비가시광선을 사용함으로써 3차원 위치인식과정에서 외란에 의한 3차원 위치인식의 오류를 최소화하고 주위사람에게 방해가 되지 않도록 함에 있다.

전술한 목적을 달성하기 위한 본 발명의 3차원 주차장 인식시스템은 운전자에게 여러 가지 정보를 표시하는 휴먼 머신 인터페이스(HMI)에 연결되고 차량의 후면영상을 촬영하는 카메라와 차량의 후방으로 광원을 투사하는 광원발생기와 카메 라에 의해 획득된 영상을 처리하는 영상처리기와 상기 카메라와 상기 광원발생기를 제어하는 제어부를 포함한다.

또한, 상기 광원발생기는 적외선영역에 속하는 파장의 광원을 투사하는 것을 특징으로 한다.

또한, 상기 카메라는 제어부의 획득제어에 따라 광원발생기를 켠상태에서 영상을 획득하고 광원발생기를 끈상태에서 영상을 획득하는 것을 특징으로 한다.

또한, 상기 영상처리기는 상기 광원발생기를 켠상태의 획득영상에서 상기 광원발생기를 끈상태의 획득영상의 차를 통해 스트라이프 영상을 얻는 것을 특징으로 한다.

또한, 상기 영상처리기는 상기 스트라이프 영상을 차량 후면을 기준으로 변환하여 차량 후면을 기준으로하는 depth map을 얻는 것을 특징으로 한다.

또한, 상기 영상처리기는 상기 depth map상에서 hough 변환을 통해 목표주차공간의 3차원 위치를 파악하는 것이 특징으로 한다.

전술한 목적을 달성하기 위하여 본 발명의 3차원 주차장 인식시스템의 제어방법은 광원발생기와 카메라에 제어신호를 보내는 단계, 광원발생기를 켠상태 및 끈상태에서 영상을 획득하는 단계, 상기 두 영상을 처리하여 스트라이프 영상을 얻는 단계, 상기 스트라이프 영상을 분석하는 단계를 통해 3차원 주차장 인식시스템을 제어한다.

또한, 상기 두 영상을 처리하여 스트라이프 영상을 얻는 단계는 광원발생기를 켠상태의 획득영상에서 광원발생기를 끈상태의 획득영상의 차를 통해 스트라이프 영상을 얻는 것을 특징으로 한다.

또한, 상기 스트라이프 영상을 분석하는 단계는 상기 스트라이프 영상을 차량 후면을 기준으로 하여 depth map을 얻고 상기 depth map을 hough 변환을 통해 목표주차공간의 3차원 위치를 파악하는 것이 특징으로 한다.

이하에서는 본 발명의 바람직한 실시예를 본 도면을 참조하여 상세하게 설명하도록 한다.

도 1은 본 발명에 따른 3차원 주차장 인식시스템이 차량에 설치형태를 나타낸 도면이다. 차량의 후면에 주차된 차량의 3차원 위치파악을 위해 차량의 후면부의 중심에 카메라(12)를 설치하고 카메라 X축에 수직하게 아래쪽으로 차량의 하부에 카메라의 X축과 평행하게 광원발생기(11)가 설치된다. 광원발생기는 지표면과 평행한 직선모양의 광원을 발생시켜 물체에 스트라이프(stripe)를 형성하게 된다. 또한 제어부(13)의 출력제어에 따라 광원발생기(11)에서 광원이 발생하게 되고 획득제어에 따라 카메라(12)의 이미징 센서의 모든 셀들이 상을 획득하도록 되어 차량 후면의 영상을 광원의 on/off상태에서 각각 획득하게 된다. 완벽한 3차원 정보의 인식을 위해서는 광원발생기를 상하로 이동하면서 스캐닝단계가 필요하지만 본 발명에 있어서는 후방의 주차된 차량의 위치를 얻고자 하는 것이므로 스캐닝단계는 필요하지 않다. 카메라 광학중심과 광원발생기의 광학중심은 동일축 상에 일정거리만큼 이격되어 설치되는데 이는 후방에 주차된 차량들의 원근을 인식할 수 있도록 하기 위함이다.

도 2는 본 발명에 따른 3차원 주차장 인식시스템의 제어 블록도이다. 광원발생기(11)는 광원(레이저)를 발생시키는 장치로 적외선 영역의 파장을 사용하는 것이 바람직하다. 이는 가시광선을 사용할 경우 주변사람에게 방해가 될 수 있을 뿐 아니라 낮에 햇빛 등에 의한 외란으로 위치인식에 오류가 생길 수 있기 때문이다. 카메라는 제어부(마이컴)(13)의 획득제어에 따라 광원발생기(11)가 on된 상태에서 영상을 획득하고 광원발생기가 off된 상태에서 영상을 획득하게 된다. 이렇게 획득된 영상은 영상처리기(14)로 입력되어 두 영상의 차를 통해 스트라이프 영상을 얻게 된다. 제어부(13)의 획득제어신호가 없는 경우에는 광원을 끈 상태의 영상을 촬영하여 HMI(15)에 전달하여 운전자의 혼란을 방지한다. 이는 카메라는 스트라이프 영상의 획득을 위해 적외선영역도 인식할 수 있기 때문이다.

도 3은 본 발명의 3차원 주차장 인식시스템의 동작을 나타내는 동작도이다. 제어부(13)로부터 출력제어에 의해 광원발생기(11)에서 광원이 발생되고 획득제어에 의해 카메라(12)의 이미지 센서의 모든 셀들이 광원이 켜진 상태의 영상을 획득하게 된다. 도3에서 도시된 바와 같이 촬영된 물체의 중앙부에 광원에 의한 스트라이프가 있는 영상을 얻게 된다. 일정시간이 경과한 후 광원을 끄고 획득제어에 의해 광원을 끈 상태의 영상을 얻게 된다. 두 영상은 영상처리기(14)로 입력되어 두 영상의 차로부터 스트라이프 영상을 얻게 된다. 또한 휴먼 머신 인터페이스(HMI)(15)에는 광원을 끈 상태의 영상이 전달되어 표시된다. 카메라의 영상(image plane)상의 점p는 x값이 결정되면 그에 대응하는 오직 하나의 y가 결정되므로 영상 상의 점의 위치는 각 x와 1:1대응관계를 갖게 된다. 영상 상의 한점 p(x, y)에 해당하는 3차원 상의 한점 P(X, Y, Z)는 아래 그림을 참조하여 아래 식에 의해 결정된다. 또한 편의를 위하여 카메라 Z축으로 변환하면 광원발생기는 원래의 위치에서 카메라 Y축 음수 방향으로

만큼 떨어진 지점에 광원발생 기가 있는 것으로 봐도 무방하다.

또한 영상 상의 점p와 3차원상의 점P는 원근변환에 의해

(단,

는 초점거리) 이므로 상기 식을 정리하면 아래와 같이 된다.

따라서 영상 상의 모든 x에 대하여 p(x, y)를 구하고 (1), (2), (3)을 이용하여 대응점 P(X, Y, Z)를 구할 수 있다. 이상의 3차원상의 점 P는 카메라 중심 좌표계이므로 차량 후방으로부터의 거리가 정확하게 나타난 것이 아니다. 따라서 이를 차량 후면 기준좌표계로 변환하기 위해서는 90-

만큼 X축을 중심으로 회전 이동하여야 한다. 회전 이동된 3차원상의 좌표P'(X, Y', Z')를 XZ'평면에 사영하면 차량 후면을 기준으로 하여 지면과 평행한 축 상의 거리가 정확히 반영된 depth map을 얻을 수 있다. 이를 hough 변환하면 영상 상의 점들을 직선으로 인식할 수 있게 되고 직각으로 접하는 직선 쌍을 인식하여 주차된 차를 인식하고 목표주차공간을 인식할 수 있게 된다.

도 4는 본 발명에 따른 3차원 주차장 인식시스템의 제어과정을 나타내는 흐름도이다. 제어부는 광원발생기(11)와 카메라(12)에 제어신호를 송신하고(S01) 광원을 on/off한 상태의 영상을 획득하고(S02) 획득한 영상을 처리하여 스트라이프 영상을 얻는과정(S03)은 전술한 바와 같다. 스트라이프 영상을 분석하여 차량 후방의 주차된 차량과 주차위치의 3차원 위치를 인식하게 되는데 이에 관해서는 참고문헌(Reinhard Klette, Karsten Schluns and Andreas Koschan, Computer Vision : Three-Dimensional Data from Images, Springer-Verlag Singapore Pte. Ltd. 1998)에 자세히 기술되어 있고 상기에 그림과 식을 통해 설명한 바와 같다.(S04) 이를 주차 보조 제어기에 전달하여 자동/반자동 주차시스템이 이용할 수 있도록 한다.(S05)

도 5는 본 발명의 3차원 주차장 인식시스템이 적용된 주차보조시스템의 블록도이다. 3차원 주차장 인식시스템(51)과 HMI(15)는 상기에 설명한 바와 같고 주차 보조 제어기(50)는 3차원 주차장 인식시스템(51)으로부터 주차장의 3차원 위치에 관한 map을 전달받아 차량의 현 위치로부터 목표주차위치까지의 경로를 계획하고 이에 따라 차량의 조향 및 제동시스템(52)을 제어하여 차량을 이동시킨다. 이 과정에서 주차 보조 제어기는 차량의 자세센서(조향각 센서, 요레이트 센서, 차륜속도 센서 등)(53)를 통해 차량의 3차원 위치를 추정하여 계획된 경로에 맞도록 상기 조향 및 제동시스템(52)을 제어하게 된다.

이상에서 상세히 설명한 바와 같이, 본 발명은 차량에 장치되어 차량의 후방 의 3차원 위치를 인식할 수 있게 되어 운전자의 주차편의성을 향상시킬 수 있게 되고 3차원 위치 인식에 필요한 스트라이프 영상을 손쉽게 획득할 수 있고 또한 광원으로 적외선을 사용하여 주변사람을 방해하지 않고 외란에 의한 위치의 왜곡가능성을 최소화 할 수 있다.

Claims (9)

1. 운전자에게 여러 가지 정보를 표시하는 휴먼 머신 인터페이스(HMI)에 연결되고 차량의 후면영상을 촬영하는 카메라와, 차량의 후방으로 광원을 투사하는 광원발생기와, 카메라에 의해 획득된 영상을 처리하는 영상처리기와, 상기 카메라와 상기 광원발생기를 제어하는 제어부를 포함하는 3차원 주차장 인식시스템
2. 제 1 항에 있어서,

   상기 광원발생기는 적외선영역에 속하는 파장의 광원을 투사하는 것이 특징인 3차원 주차장 인식시스템
3. 제 1 항 내지 제 2 항에 있어서,

   상기 카메라는 제어부의 획득제어에 따라 광원발생기를 켠상태에서 영상을 획득하고 광원발생기를 끈상태에서 영상을 획득하는 것이 특징인 3차원 주차장 인식시스템
4. 제 3 항에 있어서, 상기 영상처리기는

   상기 광원발생기를 켠상태의 획득영상에서 상기 광원발생기를 끈상태의 획득영상의 차를 통해 스트라이프 영상을 얻는 것이 특징인 3차원 주차장 인식시스템
5. 제 4 항에 있어서, 상기 영상처리기는

   상기 스트라이프 영상을 차량 후면을 기준으로 변환하여 차량 후면을 기준으로하는 depth map을 얻는 것이 특징인 3차원 주차장 인식시스템
6. 제 5 항에 있어서, 상기 영상처리기는

   상기 depth map상에서 hough 변환을 통해 목표주차공간의 3차원 위치를 파악하는 것이 특징인 3차원 주차장 인식시스템.
7. 상기 주차장 인식시스템의 제어방법에 있어서,

   광원발생기와 카메라에 제어신호를 보내는 단계, 광원발생기를 켠상태 및 끈상태에서 영상을 획득하는 단계, 상기 두 영상을 처리하여 스트라이프 영상을 얻는 단계, 상기 스트라이프 영상을 분석하는 단계를 통한 3차원 주차장 인식시스템의 제어방법
8. 제 7 항에 있어서, 상기 두 영상을 처리하여 스트라이프 영상을 얻는 단계는

   광원발생기를 켠상태의 획득영상에서 광원발생기를 끈상태의 획득영상의 차를 통해 스트라이프 영상을 얻는 것이 특징인 3차원 주차장 인식시스템의 제어방법
9. 제 7 항에 있어서, 상기 스트라이프 영상을 분석하는 단계는

   상기 스트라이프 영상을 차량 후면을 기준으로 하여 depth map을 얻고 상기 depth map을 hough 변환을 통해 목표주차공간의 3차원 위치를 파악하는 것이 특징인 3차원 주차장 인식시스템의 제어방법

Images