KR101431738B1

KR101431738B1 - 스테레오비전기술을 이용한 차량의 운전상황 감시장치

Info

Publication number: KR101431738B1
Application number: KR1020130047177A
Authority: KR
Inventors: 정광용; 임종석; 김영준; 김진면
Original assignee: 주식회사 카텍
Priority date: 2013-04-29
Filing date: 2013-04-29
Publication date: 2014-08-19

Abstract

자동차의 실내 앞쪽에 장착되어 자동차의 실내 및 자동차의 실외를 연속적으로 촬영하여 생성한 영상을 실시간으로 연속적으로 전송하는 스테레오 카메라; 차량 실내공간 기준영상 및 차량 실외공간 기준영상을 저장하는 메모리부; 수신한 영상을 차량 실내공간 기준영상 및 차량 실외공간 기준영상과 비교하여 상기 영상을 차량 실내영역과 차량 실외영역으로 구분하고, 차량의 좌측 후방 또는 우측 후방의 사각지대에 입체적 물체가 존재하는지 판단하고, 그러한 경우 상기 입체적 물체가 상기 차량에 대하여 접근하고 있는 상태일 때에는 차량의 좌측 후방 또는 우측 후방의 사각지대에 다른 차량이 존재하는 것으로 판단하여 경보 발령을 명령하는 제어부; 및 상기 제어부의 명령에 따라 경보를 발령하는 경보 표시부를 포함하는 스테레오비전기술을 이용한 차량의 운전상황 감시장치가 개시된다. 본 발명의 차량 운전상황 감시장치는 특히 운전자의 운전상태 감시, 탑승자 행동 및 상태 감시, 차량 사각지대 감시 및 차량 후방 감시를 한 쌍의 스테레오 카메라에 의하여 수행함으로써 효율적으로 그리고 실질적으로 차량의 운전상황을 감시할 수 있어 경제적이다.

Description

스테레오비전기술을 이용한 차량의 운전상황 감시장치{Observation Device For Driving Situation Of Automobile Using Stereovision Technology}

본 발명은 스테레오비전기술을 이용한 차량의 운전상황 감시장치에 관한 것으로서, 더욱 상세하게는, 특히 운전자가 졸음운전을 하는지 여부 등에 관한 운전자의 운전상태 감시, 탑승자가 위험한 상태에 있거나 위험한 행동을 하는지 여부에 관한 탑승자 행동 및 상태 감시, 차량의 사각지대에 다른 차량이 있어 위험한 상황인지 여부에 관한 차량 사각지대 감시 및 차량의 후방에 다른 차량이 있어 위험한 상황인지 여부에 관한 차량 후방 감시를 한 쌍의 스테레오 카메라에 의하여 수행함으로써 효율적으로 차량의 운전상황을 감시할 수 있는, 스테레오비전기술을 이용한 차량의 운전상황 감시장치에 관한 것이다.

일반적으로 차량을 운전할 때에는 여러 가지 위험요소들이 존재한다. 그러한 위험요소들로는 운전자의 졸음운전 및 운전자가 운전중 휴대전화를 들고 통화하면서 운전을 하거나 문자를 전송하는 행위가 포함된다. 또한 숙련된 운전자라도 자동차의 좌측 후방 및 우측 후방에 위치하는 사각지대에 다른 차량이 들어온 경우 그것을 모르고 차선을 변경하는 경우 위험한 상황이 초래될 수 있다. 또한 주행중일 때 차량의 후방에 다른 차량이 매우 가깝게 접근한 상태에서 운전자가 그것을 인지하지 못하고 자신의 차량에 브레이크를 거는 경우에도 위험한 상황이 초래될 수 있고, 특히 초보자의 경우 주차를 위하여 후진할 때 후방에 있는 물체에 부딛치는 접촉사고가 일어날 수 있다. 이러한 위험요소들을 방지하기 위하여, 여러 가지 장치들에 개발되어 사용되고 있는데, 지금까지는 그러한 장치들은 개별적으로 개발되어 왔다.

구체적으로, 운전자의 졸음운전을 방지하기 위한 장치는 특허등록 제0123201호(1997. 09. 11. 등록), 특허등록 제10-0211344호(1999. 05. 03. 등록), 특허등록 제10-0921092호(2009. 10. 01. 등록), 특허공개 제10-2009-0024660호(2009. 03. 09. 공개), 특허공개 제10-2011-0059019호(2011. 06. 02. 공개), 특허등록 제10-1005339호(2010. 12. 24. 등록) 등에서 찾을 수 있다. 또한, 차량의 후방 및 측후방 감시장치는 특허공개 제1996-0029148호(1996. 08. 17. 공개), 특허공개 제1998-016496호(1998. 06. 05. 공개), 특허공개 제10-2005-0018566호(2005. 02. 23. 공개), 특허등록 제10-0581825호(2006.05. 12. 등록), 특허등록 제10-0722496호(2007. 05. 21. 등록), 특허등록 제10-0814601호(2008. 03. 11. 등록), 특허등록 제10-0837316호(2008. 06. 04. 등록), 특허등록 제10-0898631호(2009. 05. 13. 등록), 특허공개 제10-2009-0108514호(2009. 10. 15. 공개), 특허등록 제10-0894484호(2009. 04. 15. 등록), 특허등록 제10-0956011호(2010. 04. 26. 등록), 특허공개 제10-2010-0099768호(2010. 09. 15. 공개), 특허등록 제10-0976336호(2010. 08. 10. 등록), 특허등록 제10-1195567호(2012. 10. 23. 등록), 실용신안등록 제20-0374137호(2005. 01. 14. 등록) 등에서 찾을 수 있다.

한편, 특허등록 제10-0866774호(2008. 10. 29. 등록)는 운전자 보조용 카메라 장치를 개시하는데, 이것은 초당 2~5회로 회전하는 카메라를 차량의 실내에 장착하여 하나의 카메라로 차량의 전방, 후방, 좌측방, 우측방 및 실내를 촬영하고, 그렇게 촬영된 정보를 기초로 전방 촬영 정보에 대해서는 차량의 차선이탈, 차선유지 및 추돌방지에 따른 알람기능을 수행하고, 후방 촬영 정보에 대해서는 자동주차 및 가상 룸미러 기능을 수행하며, 좌측방 또는 우측방 촬영 정보에 대해서는 사각 감시 및 차선변경보조 기능을 수행하며, 실내 촬영 정보에 대해서는 운전자의 졸음 방지 및 도난 방지 기능을 수행하는 것이다. 이 특허의 장치는 하나의 카메라가 회전하면서 차량의 실내 및 실외 상황에 관한 정보를 수집하여 각 상황에 맞는 다양한 기능을 처리하는 것이지만, 그러한 상황에 맞는 다양한 처리를 구체적으로 어떻게 수행하는지에 대한 상세한 설명은 제시되지 않았다.

특허등록 제10-0866774호에 따른 장치는 제시된 차량의 차선이탈, 차선유지 및 추돌방지에 따른 알람기능 및 자동주차 및 가상 룸미러 기능을 어느 정도 달성할 수 있으나, 그러한 기능을 충분하게 달성하기는 어렵다. 더군다나, 사각 감시 및 차선변경보조 기능 그리고 운전자의 졸음 방지 기능은 제시된 구성 및 설명만으로는 어떻게 달성할 수 있는지 전혀 알 수 없다. 따라서, 위 특허에 따른 장치는 제시한 목적을 실질적으로 달성하기 어려워 제품화를 기대하기는 어려운 것으로 보인다.

본 발명의 목적은 한 쌍의 스테레오 카메라에 의하여 차량의 운전상황을 실질적이고 효율적으로 감시할 수 있는 스테레오비전기술을 이용한 차량의 운전상황 감시장치를 제공하는 것이다.

본 발명의 목적은 특히 운전자가 졸음운전을 하는지 여부 등에 관한 운전자의 운전상태 감시, 탑승자가 위험한 상태에 있거나 위험한 행동을 하는지 여부에 관한 탑승자 행동 및 상태 감시, 차량의 사각지대에 다른 차량이 있어 위험한 상황인지 여부에 관한 차량 사각지대 감시 및 차량의 후방에 다른 차량이 있어 위험한 상황인지 여부에 관한 차량 후방 감시를 한 쌍의 스테레오 카메라에 의하여 수행함으로써 효율적으로 그리고 실질적으로 차량의 운전상황을 감시할 수 있는, 스테레오비전기술을 이용한 차량의 운전상황 감시장치를 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 스테레오비전기술을 이용한 차량의 운전상황 감시장치는 자동차의 실내 앞쪽에 장착되어 자동차의 실내 및 자동차의 실외를 연속적으로 촬영하여 생성한 영상을 실시간으로 연속적으로 전송하는 스테레오 카메라; 운전자 및 탑승자가 없는 상태에서 상기 카메라의 촬영에 의하여 생성한 차량의 실내공간에 대한 차량 실내공간 기준영상 및 상기 차량 실내공간이 아닌 상기 차량의 실외공간에 도로 또는 지면을 제외하고 입체적 물체가 없는 상태에서 상기 카메라의 촬영에 의하여 생성한 차량의 실외공간에 대한 차량 실외공간 기준영상을 저장하는 메모리부; 상기 스테레오 카메라가 촬영하여 생성한 상기 영상을 실시간으로 연속적으로 수신하고, 그것을 상기 차량 실내공간 기준영상 및 상기 차량 실외공간 기준영상과 비교하여 상기 영상을 차량 실내영역과 차량 실외영역으로 구분하고, 또한 상기 차량 실외영역을 좌측 후방영역, 우측 후방영역 및 후방영역으로 구분하며, 상기 차량 좌측 후방영역 또는 우측 후방영역 중 상기 차량의 좌측 후방 또는 우측 후방의 사각지대에 입체적 물체가 존재하는지 판단하고, 상기 차량의 좌측 후방 또는 우측 후방의 사각지대에 입체적 물체가 존재하는 경우 상기 입체적 물체가 상기 차량에 대하여 접근하고 있는 상태일 때에는 상기 차량의 좌측 후방 또는 우측 후방의 사각지대에 다른 차량이 존재하는 것으로 판단하여 경보 발령을 명령하는 제어부; 및 상기 제어부의 명령에 따라 경보를 발령하는 경보 표시부를 포함한다.

상기에서, 상기 제어부는 상기 스테레오 카메라에 의하여 생성한 좌안 카메라 영상과 우안 카메라 영상을 비교하여 상기 입체적 물체가 상기 차량으로부터 떨어진 거리 및 방향을 평가함으로써 상기 입체적 물체가 상기 차량의 사각지대에 존재하는지 여부를 판단하는 것이고, 또한 상기 제어부는 상기 영상의 수신시각에 따라 상기 수신된 영상들을 비교함으로써 상기 다른 차량이 상기 차량에 접근하고 있는지 여부를 판단하는 것이다.

상기 메모리부는 운전자가 정상적인 상태로 또는 비정상적인 상태로 운전하는 패턴에 관한 운전자 운전패턴정보를 더 저장하고, 상기 제어부는 상기 영상 중 상기 차량 실내영역을 운전석영역, 조수석영역, 뒷좌석영역으로 구분하고, 상기 운전석영역에서 파악되는 상기 운전자의 실제 운전패턴을 상기 운전자 운전패턴정보와 비교하여 운전자가 졸음운전을 하고 있거나 운전중 위험한 행동을 하고 있는 것으로 판단할 때에는 경보 발령을 명령하는 것이 바람직하다.

상기 운전자 운전패턴정보로는 초기에는 운전자들의 통계적인 운전패턴에 관한 통계적 운전패턴정보를 사용하고, 상기 차량의 실제 운전자가 상기 차량을 운전함에 따라 상기 통계적 운전패턴정보에 대응하는 실제 운전자 운전패턴정보가 구축된 경우에는 상기 실제 운전자 운전패턴정보를 사용하는 것이 바람직하다.

상기 메모리부는 상기 조수석영역 또는 뒷좌석영역에 탑승한 탑승자가 정상적인 상태일 때 또는 비정상적인 상태일 때 취하는 행동 또는 상태에 관한 탑승자 상태패턴정보를 더 저장하고, 상기 제어부는 상기 조수석영역 또는 뒷좌석영역에서 파악되는 탑승자의 실제 행동 또는 상태패턴을 상기 탑승자 상태패턴정보와 비교하여 상기 탑승자가 차량 주행중 위험한 행동 또는 상태에 있는 것으로 판단할 때에는 경보 발령을 명령하는 것이 바람직하다.

상기 제어부는 상기 카메라로부터 수신한 영상에 의하여 상기 운전자가 졸음운전을 하고 있거나 운전중 위험한 행동을 하고 있는 것으로 판단하는 경우 또는 상기 탑승자가 위험한 행동을 하거나 위험한 상태에 있는 것으로 판단하는 경우 상기 카메라가 상기 운전자의 졸음운전 또는 위험한 행동으로 판단한 상기 운전자의 신체부위 또는 상기 탑승자의 위험한 행동 또는 위험한 상태로 판단한 상기 탑승자의 신체부위를 더욱 확대하여 촬영하도록 명령하고, 상기 카메라는 상기 제어부의 그러한 명령에 따라 상기 카메라의 회전각도를 조절하고 상기 카메라의 FOV(Field Of View)를 조절하여 상기 운전자 또는 상기 탑승자의 해당 신체부위를 확대하여 촬영하고 그러한 확대 영상을 상기 제어부에 전송하며, 상기 제어부는 상기 확대 영상을 수신하여 상기 운전자가 졸음운전 또는 위험한 행동을 하고 있는지 여부 또는 상기 탑승자가 위험한 행동을 하고 있는지 또는 위험한 상태에 있는지 여부를 더욱 확실하게 판단하고, 그러한 판단에 의거하여 경보 발령을 명령하는 것이 바람직하다.

상기 제어부는 상기 수신된 영상으로부터 상기 차량 실외영역의 상기 후방영역 중 상기 차량에 근접하는 근접영역에 다른 차량 또는 입체적 물체가 존재하는 것으로 판단되고 또한 상기 다른 차량 또는 입체적 물체가 상기 차량에 접근하고 있는 상태일 때에는 그러한 사실을 알리는 경보 발령을 명령하는 것이 바람직하다.

상기 제어부는 상기 카메라로부터 수신한 영상에 의하여 상기 차량 실외영역의 상기 후방영역 중 상기 차량에 근접하는 근접영역에 다른 차량 또는 입체적 물체가 존재하는 것으로 판단하는 경우 상기 카메라가 상기 다른 차량 또는 입체적 물체를 확대하여 촬영하도록 명령하고, 상기 카메라는 상기 제어부의 그러한 명령에 따라 상기 카메라의 회전각도를 조절하고 상기 카메라의 FOV(Field Of View)를 조절하여 상기 다른 차량 또는 입체적 물체를 확대하여 촬영하고 그러한 확대 영상을 상기 제어부로 전송하며, 상기 제어부는 상기 확대 영상을 수신하여 상기 다른 차량 또는 입체적 물체가 상기 차량에 접근하고 있는 상태인지 여부를 더욱 확실하게 판단하고, 그러한 판단에 의거하여 경보 발령을 명령하는 것이 바람직하다.

상기 경보표시부는 운전자 경보표시부, 탑승자 경보표시부, 좌측 사각지대 경보표시부, 우측 사각지대 경보표시부 및 후방 경보표시부로 이루어지고, 상기 각 경보표시부는 LED 램프로 이루어지며, 상기 제어부가 해당 경보 명령을 발령하는 경우 해당 경보표시부의 LED 램프가 발광하는 것이 바람직하다.

상기 운전자 경보표시부는 소리경보장치를 더 포함하고, 상기 제어부가 운잔자의 졸음운전에 해당하는 운전자 경보 명령을 발령하는 경우 상기 LED 램프의 발광과 함께 소리 경보도 동시에 발령하는 것이 바람직하다.

상기 제어부는 차량의 후방에 위험상황이 발생하고 있는 것으로 판단하는 경우 상기 LED 램프의 발광과 함께 소리 경보도 동시에 발령하는 것이 바람직하다.

상기 스테레오 카메라는 조명이 밝은 상태일 때에는 가시광선에 의한 촬영을 수행하고, 야간에 조명이 부족할 때에는 적외선에 의한 촬영을 하는 것이 바람직하다.

본 발명에 따른 스테레오비전기술을 이용한 차량의 운전상황 감시장치는 특히 운전자가 졸음운전을 하는지 여부 등에 관한 운전자의 운전상태 감시, 탑승자가 위험한 상태에 있거나 위험한 행동을 하는지 여부에 관한 탑승자 행동 및 상태 감시, 차량의 사각지대에 다른 차량이 있어 위험한 상황인지 여부에 관한 차량 사각지대 감시 및 차량의 후방에 다른 차량이 있어 위험한 상황인지 여부에 관한 차량 후방 감시를 한 쌍의 스테레오 카메라에 의하여 수행함으로써 효율적으로 그리고 실질적으로 차량의 운전상황을 감시할 수 있어 경제적이다. 즉, 간단한 구성으로 여러 가지 기능을 동시에 수행할 수 있어 효율적이고 경제적이다.

도 1은 본 발명의 차량 운전상황 감시장치의 개략적 구성을 나타낸 블록 다이아그램이다.
도 2는 본 발명의 차량 운전상황 감시장치에서 카메라에 의하여 생성된 영상을 제어부가 영역별로 구분한 실시형태를 예시한 도면이다.
도 3은 본 발명의 차량 운전상황 감시장치에서 적용되는 경보 표시부의 한 실시형태를 예시한 도면이다.
도 4는 본 발명의 차량 운전상황 감시장치에서 제어부에 의하여 수행되는 전체적인 절차를 도시한 흐름도이다.
도 5는 도 4에 제시된 흐름도의 구체적인 일부분으로서, 본 발명의 차량 운전상황 감시장치에서 차량의 좌측 또는 우측 사각지대 영역에 대하여 제어부가 처리하는 절차를 도시한 흐름도이다.
도 6은 도 4에 제시된 흐름도의 구체적인 일부분으로서, 본 발명의 차량 운전상황 감시장치에서 차량의 운전석 영역에 대하여 제어부가 처리하는 절차를 도시한 흐름도이다.
도 7은 도 4에 제시된 흐름도의 구체적인 일부분으로서, 본 발명의 차량 운전상황 감시장치에서 차량의 탑승자 영역에 대하여 제어부가 처리하는 절차를 도시한 흐름도이다.
도 8은 도 4에 제시된 흐름도의 구체적인 일부분으로서, 본 발명의 차량 운전상황 감시장치에서 차량의 후방 근접영역에 대하여 제어부가 처리하는 절차를 도시한 흐름도이다.

이하, 본 발명을 도면을 참조하여 상세하게 설명한다.

본 발명의 스테레오비전기술을 이용한 차량의 운전상황 감시장치(10)는 도 1에 도시한 바와 같이, 스테레오 카메라(100), 제어부(200), 메모리부(300) 및 경보 표시부(400)를 포함한다.

스테레오 카메라(100)는 동시에 2장의 영상을 얻을 수 있는 특수카메라로서, 2개의 촬영용 렌즈를 일정간격만큼 띄워놓고 같은 물체를 촬영하는 방법으로 작동하는 것이다. 사람은 두 눈으로 물체를 입체적으로 보고 원근을 판단할 수 있다. 스테레오 카메라는 이런 원리를 응용하여 만든 것이다. 사람의 두 눈의 간격은 대체로 6~7 cm 정도이고, 스테레오 카메라도 그 정도의 간격을 두고 같은 성능의 렌즈를 좌우에 나란히 설치한 쌍안 카메라로 이루어진다. 두 렌즈는 초점조절과 노출조절 그리고 셔터의 작동이 연동되도록 설계되어 있다. 스테레오 카메라로 촬영한 슬라이드나 사진을 스테레오 뷰어로 보면 두 렌즈의 시점의 차, 즉 시차로 인해 입체적으로 피사체의 상이 보이게 된다.

본 발명의 차량 운전상황 감시장치(10)에서 스테레오 카메라(100)는 차량의 실내 앞쪽에 장착되어 차량의 실내 및 차량의 실외를 연속적으로 촬영하여 생성한 영상을 실시간으로 연속적으로 제어부(200)에 전송한다. 즉, 스테레오 카메라(100)는 차량 내에서 차량의 후방쪽으로 촬영하는 것이며, 아래에서 설명하는 바와 같이, 원하는 확대된 영상을 얻기 위하여 필요한 정도로 회전을 하지만, 차량의 전방을 촬영할 수 있을 정도로 회전하지는 않는다. 본 발명에서 스테레오 카메라(100)는 차량의 폭에 대하여 차량의 중앙부, 예를 들면 차량의 룸미러에 장착되고 그 기본적 촬영방향은 차량의 폭에 대하여 중앙선 방향이다. 스테레오 카메라(100)는 아래에서 설명하는 바와 같이, 운전자, 탑승자 또는 후방상황을 더욱 확실하게 촬영하기 위하여 카메라의 FOV(Field Of View)를 큰 값으로 조정하고 대상에 대한 확대 영상을 얻기 위하여 촬영방향을 조정하기 위하여 약간의 회전을 할 수 있다. 이때, 허용되는 회전각은 기본적 촬영방향에 대하여 좌우로 30도 이내이며, 바람직하게는 15도 이내이다.

스테레오 카메라(100)의 기본적 촬영방향은 상하방향에 대해서는 아래에서 설명하는 바와 같이 구분된 그리고 도 2에 도시한 바와 같은 운전석 영역, 조수석영역, 뒷좌석영역, 좌측 및 우측 사각지대 영역을 포함하는 좌측 및 우측 후방영역 그리고 후방 근접영역을 포함하는 후방영역이 촬영된 영상에 모두 포함될 수 있도록 설정된다. 그리고 운전자, 탑승자 및 후방 근접영역에 대한 확대 영상을 얻기 위해서는 하방으로 약간 회전하게 된다. 그러한 회전각도는 얻고자 하는 확대 영상에 따라 달라지지만 45도를 넘지 않고, 통상적으로는 30도를 넘지 않는다.

본 발명에서 제어부(200)는 시차를 가지는 2개의 영상을 해석하여 입체적 영상을 생성할 수 있고 그래서 카메라로부터 피사체 간의 거리 및 방향을 인식할 수 있다. 본 발명에서는 제어부(200)는 스테레오 카메라(100)로부터 수신한 영상을 도 2에 도시한 바와 같이, 여러 영역으로 구분하는데, 제어부(200)가 이러한 영역의 구분을 수행하기 위해서는 기준영상이 필요하다.

메모리부(300)는 이러한 기준영상을 저장한다. 메모리부(300)에 저장되는 기준영상으로는 먼저 차량 실내공간 기준영상이 있다. 차량 실내공간 기준영상은 도 2에 도시한 바와 같이, 운전석영역(610), 조수석영역(620), 뒷좌석영역(630)으로 더욱 구분되는데, 운전자 및 탑승자가 없는 상태에서 카메라의 촬영에 의하여 생성한 영상으로부터 차량의 실내공간에 해당하는 영역에 대하여 설정된다. 이러한 차량 실내공간 기준영상은 차량의 차체, 시트, 시트의 등받이 등에 의하여 정의될 수 있고 또한 카메라의 촬영각 및 확대정도에 따라 촬영된 영상에서 공간적 분할에 의하여 정의할 수 있다. 이러한 차량 실내공간 기준영상은 차량의 종류 및 차량 실내 인테리어의 종류에 따라 표준적으로 마련된 데이터베이스에서 선택하여 사용될 수 있으며, 또한 더욱 정확한 사항을 반영하기 위해서는 사용자의 차량 실내의 인테리어 사항이 반영된 실내 영상을 기준영상으로 사용할 수도 있다.

또한 차량 실외공간 기준영상이 메모리부(300)에 저장된다. 차량 실외공간 기준영상은 차량 실내공간이 아닌 차량의 실외공간에 도로 또는 지면을 제외하고 입체적 물체가 없는 상태에서 카메라의 촬영에 의하여 생성한 영상으로부터 차량의 실외공간에 해당하는 영역에 대하여 설정된다. 이러한 차량 실외공간 기준영상은 차량의 차체, 카메라의 촬영각 및 확대정도에 따른 영상에서의 위치 등에 의하여 정의될 수 있다. 차량 실외공간 기준영상은 크게 좌측 후방영역, 우측 후방영역 및 후방영역으로 구분할 수 있고, 좌측 후방영역은 좌측 사각지대 영역(710) 및 좌측후방 원거리영역(720)으로 구분되고, 우측 후방영역은 우측 사각지대 영역(730) 및 우측후방 원거리영역(740)으로 구분되며, 후방영역은 후방 근접영역(750) 및 후방 원거리영역(760)으로 구분된다. 이러한 차량 실외공간 기준영상도 차량의 종류에 따라 표준적으로 마련된 데이터베이스에서 선택하여 사용될 수 있다.

촬영된 영상에서 실제로는 좌측 및 우측 사각지대 영역(710 및 730)에는 사각지대에 있는 입체적 물체뿐만 아니라 그것보다 훨씬 멀리에 존재하는 입체적 물체가 표시되기 때문에 단순히 좌측 및 우측 사각지대 영역에 입체적 물체가 표시되어 있다는 것을 이유로 차량의 사각지대에 다른 차량이 존재한다고 판단할 수는 없다. 따라서, 하나의 카메라에 의하여 촬영된 영상만으로는 실질적으로 차량의 사각지대에 다른 차량이 존재하는지를 판단하는 것은 가능하지 않거나 가능하다고 하더라도 정확도는 매우 떨어지게 된다.

따라서 카메라의 촬영에 의하여 얻은 영상에서 실제로 차량의 사각지대에 다른 차량이 존재하는지 여부를 정확하게 판단하기 위해서는 하나의 카메라만으로는 부족하고, 본 발명에서와 같이 한 쌍의 렌즈를 가지는 스테레오 카메라에 의하여 동일한 피사체를 시차를 달리하여 동시에 촬영하여 얻은 2개의 영상을 비교함으로써 차량의 사각지대에 다른 차량 또는 입체적 물체가 존재하는지 여부를 정확하게 판단할 수 있게 되는 것이다. 이에, 본 발명은 이를 위하여 스테레오 카메라를 채용한 것이다.

한편, 메모리부(300)는 운전자가 정상적인 상태로 또는 비정상적인 상태로 운전하는 패턴에 관한 운전자 운전패턴정보를 더 저장할 수 있다. 운전자 운전패턴정보는 예를 들어, 운전자가 두 손으로 핸들을 붙잡고 있는 것을 정상적인 상태로 설정하는 것이고, 운전자가 최소한 한 손으로 핸들을 붙잡고 있는 것을 정상적인 상태로 설정할 수 있다. 반면에 운전자가 핸들을 손으로 붙잡지 않고 있는 상태는 비정상적인 상태로 설정할 수 있다. 또한 운전자 운전패턴정보는 예를 들어, 운전자가 눈을 감고 있는 상태가 소정시간 이상 계속되는 것, 운전자가 눈을 깜빡이지 않고 눈을 뜨고 있는 상태가 소정시간 이상 계속되면서 눈의 크기가 보통 때의 크기보다 작은 상태, 예를 들어 보통 때의 크기보다 절반 이하의 크기로 있는 상태를 비정상적인 상태로 설정할 수 있다. 또한 운전자 운전패턴정보는 운전자의 머리가 좌우로 움직이지 않는 것이 소정시간 이상 계속되거나 운전자의 눈동자가 좌우로 움직이지 않는 것이 소정시간 이상 계속되는 경우를 비정상적인 상태로 설정할 수 있다. 정리하면, 운전자 운전패턴정보는 운전자가 졸고 있는 행동을 하거나 운전을 하기에는 위험한 행동을 할 때 나타나는 유형화된 행동패턴을 비정상상태로 설정하는 것일 수 있다.

그래서 운전자 운전패턴정보로는 초기에는 운전자들의 통계적인 운전패턴에 관한 통계적 운전패턴정보를 사용할 수 있고, 차량의 실제 운전자가 차량을 운전함에 따라 통계적 운전패턴정보에 대응하는 실제 운전자 운전패턴정보가 구축된 경우에는 실제 운전자 운전패턴정보를 사용하는 것일 수 있다. 운전자에 따라서는 일반적으로는 위험한 자세 또는 행동이라고 할 수 있는 것이라도 어떤 운전자에게는 익숙한 자세 또는 행동이어서 그 운전자에게는 위험하지 않을 수 있다. 이러한 경우에는 운전자 경보가 발령되지 않는 것이 더욱 바람직할 것이므로, 본 발명의 장치는 운전자의 사용에 의한 학습기능을 가지도록 설정하는 것이 좋다.

메모리부(300)는 또한 조수석영역 및 뒷좌석영역에 탑승한 탑승자가 정상적인 상태일 때 또는 비정상적인 상태일 때 취하는 행동 또는 상태에 관한 탑승자 상태패턴정보를 저장한다. 탑승자 상태패턴정보는 예를 들어, 탑승자가 안전벨트를 매지 않은 상태, 어린아이가 시트에 서있는 상태 등을 비정상적인 상태로 설정할 수 있다.

제어부(200)는 스테레오 카메라(100)가 촬영하여 생성한 영상을 실시간으로 연속적으로 수신하고, 그것을 차량 실내공간 기준영상 및 차량 실외공간 기준영상과 비교하여 위에서 설명한 바와 같이, 영상을 차량 실내영역과 차량 실외영역으로 구분한다. 제어부(200)는 차량 좌측 후방영역 또는 우측 후방영역 중 차량의 좌측 후방 또는 우측 후방의 사각지대에 입체적 물체가 존재하는지 판단하고, 차량의 좌측 후방 또는 우측 후방의 사각지대에 입체적 물체가 존재하는 경우 입체적 물체가 차량에 대하여 접근하고 있는 상태일 때에는 차량의 좌측 후방 또는 우측 후방의 사각지대에 다른 차량이 존재하는 것으로 판단하여 경보 발령을 명령한다.

이때, 제어부(200)는 스테레오 카메라(100)에 의하여 생성한 좌안 카메라 영상과 우안 카메라 영상을 비교하여 입체적 물체가 차량으로부터 떨어진 거리 및 방향을 평가함으로써 입체적 물체가 차량의 사각지대에 존재하는지 여부를 판단하는 것이다. 또한 제어부는 영상의 수신시각에 따라 수신된 영상들을 비교함으로써 다른 차량이 차량에 접근하고 있는지 여부를 판단하는 것이다.

또한 제어부(200)는 차량 실내영역을 운전석영역(610), 조수석영역(620), 뒷좌석영역(630)으로 구분하고, 운전석영역(610)에서 파악되는 운전자의 실제 운전패턴을 운전자 운전패턴정보와 비교하여 운전가가 졸음운전을 하고 있거나 운전중 위험한 행동을 하고 있는 것으로 판단할 때에는 경보 발령을 명령한다.

또한 제어부(200)는 조수석영역 또는 뒷좌석영역에서 파악되는 탑승자의 실제 행동 또는 상태 패턴을 탑승자 상태패턴정보와 비교하여 탑승자가 차량 주행중 위험한 행동 또는 상태에 있는 것으로 판단할 때에는 경보 발령을 명령한다.

또한 제어부(200)는 수신된 영상으로부터 차량 실외영역의 후방영역 중 차량에 근접하는 후방 근접영역(750)에 다른 차량 또는 입체적 물체가 존재하는 것으로 판단되고 또한 다른 차량 또는 입체적 물체가 차량에 접근하고 있는 상태일 때에는 그러한 사실을 알리는 경보 발령을 명령한다.

경보 표시부(400)는 제어부(200)의 명령에 따라 경보를 발령하는 것으로서, 도 3에 도시한 바와 같이, 운전자 경보표시부(810), 탑승자 경보표시부(820), 좌측 사각지대 경보표시부(830), 우측 사각지대 경보표시부(840) 및 후방 경보표시부(850)로 이루어진다. 각 경보표시부는 LED 램프로 이루어진다. 제어부(200)가 운전자 경보 명령을 발령하면, 경보표시부는 운전자 경보표시부(810)의 LED 램프를 깜빡이도록 작동시킨다. 이때, 경보표시부는 소리경보장치를 더 포함하고, 특히 제어부가 운전자가 졸음운전을 하고 있는 것으로 판단한 경우에는 운전자 졸음운전 경보 명령을 발령하는데, 운전자 경보표시부에 의하여 LED 램프가 깜빡이는 것에 더하여 소리경보장치가 작동한다. 그리하여 운전자가 졸음에서 깨어나게 할 수 있다. 다른 경보표시부는 운전자가 깨어있는 상태에 있는 경우라면 LED 램프의 깜빡임만으로도 운전자가 상황을 충분히 인지할 수 있으므로 굳이 소리경보장치를 가동할 필요는 없다.

이제, 도 4 내지 도 8을 참조하여 본 발명의 차량 운전상황 감시장치의 작동에 대하여 상세하게 설명한다.

도 4에 도시한 바와 같이, 본 발명의 장치(10)는 전원이 인가되면 작동 프로그램이 메모리부에 로딩되어 기동하게 됨으로써 작동을 시작한다. 그러면 보조기억장치에 저장된 필요한 데이터는 메모리부(300)에 로딩된다(단계 S100). 메모리부(300)에 로딩되는 데이터는 상기에서 설명한 바와 같다.

스테레오 카메라(100)는 전원이 인가되면 설정된 촬영각도 및 FOV에서 연속적으로 촬영하고 그렇게 하여 얻은 영상을 실시간으로 제어부(200)로 전송하고, 제어부(200)는 스테레오 카메라(100)로부터 영상을 실시간으로 연속적으로 수신한다(단계 S200). 제어부(200)는 수신한 영상을 위에서 설명한 바와 같이, 차량 실내영역과 차량 실외영역으로 구분하고, 도 2에 도시한 바와 같이, 차량 실내영역은 운전석영역(610), 조수석영역(620), 및 뒷좌석영역(630)으로 구분하고, 차량 실외영역은 좌측 후방영역, 우측 후방영역 및 후방영역으로 구분하며, 좌측 후방영역은 좌측 사각지대 영역(710)과 좌측 후방 원거리영역(720)으로 구분하고, 우측 후방영역은 우측 사각지대 영역(730)과 우측 후방 원거리영역(740)으로 구분하며, 후방영역은 후방 근접영역(750) 및 후방 원거리영역(760)으로 구분한다.

그런 후 제어부는 영역별 영상을 기준영상과 비교하고(단계 S400), 영역별 판단절차를 수행한다(단계 S500). 그 결과 영역별로 경보를 발령하여야 하는 것으로 판단한 경우에는 영역별 경보 발령 명령을 경보표시부(400)에 전송한다(단계 S600). 그러면 경보표시부(400)는 제어부의 명령에 따라 발령된 해당 경보표시부의 LED 램프를 깜빡이게 한다.

다음으로 제어부(200)는 종료명령이 입력되었는지 여부를 판단하고(단계 S700), 종료명령이 입력된 경우에는 프로그램을 종료한다. 전원공급이 중단되는 경우 종료명령이 있는 것으로 설정할 수 있고, 별도의 초기화버튼 또는 종료버튼의 입력이 있는 경우에도 종료명령이 입력된 것으로 설정할 수 있다. 종료명령이 입력되지 않은 경우에는 단계 S200으로 리턴하여 절차를 계속하게 된다.

도 5를 참조하여 제어부가 좌측 또는 우측 사각지대 영역에 대한 처리절차를 설명하면 다음과 같다. 도 5에 도시된 절차들은 도 4에서 단계 S500 및 단계 S600에 대응하는 절차들이다.

제어부(200)는 좌측 사각지대 영역(710) 또는 우측 사각지대 영역(730)의 영상을 차량 실외공간 기준영상과 비교하여 차량의 좌측 사각지대 또는 우측 사각지대에 입체적 물체가 존재하는지 여부를 판단한다(단계 S501). 이때 위에서 설명한 바와 같이, 영상에서 좌측 또는 우측 사각지대 영역(710 또는 730)에는 차량의 실제 사각지대에 있는 입체적 물체, 즉 다른 차량 또는 도로가의 입체적 물체뿐만 아니라 그것보다 훨씬 멀리에 존재하는 입체적 물체도 표시되기 때문에 단순히 좌측 또는 우측 사각지대 영역에 입체적 물체가 표시되어 있다는 것만으로 차량의 사각지대에 다른 차량 또는 다른 입체적 물체가 존재한다고 판단할 수 없다. 더군다나 좌측 및 우측 후방영역을 좌측 및 우측 사각지대 영역(710 및 730)과 좌측 및 우측 후방 원거리영역(720 및 740)으로 구분하는 명확한 기준이 영상 그 자체에는 없다. 따라서, 본 명세서에서는 차량의 좌측 및 우측 사각지대를 좌측 및 우측 사각지대 영역(710 및 730)과 구분된 개념으로 설명한다. 즉, 차량의 좌측 및 우측 사각지대는 스테레오 카메라(100)로부터 수신한 영상 중 좌측 및 우측 사각지대 영역(710 및 730)에 대한 영상분석을 제어부가 수행한 결과 제어부가 차량의 좌측 및 우측 사각지대로 평가한 영역을 말하는 것이다.

본 발명은 이러한 문제를 해결하기 위하여 스테레오 카메라(100)를 사용하여 시차를 달리한 렌즈에 의하여 동시에 2장의 영상을 얻고 제어부(200)가 이러한 2장의 영상을 분석하여 피사체가 카메라로부터 떨어진 거리 및 방향을 정확하게 파악하였다. 따라서, 본 발명의 장치에 의하면, 다른 차량 또는 다른 입체적 물체가 차량의 사각지대에 존재하는지 여부를 정확하게 파악할 수 있게 되는 것이다.

제어부는 좌측 또는 우측 사각지대에 입체적 물체가 없다면 단계 S200으로 리턴하여 절차를 계속한다.

다음으로, 제어부는 차량의 사각지대에 입체적 물체가 존재하는 것으로 판단한 경우에는 차량의 사각지대에 들어온 입체적 물체가 차량에 접근하는지 여부를 판단한다(단계 S502). 이러한 판단은 영상의 수신시각에 따라 수신된 영상들을 비교함으로써 이루어진다. 예를 들어, t 시각일 때 어떤 다른 차량이 우측 사각지대 에는 존재하지 않았고, t+1 시각일 때 그 다른 차량이 우측 사각지대에 들어왔으며, t+2 시각일 때 그 다른 차량이 우측 사각지대에서 더욱 가깝게 접근하였다면 그 다른 차량은 차량의 뒤쪽에서 차량에 접근하여 차량의 우측 사각지대로 들어온 상황이다. 그러한 상황에서 운전자가 그 다른 차량의 존재를 인지하지 못하고 우측으로 차선을 변경한다면 위험한 상황이 초래될 수 있다. 따라서, 이러한 상황일 때에는 경보를 발령하는 것이 안전한 운전을 위하여 바람직하다. 위에서 설명한 바와 같이 스테레오 카메라에 의하여 동시에 촬영하여 얻은 시차가 다른 2장의 영상을 비교함에 의하여 거리측정이 가능하므로, 차량이 접근하고 있는지 멀어지고 있는지 여부는 판단할 수 있다. 제어부는 그러한 판단에 의하여 좌측 또는 우측 사각지대 위험 경보를 발령하고(단계 S601), 그에 따라 좌측 또는 우측 사각지대 경보표시부의 LED 램프가 깜빡이게 된다. 반면에 차량의 좌측 또는 우측 사각지대에서 입체적 물체가 차량에 접근하고 있는 상태가 아니라면 단계 S200으로 리턴하여 절차는 계속된다.

한편, 도로가에 가로수, 건물 등이 배치되어 있는데, 차량이 가장 바깥 차선을 따라 전진하고 있는 경우에는 우측 사각지대에 계속적으로 그러한 입체적 물체가 들어오게 된다(단계 S501). 그러한 상황에서 우측 사각지대 경보가 계속 표시된다면 안전운전에 도움이 되기는 커녕 오히려 운전자를 성가시게 할 뿐이다. 따라서, 이러한 상황에서는 우측 사각지대 경보가 표시되어서는 안된다. 이러한 경우는 상대적인 관점에서 입체적 물체가 차량의 전방에서 후방으로 움직이므로 입체적 물체가 우측 사각지대에 들어오더라도 차량에 접근하는 것이 아니라 멀어지는 것으로 판단한다(단계 S502). 따라서, 제어부는 좌측 또는 우측 사각지대 위험 경보를 발령하지 않고 단계 S200으로 리턴하여 절차를 계속한다.

한편, 좌측 또는 우측 사각지대 위험 경보가 발령된 상태에서는 좌측 또는 우측 사각지대 경보표시부는 계속적으로 LED 램프를 깜빡이게 되고, 제어부는 반복적인 절차를 수행하여 좌측 또는 우측 사각지대에 위험한 상황이 해제된 경우, 즉 입체적 물체가 차량의 좌측 또는 우측 사각지대에 존재하지 않게 된 경우 또는 입체적 물체가 차량에 접근하지 않는 경우에는 좌측 또는 우측 사각지대 위험 경보를 해제하게 된다. 이러한 경보 해제에 관해서는 도면에는 표시하지 않았지만, 도면에 도시된 과정을 참조하면 쉽게 이해될 수 있는 것이다.

다음으로 도 6을 참조하여 제어부가 운전자영역에 대한 처리절차를 수행하는 과정에 대하여 설명하면 다음과 같다. 도 6에 도시된 절차들은 도 4에서 단계 S500 및 단계 S600에 대응하는 절차들이다.

제어부(200)는 운전자의 실제 운전패턴을 운전자 운전패턴정보와 비교하여 운전자가 졸음운전을 하거나 위험한 행동을 하고 있는지 여부를 판단한다(단계 S511). 즉, 제어부는 운전석영역(610)에서 파악되는 운전자의 움직임 또는 상태에 의하여 운전자가 졸음운전을 하고 있는지 또는 위험한 행동을 하고 있는지를 판단하는 것이다. 예를 들어, 운전자는 통상적으로 운전을 할 때 운전자의 머리 및 눈동자를 좌우로 움직여서 차량의 전방상황뿐만 아니라 후방 및 측방 상황을 파악하는데, 운전자가 졸음운전을 하고 있는 상태에서는 그러한 움직임이 없으며, 눈은 반쯤 감겨진 상태에 있는 것이 보통이다. 제어부는 운전자가 소정시간 이상 계속적으로 그러한 상태로 있는 경우에는 운전자가 졸음운전을 하고 있는 것으로 판단할 수 있다. 운전자 운전패턴정보는 운전자의 정상적인 운전상태에 관한 정보 그리고 운전자의 졸음운전상태에 관한 정보를 가질 수 있다. 운전자의 졸음운전상태에 관한 정보는 예를 들어, 운전자가 눈을 감고 있는 상태가 소정시간 이상 계속되는 것, 운전자가 눈을 깜빡이지 않고 눈을 뜨고 있는 상태가 소정시간 이상 계속되면서 눈의 크기가 보통 때의 크기보다 작은 상태, 예를 들어 보통 때의 크기보다 절반 이하의 크기로 있는 상태를 졸음운전상태로 설정하는 것일 수 있다.

또한 운전자 운전패턴정보는 정상적인 운전상태에 관한 정보와 비정상적인 운전상태에 관한 정보를 포함할 수 있다. 정상적인 운전상태에 관한 정보는 예를 들어, 운전자가 두 손으로 핸들을 붙잡고 있는 것을 정상적인 상태로 설정하는 것이고, 운전자가 최소한 한 손으로 핸들을 붙잡고 있는 것을 정상적인 상태로 설정할 수 있다. 반면에 비정상적인 운전상태에 관한 정보는 운전자가 핸들을 손으로 붙잡지 않고 있는 상태를 비정상적인 상태로 설정할 수 있고, 또한 운전중 휴대전화로 문자를 전송하는 행위 등을 비정상적인 상태로 설정할 수 있다.

제어부는 운전자가 졸음운전을 하고 있거나 비정상적인 상태, 즉 위험한 행동을 하고 있는 것으로 판단하면 운전자 위험 경보를 발령한다. 그런데, 본 발명의 장치에서 스테레오 카메라(100)가 기본적으로 촬영하는 영상은 도 2에 도시된 바와 같이, 차량 실내영역 및 차량 실외영역이 모두 표시되는 촬영각도 및 FOV로 설정하여 얻은 것이기 때문에 그러한 운전자영역 영상만으로는 운전자의 졸음운전 및 위험한 행동을 정확하게 판단하는 것이 어려울 수도 있다. 이러한 경우, 제어부는 우선적으로 그러한 운전자영역 영상만으로 운전자가 졸음운전을 하거나 위험한 행동을 하는지를 판단한다(단계 S511). 이때의 제어부의 판단은 정확한 것은 아니며, 운전자가 졸음운전을 하거나 위험한 행동을 하고 있을 개연성이 있으면 일단 운전자가 졸음운전을 하고 있거나 위험한 행동을 하고 있는 것으로 판단한다. 반면에 이때의 판단이 운전자가 졸음운전을 하거나 위험한 행동을 하고 있을 개연성이 없다면 단계 S200으로 리턴하여 절차는 계속된다.

제어부는 운전자가 졸음운전 또는 위험한 행동을 하고 있을 개연성이 있는 경우로 판단한 경우에는, 운전자의 졸음운전 또는 위험한 행동으로 판단한 운전자의 신체부위를 더욱 확대하여 촬영하도록 스테레오 카메라(100)에게 요청한다(단계 S512). 그러면 스테레오 카메라(100)는 운전자의 해당 신체부위를 더욱 확대하여 촬영한다. 이를 위하여, 카메라(100)는 필요한 경우 촬영각도를 조절하고 또한 FOV 값을 크게 설정한다. 그러한 설정 상태에서 카메라(100)는 영상을 촬영하고 그 영상을 제어부로 전송하고, 제어부는 그러한 확대된 영상을 수신한다(단계 S513). 그런후 제어부는 확대된 영상을 기초로 운전자가 졸음운전을 하고 있는지 또는 위험한 행동을 하고 있는지 여부를 판단한다(단계 S514). 이 경우의 판단은 그럴 가능성이 있다는 정도의 개연성 평가가 아니라 운전자의 해당 신체부위를 확대하여 얻은 영상을 기초로 판단하는 것이므로, 정확도가 매우 높아지게 된다.

그러한 판단에 의하여 운전자가 졸음운전을 하고 있거나 위험한 행동을 하고 있는 것으로 판단되면, 제어부는 운전자 위험 경보를 발령하고(단계 S611), 그에 따라 운전자 경보표시부의 LED는 깜빡이게 된다. 이때, 운전자가 졸음운전을 하고 있는 경우에는 운전자 경보표시부(810)의 LED의 깜빡임뿐만 아니라 소리경보장치가 소리경보도 울리게 된다. 운전자가 졸음운전을 하고 있는 경우에는 시각적 경보로는 충분하지 않을 수 있고 또한 오히려 청각적 경보가 효과적이기 때문이다. 반면에 그러한 판단에 의하여 운전자가 졸음운전 또는 위험한 행동을 하고 있지 않은 것으로 판단되면 제어부는 운전자 위험 경보를 발령하지 않고 단계 S200으로 리턴하여 절차를 계속한다.

한편, 스테레오 카메라(100)가 확대된 영상을 촬영하는 동안에는 다른 영역들에서 발생하는 상황에 대해서는 해당 영역의 영상이 제어부로 제대로 전송되지 않기 때문에 제어부는 다른 영역에 대한 절차를 수행하지 못하게 된다. 따라서, 제어부는 운전석영역에서 운전자 졸음운전 또는 위험한 행동이라고 판단되는 경우라도 운전자 경보를 발령한 후에는 다시 스테레오 카메라(100)에게 원래의 촬영각과 FOV값으로 돌아가 촬영을 계속하도록 요청할 수 있다. 그리고 운전자 졸음운전 또는 위험한 행동이 계속되고 있는지 여부를 파악하기 위하여 운전자 경보가 수행되는 동안에 동일한 과정을 반복하여 운전자 경보가 계속 발령되어야 하는지 아니면 운전자 경보가 멈춰야 하는지를 판단할 수 있다. 이하에서 설명하는 다른 영역에서의 판단도 이와 유사하게 진행될 수 있다.

다음으로 도 7을 참조하여 제어부가 탑승자영역에 대한 처리절차를 수행하는 과정에 대하여 설명하면 다음과 같다. 도 7에 도시된 절차들은 도 4에서 단계 S500 및 단계 S600에 대응하는 절차들이다.

제어부(200)는 탑승자의 실제 행동 또는 상태 패턴을 탑승자 상태패턴정보와 비교하여 탑승자가 위험한 행동을 하고 있거나 위험한 상태에 있는지 여부를 판단한다(단계 S521). 탑승자 상태패턴정보는 예를 들어, 탑승자가 안전벨트를 착용하지 않은 상태, 탑승자가 앉아있지 않고 서 있는 상태, 창문을 열고 머리를 차량 밖으로 내밀고 있는 상태 등을 위험상태로 설정할 수 있다. 제어부는 탑승자가 이러한 상태에 있는 경우 탑승자 위험 경보를 발령한다. 그런데, 본 발명의 장치에서 스테레오 카메라(100)가 기본적으로 촬영하는 영상은 도 2에 도시된 바와 같이, 차량 실내영역 및 차량 실외영역이 모두 표시되는 촬영각도 및 FOV로 설정하여 얻은 것이기 때문에 그러한 탑승자영역 영상만으로는 탑승자의 위험한 행동을 정확하게 판단하는 것이 어려울 수도 있다. 이러한 경우, 제어부는 우선적으로 그러한 탑승자영역 영상만으로 탑승자가 위험한 행동을 하는지를 판단한다(단계 S511). 이때의 제어부의 판단은 정확한 것은 아니며, 탑승자가 위험한 행동을 하고 있을 개연성이 있으면 일단 탑승자가 위험한 행동을 하고 있는 것으로 판단한다. 반면에 이때의 판단이 탑승자가 위험한 행동을 하고 있을 개연성이 없다면 단계 S200으로 리턴하여 절차는 계속된다.

제어부는 탑승자가 위험한 행동을 하고 있을 개연성이 있는 경우로 판단한 경우에는, 탑승자의 위험한 행동으로 판단한 탑승자의 신체부위를 더욱 확대하여 촬영하도록 스테레오 카메라(100)에게 요청한다(단계 S522). 그러면 스테레오 카메라(100)는 탑승자의 해당 신체부위를 더욱 확대하여 촬영한다. 이를 위하여, 카메라(100)는 필요한 경우 촬영각도를 조절하고 또한 FOV 값을 크게 설정한다. 그러한 설정 상태에서 카메라(100)는 영상을 촬영하고 그 영상을 제어부로 전송하고, 제어부는 그러한 확대된 영상을 수신한다(단계 S523). 그런후 제어부는 확대된 영상을 기초로 탑승자가 위험한 행동을 하고 있는지 여부를 판단한다(단계 S524). 이 경우의 판단은 그럴 가능성이 있다는 정도의 개연성 평가가 아니라 탑승자의 해당 신체부위를 확대하여 얻은 영상을 기초로 판단하는 것이므로, 정확도가 매우 높아지게 된다.

그러한 판단에 의하여 탑승자가 위험한 행동을 하고 있는 것으로 판단되면, 제어부는 탑승자 위험 경보를 발령하고(단계 S621), 그에 따라 운전자 경보표시부의 LED는 깜빡이게 된다. 반면에 그러한 판단에 의하여 탑승자가 위험한 행동을 하고 있지 않은 것으로 판단되면 제어부는 탑승자 위험 경보를 발령하지 않고 단계 S200으로 리턴하여 절차를 계속한다.

다음으로 도 8을 참조하여 제어부가 차량 실외영역의 후방영역에 대한 처리절차를 수행하는 과정에 대하여 설명하면 다음과 같다. 도 8에 도시된 절차들은 도 4에서 단계 S500 및 단계 S600에 대응하는 절차들이다.

제어부는 차량 실외영역의 후방영역 중 후방 근접영역(750)에 입체적 물체가 존재하는지 여부를 판단한다(단계 S531). 이때 후방 근접영역(750)은 차량과 매우 가까운 위치여서 차량이 앞으로 주행하고 있을 때 다른 차량이 그러한 가까운 위치까지 접근하게 되면 추돌사고의 발생가능성이 매우 높게 되고, 또한 차량이 후진하고 있을 때 또는 후진하여 주차할 때에도 접촉사고의 발생가능성이 높게 되는 영역이라 할 수 있다. 이러한 후방 근접영역(750)은 임의로 설정할 수 있는 것이지만, 차량이 전진으로 주행중일 때에는 대체로 차량으로부터 5 m 이내의 영역일 수 있고, 차량이 후진 중이거나 주차중일 때에는 3 m 이내의 영역일 수 있다. 이러한 후방 근접영역(750)은 더욱 세분하여 차량으로부터 가까운 거리에 따라 위험도가 더욱 높은 세부영역으로 구분할 수 있다. 이러한 세부영역의 구분에 의하여 특히 후진하는 경우에 후방 경보표시부의 LED 램프의 깜빡임 속도를 다르게 할 수 있고, 또한 그것과 더불어 소리경보장치를 작동시키고, 그러한 소리경보장치에 의한 소리경보의 반복간격을 더욱 짧게 함으로써 차량이 더욱 위험상태에 들어가고 있음을 운전자가 인식할 수 있게 할 수 있다.

이러한 후방 근접영역(750)은 위에서 설명한 바와 같이, 스테레오 카메라(100)에 의한 영상을 분석하여 거리와 방향을 측정함으로써 제어부가 설정할 수 있다.

제어부는 후방 근접영역(750)에 입체적 물체가 존재하지 않는 경우에는 단계 S200으로 리턴하여 절차를 계속하고, 후방 근접영역(750)에 입체적 물체가 존재하는 경우에는 그러한 입체적 물체가 차량에 접근하는지 여부를 판단한다(단계 S532). 입체적 물체가 차량에 접근하는지 여부는 위에서 설명한 바와 같이, 영상의 수신시각에 따라 수신된 영상들을 비교함으로써 이루어질 수 있다. 이러한 판단에 의하여 입체적 물체가 차량에 접근하는 것이 아니라고 판단되면 제어부는 단계 S200으로 리턴하여 절차를 계속한다.

한편, 입체적 물체가 차량에 접근하고 있다고 판단되면, 제어부는 후방 위험 경보를 발령하도록 프로그램을 구성할 수도 있다. 그러나, 본 발명의 장치에서 스테레오 카메라(100)가 기본적으로 촬영하는 영상은 도 2에 도시된 바와 같이, 차량 실내영역 및 차량 실외영역이 모두 표시되는 촬영각도 및 FOV로 설정하여 얻은 것이기 때문에 그러한 후방 근접영역 영상만으로는 후방의 위험한 상황을 정확하게 판단하는 것이 어려울 수도 있다.

따라서, 더욱 정확한 판단을 하기 위하여, 제어부는 후방 근접영역에 접근한 입체적 물체를 더욱 확대하여 촬영하도록 스테레오 카메라(100)에게 요청한다(단계 S533). 그러면 스테레오 카메라(100)는 후방 근접영역에 접근한 입체적 물체를 더욱 확대하여 촬영한다. 이를 위하여, 카메라(100)는 필요한 경우 촬영각도를 조절하고 또한 FOV 값을 크게 설정한다. 그러한 설정 상태에서 카메라(100)는 영상을 촬영하고 그 영상을 제어부로 전송하고, 제어부는 그러한 확대된 영상을 수신한다(단계 S534). 그런후 제어부는 확대된 영상을 기초로 차량의 후방에서 위험한 상황이 벌어지고 있는지 여부를 판단한다. 즉 먼저 후방 근접영역에 입체적 물체가 존재하는지 판단하고(단계 S535), 다음으로 그렇다면 입체적 물체가 차량에 접근하고 있는지 판단한다(단계 S536). 이러한 판단들에 의하면, 차량의 후방에서 위험한 상황이 벌어지고 있는지를 더욱 정확하게 판단할 수 있게 된다.

그러한 판단에 의하여 차량의 후방에서 위험한 상황이 벌어지고 있는 것으로 판단되면, 제어부는 후방 위험 경보를 발령하고(단계 S631), 그에 따라 후방 경보표시부의 LED는 깜빡이게 된다. 또한 위에서 설명한 바와 같이, 차량이 후진중이거나 주차를 위하여 후진중인 경우에는 LED의 깜빡임과 더불어 후방에 있는 입체적 물체에 차량이 가까이 다가갈수록 소리경보의 반복간격을 더욱 짧게 함으로써 차량의 위험상태를 운전자가 충분히 인식할 수 있게 한다.

반면에 그러한 판단에 의하여 차량의 후방에 위험한 상황이 발생하지 않는 것으로 판단되면 제어부는 후방 위험 경보를 발령하지 않고 단계 S200으로 리턴하여 절차를 계속한다.

한편, 상기에서는 스테레오 카메라(100)가 가시광선에 의하여 영상을 얻는 것을 전제로 설명하였지만, 어두운 야간, 특히 비가 오는 야간에는 빛이 없는 상황이기 때문에 가시광선에 의하여 영상을 얻는 것이 어렵다. 이러한 경우를 대비하여, 본 발명의 장치에서 사용되는 스테레오 카메라(100)는 조명이 밝은 상태일 때에는 가시광선에 의한 촬영을 수행하고, 야간에 조명이 부족할 때에는 적외선에 의한 촬영을 하는 것일 수 있다.

10: 차량 운전상황 감시장치 100: 스테레오 카메라
200: 제어부 300: 메모리부
400: 경보 표시부

Claims

자동차의 실내 앞쪽에 장착되어 자동차의 실내 및 자동차의 실외를 연속적으로 촬영하여 생성한 영상을 실시간으로 연속적으로 전송하는 스테레오 카메라; 운전자 및 탑승자가 없는 상태에서 상기 카메라의 촬영에 의하여 생성한 차량의 실내공간에 대한 차량 실내공간 기준영상 및 상기 차량 실내공간이 아닌 상기 차량의 실외공간에 도로 또는 지면을 제외하고 입체적 물체가 없는 상태에서 상기 카메라의 촬영에 의하여 생성한 차량의 실외공간에 대한 차량 실외공간 기준영상을 저장하는 메모리부; 상기 스테레오 카메라가 촬영하여 생성한 상기 영상을 실시간으로 연속적으로 수신하고, 상기 수신한 영상을 상기 차량 실내공간 기준영상 및 상기 차량 실외공간 기준영상과 비교하여 상기 영상을 차량 실내영역과 차량 실외영역으로 구분하고, 또한 상기 차량 실외영역을 좌측 후방영역, 우측 후방영역 및 후방영역으로 구분하며, 상기 차량 좌측 후방영역 또는 우측 후방영역 중 상기 차량의 좌측 후방 또는 우측 후방의 사각지대에 입체적 물체가 존재하는지 판단하고, 상기 차량의 좌측 후방 또는 우측 후방의 사각지대에 입체적 물체가 존재하는 경우 상기 입체적 물체가 상기 차량에 대하여 접근하고 있는 상태일 때에는 상기 차량의 좌측 후방 또는 우측 후방의 사각지대에 다른 차량이 존재하는 것으로 판단하여 경보 발령을 명령하는 제어부; 및 상기 제어부의 명령에 따라 경보를 발령하는 경보 표시부를 포함하며,
상기에서, 상기 제어부는 상기 스테레오 카메라에 의하여 생성한 좌안 카메라 영상과 우안 카메라 영상을 비교하여 상기 입체적 물체가 상기 차량으로부터 떨어진 거리 및 방향을 평가함으로써 상기 입체적 물체가 상기 차량의 사각지대에 존재하는지 여부를 판단하는 것이고, 또한 상기 제어부는 상기 영상의 수신시각에 따라 상기 수신된 영상들을 비교함으로써 상기 다른 차량이 상기 차량에 접근하고 있는지 여부를 판단하는 것임을 특징으로 하는 스테레오비전기술을 이용한 차량의 운전상황 감시장치.
제1항에 있어서,
상기 메모리부는 운전자가 정상적인 상태로 또는 비정상적인 상태로 운전하는 패턴에 관한 운전자 운전패턴정보를 더 저장하고, 상기 제어부는 상기 영상 중 상기 차량 실내영역을 운전석영역, 조수석영역, 뒷좌석영역으로 구분하고, 상기 운전석영역에서 파악되는 상기 운전자의 실제 운전패턴을 상기 운전자 운전패턴정보와 비교하여 운전자가 졸음운전을 하고 있거나 운전중 위험한 행동을 하고 있는 것으로 판단할 때에는 경보 발령을 명령하는 것임을 특징으로 하는 스테레오비전기술을 이용한 차량의 운전상황 감시장치.
제2항에 있어서,
상기 운전자 운전패턴정보로는 초기에는 운전자들의 통계적인 운전패턴에 관한 통계적 운전패턴정보를 사용하고, 상기 차량의 실제 운전자가 상기 차량을 운전함에 따라 상기 통계적 운전패턴정보에 대응하는 실제 운전자 운전패턴정보가 구축된 경우에는 상기 실제 운전자 운전패턴정보를 사용하는 것임을 특징으로 하는 스테레오비전기술을 이용한 차량의 운전상황 감시장치.
제2항에 있어서,
상기 메모리부는 상기 조수석영역 또는 뒷좌석영역에 탑승한 탑승자가 정상적인 상태일 때 또는 비정상적인 상태일 때 취하는 행동 또는 상태에 관한 탑승자 상태패턴정보를 더 저장하고, 상기 제어부는 상기 조수석영역 또는 뒷좌석영역에서 파악되는 탑승자의 실제 행동 또는 상태패턴을 상기 탑승자 상태패턴정보와 비교하여 상기 탑승자가 차량 주행중 위험한 행동 또는 상태에 있는 것으로 판단할 때에는 경보 발령을 명령하는 것임을 특징으로 하는 스테레오비전기술을 이용한 차량의 운전상황 감시장치.
제2항 내지 제4항 중 어느 한 항에 있어서,
상기 제어부는 상기 카메라로부터 수신한 영상에 의하여 상기 운전자가 졸음운전을 하고 있거나 운전중 위험한 행동을 하고 있는 것으로 판단하는 경우 또는 상기 탑승자가 위험한 행동을 하거나 위험한 상태에 있는 것으로 판단하는 경우 상기 카메라가 상기 운전자의 졸음운전 또는 위험한 행동으로 판단한 상기 운전자의 신체부위 또는 상기 탑승자의 위험한 행동 또는 위험한 상태로 판단한 상기 탑승자의 신체부위를 더욱 확대하여 촬영하도록 명령하고, 상기 카메라는 상기 제어부의 그러한 명령에 따라 상기 카메라의 회전각도를 조절하고 상기 카메라의 FOV(Field Of View)를 조절하여 상기 운전자 또는 상기 탑승자의 해당 신체부위를 확대하여 촬영하고 그러한 확대 영상을 상기 제어부에 전송하며, 상기 제어부는 상기 확대 영상을 수신하여 상기 운전자가 졸음운전 또는 위험한 행동을 하고 있는지 여부 또는 상기 탑승자가 위험한 행동을 하고 있는지 또는 위험한 상태에 있는지 여부를 더욱 확실하게 판단하고, 그러한 판단에 의거하여 경보 발령을 명령하는 것임을 특징으로 하는 스테레오비전기술을 이용한 차량의 운전상황 감시장치.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 제어부는 상기 수신된 영상으로부터 상기 차량 실외영역의 상기 후방영역 중 상기 차량에 근접하는 근접영역에 다른 차량 또는 입체적 물체가 존재하는 것으로 판단되고 또한 상기 다른 차량 또는 입체적 물체가 상기 차량에 접근하고 있는 상태일 때에는 그러한 사실을 알리는 경보 발령을 명령하는 것임을 특징으로 하는 스테레오비전기술을 이용한 차량의 운전상황 감시장치.
제6항에 있어서,
상기 제어부는 상기 카메라로부터 수신한 영상에 의하여 상기 차량 실외영역의 상기 후방영역 중 상기 차량에 근접하는 근접영역에 다른 차량 또는 입체적 물체가 존재하는 것으로 판단하는 경우 상기 카메라가 상기 다른 차량 또는 입체적 물체를 확대하여 촬영하도록 명령하고, 상기 카메라는 상기 제어부의 그러한 명령에 따라 상기 카메라의 회전각도를 조절하고 상기 카메라의 FOV(Field Of View)를 조절하여 상기 다른 차량 또는 입체적 물체를 확대하여 촬영하고 그러한 확대 영상을 상기 제어부로 전송하며, 상기 제어부는 상기 확대 영상을 수신하여 상기 다른 차량 또는 입체적 물체가 상기 차량에 접근하고 있는 상태인지 여부를 더욱 확실하게 판단하고, 그러한 판단에 의거하여 경보 발령을 명령하는 것임을 특징으로 하는 스테레오비전기술을 이용한 차량의 운전상황 감시장치.
제6항에 있어서,
상기 경보표시부는 운전자 경보표시부, 탑승자 경보표시부, 좌측 사각지대 경보표시부, 우측 사각지대 경보표시부 및 후방 경보표시부로 이루어지고, 상기 각 경보표시부는 LED 램프로 이루어지며, 상기 제어부가 해당 경보 명령을 발령하는 경우 해당 경보표시부의 LED 램프가 발광하는 것임을 특징으로 하는 스테레오비전기술을 이용한 차량의 운전상황 감시장치.
제8항에 있어서,
상기 운전자 경보표시부는 소리경보장치를 더 포함하고, 상기 제어부가 운전자의 졸음운전에 해당하는 운전자 경보 명령을 발령하는 경우 상기 LED 램프의 발광과 함께 소리 경보도 동시에 발령하는 것임을 특징으로 하는 스테레오비전기술을 이용한 차량의 운전상황 감시장치.
제9항에 있어서,
상기 제어부는 차량의 후방에 위험상황이 발생하고 있는 것으로 판단하는 경우 상기 LED 램프의 발광과 함께 소리 경보도 동시에 발령하는 것임을 특징으로 하는 스테레오비전기술을 이용한 차량의 운전상황 감시장치.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 스테레오 카메라는 조명이 밝은 상태일 때에는 가시광선에 의한 촬영을 수행하고, 야간에 조명이 부족할 때에는 적외선에 의한 촬영을 하는 것임을 특징으로 하는 스테레오비전기술을 이용한 차량의 운전상황 감시장치.