KR20100028253A

KR20100028253A - 운전 보조 장치 및 운전 보조 방법

Info

Publication number: KR20100028253A
Application number: KR1020080087193A
Authority: KR
Inventors: 원웅재; 김만호; 손준우
Original assignee: 재단법인대구경북과학기술원
Priority date: 2008-09-04
Filing date: 2008-09-04
Publication date: 2010-03-12

Abstract

본 발명은 운전 보조 장치 및 운전 보조 방법에 관한 것이다. 본 발명은 운전자를 촬영한 운전자 영상을 이용하여 운전자의 상태를 분석하고, 상기 운전자의 상태 정보를 이용하여 운전자의 안전 운전을 보조할 수 있는 운전 보조 장치 및 운전 보조 방법을 제공한다.

따라서, 본 발명의 운전 보조 장치 및 운전 보조 방법에 따르면, 운전자가 운전에 집중할 수 있도록 보조하여 운전자의 안전 운전을 보장하고, 운전 사고를 줄일 수 있는 효과가 있다. 그리고, 상기 휴대 전화와 같은 기기들을 이용하는 경우에는, 적은 비용으로 효과를 얻을 수 있어 운전자의 경제적 부담을 줄일 수 있는 효과가 있다. 또한, 휴대 전화 사업자의 측면에서도 서비스의 범위 확대와 시장 확대라는 효과를 얻을 수도 있다.

자동차, 운전

Description

운전 보조 장치 및 운전 보조 방법{Method for supporting a driver and apparatus for the same}

본 발명은 운전 보조 장치 및 운전 보조 방법에 관한 것으로서, 더욱 자세하게는 촬영된 영상을 이용하여 운전자의 상태를 분석하고 운전자의 운전을 보조하는 장치 및 방법에 관한 것이다.

사람이 운전을 하는 운송 수단의 경우, 각 분야의 기술 발전으로 인하여 다양한 형태의 기능 등이 추가되고 있다. 예를 들어, 상기 운송 수단의 일 예인 자동차의 경우, 오디오, 에어컨, 네비게이션 등과 같이 운전자의 편의를 위해 운전 이외의 다양한 기능 등이 추가되고 있으며, 운전자의 안전 운전에 도움을 주고 있다.

상기와 같은 기능들을 이용함으로써, 운전자의 운전 환경을 개선하고 운전자의 운전 스트레스를 줄일 수 있으며, 운전 경로, 운전 정보 등을 운전자에게 알려주어 운전자가 운전에 전념할 수 있도록 한다.

그러나, 상기와 같은 기능들에도 불구하고 자동차의 각 내부 장치의 동작, 동승자와의 대화나 외부 환경 변화 등의 이유로 인하여 운전자의 안전 운전을 보장할 수 없는 문제점이 있다. 즉, 운전자의 운전 부하 증가, 주의도 분산, 피로도 등 으로 인한 운전 사고에 능동적이고 효과적으로 대응할 수 없다는 문제점이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 운전자를 촬영한 영상을 이용하여 운전자의 상태를 분석하고, 상기 정보를 이용하여 운전자의 운전을 보조할 수 있는 운전 보조 장치 및 운전 보조 방법을 제공하는 것이다.

운전자를 촬영한 운전자 영상과 운전에 관한 네비게이터 정보를 제공하는 단말부, 상기 단말부로부터 수신한 운전자 영상과 네비게이터 정보를 이용하여 운전자의 운전 부주의와 사고 위험 여부 또는 운전자 졸음 여부를 판단하고, 상기 판단 정보를 이용하여 운전자가 운전에 집중하도록 하는 사고 방지 절차 또는 졸음 운전 방지 절차를 수행하도록 제어하는 운전 보조 제어부, 및 상기 운전 보조 제어부의 제어에 따라 자동차의 각 기능을 제어하는 기능 제어부를 포함한다.

다른 관점에서 본 발명에 따른 운전 보조 장치는, 운전자의 영상을 촬영하여 제공하는 카메라; 운전 경로에 관한 네비게이터 정보를 제공하는 네비게이션 제어부, 상기 카메라로부터 수신한 운전자 영상과 상기 네비게이션 제어부로부터 수신한 네비게이터 정보를 이용하여 운전자의 운전 부주의와 사고 위험 여부 또는 운전자의 졸음 운전 여부를 판단하고, 상기 판단 정보를 이용하여 운전자가 운전에 집중하도록 하는 사고 방지 절차 또는 졸음 운전 방지 절차를 수행하도록 제어하는 운전 보조 제어부, 및 상기 운전 보조 제어부의 제어에 따라 자동차의 각 기능을 제어하는 기능 제어부를 포함한다.

본 발명에 따른 운전 보조 방법은, 운전자를 촬영한 운전자 영상을 분석하여 운전자 상태 정보를 추출하는 단계, 상기 운전자 상태 정보와 네비게이터 정보를 이용하여 운전자 부주의와 사고 위험 여부를 추정하는 단계, 및 상기 운전자 부주의와 사고 위험 여부에 관한 정보를 이용하여 사고 방지 절차를 수행하는 단계를 포함한다.

다른 관점에서 본 발명에 따른 운전 보조 방법은, 운전자를 촬영한 운전자 영상을 분석하여 운전자 상태 정보를 추출하는 단계, 상기 운전자 상태 정보를 이용하여 운전자의 졸음 운전 여부를 감지하는 단계, 및 상기 졸음 운전 여부에 관한 정보를 이용하여 졸음 운전 방지 절차를 수행하는 단계를 포함한다.

본 발명의 운전 보조 장치 및 운전 보조 방법에 따르면, 운전자가 운전에 집중할 수 있도록 보조하여 운전자의 안전 운전을 보장하고, 운전 사고를 줄일 수 있는 효과가 있다.

그리고, 상기 휴대 전화와 같은 기기들을 이용하는 경우에는, 적은 비용으로 효과를 얻을 수 있어 운전자의 경제적 부담을 줄일 수 있는 효과가 있다. 또한, 휴대 전화 사업자의 측면에서도 서비스의 범위 확대와 시장 확대라는 효과를 얻을 수도 있다.

이하 본 발명의 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시 예들의 상세한 설명을 통해 명백해질 것이다. 아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀 두고자 한다.

이와 같이 구성된 본 발명에 따른 운전 보조 장치 및 운전 보조 방법의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도 1은 본 발명에 따른 일 실시예로서, 운전 보조 장치의 구성을 개략적으로 나타낸 도면이다. 상기 운전 보조 장치는 단말부(100), 카메라(102), 네비게이션 제어부(104), 오디오 처리부(106), 운전 보조 제어부(110), 응시 영역 보정부(112), 사고 위험 추정부(114), 제어 모듈(116), 운전자 상태 추정부(120), 졸음 감지부(122), 정보 검출부(124), 부주의 감지부(126), 기능 제어부(130), 진동 제어부(132), 경고등 제어부(134), 윈도우 제어부(136) 및 내부 오락 시스템(138)을 포함한다. 이하에서는 설명의 편의를 위해 상기 운전 보조 장치가 자동차에 적용되는 경우를 가정하여 설명하기로 한다.

단말부(100)는 카메라(102), 네비게이션 제어부(104) 및 오디오 처리부(106)를 포함한다. 상기 단말부(100)는 운전 경로에 관한 네비게이션 정보를 제공하고, 카메라(102)를 이용하여 사용자의 영상을 촬영하여 제공하는 역할을 한다. 그리고, 오디오 처리부(106)는 상기 단말부(100)에서 출력되는 오디오 신호를 처리하는 역할을 한다. 상기 단말부(100)는 네비게이션 기능과 카메라 기능을 지원하는 단말기 라면 모두 적용가능하다. 예를 들어, 상기 단말부(100)는 휴대 전화, 카메라와 네비게이션 기능을 제공하는 PDA(Personal Digital Assistant)나 네비게이터(navigator) 등이 사용될 수 있다. 상기 도면에서는 단말부(100)에서 카메라 기능과 네비게이션 기능을 제공하는 예를 도시하였으나, 상기 카메라 기능과 네비게이션 기능이 자동차에 별도로 각각 설치되어 사용될 수도 있다. 이하에서는 설명의 편의를 위해 상기 단말부(100)로 휴대 전화를 사용하는 경우를 예로 하여 설명하기로 한다.

상기 단말부(100)는 운전자를 촬영할 수 있는 곳에 위치시킨다. 상기 단말부(100)는 운전자의 운전을 방해하지 않으면서, 카메라(102)가 운전 중 운전자의 얼굴 및 눈 영역을 포함한 운전자의 영상을 촬영할 수 있는 위치에 고정시킬 수 있다.

상기 카메라(102)는 운전자의 운전 영상을 촬영한다. 상기 카메라(102)에서 촬영된 영상은 운전자 상태 추정부(120)로 전송된다. 상기 운전자 상태 추정부(120)는 졸음 감지부(122), 정보 검출부(124), 부주의 감지부(126)를 포함하며, 상기 수신된 운전자 영상을 이용하여 운전자의 현재 상태를 추정한다. 예를 들어, 운전자의 졸음 운전 여부나 운전 부주의 상태 등을 추정할 수 있다.

정보 검출부(124)는 상기 운전자의 운전 영상을 이용하여 운전자의 상태 정보를 검출한다. 예를 들어, 상기 운전자의 응시 영역에 관한 정보를 검출하거나, 운전자의 눈 깜박임 간격에 관한 정보, 눈 감김 상태에 관한 정보, 운전자의 고개 끄덕임에 관한 정보 등을 검출할 수 있다. 또한, 상기 운전자의 손의 움직임이나 팔의 움직임, 머리의 움직임 등에 관한 정보 등 다양한 형태의 움직임 정보 등을 검출할 수도 있다.

응시 영역 보정부(112)는 운전자의 시선 정보를 이용하여 상기 운전 보조 장치를 사용하는 자동차에서의 응시 영역을 정확하게 설정하도록 한다. 예를 들어, 응시 영역 보정부(112)에 저장되어 있는 각 영역에 대해 운전자가 일정 시간 동안 해당 영역을 응시하고 이를 인식함으로써, 응시 영역을 정확하게 설정할 수 있다. 상기 응시 영역 설정은 상기 자동차의 시동이 걸린 후 운전 보조 장치를 사용할 때마다 설정할 수도 있고, 사용자가 원하는 시기에 설정 명령을 입력하여 설정할 수도 있다.

도 2는 본 발명에 따른 일 실시예로서, 자동차에서의 운전자 응시 영역을 개략적으로 나타낸 도면이다. 운전자가 응시할 수 있는 영역을 개략적으로 구분하여 설정함으로써, 촬영 영상으로부터 사용자가 응시하는 영역을 추정할 수 있다. 상기 도 2의 윗 도면의 경우, 사용자가 응시할 수 있는 응시 가능 영역을 왼쪽 사이드 미러 영역, 자동차 정보 표시 영역, 교통 정보 시스템 및 텔레매틱스 영역, 기타 영역, 오른쪽 사이드 미러 영역, 백미러 영역, 앞유리 영역, 도로 중심 영역 등으로 나눌 수 있다. 상기 각 영역의 구분은 구현 예에 따라 달라질 수 있다. 상기 구분된 정보는 응시 영역 보정부(112)에 미리 저장될 수도 있고, 운전자가 정의할 수도 있다.

사용자는 설정 명령을 입력하고 해당 지역을 일정 시간 응시하여 응시 영역을 설정할 수 있다. 예를 들어, 사용자가 왼쪽 사이드 미러 영역을 설정하는 명령 을 입력한 후, 일정 시간 동안 왼쪽 사이드 미러를 응시하면, 상기 응시 영역 보정부(112)는 카메라(102)로부터 촬영된 영상을 분석하여 왼쪽 사이드 미러 영역을 인식할 수 있다.

상기 도 2의 윗 도면과 같이 각 영역을 세분화하여 응시 영역을 설정하고 이를 사용자 상태를 분석하는 데 사용할 수도 있고, 도 2의 아래 도면과 같이 도로 중심영역, 도로 영역, 비도로 영역과 같이 간략화하여 응시 영역을 설정하고 이를 사용자 상태를 분석하는 데 사용할 수도 있다. 이는 구현 예에 따라 다르다. 일 예로, 상기 도로 영역은 앞유리 영역과 매칭될 수 있고, 비도로 영역은 도로 중심 영역을 포함하는 도로 영역 이외의 영역에 매칭될 수 있다.

졸음 감지부(122)는 상기 정보 검출부(124)에서 검출된 운전자 상태 정보를 이용하여 운전자의 졸음 운전 여부를 감지한다. 예를 들어, 운전자의 눈 깜박임 간격에 관한 정보나 눈 감김 상태 여부에 관한 정보, 운전자의 고개 끄덕임에 관한 정보 등을 이용하여 운전자의 졸음 운전 여부를 감지할 수 있다. 운전자의 졸음 운전 여부를 감지하기 위해 상기 정보들을 모두 사용할 수도 있고, 일부 정보만을 사용하여 졸음 운전 여부를 감지할 수도 있다. 이는 구현 예에 따라 달라질 수 있다. 예를 들어, 눈 깜박임 기간이 길고 눈 감김 상태가 일정 기간 지속하는 경우 졸음 운전으로 판단할 수도 있고, 눈 깜박임 기간이 길고 고개 끄덕임이 일정 기간 내 일정 횟수이상 감지되는 경우 졸음 운전으로 판단할 수 있다. 또는, 눈 감김 상태가 일정 기간 지속하는 경우 졸음 운전으로 판단할 수도 있다.

부주의 감지부(126)는 상기 정보 검출부(124)로부터 검출된 운전자 상태 정 보를 이용하여 운전자가 운전 부주의 상태에 있는지에 대한 판단 정보를 사고 위험 추정부(114)에 제공한다. 예를 들어, 상기 운전자의 응시 영역에 관한 정보, 상기 운전자의 손의 움직임이나 팔의 움직임, 머리의 움직임 등에 관한 움직임 정보 등을 분석하여 사고 위험 추정부(114)에 제공한다. 운전자의 부주의 여부에 대한 판단 정보로 상기 정보들을 모두 제공할 수도 있고, 일부 정보만을 제공할 수도 있다. 이는 구현 예에 따라 달라질 수 있다.

운전 보조 제어부(110)는 상기 운전자 상태 정보를 이용하여, 운전자 상태에 따라 운전 보조를 수행하도록 제어한다. 상기 운전 보조 제어부(110)는 응시 영역 보정부(112), 사고 위험 추정부(114), 제어 모듈(116), 운전자 상태 추정부(120)를 포함한다.

사고 위험 추정부(114)는 네비게이션 제어부(104)로부터 수신한 네비게이터 정보(예를 들어, 교통 정보나 도로 정보 등)와 부주의 감지부(126)로부터 수신한 운전자 부주의 판단 정보를 이용하여 운전사고가 발생할 위험이 있는지 여부를 추정한다. 예를 들어, 응시 영역에 관한 정보를 이용하여 일정 시간 이상 운전자가 전방 도로를 응시하지 않는 경우나 운전자의 손이나 팔이 운전대에서 일정 시간 이상 떨어져 있는 경우 등을 운전 부주의 상태로 판단할 수 있다.

상기 사고 위험 추정부(114)는 부주의 감지부(126)로부터 수신한 운전자 부주의 판단 정보만을 이용하여 사고 위험 판단을 할 수도 있고, 네비게이션 제어부(104)로부터 수신한 교통 정보나 도로 정보 등과 같은 네비게이터 정보만을 이용하여 사고 위험 판단을 할 수도 있다. 또는 상기 부주의 판단 정보와 네비게이터 정보를 모두 이용하여 사고 위험 판단을 할 수도 있다. 이는 구현 예에 따라 달라질 수 있다. 예를 들어, 도로 영역을 일정 기간(threshold)이상 응시하지 않는다거나, 일정 시간 동안 주변 응시 회수가 일정 회수 이상 빈번한 경우 등과 같이 운전자의 부주의 정도가 큰 것으로 판단되는 경우에 운전사고가 발생할 위험이 있다고 판단할 수 있다. 또는, 네비게이션 제어부(104)로부터 현재 위험 구간(예를 들어, 공사 구간, 낙석 지역, 급경사, 급커브 지역 등과 같은 주의 지역)을 운전 중인 것으로 판단되는 경우에 운전사고가 발생할 위험이 있다고 판단할 수 있다. 또는, 네비게이션 제어부(104)로부터 현재 위험 구간을 운전 중인 것으로 판단되며, 운전자의 부주의가 감지되는 경우에 운전사고가 발생할 위험이 있다고 판단할 수 있다. 이는 구현 예에 따라 달라질 수 있다.

제어 모듈(116)은 상기 졸음 감지부(122)로부터 수신된 졸음 여부 정보와 사고 위험 추정부(114)로부터 수신된 사고위험 정보를 이용하여, 운전자의 안전 운전을 보조할 수 있도록 자동차 기능 제어부(130)의 각 기능을 제어한다. 예를 들어, 운전자의 졸음 운전이 감지되는 경우, 상기 제어 모듈(116)은 단말부(106)의 오디오 처리부(106)나 내부 오락 시스템(138)을 통하여 경고 오디오를 출력하도록 제어할 수 있다. 또는, 진동 제어부(132)를 통하여 운전자가 앉은 자리에서 경고 진동을 느낄 수 있도록 제어할 수도 있고, 경고등 제어부(134)를 통하여 경고등을 켜 주변 자동차의 운전자에게 경고하도록 제어할 수도 있다. 또는, 윈도우 제어부(136)를 통해 창문이 자동적으로 열리도록 제어할 수도 있고, 내부 오락 시스템(138)을 통해 DMB(Digital Multimedia Broadcasting)나 오디오 플레이어, 라디오 등과 같은 오락 시스템이 작동되도록 제어할 수도 있다. 또는, 상기 제어 모듈(116)은 차내에 방향제 등을 분사하도록 제어할 수도 있다.

운전자의 사고 위험이 추정되는 경우, 상기 제어 모듈(116)은 단말부(106)의 오디오 처리부(106)나 내부 오락 시스템(138)을 통하여 경고 오디오를 출력하도록 제어할 수 있다. 또는, 진동 제어부(132)를 통하여 운전자가 앉은 자리에서 경고 진동을 느낄 수 있도록 제어할 수도 있고, 경고등 제어부(134)를 통하여 경고등을 켜 주변 자동차의 운전자에게 경고하도록 제어할 수도 있다. 또는, 운전자가 운전에 집중할 수 있도록 내부 오락 시스템(138)을 통해 DMB(Digital Multimedia Broadcasting)나 오디오 플레이어, 라디오 등의 오락 시스템이 작동이 제한되도록 제어할 수도 있다.

상기 제어 모듈(116)에는 자동차의 기능 제어부(130)가 플러그 형태로 연결될 수 있다. 예를 들어, 진동 제어부(132), 경고등 제어부(134), 윈도우 제어부(136), 내부 오락 시스템(138) 등이 각각 플러그 형태로 상기 제어 모듈(116)에 연결될 수 있고, 상기 제어 모듈(116)은 플러그된 각 기능 제어부를 자동으로 인식할 수 있다. 상기 제어 모듈(116)은 플러그된 각 기능을 제어할 수 있으며, 연결되지 않은 기능에 대해서는 졸음이나 부주의 경고 과정에서 자동으로 활성화하지 않는다.

상기 제어 모듈(116)의 제어 알고리즘은 구현자에 의해 미리 구현되어 저장되어 있을 수도 있고, 상기 알고리즘을 사용자가 인터넷 등을 통해 다운받아 상기 모듈에 저장할 수도 있다. 또한, 상기 사용자가 제어 과정 등을 설정할 수도 있다.

상기와 같이 졸음 운전이나 사고 위험 등이 감지되는 경우, 상기 제어 모듈(116)은 상기에서 설명한 각 기능 가운데 하나가 수행되도록 제어할 수도 있고, 각 기능이 순서에 따라 차례대로 수행되도록 제어할 수도 있다. 또는 한번에 두 가지 이상의 기능이 동시에 수행되도록 제어할 수도 있다. 이는 구현 예에 따라 다르다.

도 3은 본 발명에 따른 일 실시예로서, 운전 보조 과정을 개략적으로 나타낸 도면이다. 상기 도 3의 각 기능 수행 순서나 과정은 일 실시예이다.

네비게이션 제어부(104)는 교통 정보나 도로 상태 정보 등의 네비게이터 정보를 운전자에게 제공할 수 있다. 상기 정보는 상기 단말부(100)의 오디오 처리부(106)나, 내부 오락 시스템(138)의 차량 오디오를 통해 운전자에게 제공될 수 있다.

카메라(102)를 통해 촬영된 운전 영상을 통하여 운전자의 상태 등을 분석한 결과 운전자의 사고 위험이 추정되면, 상기 운전 보조 장치는 상기 단말부(100)의 오디오 처리부(106)나, 내부 오락 시스템(138)의 차량 오디오를 통해 운전자에게 운전에 집중하도록 하는 음성 경고를 할 수 있고, 진동 제어부(132)를 통해 진동 경고를 할 수 있다. 예를 들어, 운전자의 부주의 정도가 큰 것으로 판단되는 경우, 또는 현재 운전자 부주의 상태가 추정되고, 상기 네비게이션 제어부(104)로부터 수신한 네비게이터 정보로부터 위험 구간을 운전하는 것으로 판단되는 경우, 상기 운전 보조 장치는 음성이나 진동으로 운전자에게 경고를 할 수 있다. 또한, 경고/비상등을 통해 주변의 다른 운전자에게 경고를 할 수 있다. 그리고, 자동차 내부의 오락 시스템의 작동이 제한되도록 하여 운전자가 운전에 집중할 수 있도록 한다.

카메라(102)를 통해 촬영된 운전 영상을 통하여 운전자의 상태를 분석한 결과 운전자 졸음 운전 상태로 추정되면, 상기 운전 보조 장치는 상기 단말부(100)의 오디오 처리부(106)나, 내부 오락 시스템(138)의 차량 오디오를 통해 운전자에게 운전에 집중하도록 하는 음성 경고를 할 수 있고, 진동으로 운전자에게 경고를 할 수 있다. 예를 들어, 상기 진동은 운전자 좌석에 진동장치를 설치하여 운전자가 진동을 느낄 수 있도록 할 수 있다. 또한, 경고/비상등을 통해 주변의 다른 운전자에게 경고를 할 수도 있다.

상기와 같은 졸음 운전 경고에도, 운전자의 졸음 운전이 추정되는 경우 자동차 내부의 각 기능을 이용하여 운전자의 졸음을 방지할 수 있다. 예를 들어, 윈도우 제어부(136)를 이용하여 자동으로 자동차의 창문을 열 수 있고, 내부 오락 시스템(138)을 이용하여 졸음 방지를 위한 음악 재생, 라디오 재생 등을 할 수 있다. 또한, 내부 오락 시스템(138)을 통해 졸음 방지를 위한 방향제 분사 등을 할 수도 있다.

도 4는 본 발명에 따른 일 실시예로서, 운전자의 졸음 운전 방지 과정을 개략적으로 나타낸 순서도이다.

운전 보조 장치는 상기 운전 보조 장치와 연결된 자동차의 각 연결 장치를 확인한다(S400). 상기 운전 보조 장치는 상기 각 연결 장치의 연결 상태를 확인하고, 상기 연결 장치들을 인식할 수 있다. 상기 운전 보조 장치는 인식된 연결 장치를 통해 졸음 운전 방지를 위한 동작을 수행하도록 할 수 있다.

상기 운전 보조 장치는 카메라를 통해 촬영된 운전자의 운전 영상을 이용하여 운전자의 상태 정보를 추출한다(S410). 예를 들어, 운전 영상을 분석하여 운전자의 눈 깜박임 정보나 고개 끄덕임 정보 등과 같은 운전자 상태 정보를 추출할 수 있다. 상기 운전자 상태 정보를 이용하여, 운전자의 졸음 운전 상태 여부를 판단할 수 있다(S420). 상기 운전자의 상태가 졸음 운전 상태가 아닌 경우에는 촬영된 영상을 이용하여 계속 운전자의 상태를 모니터링 한다(S410). 운전자가 졸음 운전 상태인 경우에는, 운전자의 졸음 운전 방지를 위한 동작을 수행한다(S430).

상기 운전 보조 장치는 상기 졸음 운전 방지를 위해 상기에서 설명한 예와 같이 음성, 진동 경고를 할 수 있고, 경고등 동작, 졸음 방지 서비스 등을 수행할 수 있다.

도 5는 본 발명에 따른 일 실시예로서, 운전자의 운전 사고를 방지하는 과정을 개략적으로 나타낸 순서도이다.

운전 보조 장치는 상기 운전 보조 장치와 연결된 자동차의 각 연결 장치를 확인한다(S500). 상기 운전 보조 장치는 상기 각 연결 장치의 연결 상태를 확인하고, 상기 연결 장치들을 인식할 수 있다. 상기 운전 보조 장치는 인식된 연결 장치를 통해 부주의 운전 방지를 위한 동작을 수행하도록 할 수 있다.

상기 운전 보조 장치는 네비게이터 정보를 이용하여 경로를 모니터링하고 이를 운전자에게 제공할 수 있다(S510). 운전 보조 장치는 상기 모니터링 결과를 이용하여 위험 구간에서 운전자에게 운전 주의 집중을 위한 동작을 수행할 수 있다.

상기 운전 보조 장치는 카메라를 통해 촬영된 운전자의 운전 영상을 이용하 여 운전자의 상태 정보를 추출한다(S520). 예를 들어, 운전 영상을 분석하여 운전자의 시선 정보나 움직임 정보 등과 같은 운전자 상태 정보를 추출할 수 있다. 상기 운전자 상태 정보를 이용하여, 운전자의 운전 부주의 상태 여부를 판단한다. 그리고, 상기 부주의 여부 정보를 이용하여 사고 위험 상태를 판단할 수 있다(S530). 상기 운전자의 상태가 사고 위험 상태가 아닌 경우에는 촬영된 영상을 이용하여 계속 운전자의 상태를 모니터링 한다(S520). 운전자의 상태가 사고 위험 상태인 경우에는, 운전자의 주의 집중을 위한 동작을 수행한다(S540). 예를 들어, 운전자의 운전 부주의 정도가 높은 경우나, 위험 구간에서 운전자의 운전 부주의 상태가 감지되는 경우, 상기 운전자의 주의 집중을 위한 동작을 수행할 수 있다.

상기 운전 보조 장치는 상기 운전자의 주의 집중을 위해 상기에서 설명한 예와 같이 음성, 진동 경고를 할 수 있고, 경고등 동작, 내부 오락 시스템 작동 제한 등의 주의 집중 서비스를 수행할 수 있다.

상기 운전 보조 장치에는 상기 운전자 졸음 방지 과정과 사고 방지 과정 가운데 하나만 포함되어 구현되어 있을 수도 있고, 두 가지가 모두 포함되어 구현되어 있을 수도 있다. 상기 두 가지가 운전 보조 장치에 모두 포함되어 있는 경우, 상기와 같은 운전자 졸음 운전 방지 과정이나 사고 방지 과정은 독립적으로 각각 수행될 수도 있고, 운전자 상태 분석에 따라 졸음 운전 방지 과정과 사고 방지 과정이 함께 수행될 수도 있다.

본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하 고 이러한 변형은 본 발명의 범위에 속한다.

도 1은 본 발명에 따른 일 실시예로서, 운전 보조 장치의 구성을 개략적으로 나타낸 도면

도 2는 본 발명에 따른 일 실시예로서, 자동차에서의 운전자 응시 영역을 개략적으로 나타낸 도면

도 3은 본 발명에 따른 일 실시예로서, 운전 보조 과정을 개략적으로 나타낸 도면

도 4는 본 발명에 따른 일 실시예로서, 운전자의 졸음 운전 방지 과정을 개략적으로 나타낸 순서도

도 5는 본 발명에 따른 일 실시예로서, 운전자의 운전 사고를 방지하는 과정을 개략적으로 나타낸 순서도

*도면의 주요 부분에 대한 부호의 설명

100 : 단말부 102 : 카메라

104 : 네비게이션 제어부 106 : 오디오 처리부

110 : 운전 보조 제어부 112 : 응시 영역 보정부

114 : 사고 위험 추정부 116 : 제어 모듈

120 : 운전자 상태 추정부 122 : 졸음 감지부

124 : 정보 검출부 126 : 부주의 감지부

130 : 기능 제어부 132 : 진동 제어부

134 : 경고등 제어부 136 : 윈도우 제어부

138 : 내부 오락 시스템

Claims

운전자를 촬영한 운전자 영상과 운전에 관한 네비게이터 정보를 제공하는 단말부;

상기 단말부로부터 수신한 운전자 영상과 네비게이터 정보를 이용하여 운전자의 운전 부주의와 사고 위험 여부 또는 운전자 졸음 여부를 판단하고, 상기 판단 정보를 이용하여 운전자가 운전에 집중하도록 하는 사고 방지 절차 또는 졸음 운전 방지 절차를 수행하도록 제어하는 운전 보조 제어부; 및

상기 운전 보조 제어부의 제어에 따라 자동차의 각 기능을 제어하는 기능 제어부를 포함하는 운전 보조 장치.
제 1 항에 있어서,

상기 단말부는,

운전자의 영상을 촬영하는 카메라; 및

운전 경로에 관한 네비게이터 정보를 제공하는 네비게이션 제어부를 포함하는 운전 보조 장치.
제 1 항에 있어서,

상기 운전 보조 제어부는,

수신된 운전자 영상을 분석하여 운전자의 상태를 정보를 검출하는 정보 검출 부;

상기 운전자의 상태 정보를 이용하여 운전자의 졸음 운전 여부를 감지하는 졸음 감지부;

상기 운전자의 상태 정보를 이용하여 운전자의 운전 부주의 정보를 제공하는 부주의 감지부;

상기 부주의 감지부로부터 수신된 부주의 정보와 상기 단말부로부터 수신된 네비게이터 정보를 이용하여 사고 위험 여부를 추정하는 사고 위험 추정부; 및

상기 졸음 감지부로부터 수신된 졸음 운전 여부 정보와 상기 사고 위험 추정부로부터 수신된 사고 위험 여부 정보를 이용하여 졸음 운전 방지 또는 부주의 운전 방지 절차를 수행하도록 제어하는 제어 모듈을 포함하는 운전 보조 장치.
제 3 항에 있어서,

상기 사고 위험 추정부는,

운전자의 부주의 정도가 높거나 또는, 위험 구간의 운전 중에 운전자의 부주의가 감지되는 경우 사고 위험이 있는 것으로 추정하는 운전 보조 장치.
제 1 항에 있어서,

상기 운전 보조 제어부는,

상기 운전자 영상으로부터 검출된 운전자의 눈 깜박임 정보와 고개 끄덕임 정보 가운데 적어도 하나 이상의 정보를 이용하여 운전자의 졸음 여부를 감지하는 운전 보조 장치.
제 1 항에 있어서,

상기 운전 보조 제어부는,

상기 운전자 영상으로부터 검출된 운전자의 시선 정보와 운전자의 움직임 정보 가운데 적어도 하나 이상의 정보를 이용하여 운전자의 사고 위험 여부를 감지하는 운전 보조 장치.
제 1 항에 있어서,

상기 기능 제어부는,

진동 제어부, 경고등 제어부, 윈도우 제어부, 내부 오락 시스템 가운데 적어도 하나 이상을 포함하는 운전 보조 장치.
제 1 항에 있어서,

상기 운전 보조 제어부는,

운전자의 졸음 운전이 판단되면,

경고 오디오와 경고 진동을 출력하도록 제어하고, 경고등을 켜 주변 운전자에게 경고하도록 제어하는 운전 보조 장치.
제 8 항에 있어서,

상기 운전 보조 제어부는,

창문이 열리도록 제어하거나, 오락 시스템이 작동되도록 제어하거나, 또는, 방향제를 분사하도록 제어하는 운전 보조 장치.
제 1 항에 있어서,

상기 운전 보조 제어부는,

운전자의 사고 위험이 판단되면,

경고 오디오와 경고 진동을 출력하도록 제어하고, 경고등을 켜 주변 운전자에게 경고하도록 제어하는 운전 보조 장치.
제 10 항에 있어서,

상기 운전 보조 제어부는,

오락 시스템의 작동이 제한되도록 제어하는 운전 보조 장치.
운전자의 영상을 촬영하여 제공하는 카메라;

운전 경로에 관한 네비게이터 정보를 제공하는 네비게이션 제어부;

상기 카메라로부터 수신한 운전자 영상과 상기 네비게이션 제어부로부터 수신한 네비게이터 정보를 이용하여 운전자의 운전 부주의와 사고 위험 여부 또는 운전자의 졸음 운전 여부를 판단하고, 상기 판단 정보를 이용하여 운전자가 운전에 집중하도록 하는 사고 방지 절차 또는 졸음 운전 방지 절차를 수행하도록 제어하는 운전 보조 제어부; 및

상기 운전 보조 제어부의 제어에 따라 자동차의 각 기능을 제어하는 기능 제어부를 포함하는 운전 보조 장치.
운전자를 촬영한 운전자 영상을 분석하여 운전자 상태 정보를 추출하는 단계;

상기 운전자 상태 정보와 네비게이터 정보를 이용하여 운전자 부주의와 사고 위험 여부를 추정하는 단계; 및

상기 운전자 부주의와 사고 위험 여부에 관한 정보를 이용하여 사고 방지 절차를 수행하는 단계를 포함하는 운전 보조 방법.
제 13 항에 있어서,

상기 부주의와 사고 위험 여부를 추정하는 단계는,

운전자의 시선 정보와 운전자의 움직임 정보 가운데 적어도 하나 이상의 정보를 이용하여 운전자의 부주의 여부를 감지하고, 상기 부주의 여부 정보와 네비게이터 정보를 이용하여 사고 위험 여부를 추정하는 운전 보조 방법.
제 13 항에 있어서,

상기 사고 방지 절차를 수행하는 단계는,

경고 오디오와 경고 진동을 출력하고, 경고등을 켜 주변 운전자에게 경고하 는 운전 보조 방법.
제 18 항에 있어서,

상기 사고 방지 절차를 수행하는 단계는,

정보 오락 시스템의 작동이 제한되도록 하는 단계를 더 포함하는 운전 보조 방법.
운전자를 촬영한 운전자 영상을 분석하여 운전자 상태 정보를 추출하는 단계;

상기 운전자 상태 정보를 이용하여 운전자의 졸음 운전 여부를 감지하는 단계; 및

상기 졸음 운전 여부에 관한 정보를 이용하여 졸음 운전 방지 절차를 수행하는 단계를 포함하는 운전 보조 방법.
제 17 항에 있어서,

상기 졸음 운전 여부를 감지하는 단계는,

운전자의 눈 깜박임 정보와 고개 끄덕임 정보 가운데 적어도 하나 이상의 정보를 이용하여 운전자의 졸음 여부를 감지하는 운전 보조 방법.
제 17 항에 있어서,

상기 졸음 운전 방지 절차를 수행하는 단계는,

경고 오디오와 경고 진동을 출력하고, 경고등을 켜 주변 운전자에게 경고하는 운전 보조 방법.
제 17 항에 있어서,

상기 졸음 운전 방지 절차를 수행하는 단계는,

창문이 열리도록 하거나, 오락 시스템이 작동되도록 하거나, 또는, 방향제가 분사되도록 하는 단계를 더 포함하는 운전 보조 방법.