KR101338041B1

KR101338041B1 - Ｓｓｖｅｐ 기반 차량 안전 주행 제어 시스템 및 방법

Info

Publication number: KR101338041B1
Application number: KR1020120030498A
Authority: KR
Inventors: 김래현; 이충기
Original assignee: 한국과학기술연구원
Priority date: 2012-03-26
Filing date: 2012-03-26
Publication date: 2013-12-09
Also published as: KR20130108778A

Abstract

본 발명은 전방 차량의 운행 상태 및 운전자의 주의 상태 정보를 이용하여 운전자에게 경고를 하거나, 차량을 감소 또는 정지하도록 제어할 수 있는 차량 안전 주행 제어 시스템 및 방법에 관한 것이다. 이를 위해 본 발명의 일실시예에 따른 차량 안전 주행 제어 시스템은은, 후방 차량에 설치되어 전방 차량에 설치된 등의 깜박임 영상을 획득하는 카메라부와, 후방 차량의 운전자에게 깜박임 영상을 제공하는 표시부와, 운전자의 뇌파를 검출하는 뇌파 검출부와, 카메라부에서 획득된 상기 깜박임 영상을 분석하여 전방 차량의 운행 정보를 검출하고, 운행 정보에 따라 상기 운전자가 운행을 주의해야 할 위험 상황인지를 판단하고, 위험 상황이라고 판단되면 표시부를 통하여 운전자게에 미리 설정된 제1 주파수의 제1 깜박임 영상을 제공하고, 운전자가 상기 제1 깜박임 영상을 제공받을 때 뇌파 검출부에서 검출되는 뇌파의 주파수 특성을 분석하여 운전자의 주의 상태 또는 졸음 여부를 판단하는 제어부를 포함할 수 있다.

Description

ＳＳＶＥＰ 기반 차량 안전 주행 제어 시스템 및 방법{Safety Driving Control System and Method for Vehicle based on SSVEP}

본 발명은 전방 차량의 운행 상태 및 운전자의 주의 상태 정보를 이용하여 운전자에게 경고를 하거나 차량을 감속 또는 정지하도록 제어할 수 있는 차량 안전 주행 제어 시스템 및 방법에 관한 것이다.

최근 차량을 보다 안전하게 주행할 수 있도록 하는 안전 주행 제어에 관한 기술들이 개발되고 있다. 차량에서 운전자의 졸음 또는 부주의 예방을 위한 기술로는 카메라 기반 시스템과 생체신호를 이용한 시스템이 대표적이다.

카메라 기반 시스템은 전방 차량의 움직임 또는 운전자 차량과의 거리 등을 추정하여 사건 발생시 운전자에게 피드백을 주는 시스템이 있고, 운전자의 얼굴 인식을 통해 눈깜박임 패턴 혹은 얼굴근육의 변화를 검출하여 운전자에게 경고를 주는 시스템이 있다. 한국공개특허 제10-2007-0051021호의 경우 동공 수축 정보를 검출하는 안경을 활용한 졸음 운정 방지 방법을 개시하고 있다.

위 두 가지 시스템은 카메라 기반 시스템이기 때문에 외부 빛으로 인한 잡음에 취약하다는 본질적인 단점을 가지고 있으며, 운전자마다 졸음으로 나타나는 행동학적 패턴이 매우 다양하고 복잡하여 일반화하기 어렵다는 단점이 있다.

생체신호 기반 시스템은 운전자의 생체신호를 연속적으로 측정하여 생체신호(뇌파, 심전도, 맥파, 피부전도도, 피부 온도)가 운전자의 졸음특성과 일치했을 때 운전자에게 경고를 주는 시스템이다. 이러한 기존의 생체신호 기반 시스템은 생체신호 측정 시 운전자의 움직임에 제약을 주고, 운전자가 불가피하게 움직였을 때 생체신호 증폭기에서 움직임으로 인한 잡음이 운전자로부터 발생되는 고유한 생체신호보다 매우 크게 증폭되는 문제가 있다. 따라서, 생체 신호를 연속적으로 측정하면서 운전자의 졸음 및 부주의를 판단하는 시스템은 실용성이 떨어진다.

한국공개특허 제10-2007-0051021호

본 발명은 위와 같은 종래 기술의 문제점을 해결하기 위한 것으로서, 카메라 기반 시스템과 생체신호 시스템을 결합하여 운전자의 졸음 및 부주의 상태 정보를 보다 정확하게 검출하여 운전자에게 경고를 하거나 차량을 제어할 수 있는 차량 안전 주행 제어 시스템 및 방법을 제공하는 것을 목적으로 한다.

이를 위해 본 발명의 제1 일실시예에 따른 차량 안전 주행 제어 시스템은 후방 차량에 설치되어 전방 차량에 설치된 등의 깜박임 영상을 획득하는 카메라부와, 상기 후방 차량의 운전자에게 깜박임 영상을 제공하는 표시부와, 상기 운전자의 뇌파를 검출하는 뇌파 검출부와, 상기 카메라부에서 획득된 상기 깜박임 영상을 분석하여 상기 전방 차량의 운행 정보를 검출하고, 상기 운행 정보에 따라 상기 운전자가 운행을 주의해야 할 위험 상황인지를 판단하고, 위험 상황이라고 판단되면 상기 표시부를 통하여 상기 운전자게에 미리 설정된 제1 주파수의 제1 깜박임 영상을 제공하고, 상기 운전자가 상기 제1 깜박임 영상을 제공받을 때 상기 뇌파 검출부에서 검출되는 뇌파의 주파수 특성을 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 제어부를 포함할 수 있다.

상기 제어부는 미리 설정된 주기로 상기 표시부를 통항 상기 운전자에게 미리 설정된 제2 주파수의 제2 깜박임 영상을 제공하고, 상기 운전자가 상기 제2 깜박임 영상을 제공 받을 때 상기 뇌파 검출부에서 측정되는 뇌파의 주파수 특성을 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단할 수 있다.

또한, 본 발명의 제1 일시예에 따른 차량 안전 주행 시스템은 상기 운전자에게 경고를 하는 경고부를 더 포함하고, 상기 제어부는 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 경고부를 통하여 상기 운전자에게 경고할 수 있다.

상기 경고부는 소리, 진동, 영상, 냄새 중 하나 이상을 이용하여 상기 운전자에게 경고할 수 있다.

상기 제어부는 상기 운전자가 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 후방 차량을 감속하거나 정지하도록 제어할 수 있다.

상기 표시부는 헤드 업 디스플레이일 수 있다.

또한, 본 발명의 제2 실시예에 따른 차량 안전 주행 시스템은, 후방 차량에 설치되어 전방 차량에 설치된 등의 깜박임 영상을 획득하는 카메라부와, 상기 후방 차량의 운전자에게 깜박임 영상을 제공하는 표시부와, 상기 운전자의 뇌파를 검출하는 뇌파 검출부와, 미리 설정된 주기로 상기 표시부를 통하여 상기 운전자에게 미리 설정된 제1 주파수의 제1 깜박임 영상을 제공하고, 상기 운전자가 상기 제1 깜박임 영상을 제공받을 때 상기 뇌파 검출부에서 측정되는 뇌파의 주파수 특성을 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 제어부를 포함할 수 있다.

상기 제어부는 상기 카메라부에서 획득된 상기 깜박임 영상을 분석하여 상기 전방 차량의 운행 정보를 검출하고, 상기 운행 정보에 따라 상기 운전자가 운행을 주의해야 할 위험 상황인지를 판단하고, 위험 상황이라고 판단되면, 상기 표시부를 통하여 상기 운전자에게 미리 설정된 제2 주파수의 제2 깜박임 영상을 제공하고, 상기 운전자가 상기 제2 깜박임 영상을 제공받을 때 상기 뇌파 검출부에서 측정되는 뇌파의 주파수 특성을 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단할 수 있다.

또한, 본 발명의 제2 실시예에 따른 차량 안전 주행 시스템은 상기 운전자에게 경고를 하는 경고부를 더 포함하고, 상기 제어부는 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 경고부를 통하여 상기 운전자에게 경고할 수 있다.

상기 경고부는 소리, 진동, 냄새, 영상 중 하나 이상의 정보를 이용하여 상기 운전자에게 경고할 수 있다.

상기 경고부는 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 후방 차량을 감속하거나 정지하도록 제어할 수 있다.

상기 표시부는 헤드 업 디스플레이일 수 있다.

또한, 본 발명의 제3 실시예에 따른 차량 안전 주행 시스템은 후방 차량에 설치되어 전방 차량에 설치된 등의 깜박임 영상을 획득하는 카메라부와, 상기 후방 차량의 운전자의 뇌파를 측정하는 뇌파 검출부와, 상기 카메라부에서 획득된 상기 깜박임 영상의 제1 주파수를 검출하고, 검출된 상기 제1 주파수와, 상기 뇌파 검출부에서 측정되는 뇌파의 제2 주파수의 주파수 특성을 비교하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단할 수 있다.

상기 제어부는 상기 카메라부에서 획득된 깜박임 영상을 분석하여 상기 전방 차량의 운행 정보를 검출하고, 상기 운행 정보에 따라 상기 운전자가 운행을 주의해야 할 위험 상황인지를 판단할 수 있다.

또한, 본 발명의 제3 실시예에 따른 차량 안전 주행 시스템은 상기 운전자에게 경고를 하는 경고부를 더 포함하고, 상기 제어부는 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 경고부를 통하여 상기 운전자에게 경고할 수 있다.

상기 경고부는 소리, 진동, 영상, 냄새 중 하나 이상의 정보를 이용하여 상기 운전자에게 경고할 수 있다.

상기 제어부는 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 후방 차량을 감속하거나 정지하도록 제어할 수 있다.

본 발명의 제1 실시예에 따른 차량 안전 주행 제어 방법은 후방 차량에 설치된 카메라부를 이용하여 전방 차량에 설치된 등의 깜박이 영상을 획득하는 단계와, 상기 깜박임 영상을 분석하여 상기 전방 차량의 운행 정보를 검출하는 단계와, 상기 운행 정보에 따라 상기 후방 차량의 운전자가 운행을 주의해야 할 위험 상황인지를 판단하는 단계와, 위험 상황이라고 판단되면 상기 운전자에게 미리 설정된 제1 주파수의 제1 깜박임 영상을 제공하는 단계와, 상기 운전자가 상기 제1 깜박임 영상을 제공받을 때 상기 뇌파 검출부에서 상기 운전자의 제1 뇌파를 검출하는 단계와, 상기 검출된 제1 뇌파를 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 단계를 포함할 수 있다.

또한, 본 발명의 제1 실시예에 따른 차량 안전 주행 제어 방법은, 상기 운전자에게 미리 설정된 제2 주파수의 제2 깜박임 영상을 제공하는 단계와, 상기 운전자가 상기 제2 깜박임 영상을 제공받을 때 상기 뇌파 검출부에서 상기 운전자의 제2 뇌파를 검출하는 단계와, 상기 검출된 제2 뇌파를 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 단계를 더 포함할 수 있다.

또한, 본 발명의 제1 실시예에 따른 차량 안전 주행 제어 방법은, 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 운전자에게 경고하는 단계를 더 포함할 수 있다.

상기 경고하는 단계는, 소리, 진동, 영상, 냄새 중 하나 이상으로 상기 운전자에게 경고하는 단계를 포함할 수 있다.

또한, 본 발명의 제1 실시예에 따른 차량 안전 주행 제어 방법은, 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 후방 차량을 감속하거나 정지하도록 제어하는 단계를 더 포함할 수 있다.

상기 제1 깜박임 영상은 헤드 업 디스플레이를 통하여 상기 운전자에게 제공될 수 있다.

또한, 본 발명의 제2 실시예에 따른 차량 안전 주행 제어 방법은, 표시부를 통하여 미리 설정된 주기로 후방 차량의 운전자에게 미리 설정된 제1 주파수의 제1 깜박임 영상을 제공하는 단계와, 상기 운전자가 상기 제1 깜박임 영상을 제공받을 때 상기 뇌파 검출부에서 측정되는 제1 뇌파의 주파수를 검출하는 단계; 상기 검출된 상기 제1 뇌파의 주파수 특성을 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 단계를 포함할 수 있다.

또한, 본 발명의 제2 실시예에 따른 차량 안전 주행 제어 방법은, 카메라부를 이용하여 전방 차량에 설치된 등의 깜박이 영상을 획득하는 단계와, 상기 깜박임 영상을 분석하여 상기 전방 차량의 운행 정보를 검출하는 단계와, 상기 운행 정보에 따라 상기 운전자가 운행을 주의해야 할 위험 상황인지를 판단하는 단계와, 위험 상황이라고 판단되면 상기 운전자에게 미리 설정된 제2 주파수의 제2 깜박임 영상을 제공하는 단계와, 상기 운전자가 상기 제2 깜박임 영상을 제공받을 때 상기 뇌파 검출부에서 상기 운전자의 제2 뇌파를 검출하는 단계와, 상기 검출된 제2 뇌파를 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 단계를 포함할 수 있다.

또한, 본 발명의 제2 실시예에 따른 차량 안전 주행 제어 방법은, 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 운전자에게 경고하는 단계를 더 포함할 수 있다.

상기 경고하는 단계는, 소리, 진동, 영상 냄새 중 하나 이상으로 상기 운전자에게 경고하는 단계를 포함할 수 있다.

또한, 본 발명의 제2 실시예에 따른 차량 안전 주행 방법은, 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우, 상기 후방 차량을 감속하거나 정지하도록 제어하는 단계를 더 포함할 수 있다.

상기 제1 깜박임 영상을 헤드 업 디스플레이를 통하여 운전자에게 제공될 수 있다.

본 발명의 제3 실시예에 따른 차량 안전 주행 제어 방법은 카메라부를 이용하여 전방 차량에 설치된 등의 깜박임 영상을 획득하는 단계와, 상기 획득된 깜박임 영상의 제1 주파수를 검출하는 단계와, 뇌파 검출부를 이용하여 후방 차량의 운전자의 뇌파를 측정하는 단계와, 상기 측정된 뇌파의 제2 주파수를 검출하는 단계와, 상기 제1 주파수 및 상기 제2 주파수의 주파수 특성을 비교하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 단계를 포함할 수 있다.

또한, 본 발명의 제3 실시예에 따른 차량 안전 주행 제어 방법은 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 운전자에게 경고하는 단계를 더 포함할 수 있다.

상기 경고하는 단계는, 소리, 진동, 냄새 중 하나 이상으로 상기 운전자에게 경고하는 단계를 포함할 수 있다.

또한, 본 발명의 제3 실시예에 따른 차량 안전 주행 제어 방법은 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 후방 차량을 감속하거나 정지하도록 제어할 수 있다.

본 발명에 따른 차량 안전 주행 제어 시스템 및 방법에 의하면, 카메라 기반 시스템과 생체신호 시스템을 결합하여 보다 정확하게 운전자의 주의 상태 정보를 검출할 수 있다.

또한, 본 발명에 따른 차량 안전 주행 제어 시스템 및 방법은 SSVEP(Steady State Visually Evoked Potentials) 기법을 이용함으로써 사전에 학습할 필요가 없으며, 생체 신호의 측정을 연속적으로 하지 않아도 된다는 장점이 있다.

도 1은 SSVEP의 개념을 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 차량 안전 주행 제어 시스템의 개략 구성도이다.
도 3은 본 발명의 일실시예에 따른 차량 안전 주행 시스템의 제1 동작 모드를 설명하는 순서도이다.
도 4는 본 발명의 일실시예에 따른 차량 안전 주행 시스템의 제2 동작 모드를 설명하는 순서도이다.
도 5는 본 발명의 다른 일실시예에 따른 차량 안전 수행 시스템의 개략 구성도이다.
도 6은 본 발명의 다른 일실시예에 따른 차량 안전 주행 시스템의 동작 모드를 설명하는 순서도이다.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 그러나, 첨부도면 및 이하의 설명은 본 발명에 따른 차량 안전 주행 시스템 및 방법의 가능한 일실시예에 불과하며, 본 발명의 기술적 사상은 위 내용에 한정되지 아니한다.

도 1은 SSVEP의 개념을 설명하는 도면이다.

SSVEP(Steady State Visually Evoked Potentials)는 뇌파 응답의 생리학적 기전을 이용하는 기법으로 일정 주기로 깜박이는 빛을 응시하면 대뇌 피질의 뇌파에서 빛이 깜박이는 주기와 동기화된 신호가 검출되는 원리를 이용한다.

도 1을 참조하면, 운전자가 (c)에서와 같이 깜박이는 모니터를 응시하게 되면 (a)에서 15 Hz의 뇌파가 시계열적으로 검출됨을 알 수 있으며, 이를 주파수 영역으로 변화하여 살펴보면, (b)에서와 같이 15Hz에서 스펙트럼의 피크점이 발생하게 되고, 스펙트럼 하모닉으로 인해 30Hz, 45Hz에서도 피크점이 발생함을 알 수 있다.

본 발명은 이러한 SSVEP 기법을 활용하여 후방 차량의 운전자가 후방 차량에 설치된 표시부에서 발생되는 깜박임 영상 또는 전방 차량의 후미등, 브레이크 등과 같은 등에서 발생하는 깜박임 영상을 응시하는 경우 뇌파에서 검출되는 주파수 특성을 분석하여 운전자의 주의 상태를 판단하고, 운전자에게 경고를 하거나 차량의 움직임을 제어할 수 있는 시스템 및 방법을 제공하고자 한다.

도 2는 본 발명의 일실시예에 따른 차량 안전 주행 제어 시스템의 개략 구성도이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 차량 안전 주행 제어 시스템(10)은 카메라부(12)와, 표시부(14)와, 제어부(16)와, 뇌파 검출부(18)와, 경고부(19)를 포함하여 구성될 수 있다.

도 2의 본 발명의 일실시예에 따른 차량 안전 주행 제어 시스템(10)은 [과제의 해결 수단]에서 언급한 제1 실시예에 따른 차량 안전 주행 제어 시스템 및 제2 실시예에 따른 차량 안전 주행 제어 시스템의 동작을 동시에 수행할 수 있다.

카메라부(12)는 후방 차량에 설치되어 전방 차량에 설치된 등의 깜박임 영상을 획득하는 역할을 한다. 전방 차량에 설치된 등은 후미등, 브레이크등 등의 어떠한 등이라도 무방하다. 이러한 전방 차량의 등은 일정한 주기로 깜박일 수 있는데, 이러한 깜박임 영상이 운전자의 주의 상태를 판단하는데 이용된다. 자세한 내용은 후술한다.

표시부(14)는 후방 차량에 설치되어 운전자에게 깜박임 영상을 제공하는 역할을 한다. 구체적으로, 표시부(14)는 전방 차량의 운행 상태에 따라서 운전자에게 깜박임 영상을 제공할 수도 있고, 전방 차량의 운행 상태와 무관하게 미리 설정된 주기로 깜박임 영상을 제공할 수도 있다. 표시부(14)는 고급 차량에 적용되어 전면 유리에 영상을 표시하는 헤드 업 디스플레이(Head up Display: HUD)로 구성될 수 있다.

뇌파 검출부(18)는 후방 차량의 운전자의 뇌파를 측정하는 역할을 한다. 뇌파 검출부(18)는 운전자의 신체 부위에 결합될 수 있으며, 후술할 제어부(16)의 명령이 있는 경우에만 운전자의 뇌파를 측정한다.

경고부(19)는 후술할 제어부(16)의 명령에 따라 소리, 냄새, 진동, 영상 등의 정보로 운전자에게 경고를 하는 역할을 한다.

제어부(16)는 카메라부(12)에서 획득된 깜박임 영상을 분서하여 전방 차량의 운행 정보를 검출하고, 상기 운행 정보에 따라 운전자가 운행을 주의해야 할 위험 상황인지를 판단하고, 위험 상황이라고 판단되면 표시부(14)를 통하여 운전자에게 미리 설정된 제1 주파수의 제1 깜박임 영상을 제공하고, 운전자가 제1 깜박임 영상을 제공받을 때 상기 뇌파 검출부에서 검출되는 뇌파의 주파수 특성을 분석하여 운전자의 주의 상태 또는 졸음 여부를 판단할 수 있다.

또한, 제어부(16)는 다른 방법으로 미리 설정된 주기로 표시부(14)를 통하여 운전자에게 미리 설정된 제2 주파수의 제2 깜박임 영상을 제공하고, 운전자가 상기 제2 깜박임 영상을 제공받을 때, 뇌파 검출부에서 측정되는 뇌파의 주파수 특성을 분석하여 운전자의 주의 상태 또는 졸음 여부를 판단할 수도 있다.

즉, 제어부(16)는 이러한 두 가지 모드 중 어느 하나의 모드를 선택하여 동작하거나, 두 가지 모드를 적절히 조합하여 동작할 수 있다.

이러한 구성의 본 발명의 일실시예에 따른 차량 안전 주행 제어 시스템의 동작을 도 3 및 도 4를 참조하여 상세히 설명하기로 한다.

도 3은 본 발명의 일실시예에 따른 차량 안전 주행 시스템의 제1 동작 모드를 설명하는 순서도이다.

도 3을 참조하면, 본 발명이 일시예에 따른 차량 안전 주행 시스템(10)의 카메라부(12)는 전방 차량의 깜박임 영상을 획득한다(S310). 제어부(16)는 카메라부(12)로부터 이 깜박임 영상을 획득한 후 브레이크 등이 일정 시간 계속하여 켜져 있다거나, 비상등이 주기적으로 깜박인다거나, 후미등의 위치가 급속도로 변하는 등의 상황인지를 분석하고, 이 분석 결과로부터 전방 차량의 운행 상태 정보를 검출한다(S320).

앞에서 언급한 바와 같이, 전방 차량의 브레이크 등이 일정 시간 계속하여 켜져 있다거나, 비상등이 주기적으로 깜박인다거나, 후미등의 위치가 급속도로 변하는 등의 상황이라면 후방 차량의 운전자가 운행을 주의해야 할 위험 상황이라고 판단한다(S330).

이렇게 위험 상황이라고 판단되면, 후방 차량에 설치된 표시부(14)를 통하여 운전자에게 미리 설정된 주기의 제1 깜박임 영상을 제공한다(S340) 다음, 뇌파 검출부(18)는 운전자가 상기 제1 깜박임 영상을 제공받을 때의 제1 뇌파을 검출한다(S350).

이때, 제어부(16)는 운전자에게 제공한 제1 깜박임 영상의 주파수와 검출된 제1 뇌파의 주파수 특성을 분석하여 운전자의 주의 상태 또는 졸음 여부를 판단한다(S360). 제1 깜박임 영상의 주파수는 제어부(16)가 표시부(14)를 통하여 제어하는 값으로 이미 알고 있는 값이며, 제1 뇌파에서 제1 깜박임 영상의 주파수와 동기화된 주파수가 검출되는 경우에는 운전자가 운전에 집중하고 있거나, 졸지 않는다고 판단할 수 있다. 반대로, 제1 뇌파에서 제1 깜박임 영상의 주파수와 동기화된 주파수가 검출되지 않는 경우에는 운전자가 운전에 집중하지 않거나, 졸고 있다고 판단할 수 있다.

이때, 제어부(16)는 위험 상황이라고 판단된 경우에만 표시부(14)를 통하여 운전자에게 제1 깜박임 영상을 제공하고, 뇌파 검출부(18)를 이용하여 뇌파를 검출하기 때문에 연속적으로 값을 측정할 필요는 없다.

이러한 분석으로 운전자가 운전에 집중하지 않거나 졸고 있다고 판단하고(S370), 운전자가 운전에 집중하지 않거나 졸고 있다고 판단되면 운전자에게 경고한다(S380). 반대로, 운전에 집중하고 있거나, 졸지 않고 있다고 판단되면 경고 없이 종료한다.

이때, 경고의 방법은 소리, 냄새, 영상, 진동 등의 방법을 사용할 수 있다. 즉, 경고 소리 메시지를 제공하거나, 운전자에게 자극적인 냄새를 제공하거나, 밝은 빛의 영상을 제공하거나, 핸들 또는 운전석 좌석 등을 진동시키는 방법을 사용할 수 있다.

도 4는 본 발명의 일실시예에 따른 차량 안전 주행 시스템의 제2 동작 모드를 설명하는 순서도이다.

도 4의 제2 동작 모드는 도 3의 제1 동작 모드와는 달리, 전방 차량의 운행 정보에 따른 위험 상황인지 여부에 무관하게 미리 설정된 주기로 깜박임 영상을 제공하고 운전자의 뇌파를 측정함으로써 운전자의 주의 상태를 판단하는 방법을 사용한다.

즉, 도 4를 참조하면, 제어부(16)는 표시부(14)를 통하여 미리 설정된 주기로 표시부(14)를 통하여 운전자에게 제2 깜박임 영상을 제공한다(S410). 이는 전방 차량의 운행 상태와는 무관하게 운전자의 주의 상태를 주기적으로 체크하기 위함이다.

운전자에게 제2 깜박임 영상이 제공될 때, 운전자의 제2 뇌파를 검출한다(S420).

도 3에서와 마찬가지로, 제2 깜박임 영상의 주파수는 제어부가(16)가 이미 알고 있으며, 제2 뇌파의 주파수에서 제2 깜박임 영상의 주파수와 동기화된 주파수가 검출되는지에 따라 운전자의 주의 상태 또는 졸음 여부를 판단한다(S430).

이때, 운전자가 운전에 집중하지 않거나 졸고 있는지를 판단하여(S44), 운전자가 운전에 집중하지 않거나, 졸고 있다고 판단되면 운전자에게 경고하고(S450), 운전에 집중하고 있거나, 졸지 않고 있다고 판단되면 종료한다.

앞에서 언급한 바와 같이, 이러한 도 3 및 도 4의 제1 및 제2 모드는 선택적으로 사용되거나, 적절히 조합하여 사용될 수 있다.

도 5는 본 발명의 다른 일실시예에 따른 차량 안전 주행 시스템의 개략 구성도이다.

도 5의 본 발명의 다른 일시시예에 따른 차량 안전 주행 시스템(20)은 [과제의 해결 수단]의 제3 실시예에 따른 차량 안전 주행 시스템에 대응되는 것으로 도 2의 일실시예에 따른 차량 안전 주행 시스템 (10)에서 표시부(14)가 제거된 것과 구성이 동일하다.

도 5를 참조하면, 본 발명의 다른 일실시예에 따른 차량 안전 주행 시스템(20)은 카메라부(22)와, 뇌파 검출부(24)와, 제어부(26)와 경고부(28)를 포함하여 구성된다.

카메라부(22), 뇌파 검출부(24) 및 경고부(28)의 역할은 도 2의 설명과 동일하므로 설명을 생략하고, 제어부(26)의 동작에 대해서만 상술한다.

제어부(26)는 카메라부(22)에서 획득된 깜박임 영상의 제1 주파수를 검출하고, 상기 제1 주파수와, 뇌파 검출부(18)에서 측정되는 뇌파의 제2 주파수의 특성을 비교하여 운전자의 주의 상태 또는 졸음 여부를 판단한다.

즉, 도 5의 제어부(26)는 후방 차량에 별도의 표시부를 설치하지 않고, 전방 차량의 등의 깜박임 영상의 주파수와 운전자의 뇌파의 주파수를 비교하여 운전자의 주의 상태를 판단한다. 이는 운전자가 전방 차량의 등을 주시하고 있지 않으면 전방 차량의 등의 깜박임 주파수와 동일한 주파수가 뇌파에서 검출되지 않음을 이용한 것이다.

이때, 전방 차량의 등의 깜박임은 비상등 깜박임 등이 될 수 있으며, 카메라부(22)로부터 획득되는 깜박임 영상으로부터 전방 차량의 깜박임 영상의 제1 주파수는 별도로 계산되어야 한다. 도 6을 참조하여 동작을 설명하면 다음과 같다.

도 6은 본 발명의 다른 일실시예에 따른 차량 안전 주행 시스템의 동작 모드를 설명하는 순서도이다.

본 발명의 다른 일실시예에 따른 차량 안전 주행 시스템(20)의 카메라부(22)는 전방 차량의 등의 깜박임 영상을 획득한다(S610).

제어부(26)는 깜박임 영상을 수신하여, 깜박임 영상의 주파수를 검출한다(S620).

또한, 뇌파 검출부(24)는 운전자의 뇌파를 측정하고(S630), 주파수를 검출한다(S640).

제어부(26)는 깜박임 영상의 주파수와, 뇌파의 주파수를 비교하여 동기화된 주파수가 검출되는지를 기초로 운전자의 주의 상태 또는 졸음 여부를 판단한다(S650).

이때, 운전자가 운전에 집중하지 않거나, 졸고 있는지를 판단하여(S660), 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되면 운전자에게 경고를 하고(S670), 그렇지 않은 경우에는 종료한다.

본 발명은 이러한 구성 및 방법으로 전방 차량의 운행 상태 정보 및 운전자의 주의 상태 정보를 보다 더 정확하게 검출할 수 있으며, 이 정보를 기초로 운전자에게 경고를 하거나, 차량 주행 제어를 함으로써 보다 더 안전한 차량 주행을 가능하도록 할 수 있다.

10 : 차량 안전 주행 제어 시스템 12 : 카메라부
14 : 표시부 16 : 제어부
18 : 뇌파 검출부 19 : 경고부

Claims

후방 차량에 설치되어 전방 차량에 설치된 등의 깜박임 영상을 획득하는 카메라부;
상기 후방 차량의 운전자에게 깜박임 영상을 제공하는 표시부;
상기 운전자의 뇌파를 검출하는 뇌파 검출부; 및
상기 카메라부에서 획득된 상기 깜박임 영상을 분석하여 상기 전방 차량의 운행 정보를 검출하고, 상기 운행 정보에 따라 상기 운전자가 운행을 주의해야 할 위험 상황인지를 판단하고, 위험 상황이라고 판단되면 상기 표시부를 통하여 상기 운전자에게 미리 설정된 제1 주파수의 제1 깜박임 영상을 제공하고, 상기 운전자가 상기 제1 깜박임 영상을 제공받을 때 상기 뇌파 검출부에서 검출되는 뇌파의 주파수 특성을 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 제어부를 포함하는 차량 안전 주행 제어 시스템.
제1항에 있어서,
상기 제어부는 미리 설정된 주기로 상기 표시부를 통하여 상기 운전자에게 미리 설정된 제2 주파수의 제2 깜박임 영상을 제공하고, 상기 운전자가 상기 제2 깜박임 영상을 제공받을 때 상기 뇌파 검출부에서 측정되는 뇌파의 주파수 특성을 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 것을 특징으로 하는 차량 안전 주행 제어 시스템.
제1항 또는 제2항에 있어서,
상기 운전자에게 경고를 하는 경고부를 더 포함하고,
상기 제어부는 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 경고부를 통하여 상기 운전자에게 경고하는 것을 특징으로 하는 차량 안전 주행 제어 시스템.
제3항에 있어서,
상기 경고부는 소리, 진동, 영상, 냄새 중 하나 이상을 이용하여 상기 운전자에게 경고하는 것을 특징으로 하는 차량 안전 주행 제어 시스템.
제1항 또는 제2항에 있어서,
상기 제어부는 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 후방 차량을 감속하거나 정지하도록 제어하는 것을 특징으로 하는 차량 안전 주행 제어 시스템.
제1항에 있어서,
상기 표시부는 헤드 업 디스플레이인 것을 특징으로 하는 차량 안전 주행 제어 시스템.
후방 차량에 설치되어 전방 차량에 설치된 등의 깜박임 영상을 획득하는 카메라부;
상기 후방 차량의 운전자에게 깜박임 영상을 제공하는 표시부;
상기 운전자의 뇌파를 검출하는 뇌파 검출부; 및
미리 설정된 주기로 상기 표시부를 통하여 상기 운전자에게 미리 설정된 제1 주파수의 제1 깜박임 영상을 제공하고, 상기 운전자가 상기 제1 깜박임 영상을 제공받을 때 상기 뇌파 검출부에서 측정되는 뇌파의 주파수 특성을 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 제어부를 포함하는 특징으로 하는 차량 안전 주행 제어 시스템.
제7항에 있어서,
상기 제어부는 상기 카메라부에서 획득된 상기 깜박임 영상을 분석하여 상기 전방 차량의 운행 정보를 검출하고, 상기 운행 정보에 따라 상기 운전자가 운행을 주의해야 할 위험 상황인지를 판단하고, 위험 상황이라고 판단되면 상기 표시부를 통하여 상기 운전자에게 미리 설정된 제2 주파수의 제2 깜박임 영상을 제공하고, 상기 운전자가 상기 제2 깜박임 영상을 제공받을 때 상기 뇌파 검출부에서 측정되는 뇌파의 주파수 특성을 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 것을 특징으로 하는 차량 안전 주행 제어 시스템.
제7항 또는 제8항에 있어서,
상기 운전자에게 경고를 하는 경고부를 더 포함하고,
상기 제어부는 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 경고부를 통하여 상기 운전자에게 경고하는 것을 특징으로 하는 차량 안전 주행 제어 시스템.
제9항에 있어서,
상기 경고부는 소리, 진동, 영상, 냄새 중 하나 이상의 정보를 이용하여 상기 운전자에게 경고하는 것을 특징으로 하는 차량 안전 주행 제어 시스템.
제7항 또는 제8항에 있어서,
상기 제어부는 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 후방 차량을 감속하거나 정지하도록 제어하는 것을 특징으로 하는 차량 안전 주행 제어 시스템.
제7항에 있어서,
상기 표시부는 헤드 업 디스플레이인 것을 특징으로 하는 차량 안전 주행 제어 시스템.
후방 차량에 설치되어 전방 차량에 설치된 등의 깜박임 영상을 획득하는 카메라부;
상기 후방 차량의 운전자의 뇌파를 측정하는 뇌파 검출부;
상기 카메라부에서 획득된 상기 깜박임 영상의 제1 주파수를 검출하고, 검출된 상기 제1 주파수와, 상기 뇌파 검출부에서 측정되는 뇌파의 제2 주파수의 주파수 특성을 비교하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 제어부를 포함하는 차량 안전 주행 제어 시스템.
제13항에 있어서,
상기 제어부는 상기 카메라부에서 획득된 상기 깜박임 영상을 분석하여 상기 전방 차량의 운행 정보를 검출하고, 상기 운행 정보에 따라 상기 운전자가 운행을 주의해야 할 위험 상황인지를 판단하는 것을 특징으로 하는 차량 안전 주행 제어 시스템.
제13항 또는 제14항에 있어서,
상기 운전자에게 경고를 하는 경고부를 더 포함하고,
상기 제어부는 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 경고부를 통하여 상기 운전자에게 경고하는 것을 특징으로 하는 차량 안전 주행 제어 시스템.
제15항에 있어서,
상기 경고부는 소리, 진동, 영상, 냄새 중 하나 이상의 정보를 이용하여 상기 운전자에게 경고하는 것을 특징으로 하는 차량 안전 주행 제어 시스템.
제13항 또는 제14항에 있어서,
상기 제어부는 상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 후방 차량을 감속하거나 정지하도록 제어하는 것을 특징으로 하는 차량 안전 주행 제어 시스템.
후방 차량에 설치된 카메라부를 이용하여 전방 차량에 설치된 등의 깜박임 영상을 획득하는 단계;
상기 깜박임 영상을 분석하여 상기 전방 차량의 운행 정보를 검출하는 단계;
상기 운행 정보에 따라 상기 후방 차량의 운전자가 운행을 주의해야 할 위험 상황인지를 판단하는 단계;
위험 상황이라고 판단되면 상기 운전자에게 미리 설정된 제1 주파수의 제1 깜박임 영상을 제공하는 단계; 및
상기 운전자가 상기 제1 깜박임 영상을 제공받을 때 뇌파 검출부에서 상기 운전자의 제1 뇌파를 검출하는 단계; 및
상기 검출된 제1 뇌파를 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 단계를 포함하는 차량 안전 주행 제어 방법.
제18항에 있어서,
상기 운전자에게 미리 설정된 제2 주파수의 제2 깜박임 영상을 제공하는 단계;
상기 운전자가 상기 제2 깜박임 영상을 제공받을 때 상기 뇌파 검출부에서 상기 운전자의 제2 뇌파를 검출하는 단계; 및
상기 검출된 제2 뇌파를 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 단계를 포함하는 차량 안전 주행 제어 방법.
제18항 또는 제19항에 있어서,
상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 운전자에게 경고하는 단계를 더 포함하는 것을 특징으로 하는 차량 안전 주행 제어 방법.
제20항에 있어서,
상기 경고하는 단계는,
소리, 진동, 영상, 냄새 중 하나 이상으로 상기 운전자에게 경고하는 단계를 포함하는 것을 특징으로 하는 차량 안전 주행 제어 방법.
제18항 또는 제19항에 있어서,
상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 후방 차량을 감속하거나 정지하도록 제어하는 단계를 더 포함하는 것을 특징으로 하는 차량 안전 주행 제어 방법.
제18항에 있어서,
상기 제1 깜박임 영상은 헤드 업 디스플레이를 통하여 상기 운전자에게 제공되는 것을 특징으로 하는 차량 안전 주행 제어 방법.
표시부를 통하여 미리 설정된 주기로 후방 차량의 운전자에게 미리 설정된 제1 주파수의 제1 깜박임 영상을 제공하는 단계;
상기 운전자가 상기 제1 깜박임 영상을 제공받을 때 뇌파 검출부에서 측정되는 제1 뇌파의 주파수를 검출하는 단계;
상기 검출된 상기 제1 뇌파의 주파수 특성을 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 단계를 포함하는 차량 안전 주행 제어 방법.
제24항에 있어서,
카메라부를 이용하여 전방 차량에 설치된 등의 깜박이 영상을 획득하는 단계;
상기 깜박임 영상을 분석하여 상기 전방 차량의 운행 정보를 검출하는 단계;
상기 운행 정보에 따라 상기 운전자가 운행을 주의해야 할 위험 상황인지를 판단하는 단계;
위험 상황이라고 판단되면 상기 운전자에게 미리 설정된 제2 주파수의 제2 깜박임 영상을 제공하는 단계;
상기 운전자가 상기 제2 깜박임 영상을 제공받을 때 상기 뇌파 검출부에서 상기 운전자의 제2 뇌파를 검출하는 단계; 및
상기 검출된 제2 뇌파를 분석하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 단계를 포함하는 차량 안전 주행 제어 방법.
제24항 또는 제25항에 있어서,
상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 운전자에게 경고하는 단계를 더 포함하는 것을 특징으로 하는 차량 안전 주행 제어 방법.
제26항에 있어서,
상기 경고하는 단계는,
소리, 진동, 영상, 냄새 중 하나 이상으로 상기 운전자에게 경고하는 단계를 포함하는 것을 특징으로 하는 차량 안전 주행 제어 방법.
제24항 또는 제25항에 있어서,
상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 후방 차량을 감속하거나 정지하도록 제어하는 단계를 더 포함하는 것을 특징으로 하는 차량 안전 주행 제어 방법.
제24항에 있어서,
상기 제1 깜박임 영상은 헤드 업 디스플레이를 통하여 운전자에게 제공되는 것을 특징으로 하는 차량 안전 주행 제어 방법.
카메라부를 이용하여 전방 차량에 설치된 등의 깜박임 영상을 획득하는 단계;
상기 획득된 깜박임 영상의 제1 주파수를 검출하는 단계;
뇌파 검출부를 이용하여 후방 차량의 운전자의 뇌파를 측정하는 단계;
상기 측정된 뇌파의 제2 주파수를 검출하는 단계; 및
상기 제1 주파수 및 상기 제2 주파수의 주파수 특성을 비교하여 상기 운전자의 주의 상태 또는 졸음 여부를 판단하는 단계를 포함하는 차량 안전 주행 제어 방법.
제30항에 있어서,
상기 깜박이 영상을 분석하여 상기 전방 차량의 운행 정보를 검출하는 단계; 및
상기 운행 정보에 따라 상기 운전자가 운행을 주의해야 할 위험 상황인지를 판단하는 단계를 더 포함하는 차량 안전 주행 제어 방법.
제30항 또는 제31항에 있어서,
상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 운전자에게 경고하는 단계를 더 포함하는 것을 특징으로 하는 차량 안전 주행 제어 방법.
제32항에 있어서,
상기 경고하는 단계는,
소리, 진동, 영상, 냄새 중 하나 이상으로 상기 운전자에게 경고하는 단계를 포함하는 것을 특징으로 하는 차량 안전 주행 제어 방법.
제30항 또는 제31항에 있어서,
상기 운전자가 운전에 집중하지 않고 있거나, 졸고 있다고 판단되는 경우 상기 후방 차량을 감속하거나 정지하도록 제어하는 단계를 더 포함하는 것을 특징으로 하는 차량 안전 주행 제어 방법.