KR101240295B1

KR101240295B1 - 졸음 방지 시스템 및 방법

Info

Publication number: KR101240295B1
Application number: KR1020100122628A
Authority: KR
Inventors: 이상엽; 최효섭; 이철동; 박상현
Original assignee: 전자부품연구원
Priority date: 2010-12-03
Filing date: 2010-12-03
Publication date: 2013-03-07
Also published as: KR20120061347A; US20120139733A1; US8866622B2

Abstract

졸음 방지 시스템 및 방법이 제공된다. 본 졸음 방지 시스템은, 사용자의 머리 주변에서 비접촉식으로 신호를 수신하여 사용자의 뇌파를 산출하고, 산출된 사용자의 뇌파를 기초로 상기 사용자의 상태를 파악하며, 파악된 사용자의 상태에 따라 필요한 기능을 수행한다. 이에 의해, 비접촉식 전극들을 활용하여 운전자의 뇌파 측정시에 편의성이 증대된다.

Description

졸음 방지 시스템 및 방법{System and method for preventing drowsiness}

본 발명은 졸음 방지 시스템 및 방법에 관한 것으로, 더욱 상세하게는 운전과 같이 졸음으로 인해 위험한 상고가 발생할 수 있는 상황에서 졸음을 방지하는 시스템 및 방법에 관한 것이다.

대부분 기존 운전자 졸음 방지 시스템은 운전자의 얼굴인식을 통해 눈동자의 상태를 파악하여 졸음 상태를 인식하거나 운전자의 호흡 정도에 따라 호흡 패턴에 따른 졸음상태를 인지하는 방식을 사용하였다.

하지만, 뇌파를 사용하는 방식의 경우, 뇌파 측정을 위해 접촉식 장치를 사용하며 접촉식 장치는 부착에 따른 불편함을 주기 때문에 문제가 될 수 있다.

한편, 뇌파신호를 통해 눈 깜빡임 간격을 추정하는 방법이 있는데, 뇌파를 이용하여 눈 깜빡임을 역으로 추정하는 방법으로, 노이즈 신호에 따라 오류가 발생할 수 있으며, 추정연산처리가 길어짐에 따라 사고 방지율이 낮아지는 단점이 있다.

또한, 운전자의 얼굴인식을 통해 눈동자의 상태를 파악하는 경우, 카메라로부터 입력되는 영상을 이용하여 눈동자 상태를 파악하는 알고리즘이 매우 복잡하며, 카메라에 외부의 강한 빛이 들어올 경우 오류를 발생시키고, 사람마다 눈동자의 정도 및 운전자의 머리 위치에 따라 많은 오류를 발생시킨다.

특히, 얼굴영역에서 눈 영역이 인종에 따라 다양하기 때문에 알고리즘 적용시 오류율이 높아지는 현상이 발생한다. 또한, 운전자가 앉은 키가 작거나 머리가 좌우로 흔들릴 경우, 카메라의 인식 범위를 벗어나므로 오류를 발생시킨다.

그리고, 호흡을 통한 인식 방법에 있어서도, 호흡을 검출하는 센서의 위치에 따라 오류율이 달라지게 된다. 또한, 외부의 공기 유입이나 운전자가 창문을 개폐시에도 센서에 많은 영향을 줄 수 있는 단점이 있다.

지능형 차량을 구현하기 위해서는 차량 내에 위치하는 운전자의 상태, 운전자의 운전 성향을 파악하여 다른 차량 또는 호스트 시스템으로의 정보전달이 매우 중요하다.

운전자의 피곤, 지루함 또는 자동차 내부 산소 부족으로 인한 졸음운전으로 인한 사고의 발생 비율은 높아지는 추세이다. 따라서, 졸음운전으로 인한 사고로부터 운전자를 보호하는 지능형 자동차 시스템을 구현하기 위해서는 보다 효과적인 졸음 방지 시스템 개발이 필수적이다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 비접촉식으로 사용자의 뇌파를 측정하고, 측정된 뇌파를 기초로 판단한 졸음 상태를 기초로 사용자의 졸음을 방지할 수 있는 졸음 방지 시스템 및 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명에 따른, 졸음 방지 시스템은, 사용자의 머리 주변에서 비접촉식으로 신호를 수신하는 수신부; 상기 수신부에서 수신된 신호를 이용하여, 상기 사용자의 뇌파를 산출하는 산출부; 및 상기 산출부에서 산출된 상기 사용자의 뇌파를 기초로 상기 사용자의 상태를 파악하고, 파악된 상기 사용자의 상태에 따라 필요한 기능을 수행하는 처리부;를 포함한다.

그리고, 상기 수신부는, 상기 사용자의 뇌파와 노이즈를 함께 수신하는 제1 수신부; 및 상기 노이즈를 수신하는 제2 수신부;를 포함하고, 상기 산출부는, 상기 제1 수신부의 수신결과에서 상기 제2 수신부의 수신결과를 제거하여, 상기 사용자의 뇌파를 산출하는 것이 바람직하다.

또한, 상기 제1 수신부와 상기 제2 수신부는, 다수의 비접촉식 전극들을 포함하는 것이 바람직하다.

그리고, 상기 제1 수신부와 상기 제2 수신부에 포함된 다수의 비접촉식 전극들은, 특정 패턴으로 배열된 것이 바람직하다.

또한, 상기 제1 수신부는, 중앙 영역에 위치하고, 상기 제2 수신부는, 측면 영역에 위치할 수 있다.

그리고, 상기 산출부는, 상기 제1 수신부의 수신결과와 상기 제2 수신부의 수신결과에 각각 NFSD 이득 처리 후, 상기 제1 수신부의 수신결과에서 상기 제2 수신부의 수신결과를 제거할 수 있다.

또한, 상기 사용자는, 운전자이고, 상기 사용자의 상태는, 상기 사용자의 졸음 상태일 수 있다.

한편, 본 발명에 따른, 졸음 방지 방법은, 사용자의 머리 주변에서 비접촉식으로 신호를 수신하는 단계; 상기 수신단계에서 수신된 신호를 이용하여, 상기 사용자의 뇌파를 산출하는 단계; 상기 산출단계에서 산출된 상기 사용자의 뇌파를 기초로, 상기 사용자의 상태를 파악하는 단계; 및 상기 파악단계에서 파악된 상기 사용자의 상태에 따라 필요한 기능을 수행하는 단계;를 포함한다.

이상 설명한 바와 같이, 본 발명에 따르면, 비접촉식 전극들을 활용하여 운전자의 뇌파 측정시에 편의성이 증대된다. 또한, 비접촉식 전극들을 어레이로 배열하여, 뇌파를 정확하게 검출할 수 있게 된다.

또한, 뇌파와 함께 수신/수집되는 노이즈를 파악하여 제거할 수 있어, 뇌파를 보다 정확하게 산출할 수 있게 되어, 궁극적으로 사용자의 상태를 잘못 파악하는 오류를 줄일 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 졸음운전 방지 시스템의 외관 구성을 도시한 도면,
도 2는 본 실시예에 따른 졸음운전 방지 시스템에서, 운전자의 뇌파를 산출하는 개념의 설명에 제공되는 도면,
도 3은 NFSD 이득처리된 중앙 신호에서 NFSD 이득처리된 측면 신호를 제거하여 운전자의 뇌파를 산출하는 방법을, 실제 신호들을 예시하여 나타낸 도면,
도 4는, 도 1에 도시된 졸음운전 방지 시스템의 내부 블럭도,
도 5는 본 발명의 다른 실시예에 따른 졸음운전 방지방법의 설명에 제공되는 흐름도,
도 6은 뇌파의 주파수에 따른, 운전자의 심신 상태가 테이블로 나타난 도면, 그리고,
도 7은 본 실시예에 따른 졸음운전 방지 시스템에 대한 시뮬레이션 결과를 나타낸 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 졸음운전 방지 시스템의 외관 구성을 도시한 도면이다. 본 실시예에 따른 졸음운전 방지 시스템은 비접촉식 전극들을 이용하여 운전자의 뇌파를 비접촉식으로 검출하고, 검출한 뇌파를 기초로 운전자의 졸음상태를 파악한 후, 필요시 경보를 발생시켜 운전자에게 주의를 환기시키는 시스템이다.

도 1에 도시된 바와 같이, 운전자 좌석의 헤드 레스트의 표면 또는 표면 내부에는, 본 실시예에 따른 졸음운전 방지 시스템의 구성인 비접촉식 전극들이 마련되어 있다. 도시된 바에 따르면, 비접촉식 전극들은 3개의 그룹으로 구분되어 잇음을 확인할 수 있다.

즉, 본 실시예에 따른 졸음운전 방지 시스템을 구성하는 비접촉식 전극들은,

1) 헤드 레스트의 영역 중 중앙에 배열되어 있는 중앙 전극 어레이(110),

2) 헤드 레스트의 영역 중 우측면에 배열되어 있는 우측면 전극 어레이(120-1),

3) 헤드 레스트의 영역 중 좌측면에 배열되어 있는 좌측면 전극 어레이(120-2)로 그룹화된다.

중앙 전극 어레이(110)는 비접촉식 전극들이 4×4 패턴으로 배열되어 있고, 우측면 전극 어레이(120-1)와 좌측면 전극 어레이(120-2)는 비접촉식 전극들이 2×4 패턴으로 배열되어 있어 있다.

중앙 전극 어레이(110)와 측면 전극 어레이들(120-1, 120-2) 모두 운전자의 머리 주변에 위치하는데, 1) 중앙 전극 어레이(110)는 운전자 머리의 뇌파 발생 지점(운전자의 뒤통수 중앙부)과 상대적으로 가깝게 위치하는 반면, 2) 측면 전극 어레이들(120-1, 120-2)은 운전자 머리의 뇌파 발생 지점과 상대적으로 멀게 위치한다.

중앙 전극 어레이(110)를 통해 수신/수집된 신호와, 측면 전극 어레이들(120-1, 120-2)을 통해 수신/수집된 신호는, 운전자의 뇌파를 산출하는데 이용된다.

이하에서는, 본 실시예에 따른 졸음운전 방지 시스템에서 운전자의 뇌파를 산출하는 개념에 대해, 도 2를 참조하여 상세히 설명한다. 도 2는, 본 실시예에 따른 졸음운전 방지 시스템에서, 운전자의 뇌파를 산출하는 개념의 설명에 제공되는 도면이다.

도 2에 도시된 바에 따르면,

1) 중앙 전극 어레이(110)를 통해 수신된 신호들은 중앙 신호로 수집되고,

2-1) 우측면 전극 어레이(120-1)를 통해 수신된 신호는 우측면 신호로 수집되며,

2-2) 좌측면 전극 어레이(120-2)를 통해 수신된 신호는 좌측면 신호로 수집됨을 확인할 수 있다.

그리고, 중앙 신호는 NFSD(Near Field Super-Directivity) 이득처리되고, 우측면 신호와 좌측면 신호는 합산되어 NFSD 이득처리된다.

NFSD 이득처리는, 1) Near Field 기법에 의해 가까운 곳에 위치한 신호원인 운전자의 머리를 주된 신호원으로 취급하되, Super-Directivity 기법에 따라 방향성을 함께 고려하여 빔포밍(Beamforming) 이득을 고려하는 신호처리이다.

이후, NFSD 이득처리된 중앙 신호와 NFSD 이득처리된 측면 신호를 이용하여 운전자의 뇌파를 산출한다. NFSD 이득처리된 '중앙 신호'는 '운전자의 뇌파 신호'와 '주변 노이즈 신호'가 합산되어 있는 반면, NFSD 이득처리된 '측면 신호'는 '주변 노이즈 신호'만이다.

따라서, NFSD 이득처리된 중앙 신호에서 NFSD 이득처리된 측면 신호를 제거하면, 운전자의 뇌파를 산출할 수 있다. 도 3에는 NFSD 이득처리된 중앙 신호에서 NFSD 이득처리된 측면 신호를 제거하여, 운전자의 뇌파를 산출하는 방법을, 실제 신호들을 예시하여 나타내었다.

이하에서는, 도 1에 도시된 졸음운전 방지 시스템의 내부 구성에 대해, 도 4를 참조하여 상세히 설명한다. 도 4는, 도 1에 도시된 졸음운전 방지 시스템의 내부 블럭도이다.

도 4에 도시된 바와 같이, 본 실시예에 따른 졸음운전 방지 시스템은, 전극 어레이들(110, 120-1, 120-2), 신호 증폭부들(131, 132-1, 132-2), 신호 수집부(141, 142-1, 142-2), NFSD 이득처리부들(151, 152), 뇌파 산출부(160), 졸음 상태 파악부(170) 및 경보 발생부(180)를 포함한다.

중앙 전극 어레이(110)는 헤드 레스트의 중앙 영역에 배열된 비접촉식 전극들의 그룹으로, 운전자 머리의 뇌파 발생지점으로부터 비교적 가까운 장소에서 신호들을 수집한다.

중앙 신호 증폭부(131)는 중앙 전극 어레이(110)를 구성하는 비접촉식 전극들에서 수신된 신호들을 증폭하고, 중앙 신호 수집부(141)는 중앙 신호 증폭부(131)에서 증폭된 신호들을 중앙 신호로 수집하여 출력한다.

우측면 전극 어레이(120-1)는 헤드 레스트의 우측면 영역에 배열된 비접촉식 전극들의 그룹으로, 운전자 머리의 뇌파 발생지점으로부터 비교적 먼 장소에서 신호들을 수집한다.

우측면 신호 증폭부(132-1)는 우측면 전극 어레이(120-1)를 구성하는 비접촉식 전극들에서 수신된 신호들을 증폭하고, 우측면 신호 수집부(142-1)는 우측면 신호 증폭부(132-1)에서 증폭된 신호들을 우측면 신호로 수집하여 출력한다.

좌측면 전극 어레이(120-2)는 헤드 레스트의 좌측면 영역에 배열된 비접촉식 전극들의 그룹으로, 운전자 머리의 뇌파 발생지점으로부터 비교적 먼 장소에서 신호들을 수집한다.

좌측면 신호 증폭부(132-2)는 좌측면 전극 어레이(120-2)를 구성하는 비접촉식 전극들에서 수신된 신호들을 증폭하고, 좌측면 신호 수집부(142-2)는 좌측면 신호 증폭부(132-2)에서 증폭된 신호들을 좌측면 신호로 수집하여 출력한다.

한편, 중앙 신호 NFSD 이득처리부(151)는 중앙 신호 수집부(141)에서 출력되는 중앙 신호에 대해 NFSD 이득처리를 수행한다.

그리고, 측면 신호 NFSD 이득처리부(152)는, 우측면 신호 수집부(142-1)에서 출력되는 우측면 신호와 좌측면 신호 수집부(142-2)에서 출력되는 좌측면 신호를 측면 신호로 합산하여 NFSD 이득처리를 수행한다.

뇌파 산출부(160)는 중앙 신호 NFSD 이득처리부(151)에서 NFSD 이득처리된 중앙 신호에서 측면 신호 NFSD 이득처리부(152)에서 NFSD 이득처리된 측면 신호를 제거한 신호를, 뇌파 신호로 출력한다.

졸음 상태 파악부(170)는 뇌파 산출부(160)에서 산출된 뇌파 신호를 분석하여, 운전자의 졸음 상태를 파악한다.

경보 발생부(180)는 졸음 상태 파악부(170)에서 파악된 운전자의 졸음 상태를 기초로, 경보가 필요한지 여부를 판단한다. 만약, 경보가 필요하다고 판단되면, 경보 발생부(180)는 경보를 발생시켜 운전자의 주의를 환기시킨다.

발생하는 경보는, 사운드와 같은 청각적인 경보, 경고등과 같은 시각적인 경보, 운전석이나 핸들을 진동시키는 촉각적인 경보 중 적어도 하나일 수 있다.

이하에서는, 도 1에 도시된 졸음운전 방지 시스템을 통해 운전자의 졸음운전을 방지하는 과정에 대해, 도 5를 참조하여 상세히 설명한다. 도 5는 본 발명의 다른 실시예에 따른 졸음운전 방지방법의 설명에 제공되는 흐름도이다.

도 5에 도시된 바와 같이, 먼저, 중앙 전극 어레이(110)가 운전자 머리의 뇌파 발생 지점으로부터 비교적 가까운 장소에서 수집된 신호들이, 중앙 신호 증폭부(131)에서 증폭된 후 중앙 신호 수집부(141)에 수집된다(S210).

그리고, 측면 전극 어레이들(120-1, 120-2)이 운전자 머리의 뇌파 발생 지점으로부터 비교적 먼 장소에서 수집된 신호들이, 측면 신호 증폭부들(132-1, 132-2)에서 증폭된 후 측면 신호 수집부들(142-1, 142-2)에 수집된다(S220).

그러면, 중앙 신호 NFSD 이득처리부(151)가 S210단계를 통해 수집된 중앙 신호에 대해 NFSD 이득처리를 수행하고(S230), 측면 신호 NFSD 이득처리부(152)가 S220단계를 통해 수집된 측면 신호들을 합산하여 NFSD 이득처리를 수행한다(S240).

이후, 뇌파 산출부(160)는 S230단계에서 NFSD 이득처리된 중앙 신호에서 S240단계에서 NFSD 이득처리된 측면 신호를 제거하여, 뇌파 신호를 산출한다(S250).

그러면, 졸음 상태 파악부(170)가 S250단계에서 산출된 뇌파 신호를 분석하여, 운전자의 졸음 상태를 파악한다(S260). S260단계에서의 졸음 상태 파악은, 도 6에 도시된 테이블을 기초로 수행될 수 있다. 도 6에는 뇌파의 주파수에 따른, 운전자의 심신 상태가 테이블로 나타나 있다.

그리고, 경보 발생부(180)는 S260단계에서 파악된 운전자의 졸음 상태에 따라, 필요시 경보를 발생한다(S270).

도 7에는 본 실시예에 따른 졸음운전 방지 시스템에 대한 시뮬레이션 결과를 나타낸 도면이다. 도 7에서,

1) "SB"는 비접촉식 전극들을 어레이로 배열한 것이 아닌 단일 전극을 이용한 시스템에서의 시뮬레이션 결과이고,

2) "SB+NC"는 단일 전극을 이용하되, 노이즈 제거 방식을 채택한 시스템에서의 시뮬레이션 결과이며,

3) "AB+NFSD"는 비접촉식 전극들을 어레이로 배열하고, NFSD 이득처리를 수행하는 시스템에서의 시뮬레이션 결과이며,

4) "AB+NFSD+NC"는 비접촉식 전극들을 어레이로 배열하고, NFSD 이득처리를 수행한 후 노이즈 제거를 수행하는 시스템에서의 시뮬레이션 결과이고,

5) "Ideal case"는 이상적인 이론상의 시스템에서의 결과이다.

도 7을 통해 확인할 수 있듯이, 단일 전극을 이용한 시스템 보다, 비접촉식 전극들을 어레이로 배열, NFSD 이득처리 및 노이즈 제거를 수행하는 시스템에서 성능이 우수함을 확인할 수 있다.

또한, 비접촉식 전극들을 어레이로 배열, NFSD 이득처리 및 노이즈 제거 중 적어도 하나만을 수행하더라도, 성능이 향상되는 것도, 아울러 확인할 수 있다.

지금까지, 졸음운전 방지 시스템 및 방법에 대해, 바람직한 실시예들을 들어 상세히 설명하였다.

위 실시예에서 비접촉식 전극들의 배열 패턴은 설명의 편의를 위한 예시적인 것에 불과하다. 예시된 패턴 이외의 다른 패턴으로 변형하는 것도 가능함은 물론이며, 아울러 어레이를 구성하는 전극들의 숫자와 위치 역시 헤드레스트의 크기와 자동차 내부의 크기에 따라 변경 가능하다.

또한, 위 실시예에서는 뇌파를 기초로 운전자의 졸음 상태를 파악하는 것으로 상정하였는데, 이 역시 설명의 편의를 위한 예시적인 것에 불과하다. 본 발명의 기술적 사상은 사용자의 뇌파를 기초로 사용자의 졸음 상태 이외의 다른 상태를 파악하는 경우에도 적용될 수 있음은 물론이다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110, 120-1, 120-2 : 전극 어레이
131, 132-1, 132-2 : 신호 증폭부
141, 142-1, 142-2 : 신호 수집부
151, 152 : NFSD 이득처리부
160 : 뇌파 산출부
170 : 졸음 상태 파악부
180 : 경보 발생부

Claims

사용자의 머리 주변에서 비접촉식으로 신호를 수신하는 수신부;
상기 수신부에서 수신된 신호를 이용하여, 상기 사용자의 뇌파를 산출하는 산출부; 및
상기 산출부에서 산출된 상기 사용자의 뇌파를 기초로 상기 사용자의 상태를 파악하고, 파악된 상기 사용자의 상태에 따라 필요한 기능을 수행하는 처리부;를 포함하고,
상기 수신부는,
상기 사용자의 뇌파와 노이즈를 함께 수신하는 제1 수신부; 및
상기 노이즈를 수신하는 제2 수신부;를 포함하고,
상기 산출부는,
상기 제1 수신부의 수신결과에서 상기 제2 수신부의 수신결과를 제거하여, 상기 사용자의 뇌파를 산출하며,
상기 제1 수신부는, 중앙 영역에 위치하고,
상기 제2 수신부는, 측면 영역에 위치하는 것을 특징으로 하는 졸음 방지 시스템.
삭제
제 1항에 있어서,
상기 제1 수신부와 상기 제2 수신부는,
다수의 비접촉식 전극들을 포함하는 것을 특징으로 하는 졸음 방지 시스템.
제 3항에 있어서,
상기 제1 수신부와 상기 제2 수신부에 포함된 다수의 비접촉식 전극들은,
특정 패턴으로 배열된 것을 특징으로 하는 졸음 방지 시스템.
삭제
제 1항에 있어서,
상기 산출부는,
상기 제1 수신부의 수신결과와 상기 제2 수신부의 수신결과에 각각 NFSD 이득 처리 후, 상기 제1 수신부의 수신결과에서 상기 제2 수신부의 수신결과를 제거하는 것을 특징으로 하는 졸음 방지 시스템.
제 1항에 있어서,
상기 사용자는, 운전자이고,
상기 사용자의 상태는, 상기 사용자의 졸음 상태인 것을 특징으로 하는 졸음 방지 시스템.
사용자의 머리 주변에서 비접촉식으로 신호를 수신하는 단계;
상기 수신단계에서 수신된 신호를 이용하여, 상기 사용자의 뇌파를 산출하는 단계;
상기 산출단계에서 산출된 상기 사용자의 뇌파를 기초로, 상기 사용자의 상태를 파악하는 단계; 및
상기 파악단계에서 파악된 상기 사용자의 상태에 따라 필요한 기능을 수행하는 단계;를 포함하고,
상기 수신단계는,
중앙 영역에 위치한 제1 수신부로, 상기 사용자의 뇌파와 노이즈를 함께 수신하는 제1 수신단계; 및
측면 영역에 위치한 제2 수신부로, 상기 노이즈를 수신하는 제2 수신단계;를 포함하고,
상기 산출단계는,
상기 제1 수신단계의 수신결과에서 상기 제2 수신단계의 수신결과를 제거하여, 상기 사용자의 뇌파를 산출하는 것을 특징으로 하는 졸음 방지 방법.