KR20100023021A

KR20100023021A - 졸림 판정 장치

Info

Publication number: KR20100023021A
Application number: KR1020107000069A
Authority: KR
Inventors: 요시유끼 하따께야마
Original assignee: 도요타지도샤가부시키가이샤
Priority date: 2007-08-06
Filing date: 2008-08-01
Publication date: 2010-03-03
Also published as: EP2174594A1; JP2009039167A; CN101686816A; CN101686816B; KR101259229B1; WO2009020074A1; US8346352B2; US20100234747A1; EP2174594A4

Abstract

졸음 상태로 되기 전의 강한 졸림을 판정하는 졸림 판정 장치를 제공하는 것을 과제로 한다.
졸림 판정 장치(1)로서 피험자의 교감 신경에 관한 파라미터를 취득하는 교감 신경 파라미터 취득 유닛(2, 11)과, 피험자의 부교감 신경에 관한 파라미터를 취득하는 부교감 신경 파라미터 취득 유닛(2, 11, 16)과, 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 큰지의 여부를 판정하는 교감 신경 증가 판정 유닛(13, 14)과, 교감 신경 증가 판정 유닛(13, 14)에 의해 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 크다고 판정한 경우에 교감 신경 파라미터와 부교감 신경 파라미터의 증감 관계에 기초하여 피험자의 졸림을 판정하는 졸림 판정 유닛(19)을 구비하는 것을 특징으로 한다.

Description

졸림 판정 장치 {SLEEPINESS JUDGING DEVICE}

본 발명은 교감 신경 활동과 부교감 신경 활동에 의해 졸림을 판정하는 졸림 판정 장치에 관한 것이다.

차량의 운전자에게 안전한 주행을 행하게 하기 위해, 운전자의 졸림(각성도)을 판정하는 장치가 개발되어 있다. 졸림 판정 장치로서는, 예를 들어 심박, 눈의 깜박임 등으로부터 졸림에 따라 변화되는 특징량을 추출하여 그 특징량을 임계값과 비교함으로써 매우 강한 졸림(졸음 상태 혹은 졸음 상태 직전)을 판정하는 것이 있다. 이렇게 매우 강한 졸림을 판정했을 때에는 운전 조작에 영향(예를 들어, 얼굴 표정)이 나타나는 졸림 레벨로, 판정 타이밍으로서는 느리다. 따라서, 특허문헌1에 기재된 장치로는 교감 신경 활동과 상관 관계가 있는 심박 요동의 저주파 성분에 기초하여 약한 졸림을 판정하고, 약한 졸림이라고 판정한 경우에 자극을 부여한다.

일본 특허 출원 제2007-140975호 일본공개특허 제2007-6970호 공보 일본공개특허 평6-270711호 공보

약한 졸림일 때에는, 그 후에 각성도가 상승하여 졸음 상태가 되지 않는 경우가 있다. 또한, 약한 졸림으로부터 졸음 상태로 이행할 경우에도 약한 졸림으로부터 어느 정도 경과하면 졸음 상태로 이행할지 알 수 없으며, 사람에 따라 그 시간이 다르다. 따라서, 졸음 상태로 확실하게 이행하고, 이행할 때까지의 시간도 단시간의 강한 졸림(졸음 상태가 발생하는 수분 내지 십수분 전)을 판정할 필요가 있다. 그러나, 종래의 졸림 판정 장치에서는 그 강한 졸림을 판정할 수 없다.

따라서, 본 발명은 졸음 상태로 되기 전의 강한 졸림을 판정하는 졸림 판정 장치를 제공하는 것을 과제로 한다.

본 발명에 따른 졸림 판정 장치는 피험자의 교감 신경에 관한 파라미터를 취득하는 교감 신경 파라미터 취득 유닛과, 피험자의 부교감 신경에 관한 파라미터를 취득하는 부교감 신경 파라미터 취득 유닛과, 교감 신경 파라미터 취득 유닛에 의해 취득한 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 큰지의 여부를 판정하는 교감 신경 증가 판정 유닛과, 교감 신경 증가 판정 유닛에 의해 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 크다고 판정한 경우에 교감 신경 파라미터 취득 유닛에 의해 취득한 교감 신경 파라미터와 부교감 신경 파라미터 취득 유닛에 의해 취득한 부교감 신경 파라미터의 증감 관계에 기초하여 피험자의 졸림을 판정하는 졸림 판정 유닛을 구비하는 것을 특징으로 한다.

이 졸림 판정 장치에서는 교감 신경 파라미터 취득 유닛에 의해 피험자의 교감 신경 파라미터를 취득하는 동시에, 부교감 신경 파라미터 취득 유닛에 의해 피험자의 부교감 신경 파라미터를 취득한다. 교감 신경 파라미터는 교감 신경의 활동을 나타내는 각종 파라미터로서, 그 크기가 크면 교감 신경의 활동이 활발하다. 부교감 신경 파라미터는 부교감 신경의 활동을 나타내는 각종 파라미터로서, 그 크기가 크면 부교감 신경의 활동이 활발하다. 졸림 판정 장치에서는 교감 신경 증가 판정 유닛에 의해 피험자의 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 큰지의 여부를 판정한다. 교감 신경용 임계값은 교감 신경 활동이 활발한 상태(졸림에 대항하고 있는 약한 졸림 상태)를 판정하기 위한 임계값이다. 졸음 상태로 될 경우, 통상 약한 졸림 상태가 되고, 그 후에 강한 졸림 상태가 되다가, 그 후에 졸음 상태가 된다. 따라서, 졸림 판정 장치에서는 졸림 판정 유닛에 의해 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 커진 후에 교감 신경 파라미터와 부교감 신경 파라미터의 증감 관계에 기초하여 피험자의 졸림(특히, 졸음 상태전의 강한 졸림)을 판정한다. 이와 같이, 졸림 판정 장치에서는 교감 신경 활동이 활발해진 후의(약한 졸림 상태 후의) 교감 신경 활동과 부교감 신경 활동의 증감 관계로부터 졸음 상태로 되기 전의 강한 졸림을 고정밀도로 판정할 수 있어, 졸음 상태의 발생을 예측할 수 있다.

본 발명의 상기 졸림 판정 장치에서는 교감 신경 증가 판정 유닛은 교감 신경 파라미터 취득 유닛에 의해 취득한 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 커져 있는 계속 시간이 시간 임계값보다 길어진 경우에 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 크다고 판정하면 바람직하다.

이 졸림 판정 장치에서는 교감 신경 증가 판정 유닛에 의해 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 커져 있는 계속 시간이 시간 임계값보다 길어졌는지의 여부를 판정하여 시간 임계값보다 긴 경우에는 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 크다고 판정한다. 시간 임계값은 교감 신경 활동이 확실히 활발해져 있는 것(약한 졸림이 계속되고 있는 것)을 판정하기 위한 임계값이다. 이와 같이, 졸림 판정 장치에서는 시간의 개념도 도입하여 교감 신경 활동이 활발한 상태를 판정함으로써 교감 신경 활동이 활발해져 있는 상태(약한 졸림 상태가 계속되고 있는 것)를 고정밀도로 판정할 수 있어, 강한 졸림을 보다 고정밀도로 판정할 수 있다.

본 발명의 상기 졸림 판정 장치에서는, 부교감 신경 파라미터 취득 유닛은 심박 요동의 고주파 성분의 증감 방향에 기초하여 부교감 신경 파라미터를 취득하면 바람직하다.

심박 요동의 고주파 성분은 부교감 신경과 상관 관계가 있으며, 심박 요동의 고주파 성분의 크기가 크면 부교감 신경의 활동이 활발하다. 따라서, 이 졸림 판정 장치에서는 부교감 신경 파라미터 취득 유닛에 의해 심박 요동의 고주파 성분의 크기가 증가하고 있는 것인지 혹은 감소하고 있는 것인지를 판별하여, 그 증감 방향에 기초하여 부교감 신경 파라미터를 취득한다. 이와 같이, 졸림 판정 장치에서는 단순하게 심박 요동의 고주파 성분의 증감만을 부교감 신경 활동의 판정 정보 로 함으로써 개인차를 흡수할 수 있어 강한 졸림을 보다 고정밀도로 판정할 수 있다.

본 발명의 상기 졸림 판정 장치에서는 부교감 신경 파라미터 취득 유닛에 의해 취득한 부교감 신경 파라미터의 크기가 부교감 신경용 임계값보다 큰지의 여부를 판정하는 부교감 신경 증가 판정 유닛을 구비하고, 졸림 판정 유닛은 교감 신경 증가 판정 유닛에 의해 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 크다고 판정한 경우, 교감 신경 증가 판정 유닛에 의해 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 작아졌다고 판정한 후에 부교감 신경 증가 판정 유닛에 의해 부교감 신경 파라미터의 크기가 부교감 신경용 임계값보다 크다고 판정한 경우에 피험자가 강한 졸림 상태라고 판정하는 구성으로 하여도 된다.

이 졸림 판정 장치에서는 부교감 신경 증가 판정 유닛에 의해 부교감 신경 파라미터의 크기가 부교감 신경용 임계값보다 큰지의 여부를 판정한다. 부교감 신경용 임계값은 부교감 신경 활동이 활발해져 약한 졸림 상태로부터 강한 졸림 상태로 이행했는지를 판정하기 위한 임계값이다. 졸림 판정 장치에서는 졸림 판정 유닛에 의해 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 커진 후에 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 작아지고, 그 후에 부교감 신경 파라미터의 크기가 부교감 신경용 임계값보다 커진 경우에는 피험자가 강한 졸림 상태라고 판정한다. 이와 같이, 졸림 판정 장치에서는 교감 신경 활동이 활발한 상태가 가라앉은 후에 부교감 신경 활동이 활발해진 것을 판정함으로써 강한 졸림을 고정밀도로 판정할 수 있다.

본 발명의 상기 졸림 판정 장치에서는 부교감 신경 파라미터 취득 유닛에 의해 취득한 부교감 신경 파라미터의 크기가 부교감 신경용 임계값보다 큰지의 여부를 판정하는 부교감 신경 증가 판정 유닛을 구비하고, 졸림 판정 유닛은 교감 신경 증가 판정 유닛에 의해 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 크다고 판정한 경우, 교감 신경 증가 판정 유닛에 의해 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 크다고 하는 판정을 계속하는 중에 부교감 신경 증가 판정 유닛에 의해 부교감 신경 파라미터의 크기가 부교감 신경용 임계값보다 크다고 판정한 경우에 피험자가 강한 졸림 상태라고 판정하는 구성으로 하여도 된다.

이 졸림 판정 장치에서는 부교감 신경 증가 판정 유닛에 의해 부교감 신경 파라미터의 크기가 부교감 신경용 임계값보다 큰지의 여부를 판정한다. 그리고, 졸림 판정 장치에서는 졸림 판정 유닛에 의해 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 커진 후에, 그 커진 상태가 계속되고 있을 때에 부교감 신경 파라미터의 크기가 부교감 신경용 임계값보다 커진 경우에는 피험자가 강한 졸림 상태라고 판정한다. 이와 같이, 졸림 판정 장치에서는 교감 신경 활동이 활발한 상태가 계속되는 중에 부교감 신경 활동이 활발해진 것을 판정함으로써 강한 졸림을 고정밀도로 판정할 수 있다.

본 발명은 교감 신경 활동이 활발해진 후에 교감 신경 활동과 부교감 신경 활동의 증감 관계를 판정함으로써 졸음 상태로 되기 전의 강한 졸림을 고정밀도로 판정할 수 있다.

도 1은 본 실시 형태에 따른 졸음 발생 예측 장치의 전체 구성을 도시하는 블록도이다.
도 2는 도 1의 ECU에 있어서의 처리 순서를 도시하는 흐름도이다.
도 3은 도 2의 심박 신호 전처리의 처리 순서를 도시하는 흐름도이다.
도 4는 도 2의 심박 요동값 추출 처리의 처리 순서를 도시하는 흐름도이다.
도 5는 심박 신호의 일례를 도시하는 도면이다.
도 6은 심박 신호의 2치화 처리를 설명하기 위한 모식도이다.
도 7은 심박 신호를 2치화 처리하여 취득된 2치화 신호를 도시하는 도면이다.
도 8은 심박 주기의 산출 처리를 설명하기 위한 모식도이다.
도 9는 심박 주기의 보간 처리를 설명하기 위한 모식도이다.
도 1O은 심박 주기의 FFT 처리를 설명하기 위한 모식도이다.
도 11은 심박 요동의 저주파 성분 및 고주파 성분의 주파수 대역 설정을 설명하기 위한 모식도.
도 12는 진폭 스펙트럼 파워의 시간 변화의 일례를 도시하는 도면.
도 13은 교감 신경 활동 활발 검출 처리 및 교감 신경 활동 활발 검출 판정 처리를 설명하기 위한 모식도이다.
도 14는 부교감 신경 활동 활발 검출 처리를 설명하기 위한 모식도로서, (a)가 심박 요동 H의 시계열이며, (b)가 심박 요동 H의 미분값[dH(t)]의 시계열이며, (c)가 미분값[dH(t)]의 부호[SH(t)]의 시계열이며, (d)가 부호[SH(t)]의 시간 적분값[IH(t)]의 시계열을 도시한 도면이다.
도 15는 부교감 신경 활동 활발 검출 판정 처리를 설명하기 위한 모식도이다.
도 16은 졸음 발생 예측 장치의 평가 시험의 일례로서, (a)가 심박 요동 L/H의 시계열이며, (b)가 심박 요동 L/H를 교감 신경 활동 활발 판정 임계값(D2) 처리 후의 성분[D_L/H(t)]의 시계열이며, (c)가 D_L/H(t)를 계속 시간 임계값(ST) 처리 후의 구간[D_DurD2(t)]의 시계열을 도시한 도면이다.
도 17은 졸음 발생 예측 장치의 평가 시험의 일례로서, (a)가 심박 요동 H의 시계열이며, (b)가 부호 적분[IH(t)]의 시계열이며, (c)가 부호 적분[IH(t)]의 시계열과 부교감 신경 활동 활발 판정 임계값(IHS)을 도시한 도면이다.
도 18은 졸음 발생 예측 장치의 평가 시험의 일례로서, (a)가 도 16의 (c)의 D_DurD2(t)의 시계열이며, (b)가 도 17의 (c)의 부호 적분[IH(t)]의 시계열과 부교감 신경 활동 활발 판정 임계값(IHS)이며, (c)가 관능 평가에 의한 졸림 레벨의 시계열을 도시한 도면이다.
도 19는 관능 평가에 의한 졸림 레벨의 판정 기준을 나타내는 표이다.

이하, 도면을 참조하여 본 발명에 따른 졸림 판정 장치의 실시 형태를 설명한다.

본 실시 형태에서는, 본 발명에 따른 졸림 판정 장치를 차량에 탑재하여 운전자의 졸음 상태의 발생을 예측하는 졸음 발생 예측 장치에 적용한다. 본 실시 형태에 따른 졸음 발생 예측 장치는 심박 요동에 기초하여 졸음 상태가 되기 전의 강한 졸림 상태(졸음 상태가 발생하기 수분 내지 십수분 전의 상태)를 판정하고 강한 졸림 상태를 판정한 경우에는 그 판정 결과를 고지한다.

본 실시 형태에 따른 졸음 발생 예측 장치에 관하여 구체적으로 설명하기 전에 강한 졸음 상태의 판정 방법에 관하여 설명해 둔다. 우선, 본 실시 형태에서 사용하는 용어에 관하여 설명한다. 심박 요동은 심박 주기의 0.01㎐ 부근 내지 0.5㎐ 부근에서의 심박의 변동이다. 심박 요동의 저주파 성분(이하, 「심박 요동 L」이라고 기재)은 심박 주기 0.1㎐ 부근의 심박 요동 변동 성분 파워이다. 심박 요동의 고주파 성분(이하, 「심박 요동 H」라고 기재)은, 심박 주기 0.3㎐ 부근의 심박 요동 변동 성분 파워이다. 심박 요동의 저주파 성분/고주파 성분(이하, 「심박 요동 L/H」라고 기재)은 심박 요동 L과 심박 요동 H의 비이다.

본원의 발명자는 다수의 피험자에 대한 실험 등에 의해 얻어진 심박 데이터(심박 요동 L, 심박 요동 H, 심박 요동 L/H)와 졸음 상태의 관능 평가 등을 통계적으로 해석한 결과로부터 강한 졸림 상태로 될 때의 심박 요동의 변화 특성을 발견했다. 이 변화 특성은 2단계의 조건이 있다. 처음에, 심박 요동 L/H 혹은 심박 요동 L이 증가한다는 조건이다. 다음에, 증가한 심박 요동 L/H 혹은 심박 요동 L이 감소한 후에 심박 요동 H가 증가하는 조건, 또는 심박 요동 L/H 혹은 심박 요동 L이 증가 상태 유지 중에 심박 요동 H가 증가하는 조건이 있다.

일반적으로 심박 요동과 자율 신경(교감 신경 및 부교감 신경) 사이에는 이하의 관계가 있는 것이 알려져 있다. 심박 요동 L은 교감 신경 활동 및 부교감 신경 활동의 영향을 받아 변화되어(즉, 상관이 있어), 각 신경 활동이 활발해지면 그 성분 파워가 증가되어 커진다. 심박 요동 H는 부교감 신경 활동의 영향을 받아 변화되어 부교감 신경 활동이 활발해지면 그 성분 파워가 증가되어 커진다. 심박 요동 L/H는 교감 신경 활동의 영향을 받아 변화되어 교감 신경 활동이 활발해지면 그 성분 파워가 증가되어 커진다.

따라서, 강한 졸림 상태로 될 때의 자율 신경(교감 신경 및 부교감 신경)의 활동 특성은 이하와 같이 된다. 이 활동 특성도 2단계의 조건이 있다. 처음에, 교감 신경 활동이 활발해지는 조건이다. 다음에, 교감 신경 활동이 활발한 상태가 가라앉은 후에 부교감 신경이 활발해지는 조건, 또는 교감 신경 활동이 활발한 상태 유지 중에 부교감 신경 활동이 활발해지는 조건이다. 즉, 교감 신경 활동이 활발해져 있을 때에는 졸림에 대항하는 상태로서, 약한 졸림이 발생하고 있다. 그 후에, 부교감 신경 활동이 활발해지면 졸림에 끝까지 대항할 수 없게 되어 약한 졸림으로부터 강한 졸림으로 이행되고 있다고 생각되어진다. 강한 졸림이 오면 수분 내지 십수분 후에는 졸음 상태로 된다.

이와 같이, 본원 발명에서는 교감 신경 활동이 활발한 상태를 검출한 후에, 그 상태가 가라앉은 후에 부교감 신경 활동이 활발한 상태를 검출 또는 그 활발한 상태 유지 중에 부교감 신경 활동이 활발한 상태를 검출함으로써 강한 졸림을 판정한다(졸음 발생을 예측한다). 또한, 교감 신경 활동이 활발한 상태의 검출에서는 심박 요동 L 혹은 심박 요동 L/H에 대하여 미리 설정한 교감 신경용 임계값과 계속 시간용 임계값을 사용하여 절대값 검출한다. 또한, 부교감 신경 활동이 활발한 상태의 검출에서는 심박 요동 H의 증감 방향(부호)의 시간 적분에 대하여 미리 설정한 부교감 신경용 임계값을 사용하여 절대값 검출한다. 이 절대값 검출은 개개인에게 설정된 임계값을 사용하여 검출하는 것이 아니라(즉, 개개인의 심박 요동값의 상대적인 변화로부터 검출하는 것이 아니라), 만인에 대하여 동일한 임계값으로 검출하는 것이다.

그러면, 우선 도 1을 참조하여 본 실시 형태에 따른 졸음 발생 예측 장치(1)의 구성에 대하여 설명한다. 도 1은 본 실시 형태에 따른 졸음 발생 예측 장치의 전체 구성을 도시하는 블록도이다.

졸음 발생 예측 장치(1)에서는 운전자로부터 검출한 심박 지표로부터 심박 요동값(심박 요동 L, 심박 요동 H, 심박 요동 L/H)을 추출한다. 그리고, 졸음 발생 예측 장치(1)에서는 심박 요동값에 기초하여 교감 신경 활동이 활발한 상태를 검지하고, 그 활발한 상태가 가라앉은 후의 부교감 신경 활동이 활발한 상태를 검지함으로써 강한 졸림 상태로 되었는지의 여부를 판정한다.

그 때문에, 졸음 발생 예측 장치(1)는 심박 센서(2), 출력 수단(3), ECU[Electronic Control Unit](4)를 구비하고, ECU(4)에 심박 신호 전처리부(10), 심박 요동값 추출부(11), 심박 요동값 저장 버퍼(12), 교감 신경 활동 활발 검출 처리부(13), 교감 신경 활동 활발 검출 판정부(14), 교감 신경 활동 활발 시각 저장 버퍼(15), 부교감 신경 활동 활발 검출 처리부(16), 부교감 신경 활동 활발 검출 판정부(17), 부교감 신경 활동 활발 시각 저장 버퍼(18), 졸음 발생 예측부(19), 예측 결과 출력부(20)가 구성된다.

또한, 본 실시 형태에서는 심박 센서(2) 및 심박 요동값 추출부(11)가 특허 청구 범위에 기재하는 교감 신경 파라미터 취득 유닛에 상당하고, 심박 센서(2), 심박 요동값 추출부(11), 부교감 신경 활동 활발 검출 처리부(16)가 특허 청구 범위에 기재하는 부교감 신경 파라미터 취득 유닛에 상당하고, 교감 신경 활동 활발 검출 처리부(13) 및 교감 신경 활동 활발 검출 판정부(14)가 특허 청구 범위에 기재하는 교감 신경 증가 판정 유닛에 상당하고, 부교감 신경 활동 활발 검출 처리부(16) 및 부교감 신경 활동 활발 검출 판정부(17)가 특허 청구 범위에 기재하는 부교감 신경 증가 판정 유닛에 상당하고, 졸음 발생 예측부(19)가 특허 청구 범위에 기재하는 졸림 판정 유닛에 상당한다.

심박 센서(2)는 심근 수축 시에 발생하는 펄스 형상의 전압(심전위)을 검출하는 전위식 심박 센서이다. 심박 센서(2)는, 예를 들어 차량의 스티어링 휠 등에 설치되어 있는 전극으로부터 심전위를 검출한다. 심박 센서(2)에서는 심전위를 검출하고, 검출한 심전위를 심박 신호로서 ECU(4)로 송신한다. 또한, 심박 센서로서는 전위식 심박 센서 외에 심박에 따라 주기적으로 변화되는 적외선의 반사광량을 검출하는 적외선 심박 센서나 혈압을 검출하는 센서 등을 사용해도 된다.

출력 수단(3)은 출력 대상에 대하여 운전자가 강한 졸림 상태인 것이나 운전자에 대하여 휴식을 재촉하는 고지를 하기 위한 수단이다. 출력 수단(3)에서는 ECU(4)로부터 출력 신호를 수신하면 각 수단에 따른 출력을 행한다. 출력 수단(3)으로서는, 예를 들어 소리로 고지하는 수단(버저, 오디오, 라디오, 클락슨), 화상 표시로 고지하는 수단(디스플레이), 광으로 고지하는 수단(미터 조명, 실내 조명), 촉각이나 온냉각으로 고지하는 수단(시트에 매설한 진동 장치, 에어컨의 바람이나 온도 변화)에 있어서 고지하는 수단(방향제의 분사), 시스템으로의 커맨드 출력이다. 출력 대상으로서는, 예를 들어 운전자, 운전석 이외에 앉아 있는 탑승원, 트럭이나 택시 등의 영업차의 운행을 관리하는 관리자, 차량 제어 시스템이다.

ECU(4)는 CPU[Central Processing Unit], ROM[Read Only Memory], RAM[Random Access Memory] 등으로 이루어지고, 졸음 발생 예측 장치(1)를 통괄 제어한다. ECU(4)에서는 ROM에 저장되는 각 프로그램을 CPU에서 실행함으로써 각 처리부(10, 11, 13, 14, 16, 17, 19, 20) 및 각 버퍼(12, 15, 18)를 구성하고, 각 처리부(10, 11, 13, 14, 16, 17, 19, 20)의 처리를 행한다.

심박 신호 전처리부(10)는, 일정 시간마다 심박 센서(2)로부터의 심박 신호를 판독하여 심박 신호로부터 심박 주기(RR 간격) 시계열을 취득한다. 구체적으로는, 우선 심박 신호에 대하여 밴드 패스 필터링 처리를 행하고나서, 임계값을 초과한 시계열 데이터를 잘라낸다. 다음에, 잘라내어진 시계열 데이터를 2치화하고 나서 2치화 데이터를 이용하여 구간 폭(주기)을 구한다. 그리고, 구간 폭을 보간하여 심박 주기의 시계열 데이터를 구한다. 심박 신호 전처리부(1O)에서는 이 취득한 심박 주기 시계열 데이터를 심박 요동값 추출부(11)로 출력한다.

심박 요동값 추출부(11)는 심박 신호 전처리부(10)에 있어서 취득된 심박 주기 시계열 데이터로부터 심박 요동 L, 심박 요동 H, 심박 요동 L/H의 시계열을 추출한다. 구체적으로는, 우선 심박 주기 시계열 데이터를 FFT 처리하여 심박 요동 주파수 성분인 파워 스펙트럼을 취득한다. 다음에, 이 파워 스펙트럼에 대하여 저주파 성분(0.1㎐ 부근)과 고주파 성분(0.3㎐ 부근)의 각 주파수 대역을 지정하고, 각 주파수 대역의 파워 스펙트럼을 각각 적분한다. 또한, 심박 요동의 저주파 성분의 적분값을 심박 요동의 고주파 성분의 적분값으로 제산한다. 이 처리를 반복하여 행함으로써 심박 요동의 저주파 성분의 진폭 스펙트럼 파워(심박 요동 L)의 시계열 데이터, 심박 요동의 고주파 성분의 진폭 스펙트럼 파워(심박 요동 H)의 시계열 데이터 및 심박 요동의 저주파 성분/고주파 성분의 진폭 스펙트럼 파워(심박 요동 L/H)의 시계열 데이터를 취득한다. 심박 요동값 추출부(11)는 일정 시간마다 취득한 심박 요동 L, 심박 요동 H, 심박 요동 L/H를 심박 요동값 저장 버퍼(12)에 기억시킨다.

심박 요동값 저장 버퍼(12)는 심박 요동값 추출부(11)에서 추출한 심박 요동 L, 심박 요동 H, 심박 요동 L/H의 각 시계열 데이터를 저장하는 버퍼이다. 저장되는 시계열 데이터는 현재부터 과거의 일정 기간 내에 추출된 데이터이다. 이 일정 기간은 수분 내지 십수분 정도이다.

교감 신경 활동 활발 검출 처리부(13)는 심박 요동값 저장 버퍼(12)에 저장되어 있는 심박 요동 L의 시계열 데이터 혹은 심박 요동 L/H의 시계열 데이터를 사용하여 교감 신경 활동이 활발한 상태(심박 요동 L 혹은 심박 요동 L/H가 증가되어 커진 상태)를 검출한다. 도 13을 참조하여 심박 요동 L/H를 사용하여 검출하는 경우에 관하여 구체적으로 설명한다. 일정 시간마다 심박 요동 L/H가 교감 신경 활동 활발 판정 임계값(D2)을 초과하는지의 여부를 판정한다. 교감 신경 활동 활발 판정 임계값(D2)은 교감 신경 활동이 활발한 상태(졸림에 대항하고 있는 약한 졸림 상태)를 판정하기 위한 임계값이다. 심박 요동 L/H가 교감 신경 활동 활발 판정 임계값(D2)을 초과한 경우 심박 요동 L/H가 교감 신경 활동 활발 판정 임계값(D2)을 초과했을 때의 시각(TD2)으로부터의 시간을 계측하는 동시에, 일정 시간마다 심박 요동 L/H가 교감 신경 활동 활발 판정 임계값(D2) 이하로 되었는지의 여부를 판정한다. 심박 요동 L/H가 교감 신경 활동 활발 판정 임계값(D2) 이하로 된 경우 심박 요동 L/H가 교감 신경 활동 활발 판정 임계값(D2)이 되었을 때의 시각(TDurD2)을 기억하는 동시에 시간 계측하고 있는 계속 시간(DurD2)(=TDurD2-TD2)을 기억한다.

여기서, 교감 신경 활동 활발 판정 임계값(D2)의 설정 방법에 대하여 설명한다. 일례로서, 졸림을 다른 방법으로 정량화하여 졸림과 심박 요동 L 혹은 심박 요동 L/H의 상관을 얻는 방법을 들 수 있다. 졸림을 정량화하는 방법으로서는 얼굴 화상으로부터 졸림 레벨을 평가하는 방법이 있다(「인간 감각 계측 메뉴얼, 제1편」P146, 인간 생활 공학 연구 센터, 참조). 이러한 방법을 이용하여 다수의 피험자에 대한 실험 등에서 얻어진 데이터를 통계적으로 해석함으로써 교감 신경 활동 활발 판정 임계값(D2)이 미리 설정된다. 심박 요동 L을 사용하여 판정할 경우에는 심박 요동 L용으로 교감 신경 활동 활발 판정 임계값(D2)이 설정되고, 심박 요동 L/H를 사용하여 판정할 경우에는 심박 요동 L/H용으로 교감 신경 활동 활발 판정 임계값(D2)이 설정된다.

교감 신경 활동 활발 검출 판정부(14)는, 교감 신경 활동 활발 검출 처리부(13)에서 도출한 계속 시간(DurD2)을 사용하여 교감 신경 활동이 활발한 상태가 졸음 상태 예측에 필요한 정도인지(심박 요동 L 혹은 심박 요동 L/H가 증가되어 커진 상태가 충분히 유지되고 있는지)를 판정한다. 도 13을 참조하여 심박 요동 L/H를 사용하여 검출하는 경우에 대해 구체적으로 설명한다. 심박 요동 L/H가 교감 신경 활동 활발 판정 임계값(D2)을 초과하고 있는 계속 시간(DurD2)이 계속 시간 임계값(ST)을 초과하는지의 여부를 판정한다. 계속 시간 임계값(ST)은 교감 신경 활동이 활발한 상태가 충분히 계속되고 있는 것(즉, 약한 졸림 상태가 충분히 계속되고 있는 것)을 판정하기 위한 임계값이다. 계속 시간 임계값(ST)은 다수의 피험자에 대한 실험 등에서 얻어진 데이터를 통계적으로 해석함으로써 미리 설정되는데, 예를 들어 수분 정도이다. 계속 시간(DurD2)이 계속 시간 임계값(ST)을 초과하는 경우(즉, 심박 요동 L/H가 커진 상태가 충분히 유지되고 있는 경우), 계속 시간(DurD2)의 종단부의 시각(TDurD2)(즉, 교감 신경 활동이 활발한 상태의 종료의 시각)을 교감 신경 활동 활발 시각 저장 버퍼(15)에 기억시킨다. 참고로, 약한 졸림의 상태가 어느 정도 계속되고 있는 경우, 그대로 강한 졸림으로 이행하여 졸음 상태에 이를 가능성이 높다.

교감 신경 활동 활발 시각 저장 버퍼(15)는 교감 신경 활동 활발 검출 판정부(14)에서 계속 시간(DurD2)이 계속 시간 임계값(ST)을 초과한다고 판정한 경우에 교감 신경 활동이 활발한 상태의 종료의 시각(TDurD2)을 저장하는 버퍼이다.

부교감 신경 활동 활발 검출 처리부(16)는 심박 요동값 저장 버퍼(12)에 저장되어 있는 심박 요동 H의 시계열 데이터를 사용하여 부교감 신경 활동이 활발한 상태를 검출한다[심박 요동 H의 증감 방향(부호)의 시간 적분값을 도출한다]. 도 14를 참조하여 구체적으로 설명한다. 일정 시간마다 심박 요동 H를 시간 미분하여 심박 요동 H의 미분값[dH(t)]의 시계열 데이터를 생성한다. 그리고, 일정 시간마다 수학식 1에 표현한 바와 같이 0을 임계값으로 하여 심박 요동 H의 미분값[dH(t)]을 판정하여 dH(t)>0인 경우에는 SH(t)=1, dH(t)=0인 경우에는 SH(t)=0, dH(t)<0인 경우에는 SH(t)=-1로 부호화하여 미분값 부호[SH(t)]의 시계열 데이터를 생성한다. 또한, 수학식 2에 의해 미분값 부호[SH(t)]를 시간 적분하여 부호 적분[IH(t)]의 시계열 데이터를 생성한다.

수학식 2에 있어서, T1은 적분 구간이며, 예를 들어 수분 정도이다. 또한, 심박 요동 H의 증감을 부호화하고, 그 부호화된 증가 구간(1), 일정 구간(0), 감소 구간(-1)을 시간 적분함으로써 단순하게 심박 요동 H의 증감과 그 증감 시간만을 보게 되므로 개개인에 따라 다른 심박 요동 H(즉, 부교감 신경 활동)의 변화의 상황을 흡수할 수 있다. 예를 들어, 졸림 레벨이 동일 정도인 경우에도 심박 요동 H가 상대적으로 큰 사람 혹은 상대적으로 작은 사람이 있으며, 또한 졸림이 강해져 온 경우에도 심박 요동 H가 급속하게 증가하는 사람 혹은 서서히 증가하는 사람이 있다.

부교감 신경 활동 활발 검출 판정부(17)는 부교감 신경 활동 활발 검출 처리부(16)에서 도출한 부호 적분[IH(t)]의 시계열 데이터를 사용하여 부교감 신경 활동이 활발한 상태가 졸음 상태 예측에 필요한 정도인지(심박 요동 H가 증가하고 있는 상태가 충분히 유지되고 있는지)를 판정한다. 도 15를 참조하여, 구체적으로 설명한다. 일정 시간마다 부호 적분[IH(t)]이 부교감 신경 활동 활발 판정 임계값(IHS)을 초과하는지의 여부를 판정한다. 부교감 신경 활동 활발 판정 임계값(IHS)은 부교감 신경 활동이 활발한 상태가 충분히 계속되고 있는 것(즉, 약한 졸림 상태로부터 강한 졸림 상태로 이행한 것)을 판정하기 위한 임계값이다. 부호 적분[IH(t)]이 부교감 신경 활동 활발 판정 임계값(IHS)을 초과한 경우(즉, 심박 요동 H가 증가하고 있는 상태가 충분히 유지되고 있는 경우), 그 부교감 신경 활동 활발 판정 임계값(IHS)을 초과했을 때의 시각(THU)(즉, 부교감 신경 활동이 활발한 상태의 개시 시각)을 부교감 신경 활동 활발 시각 저장 버퍼(18)에 기억시킨다.

여기서, 부교감 신경 활동 활발 판정 임계값(IHS)의 설정 방법에 관하여 설명한다. 부교감 신경 활동 활발 판정 임계값(IHS)에 대해서도 교감 신경 활동 활발 판정 임계값(D2)과 마찬가지의 설정 방법을 이용한다. 부교감 신경 활동 활발 판정 임계값(IHS)의 경우에도 다수의 피험자에 대한 실험 등에서 얻어진 데이터를 통계적으로 해석함으로써 미리 설정된다.

부교감 신경 활동 활발 시각 저장 버퍼(18)는 부교감 신경 활동 활발 검출 판정부(17)에서 부호 적분[IH(t)]이 부교감 신경 활동 활발 판정 임계값(IHS)을 초과했다고 판정한 경우에 부교감 신경 활동이 활발한 상태의 개시의 시각(THU)을 저장하는 버퍼이다.

졸음 발생 예측부(19)는 교감 신경 활동 활발 시각 저장 버퍼(15)에 저장되어 있는 시각(TDurD2)과 부교감 신경 활동 활발 시각 저장 버퍼(18)에 저장되어 있는 시각(THU)을 사용하여 졸음 발생을 예측한다(즉, 졸음 상태로 되기 전의 강한 졸림 상태를 판정한다). 구체적으로는, 교감 신경 활동이 활발한 상태의 종료 시각(TDurD2)이 부교감 신경 활동이 활발한 상태의 개시 시각(THU) 이후의 시각 또한 그 시간차(THU-TDurD2)<이행 시간 임계값(TSleep)인지의 여부를 판정한다. 이행 시간 임계값(TSleep)은 교감 신경 활동이 활발한 상태가 가라앉은 후에 부교감 신경 활동이 활발한 상태로 될 때까지의 시간 간격을 판정하기 위한 임계값이며, 졸음 상태로 되는 과정에서 약한 졸림으로부터 강한 졸림으로 이행할 때까지 필요로 하는 충분한 시간이 설정된다. 이행 시간 임계값(TSleep)은 다수의 피험자에 대한 실험 등에서 얻어진 데이터를 통계적으로 해석함으로써 미리 설정되고, 예를 들어 십수분 정도이다. 시각(THU)이 시각(TDurD2) 이후의 시각 또한 (THU-TDurD2)<이행 시간 임계값(TSleep)의 경우(즉, 교감 신경 활동이 활발한 상태로 되고, 그 활발한 상태가 가라앉은 후에 부교감 신경 활동이 활발한 상태로 되고 또한 교감 신경 활동이 활발한 상태로부터 부교감 신경이 활발한 상태로 될 때까지의 이행 시간이 짧은 경우), 강한 졸림 상태라고 판정한다.

예측 결과 출력부(20)는 졸음 발생 예측부(19)에서 강한 졸림 상태라고 판정한 경우에, 운전자가 강한 졸림 상태인 것이나 운전자에 대하여 휴식을 재촉하는 고지를 하기 위해서, 출력 수단(3)에 대하여 출력 신호를 송신한다.

도 1을 참조하여 졸음 발생 예측 장치(1)의 동작에 대하여 설명한다. 특히, ECU(4)에 있어서의 전체의 처리에 대해서는 도 2의 흐름도를 따라 설명하고, 그 중의 심박 신호 전처리에 대해서는 도 3의 흐름도를 따라 설명하고, 심박 요동값 추출 처리에 대해서는 도 4의 흐름도를 따라 설명한다.

심박 센서(2)에서는, 일정 시간마다 운전자의 심전위를 검출하고, 심박 신호를 ECU(4)로 송신하고 있다. ECU(4)에서는 심박 센서(2)로부터 심박 신호를 판독하여(S100), 시계열의 심박 신호를 사용하여 심박 신호 전처리를 실행한다(S102).

우선, ECU(4)에서는 심박 신호의 시계열 데이터를 밴드 패스 필터로 처리하여, 심박 신호의 시계열 데이터로부터 0.1㎐ 내지 30㎐의 성분을 취출한다(S200).도 5에는, 심전위에 대한 밴드패스 필터링의 처리 결과의 일례를 나타내고 있다.

다음에, ECU(4)에서는 밴드 패스 필터에 의해 처리한 심박 신호의 시계열 데이터로부터 심박 타이밍 검출용 임계값(TH₀) 이상으로 되어 있는 파형 부분을 잘라낸다(도 5 참조). 그리고, 도 6에 도시한 바와 같이 ECU(4)에서는 잘라낸 파형 부분이 최대로 되는 타이밍을 1로 하고 다른 타이밍을 0으로 하여 2치화한다(S202). 이에 의해, 도 7에 도시한 바와 같이 일련의 심박 타이밍의 시계열 데이터가 구해진다.

다음에, 도 8에 도시한 바와 같이, ECU(4)에서는 각 심박 타이밍(t1)으로부터 다음 심박 타이밍(t2)까지의 시간(초)을 구하여, 그 구간 폭t(=t2-t1)을 각 심박 타이밍(t1)에 부여한다(S204). 이에 의해, 도 8에 도시한 바와 같이 심박 주기의 정보의 시계열 데이터가 취득된다.

다음에, 도 9에 도시한 바와 같이 ECU(4)에서는 심박 주기의 정보(구간 폭t)를 보간하여 심박 주기의 곡선 C를 구한다(S206). 이에 의해, 심박 주기의 시계열 데이터가 취득된다. 그리고, ECU(4)에서는 이 심박 주기의 시계열 데이터로부터 심박 요동 L, 심박 요동 H, 심박 요동 L/H를 추출하는 심박 요동값 추출 처리를 실행한다(S104).

우선, 도 10에 도시한 바와 같이 ECU(4)에서는 임의의 타임 스탬프인 기준 시간 T보다 전의 해석 단위 구간 폭[Tterm(초)]에 있어서의 심박 주기의 시계열 데이터에 대하여 고속 푸리에 변환(FFT) 처리를 행한다(S300). 이에 의해, 심박 요동 주파수 성분인 파워 스펙트럼이 얻어진다.

다음에, 도 11에 도시한 바와 같이 ECU(4)에서는 FFT 처리에 의해 해석 단위 구간마다 얻어진 파워 스펙트럼에 대하여 심박 요동의 저주파 성분(0.1㎐ 부근)과 고주파 성분(0.3㎐ 부근)의 주파수 대역을 설정한다(S302). 그리고, ECU(4)에서는 설정한 주파수 대역마다 파워 스펙트럼을 적분한다(S304). 또한, ECU(4)에서는 저주파 성분의 주파수 대역의 적분값을 고주파 성분의 주파수 대역의 적분값으로 제산한다. 이에 의해, 심박 요동 L(저주파 성분의 진폭 스펙트럼 파워), 심박 요동 H(고주파 성분의 진폭 스펙트럼 파워), 심박 요동 L/H(저주파 성분/고주파 성분의 진폭 스펙트럼 파워)가 얻어진다.

계속해서, ECU(4)에서는 일정 시간이 경과하여 기준 시간 T가 될 때마다 상기의 처리를 반복해 행하여 심박 요동값의 시계열 데이터를 취득한다(S306). 이에 의해, 심박 요동 L의 시계열 데이터, 심박 요동 H의 시계열 데이터, 심박 요동 L/H의 시계열 데이터가 얻어진다. 도 12에는 저주파 성분의 진폭 스펙트럼 파워의 시계열 데이터의 일례를 도시하고 있다.

ECU(4)에서는 심박 요동 L, 심박 요동 H, 심박 요동 L/H를 취득할 때마다 심박 요동값 저장 버퍼(12)에 심박 요동 L, 심박 요동 H, 심박 요동 L/H를 기억시킨다(S1O6). 이에 의해, 심박 요동값 저장 버퍼(12)에는 심박 요동 L, 심박 요동 H, 심박 요동 L/H의 각 시계열 데이터가 저장되어 간다.

도 13에 도시한 바와 같이, ECU(4)에서는 심박 요동 L의 시계열 데이터 혹은 심박 요동 L/H의 시계열 데이터를 사용하여 교감 신경 활동 활발 판정 임계값(D2)을 초과하는지의 여부를 판정하여 교감 신경 활동이 활발한 상태로 되었는지를 검출한다(S108). 교감 신경 활동 활발 판정 임계값(D2)을 초과했다고 판정한 후, ECU(4)에서는 교감 신경 활동 활발 판정 임계값(D2)을 초과하고 있는 계속 시간을 계측하는 동시에, 교감 신경 활동 활발 판정 임계값(D2) 이하로 되었는지의 여부를 판정하여 교감 신경 활동이 활발한 상태가 가라앉았는지를 검출한다(S108). 교감 신경 활동 활발 판정 임계값(D2) 이하라고 판정한 경우, ECU(4)에서는 교감 신경 활동 활발 판정 임계값(D2)을 초과하였던 계속 시간(DurD2)과 계속 시간(DurD2)의 종단부의 시각(TDurD2)을 기억한다(S108). 이에 의해 교감 신경 활동이 활발한 상태의 기간이 검출되어, 그 활발한 상태의 계속 시간(DurD2)과 그 상태가 끝날 때의 시각(TDurD2)이 얻어진다.

그리고, ECU(4)에서는 그 계속 시간(DurD2)이 계속 시간 임계값(ST)을 초과하는지의 여부(즉, 교감 신경 활동이 활발한 상태가 충분히 계속되었는지의 여부)를 판정한다(S110). S110에서 계속 시간(DurD2)이 계속 시간 임계값(ST)을 초과했다고 판정한 경우, ECU(4)에서는 시각(TDurD2)을 교감 신경 활동 활발 시각 저장 버퍼(15)에 기억시킨다(S112). 이에 의해, 졸음 상태 발생의 예측에 필요한 만큼 교감 신경 활동이 활발한 상태가 충분히 계속되었는지의 여부가 판정되어 활발한 상태가 충분히 계속된 경우에는 활발한 상태가 종료되었을 때의 시각(TDurD2)이 얻어진다. 한편, S110에서 계속 시간(DurD2)이 계속 시간 임계값(ST)을 초과하지 않는다고 판정한 경우, ECU(4)에서는 S100부터의 처리를 반복한다.

도 14에 도시한 바와 같이, ECU(4)에서는 심박 요동 H의 시계열 데이터를 시간 미분 처리하여 그 미분값[dH(t)]을 수학식 1에 의해 부호화 처리하고, 미분값 부호[SH(t)]를 수학식 2에 의해 시간 적분하여 부호 적분[IH(t)]의 시계열 데이터를 생성한다(S114). 이 부호 적분[IH(t)]의 값이 플러스값으로 클수록 부교감 신경 활동이 활발한 상태가 계속되고 있는 것을 나타내므로 부호 적분[IH(t)]으로부터 부교감 신경 활동이 활발한 상태 및 그 계속 상태를 검출할 수 있다.

도 15에 도시한 바와 같이, ECU(4)에서는 부호 적분[IH(t)]이 부교감 신경 활동 활발 판정 임계값(IHS)을 초과하는지의 여부(즉, 부교감 신경 활동이 활발한 상태인지의 여부)를 판정한다(S116). S116에서 부교감 신경 활동 활발 판정 임계값(IHS)을 초과했다고 판정한 경우, ECU(4)에서는 그 초과했을 때의 시각(THU)을 부교감 신경 활동 활발 시각 저장 버퍼(18)에 기억시킨다(S118). 이에 의해, 졸음 상태 발생의 예측에 필요한 만큼 부교감 신경 활동이 충분히 활발한 상태라고 판정되어, 그 판정되었을 때의 시각(THU)이 얻어진다. 한편, S116에서 부교감 신경 활동 활발 판정 임계값(IHS)을 초과하지 않는다고 판정한 경우, ECU(4)에서는 S100부터의 처리를 반복한다.

교감 신경 활동이 활발한 상태의 종료의 시각(TDurD2)과 부교감 신경 활동이 활발한 상태의 개시의 시각(THU)이 모두 버퍼링된 경우, ECU(4)에서는 시각(THU)이 시각(TDurD2)보다 후의 시각 또한 (THU-TDurD2)<이행 시간 임계값(TSleep)인지의 여부를 판정하여 졸음 상태 발생을 예측 판정한다(S120). S120의 판정 조건을 충족하지 못한 경우, ECU(4)에서는 졸음 상태를 발생하지 않는다고 예측하여 S100부터의 처리를 반복한다.

한편, S120의 판정 조건을 충족하는 경우, ECU(4)에서는 약한 졸림으로부터 강한 졸림으로 이행하고 있다고 판정하여 졸음 상태가 발생한다고 예측하여 그 판정 결과를 고지하기 위한 출력 신호를 출력 수단(3)으로 송신한다(S122). 출력 신호를 수신하면 출력 수단(3)에서는 운전자가 강한 졸림 상태이며, 바로 졸음 상태로 되는 것을 알리기 위한 출력을 행한다. 이 출력에 의해, 운전자가 졸음 상태로 되어 버리는 것을 알아차리거나 혹은 운전자 이외의 사람이 운전자가 졸음 상태로 되어 버리는 것을 알고 운전자를 환기시킨다. 이에 의해, 운전자의 졸림이 약해져 가거나, 혹은 운전자가 휴식을 취한다.

졸음 발생 예측 장치(1)의 평가 시험으로서, 졸음 상태로 되기 전의 강한 졸림 상태의 판정 시험을 행했다. 여기에서는, 피험자(운전자)의 심박 요동값에 기초하는 강한 졸림에 대한 판정 결과와 피험자의 얼굴 화상으로부터 얻어진 관능 평가의 평가 결과를 비교함으로써 평가 시험을 행하였다. 그 시험 방법 및 시험 결과를 설명한다.

시험은 다음의 수순으로 행하였다. 1. 피험자의 심박 신호의 계측과 동시에 피험자의 얼굴 화상 시계열을 취득한다. 2. 얼굴 화상 시계열을 하기의 레벨1 내지 레벨5를 기준으로 하여 평가하여 피험자의 졸림을 5단계로 나눈다. 또한, 관능 평가의 평가자는 복수명(예를 들어, 2명)으로 한다. 3. 복수명의 관능 평가의 평균값(Sens)(관능 평가 레벨)을 산출한다. 4. 관능 평가 평균값(Sens)으로부터 도 19에 나타내는 표에 따라, 관능 평가에 의한 졸림 레벨 D0 내지 D4를 취득한다. 5. 동시에 졸음 발생 예측 장치(1)에 의해 심박 신호의 시계열로부터 구한 심박 요동값에 기초하여 피험자의 강한 졸림 상태의 판정을 행한다. 또한, 평가의 공정을 기하기 위해, 평가자에 대하여 피험자의 심박 요동값에 관한 정보를 사전에 일체 제공하지 않았다.

관능 평가 레벨에 대하여 설명한다. 레벨1은 전혀 졸리지 않은 것 같음(시선의 이동이 빠르고 빈번하다, 눈 깜박임은 2초에 2회 정도의 안정된 주기, 움직임이 활발하며 신체의 움직임을 수반한다). 레벨2는 약간 졸린 것 같음(입술이 벌어져 있다, 시선 이동의 움직임이 느리다). 레벨3은 졸린 것 같음(눈 깜박임은 천천히 자주한다, 입의 움직임이 있다, 고쳐 앉는 일이 있다, 얼굴에 손을 댄다). 레벨4는 꽤 졸린 것 같음(의식적이라고 생각되는 눈 깜박임이 있다, 머리를 흔든다, 어깨의 상하 이동 등의 불필요한 신체 전체의 움직임이 있다, 하품은 빈발하고 심호흡도 보인다, 눈 깜박임이나 시선의 움직임도 느리다). 레벨5는 매우 졸린 것 같음(눈을 감는다, 머리가 앞으로 기운다, 머리가 뒤로 넘어간다). (출전: 「인간 감각 계측 메뉴얼, 제1편」, P146, 인간 생활 공학 연구 센터)

도 16 내지 도 18에는 졸음 발생 예측 장치(1)의 평가 시험의 일례를 도시하고 있다. 도 16에는 교감 신경 활동 활발 검출 처리부(13) 및 교감 신경 활동 활발 검출 판정부(14)에서 취급하는 데이터를 도시하고 있으며, 도 17에는 부교감 신경 활동 활발 검출 처리부(16) 및 부교감 신경 활동 활발 검출 판정부(17)에서 취급하는 데이터를 나타내고 있고, 도 18에는 졸음 발생 예측부(19)에서 취급하는 데이터를 도시하고 있다.

도 16의 (a)에는 심박 요동 L/H의 시계열 데이터를 도시하고 있으며, 심박 요동 L/H가 교감 신경 활동 활발 판정 임계값(D2)을 초과하고 있는 구간이 있다. 도 16의 (b)에는, 도 16의 (a)의 심박 요동 L/H에서 교감 신경 활동 활발 판정 임계값(D2)을 초과한 부분[D_L/H(t)]의 시계열 데이터를 도시하고 있다. 도 16의 (c)에는 D_L/H(t)의 시계열 데이터에서 0보다 큰 구간에서 계속 시간이 계속 시간 임계값(ST)을 초과한 구간을 1, 초과하지 않은 구간을 0으로 한 D_DurD2(t)의 시계열 데이터를 도시하고 있다. 이 D_DurD2(t)의 시계열 데이터에 있어서 1로 되어 있는 구간이 교감 신경 활동이 활발한 상태가 충분히 계속된 구간이며, 시각(TDurD2)에서 그 활발한 구간이 종료된다.

도 17의 (a)에는 심박 요동 H의 시계열 데이터를 도시하고 있다. 도 17의 (b)에는 도 17의 (a)의 심박 요동 H의 시계열 데이터로부터 얻어진 부호 적분[IH(t)]의 시계열 데이터를 도시하고 있다. 도 17의 (c)에는 부호 적분[IH(t)]과 부교감 신경 활동 활발 판정 임계값(IHS)을 도시하고 있으며, 부호 적분[IH(t)]에서 부교감 신경 활동 활발 판정 임계값(IHS)을 초과했을 때의 시각(THU)이 도시되어 있다. 이 시각(THU)에서 부교감 신경 활동이 충분히 활발한 상태로 되어 있다.

도 18의 (a)는 도 16의 (a)의 D_DurD2(t)의 시계열 데이터이며, 1의 구간의 종단부의 시각(TDurD2)(즉, 교감 신경 활동이 활발한 상태가 종료라고 판정된 시각)이 도시되어 있다. 도 18의 (b)는 도 17의 (c)의 IH(t)의 시계열 데이터이며, 부교감 신경 활동 활발 판정 임계값(IHS)을 초과한 시각(THU)(즉, 부교감 신경 활동이 활발한 상태라고 판정된 시각)이 도시되어 있다. 도 18의 (c)는 관능 평가에 의한 졸림 레벨의 시계열 데이터를 도시하고 있다.

도 18의 (a), 도 18의 (b), 도 18의 (c)는 시간축을 맞추어 두고, 시각(TDurD2) 후에 시각(THU)으로 되어 있으며, 이 시간차(THU-TDurD2)가 이행 시간 임계값(TSleep)보다도 짧다. 따라서, 졸음 발생 예측 장치(1)에서는 시각(THU)의 시점에서 졸음 상태 전의 강한 졸림 상태라고 판정한다. 이 시각(THU)일 때의 졸림 레벨은 D3이며, 피험자는 꽤 졸린 듯한 상태로, 이 후 즉시 졸음 상태가 되었다. 이와 같이, 졸음 발생 예측 장치(1)에서는 피험자의 강한 졸림 상태의 검지(졸음 상태 발생의 예측)에 성공하고 있어, 졸음 발생 예측 장치(1)의 유효성이 확인되었다.

이 졸음 발생 예측 장치(1)에 따르면, 심박 요동값에 기초하는 교감 신경 활동과 부교감 신경 활동의 증감 위상 관계로부터 수분 내지 십수분 후의 졸음 상태 발생을 고정밀도로 예측할 수 있다(졸음 상태 발생 전의 강한 졸림을 고정밀도로 판정할 수 있다). 그 때문에, 운전자에 대하여 졸음 상태로 되기 전의 최적의 타이밍에서 주의 환기할 수 있어 운전 조작에 영향이 생기기 전에 운전자의 각성도를 상승시키거나 혹은 운전자에게 휴식을 가지게 하거나 할 수 있다.

또한, 졸음 발생 예측 장치(1)에서는 만인에 대하여 설정한 각 임계값에 의해 교감 신경 활동이나 부교감 신경 활동이 활발한 상태를 절대값 판정하므로 졸음 상태 발생을 보다 고정밀도로 예측할 수 있다. 또한, 개개인에 의한 상대값 판정의 경우, 예를 들어 운전 개시 시(각성도가 높다고 예측될 때)의 심박 요동값을 기준값으로 하고 그 기준값으로부터의 상대적 변화에 기초하여 졸림을 판정하므로 운전 개시 시에 졸림이 있으면 판정 정밀도가 저하된다.

또한, 졸음 발생 예측 장치(1)에서는 교감 신경 활동이나 부교감 신경 활동이 활발한 상태를 판정할 때에 시간의 개념을 도입하고 있으므로, 활발한 상태를 보다 고정밀도로 판정할 수 있다. 또한, 졸음 발생 예측 장치(1)에서는 부교감 신경 활동이 활발한 상태를 판정할 때에 단순하게 심박 요동 H의 증감 방향(부호)과 그 증감하고 있는 시간만을 보고 있으므로, 개인차를 흡수할 수 있어 부교감 신경 활동이 활발한 상태를 보다 고정밀도로 판정할 수 있다.

이상, 본 발명에 따른 실시 형태에 대하여 설명했으나, 본 발명은 상기 실시 형태에 한정되는 일없이 다양한 형태로 실시된다.

예를 들어, 본 실시 형태에서는 차량의 운전자의 졸음 발생을 예측하는 졸음 발생 예측 장치에 적용했으나, 다른 탈것의 운전자, 각종 플랜트의 감시자, 야간의 종업원 등의 다양한 사람의 졸음 발생을 예측하기 위하여 이용해도 되고, 또한 졸음 전의 강한 졸림 등의 졸림 레벨(D3, D4)을 판정하는 졸림 판정 장치 등에 적용해도 된다.

또한, 본 실시 형태에서는 심박을 이용하여 교감 신경 활동이나 부교감 신경 활동을 검출하는 구성으로 했으나, 호흡 등의 다른 지표를 이용하여 교감 신경 활동이나 부교감 신경 활동을 검출해도 된다.

또한, 본 실시 형태에서는 교감 신경 활동이 활발한 상태로 되어, 그 활발 상태가 가라앉은 후에 부교감 신경 활동이 활발한 상태로 된 경우에 강한 졸림 상태라고 판정하는 구성으로 했으나, 교감 신경 활동이 활발한 상태로 되고 그 활발 상태가 유지 중에 부교감 신경 활동이 활발한 상태로 된 경우에 강한 졸림 상태라고 판정하는 구성으로 하여도 된다.

또한, 본 실시 형태에서는 교감 신경 활동이 활발한 상태의 판정과 부교감 신경 활동이 활발한 상태의 판정 방법으로서 일례를 나타냈으나, 이 방법에 한정되는 일없이 다양한 방법을 적용하는 것이 가능하다.

또한, 본 실시 형태에서는 강한 졸림을 판정한 경우에는 그 판정 결과를 고지하는 구성으로 했으나, 강한 졸림을 판정한 경우에는 운전자에게 자극을 부여하는 등, 각성도를 상승시키는 처치를 행해도 된다.

<산업상이용가능성>

본 발명에 따른 졸림 판정 장치에 따르면, 교감 신경 활동이 활발해진 후에 교감 신경 활동과 부교감 신경 활동의 증감 관계를 판정함으로써 졸음 상태로 되기 전의 강한 졸림을 고정밀도로 판정할 수 있다.

1 : 졸음 발생 예측 장치
2 : 심박 센서
3 : 출력 유닛
4 : ECU
10 : 심박 신호 전처리부
11 : 심박 요동값 추출부
12 : 심박 요동값 저장 버퍼
13 : 교감 신경 활동 활발 검출 처리부
14 : 교감 신경 활동 활발 검출 판정부
15 : 교감 신경 활동 활발 시각 저장 버퍼
16 : 부교감 신경 활동 활발 검출 처리부
17 : 부교감 신경 활동 활발 검출 판정부
18 : 부교감 신경 활동 활발 시각 저장 버퍼
19 : 졸음 발생 예측부
20 : 예측 결과 출력부

Claims

피험자의 교감 신경에 관한 파라미터를 취득하는 교감 신경 파라미터 취득 유닛과,
피험자의 부교감 신경에 관한 파라미터를 취득하는 부교감 신경 파라미터 취득 유닛과,
상기 교감 신경 파라미터 취득 유닛에 의해 취득한 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 큰지의 여부를 판정하는 교감 신경 증가 판정 유닛과,
상기 교감 신경 증가 판정 유닛에 의해 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 크다고 판정한 경우에 상기 교감 신경 파라미터 취득 유닛에 의해 취득한 교감 신경 파라미터와 상기 부교감 신경 파라미터 취득 유닛에 의해 취득한 부교감 신경 파라미터의 증감 관계에 기초하여 피험자의 졸림을 판정하는 졸림 판정 유닛을 구비하는 것을 특징으로 하는 졸림 판정 장치.
제1항에 있어서, 상기 교감 신경 증가 판정 유닛은, 상기 교감 신경 파라미터 취득 유닛에 의해 취득한 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 크게 되어 있는 계속 시간이 시간 임계값보다 길어진 경우에 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 크다고 판정하는 것을 특징으로 하는 졸림 판정 장치.
제1항 또는 제2항에 있어서, 상기 부교감 신경 파라미터 취득 유닛은 심박 요동의 고주파 성분의 증감 방향에 기초하여 부교감 신경 파라미터를 취득하는 것을 특징으로 하는 졸림 판정 장치.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 부교감 신경 파라미터 취득 유닛에 의해 취득한 부교감 신경 파라미터의 크기가 부교감 신경용 임계값보다 큰지의 여부를 판정하는 부교감 신경 증가 판정 유닛을 구비하고,
상기 졸림 판정 유닛은, 상기 교감 신경 증가 판정 유닛에 의해 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 크다고 판정한 경우, 상기 교감 신경 증가 판정 유닛에 의해 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 작아졌다고 판정한 후에 상기 부교감 신경 증가 판정 유닛에 의해 부교감 신경 파라미터의 크기가 부교감 신경용 임계값보다 크다고 판정한 경우에 피험자가 강한 졸림 상태라고 판정하는 것을 특징으로 하는 졸림 판정 장치.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 부교감 신경 파라미터 취득 유닛에 의해 취득한 부교감 신경 파라미터의 크기가 부교감 신경용 임계값보다 큰지의 여부를 판정하는 부교감 신경 증가 판정 유닛을 구비하고,
상기 졸림 판정 유닛은, 상기 교감 신경 증가 판정 유닛에 의해 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 크다고 판정한 경우, 상기 교감 신경 증가 판정 유닛에 의해 교감 신경 파라미터의 크기가 교감 신경용 임계값보다 크다고 하는 판정을 계속하는 중에 상기 부교감 신경 증가 판정 유닛에 의해 부교감 신경 파라미터의 크기가 부교감 신경용 임계값보다 크다고 판정한 경우에 피험자가 강한 졸림 상태라고 판정하는 것을 특징으로 하는 졸림 판정 장치.