KR101932147B1 - 심전도 신호를 이용한 운전자의 졸음운전 진단 방법 및 장치 - Google Patents

Abstract

본 발명에 따르는 심전도 신호를 이용한 운전자의 졸음운전 진단장치는, 차량의 각부에 설치된 다수의 전극들; 및 상기 다수의 전극들 중 둘 이상으로부터 검지되는 운전자의 심전도 신호를 실시간 검지하고, 상기 실시간 검지된 심전도 신호에 대해 미리 정해둔 시간구간동안의 R-R 피크간격 값을 검출하고, 상기 R-R 피크간격 값의 평균값이 미리 정해둔 졸음운전 판단범위에 속하는지 여부를 토대로 운전자의 졸음운전을 판단하는 신호처리부;를 구비함을 특징으로 한다.

Description

심전도 신호를 이용한 운전자의 졸음운전 진단 방법 및 장치{sleepiness diagnostic method and apparatus using signal of electrocardiogram for driver}

본 발명은 운전자의 생체상태를 검출하는 기술에 관한 것으로, 더욱 상세하게는 운전자의 심전도 신호를 이용하여 운전자의 졸음운전을 진단하는 방법 및 장치에 관한 것이다.

교통사고의 원인은 운전자의 부주의나 도로 환경에 의한 돌발적인 위험 상황의 발생 등 여러가지 요인이 관련되어 있을 수 있다. 그중 운전자의 졸음운전 등에 의한 사고의 비중은 해마다 늘어나는 추세이며, 이는 대부분 인명사고로 이어지는 대형사고를 야기하므로 심각한 사회문제로 부각되고 있다.

특히 운전자가 피로한 상태에서 운전을 하거나 장시간 운전을 하는 경우에는 무의적으로 졸음운전을 하게 되므로, 운전자의 운전중 졸음을 경고하거나 이를 제한하기 위한 다양한 방법이 제안되고 있다.

이러한 기술로는 대한민국 특허청에 특허공개된 제10-2010-0089408호가 있으며, 이는 차량의 운전석 시트의 등받침부에 구비되는 전극을 포함하고, 운전자의 신체와 비접촉된 상태로 운전자의 심전도를 포함한 생리특성을 감지하는 생리특성감지부와; 상기 차량의 운전석 시트의 등받침부에 구비되어 음파진동을 발생시키는 음파진동부와; 상기 생리특성감지부의 출력신호를 미리 설정된 기준값과 비교하여 졸음운전여부를 판단하여 상기 음파진동부를 제어하는 제어부;를 포함하여 구성되는 것을 특징으로 하는 운전자 졸음운전 방지장치를 개시하고 있다.

그리고 대한민국 특허청에 특허공개된 제10-2011-0077593호는, 측정 대상자의 인접한 심장박동 주기 차이의 절대값이 특정 시간 문턱치 이상으로 분포하는 비율(pNNx)을 구하고 적합도를 판정하여 기준값을 설정하는 기준값 설정부; 기준 상태와 측정 상태의 차이를 가장 크게 나타낼 수 있는 문턱치 시간값(th)을 설정하는 문턱치 시간값 설정부; 졸음판단이 요구되는 상황에서 심박변이를 추출하여 N개의 심박변이를 선택하고 각각에 대하여 pNNth를 구하고 평균하여 이를 상기 기준값 설정부에서 설정한 기준값과 비교하여 1차 판정을 하고, 졸음 상태로 판정되면 설정 시간 동안의 N개의 심박변이를 다시 선택하고 각각에 대하여 pNNth를 구하고 평균하여 이를 상기 기준값 설정부에서 설정한 기준값과 비교하여 2차 판정을 하는 졸음상태 판정부;를 포함하는 인접한 심장박동 주기 차이를 이용한 졸음상태 판정 기술을 개시하고 있다.

또한 대한민국 특허청에 특허공개된 제10-2016-0038914호는 상기 운전자의 뇌파를 측정하는 뇌파센서; 상기 운전자의 안구전도를 측정하는 안구전도센서; 상기 운전자의 광용적맥파를 측정하는 광용적맥파센서; 상기 운전자의 머리의 움직임을 측정하는 가속도 및 자이로센서; 및 상기 각 센서로부터 획득된 신호를 분석하여 기 설정된 졸음운전판단 기준영역에 포함될 경우 졸음운전으로 판단하는 마이크로콘트롤러;를 포함하여 이루어진 것을 특징으로 하는 생체신호를 이용한 운전자의 졸음운전 판단장치를 개시하고 있다.

상기한 바와 같이 종래에는 생체신호를 이용하여 운전자의 졸음운전을 검지하여 경보하는 다양한 기술이 제안되고 있으나, 졸음운전으로 진입하는 것은 순식간에 일어나는 일이면서도 졸음운전 여부를 판단하는 것은 매우 까다로워 오인식되는 경우에는 불필요한 경보에 의해 안전 운전을 훼방한 결과를 초래하거나 졸음운전을 늦게 검지하여 적절한 때에 운전자를 각성시킬 수 없는 문제가 있었다.

또한 졸음운전을 위해 너무 많은 부가장치를 사용하는 것은 운전자의 불편함을 초래하여 사용하지 않게 되는 원인이 되었다.

이에 종래에는 운전자가 인지하지 못하는 상황에서도 운전자의 생체변화를 검지하여 졸음운전을 신뢰성있게 검지하여 졸음운전시에만 운전자에게 경보를 제공하여 각성되게 할 수 있는 기술의 개발이 절실하게 요망되었다.

대한민국 특허공개 제1020160078020호 대한민국 특허공개 제1020010083021호 대한민국 특허공개 제1020160043417호

본 발명은 운전자가 인지하지 못하는 상황에서도 운전자의 생체변화를 토대로 졸음운전을 신뢰성있게 검지하여 졸음운전시에만 운전자에게 경보를 제공하고 졸음운전이 아닌 경우에는 운전을 방해하지 않게 하는 심전도 신호를 이용한 운전자의 졸음운전 진단방법 및 장치를 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명에 따르는 심전도 신호를 이용한 운전자의 졸음운전 진단장치는, 차량의 각부에 설치된 다수의 전극들; 및 상기 다수의 전극들 중 둘 이상으로부터 검지되는 운전자의 심전도 신호를 실시간 검지하고, 상기 실시간 검지된 심전도 신호에 대해 미리 정해둔 시간구간동안의 R-R 피크간격 값을 검출하고, 상기 R-R 피크간격 값의 평균값이 미리 정해둔 졸음운전 판단범위에 속하는지 여부를 토대로 운전자의 졸음운전을 판단하는 신호처리부;를 구비함을 특징으로 한다.

상기한 본 발명은 운전자가 인지하지 못하는 상황에서도 운전자의 생체변화를 토대로 졸음운전을 신뢰성있게 검지하여 졸음운전시에만 운전자에게 경보를 제공하고 졸음운전이 아닌 경우에는 운전을 방해하지 않게 할 수 있는 효과를 야기한다.

도 1은 본 발명의 바람직한 실시예에 따르는 심전도 신호를 이용한 운전자의 졸음운전 진단장치의 구성도.
도 2는 본 발명의 바람직한 제1실시예에 따르는 심전도 신호를 이용한 운전자의 졸음운전 진단방법의 흐름도.
도 3 및 도 4는 본 발명의 바람직한 실시예에 따르는 졸음운전 판별과정을 예시한 도면.
도 5는 본 발명의 바람직한 제2실시예에 따르는 졸음운전 진단방법의 흐름도.
도 6은 R-R 피크간격 값의 평균 값의 증가율과 LF/HF 변화율을 토대로 졸음을 검지한 결과를 예시한 도면.

본 발명은 운전자가 인지하지 못하는 상황에서도 운전자의 생체변화를 토대로 졸음운전을 신뢰성있게 검지하여 졸음운전시에만 운전자에게 경보하고 졸음운전이 아닌 경우에는 운전을 방해하지 않게 할 수 있다.

<심전도 신호를 이용한 운전자의 졸음운전 진단장치의 구성>

도 1은 본 발명의 바람직한 실시예에 따르는 심전도 신호를 이용한 운전자의 졸음운전 진단장치의 구성도를 도시한 것으로, 상기 심전도 신호를 이용한 운전자의 졸음운전 진단장치는 다수의 전극(1001~100N, 1021~102M, 1041~104L, 1061~106O), 신호처리부(200)와 메모리부(202)와 오디오 출력장치(204)와 비디오 출력부(206)와 진동 출력장치(208), 촬상장치(210)로 구성된다.

상기 다수의 전극(1001~100N, 1021~102M, 1041~104L, 1061~106O)은 차량의 각부에 설치되어 운전자의 피부와 접촉 또는 비접촉상태에서 심전도 신호를 검지하여, 상기 신호처리부(200)에 제공한다. 상기 다수의 전극(1001~100N, 1021~102M, 1041~104L, 1061~106O)은 차량의 스티어링 휠 및 등받이, 차량 바닥, 기어봉 등에 설치되어 운전자의 신체와 접촉하며, 다수의 장소에 설치되어 사용자의 심전도 신호 검지 확률을 높인다. 특히 한손으로 운전대를 잡고 다른 한손으로 기어봉을 잡는 등의 동작을 이행할 때에도 심전도 신호의 검지를 가능하게 한다.

상기 촬상장치(210)는 운전자를 촬상하고 이를 신호처리부(200)로 제공한다.

상기 신호처리부(200)는 상기 다수의 전극(1001~100N, 1021~102M, 1041~104L, 1061~106O)를 통해 운전자의 심전도 신호를 실시간으로 검지하여 운전자의 졸음운전 여부를 판단하거나 운전자의 심전도 신호와 상기 운전자 촬상정보를 이용하여 운전자의 졸음운전 여부를 판단하고, 그 결과를 상기 오디오 출력장치(204), 비디오 출력장치(206), 진동 출력장치(208)를 통해 출력한다.

상기 메모리부(202)는 상기 신호처리부(200)의 졸음운전 여부 판단시에 필요한 각종 정보 및 생체상태 참조정보를 저장한다. 상기 생체상태 참조정보는 졸음운전 판단을 위한 기준이 되는 졸음수준 판단 테이블 및 자동차부품연구원의 DB 분석, 졸음판정 예지선도 정보로 구성된다. 상기 졸음수준 판단 테이블은 졸음수준별 R-R 피크간격 평균값 및 분산값 범위로 구성되거나 졸음수준별 R-R 피크간격 평균값 범위 및 분산값 범위 및 심박동수 평균값 범위, 눈깜빡임 주기 범위로 구성될 수 있다.

상기 오디오 출력장치(204)는 상기 신호처리부(200)의 제어에 따른 오디오 신호를 출력하며, 상기 오디오 신호로는 졸음 경보 안내 메시지 등일 수 있다.

상기 비디오 출력장치(206)는 상기 신호처리부(200)의 제어에 따른 비디오 신호를 출력하며, 상기 비디오 신호로는 졸음 경보 안내 메시지 등일 수 있다.

상기 진동 출력장치(208)는 상기 신호처리부(200)의 제어에 따른 진동을 출력하여 운전자에게 졸음 발생을 통지하며, 이러한 진동 출력장치(208)는 스티어링 휠에 설치될 수 있다.

<제1실시예>

<심전도 신호를 이용한 운전자의 졸음운전 진단방법의 절차>

먼저 심전도 신호의 구성을 설명한다. 심전도 신호에서 QRS 파는 심실근의 탈분극 과정에 의해 생기며, 최초의 하향파를 Q 파, 최초의 상향파를 R 파, R에 이어지는 하향파를 S 파라고 한다.

본 발명은 상기 QRS 파를 구성하는 R 파의 피크와 피크 사이의 간격인 R-R 피크간격 값의 평균값을 산출하고, 이 R-R 피크간격 값의 평균값 및 분산값을 토대로 운전자의 졸음수준을 판정한다.

이러한 본 발명의 바람직한 제1실시예에 따르는 심전도 신호를 이용한 운전자의 졸음운전 진단방법을 도 2를 참조하여 상세히 설명한다.

상기 신호처리부(200)는 상기 다수의 전극(1001~100N, 1021~102M, 1041~104L, 1061~106O) 중 둘 이상으로부터 검지되는 운전자의 심전도 신호를 실시간 검지한다(300단계).

이후 상기 신호처리부(200)는 상기 실시간 검지되는 심전도 신호에 대한 예처리를 이행한 후에 임시저장한다(302단계). 상기 예처리는 상기 심전도 신호의 노이즈를 제거하고 선형변화 경향성을 제거하거나 베이스 라이닝하는 것을 일컫는다.

상기 신호처리부(200)는 미리 정해둔 시간 구간마다, 해당 시간구간내의 예처리된 심전도 신호로부터 R-R 피크간격 값을 검출하고, 상기 R-R 피크간격 값에 대한 평균값과 분산값을 산출하고, 미리 저장된 제1졸음수준 판단 테이블을 토대로 상기 평균값과 분산값에 대응되는 졸음수준을 판단한다(304~310단계). 상기 제1졸음수준 판단 테이블은 표 1에 도시한 바와 같이 구성될 수 있다.

졸음 수준	R-R 피크간격 값의 평균값 범위	R-R 피크간격 값의 평균값의 분산값 범위
정상	제1범위	제5범위
제1졸음수준	제2범위	제6범위
제2졸음수준	제3범위	제7범위
제3졸음수준	제4범위	제8범위

이러한 제1졸음수준 판단 테이블은 다수의 실험군을 통해 획득될 수 있으며, 도 3은 본 발명에 따라 다수의 실험군(E07101943, E0719857, E08121624, E07131817)으로부터 졸음운전 판단을 위한 기준값을 획득하는 것을 예시하고 있다.

상기 신호처리부(200)는 상기 R-R 피크간격 값에 대한 평균값과 분산값을 토대로 판정된 운전자의 졸음수준이 미리 정해둔 경보수준의 졸음수준이라면, 상기 신호처리부(200)는 제2졸음수준이나 제3졸음수준 등 경보상황으로 판단한다.

특히 상기 신호처리부(200)는 제1 내지 제3졸음수준이며 도 4에 예시한 바와 같이 자동차 부품연구원의 졸음판정 예지선도에 따른 졸음 판정시기(녹색 실선)가 미리 정해둔 시간이내로 예측되면, 경보상황시기(붉은 실선)로 판단할 수도 있다. 이와 같이 본 발명은 졸음판정 예지선도에 따른 졸음 판정시기보다 미리 정해둔 시간보다 선행되어 졸음운전을 경보함으로써 실시간 경보를 가능하게 하는 효과를 야기한다. 여기서, 상기 자동차 부품연구원의 졸음판정 예지선을 획득하기 위한 과정은 이미 공지되었으므로 그 상세한 설명을 생략한다.

상기 신호처리부(200)는 운전자의 졸음수준이 경보상황으로 판단되면, 상기 졸음운전 발생을 경보하는 오디오 신호 및 비디오 신호, 진동신호를 오디오 출력장치(204) 및 비디오 출력장치(206), 진동 출력장치(208)를 통해 출력한다(312,314단계).

<제2실시예>

<심전도 신호를 이용한 운전자의 졸음운전 진단방법의 절차>

본 발명의 바람직한 제2실시예에 따르는 심전도 신호를 이용한 운전자의 졸음운전 진단방법을 도 5를 참조하여 상세히 설명한다.

상기 신호처리부(200)는 상기 다수의 전극(1001~100N, 1021~102M, 1041~104L, 1061~106O) 중 둘 이상으로부터 검지되는 운전자의 심전도 신호를 실시간 검지한다(400단계).

이후 상기 신호처리부(200)는 상기 실시간 검지되는 심전도 신호에 대한 예처리를 이행한 후에 임시저장한다(402단계). 상기 예처리는 상기 심전도 신호의 노이즈를 제거하고 선형변화 경향성을 제거하거나 베이스 라이닝하는 것을 일컫는다.

상기 신호처리부(200)는 미리 정해둔 시간 구간마다, 해당 시간구간내의 예처리된 심전도 신호로부터 R-R 피크간격 값을 검출하고, 상기 R-R 피크간격 값에 대한 평균값과 분산값을 산출하고, 맥박 평균값을 산출하며, 촬상장치(210)에 의해 촬상된 촬상정보를 토대로 운전자의 눈깜빡임 주기를 검출하고, 이를 미리 저장된 제2졸음수준 판단 테이블을 토대로 운전자의 졸음수준을 판단한다(404~412단계). 상기 제2졸음수준 판단 테이블은 표 2에 도시한 바와 같이 구성될 수 있다.

졸음수준	R-R 피크간격 값의 평균값 범위	R-R 피크간격 값의 평균값의 분산값 범위	맥박 평균값 범위	눈깜빡임 주기범위
정상	제1범위	제5범위	제9범위	제13범위
제1졸음수준	제2범위	제6범위	제10범위	제14범위
제2졸음수준	제3범위	제7범위	제11범위	제15범위
제3졸음수준	제4범위	제8범위	제12범위	제16범위

이러한 제2졸음수준 판단 테이블의 범위정보는 다수의 실험군을 통해 획득될 수 있다.

상기 신호처리부(200)는 상기 R-R 피크간격 값에 대한 평균값과 분산값, 맥박 평균값, 운전자의 눈깜빡임 주기값을 토대로 판정된 운전자의 졸음수준이 미리 정해둔 경보수준, 즉 제2 또는 제3졸음수준이라면, 상기 신호처리부(200)는 경보상황으로 판단한다.

상기 신호처리부(200)는 운전자의 졸음수준이 경보상황으로 판단되면, 상기 졸음운전 발생을 경보하는 오디오 신호 및 비디오 신호, 진동신호를 오디오 출력장치(204) 및 비디오 출력장치(206), 진동 출력장치(208)를 통해 출력한다(414,416단계).

이러한 본 발명은 심전도 신호로부터 교감신경과 부교감신경 즉, 자율 신경의 전체적인 균형정보를 반영하는 LF/HF ratio를 이용하는 경우에 비해 정확도와 신뢰도를 향상시킬 수 있다. 도 6은 다수의 실험군을 통해 R-R 피크간격 값의 평균값이 LF/HF ratio에 비해 졸음을 직접적으로 지시하고 있음을 나타내고 있다.

상기한 본 발명의 바람직한 실시예에서는 경보상황으로 판단되는 졸음수준이 될 때에 졸음운전 발생을 경보하는 것만을 예시하였으나, 졸음운전이 지속될 때에는 다수회에 걸쳐 졸음운전임을 경보할 수도 있으며, 이는 본 발명에 의해 당업자에게 자명하다.

1001~100N, 1021~102M, 1041~104L, 1061~106O : 다수의 전극
200 : 신호처리부
202 : 메모리부
204 : 오디오 출력장치
206 : 비디오 출력장치
208 : 진동 출력장치
210 : 촬상장치

Claims (10)

1. 심전도 신호를 이용한 운전자의 졸음운전 진단장치에 있어서,
   차량의 각부에 설치된 다수의 전극들;
   운전자를 촬상하는 촬상장치;
   졸음 수준별 R-R 피크간격 평균값 범위 및 분산값 범위, 심박동수 평균값 범위, 눈깜박임 주기 범위로 구성되는 설정값을 저장하고, 다수의 실험군으로부터 저장된 상기 설정값으로부터 졸음운전 판단을 위한 기준값을 획득하여 저장하는 메모리부;
   상기 다수의 전극들 중 둘 이상으로부터 검지되는 운전자의 심전도 신호를 실시간 검지하여, 실시간 검지된 심전도 신호에 대해 노이즈를 제거하고 선형변화 경향성을 제거하거나 베이스 라이닝하는 예처리를 이행한 후에, 미리 정해둔 시간구간 동안의 R-R 피크간격 값 및 맥박수를 산출하고, 산출된 상기 R-R 피크간격 값에 대한 평균값 및 분산값을 산출하고,
   상기 촬상장치로부터 획득된 촬상정보로부터 운전자의 눈깜빡임 주기를 검지하여 눈깜박임 주기의 평균값을 산출하여,
   산출된 상기 R-R 피크간격 평균값 및 분산값, 맥박수, 및 눈깜박임 주기 범위가 상기 메모리부에 저장된 기준값에 속하는지 여부를 토대로 운전자의 졸음운전을 판단하는 신호처리부; 및
   상기 신호처리부의 졸음운전 판단 제어에 따라 오디오 신호를 출력하는 오디오 출력장치와, 비디오 신호를 출력하는 비디오 출력장치와, 스티어링 휠에 설치되어 진동을 출력하는 진동 출력장치로 구성된 출력장치를 포함하고,
   상기 기준값에 졸음판정 예지선도 정보를 더 포함하고,
   상기 신호처리부는 상기 기준값에 속하고 상기 졸음판정 예지선도에 따른 졸음 판정시기가 미리 정해둔 시기 이내로 예측되면 상기 졸음운전으로 판단하는 것을 특징으로 하는 심전도 신호를 이용한 운전자의 졸음운전 진단장치.
2. 삭제
3. 심전도 신호를 이용한 운전자의 졸음운전 진단방법에 있어서,
   졸음 수준별 R-R 피크간격 평균값 범위 및 분산값 범위, 심박동수 평균값 범위, 눈깜박임 주기 범위로 구성되는 설정값을 저장하고, 다수의 실험군으로부터 저장된 상기 설정값으로부터 졸음운전 판단을 위한 기준값을 획득하는 단계;
   차량의 각부에 설치된 다수의 전극들 중 둘 이상으로부터 검지되는 운전자의 심전도 신호를 실시간 검지하여, 실시간 검지된 심전도 신호에 대해 노이즈를 제거하고 선형변화 경향성을 제거하거나 베이스 라이닝하는 예처리를 이행한 후에, 미리 정해둔 시간구간 동안의 R-R 피크간격 값 및 맥박수를 산출하고, 산출된 상기 R-R 피크간격 값에 대한 평균값 및 분산값을 산출하는 단계;
   상기 차량에 설치된 촬상장치로부터 획득된 촬상정보로부터 운전자의 눈깜빡임 주기를 검지하여 눈깜박임 주기의 평균값을 산출하는 단계;
   산출된 상기 R-R 피크간격 평균값 및 분산값, 맥박수, 및 눈깜박임 주기 범위가 상기 기준값에 속하는지 여부를 토대로 운전자의 졸음운전을 판단하는 단계; 및
   상기 졸음운전 판단에 따라 오디오 장치를 통해 오디오 신호를 출력하고, 비디오 장치를 통해 비디오 신호를 출력하며, 차량의 스티어링 휠에 설치된 진동장치를 통해 진동을 출력하는 단계;를 포함하고,
   상기 기준값에 졸음판정 예지선도 정보를 더 포함하고,
   상기 기준값에 속하고 상기 졸음판정 예지선도에 따른 졸음 판정시기가 미리 정해둔 시기 이내로 예측되면 상기 졸음운전으로 판단하는 단계를 더 포함하는 것을 특징으로 하는 심전도 신호를 이용한 운전자의 졸음운전 진단방법.
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제

Images