KR102186916B1 - 생체신호 패턴 분석 방법 및 장치 - Google Patents

Abstract

생체신호 패턴 분석 방법 및 장치가 제공된다. 본 생체신호 패턴 분석 방법에 따르면, 뇌파전극으로부터 측정신호를 입력받고, 측정신호에서 눈깜빡임 신호를 추출하며, 눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단하는 생체신호 패턴 분석 방법을 제공할 수 있게 되어, 더욱 정확하게 사용자의 졸음상태를 모니터링할 수 있게 된다.

Description

생체신호 패턴 분석 방법 및 장치 {Method and Device to analyze biosignal patterns}

생체신호 패턴 분석 방법 및 장치에 관한 것으로, 더욱 상세하게는, 뇌파신호 및 심전도 신호의 패턴을 분석하여 사용자의 상태를 판단하는 생체신호 패턴 분석 방법 및 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

교통사고의 발생 건에서 졸음운전이 교통사고 전체에 차지하는 비율은 일반 도로에서는 10~20%이고, 고속도로에서는 20~30%에 달한다. 일반적으로 운전자는 졸음운전을 방지하기 위하여 자동차를 정지시킨 후 운전자가 휴식을 취하였다. 그러나 시간상 운전자가 휴식을 취하기 어려울 경우, 졸음을 느끼면서도 계속 자동차를 운행하는 경우가 대부분이었다. 즉, 순간적으로 운전자가 졸 경우, 운전자의 시야가 확보되지 않아 졸음운전이 교통사고로 이어진다는 문제점이 있었다. 또한, 운전자 자신이 피로한 정도를 판단할 수 없기 때문에 피곤한 정도에 따라 신체에 가해야 하는 자극의 세기를 가늠할 수 없었다.

따라서, 운전 중에 운전자가 졸음이 오면 자동차의 창문을 열어 외부 공기를 쐬거나 잠깨는 약 등을 섭취함으로써 졸음운전을 피하려는 방법들 역시 운전자가 스스로 졸음운전 상태를 인지하지 못할 경우에는 수행할 수 없었다. 이로 인하여 졸음운전 상태가 지속될 수밖에 없었고, 이로 인하여 졸음운전을 하는 운전자 본인 뿐만 아니라, 타 운전자 및 보행자 등의 안전에도 위협을 가한다는 문제점이 있으므로, 졸음상태 판단장치의 필요성이 대두되고 있다.

이에 따라, 좀 더 간편하고 정확한 사용자의 졸음상태 판단장치를 제공하기 위한 방안의 모색이 요청된다.

삭제

대한민국 등록특허공보 제10-1476533호 (2014.12.30.)

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 뇌파전극으로부터 측정신호를 입력받고, 측정신호에서 눈깜빡임 신호를 추출하며, 눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단하는 생체신호 패턴 분석 방법 및 장치를 제공함에 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 생체신호 패턴 분석 장치에 의한 생체신호 패턴 분석 방법은, 뇌파전극으로부터 측정신호를 입력받는 단계; 측정신호에서 눈깜빡임 신호를 추출하는 단계; 및 눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단하는 단계;를 포함한다.

그리고, 추출단계는, 측정신호에서 신호세기(Intensity)가 임계값 이상인 시간대의 신호만을 추출함으로써, 측정신호에서 눈깜빡임 신호를 추출한다.

또한, 추출단계는, 입력된 측정신호를 실시간 시간대별로 숏타임 푸리에 변환(Short-time Fourier Transform)하는 단계; 측정신호에 대한 숏타임 푸리에 변환 결과를 이용하여 시간대별 주파수별 신호세기에 대한 데이터가 포함된 스펙트로그램(Spectrogram)을 생성하는 단계; 및 스펙트로그램에서 신호세기가 임계값 이상인 시간대를 눈깜빡임 시간대로 선별하고, 측정신호에서 해당 눈깜빡임 시간대의 신호만을 추출함으로써, 측정신호에서 눈깜빡임 신호를 추출하는 단계;를 포함한다.

그리고, 판단 단계는, 눈깜빡임 신호의 듀레이션(duration), 주파수(frequency) 및 진폭(amplitude)을 이용하여 사용자의 졸음상태 여부를 판단한다.

또한, 판단 단계는, 눈깜빡임 신호의 듀레이션이 제1 임계값 이상이고 눈깜빡임 신호의 주파수가 제2 임계값 이상이며 눈깜빡임 신호의 진폭이 제3 임계값 이하일 경우, 사용자가 졸음상태인 것으로 판단할 수도 있다.

그리고, 사용자가 각성 상태인 동안 입력되는 측정신호를 이용하여, 해당 사용자가 각성 상태인 경우의 눈깜빡임 신호에 대한 듀레이션, 주파수 및 진폭을 산출하고, 산출된 듀레이션, 주파수, 및 진폭을 이용하여 제1 임계값, 제2 임계값 및 제3 임계값을 산출하는 단계;를 더 포함할 수도 있다.

또한, 심박센서에 의해 측정된 사용자의 심전도 신호를 입력받는 단계; 및 심전도 신호에 대한 심박변이도의 저주파 성분과 고주파 성분의 비율값(저주파 성분/고주파 성분)인 LF/HF 비율값을 산출하는 단계;를 더 포함하고, 판단 단계는, 눈깜빡임 신호 및 LF/HF 비율값을 이용하여 사용자의 졸음상태 여부를 판단할 수도 있다.

그리고, 측정신호에서 뇌파 신호를 추출하는 단계; 및 사용자의 졸음 상태 중의 뇌파 신호의 평균 파워스펙트럼밀도를 나타내는 졸음 평균 파워스펙트럼밀도를 산출하고, 사용자의 각성 상태 중의 뇌파 신호의 평균 파워스펙트럼밀도를 나타내는 각성 평균 파워스펙트럼밀도를 산출하며, 졸음 평균 파워스펙트럼밀도에 복수의 가중치를 적용하여 각성 평균 파워스펙트럼밀도와 비교함으로써 최적 졸음 평균 파워스펙트럼밀도를 산출하는 단계;를 더 포함하고, 판단 단계는, 눈깜빡임 신호와 LF/HF 비율값과 최적 졸음 평균 파워스펙트럼밀도을 이용하여 사용자의 졸음상태 여부를 판단할 수도 있다.

또한, 뇌파전극은 전두극이나 귓속에 배치되고, 심박센서는 차량 핸들에 배치될 수도 있다.

한편, 본 발명의 일 실시예에 따른, 컴퓨터로 읽을 수 있는 기록매체는, 뇌파전극으로부터 측정신호를 입력받는 단계; 측정신호에서 눈깜빡임 신호를 추출하는 단계; 및 눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단하는 단계;를 포함하는 생체신호 패턴 분석 방법을 수행하는 컴퓨터 프로그램이 수록된다.

한편, 본 발명의 일 실시예에 따른, 생체신호 패턴 분석 장치는, 뇌파전극으로부터 측정신호를 입력받는 입력부; 측정신호에서 눈깜빡임 신호를 추출하고, 눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단하는 제어부;를 포함한다.

한편, 본 발명의 일 실시예에 따른, 졸음상태 감지장치는, 사용자에게 장착되는 뇌파전극; 및 뇌파전극에 의해 측정된 측정신호에서 눈깜빡임 신호를 추출하고, 눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단하는 제어부;를 포함한다.

본 발명의 다양한 실시예에 따르면, 뇌파전극으로부터 측정신호를 입력받고, 측정신호에서 눈깜빡임 신호를 추출하며, 눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단하는 생체신호 패턴 분석 방법 및 장치를 제공할 수 있게 되어, 더욱 정확하게 사용자의 졸음상태를 모니터링할 수 있게 된다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에 서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시 예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른, 생체신호 패턴 분석 장치의 구성을 도시한 블럭도,
도 2는 본 발명의 일 실시에에 따른, 생체신호 패턴 분석 장치의 실제 구성의 일 예를 도시한 도면,
도 3은 본 발명의 일 실시예에 따른, 생체신호 패턴 분석방법에 의해 사용자의 졸음여부를 판단하는 전체적인 방법을 도시한 도면,
도 4는 본 발명의 일 실시예에 따른, 각성상태에서의 눈깜빡임신호의 듀레이션, 주파수, 및 진폭에 대한 임계값들을 산출하는 과정을 도시한 도면,
도 5는 본 발명의 일 실시예에 따른, 측정신호에서 눈깜빡임 신호를 추출하는 과정을 도시한 도면,
도 6은 본 발명의 일 실시예에 따른, 실제 측정신호 및 스펙트로그램으로부터 눈깜빡임신호를 추출하는 과정을 설명하기 위한 예시 도면,
도 7은 본 발명의 일 실시예에 따른, 각성상태와 졸음상태의 눈깜빡임 신호의 일 예를 도시한 도면,
도 8은 본 발명의 일 실시예에 따른, 실사용 모드에서 듀레이션 기반 졸음여부 판단 과정을 도시한 도면,
도 9는 본 발명의 일 실시예에 따른, 실사용 모드에서 주파수 기반 졸음여부 판단 과정을 도시한 도면,
도 10은 본 발명의 일 실시예에 따른, 실사용 모드에서 진폭 기반 졸음여부 판단 과정을 도시한 도면,
도 11은 본 발명의 일 실시예에 따른, 각성상태에서의 심전도 신호에 대한 심박변이도의 LH/HF 비율값에 대한 임계값들을 산출하는 과정을 도시한 도면,
도 12는 본 발명의 일 실시예에 따른, 실사용 모드에서 심박 기반 졸음여부 판단 과정을 도시한 도면,
도 13은 본 발명의 일 실시예에 따른, 사용자가 각성상태일 때의 뇌파에 대한 고속푸리에변환(FFT) 차트를 도시한 그래프,
도 14는 본 발명의 일 실시예에 따른, 사용자가 졸음상태일 때의 뇌파에 대한 고속푸리에변환(FFT) 차트를 도시한 그래프,
도 15는 본 발명의 일 실시예에 따른, 뇌파 정보를 4개의 주파수 밴드로 구분하여 가중치를 적용하는 과정을 도시한 도면,
도 16은 본 발명의 일 실시예에 따른, 각성 상태에서의 뇌파에 대한 각성 평균 파워스펙트럼밀도를 산출하는 과정을 도시한 도면,
도 17은 본 발명의 일 실시예에 따른, 졸음 상태에서의 뇌파에 대한 최적 졸음 평균 파워스펙트럼밀도를 산출하는 과정을 도시한 도면,
도 18는 본 발명의 일 실시예에 따른, 실사용 모드에서의 뇌파 기반 졸음 여부 판단 과정을 도시한 도면이다.

본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.

다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을의미한다.

다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.

또한, 본 명세서에서 기술되는 "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른, 생체신호 패턴 분석 장치(100)의 구성을 도시한 블럭도이다. 도 1의 생체신호 패턴 분석 장치(100)는 눈깜빡임 신호, 심박변이도, 및 뇌파신호를 이용한 졸음상태 감지장치의 기능을 수행하게 된다.

도 1에 도시된 바와 같이, 생체신호 패턴 분석 장치(100)는 뇌파 측정부(110), 심박 측정부(120), 입력부(140), 및 제어부(150)를 포함한다. 생체신호 패턴 분석 장치(100)는 뇌파 측정 뿐만 아니라, 측정신호에서 눈깜빡임 신호를 추출하고, 심박수까지 측정하여 사용자의 졸음상태 또는 각성상태 판단에 이용함으로써, 졸음상태 판단의 정확도를 더 높일 수 있게 된다. 여기에서, 졸음상태는 사용자가 자신의 의지에 따라 판단 및 행동할 수 없는 상태를 나타내는 것으로, 수면중인 상태 뿐만 아니라 졸음이 온 상태 또는 눈감음 상태도 포함한다. 그리고, 각성상태는 사용자가 자신의 의지에 따라 판단 및 행동할 수 있는 상태를 나타내는 것으로, 사용자가 깨어있는 상태 또는 눈뜬 상태를 나타낸다.

뇌파 측정부(110)는 사용자의 머리에 부착되어 뇌파를 측정하는 뇌파전극을 포함하고, 측정된 뇌파 신호를 입력부(140)로 유선 또는 무선 통신을 통해 전달한다. 뇌파 측정부(110)는 사용자의 왼쪽 전두극(FP : Frontal Pole) 또는 오른쪽 전두극에 부착되어 뇌파를 측정하는 단채널 뇌파전극 패치를 포함한다. 또한, 뇌파 측정부(110)는 귓속에 장착되어 뇌파를 측정하는 단채널 뇌파전극을 포함할 수도 있음은 물론이다.

소형의 단채널 전두극 뇌파전극 패치는 사용자가 자가 측정이 가능하므로 사용자가 운전시에 졸음상태인지 각성상태인지 여부를 모니터링하는데 이용될 수 있다. 본 뇌파전극 패치는 졸음/각성상태 모니터링 외에도 간질파 분석, 학습 집중도 분석 등 다양한 분야에 용이하게 응용이 가능함은 물론이다. 단채널 전두극 뇌파전극 패치를 이용하면, 생체신호 패턴 분석 장치(100)는 측정된 측정신호에 포함된 눈깜빡임 신호 및 뇌파 신호를 이용하여 사용자의 졸음/눈감음/눈뜸 상태 등을 판단할 수 있게 된다.

뇌파전극 패치의 단면 구조에 따르면, 뇌파 측정부(110)의 뇌파전극 패치는 하드 인쇄회로기판(PCB) 상에 뇌파 측정 회로 모듈이 배치되어 있고, 그 주변에는 플렉서블 인쇄회로기판(PCB) 연결부가 배치되어 있으며, 일회용 탈부착 전극을 부착할 수 있는 일회용 전극패드 체결부가 포함되어 있다. 플렉서블 인쇄회로기판(PCB) 연결부는 굴곡이 생기거나 접힐 수 있는 부분이며 사용자의 이마 곡면부에 부착성을 향상시키기 위해 배치된다. 이와 같은 구조의 뇌파전극 패치가 뇌파 측정부(110)에 포함될 수 있다. 하지만, 이와 같은 구조의 뇌파 패치 외에도 다양한 구조의 뇌파 패치가 뇌파 측정부(110)에 포함될 수 있음은 물론이다.

뇌파 측정부(110)는 하나의 단채널 뇌파전극 패치만을 포함하므로, 사용자는 매우 쉽게 뇌파 패치를 자신의 전두극이나 귓속에 부착하여 쉽게 뇌파를 측정할 수 있게 된다.

심박 측정부(120)는 심박센서를 포함하며 사용자의 신체 부위에 접촉되어 사용자의 심박 정보를 측정한다. 예를 들어, 심박 측정부(120)는 차량 핸들에 배치되어 있고, 사용자가 핸들을 잡으면 사용자의 손에 접촉되어 심박수를 측정할 수도 있고, 전두극에 부착되어 전두극 동맥의 심박수를 측정할 수도 있으며, 그외에 다양한 신체부위에 부착되어 사용자의 심박수를 측정할 수 있다. 그리고, 심박 측정부(120)는 측정된 심박 정보를 입력부(140)로 유선 또는 무선 통신을 통해 전달한다.

입력부(140)는 뇌파 측정부(110) 및 심박 측정부(120)로부터 뇌파전극 측정신호와 심전도 신호 중 적어도 하나를 입력받는다. 입력부(140)는 유선 또는 무선 통신을 통해 뇌파전극 측정신호와 심전도 신호를 입력 받으며, 예를 들어 무선 통신의 경우 와이파이나 블루투스가 이용될 수도 있다. 그리고, 입력부(140)는 입력된 뇌파전극 측정신호와 심전도 신호를 제어부(150)로 전달한다.

제어부(150)는 생체신호 패턴 분석 장치(100)의 전반적인 동작을 제어한다. 그리고, 제어부(150)는 뇌파 측정부(110)의 뇌파전극에서 측정되는 측정신호에서 눈깜빡임 신호를 추출하고, 눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단한다. 또한, 제어부(150)는 뇌파 측정부(110)의 뇌파전극에서 측정되는 측정신호에서 뇌파신호를 추출하고, 뇌파 신호를 이용하여 사용자의 졸음상태 여부를 판단한다. 그리고, 제어부(150)는 심박측정부(120)의 심박센서에서 측정되는 심전도 신호를 이용하여 사용자의 졸음상태 여부를 판단한다. 이와 같이, 제어부(150)는 눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단한 눈깜빡임 기반 판단정보, 심전도 신호를 이용하여 사용자의 졸음상태 여부를 판단한 심박 기반 판단정보, 및 뇌파 신호를 이용하여 사용자의 졸음상태 여부를 판단한 뇌파 기반 판단정보를 생성하고, 눈깜빡임 기반 판단정보, 심박기반 판단정보, 및 뇌파기반 판단정보 중 적어도 하나가 졸음상태인 것으로 판단된 경우 사용자가 졸음상태인 것으로 최종 결정한다. 또한, 제어부(150)는 눈깜빡임 기반 판단정보, 심박기반 판단정보, 및 뇌파기반 판단정보 중 두 가지가 졸음상태인 것으로 판단된 경우 사용자가 졸음상태인 것으로 최종 결정하도록 구현될 수도 있다. 그리고, 졸음상태 판단의 정밀도를 높이기 위해, 제어부(150)는 눈깜빡임 기반 판단정보, 심박기반 판단정보, 및 뇌파기반 판단정보 모두가 졸음상태인 것으로 판단된 경우 사용자가 졸음상태인 것으로 최종 결정하도록 구현될 수도 있음은 물론이다.

이와 같은 구성의 생체신호 패턴 분석 장치(100)는 뇌파신호 뿐만 아니라, 심전도 신호 및 눈깜빡임 신호도 이용하여 사용자의 졸음상태를 판단하기 때문에, 소형화된 장치를 이용하여 더욱 정확하게 사용자의 졸음 상태를 모니터링할 수 있게 된다.

한편, 도 1에 기재된 생체신호 패턴 분석 장치(100)는 그 자체로 물리적으로 독립된 장치로 구현될 수 있을 뿐만 아니라, 어떤 장치나 시스템의 일부로 포함되어 있는 형태로 구현될 수도 있으며, 스마트폰이나 컴퓨터나 서버 등에 설치된 프로그램 또는 프레임워크 또는 애플리케이션 등의 소프트웨어 형태로 구현될 수도 있음은 물론이다. 또한, 생체신호 패턴 분석 장치(100)의 각 구성요소는 물리적 구성요소로 구현될 수도 있고 소프트웨어의 기능 형태의 구성요소로 구현될 수도 있다.

또한, 뇌파 측정부(110)의 뇌파전극은 전두극이나 귓속에 배치되고, 심박 측정부(120)의 심박센서는 차량 핸들에 배치될 수 있다. 그리고, 뇌파 측정부(110) 및 심박 측정부(120)는 각각이 독립된 패치 형태로 구현될 수도 있고, 두가지가 하나의 패치에 포함되는 형태로 구현될 수도 있다.

뇌파 측정부(110) 및 심박 측정부(120)는 하나의 패치에 포함되어 전두극에 부착되더라도, 전두극에 전두극동맥이 흐르기 때문에, 뇌파 뿐만 아니라 심박을 측정하는데 문제는 없으며, 하나의 패치에 두가지가 모두 포함되어 있으면 사용자가 장착하기에도 편리하다는 장점이 있다.

그리고, 입력부(140) 및 제어부(150)는 스마트폰과 같은 하나의 독립된 장치에 구현되고, 뇌파 측정부(110) 및 심박 측정부(120)는 해당 독립된 장치와 유선 또는 무선으로 통신가능하게 연결되는 형태로 구현될 수도 있음은 물론이다.

이와 같은 구현의 일 예가 도 2에 도시되어 있다. 도 2는 본 발명의 일 실시에에 따른, 생체신호 패턴 분석 장치(100)의 실제 구성의 일 예를 도시한 도면이다.

도 2에 따르면, 뇌파측정부(110)의 뇌파전극(115)이 사용자의 전두극 및 귓속 중 어느 하나에 배치될 수 있음을 확인할 수 있다. 또한, 뇌파측정부(110)는 뇌파앰프&필터링, 아날로그디지털컨버터(ADC), 마이크로컨트롤러(MCU), 무선통신모듈을 포함하는 것을 확인할 수 있다.

또한, 도 2의 경우, 심박 측정부(120)의 심박센서(125)가 차량의 핸들에 배치되어 있는 것을 확인할 수 있다. 또한, 심박 측정부(120)는 ECG(심전도, Electrocardiogram) 필터링, 아날로그디지털컨버터(ADC), 마이크로컨트롤러(MCU), 무선통신모듈을 포함하는 것을 확인할 수 있다.

그리고, 입력부(140) 및 제어부(150)는 스마트폰에 구현된 것을 확인할 수 있다.

이와 같이, 심박 측정부(120)는 차량의 핸들에 포함되어 있기 때문에, 사용자는 생체신호 패턴 분석장치(100)를 이용하기 위해 1개의 뇌파측정부(110)의 뇌파전극(115) 패치만 신체에 부착하면 된다. 또한, 스마트폰에서 생체신호 패턴 분석장치(100)의 기능을 수행하므로, 사용자가 더욱 쉽게 생체신호 패턴 분석장치(100)를 이용할 수 있게 된다.

이하에서는 도면들을 참고하여 생체신호 패턴 분석장치(100)의 생체신호 패턴 분석방법에 대해 상세히 설명한다.

도 3은 본 발명의 일 실시예에 따른, 생체신호 패턴 분석방법에 의해 사용자의 졸음여부를 판단하는 전체적인 방법을 도시한 도면이다.

생체신호 패턴 분석장치(100)는 뇌파 측정부(110)의 뇌파전극에서 측정되는 측정신호에서 눈깜빡임 신호를 추출하고, 눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단한다. 이때, 생체신호 패턴 분석장치(100)는 눈깜빡임 신호의 듀레이션(duration)에 기반하여 사용자의 졸음상태 여부를 판단(S200)하고, 눈깜빡임 신호의 주파수(frequency)에 기반하여 사용자의 졸음상태 여부를 판단(S300)하며, 눈깜빡임 신호의 진폭(amplitude)에 기반하여 사용자의 졸음상태 여부를 판단(S400)하게 된다. 그리고, 생체신호 패턴 분석장치(100)는 듀레이션 기반 판단 정보, 주파수 기반 판단 정보, 및 진폭 기반 판단정보가 모두 졸음 상태인 것으로 판단된 경우, 눈깜빡임 신호기반 졸음판단 정보가 졸음상태인 것으로 결정하게 된다.

하지만, 이는 일 실시예일 뿐이며, 도 3의 경우와 달리, 생체신호 패턴 분석장치(100)는 듀레이션 기반 판단 정보, 주파수 기반 판단 정보, 및 진폭 기반 판단정보가 중 두가지가 졸음 상태인 것으로 판단된 경우, 눈깜빡임 신호기반 졸음판단 정보가 졸음상태인 것으로 결정하도록 구현될 수도 있다. 또한, 생체신호 패턴 분석장치(100)는 듀레이션 기반 판단 정보, 주파수 기반 판단 정보, 및 진폭 기반 판단정보 중 한가지가 졸음 상태인 것으로 판단된 경우, 눈깜빡임 신호기반 졸음판단 정보가 졸음상태인 것으로 결정하도록 구현될 수도 있음은 물론이다.

그리고, 생체신호 패턴 분석장치(100)는 심박측정부(120)의 심박센서에서 측정되는 심전도 신호를 이용하여 심박기반 사용자의 졸음상태 여부를 판단한다(S500). 또한, 생체신호 패턴 분석장치(100)는 뇌파 측정부(110)의 뇌파전극에서 측정되는 측정신호에서 뇌파신호를 추출하고, 뇌파 신호를 이용하여 뇌파 기반 사용자의 졸음상태 여부를 판단한다(S600).

이와 같이, 생체신호 패턴 분석장치(100)는 눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단한 눈깜빡임 기반 판단정보, 심전도 신호를 이용하여 사용자의 졸음상태 여부를 판단한 심박 기반 판단정보, 및 뇌파 신호를 이용하여 사용자의 졸음상태 여부를 판단한 뇌파 기반 판단정보를 생성하고, 눈깜빡임 기반 판단정보, 심박기반 판단정보, 및 뇌파기반 판단정보 모두가 졸음상태인 것으로 판단된 경우 사용자가 졸음상태인 것으로 최종 결정한다.

하지만, 이는 일 실시예일 뿐이며, 도 3의 경우와 달리, 생체신호 패턴 분석장치(100)는 눈깜빡임 기반 판단정보, 심박기반 판단정보, 및 뇌파기반 판단정보 중 두 가지가 졸음상태인 것으로 판단된 경우 사용자가 졸음상태인 것으로 최종 결정하도록 구현될 수도 있다. 또한, 생체신호 패턴 분석장치(100)는 눈깜빡임 기반 판단정보, 심박기반 판단정보, 및 뇌파기반 판단정보 중 어느 하나가 졸음상태인 것으로 판단된 경우 사용자가 졸음상태인 것으로 최종 결정하도록 구현될 수도 있다.

이하에서는, 각각의 졸음상태 여부 판단 방법에 대해 상세히 설명한다.

도 4는 본 발명의 일 실시예에 따른, 각성상태에서의 눈깜빡임신호의 듀레이션, 주파수, 및 진폭에 대한 임계값들을 산출하는 과정을 도시한 도면이다.

생체신호 패턴 분석 장치(100)는 사용자가 각성 상태인 동안 입력되는 측정신호를 이용하여, 해당 사용자가 각성 상태인 경우의 눈깜빡임 신호에 대한 듀레이션(duration), 주파수(frequency) 및 진폭(amplitude)을 산출하고, 산출된 듀레이션, 주파수, 및 진폭을 이용하여 제1 임계값, 제2 임계값 및 제3 임계값을 산출한다.

여기에서, 눈깜빡임 신호에 대한 듀레이션은 일정 시간동안 사용자가 눈깜빡임을 지속하고 있는 정도를 나타내는 값이며, 듀레이션이 높을수록 사용자는 눈을 깜빡이고 있는 시간이 길어지므로 졸음상태에 해당될 가능성이 높아진다. 제1 임계값은 사용자가 졸음상태인 것으로 판단할 수 있는 듀레이션에 대한 임계값을 나타내며, 제1 임계값은 사용자가 각성상태인 경우의 평균 듀레이션의 약 2배가 되는 값으로 설정될 수 있다. 따라서, 생체신호 패턴 분석 장치(100)는 눈깜빡임 신호의 듀레이션이 제1 임계값 이상일 경우에 사용자가 졸음상태인 것으로 판단하게 된다.

그리고, 눈깜빡임 신호에 대한 주파수는 일정 시간동안 사용자가 눈깜빡임을 하는 횟수를 나타내는 값이며, 주파수가 높을수록 사용자는 눈을 깜빡이는 횟수가 많아지므로 졸음상태에 해당될 가능성이 높아진다. 제2 임계값은 사용자가 졸음상태인 것으로 판단할 수 있는 주파수에 대한 임계값을 나타내며, 제2 임계값은 사용자가 각성상태인 경우의 평균 주파수의 약 3~5배가 되는 값으로 설정될 수 있다. 따라서, 생체신호 패턴 분석 장치(100)는 눈깜빡임 신호의 주파수가 제2 임계값 이상일 경우에 사용자가 졸음상태인 것으로 판단하게 된다.

또한, 눈깜빡임 신호에 대한 진폭은 사용자의 눈깜빡임 강도를 나타내는 값이며, 진폭이 낮을수록 사용자는 눈을 깜빡이는 강도가 낮아지므로 졸음상태에 해당될 가능성이 높아진다. 제3 임계값은 사용자가 졸음상태인 것으로 판단할 수 있는 진폭에 대한 임계값을 나타내며, 제3 임계값은 사용자가 각성상태인 경우의 평균 진폭의 약 0.7배가 되는 값으로 설정될 수 있다. 따라서, 생체신호 패턴 분석 장치(100)는 눈깜빡임 신호의 진폭이 제3 임계값 이하일 경우에 사용자가 졸음상태인 것으로 판단하게 된다.

구체적으로, 우선 생체신호 패턴 분석 장치(100)는 사용자의 각성상태에서 뇌파전극 측정신호를 입력받는다(S10). 그리고, 생체신호 패턴 분석 장치(100)는 측정신호에서 눈깜빡임 신호를 추출한다(S20). 생체신호 패턴 분석 장치(100)가 측정신호에서 눈깜빡임 신호를 추출하는 과정에 대해서는 추후 도 5를 참고하여 상세히 설명한다.

그리고, 생체신호 패턴 분석 장치(100)는 눈깜빡임 신호의 듀레이션, 주파수, 및 진폭을 계산하여 저장하고(S30), S10 내지 S30을 N분간 반복한다(S40).

측정시간이 N분이 지난 경우(S40-Y), 생체신호 패턴 분석 장치(100)는 각성상태에서 눈깜빡임 신호의 평균 듀레이션, 평균 주파수, 및 평균 진폭을 산출한다(S50).

그리고, 생체신호 패턴 분석 장치(100)는 눈깜빡임 신호의 평균 듀레이션, 평균 주파수, 및 평균 진폭을 이용하여, 제1 임계값, 제2 임계값, 및 제3 임계값을 산출하여 저장하게 된다(S60). 이 때, 생체신호 패턴 분석 장치(100)는 평균 듀레이션에 제1 마진값(예를 들어, 2)을 곱하여 제1 임계값을 산출하고, 평균 주파수에 제2 마진값(예를 들어, 3과 5 사이의 값)을 곱하여 제2 임계값을 산출하며, 평균 진폭에 제3 마진값(예를 들어, 0.7)을 곱하여 제3 임계값을 산출한다.

이와 같은 과정을 통해, 생체신호 패턴 분석 장치(100)는 사용자 각성상태에서의 눈깜빡임신호의 듀레이션, 주파수, 및 진폭에 대한 임계값들을 산출하게 되며, 사용자 별로 각성상태에 대한 임계값이 서로 다를 수 있으므로, 이와 같은 과정을 통해 사용자에게 적합한 임계값을 설정할 수 있게 된다.

도 5는 본 발명의 일 실시예에 따른, 측정신호에서 눈깜빡임 신호를 추출하는 과정을 도시한 도면이다.

생체신호 패턴 분석 장치(100)의 뇌파전극에서 측정되는 측정신호에는 뇌파신호 뿐만아니라 사용자의 눈이 깜빡임으로 인해 발생되는 근육의 움직임에 대한 근전도 신호(EMG, electromyogram)가 포함되어 있다. 따라서, 측정신호에서 해당 근전도 신호를 추출해내면 눈깜빡임 신호를 추출할 수 있게 된다.

측정신호에서 뇌파신호보다 눈깜빡임신호의 강도가 더 세기 때문에, 생체신호 패턴 분석 장치(100)는 측정신호에서 신호세기(Intensity)가 임계값 이상인 시간대의 신호만을 추출함으로써, 측정신호에서 눈깜빡임 신호를 추출할 수 있게 된다. 여기에서 임계값은 눈깜빡임 신호인 것으로 볼 수 있는 강도의 임계값을 나타낸다.

구체적으로, 생체신호 패턴 분석 장치(100)는 입력된 측정신호를 실시간 시간대별로 숏타임 푸리에 변환(Short-time Fourier Transform)한다(S21).

그리고, 생체신호 패턴 분석 장치(100)는 측정신호에 대한 숏타임 푸리에 변환 결과를 이용하여 시간대별 주파수별 신호세기에 대한 데이터가 포함된 3차원 스펙트로그램(Spectrogram)을 생성한다(S22).

생체신호 패턴 분석 장치(100)는 스펙트로그램에서 신호세기가 임계값 이상인 시간대를 눈깜빡임 시간대로 선별하고(S23), 측정신호에서 해당 눈깜빡임 시간대의 신호만을 추출(S24)함으로써, 측정신호에서 눈깜빡임 신호를 추출하게 된다.

도 6은 본 발명의 일 실시예에 따른, 실제 측정신호 및 스펙트로그램으로부터 눈깜빡임신호를 추출하는 과정을 설명하기 위한 예시 도면이다.

도 6은 뇌파전극에서 측정된 측정신호(610), 측정신호에 대한 스펙트로그램(620) 및 추출된 눈깜빡임 신호(630)가 도시되어 있다.

측정신호(610)를 숏타임 푸리에 변환을 거쳐 스펙트로그램(620)을 생성하면, 생성된 스펙트로그램은 도 6에 도시된 바와같이 시간별 주파수별 신호세기가 색상으로 표시되는 것을 확인할 수 있다. 도 6에서는 노란색이 될 수록 신호의 세기가 큰 것이므로, 노란부분에 해당되는 신호들이 있는 시간대가 눈깜빡임 시간대에 해당됨을 확인할 수 있다. 따라서, 해당 시간대의 신호들을 추출하면 펄스 형태의 눈깜빡임 신호(630)를 추출할 수 있음을 확인할 수 있다.

도 7은 본 발명의 일 실시예에 따른, 각성상태와 졸음상태의 눈깜빡임 신호의 일 예를 도시한 도면이다.

도 7에 도시된 바와 같이, 각성상태일 경우 눈깜빡임 신호의 듀레이션(duration)은 작고 진폭(amplitude)은 크며 주파수는 낮은 것을 확인할 수 있다. 반면, 졸음상태일 경우, 눈깜빡임 신호의 듀레이션(duration)은 크고 진폭(amplitude)은 작으며 주파수는 높은 것을 확인할 수 있다.

이와 같이, 생체신호 패턴 분석 장치(100)는 눈깜빡임 신호의 패턴 특성을 이용하여 사용자의 졸음상태 여부를 판단할 수 있게 된다.

이하에서는, 실사용 모드에서 눈깜빡임 신호의 듀레이션(duration), 주파수(frequency) 및 진폭(amplitude)을 이용하여 사용자의 졸음상태 여부를 판단하는 과정에 대해 상세히 설명한다.

도 8은 본 발명의 일 실시예에 따른, 실사용 모드에서 듀레이션 기반 졸음여부 판단 과정을 도시한 도면이다.

일단, 생체신호 패턴 분석 장치(100)는 실사용 모드에서 뇌파전극의 측정신호를 입력받는다(S210).

그리고, 생체신호 패턴 분석 장치(100)는 측정신호에서 눈깜빡임 신호를 추출한다(S220).

생체신호 패턴 분석 장치(100)는 N분(N은 자연수)동안 추출된 눈깜빡임 신호의 평균 듀레이션을 산출한다(S230).

그리고, 생체신호 패턴 분석 장치(100)는 평균 듀레이션이 제1 임계값 이상인지 여부를 판단한다(S240). 만약, 평균 듀레이션이 제1 임계값 이상일 경우(S240-Y), 생체신호 패턴 분석 장치(100)는 사용자가 졸음상태인 것으로 듀레이션 기반 판단정보를 생성한다(S250). 반면, 평균 듀레이션이 제1 임계값 미만일 경우(S240-N), 생체신호 패턴 분석 장치(100)는 사용자가 각성상태인 것으로 듀레이션 기반 판단정보를 생성한다(S255).

이와 같은 과정을 통해, 생체신호 패턴 분석 장치(100)는 실사용 모드에서 듀레이션 기반 졸음여부를 판단하게 된다.

도 9는 본 발명의 일 실시예에 따른, 실사용 모드에서 주파수 기반 졸음여부 판단 과정을 도시한 도면이다.

일단, 생체신호 패턴 분석 장치(100)는 실사용 모드에서 뇌파전극의 측정신호를 입력받는다(S310).

그리고, 생체신호 패턴 분석 장치(100)는 측정신호에서 눈깜빡임 신호를 추출한다(S320).

생체신호 패턴 분석 장치(100)는 N분(N은 자연수)동안 추출된 눈깜빡임 신호의 평균 주파수를 산출한다(S330).

그리고, 생체신호 패턴 분석 장치(100)는 평균 주파수가 제2 임계값 이상인지 여부를 판단한다(S340). 만약, 평균 주파수가 제2 임계값 이상일 경우(S340-Y), 생체신호 패턴 분석 장치(100)는 사용자가 졸음상태인 것으로 주파수 기반 판단정보를 생성한다(S350). 반면, 평균 주파수가 제2 임계값 미만일 경우(S340-N), 생체신호 패턴 분석 장치(100)는 사용자가 각성상태인 것으로 주파수 기반 판단정보를 생성한다(S355).

이와 같은 과정을 통해, 생체신호 패턴 분석 장치(100)는 실사용 모드에서 주파수 기반 졸음여부를 판단하게 된다.

도 10은 본 발명의 일 실시예에 따른, 실사용 모드에서 진폭 기반 졸음여부 판단 과정을 도시한 도면이다.

일단, 생체신호 패턴 분석 장치(100)는 실사용 모드에서 뇌파전극의 측정신호를 입력받는다(S410).

그리고, 생체신호 패턴 분석 장치(100)는 측정신호에서 눈깜빡임 신호를 추출한다(S420).

생체신호 패턴 분석 장치(100)는 N분(N은 자연수)동안 추출된 눈깜빡임 신호의 평균 진폭을 산출한다(S430).

그리고, 생체신호 패턴 분석 장치(100)는 평균 진폭이 제3 임계값 이하인지 여부를 판단한다(S440). 만약, 평균 진폭이 제3 임계값 이하일 경우(S440-Y), 생체신호 패턴 분석 장치(100)는 사용자가 졸음상태인 것으로 진폭 기반 판단정보를 생성한다(S450). 반면, 평균 진폭이 제3 임계값 초과일 경우(S440-N), 생체신호 패턴 분석 장치(100)는 사용자가 각성상태인 것으로 진폭 기반 판단정보를 생성한다(S455).

이와 같은 과정을 통해, 생체신호 패턴 분석 장치(100)는 실사용 모드에서 진폭 기반 졸음여부를 판단하게 된다.

상술한 과정을 거쳐, 생체신호 패턴 분석장치(100)는 듀레이션 기반 판단 정보, 주파수 기반 판단 정보, 및 진폭 기반 판단정보를 생성하고, 듀레이션 기반 판단 정보, 주파수 기반 판단 정보, 및 진폭 기반 판단정보 중 적어도 하나가 졸음 상태인 것으로 판단된 경우, 눈깜빡임 신호기반 졸음판단 정보가 졸음상태인 것으로 결정하게 된다.

이하에서는 심전도 신호에 대한 심박변이도를 이용하여 졸음여부를 판단하는 과정에 대해 설명한다.

도 11은 본 발명의 일 실시예에 따른, 각성상태에서의 심전도 신호에 대한 심박변이도의 LH/HF 비율값에 대한 임계값들을 산출하는 과정을 도시한 도면이다.

생체신호 패턴 분석 장치(100)의 심박센서를 통해 측정되는 심전도 신호는 심장의 운동에 의한 맥박 성분과 한 심장 맥박과 그 다음 심장 맥박 사이(즉, 하나의 맥박 주기 사이)에 존재하는 미세한 변이 성분이 존재하며, 심박 변이도(HRV, Heart Rate Variability)는 이와 같은 미세한 변이 성분을 나타내는 것이다.

심박변이도의 주파수 성분중 LF power(Low Frequency Power)는 0.04 ~ 0.15 Hz의 범위로 저주파 성분의 파워를 나타내는 것으로 상대적으로 교감 신경계의 활동을 반영하고, HF power(High Frequency Power)는 0.15 ~ 0.4 Hz의 범위로 고주파 성분의 파워를 나타내는 것으로 부교감 신경계의 활동을 많이 반영한다. 졸음이나 졸음은 상대적으로 부교감 신경계가 활성화되면서 에너지를 비축하는 상황이므로, 졸릴수록 LF/HF 비율값은 감소하게 된다. 따라서, 생체신호 패턴 분석 장치(100)는 심전도 신호에 대한 심박변이도의 LF/HF 비율값을 이용하여 사용자의 졸음상태 여부를 판단할 수 있게 된다.

구체적으로, 생체신호 패턴 분석 장치(100)는 각성상태에서 심박센서에 의해 측정된 사용자의 심전도 신호를 입력받는다(S501).

그 후에, 생체신호 패턴 분석 장치(100)는 심전도 신호에서 심박변이도를 추출한다(S502). 구체적으로, 생체신호 패턴 분석 장치(100)는 심전도 신호(ECG, electrocardiogram)를 R-R interval variability 데이터로 변환한 뒤, FFT(Fast Fourier Transform) 분석하여, 심전도 신호를 저주파(LF) 성분(0.04 ~ 0.15 Hz)과 고주파(HF) 성분(0.15 ~ 0.4 Hz)으로 구분하여, 저주파 성분 및 고주파 성분 각각의 평균 power를 구한다.

그리고, 생체신호 패턴 분석 장치(100)는 심전도 신호에 대한 심박변이도의 저주파 성분과 고주파 성분의 파워의 비율값(저주파 성분/고주파 성분)인 LF/HF 비율값을 산출하여 저장하고(S503), 이와 같은 S501 내지 S503을 N분간 반복한다(S504).

측정시간이 N분이 지난 경우(S504-Y), 생체신호 패턴 분석 장치(100)는 각성상태에서 심전도 신호의 평균 LF/HF 비율값을 산출한다(S505).

그리고, 생체신호 패턴 분석 장치(100)는 심전도 신호에 대한 심박변이도의 평균 LF/HF 비율값을 이용하여, 제4 임계값을 산출하여 저장하게 된다(S506). 이 때, 생체신호 패턴 분석 장치(100)는 평균 LF/HF 비율값에 제4 마진값(예를 들어, 0.7)을 곱하여 제4 임계값을 산출한다.

이와 같은 과정을 통해, 생체신호 패턴 분석 장치(100)는 사용자 각성상태에서의 심전도 신호에 대한 심박 변이도의 LF/HF 비율값에 대한 제4 임계값을 산출하게 되며, 사용자 별로 각성상태에 대한 임계값이 서로 다를 수 있으므로, 이와 같은 과정을 통해 사용자에게 적합한 임계값을 설정할 수 있게 된다.

도 12는 본 발명의 일 실시예에 따른, 실사용 모드에서 심박 기반 졸음여부 판단 과정을 도시한 도면,

일단, 생체신호 패턴 분석 장치(100)는 실사용 모드에서 심박센서로부터 심전도 신호를 입력받는다(S510).

그리고, 생체신호 패턴 분석 장치(100)는 심전도 신호에서 상술한 방식으로 심박 변이도를 추출한다(S520).

생체신호 패턴 분석 장치(100)는 N분(N은 자연수)동안 추출된 심박 변이도의 평균 LF/HF 비율값을 산출한다(S530).

그리고, 생체신호 패턴 분석 장치(100)는 평균 LF/HF 비율값이 제4 임계값 이하인지 여부를 판단한다(S540). 만약, 평균 LF/HF 비율값이 제4 임계값 이하일 경우(S540-Y), 생체신호 패턴 분석 장치(100)는 사용자가 졸음상태인 것으로 심박 기반 판단정보를 생성한다(S550). 반면, 평균 LF/HF 비율값이 제4 임계값 초과일 경우(S540-N), 생체신호 패턴 분석 장치(100)는 사용자가 각성상태인 것으로 심박 기반 판단정보를 생성한다(S555).

이와 같은 과정을 통해, 생체신호 패턴 분석 장치(100)는 실사용 모드에서 심박 기반 졸음여부를 판단하게 된다.

이하에서는, 뇌파 신호 기반으로 사용자의 졸음 상태 여부를 판단하는 방법에 대해 설명한다.

도 13은 본 발명의 일 실시예에 따른, 사용자가 각성상태일 때의 뇌파에 대한 고속푸리에변환(FFT) 차트를 도시한 그래프이고, 도 14는 본 발명의 일 실시예에 따른, 사용자가 졸음상태일 때의 뇌파에 대한 고속푸리에변환(FFT) 차트를 도시한 그래프이다.

뇌파 기반 판단정보는 뇌파 신호를 이용하여 사용자의 졸음 여부를 판단한 정보를 나타내는 것으로, 졸음상태 또는 각성상태가 될 수 있다. 사용자가 각성상태일 때와 졸음 상태일 때는 뇌파의 주파수 분포가 차이가 있으며, 이에 대해서는 도 13 및 도 14에 도시되어 있다.

도 13에 도시된 바와 같이, 사용자가 각성상태인 경우 뇌파 정보의 주파수별 세기가 고른 것을 확인할 수 있다. 반면, 도 14에 도시된 바와 같이, 사용자가 졸음상태일 경우 뇌파 정보의 저주파 영역의 세기가 고주파 영역의 세기보다 높은 것을 확인할 수 있다.

따라서, 생체신호 패턴 분석 장치(100)는 뇌파 신호의 저주파 영역의 세기가 고주파 영역의 세기보다 높은 경우 졸음 상태인 것으로 뇌파 기반 판단정보를 생성하고, 뇌파 정보의 주파수별 세기가 고른 경우 각성 상태인 것으로 뇌파 기반 판단정보를 생성하게 된다.

도 15는 본 발명의 일 실시예에 따른, 뇌파 정보를 4개의 주파수 밴드로 구분하여 가중치를 적용하는 과정을 도시한 도면이다.

도 15에 도시된 바와 같이, 생체신호 패턴 분석 장치(100)는 입력된 측정신호에서 뇌파 신호를 추출하고, 추출된 뇌파 신호에 대해 고속푸리에변환(FFT)을 적용하여, 뇌파신호를 주파수 밴드 별로 band1(0.5~3.5Hz), band2(4~7Hz), band3(8~14Hz), band4(14~30Hz)의 4단계로 구분한다.

그러면, 사용자가 각성 상태일 경우, 뇌파 신호는 band 1~4까지 범위의 신호가 고루 관찰된다. 반면, 사용자가 졸음 상태일 경우, 뇌파 신호는 band1, band2의 신호가 band3, band4 대비 상대적인 세기가 급속히 증가하게 된다. 이와 같은 사용자의 각성/졸음 상태별 신호 경향은 도 13 및 도 14에 도시된 바 있다.

이와 같은 뇌파 신호의 경향을 이용하여, band1 또는 band2의 신호에 대한 가중치(weighting)를 높이면, 졸음 상태일 때의 뇌파 정보에 대한 평균파워스펙트럼밀도(PSD)는 각성 상태의 평균파워스펙트럼밀도와의 차이가 더 극명해지게 된다. 따라서, 입력된 뇌파정보에 대한 평균파워스펙트럼밀도에 주파수 밴드별 가중치를 적절히 적용하면, 졸음 상태인지 아니면 각성상태인지 여부를 더욱 명확히 확인할 수 있게 된다.

구체적으로, 도 15에서 ∑ PSDi_j는 N회 측정된 4개의 주파수밴드 파워스펙트럼밀도의 총합을 나타내고, 평균 파워스펙트럼밀도는 (∑ PSDi_j)/N로 구할 수 있다.

구체적으로 각각의 측정횟수별 파워스펙트럼밀도는 아래와 같이 계산할 수 있다. 여기에서, PSD1은 주파수밴드 band1의 파워스펙트럼밀도, PSD2는 주파수밴드 band2의 파워스펙트럼밀도, PSD3은 주파수밴드 band3의 파워스펙트럼밀도, PSD4는 주파수밴드 band4의 파워스펙트럼밀도를 나타내며, A는 주파수밴드 band1의 가중치(Weighting), B는 주파수밴드 band2의 가중치, C는 주파수밴드 band3의 가중치, D는 주파수밴드 band4의 가중치를 나타낸다.

- 1회측정 : PSD1*A + PSD2*B + PSD3*C + PSD4*D = ∑ PSDi_1

- 2회측정 : PSD1*A + PSD2*B + PSD3*C + PSD4*D = ∑ PSDi_2

- N회측정 : PSD1*A + PSD2*B + PSD3*C + PSD4*D = ∑ PSDi_N

생체신호 패턴 분석 장치(100)는 아래와 같은 과정을 통해 최적 주파수 밴드별 가중치를 구할 수 있다.

1. 특정 사용자가 각성 상태 일때 측정된 뇌파의 각 주파수 밴드별 평균 파워스펙트럼밀도를 구하고, 모든 가중치를 1로 세팅하여 곱하여 전체 합계를 구한다.

2. 위 측정을 동일 사용자의 각성 정도에 따른 변화값을 수용하기 위해 N회 반복측정한다.

3. N회 반복된 각성상태에서의 ∑ PSDi_j_wake 값을 구하여 각성 평균파워스펙트럼밀도를 구한다.

4. 동일 사용자의 졸음 상태에서의 측정된 뇌파의 각 주파수 밴드별 평균 파워스펙트럼밀도를 구하고, 모든 가중치를 1로 세팅하여 곱하여 전체 합계를 구한다.

5. 위 측정을 동일 사용자의 졸음 정도에 따른 변화값을 수용하기 위해 N회 반복한다.

6. N회 반복된 졸음 상태에서의 ∑ PSDi_j_sleep 값을 구하여 졸음 평균파워스펙트럼밀도를 구한다.

7. 가중치 A~D의 값을, 총합이 4가 되고 각각 0.5~2.5 사이의 0.1단위의 크기로 가변되는 값이 적용되는 다양한 조합으로 반복 적용하여, 다양한 졸음 평균파워스펙트럼밀도(∑ PSDi_j_sleep 평균값)와 각성 평균파워스펙트럼밀도(∑ PSDi_j_wake 의 평균값)를 산출한다. 예를 들어, 가중치 A~D의 조합은 (2.5, 0.5, 0.5, 0.5) 또는 (2.0, 1.0, 0.5, 0.5) 또는 (1.5, 1.5, 0.5, 0.5) 등이 될 수 있다. 그 중 졸음 평균파워스펙트럼밀도(∑ PSDi_j_sleep 평균값)와 각성 평균파워스펙트럼밀도(∑ PSDi_j_wake 의 평균값)의 차이값이 최대가 되는 가중치 A~D값을 최적 주파수 밴드별 가중치로 결정한다.

이와 같은 과정을 통해, 생체신호 패턴 분석 장치(100)는 뇌파 신호를 4개의 주파수 밴드로 구분하여 가중치를 적용하는 과정을 수행하게 된다.

도 16은 본 발명의 일 실시예에 따른, 각성 상태에서의 뇌파에 대한 각성 평균 파워스펙트럼밀도를 산출하는 과정을 도시한 도면이다.

생체신호 패턴 분석 장치(100)는 사용자가 각성상태일때의 뇌파전극을 통해 뇌파 측정을 시작한다(S601).

생체신호 패턴 분석 장치(100)는 뇌파 측정부(110)의 뇌파전극으로부터 사용자의 뇌파 측정신호를 입력받고 입력된 측정신호에서 뇌파신호를 추출한다(S602). 생체신호 패턴 분석 장치(100)는 측정신호로부터 눈깜빡임 신호를 제거함으로써 뇌파신호를 추출할 수 있게 된다.

그리고, 생체신호 패턴 분석 장치(100)는 입력된 뇌파신호를 로우패스필터, 노치필터, 이산 고속푸리에변환 처리한다(S603). 그 후에, 생체신호 패턴 분석 장치(100)는 서브밴드별 파워스펙트럼밀도의 평균값을 계산한다(S604). 그리고, 생체신호 패턴 분석 장치(100)는 서브밴드별 파워스펙트럼밀도의 평균값을 모두 더해서 각성 파워스펙트럼밀도를 산출한다(S605).

생체신호 패턴 분석 장치(100)는 S601단계 내지 S605단계를 N분(N은 자연수)동안 반복하고(S606), N분동안 측정하여 산출된 각성 파워스펙트럼밀도들의 평균인 각성 평균 파워스펙트럼밀도를 산출하여 저장한다(S607).

도 17은 본 발명의 일 실시예에 따른, 졸음 상태에서의 뇌파에 대한 최적 졸음 평균 파워스펙트럼밀도를 산출하는 과정을 도시한 도면이다.

생체신호 패턴 분석 장치(100)는 사용자가 졸음 상태일 때의 뇌파 측정을 시작한다(S610).

생체신호 패턴 분석 장치(100)는 뇌파 측정부(110)의 뇌파전극으로부터 사용자의 뇌파 측정신호를 입력받고 입력된 측정신호에서 뇌파신호를 추출한다(S611). 생체신호 패턴 분석 장치(100)는 측정신호로부터 눈깜빡임 신호를 제거함으로써 뇌파신호를 추출할 수 있게 된다.

그리고, 생체신호 패턴 분석 장치(100)는 입력된 뇌파신호를 로우패스필터, 노치필터, 이산 고속푸리에변환 처리한다(S612). 그 후에, 생체신호 패턴 분석 장치(100)는 서브밴드별 파워스펙트럼밀도의 평균값을 계산한다(S613). 그리고, 생체신호 패턴 분석 장치(100)는 서브밴드별 파워스펙트럼밀도의 평균값을 모두 더해서 졸음 파워스펙트럼밀도를 산출한다(S614).

생체신호 패턴 분석 장치(100)는 S610단계 내지 S614단계를 N분(N은 자연수)동안 반복하고(S615), N분동안 측정하여 산출된 졸음 파워스펙트럼밀도들의 평균인 졸음 평균 파워스펙트럼밀도를 산출하여 저장한다(S616).

생체신호 패턴 분석 장치(100)는 최적 졸음 평균파워스펙트럼밀도를 산출하기 위해 아래와 같은 과정을 더 수행한다. 생체신호 패턴 분석 장치(100)는 졸음 평균 파워스펙트럼밀도와 각성 평균 파워스펙트럼밀도의 차이값을 D_0으로 저장한다(S617). 그리고, 생체신호 패턴 분석 장치(100)는 밴드별 가중치를 0.1단위로 가변 조합하여 적용하여, 평균 차이값을 1차원 벡터 [D_m]로 생성한다(S618). 그리고, 생체신호 패턴 분석 장치(100)는 1차원 벡터 [D_m]의 성분들 중에서 최대값일 때의 주파수 밴드별 가중치 조합을 최적 주파수밴드별 가중치로 결정한다(S619). 그 후에, 생체신호 패턴 분석 장치(100)는 최적 주파수밴드별 가중치를 이용하여 최적 졸음 평균 파워스펙트럼밀도를 산출하게 된다(S620). 생체신호 패턴 분석 장치(100)의 최적 졸음 평균 파워스펙트럼밀도를 산출하는 과정은 앞서 자세히 설명한 바 있다.

도 18는 본 발명의 일 실시예에 따른, 실사용 모드에서의 뇌파 기반 졸음 여부 판단 과정을 도시한 도면이다.

생체신호 패턴 분석 장치(100)는 실사용모드일 때의 뇌파 측정을 시작한다(S630).

생체신호 패턴 분석 장치(100)는 뇌파 측정부(110)의 뇌파전극으로부터 사용자의 뇌파 측정신호를 입력받고 입력된 측정신호에서 뇌파신호를 추출한다(S631). 생체신호 패턴 분석 장치(100)는 측정신호로부터 눈깜빡임 신호를 제거함으로써 뇌파신호를 추출할 수 있게 된다.

그리고, 생체신호 패턴 분석 장치(100)는 뇌파신호를 로우패스필터, 노치필터, 이산 고속푸리에변환 처리한다(S632). 그 후에, 생체신호 패턴 분석 장치(100)는 서브밴드별 파워스펙트럼밀도의 평균값을 계산한다(S633). 그리고, 생체신호 패턴 분석 장치(100)는 최적 주파수밴드별 가중치를 적용하여 입력 뇌파 파워스펙트럼밀도를 산출한다(S634).

생체신호 패턴 분석 장치(100)는 입력 뇌파 파워스펙트럼밀도가 최적 졸음 평균파워스펙트럼밀도에 특정 마진값을 곱한 값보다 큰 경우(S635-Y), 사용자의 현재 상태가 졸음 상태인 것으로 뇌파 기반 판단정보를 생성한다(S636). 반면, 생체신호 패턴 분석 장치(100)는 입력 뇌파 파워스펙트럼밀도가 최적 졸음 평균파워스펙트럼밀도에 특정 마진값을 곱한 값 이하인 경우(S635-N), 사용자의 현재 상태가 각성상태인 것으로 뇌파 기반 판단정보를 생성한다(S637).

이와 같은 과정을 통해, 생체신호 패턴 분석 장치(100)는 실사용모드에서 뇌파신호를 각각 이용하여 사용자의 졸음상태를 판단하여, 뇌파 기반 판단정보를 생성하게 된다.

상술한 과정들을 통해, 도 3에 도시된 바와 같이, 생체신호 패턴 분석장치(100)는 눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단한 눈깜빡임 기반 판단정보, 심전도 신호를 이용하여 사용자의 졸음상태 여부를 판단한 심박 기반 판단정보, 및 뇌파 신호를 이용하여 사용자의 졸음상태 여부를 판단한 뇌파 기반 판단정보를 생성하고, 눈깜빡임 기반 판단정보, 심박기반 판단정보, 및 뇌파기반 판단정보 모두가 졸음상태인 것으로 판단된 경우 사용자가 졸음상태인 것으로 최종 결정한다.

하지만, 이는 일 실시예일 뿐이며, 도 3의 경우와 달리, 생체신호 패턴 분석장치(100)는 눈깜빡임 기반 판단정보, 심박기반 판단정보, 및 뇌파기반 판단정보 중 두 가지가 졸음상태인 것으로 판단된 경우 사용자가 졸음상태인 것으로 최종 결정하도록 구현될 수도 있다. 또한, 생체신호 패턴 분석장치(100)는 눈깜빡임 기반 판단정보, 심박기반 판단정보, 및 뇌파기반 판단정보 중 어느 하나가 졸음상태인 것으로 판단된 경우 사용자가 졸음상태인 것으로 최종 결정하도록 구현될 수도 있다.

한편, 본 실시예에 따른 장치의 기능 및 방법을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 프로그래밍 언어 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 플래시 메모리, 솔리드 스테이트 디스크(SSD) 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물은 다른 유형의 디지털 전자 회로로구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다.

따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 본 발명이속하는 분야의 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 생체신호 패턴 분석 장치
110 : 뇌파 측정부
115 : 뇌파전극
120 ; 심박 측정부
125 ; 심박센서
140 : 입력부
150 : 제어부

Claims (12)

1. 생체신호 패턴 분석 장치에 의한 생체신호 패턴 분석 방법에 있어서,
   뇌파전극으로부터 측정신호를 입력받는 단계;
   측정신호에서 눈깜빡임 신호를 추출하는 단계; 및
   눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단하는 단계;를 포함하고,
   판단 단계는,
   눈깜빡임 신호의 듀레이션(duration)이 제1 임계값 이상이고 눈깜빡임 신호의 주파수(frequency)가 제2 임계값 이상이며 눈깜빡임 신호의 진폭이 제3 임계값 이하일 경우, 사용자가 졸음상태인 것으로 판단하고,
   사용자가 각성 상태인 동안 입력되는 측정신호를 이용하여, 해당 사용자가 각성 상태인 경우의 눈깜빡임 신호에 대한 듀레이션, 주파수 및 진폭을 산출하고, 산출된 듀레이션, 주파수, 및 진폭을 이용하여 제1 임계값, 제2 임계값 및 제3 임계값을 산출하는 단계;를 더 포함하며,
   산출 단계는,
   평균 듀레이션에 제1 마진값을 곱하여 제1 임계값을 산출하고, 평균 주파수에 제2 마진값을 곱하여 제2 임계값을 산출하며, 평균 진폭에 제3 마진값을 곱하여 제3 임계값을 산출하는 것을 특징으로 하는 생체신호 패턴 분석 방법.
   
2. 청구항 1에 있어서,
   추출단계는,
   측정신호에서 신호세기(Intensity)가 임계값 이상인 시간대의 신호만을 추출함으로써, 측정신호에서 눈깜빡임 신호를 추출하는 것을 특징으로 하는 생체신호 패턴 분석 방법.
   
3. 청구항 2에 있어서,
   추출단계는,
   입력된 측정신호를 실시간 시간대별로 숏타임 푸리에 변환(Short-time Fourier Transform)하는 단계;
   측정신호에 대한 숏타임 푸리에 변환 결과를 이용하여 시간대별 주파수별 신호세기에 대한 데이터가 포함된 스펙트로그램(Spectrogram)을 생성하는 단계; 및
   스펙트로그램에서 신호세기가 임계값 이상인 시간대를 눈깜빡임 시간대로 선별하고, 측정신호에서 해당 눈깜빡임 시간대의 신호만을 추출함으로써, 측정신호에서 눈깜빡임 신호를 추출하는 단계;를 포함하는 것을 특징으로 하는 생체신호 패턴 분석 방법.
   
4. 삭제
5. 삭제
6. 삭제
7. 청구항 1에 있어서,
   심박센서에 의해 측정된 사용자의 심전도 신호를 입력받는 단계; 및
   심전도 신호에 대한 심박변이도의 저주파 성분과 고주파 성분의 비율값(저주파 성분/고주파 성분)인 LF/HF 비율값을 산출하는 단계;를 더 포함하고,
   판단 단계는,
   눈깜빡임 신호 및 LF/HF 비율값을 이용하여 사용자의 졸음상태 여부를 판단하는 것을 특징으로 하는 생체신호 패턴 분석 방법.
   
8. 청구항 7에 있어서,
   측정신호에서 뇌파 신호를 추출하는 단계; 및
   사용자의 졸음 상태 중의 뇌파 신호의 평균 파워스펙트럼밀도를 나타내는 졸음 평균 파워스펙트럼밀도를 산출하고, 사용자의 각성 상태 중의 뇌파 신호의 평균 파워스펙트럼밀도를 나타내는 각성 평균 파워스펙트럼밀도를 산출하며, 졸음 평균 파워스펙트럼밀도에 복수의 가중치를 적용하여 각성 평균 파워스펙트럼밀도와 비교함으로써 최적 졸음 평균 파워스펙트럼밀도를 산출하는 단계;를 더 포함하고,
   판단 단계는,
   눈깜빡임 신호와 LF/HF 비율값과 최적 졸음 평균 파워스펙트럼밀도을 이용하여 사용자의 졸음상태 여부를 판단하는 것을 특징으로 하는 생체신호 패턴 분석 방법.
   
9. 청구항 7에 있어서,
   뇌파전극은 전두극이나 귓속에 배치되고, 심박센서는 차량 핸들에 배치되는 것을 특징으로 하는 생체신호 패턴 분석 방법.
   
10. 뇌파전극으로부터 측정신호를 입력받는 단계;
    측정신호에서 눈깜빡임 신호를 추출하는 단계; 및
    눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단하는 단계;를 포함하고,
    판단 단계는,
    눈깜빡임 신호의 듀레이션(duration)이 제1 임계값 이상이고 눈깜빡임 신호의 주파수(frequency)가 제2 임계값 이상이며 눈깜빡임 신호의 진폭이 제3 임계값 이하일 경우, 사용자가 졸음상태인 것으로 판단하고,
    사용자가 각성 상태인 동안 입력되는 측정신호를 이용하여, 해당 사용자가 각성 상태인 경우의 눈깜빡임 신호에 대한 듀레이션, 주파수 및 진폭을 산출하고, 산출된 듀레이션, 주파수, 및 진폭을 이용하여 제1 임계값, 제2 임계값 및 제3 임계값을 산출하는 단계;를 더 포함하며,
    산출 단계는,
    평균 듀레이션에 제1 마진값을 곱하여 제1 임계값을 산출하고, 평균 주파수에 제2 마진값을 곱하여 제2 임계값을 산출하며, 평균 진폭에 제3 마진값을 곱하여 제3 임계값을 산출하는 것을 특징으로 하는 생체신호 패턴 분석 방법을 수행하는 컴퓨터 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체.
    
11. 뇌파전극으로부터 측정신호를 입력받는 입력부;
    측정신호에서 눈깜빡임 신호를 추출하고, 눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단하는 제어부;를 포함하고,
    제어부는,
    눈깜빡임 신호의 듀레이션(duration)이 제1 임계값 이상이고 눈깜빡임 신호의 주파수(frequency)가 제2 임계값 이상이며 눈깜빡임 신호의 진폭이 제3 임계값 이하일 경우, 사용자가 졸음상태인 것으로 판단하고,
    사용자가 각성 상태인 동안 입력되는 측정신호를 이용하여, 해당 사용자가 각성 상태인 경우의 눈깜빡임 신호에 대한 듀레이션, 주파수 및 진폭을 산출하고, 산출된 듀레이션, 주파수, 및 진폭을 이용하여 제1 임계값, 제2 임계값 및 제3 임계값을 산출하며,
    평균 듀레이션에 제1 마진값을 곱하여 제1 임계값을 산출하고, 평균 주파수에 제2 마진값을 곱하여 제2 임계값을 산출하며, 평균 진폭에 제3 마진값을 곱하여 제3 임계값을 산출하는 것을 특징으로 하는 생체신호 패턴 분석 장치.
    
12. 사용자에게 장착되는 뇌파전극; 및
    뇌파전극에 의해 측정된 측정신호에서 눈깜빡임 신호를 추출하고, 눈깜빡임 신호를 이용하여 사용자의 졸음상태 여부를 판단하는 제어부;를 포함하고,
    제어부는,
    눈깜빡임 신호의 듀레이션(duration)이 제1 임계값 이상이고 눈깜빡임 신호의 주파수(frequency)가 제2 임계값 이상이며 눈깜빡임 신호의 진폭이 제3 임계값 이하일 경우, 사용자가 졸음상태인 것으로 판단하고,
    사용자가 각성 상태인 동안 입력되는 측정신호를 이용하여, 해당 사용자가 각성 상태인 경우의 눈깜빡임 신호에 대한 듀레이션, 주파수 및 진폭을 산출하고, 산출된 듀레이션, 주파수, 및 진폭을 이용하여 제1 임계값, 제2 임계값 및 제3 임계값을 산출하며,
    평균 듀레이션에 제1 마진값을 곱하여 제1 임계값을 산출하고, 평균 주파수에 제2 마진값을 곱하여 제2 임계값을 산출하며, 평균 진폭에 제3 마진값을 곱하여 제3 임계값을 산출하는 것을 특징으로 하는 졸음상태 감지장치.
    

Images