KR20040015092A - 카오스론적인 휴먼 팩터 평가장치 - Google Patents

Abstract

인간이 발화하는 음성을 디지털 데이터화한 음성신호를 카오스론적 수법에 의해 해석해서 리아프노브지수를 계산하는 리아프노브지수 계산기(23)와, 해당 리아프노브지수 계산기(23)에 의해 계산된 발화음성의 리아프노브지수의 변화를 검출하는 리아프노브지수 변화검출기(24)를 갖추고, 해당 리아프노브지수 변화검출기(24)에서 검출된 리아프노브지수의 변화의 상태에 의해 대뇌에서 발생되는 부하 레벨을 계측하는 것에 의해 심신적 활동을 예측·판정 가능한 카오스론적 휴먼 팩터 평가장치.

Description

카오스론적인 휴먼 팩터 평가장치{CHAOS-THEORETICAL HUMAN FACTOR EVALUATION APPARATUS}

종래, 뇌기능의 측정은 뇌파를 측정하는 것에 의해, 예컨대 졸음 등의 의식의 각성(覺醒) 상태나 정신집중도 등을 측정하는 방법 및 장치가 있다.

또한, 1890년대 이후는 뇌내에 투여한 뇌혈류 트레이서(TRACER)의 동태상황이나 뇌에서 포도당(糖)의 대사상황을 감마카메라나 전용의 스캐너로 계측하여 화상화할 수 있는 포지트론CT장치(PET)나 싱글포톤CT장치(SPECT)에 의해 행해왔다.

그외에는, 미약한 적외선을 두부에 조사하고, 반사강도를 측정하는 것에 의해 두개골의 내측에 있는 대뇌피질의 활동상태를 측정·영상화하는 것에 의해 뇌의 활동상황을 계측하는 장치[광토포그래피(光topography)장치]가 있다.

그러나, 이와 같은 종래의 뇌파의 측정은 두피에 전극을 취부하고, 대뇌피질의 신경세포가 일으키는 시시각각의 전기적인 변화를 포착하는 것으로, 장치 자체는 소형화되어, 비교적 저렴하게 되어 있지만, 뇌파검사로 아는 것은 간질병 등 발작성 질환의 이상파의 검출, 수면·각성의 변화, 의식의 장애에 의해서 일어나는 뇌의 전반적인 활동 수준의 변화, 뇌경색이나 종양 등의 병변에 의한 뇌기능에 대한 경향 등이다.

그리고, 뇌파 연구의 극히 초기에는 뇌파로 개인의 성격이나 지능, 심신적 활동을 알 수 있는 것은 아닐까 라고 생각되는 경우도 있었지만, 현재는 성격이나 지능과 뇌파는 일정한 관계를 나타내지 않는 것이 명백하게 되고 있다.

또한, PET, SPECT, 광토포그래피장치는 현재 가장 감도가 높은 장치로서, 뇌기능의 분석 평가를 가능하게 하지만, 모두 대규모 장치이다.

더욱이, 이들 장치는 대단히 고가의 장치인 것에 의해, 현재 뇌기능의 측정이 극히 곤란한 문제인 것은, PET나 SPECT, 광토포그래피장치의 실용화 이후에도 변하지는 않았다.

더욱이, 상기 장치는 전체 측정을 위해 인체에 어떤 센서를 취부하거나, 조영용 약물의 투여가 필요한 바, 예컨대 정상 뇌의 기능 평가를 행하는 경우에는 센서 등을 취부한 것 자체가 스트레스로 되어, 통상과는 다른 심신적 활동에 빠져, 평가의 기준으로 될 수 있는 평상상태의 정보가 얻어지지 않아 정확한 검지, 판정이 행해지지 않는 가능성을 항상 갖고 있다.

한편, 인간의 활동이 완전히 그 뇌에 의해 지배되는 것으로부터, 뇌 기능의 해석은, 간단히 의료 분야에 한정되지 않고, 음악 등의 예술에 관계하는 인간의 정신 활동에 관한 연구, 문명이나 문화의 차이 등에 관해 집단으로서의 인간을 취급하는 인류학이나 문명론 등의 연구에도 큰 의미를 갖는 것으로 고려되어, 뇌 기능의 평가를 광범위한 연구로 유용하게 하기 위해서는 뇌 기능의 평가를 용이하게 행하는 것을 가능하게 하는 장치의 개발이 필요 불가결하다.

여기서, 본 발명은 비교적 간단한 장치에 의해 인체에 비접촉 상태로 대뇌에서 발생되는 부하 레벨을 계측해서 인간의 심신의 상태를 예측·판정할 수 있는 장치를 제공하는 것을 과제로 하고 있다.

본 발명은 인간이 발하는 음성을 해석하는 것에 의해, 그 사람의 대뇌에서 발생되는 부하 레벨을 정량적으로 검지해서, 대뇌가 어떠한 활동상태에 있는지, 더욱이 측정시의 심신적 활동의 변화, 또는 이후의 심신적 활동의 변화를 예측·판정하는 카오스론적 휴먼 팩터 평가장치에 관한 것으로, 의료진단기술 등의 분야에 속하는 것이다.

더욱이, 본 발명에 의한 평가의 대상이 대뇌 기능인 것, 또는 인간을 포함하는 전체 동물의 활동이 그 뇌에 의해 지배되고 있다는 것으로부터, 본 발명에 의한 장치에 의하면, 간단히 사람의 눈이나 귀에 의한 외면적인 관찰로부터 검지되고 예측되는 사람의 심신적 활동, 구체적으로는 희노애락이나, 공포감, 불안감 등 비교적 표면화되는 심신적 활동 뿐만 아니라, 예컨대 복잡한 수학 문제의 해법에 서툰 의식이 있는 사람의 대뇌에 부여되는 부하나, 쾌감, 불안감을 수반하는 사람의 취미기호 등을 찾는 경우, 더욱이 측정 시의 뇌에 부여되는 부하상태, 즉 심신의 상태를 검지하는 경우뿐만 아니라, 현상의 검지 결과로부터 경향분석을 행하는 것에 의해 이후의 심신적 활동을 예측 판정하는 것이 가능한 바, 본 발명은 넓게 휴먼 팩터의 평가 기술에 속한다.

도 1은 본 발명의 실시예에 따른 퍼스널컴퓨터 등의 개략을 나타낸 블록도,

도 2는 동 실시예에 따른 퍼스널 컴퓨터의 내부 구조를 나타낸 블록도,

도 3은 동 실시예에 따른 장치를 이용해서 측정한 인간의 발화음성의 리아프노브지수와 시간의 관계를 나타낸 그래프,

도 4는 동 실시예에 따른 도 3의 상황과 다른 상황에서 측정한 경우의 그래프이다.

본 발명자들은, 상기 과제를 해결하기 위해, 예의 연구한 바, 이하의 발명을 이끌어내기에 이르렀다.

본 발명자들은, 우선 대뇌 피질에 있어서 발화(發話)를 위한 중추에서의 처리로서는, 조음운동기획단계 및, 그 후의 조음(調音)운동의 실행 단계가 있지만, 발화할 수 있는 단어의 박수(拍數) 증가나 단어 혹은 문장의 복잡성 등이 조음운동기획단계에서의 처리 시간 신장을 일으키는 것, 즉 대뇌에 대한 부하의 증가가 생기고, 결과적으로 발화 음성 자체가 변화하는 것으로부터 발화 음성을 해석하면 대뇌 기능을 계측할 수 있는 것으로 고려되었다.

그리고, 이 발화 음성은 카오스론적 수법에 의해 해석해서 리아프노브(Lyapunov)지수를 계산하면 해석할 수 있고, 상기한 대뇌와 발화 음성의 인과관계로부터 뇌의 활동 상태를 정량적으로 표시하는 것에 의해, 비접촉인 상태로 대뇌에서 발생되는 부하 레벨을 계측하여, 심신적 활동을 예측·판정할 수 있는 것으로 찾아냈다.

여기서, 제1발명은, 인간이 발화하는 음성을 디지털 데이터화한 음성신호를 카오스론적 수법에 의해 해석해서 리아프노브지수를 계산하는 리아프노브지수 계산수단과, 해당 리아프노브지수 계산수단에 의해 계산된 발화음성의 리아프노브지수의 변화를 검출하는 리아프노브지수 변화검출수단을 갖추고, 해당 리아프노브지수 변화검출수단에서 검출된 리아프노브지수의 변화의 상태에 의해 대뇌에 발생되는 부하 레벨을 계측하는 것에 의해 심신적 활동을 예측·판정 가능한 카오스론적 휴먼 팩터 평가장치로 한 것을 특징으로 한다.

제2발명은, 인간이 발화하는 음성을 디지털 데이터화한 음성신호를 카오스론적 수법에 의해 해석해서 리아프노브지수를 계산하는 리아프노브지수 계산수단과,해당 리아프노브지수 계산수단에 의해 계산된 발화음성의 리아프노브지수의 변화를 검출하는 리아프노브지수 변화검출수단 및, 해당 리아프노브지수 변화검출수단으로 검출된 리아프노브지수의 변화 상태에 의해 대뇌에서 발생되는 부하 레벨을 계측하는 것에 의해 심신적 활동을 예측·판정하는 예측·판정수단을 구비한 카오스론적 휴먼 팩터 평가장치로 한 것을 특징으로 한다.

제1 또는 제2발명에 의하면, 인간이 발화하는 음성을 디지털데이터화한 음성신호를 카오스론적 수법에 의해 해석해서 리아프노브지수를 계산하는 것에 의해, 이 리아프노브지수의 상태로부터 대뇌의 활동상황이 검지되기 때문에, 피험자의 인체에 대해서 센서 등을 장착하는 일 없이, 비접촉으로 측정할 수 있기 때문에, 피험자로 되는 인간에 불필요한 정신적 신체적 부담을 가하는 일 없으며, 또한 긴장감을 부여하는 일 없이 평상상태로 대뇌의 활동상태를 파악할 수 있다.

또한, 인간의 발화음성을 카오스분석해서 시시각각 얻어지는 리아프노브지수의 변화의 특성을 검출하는 것에 의해, 얻어진 리아프노브지수의 시시각각의 변화를 상대적·경험적으로 포착하고, 변화의 특징에 의해 대뇌가 발화음성에 부여한 변화를 계측, 즉 대뇌의 활동에서의 부하상태를 검지하는 것으로 인간의 심신적 활동, 예컨대 긴장상태나 피로상태 등을 용이하게 검지하는 것이 가능하다.

더욱이, 항상 카오스분석해서 얻어진 리아프노브지수와 얻어진 리아프노브지수의 시시각각의 변화를 상대적·경험적으로 포착하고, 변화의 특징에 의해 대뇌가 발화음성에 부여한 변화를 계측, 즉 대뇌의 활동에서의 부하상태를 검지하기 때문에, 평가를 부가하기 위한 기준으로 되는 값을 미리 준비할 필요가 없이, 계측하면서 즉시 평가를 부가하는 것이 가능하다. 더욱이, 평가를 부가하기 위한 기준으로 되는 값을 미리 준비할 필요가 없는 것에 의해, 메모리나 자기매체 등의 데이터의 기억수단을 극력 적게 하는 것도 가능하게 되어, 장치의 소형화, 나아가서는 온보드화, 칩화 등에 의한 조립형 장치로서의 실현도 가능하게 된다.

제3발명은 제1 또는 제2발명의 구성에 더해서, 인간이 발화하는 음성을 음성신호로서 입력하는 마이크로폰과, 해당 마이크로폰에 입력된 음성신호를 디지털 데이터로 변환시키는 아날로그디지털 변환수단을 더 구비한 것을 특징으로 한다.

이에 의하면, 소위 장치의 입력신호 센서로 되는 발화음성 입력수단에 음성을 음성신호로서 입력하는 마이크로폰과, 이 마이크로폰에 입력된 음성신호를 디지털데이터로 변환시키는 아날로그디지털 변환수단으로 구성한 경우에는 통상의 마이크로폰으로부터 피험자로 되는 인간이 발하는 음성을 입력하는 것이 가능하게 되므로, 항공기의 파이롯, 항공관제사, 공공교통기관의 운전수 및 방문객안내유도원, 방송국 아나운서, 무선통신사 등 업무에 있어서 마이크로폰을 이용하는 직업분야에서는 통상 이용하는 헤드셋의 마이크로폰이나 핸디마이크로폰을 이용하는 것이 가능하게 된다.

제4발명은, 제1 내지 제3의 어느 하나의 발명의 구성에 더해서, 상기 디지털 데이터로부터 사전에 준비한 비발화음성음의 특징을 기초로 인간의 발화음성 이외의 음성데이터를 제거해서 상기 리아프노브지수 계산수단에 부여하는 비발화음성음 제거수단을 구비한 것을 특징으로 한다.

이에 의하면, 음성디지털데이터로부터 인간의 발화음성 이외의 음성데이터가제거되고, 얻어진 디지털데이터를 기초로 카오스분석해서 리아프노브지수를 얻는 것에 의해, 인간의 대뇌의 부하상태의 발로로서의 발화음성과는 관계 없는, 소위 노이즈로 되는 비발화음성음을 제거하기 위해, 보다 정밀도가 높은 대뇌활동에서 부하상태가 검지 가능하게 된다. 이에 의해, 예컨대 항공기사고 등에서 무선을 이용한 음성에 의한 교신기록이나, 항공기탑재의 보이스레코더에 기록된 음성신호 등 비교적 노이즈가 많은 음성신호를 대상으로 하는 경우에도 본 발명에 의한 장치로서 분석하는 것에 의해, 심신 진단 혹은 심신의 상태 변화를 해석하는 것에 의해 사고원인의 조사에 이용하는 것이 가능하게 된다.

또한, 음성디지털데이터로부터 인간의 발화음성 이외의 음성데이터가 제거되는 것은, 더욱이 종래 보다 뇌기능의 측정이나 뇌의 활성화 상태의 측정에 의료기기로서 이용되는 PET나 SPECT 등과 동일한 의료기기로서 본 발명의 장치를 이용하는 경우에도 음성암실 등의 환경설비를 필요로 하지 않기 때문에, 보다 소형화되고 저가의 장치로서 실현하는 것이 가능하게 된다.

제5발명은, 제1 내지 제4의 어느 하나의 발명의 구성에 더해서, 상기 인간의 발화음성 이외의 음성 데이터를 제거한 디지털 데이터로부터 개개로 평가되는 인간의 발화음성의 특징을 추출·식별하고, 상기 리아프노브지수 계산수단에 부여하는 발화음성 검출수단을 구비하는 것에 의해, 복수인의 발화음성 입력에 대한 개개의 인간의 심신적 활동의 예측·판정을 가능하게 하는 것을 특징으로 한다.

이에 의하면, 발화음성 이외의 음성데이터를 제거한 디지털데이터로부터, 더욱이 인간의 발화음성의 특징을 추출·식별하고, 개별로 리아프노브지수를 얻을 수있기 때문에, 복수인의 발화음성 입력에 대한 분석평가가 가능하게 된다. 이에 따라, 본 발명에 의한 장치를 예컨대 복수인에 의한 회의나 토론의 장에서 사용하는 경우, 발화자의 심신적 활동이 판정 가능하게 되어, 「누가 어느 화제에 혹은 누구의 말에 흥미를 갖는지」 발화자의 공포·스트레스·각성 등 심리상태를 판정하는 것도 가능하게 된다. 따라서, 음성을 이용한 카운셀링기 및 거짓말 발견기로서의 용도에도 이용가능하다.

본 발명에 의한 장치는, 일반적으로 대뇌활동의 출력으로서의 생체신호를 카오스론적 수법에 의해 분석하는 것에 의해, 그 출력을 부여한 대뇌 각 부분의 활동상태를 정량화하는 것이다.

본 발명에서는, 발화음성을 축차 카오스분석하고, 시시각각 검출되는 리아프노브지수의 변화를 상대적·경시적으로 검출해서 평가를 부가하는 것에 의해 대뇌의 언어분야에서 발생되는 부하를 평가하는 것을 가능하게 한다.

카오스론적인 분석에서는 발화음성신호를 1차원적인 시계열데이터로서 샘플링하는 것이 가능하면 충분하고, 동일 피험자로부터 동시 샘플링된 데이터를 복수 이용하는 경우에도, 원칙적으로는 이들을 개별로 처리해서, 최종적으로 각각에서 평가 결과를 합성하여 전체적으로 평가결과를 얻을 수 있다.

또한, 각 대뇌 분야는 명확하게 다른 분야와 격리되는 의미는 아니므로, 언어분야에서 높은 부하상태가 발생할 때 그 영향은 다른 분야에 따른 생체신호에도 나타난다.

더욱이, 언어분야와 같이 인간의 정신활동에서 극히 중요한 역할을 부과한분야의 상태를 계측하는 것에 의해, 그 계측결과를 대뇌 전체의 부하상황을 나타낸 것으로서 이용하는 것도 용도가 특정된 경우에는 유효하다.

이하, 본 발명을 실시예를 기초로 설명한다.

도 1 내지 도 4에는 본 발명의 실시예를 나타낸다.

도 1은 본 발명에 따른 카오스론적 휴먹 팩터 평가장치(이하, 「본 발명 장치」라 함)를 컴퓨터를 이용해서 실현한 경우의 전체 구성예를 나타낸 모식도이다.

도 1에서, 참조부호 1은 컴퓨터를 나타내고, 대뇌에 걸린 부하를 검지·판정하기 위한 프로그램(PG;이하,「대뇌 부하 검지 판정 프로그램」이라 함)이 기록된 하드디스크장치(5)가 구비되고, 대뇌 부하 검지 판정 프로그램(PG)의 각 프로그램 코드를 기억하고 있다.

단, 플렉시블디스크, CD-ROM, MO 등 다양한 컴퓨터가 이용할 수 있는 기록매체와 이들의 드라이브장치를 사용해도 되는 것은 말할 나위도 없다.

그 대뇌 부하 검지 판정 프로그램(PG)의 각 프로그램 코드 중에는 카오스해석 프로그램이 포함된다. 이 카오스 해석 프로그램은 대뇌 부하 검지 판정 프로그램(PG)이 읽어 들인 음성의 디지털 데이터를 카오스 해석하는 것에 의해 리아프노브지수를 계산하는 프로그램이다.

또한, 컴퓨터(1)에는, 마이크로폰(2) 및 통신장치(14), 음성레코더(15)가 접속되는 이외에, 비디오 출력장치(8)를 구비하고, 본 발명 장치의 동작을 위한 제어 지시 내용이나 평가 결과를 표시하는 디스플레이장치(9)가 접속된다. 또한, I/O제어장치(10)를 구비하고, 건반입력수단 및 포인팅디바이스로서 기능하는 키패드(11) 및 마우스(12)도 접속된다. 더욱이, 헤드폰(13P) 및 마이크로폰(13M)을 갖는 헤드세트(13)가 유선 또는 무선 통신에 의해 통신장치(14)에 접속된다.

또한, 마이크로폰(2) 및 헤드세트(13)의 마이크로폰(13M)은 본 발명 장치에 의해 대뇌에 걸린 부하를 검지·판정하는 대상으로 되는 인물이 통상 업무 상태에서 장착·사용하는 것으로, 이들을 장착·사용하는 인물의 발화음성을 음성신호로서 실시간으로 취입하기 위해 사용된다.

또한, 마이크로폰(2)은 복수의 인물이 동시에 발화음성을 입력하는 경우에도 접속해서 사용된다.

더욱이, 컴퓨터(1)에는, 예컨대 음성레코더(15)와 같은 기록매체에 음성신호를 기록하고, 이들을 재생 출력하는 것이 가능한 음성 재생장치가 접속가능하다. 이 음성 레코더는, 예컨대 통상은 항공기에 탑재해 두고 음성신호를 기록하는 보이스레코더와 같이, 어떠한 사정으로 본 발명 장치에 의해 카오스론적으로 음성을 해석하는 경우에 사용된다.

그 컴퓨터(1)의 내부에는 CPU(4)를 중심으로, 각 프로그램 코드를 전개하고, 기능을 실현하기 위한 기억수단으로서 RAM(6), ROM(7), 음성을 입력하는 각각의 장치로부터 음성신호를 디지털 데이터로서 취입하기 위해 「아날로그디지털 변환수단」인 아날로그디지털 변환기(3)가 내장된다.

도 2는 주로 상기한 컴퓨터(1)의 하드디스크장치(5)에 기록된 본 발명 장치의 프로그램을 나타낸 블록도이다.

즉, 이 하드디스크장치(5)에는 음성신호를 디지털 데이터로서 취입하기 위해 상기 아날로그디지털 변환기(3)로부터의 신호가 입력되는 음성데이터 검출기(20)가 설치되고, 이 음성데이터 검출기(20)에 의해 상기 디지털 데이터로부터 음성데이터가 검출되도록 되어 있다. 이 음성데이터 검출기(20)로부터 비발화음성음 제거기(21:비발화음성음 제거수단)로 신호가 입력되고, 이 비발화음성음 제거기(21)에 의해 입력된 음성신호로부터 인간의 발화음성 이외의 음성이 제거되도록 구성된다.

또한, 이 비발화음성음 제거기(21)로부터 발화음성 검출기(22:발화음성 검출수단)로 신호가 입력되고, 이 발화음성 검출기(22)에 의해 음성디지털 데이터로부터 발화음성부분이 검출되도록 되어 있다.

더욱이, 이 발화음성 검출기(22)로부터 리아프노브지수 계산기(23:리아프노브지수 계산수단)로 신호가 입력되고, 이 리아프노브지수 계산기(23)에 의해 발화음성을 카오스론적 수법에 의해 해석을 행하는 리아프노브지수가 계산되도록 구성되며, 이 리아프노브지수 계산기(23)로부터 리아프노브지수 변화검출기(24:리아프노브지수 변화검출수단)로 신호가 입력되고, 이 리아프노브지수 변화검출기(24)에 의해 상기 계산된 발화음성의 리아프노브지수의 시계열 데이터의 상대적·경시적 변화를 검출하도록 구성된다.

더욱이, 리아프노브지수 변화검출기(24)로부터 예측·판정부(27:예측·판정수단)로 신호가 입력되고, 이 예측·판정부(27)에 의해 상기 리아프노브지수의 변화의 상태로 대뇌에서 발생되는 부하 레벨을 계측하는 것에 의해 심신적 상태를 예측·판정하도록 하고 있다.

그밖에, 이 하드디스크장치(5)에는 장치에 대한 동작제어용 신호를 제어하기 위한 IO제어기(25), 본 발명 장치의 동작을 위한 제어지시내용이나 평가결과를 표시하는 표시제어기(26)를 구비한다.

이하에, 본 발명 장치의 동작에 대해서 도 2의 블록도를 참조해서 설명한다.

우선, 본 발명의 장치에 의해 대뇌에서 발생되는 부하 레벨을 검지·판정하여, 심신적 활동을 평가하는 대상인물의 발화음성을 취입해서 임성신호를 얻는다. 구체적으로는, 도 1에 나타낸 바와 같이 헤드세트(13)의 마이크로폰(13M)으로부터 입력되어, 예컨대 항공기 파이롯으로부터 음성통신을 관제동의 통신장치(14)를 매개로 입력되던가, 일반적으로 마이크로폰(2)으로부터 직접 입력 혹은, 예컨대 항공기 탑재용의 보이스레코더와 같은 음성을 기록한 매체로부터의 재생을 행하는 음성 레코더(15)로부터 음성신호가 입력된다.

다음에, 입력된 음성신호가 아날로그신호인 경우에는, 아날로그디지털 변환기(3)에서 디지털 변환이 행해지고, 음성데이터 검출기(20)에 의해, 연속된 음성데이터를 이하의 신호 처리에서 필요로 하는 처리단위로 데이터 분할한다.

다음에, 카오스론적 수법에 의한 해석의 전처리로서, 아날로그디지털 변환기(3)에서 얻어진 음성신호의 디지털 데이터로부터 인간의 발화음성 이외의 비발화 음성음을 제거하는 처리가 비발화음성음 제거기(21)로 행해진다.

구체적으로는, 제거하는 비발화음성음은, 충돌감쇠음, 충돌잔향음, 2중충돌음, 다중충돌음, 파쇄음, 마찰음이고, 음원의 중심 주파수, 잔향 시간, 대역폭을 기초로 특징 추출을 행하는 비발화음성음의 분리, 제거를 행한다.

상기된 처리에 의해 비발화음성음을 제거한 음성디지털 데이터는 인간의 발화음성성분만을 남긴 음성디지털 데이터로 이루어지지만, 복수인에 의한 발화음성신호가 입력되는 경우에는, 각각에 이하의 카오스론적 수법에 의한 해석을 행할 필요가 있어, 발화음성 검출기(22)에서 각각의 발화음성으로의 분리를 행한다.

구체적으로는, 사전에 발화자 전원의 발화음성의 중심 주파수, 잔향시간, 대역폭을 기초로 특징 추출을 행하고, 실시간으로 계측되는 음성신호와의 비교를 행한다.

다음에, 리아프노브지수 계산기(23)에 의해 인간이 발화하는 음성을 디지털 데이터화한 음성신호를 카오스론적 수법에 의해 해석해서 리아프노브지수를 계산한다.

구체적으로는, 인간의 발화음성을 시계열신호로서 처리하면, 실험적으로 그 파형의 프랙탈차원(fractal dimensionality)이 5~6의 사이인 것이 명확하게 되는것으로부터 스트레인·어트랙트는 6차원 공간까지로 구성하는 것으로서 처리를 행한다. 이 계산 처리는, 일본특허공개2000-113347호 공보의 「음성에 의한 피로·졸음 검사장치 및 기록매체」로 개시되는 방법에 의한 것도 사용할 수 있다.

그 후, 대뇌에서 발생되는 부하 레벨을 검지·판정하기 위해, 리아프노브지수 변화 검출기(24)에서 시시각각 계산되고 변화되는 발화음성신호에 의한 바의 리아프노브지수를 기준점에 대한 상태적 비교나, 시계열적인 변화의 경향에 의해, 대뇌에서 발생되는 부하 레벨의 변화를 검지하고, 예측·판정부(27)에서 측정목적에 대응하는 판정을 행한다.

예컨대, 어떤 업무를 수행하는 경우, 적절한 현장감을 유지하는 것이 그 업무를 효율적으로 수행하기 위해 유리한 것은 일반적으로 말해지는 것이지만, 종래 어느 정도의 현장감이 적절한 것인 지를 명확하게 나타내거나 아는 것은 불가능했다.

본 발명에 의한 장치에 의하면, 그 인간의 릴렉스(relax)시의 대뇌 부하 레벨과 단시간에서 피로를 자각하는 정도의 고부하 레벨을 계측하는 것이 가능하고, 따라서 그 중간적인 레벨로서 적절한 부하, 즉 그 인간이 직무 등에 필요한 시간에서 심각한 피로에 도달하지 않는 정도의 부하 레벨로 업무 부하를 관리하는 것이 가능하게 된다.

상기에 있어서, 그 인간이 피로를 자각하는 과정은 정상적인 업무에 있어서는 대뇌 부하가 잠시 상승하는 경향을 갖고 축적하는 것에 의해 또는, 크리에이티브(creative)하거나 임기응변인 대응을 요하는 업무에서는 어느 일정한 시간 이상높은 레벨의 부하가 연속하는 것에 의한다.

따라서, 본 발명에 의해, 측정되는 인간의 심신적 활동의 예측을 행하는 경우에는, 그 업무특성에 대응한 예측알고리즘을 적용할 필요가 있다. 예컨대, 상기 대뇌부하가 잠시 상승하도록 한 경향을 갖는 업무를 행하는 자에 대해서는 단순하게 이동평균에 의해 시시각각 변화하는 리아프로브지수를 평활화해서, 그 패턴에서 설정되는 규칙에 의해 휴식 등을 지시하는 것이 가능하다.

또한, 임기응변인 대응을 필요로 하는 보다 복잡한 업무를 행하는 자에 대해서는 단순한 산술에 의한 알고리즘이 아니라 칼만필터(Kalman filter) 등을 이용하고, 더욱이 그 부여되는 패턴에 대해서 의미론적, 혹은 지식 처리적인 수법에 의해 설정한 규칙을 적용하여, 그 직무 활동 등을 제어하는 것이 필요하다.

구체적으로는, 시시각각 계산되는 리아프노브지수를 시계열로서 일시적으로 유지하고, 상태변화를 정량적으로 나타내기 위해서, 리아프노브지수가 나타내는 값, 리아프노브지수의 추이, 추이의 범위를 구한다. 전후의 변화, 즉 경향을 구하는 방법으로서는 이동평균, 최소2승근사, 칼만필터 등에 의해 특성곡선을 구하고, 이들의 방법을 선택할 수 있도록 한다.

도 3 및 도 4는 실제에 발화음성으로부터 측정한 리아프노브지수를 시계열로 그래프 실현한 것이다.

도 3 중 각 플롯선은 1분 마다에 이동평균을 계산해서 플롯(flot)한 특성곡선(31), 3분 마다 이동평균을 계산해서 플롯한 특성곡선(32), 5분 마다 이동평균을 계산해서 플롯한 특성곡선(33)이다.

도 4중 각 플롯선은 1분 마다 이동평균을 계산해서 플롯한 특성곡선(41), 5분마다 이동평균을 계산해서 플롯한 특성곡선(42)이다.

이들 특성곡선(31,32,33,41,42)으로부터 알 수 있는 바와 같이, 시간간격을 길게 해서 이동평균을 구하는 것에 의해, 비교적 매끄러운 특성 곡선이 얻어지고, 심신적 활동의 경향을 포착하기 쉽게 할 수 있다.

다음에, 예측·판정부(27)로, 이들 리아프노브지수의 변화 상태를 나타내는 특성곡선(31,32,33,41,42)에 의해 대뇌에 발생하는 부하 레벨을 계측하는 것으로 심신적 활동을 예측·판정한다.

즉, 시시각각의 리아프노브지수의 변화는 그 순간에서 대뇌에서 발생되는 부하 레벨을 측정하는 것으로 뇌의 활성상태를 측정하는 것과 서로 유사하다. 따라서, 시계열로 리아프노브지수의 변화를 계측하는 것은 경향을 추정하는 것을 가능하게 한다. 이는 실험결과로부터도 명백하고, 도 3 및 도 4에 의해 이들을 설명한다.

도 3은 리아프노브지수가 증대하는 상태를 나타내는 시계열 데이터이다. 이 데이터는 피험자에 1시간 이상에 걸친 낭독을 부과하고, 그 음성에 의한 스트레인·어트랙트의 리아프노브지수를 계측한 바, 피험자가 피로를 자각한 것을 호소하기 이전에 리아프노브지수의 상승이 보여진 것을 나타낸다.

그 리아프노브지수의 상승을 대환경적응력의 저하로서 포착하고, 적응력의 저하가 장시간 이어지는 것에 의해 피로로서 자각되는 것으로 말할 수 있다. 즉, 대뇌에 높은 부하가 발생하고, 그 상태가 길게 이어진 결과, 인간은 피로감을 자각한다. 상기한 바와 같이, 리아프노브지수가 높은 상태가 이어진 것을 계측하는 것에 의해 모든 인간은 피로감을 호소하는 것을 예측하는 것도 가능하게 된다.

또한, 도 4는 리아프노브지수가 저하되는 상태를 나타낸 시계열 데이터이다. 도 3을 인도한 실험과 동일하게 신문의 낭독에 의해 얻어진 리아프노브지수의 변화를 플롯한 것이다. 소정 시간을 경과한 후에 리아프노브지수의 급격한 저하가 관측되고, 「읽는데 익숙하지 않은 사설을 읽어야만 할 때에는 대뇌에 높은 부하가 발생했지만, 읽기 익숙한 스포츠란이기 때문에 대뇌에 발생했던 부하 레벨이 낮게 되었다.」로 해석될 수 있다.

본 발명에 의한 장치에서는 이상과 같은 경향을 카오스론적으로 그리고 정량적으로 파악하는 것에 의해, 휴먼 팩터 평가를 가능하게 한다.

본 발명 장치를 의료 분야에 응용하여, 심신진단 등을 행하도록 한 경우에는 다수의 임상예를 계측하고, 특징량 검출을 하여 평균적인 상태를 구할 수 있지만, 도 2에서 발화음성검출기(22)로부터의 출력 결과 및 리아프노브지수 변화 검출기(24)의 출력 결과를 보존하는 기억수단을 부가하고, 통계적 수법에 의해 경향 분석을 행하는 수단을 설정하는 것에 의해 실현하는 것으로 된다.

본 발명은 의료 분야에 적용될 수 있는 것으로, 대뇌가 어떤 활동상태에 있는지, 더욱이 측정 시의 심신적 활동의 변화 또는 이후의 심신적 활동의 변화를 예측·판정하는 카오스론적 휴먼 팩터 평가장치로서 이용할 수 있다.

Claims (5)

1. 인간이 발화하는 음성을 디지털 데이터화한 음성신호를 카오스론적 수법에 의해 해석해서 리아프노브지수를 계산하는 리아프노브지수 계산수단과,

   해당 리아프노브 계산수단에 의해 계산된 발화음성의 리아프노브지수의 변화를 검출하는 리아프노브지수 변화검출수단을 갖추고,

   해당 리아프노브지수 변화검출수단에서 검출된 리아프노브지수의 변화의 상태에 의해 대뇌에서 발생되는 부하 레벨을 계측하는 것에 의해 심신적 활동을 예측·판정 가능한 것을 특징으로 하는 카오스론적 휴먼 팩터 평가장치.
2. 인간이 발화하는 음성을 디지털 데이터화한 음성신호를 카오스론적 수법에 의해 해석해서 리아프노브지수를 계산하는 리아프노브지수 계산수단과,

   해당 리아프노브지수 계산수단에 의해 계산된 발화음성의 리아프노브지수의 변화를 검출하는 리아프노브지수 변화검출수단 및,

   해당 리아프노브지수 변화검출수단으로 검출된 리아프노브지수의 변화 상태에 의해 대뇌에서 발생되는 부하 레벨을 계측하는 것에 의해 심신적 활동을 예측·판정하는 예측·판정수단을 구비한 것을 특징으로 하는 카오스론적 휴먼 팩터 평가장치.
3. 제1항 또는 제2항에 있어서, 인간이 발화하는 음성을 음성신호로서 입력하는마이크로폰과 해당 마이크로폰에 입력된 음성신호를 디지털 데이터로 변환시키는 아날로그디지털 변환수단을 더 구비한 것을 특징으로 하는 카오스론적 휴먼 팩터 평가장치.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 디지털 데이터로부터 사전에 준비한 비발화음성음의 특징을 기초로 인간의 발화음성 이외의 음성데이터를 제거해서 상기 리아프노브지수 계산수단에 부여하는 비발화음성음 제거수단을 구비한 것을 특징으로 하는 카오스론적 휴먼 팩터 평가장치.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 인간의 발화음성 이외의 음성 데이터를 제거한 디지털 데이터로부터 개개로 평가되는 인간의 발화음성의 특징을 추출·식별하고, 상기 리아프노브지수 계산수단에 부여하는 발화음성 검출수단을 구비하는 것에 의해, 복수인의 발화음성 입력에 대한 개개의 인간의 심신적 활동의 예측·판정을 가능하게 하는 것을 특징으로 하는 카오스론적 휴먼 팩터 평가장치.