WO2002085215A1 - Appareil d'evaluation de facteurs humains selon la theorie du chaos - Google Patents

Appareil d'evaluation de facteurs humains selon la theorie du chaos Download PDF

Info

Publication number
WO2002085215A1
WO2002085215A1 PCT/JP2002/003561 JP0203561W WO02085215A1 WO 2002085215 A1 WO2002085215 A1 WO 2002085215A1 JP 0203561 W JP0203561 W JP 0203561W WO 02085215 A1 WO02085215 A1 WO 02085215A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
lyapunov exponent
human
uttered
change
Prior art date
Application number
PCT/JP2002/003561
Other languages
English (en)
French (fr)
Inventor
Kakuichi Shiomi
Naritomo Meguro
Nobuhiro Furuse
Hideyuki Tanaka
Original Assignee
Electronic Navigation Research Institute, An Independent Administrative Institution
Mitsubishi Space Software Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronic Navigation Research Institute, An Independent Administrative Institution, Mitsubishi Space Software Co., Ltd. filed Critical Electronic Navigation Research Institute, An Independent Administrative Institution
Priority to US10/474,256 priority Critical patent/US20040107105A1/en
Priority to KR1020037013246A priority patent/KR100722457B1/ko
Priority to IL15832502A priority patent/IL158325A0/xx
Priority to EP02717089A priority patent/EP1386584B1/en
Publication of WO2002085215A1 publication Critical patent/WO2002085215A1/ja
Priority to IL158325A priority patent/IL158325A/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4803Speech analysis specially adapted for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/26Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain

Definitions

  • the present invention quantitatively detects the load level generated in the cerebrum of a person by analyzing the voice uttered by the person, and finds out how the cerebrum is in an active state, and furthermore, the mental and physical activity during the measurement.
  • This is a chaos-theoretic human factor evaluation device that predicts changes in the physical and physical activities and the subsequent changes in mental and physical activities, and belongs to the field of medical diagnostic technology and the like.
  • the apparatus according to the present invention simply provides human eyes.
  • Mental and physical activities that are detected and predicted from external observations by ears and ears, specifically, those that are relatively superficial, such as emotions, emotions, fear, and anxiety, as well as complex mathematical problems.
  • the taste and taste of a person with pleasure or discomfort and moreover, it simply detects the load on the brain during measurement, that is, the state of mind and body Rather, it is possible to predict and determine future mental and physical activities by performing a trend analysis from the current detection results, and the present invention widely belongs to human factor evaluation technology.
  • a device that measures the activity of the cerebral cortex inside the skull by irradiating the head with weak infrared rays and measuring the reflection intensity ⁇ A device that measures the activity of the brain by imaging it ( Optical topography device).
  • EEG measurement involves attaching an electrode to the scalp and capturing the electrical changes caused by neurons in the cerebral cortex every moment, making the device itself smaller and relatively inexpensive.
  • electroencephalography shows that abnormal waves of seizures such as epilepsy are detected, changes in sleep and wakefulness, changes in the overall activity level of the brain caused by impaired consciousness, and lesions such as cerebral infarction and tumors And the effects on brain function.
  • PET, SPECT, and optical topography devices are currently the most sensitive devices and enable analysis and evaluation of brain function, but all are large-scale devices.
  • the elucidation is not limited to the medical field, but is also important for research on human mental activities related to art such as music, and research on anthropology and civilization theory that treats humans as a group regarding civilization and cultural differences. It is considered to be meaningful, and in order to evaluate brain function for wide-ranging research, it is essential to develop a device that can easily evaluate brain function.
  • the present invention provides a device that can predict and determine the state of mind and body of a human by measuring the load level generated in the cerebrum in a state where the human body is not in contact with the human body by using a relatively simple device. It is an issue. Disclosure of the invention
  • the inventors of the present invention have conducted intensive studies to solve the above-mentioned problems, and have found the following invention.
  • the central processing for speech in the cerebral cortex includes an articulatory exercise planning stage and a subsequent articulatory exercise execution stage.
  • the complexity of the sentence causes the processing time to elongate during the articulatory exercise planning stage, that is, an increase in the load on the cerebrum, and as a result the uttered voice itself changes, so analyzing the uttered voice will result in a cerebral function. We thought that we could measure.
  • This uttered voice can be analyzed by chaos-theoretic analysis and calculating the Lyapunov exponent, and by quantitatively expressing the activity state of the brain from the causal relationship between the cerebrum and the uttered voice, it is possible to analyze the uttered voice in a non-contact state. By measuring the load level generated in the cerebrum, it was found that mental and physical activities could be predicted and judged.
  • a first invention is a Lyapunov exponent calculating means for analyzing a voice signal obtained by converting a voice uttered by a human into digital data by a chaotic theory method to calculate a Lyapunov exponent, and a speech calculated by the Lyapunov exponent calculating means.
  • a Lyapunov exponent change detecting means for detecting a change in the Lyapunov exponent of the voice.
  • a chaotic theory human factor evaluation device that can predict and judge mental and physical activities by measuring the load level generated in the cerebrum based on the state of the change of the Lyapunov exponent detected by the Novoff exponent change detection means.
  • a second invention provides a Lyapunov exponent calculating means for analyzing a voice signal obtained by converting a voice uttered by a human into digital data by a force theory method to calculate a Lyapunov exponent, and a speech calculated by the Lyapunov exponent calculating means.
  • Lyapunov exponent change detecting means for detecting a change in the Lyapunov exponent of the voice; and a state of the change in the Lyapunov exponent detected by the Lyapunov exponent change detection means, thereby measuring the load level generated in the cerebrum to measure mental and physical activity.
  • the feature is that it is a chaotic theoretical human factor evaluation device equipped with prediction, judgment prediction, and judgment means) o
  • the state of the Lyapunov exponent is calculated from the state of the Lyapunov exponent by analyzing the audio signal obtained by converting the speech uttered by a human into digital data by a chaotic theory method and calculating the Lyapunov exponent. Since the condition is detected, measurement can be performed without contact with the subject's human body without attaching sensors, etc., so that unnecessary mental and physical burdens are not exerted on the subject's human body, and You can grasp the activity state of the cerebrum in a normal state without giving tension.
  • the change in the obtained Lyapunov exponent is captured relatively and temporally, and the characteristics of the change Accordingly, measuring the change in cerebral gave speech, i.e. by detecting the load state of the activities of the brain, the human mind and body activity, and c can be easily detected, for example, tension and fatigue, etc.
  • the relative change of the Lyapunov exponent, which is always obtained by chaos analysis, and the obtained Lyapunov exponent, is captured over time, and the characteristics of the change are used to measure the change that the cerebrum has given to the uttered speech.
  • a microphone that inputs a voice uttered by a human as a voice signal
  • an analog-to-digital converter that converts the voice signal input to the microphone into digital data
  • a microphone for inputting a voice as a voice signal to speech voice input means serving as a so-called input signal sensor of a device and an analog-to-digital conversion means for converting a voice signal input to the microphone into a digital signal.
  • voice of the human being as a subject from a normal microphone, so that aircraft pilots, air traffic controllers, public transport drivers, customer guides, and broadcasting stations
  • headset microphones and handy microphones that are normally used.
  • the digital voice other than the human uttered voice may be used based on the characteristics of the previously prepared non-voiced voice sound.
  • the apparatus further comprises a non-uttered voice sound removing unit that removes voice data and provides the result to the Lyapunov exponent calculating unit.
  • voice data other than human uttered voice is removed from the voice digital data, and chaos analysis is performed based on the obtained digital data to obtain a Lyapunov exponent.
  • chaos analysis is performed based on the obtained digital data to obtain a Lyapunov exponent.
  • the removal of voice data other than human speech from the digital voice data can be further reduced by PET or SPECT, which has been used as a medical device to measure brain function and brain activation status.
  • PET or SPECT has been used as a medical device to measure brain function and brain activation status.
  • the digital speech data obtained by removing the speech data other than the human speech voice from the digital data is evaluated individually. Equipped with an uttered voice detecting means for extracting and discriminating a feature and applying the uttered voice to the Lyapunov exponent calculating means, it is possible to predict and judge the mental and physical activities of individual humans in response to a plurality of uttered voice inputs. And According to this, the characteristics of human uttered voices can be further extracted from digital data from which audio data other than uttered voices have been removed, and Lyapunov exponents can be individually obtained. The analysis and evaluation of the input can be performed.
  • the apparatus according to the present invention when used, for example, in a meeting or discussion by a plurality of persons, it becomes possible to determine the mental and physical activities of the speaker, and it is possible to determine ⁇ who is interested in what topic or who talks about It is also possible to determine the psychological state of the speaker such as fear, stress, arousal, etc. Therefore, it can also be used as a counseling device using speech and a lie detector.
  • the device generally quantifies the activity state of each cerebral area that has given its output by analyzing a biological signal as an output of cerebral activity by a chaotic theory method.
  • the present invention evaluates the load generated in the linguistic area of the cerebrum by sequentially performing chaos analysis on the uttered voice, detecting changes in Lyapunov exponents that are detected from time to time relative to each other, and performing evaluation. It is possible.
  • each cerebral area is not clearly separated from other areas, when a high load state occurs in the language area, its effect also appears in the biological signals related to other areas.
  • the measurement results can be used as an indication of the overall cerebral load status. It is valid when specified.
  • FIG. 1 is a block diagram schematically showing a personal computer and the like according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an internal structure of the personal computer according to the embodiment.
  • FIG. 3 is a graph showing a relationship between a Lyapunov exponent of a human uttered voice measured using the apparatus according to the embodiment and time.
  • FIG. 4 is a graph when measurement is performed in a situation different from the situation in FIG. 3 according to the embodiment.
  • BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described based on embodiments.
  • 1 to 4 show an embodiment of the present invention.
  • FIG. 1 is a schematic diagram showing an example of the overall configuration when a chaotic theoretical human factor evaluation device according to the present invention (hereinafter, referred to as “the present invention device”) is realized using a computer.
  • the present invention device a chaotic theoretical human factor evaluation device according to the present invention
  • reference numeral 1 denotes a computer, which is a program for detecting and determining a load on the cerebrum (hereinafter referred to as a “cerebral load detection determination program”). It is provided and stores each program code of the cerebral load detection judgment program PG.
  • a recording medium such as a flexible disk, a CD-ROM, and a MO that can be used by various computers and a drive device thereof may be used.
  • Each program code of the cerebral load detection judgment program PG includes a chaos analysis program.
  • This chaos analysis program is a program that calculates the Lyapunov exponent by performing chaos analysis on the digital data of the voice read by the cerebral load detection determination program PG.
  • the computer 1 is connected to the microphone 2, the communication device 14, and the audio recorder 15, and has a video output device 8.
  • the computer 1 displays control instruction contents and evaluation results for the operation of the present invention device.
  • Display device 9 is connected.
  • a keypad 11 and a mouse 12 which are provided with an I / O control device 10 and function as a key input device and a pointing device are also connected.
  • a headset 13 having a headphone 13P and a microphone 13M is connected to the communication device 14 by wire or wireless communication.
  • the microphone 13 and the microphone 13M of the headset 13 are used and worn by a person whose load on the cerebrum is detected and determined by the device of the present invention in a normal business state. , Attach them It is used to capture the uttered voice of the person using it as a voice signal in real time.
  • the microphone 2 is connected and used when a plurality of persons simultaneously input uttered voices.
  • the computer 1 can be connected to an audio reproducing device that can record an audio signal on a recording medium such as an audio recorder 15 and reproduce and output the audio signal.
  • a voice recorder is used, for example, when a voice is analyzed chaotically by the device of the present invention in some circumstances, such as a Pois recorder which is usually mounted on an aircraft and records a voice signal.
  • the CPU 4 is the center, and each program code is expanded, and RAM 6, OM 7, as a storage means for realizing the functions, audio signals are input from each device, and audio signals are digitally output from the respective devices.
  • FIG. 2 is a block diagram mainly showing a program of the present invention device recorded on the hard disk device 5 of the computer 1 described above.
  • the hard disk drive 5 is provided with an audio data detector 20 to which a signal from the analog-to-digital converter 3 for inputting an audio signal as digital data is provided. According to 20, the audio data is detected from the digital data. A signal is input from the voice detector overnight detector 20 to the non-uttered voice sound remover 21 (non-uttered voice sound remover). Are configured to remove voices other than human uttered voices.
  • a signal is input from the non-speech sound sound remover 21 to the utterance sound detector 22 (speech sound detection means), and the utterance sound part from the sound digital data is output by the utterance sound detector 22. Is to be detected.
  • a signal is input from the uttered speech detector 22 to a Lyapunov exponent calculator 23 (a Lyapunov exponent calculating means), and the uttered speech is analyzed by the chaos theory method by the Lyapunov exponent calculator 23.
  • the Lyapunov exponent calculator 23 is configured to calculate a Lyapunov exponent, and a signal is input from the Lyapunov exponent calculator 23 to a Lyapunov exponent change detector 24 (Lyapunov exponent change detecting means).
  • the calculated Lyapunov exponent of the uttered voice is configured to detect a relative / temporal change over time. Furthermore, a signal is input from the Lyapunov exponent change detector 24 to the prediction unit 27 (prediction / judgment means), and the prediction / judgment unit 27 outputs a signal based on the change of the Lyapunov exponent. By measuring the load level that occurs during the period, the mental and physical state is predicted and determined.
  • the hard disk device 5 includes a 10 controller 25 for controlling an operation control signal for the device, and a display controller 26 for displaying a control instruction content and an evaluation result for operating the present invention device. .
  • a load level generated in the cerebrum is detected and determined by the apparatus of the present invention, and a speech signal of a person to be evaluated for psychosomatic activity is captured to obtain a voice signal.
  • the voice is input from the microphone 13M of the headset 13 and, for example, voice communication is input from the aircraft pilot via the communication device 14 of the control building, or An audio signal is input directly from the microphone 2 or from an audio recorder 15 capable of reproducing from a medium recording audio such as a voice recorder mounted on an aircraft.
  • the input audio signal is an analog signal
  • digital conversion is performed by the analog-to-digital converter 3
  • the audio data detector 20 converts continuous audio data into subsequent signal processing. Overnight split in required processing units I do.
  • a process of removing non-uttered voice sounds other than human uttered voices from the digital data of the voice signal obtained by the analog-to-digital converter 3 is performed. This is performed by the voice remover 21.
  • the non-speech sound to be removed is a collision attenuation sound, a collision reverberation sound, a double collision sound, a multiple collision sound, a crushing sound, a fricative sound, and the center frequency, reverberation time, and bandwidth of the original sound are also determined. Then, feature extraction is performed to separate and remove non-speech sound.
  • the digital audio data from which non-uttered voice sound has been removed by the above-described processing becomes a digital voice data with only human voice voice components remaining, but if voice voice signals from multiple people are input, individual Then, it is necessary to perform analysis using the chaotic theory method, and the utterance sound detector 22 separates each utterance sound.
  • feature extraction is performed in advance based on the center frequency, reverberation time, and bandwidth of the uttered voices of all speakers, and comparisons are made with the audio signals measured in real time.
  • the Lyapunov exponent calculator 23 analyzes the voice signal obtained by converting the speech uttered by a human into digital data by a chaotic theory method, and calculates the Lyapunov exponent.
  • the fractal dimension of the waveform is experimentally found to be between 5 and 6.
  • the processing is performed as if it were configured to the space.
  • a method disclosed in Japanese Patent Publication No. 2000-113133 / 47 “Apparatus and recording medium for detecting fatigue and falling asleep by voice” can also be used.
  • the Lyapunov exponent change detector 24 detects and determines the load level generated in the cerebrum by using the speech signal that is calculated and changed every moment.
  • the Lyapunov exponent is compared with the reference point, and the change in the load level occurring in the cerebrum is detected based on the tendency of the time-series change, and the prediction / judgment unit 27 makes a judgment corresponding to the measurement purpose. .
  • the device According to the device according to the present invention, it is possible to measure the cerebral load level at the time of relaxation of the human and the high load level enough to recognize fatigue in a short time. It is possible to manage the workload, that is, the workload at a level that does not cause serious fatigue in the time required for the job or the like.
  • the Lyapunov exponent that changes every moment by simply moving average is smoothed, and the rule set in the pattern is used. It is possible to give instructions for rest, etc.
  • the Lyapunov exponent which is calculated every moment, is temporarily stored in a time series, and the value indicated by the Lyapunov exponent, the transition of the Lyapunov exponent, and the range of the transition are calculated in order to quantitatively indicate the state change.
  • a characteristic curve is obtained by a moving average, a least-squares approximation, a Kalman-filled filter, or the like, and these methods can be selected.
  • Figures 3 and 4 show the Lyapunov exponents actually measured from the uttered speech in a time series graph.
  • Each plot line in Fig. 3 is a characteristic curve 31 calculated by moving average every minute and plotted.
  • a characteristic curve calculated by moving average every 3 minutes and plotted is a moving average every 5 minutes.
  • the plot lines in FIG. 4 are a characteristic curve 41 calculated by plotting a moving average every minute and plotted, and a characteristic curve 42 plotted by calculating a moving average every 5 minutes.
  • a relatively smooth characteristic curve can be obtained by calculating the moving average by increasing the time interval, and the mental and physical activities can be obtained. Can be easily grasped.
  • the prediction / judgment unit 27 measures the load level generated in the cerebrum by using the characteristic curves 31 1, 3 2, 3 3, 4 1, and 4 2 indicating the state of the change of the Lyapunov exponent. Predict and judge mental and physical activities.
  • Fig. 3 is time series data showing the state where the Lyapunov exponent increases. In this evening, subjects were asked to read for more than an hour, • Measurements of the Lyapunov exponent on the tractor show that the Lyapunov exponent increased before the subject became aware of fatigue and complained.
  • the increase in the Lyapunov exponent is regarded as a decrease in the ability to adapt to the environment, and it can be said that fatigue is felt when the adaptability declines for a long time.
  • a high load on the cerebrum that lasts for a long time humans are aware of fatigue.
  • Fig. 4 shows the situation where the Lyapunov index decreases.
  • C is a plot of the change in the Lyapunov exponent obtained by reading the newspaper in the same manner as in the experiment that led to Fig. 3, which is a time series depiction of the time series. After a certain period of time, a sharp drop in the Lyapunov index was observed, stating that ⁇ When reading an unfamiliar editorial, a high load on the cerebrum occurred, As a result, the load level occurring in the cerebrum has been reduced.
  • the device according to the present invention enables human factor evaluation by grasping the above tendency chaotically and quantitatively.
  • the present invention can be applied to the medical field, and predicts the state of the cerebral activity, the change in psychosomatic activity during measurement, and the change in psychosomatic activity thereafter. It can be used as a chaotic human factor evaluation device for judgment.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

明 細 カオス論的ヒューマンファクタ評価装置 技術分野
この発明は、 人間が発する音声を解析することにより、 その人の大脳に発 生する負荷レベルを定量的に検知し、 大脳がどのような活動状態にあるか、 さらには測定時の心身的活動の変化、 また以後の心身的活動の変化を予測 - 判定するカオス論的ヒューマンファクタ評価装置に関し、 医療診断技術等の 分野に属するものである。
しかも、 この発明による評価の対象が大脳機能であること、 また人間を含 む全ての動物の活動がその脳により支配されていることから、 この発明によ る装置によれば、 単に人の目や耳による外面的な観察から検知され予測され る人の心身的活動、 具体的には喜怒哀楽や恐怖感、 不安感など比較的表面化 する心身的活動のみならず、 たとえば複雑な数学問題の解法に苦手意識のあ る人の大脳に与える負荷や、 快感、 不快感を伴う人の趣味嗜好などを探る場 合、 さらには測定時の脳に与える負荷状態、 すなわち心身の状態を検知する ばかりでなく、 現状の検知結果から傾向分析を行うことにより以後の心身的 活動を予測判定することが可能であり、 この発明は広くヒューマンファクタ の評価技術に属する。 背景技術
従来、 脳機能の測定は脳波を測定することにより、 例えば眠気などの意識 の覚醒状態や精神集中度などを測定する方法および装置がある。
また、 1 9 8 0年代以降は脳内に投与した脳血流トレーサーの動態状況や、 脳におけるブドウ糖の代謝状況をガンマカメラや専用のスキャナで計測し画 像化できるポジトロン CT装置 (PET) やシングルフォトン CT装置 (S PE CT) により行われてきた。
その他には、 微弱な赤外線を頭部に照射し、 反射強度を測ることにより頭 蓋骨の内側にある大脳皮質の活動状態を計測 ·画像化することにより脳の活 動状況を計測する装置 (光トポグラフィ装置) がある。
しかしながら、 このような従来の脳波の測定は、 頭皮に電極を取り付け、 大脳皮質の神経細胞が引き起こす時々刻々の電気的な変化をとらえるもので あり、 装置そのものは小型化され、 比較的安価になっているが、 脳波検査で わかることは、 てんかんなど発作性疾患の異常波の検出、 睡眠,覚醒の変化、 意識の障害によっておこる脳の全般的活動水準の変化、 脳梗塞や腫瘍などの 病変による脳機能に対する影響などである。
そして、 脳波研究のごく初期には脳波で個人の性格や知能、 心身的活動が わかるのではないかと考えられたこともあるが、 現在は性格や知能と脳波は 一定の関係を示さないことが明らかになつている。
また、 PET、 SPECT、 光トポグラフィ装置は、 現在最も感度が高い 装置であり、 脳機能の分析評価を可能とするが、 いずれも大掛かりな装置で ある。
さらに、 これらの装置は非常に高価な装置であることにより、 今日、 脳機 能の測定が極めて困難な問題であることは、 PETや SPECT、 光トポグ ラフィ装置の実用化以降においても、 変わってはいない。
さらにまた、 上述の装置は、 すべて測定のために人体に何らかのセンサを 取り付けたり、 造影用薬物の投与が必要であり、 例えば正常脳の機能評価を 行う場合には、 センサ等を取り付けたこと自体がストレスとなり、 通常とは 異なる心身的活動に陥り、 評価の基準となるべき平常状態の情報が得られず、 正確な検知、 判定が行えない可能性を常に有している。
一方、 人間の活動が全てその脳により支配されていることから、 脳機能の 解明は、 単に医療分野に限らず、 音楽等の芸術に係る人間の精神活動に関す る研究、 文明や文化の差異等に関し集団としての人間を取り扱う人類学や文 明論等の研究にも大きな意味を有すると考えられ、 脳機能の評価を広範な研 究に役立てるためには、 脳機能の評価を容易に行うことを可能とする装置の 開発が必要不可欠である。
そこで、 この発明は、 比較的簡単な装置により、 人体に非接触な状態で、 大脳に発生する負荷レベルを計測して、 人間の心身の状態を予測 ·判定する ことができる装置を提供すること課題としている。 発明の開示
この発明者らは、 上記課題を解決するため、 鋭意研究したところ、 以下の 発明を見出すに至った。
この発明者らは、 まず、 大脳皮質における発話のための中枢での処理とし ては、 調音運動企画段階およびその後の調音運動の実行段階があるが、 発話 すべき単語の拍数増加や単語もしくは文章の複雑さなどが調音運動企画段階 での処理時間伸長を引き起こすこと、 すなわち大脳に対する負荷の増加が生 じ、 結果的に発話音声そのものが変化することから、 発話音声を解析すれば、 大脳機能を計測できると考えた。
そして、 この発話音声はカオス論的手法により解析してリァプノフ指数を 計算すれば解析でき、 上述した大脳と発話音声の因果関係から脳の活動状態 を定量的に表すことにより、 非接触な状態で、 大脳に発生する負荷レベルを 計測し、 心身的活動を予測 ·判定できること見出した。
そこで、 第 1の発明は、 人間が発話する音声をデジタルデータ化した音声 信号をカオス論的手法により解析してリァプノフ指数を計算するリァプノフ 指数計算手段と、 該リアプノフ指数計算手段より計算された発話音声のリァ プノフ指数の変化を検出するリアプノフ指数変化検出手段と有し、 該リアプ ノフ指数変化検出手段で検出されたリァプノフ指数の変化の状態により、 大 脳に発生する負荷レベルを計測することにより心身的活動を予測 ·判定可能 としたカオス論的ヒューマンファクタ評価装置としたことを特徴とする。 第 2の発明は、 人間が発話する音声をデジタルデータ化した音声信号を力 ォス論的手法により解析してリアプノフ指数を計算するリァプノフ指数計算 手段と、 該リァプノフ指数計算手段より計算された発話音声のリァプノフ指 数の変化を検出するリアプノフ指数変化検出手段と、 該リァプノフ指数変化 検出手段で検出されたリアプノフ指数の変化の状態により、 大脳に発生する 負荷レベルを計測することにより心身的活動を予測 ·判定する予測 ·判定手 段とを備えたカオス論的ヒューマンファクタ評価装置としたことを特徴とす ) o
第 1又は第 2の発明によれば、 人間が発話する音声をデジタルデータ化し た音声信号をカオス論的手法により解析してリアプノフ指数を計算すること により、 このリアプノフ指数の状態から、 大脳の活動状態が検知されるため、 被験者の人体に対してセンサ等を装着することなく、 非接触で測定できるこ とから、 被験者となる人間に不必要な精神的身体的負担をかけることなく、 又、 緊張感を与えることなく、 平常状態での大脳の活動状態が把握できる。 また、 人間の発話音声をカオス分析して時々刻々得られるリアプノフ指数 の変化の特性を検出することにより、 得られたリァプノフ指数の時々刻々の 変化を相対的 ·絰時的に捉え、 変化の特徴により、 大脳が発話音声に与えた 変化を計測、 すなわち大脳の活動における負荷状態を検知することで、 人間 の心身的活動、 例えば緊張状態や疲労状態等を容易に検知することができる c さらに、 常にカオス分析して得られるリアプノフ指数と、 得られたリアプ ノフ指数の時々刻々の変化を相対的 *絰時的に捉え、 変化の特徴により、 大 脳が発話音声に与えた変化を計測、 すなわち大脳の活動における負荷状態を 検知しているため、 評価を加えるための基準となる値を予め用意する必要が なく、 計測しながら即座に評価を加えることが可能である。 しかも、 評価を 加えるための基準となる値を予め用意する必要がないことにより、 メモリや 磁気媒体などのデ一夕の記憶手段を極力少なくすることも可能となり、 装置 の小型化、 ひいてはオンボード化、 チップ化などによる組込み型装置として の実現も可能となる。
第 3の発明は、 第 1又は第 2の発明の構成に加え、 人間が発話する音声を 音声信号として入力するマイクロフォンと、 該マイクロフォンに入力された 音声信号をデジタルデータに変換するアナログデジタル変換手段とを更に備 えたことを特徴とする。
これによれば、 いわゆる装置の入力信号センサとなる発話音声入力手段に 音声を音声信号として入力するマイクロフォンと、 このマイクロフォンに入 力された音声信号をデジタルデ一夕に変換するアナログデジタル変換手段と で構成した場合には、 通常のマイクロフォンから被験者となる人間の発する 音声を入力することが可能となるので、 航空機のパイロット、 航空管制官、 公共交通機関の運転手ならびに顧客案内誘導員、 放送局アナゥンサ、 無線通 信士など業務においてマイクロフォンを利用する職業分野においては、 通常 利用するへッ ドセットのマイクロフォンやハンディマイクロフォンを利用す ることが可能となる。
第 4の発明は、 第 1乃至第 3の何れか一つの発明の構成に加え、 前記デジ 夕ルデ一夕から、 あらかじめ用意した非発話音声音の特徴をもとに、 人間の 発話音声以外の音声デ一夕.を除去して、 前記リアプノフ指数計算手段に与え る非発話音声音除去手段を備えたことを特徴とする。
これによれば、 音声デジタルデ一夕から人間の発話音声以外の音声データ が除去され、 得られたデジタルデータを基にカオス分析してリアプノフ指数 を得ることにより、 人間の大脳の負荷状態の現れとしての発話音声とは係り のないいわゆるノイズとなる非発話音声音を除去するため、 より精度の高い 大脳活動における負荷状態が検知可能となる。 これにより、 例えば航空機事 故等で無線を利用した音声による交信記録や、 航空機搭載のボイズレコーダ に記録された音声信号など比較的ノイズの多い音声信号を対象とする場合で もこの発明による装置で分析することにより、 心身診断もしくは心身の状態 変化を解析することにより、 事故原因の調査に利用することが可能となる。 また、 音声デジタルデ一夕から人間の発話音声以外の音声データが除去さ れることは、 さらに従来より脳機能の測定や脳の活性化状態の測定に医療機 器として利用されている P E Tや S P E C Tなどと同様の医療機器としてこ の発明の装置を利用する場合においても、 音声暗室などの環境設備を必要と しないため、 より小型で安価の装置として実現することが可能となる。
第 5の発明は、 第 1乃至第 4の何れか一つの発明の構成に加え、 前記人間 の発話音声以外の音声データを除去したデジタルデ一夕から、 個々に評価さ れる人間の発話音声の特徴を抽出 ·識別し、 前記リアプノフ指数計算手段に 与える発話音声検出手段を備えることにより、 複数人の発話音声入力に対す る個々の人間の心身的活動の予測 ·判定を可能とすることを特徴とする。 これによれば、 発話音声以外の音声デ一夕を除去したデジタルデータから、 更に人間の発話音声の特徴を抽出 '識別し、 個別にリアプノフ指数を得るこ とができるため、 複数人の発話音声入力に対する分析評価が可能となる。 こ れによりこの発明による装置を、 例えば複数人による会議や討論の場におい て使用する場合、 発話者の心身的活動を判定可能となり、 「誰がどの話題に、 あるいは誰の話に興味を持ったか、 否か 発話者の恐怖 ·ストレス ·覚醒 など心理状態を判定することも可能となる。 したがって音声を利用したカウ ンセリング器及び嘘発見器としての用途にも利用可能である。
この発明による装置は、 一般的に大脳活動の出力としての生体信号をカオ ス論的手法により分析することにより、 その出力を与えた大脳各部野の活動 状態を定量化するものである。 この発明では、 発話音声を逐次カオス分析し、 時々刻々検出されるリアプ ノフ指数の変化を相対的 ·経時的に検出し評価を加えることにより大脳の言 語野に発生する負荷を評価することを可能としている。
カオス論的な分析においては、 発話音声信号を一次元的な時系列データと してサンプルすることができれば十分であり、 同一被験者から同時サンプル されたデータを複数利用する場合においても、 原則的にはこれらを個別に処 理し、 最終的に夫々における評価結果を合成し全体的な評価結果を得ること ができる。
また、 各大脳部野は明確に他の部野と切り離されている訳ではないので、 言語野に高い負荷状態が発生するときその影響は、 他の部野に係る生体信号 にも現れる。
さらに、 言語野のように人間の精神活動において極めて重要な役割を果た す部野の状態を計測することにより、 その計測結果を大脳全体の負荷状況を 示すものとして利用することも、 用途が特定される場合には有効である。 図面の簡単な説明
第 1図は、 この発明の実施の形態にかかるパーソナルコンピュータ等の概 略を示すプロック図である。
第 2図は、 同実施の形態にかかるパーソナルコンピュータの内部構造を示 すプロック図である。
第 3図は、 同実施の形態にかかる装置を用いて測定した人間の発話音声の リアプノフ指数と時間との関係を示すグラフ図である。
第 4図は、 同実施の形態にかかる第 3図の状況と異なる状況で測定した場 合のグラフ図である。 発明を実施するための最良の形態 以下、 この発明を実施の形態に基づいて説明する。
第 1図乃至第 4図には、 この発明の実施の形態を示す。
第 1図は、 この発明に係るカオス論的ヒューマンファクタ評価装置 (以下、 「この発明装置」 と言う) をコンピュータを利用して実現した場合の全体の 構成例を示す模式図である。
第 1図において、 参照符号 1はコンピュータを示しており、 大脳にかかる 負荷を検知 '判定するためのプログラム (以下、 「大脳負荷検知判定プログ ラム」 と言う) P Gが記録されたハードディスク装置 5が備えられており、 大脳負荷検知判定プログラム P Gの各プログラムコ一ドを記憶している。 但し、 フレキシブルディスク、 C D— R O M, M O等種々のコンピュータ が利用できる記録媒体とそれらのドライブ装置を使用してもよいことは言う までもない。
その大脳負荷検知判定プログラム P Gの各プログラムコードの中にはカオ ス解析プログラムが含まれている。 このカオス解析プログラムは、 大脳負荷 検知判定プログラム P Gが読み込んだ音声のデジタルデ一夕をカオス解析す ることによりリアプノフ指数を計算するプログラムである。
また、 コンピュータ 1には、 マイクロフォン 2及び通信装置 1 4、 音声レ コーダ 1 5が接続されている他、 ビデオ出力装置 8を備え、 この発明装置の 動作のための制御指示内容や評価結果を表示するディスプレイ装置 9が接続 されている。 また、 I /O制御装置 1 0を備え、 打鍵入力手段及びボインテ ィングデバイスとして機能するキ一ポード 1 1及びマウス 1 2も接続されて いる。 さらに、 へヅドフォン 1 3 P及びマイクロフォン 1 3 Mを有するへヅ ドセット 1 3が有線または無線通信により通信装置 1 4に接続されている。 また、 マイクロフオン 2およびへヅドセヅ ト 1 3のマイクロフオン 1 3 M は、 この発明装置により大脳にかかる負荷を検知 ·判定する対象となる人物 が通常業務状態において装着 ·使用しているものであり、 それらを装着 ·使 用している人物の発話音声を音声信号としてリアルタイムで取り込むために 使用される。
なお、 マイクロフォン 2は複数の人物が同時に発話音声を入力する場合に も接続し使用される。
さらに、 コンピュータ 1には、 例えば音声レコーダ 1 5のような記録媒体 に音声信号を記録し、 それを再生出力することが可能な音声再生装置が接続 可能である。 この音声レコーダは例えば通常は航空機に搭載されており音声 信号を記録するポイスレコーダのように、 何らかの事情でこの発明装置によ りカオス論的に音声を解析する場合に使用される。
そのコンピュータ 1の内部には、 C P U 4を中心に、 各プログラムコード を展開し、 機能実現するための記憶手段として R AM 6、 O M 7 , 音声を 入力するそれそれの装置から音声信号をデジタルデ一夕として取り込むため に、 「アナログデジタル変換手段」 であるアナログデジタル変換器 3が内蔵 されている。
第 2図は主として上述コンピュータ 1のハードディスク装置 5に記録され たこの発明装置のプログラムを示すプロック図である。
すなわち、 このハードディスク装置 5には、 音声信号をデジタルデ一夕と して取り込むための前記アナログデジタル変換器 3からの信号が入力される 音声データ検出器 2 0が設けられ、 この音声データ検出器 2 0により、 前記 デジタルデ一夕から音声デ一夕が検出されるようになっている。 この音声デ 一夕検出器 2 0から非発話音声音除去器 2 1 (非発話音声音除去手段) に信 号が入力され、 この非発話音声音除去器 2 1により、 入力された音声信号か ら人間の発話音声以外の音声が除去されるように構成されている。
また、 この非発話音声音除去器 2 1から発話音声検出器 2 2 (発話音声検 出手段) に信号が入力され、 この発話音声検出器 2 2により、 音声デジタル デ一夕から発話音声部分が検出されるようになっている。 さらに、 この発話音声検出器 2 2からリアプノフ指数計算器 2 3 (リアプ ノフ指数計算手段) に信号が入力され、 このリアプノフ指数計算器 2 3によ り、 発話音声をカオス論的手法により解析を行いリアプノフ指数が計算され るように構成され、 このリアプノフ指数計算器 2 3からリアプノフ指数変化 検出器 2 4 (リアプノフ指数変化検出手段) に信号が入力され、 このリアプ ノフ指数変化検出器 2 4により、 前記計算された発話音声のリアプノフ指数 の時系列デ一夕の相対的 ·経時的変化を検出するように構成されている。 さらにまた、 リアプノフ指数変化検出器 2 4から予測 .判定部 2 7 (予測 •判定手段) に信号が入力され、 この予測,判定部 2 7により、 前記リアプ ノフ指数の変化の状態にて、 大脳に発生する負荷レベルを計測することによ り、 心身的状態を予測,判定するようにしている。
その他、 このハードディスク装置 5には、 装置に対する動作制御用信号を 制御するための 1 0制御器 2 5、 この発明装置動作のための制御指示内容や 評価結果を表示する表示制御器 2 6を備える。
以下に、 この発明装置の動作について、 第 2図のブロック図を参照して説 明する。
まず、 この発明装置により大脳に発生する負荷レベルを検知 ·判定し、 心 身的活動を評価する対象人物の発話音声を取り込んで、 音声信号を得る。 具 体的には、 第 1図に示すようにへッドセヅト 1 3のマイクロフォン 1 3 Mか ら入力されて例えば航空機パイロットから音声通信を管制棟の通信装置 1 4 を介して入力されるか、 一般のマイクロフォン 2から直接入力、 若しくは、 例えば航空機搭載用のボイスレコーダのような音声を記録した媒体からの再 生を行える音声レコーダ 1 5から音声信号が入力される。
次に、 入力された音声信号がアナログ信号である場合には、 アナログデジ タル変換器 3でデジタル変換が行われ、 音声デ一夕検出器 2 0により、 連続 した音声データを以降の信号処理において必要とする処理単位でデ一夕分割 する。
次いで、 カオス論的手法による解析の前処理として、 アナログデジタル変 換器 3で得られた音声信号のデジタルデ一夕から、 人間の発話音声以外の非 発話音声音を除去する処理が非発話音声音除去器 2 1で行われる。
具体的には、 除去する非発話音声音は、 衝突減衰音、 衝突残響音、 二重衝 突音、 多重衝突音、 破砕音、 摩擦音であり、 原音の中心周波数、 残響時間、 帯域幅をもとに特徴抽出を行い非発話音声音の分離、 除去を行う。
上述の処理により非発話音声音を除去した音声デジタルデータは、 人間の 発話音声成分のみを残した音声デジタルデ一夕になるが、 複数人による発話 音声信号が入力されている場合には、 個々に以降のカオス論的手法による解 析を行う必要があり、 発話音声検出器 2 2において、 個々の発話音声への分 離を行う。
具体的には、 事前に発話者全員の発話音声の中心周波数、 残響時間、 帯域 幅をもとに特徴抽出を行い、 リアルタイムで計測される音声信号との比較を 行う。
次に、 リアプノフ指数計算器 2 3により、 人間が発話する音声をデジタル データ化した音声信号をカオス論的手法により解析してリアプノフ指数を計 算する。
具体的には、 人間の発話音声を時系列信号として処理すれば、 実験的にそ の波形のフラクタル次元が 5〜6の間にあることが明らかになつていること からストレンジ ·ァトラクタは 6次元空間までに構成することとして処理を 行う。 その計算処理は、 日本特許公開 2 0 0 0 - 1 1 3 3 4 7号公報の 「音 声による疲労 ·居眠り検知装置及び記録媒体」で開示されている方法による ものも使用することができる。
その後、 大脳に発生する負荷レベルを検知 ·判定するために、 リアプノフ 指数変化検出器 2 4において、 時々刻々計算され変化する発話音声信号によ るところのリアプノフ指数を基準点に対する相対的比較や、 時系列的な変化 の傾向により、 大脳に発生する負荷レベルの変化を検知し、 予測 ·判定部 2 7において測定目的に対応する判定を行う。
例えば、 何らかの業務を遂行する場合、 適度な緊張感を持つことがその業 務を効率的に遂行するために有効であるとは一般的に言われることであるが、 従来、 どの程度の緊張感が適度なものであるのかを明確に示したり知ること は不可能であった。
この発明による装置によれば、 その人間のリラックス時の大脳負荷レベル と短時間で疲労を自覚する程の高負荷レベルを計測することが可能であり、 よって、 その中間的なレベルとしての適度な負荷、 すなわち、 その人間が職 務等に必要な時間において深刻な疲労に至らない程度の負荷レベルに業務負 荷を管理することが可能となる。
上記において、 その人間が疲労を自覚するに至る過程は、 定型的な業務に おいては、 大脳負荷が暫時上昇する傾向をもって蓄積することにより、 又、 クリエィティブであったり、 臨機応変な対応を要する業務においては、 ある 一定の時間以上高いレベルの負荷が継続することによる。
従って、 この発明により、 測定される人間の心身的活動の予測を行う場合 には、 その業務特性に対応した予測アルゴリズムを適用する必要がある。 例 えば、 上述の大脳負荷が暫時上昇するような傾向を有する業務を行う者に対 しては、 単純に移動平均により時々刻々変化するリアプノフ指数を平滑化し て、 そのパターンにおいて設定される規則により、 休息等を指示することが 可能である。
なお、 臨機応変な対応を要するようなより複雑な業務を行う者に対しては、 単純な算術によるアルゴリズムではなく、 カルマンフィル夕等を利用し、 さ らにその与えるパターンに対して意味論的、 あるいは知識処理的な手法によ り設定した規則を適用し、 その職務活動等を制御することが必要である。 具体的には、 時々刻々計算されるリァプノフ指数を時系列で一時的に保持 し、 状態変化を定量的に示すために、 リアプノフ指数が示す値、 リアプノフ 指数の推移、 推移の範囲を求める。 前後の変化、 すなわち傾向を求める方法 としては、 移動平均、 最少二乗近似、 カルマンフィル夕等により特性曲線を 求め、 これらの方法を選択できるようにする。
第 3図及び第 4図は、 実際に発話音声から測定したリァプノフ指数を時系 列でグラフ表現したものである。
第 3図中の各プロット線は、 1分ごとに移動平均を計算してプロットした 特性曲線 3 1、 3分ごとに移動平均を計算してプロットした特性曲線 3 2、 5分ごとに移動平均を計算してプロットした特性曲線 3 3である。
第 4図中の各プロット線は、 1分ごとに移動平均を計算してプロットした 特性曲線 4 1、 5分ごとに移動平均を計算してプロットした特性曲線 4 2で ある。
これら特性曲線 3 1 , 3 2 , 3 3 , 4 1 , 4 2から分かるように、 時間間 隔を長くして移動平均を求めることにより、 比較的滑らかな特性曲線が得ら れ、 心身的活動の傾向を捉えやすくすることができる。
次いで、 予測 ·判定部 2 7にて、 それらリアプノフ指数の変化の状態を示 す特性曲線 3 1 , 3 2 , 3 3, 4 1, 4 2により、 大脳に発生する負荷レべ ルを計測することで心身的活動を予測 ·判定する。
すなわち、 時々刻々のリアプノフ指数の変化は、 その瞬間における大脳に 発生する負荷レベルを測定しているもので脳の活性状態を測定していること と相似である。 従って、 時系列でリアプノフ指数の変化を計測することは傾 向を推定することを可能とする。 これは実験結果からも明らかであり、 第 3 図及び第 4図により、 これを説明する。
第 3図はリァプノフ指数が増大する状態を示す時系列データである。 この デ一夕は被験者に 1時間以上に及ぶ朗読を課し、 その音声によるストレンジ •ァトラクタのリアプノフ指数を計測したところ、 被験者が疲労を自覚しこ れを訴える以前にリァプノフ指数の上昇が見られたことを示している。
そのリァプノフ指数の上昇を対環境適応力の低下として捉え、 適応力の低 下が長時間続くことにより疲労として自覚されるといえる。 すなわち、 大脳 に高い負荷が発生し、 その状態が長く続いた結果、 人間は疲労感を自覚して いる。 上述のように、 リアプノフ指数が高い状態が続いたことを計測するこ とにより、 いずれは人間は疲労感を訴えることを予測することも可能となる また、 第 4図はリアプノフ指数が低下する状態を示す時系列デ一夕である c 第 3図を導いた実験と同様に新聞の朗読により得たリアプノフ指数の変化を プロットしたものである。 ある時間を経過した後にリアプノフ指数の急激な 低下が観測されており、 「読み慣れない社説を無理やり読まされていた時に は大脳に高い負荷が発生していたが、 読みなれたスポ一ヅ欄になったため大 脳に発生していた負荷レベルが低くなつた。 」 と解釈できる。
この発明による装置では、 以上のような傾向をカオス論的に且つ定量的に 把握することにより、 ヒューマンファクタ評価を可能とする。
この発明装置を医療の分野に応用し、 心身診断など行うような場合には数 多くの臨床例を計測し、 特徴量検出し平均的な状態を求めることが考えられ るが、 第 2図における発話音声検出器 2 2からの出力結果及びリァプノフ指 数変化検出器 2 4の出力結果を保存する記憶手段を付加し、 統計的手法によ り傾向分析を行う手段を設けることにより実現することになる。 産業上の利用可能性
この発明は医療の分野に適用され得るものであって、 大脳がどのような活 動状態にあるか、 さらには測定時の心身的活動の変化、 また以後の心身的活 動の変化を予測 ·判定するカオス論的ヒューマンファクタ評価装置として利 用することができる。

Claims

請求の範囲
1 . 人間が発話する音声をデジタルデータ化した音声信号をカオス論的手法 により解析してリァプノフ指数を計算するリァプノフ指数計算手段と、 該リァプノフ指数計算手段より計算された発話音声のリァプノフ指数の変 化を検出するリアプノフ指数変化検出手段と有し、
該リァプノフ指数変化検出手段で検出されたリァプノフ指数の変化の状態 により、 大脳に発生する負荷レベルを計測することにより心身的活動を予測
•判定可能としたことを特徴とするカオス論的ヒューマンファクタ評価装置
2 . 人間が発話する音声をデジタルデータ化した音声信号をカオス論的手法 により解析してリァプノフ指数を計算するリアプノフ指数計算手段と、 該リァプノフ指数計算手段より計算された発話音声のリァプノフ指数の変 化を検出するリアプノフ指数変化検出手段と、
該リァプノフ指数変化検出手段で検出されたリァプノフ指数の変化の状態 により、 大脳に発生する負荷レベルを計測することにより心身的活動を予測 ■判定する予測 ·判定手段とを備えたことを特徴とするカオス論的ヒユーマ ンファクタ評価装置。
3 . 人間が発話する音声を音声信号として入力するマイクロフォンと、 該マ イク口フォンに入力された音声信号をデジタルデータに変換するアナログデ ジタル変換手段とを更に備えたことを特徴とする請求項 1又は 2に記載の力 ォス論的ヒューマンファクタ評価装置。
4 . 前記デジタルデータから、 あらかじめ用意した非発話音声音の特徴をも とに、 人間の発話音声以外の音声デ一夕を除去して、 前記リアプノフ指数計 算手段に与える非発話音声音除去手段を備えたことを特徴とする請求項 1乃 至 3の何れか一つに記載のカオス論的ヒューマンファクタ評価装置。
5 . 前記人間の発話音声以外の音声デ一夕を除去したデジタルデータから、 個々に評価される人間の発話音声の特徴を抽出 ·識別し、 前記リアプノフ指 数計算手段に与える発話音声検出手段を備えることにより、 複数人の発話音 声入力に対する個々の人間の心身的活動の予測 ·判定を可能とすることを特 徴とする請求項 1乃至 4の何れか一つに記載のカオス論的ヒューマンファク 夕評価装置。
PCT/JP2002/003561 2001-04-16 2002-04-10 Appareil d'evaluation de facteurs humains selon la theorie du chaos WO2002085215A1 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US10/474,256 US20040107105A1 (en) 2001-04-16 2002-04-10 Chaos-theoretical human factor evaluation apparatus
KR1020037013246A KR100722457B1 (ko) 2001-04-16 2002-04-10 카오스론적인 휴먼 팩터 평가장치
IL15832502A IL158325A0 (en) 2001-04-16 2002-04-10 Chaos-theoretical human factor evaluation apparatus
EP02717089A EP1386584B1 (en) 2001-04-16 2002-04-10 Chaos-theoretical human factor evaluation apparatus
IL158325A IL158325A (en) 2001-04-16 2003-10-09 A device for a chaotic theoretical assessment of a human condition

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001-116408 2001-04-16
JP2001116408A JP2002306492A (ja) 2001-04-16 2001-04-16 カオス論的ヒューマンファクタ評価装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US10522335 A-371-Of-International 2003-03-24
US12/124,635 Continuation US20080296052A1 (en) 2002-08-09 2008-05-21 Multilayer printed wiring board

Publications (1)

Publication Number Publication Date
WO2002085215A1 true WO2002085215A1 (fr) 2002-10-31

Family

ID=18967145

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/003561 WO2002085215A1 (fr) 2001-04-16 2002-04-10 Appareil d'evaluation de facteurs humains selon la theorie du chaos

Country Status (6)

Country Link
US (1) US20040107105A1 (ja)
EP (1) EP1386584B1 (ja)
JP (1) JP2002306492A (ja)
KR (1) KR100722457B1 (ja)
IL (2) IL158325A0 (ja)
WO (1) WO2002085215A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003081575A1 (fr) * 2002-03-25 2003-10-02 Electronic Navigation Research Institute An Independent Administrative Institution Unite de sensibilisation de diagnostic a chaos theorique
US7321842B2 (en) 2003-02-24 2008-01-22 Electronic Navigation Research Institute, An Independent Admiinistrative Institution Chaos index value calculation system

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002087434A1 (fr) * 2001-04-25 2002-11-07 Bio-Complex System Research Institute Procede d'evaluation de l'efficacite d'un etat biologique et d'une action modifiant un etat biologique, appareil et systeme d'evaluation, programme d'evaluation et support d'enregistrement dudit programme
EP2236084A1 (en) * 2002-11-11 2010-10-06 Electronic Navigation Research Institute, an Independent Administrative Institution Psychosomatic diagnosis system
EP1559444A4 (en) * 2002-12-12 2006-06-14 Hidenori Ito SOUND GENERATING METHOD, COMPUTER READABLE STORAGE MEDIUM, AUTONOMOUS TYPE AUDIO GENERATING / REPRODUCTION DEVICE, AND NETWORK DISTRIBUTION TYPE SOUND GENERATION / REPRODUCTION SYSTEM
JP4181869B2 (ja) 2002-12-19 2008-11-19 裕 力丸 診断装置
JP4500955B2 (ja) 2004-04-28 2010-07-14 独立行政法人電子航法研究所 大脳評価装置
JP4522208B2 (ja) * 2004-09-17 2010-08-11 九州日立マクセル株式会社 マッサージ機
JP4284538B2 (ja) * 2004-10-19 2009-06-24 ソニー株式会社 再生装置および再生方法
US20070122780A1 (en) * 2005-10-31 2007-05-31 Behavioral Health Strategies Of Utah, Llc Systems and methods for support of behavioral modification coaching
US20070117072A1 (en) * 2005-11-21 2007-05-24 Conopco Inc, D/B/A Unilever Attitude reaction monitoring
JP2007272564A (ja) * 2006-03-31 2007-10-18 Railway Technical Res Inst チームによる業務の活性度の評価システムおよびそれを用いた業務雰囲気の活性化システム
JP2008246037A (ja) * 2007-03-30 2008-10-16 Railway Technical Res Inst 発話音響環境対応型発話音声分析システム
JP5050180B2 (ja) * 2007-03-30 2012-10-17 公益財団法人鉄道総合技術研究所 外部雑音改善型発話音声分析システム
JP5035567B2 (ja) * 2008-10-31 2012-09-26 独立行政法人電子航法研究所 作業適性判定システム
JP4936147B2 (ja) * 2008-10-31 2012-05-23 独立行政法人電子航法研究所 作業監視システム
JP5643142B2 (ja) * 2010-03-31 2014-12-17 株式会社デンソーアイティーラボラトリ 運転能力判定装置及び運転能力判定方法
JP2012228492A (ja) * 2011-04-25 2012-11-22 Nihon Holistic:Kk 生体状態診断方法
JP2011255194A (ja) * 2011-07-23 2011-12-22 Tomohiro Tsuta 心理的統合状態グラフ表示装置
KR101182069B1 (ko) 2011-09-14 2012-09-11 영남대학교 산학협력단 발화문장의 운율분석을 통한 특발성 파킨슨병 진단장치 및 진단방법
CN105869658B (zh) * 2016-04-01 2019-08-27 金陵科技学院 一种采用非线性特征的语音端点检测方法
CN114680890A (zh) * 2016-10-21 2022-07-01 西铁城时计株式会社 检测装置
CN107246908B (zh) * 2017-05-05 2019-10-11 燕山大学 一种基于Liu-cos混沌系统的声波信号检测方法
CN108594648A (zh) * 2018-03-15 2018-09-28 浙江工业大学 基于非对称时不变对数正切复合型约束李雅普诺夫函数的四旋翼飞行器全状态受限控制方法
CN109452932A (zh) * 2018-12-20 2019-03-12 广州华久信息科技有限公司 一种基于声音的体质辨识方法及设备
US20230005624A1 (en) * 2019-11-25 2023-01-05 Keio University Disease prediction device, prediction model generation device, and disease prediction program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113347A (ja) * 1998-10-05 2000-04-21 Ship Res Inst Ministry Of Transport 音声による疲労・居眠り検知装置及び記録媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2791036B2 (ja) * 1988-04-23 1998-08-27 キヤノン株式会社 音声処理装置
JPH04230796A (ja) * 1990-05-28 1992-08-19 Matsushita Electric Ind Co Ltd 音声信号処理装置
JPH05173592A (ja) * 1991-12-25 1993-07-13 Matsushita Electric Ind Co Ltd 音声/非音声判別方法および判別装置
JP3074078B2 (ja) * 1992-10-22 2000-08-07 株式会社半導体エネルギー研究所 遊技機
JPH06318098A (ja) * 1993-05-10 1994-11-15 Yuhshin Co Ltd 話者認識装置
US5522012A (en) * 1994-02-28 1996-05-28 Rutgers University Speaker identification and verification system
JPH0822295A (ja) * 1994-07-05 1996-01-23 Matsushita Electric Ind Co Ltd 音声・非音声判定方法
JP3512493B2 (ja) * 1994-11-16 2004-03-29 パイオニア株式会社 運転精神状態検出装置
DE69637358T2 (de) * 1995-05-12 2008-04-17 Seiko Epson Corp. Gerät zur Kontrolle eines physiologischen Zustands
JPH0939604A (ja) * 1995-07-28 1997-02-10 Honda Motor Co Ltd 車両用運転状況監視装置
GB9700090D0 (en) * 1997-01-04 1997-02-19 Horne James A Sleepiness detection for vehicle driver
US6236968B1 (en) * 1998-05-14 2001-05-22 International Business Machines Corporation Sleep prevention dialog based car system
US6718301B1 (en) * 1998-11-11 2004-04-06 Starkey Laboratories, Inc. System for measuring speech content in sound
US7117149B1 (en) * 1999-08-30 2006-10-03 Harman Becker Automotive Systems-Wavemakers, Inc. Sound source classification
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
JP4347621B2 (ja) * 2003-05-21 2009-10-21 株式会社デルタツーリング 生体評価システム、コンピュータプログラム及び記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113347A (ja) * 1998-10-05 2000-04-21 Ship Res Inst Ministry Of Transport 音声による疲労・居眠り検知装置及び記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003081575A1 (fr) * 2002-03-25 2003-10-02 Electronic Navigation Research Institute An Independent Administrative Institution Unite de sensibilisation de diagnostic a chaos theorique
US7392178B2 (en) 2002-03-25 2008-06-24 Electronic Navigation Research Institute, An Independent Administration Institution Chaos theoretical diagnosis sensitizer
US7321842B2 (en) 2003-02-24 2008-01-22 Electronic Navigation Research Institute, An Independent Admiinistrative Institution Chaos index value calculation system

Also Published As

Publication number Publication date
IL158325A0 (en) 2004-05-12
EP1386584A4 (en) 2007-11-07
IL158325A (en) 2011-12-29
KR100722457B1 (ko) 2007-05-28
JP2002306492A (ja) 2002-10-22
EP1386584A1 (en) 2004-02-04
US20040107105A1 (en) 2004-06-03
KR20040015092A (ko) 2004-02-18
EP1386584B1 (en) 2012-09-26

Similar Documents

Publication Publication Date Title
WO2002085215A1 (fr) Appareil d'evaluation de facteurs humains selon la theorie du chaos
EP0773504B1 (en) Improvements relating to physiological monitoring
Kurniawan et al. Stress detection from speech and galvanic skin response signals
CN112106074A (zh) 使用例如深度学习方法的技术的癫痫发作检测和预测
Hwang et al. Driver drowsiness detection using the in-ear EEG
JP3151489B2 (ja) 音声による疲労・居眠り検知装置及び記録媒体
Phutela et al. Stress classification using brain signals based on LSTM network
Abbasi et al. EEG-based neonatal sleep stage classification using ensemble learning
Cai et al. Application of electroencephalography-based machine learning in emotion recognition: A review
JP2021146214A (ja) ドライバー監視システムでメディア誘発感情から運転感情を分離するための技術
JP2003144438A (ja) カオス論的脳機能診断装置
Niu et al. Emotion pattern recognition using physiological signals
Jyothirmy et al. Machine Learning Algorithms based Detection and Analysis of Stress-A Review
Villaret Mental workload detection based on EEG analysis
Kimmatkar et al. Initial analysis of brain EEG signal for mental state detection of human being
KR20140119920A (ko) 무선 생체신호 측정기를 이용한 감성분류 시스템
Nawasalkar et al. Analytical and Comparative Study on effect of Indian Classical Music on human body using EEG based signals
KR20190022151A (ko) 비접촉 생체 신호 검출 방법 및 장치
CN113907756A (zh) 一种基于多种模态的生理数据的可穿戴系统
Antony et al. A review on efficient EEG pattern recognition using machine learning and deep learning methods and its application
JP2020076923A5 (ja)
Ghosh et al. Multi-modal detection of fetal movements using a wearable monitor
KR102154999B1 (ko) 운전자 졸음 감지 시스템 및 그 방법
Takahashi Remarks on computational emotion recognition from vital information
KR102452201B1 (ko) 자동 잡음신호 구간 검출 방법 및 장치

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): IL IN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 10474256

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 158325

Country of ref document: IL

Ref document number: 1020037013246

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1634/CHENP/2003

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2002717089

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2002717089

Country of ref document: EP