JP4081686B2 - 生体情報の処理装置および映像音響再生装置 - Google Patents

生体情報の処理装置および映像音響再生装置 Download PDF

Info

Publication number
JP4081686B2
JP4081686B2 JP2004197791A JP2004197791A JP4081686B2 JP 4081686 B2 JP4081686 B2 JP 4081686B2 JP 2004197791 A JP2004197791 A JP 2004197791A JP 2004197791 A JP2004197791 A JP 2004197791A JP 4081686 B2 JP4081686 B2 JP 4081686B2
Authority
JP
Japan
Prior art keywords
signal
value
biological information
video
arousal level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004197791A
Other languages
English (en)
Other versions
JP2006015046A (ja
Inventor
克弥 白井
曜一郎 佐古
俊郎 寺内
真 井上
正道 飛鳥井
靖 宮島
堅一 牧野
基行 高井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004197791A priority Critical patent/JP4081686B2/ja
Priority to US11/158,729 priority patent/US20060004266A1/en
Priority to KR1020050056532A priority patent/KR20060048641A/ko
Priority to CNA2005100807929A priority patent/CN1720858A/zh
Publication of JP2006015046A publication Critical patent/JP2006015046A/ja
Application granted granted Critical
Publication of JP4081686B2 publication Critical patent/JP4081686B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]

Description

この発明は、生体情報の処理装置および映像音響再生装置に関する。
めがね、イヤリング、ペンダント、腕時計、上着などの服飾品に生体情報センサを装着することにより、その服飾品を身につけている人の生体情報を検出し、この検出した生体情報からその人の感情や心理状態を推定することが考えられている。
例えば、脈拍数(脈拍には、心拍を含む)の変動から心理状態を推定する方法もあり、対象者の身体に心電位検出手段や脈拍センサを装着して脈拍数を測定し、その変動から対象者の緊張度あるいは感情の変化を検出するようにしている(例えば、特許文献1および2参照)。
あるいは、指先や手首に直接に装着したセンサにより、あるいはネックレス、めがね、カード、歩数計などに装着したセンサにより、心拍や脈拍を測定して緊張度や感情の変化を推定する方法もある。また、対人交渉の際の相手と自分の脈拍数の一致度を評価し、相手との同調度(引き込み現象における引き込みの程度)を推定する方法もある(例えば、特許文献2および3参照)。
さらに、光血流量、心電、皮膚電気活動、皮膚温度などの複数の生理信号から心理状態を推定する方法もある。この場合には、対象者の身体に腕時計型のセンサを装着して光血流量、心電、皮膚電気活動、皮膚温度を測定するとともに、その測定結果からそれぞれの指標の特徴を抽出した特徴ベクトルを生成する。そして、この特徴ベクトルと、あらかじめデータベースに蓄えられている複数の情緒状態値とを比較することにより、心理状態を「喜び、安堵、満足、落ち着き、増長、悲しみ、不満、怒り、驚き、恐怖、憂鬱、ストレス」などに分類している(例えば、特許文献4参照)。
そして、上記のような心理状態を推定できれば、例えば機器の操作が困難な病人であっても、そのときの心理状態に応じた適切な環境を自動的に得ることができる。
なお、上記の文献は次のとおりである。
特開平7−323162号公報 特開2002−23918号公報 特開平11−4892号公報 特開2002−112969号公報
しかし、上述の方法により心理状態を推定しようとしても、これが困難なことが多い。例えば、表情を利用する場合には、「驚き」と「困惑」などのように分類の難しいものがある。また、覚醒度(arousal)の高い状態では、感情価(valence)が正に高いとき(快のとき)と、負に高いとき(不快のとき)とで、脈拍数は同様の変化を示すことが知られている。したがって、脈拍数から感情価を推定する場合には、覚醒度の高い状態では誤りを生じることがある。
そこで、複数の生体情報を組み合わせることにより、推定の精度を上げることが考えられているが、そのためには複数のセンサが必要になり、装置自体が大がかりになるとともに、複雑になってしまう。また、対象者の心理的な負担も大きくなってしまう。
さらに、上述の推定方法では、生体情報から心理状態を分類することに主眼が置かれているので、例えば「非常に快適である」、「少し快適である」のように、心理状態の強度を測定する点については十分には考慮されていない。
この発明は、以上のような点にかんがみ、単一の生体情報センサの出力信号から対象者の心理状態と、その強度とを推定できる方法および装置を提供しようとするものである。また、その推定結果により、対象者の心理状態に最適な映像や音響などの環境を提供しようとするものである。
この発明においては、
対象者の複数の生体情報を有するアナログ生体信号を出力する単一の生体情報センサと、
上記アナログ生体信号を解析して上記複数の生体情報の信号に分離して出力する解析回路と、
上記複数の生体情報の信号の測定値と、その初期値あるいは標準値とから上記対象者の心理状態およびその強度を推定する回路と
を有し、
上記生体情報センサは、上記対象者の身体あるいは服飾品に装着される接触型あるいは非接触型のセンサとされ、
上記解析回路は、上記アナログ生体情報信号に対してフィルタリング処理およびFFT処理を行うことにより、上記アナログ生体情報信号から上記対象者の心電信号、筋電信号および呼吸信号を分離して出力し、
上記推定する回路は、上記呼吸信号の示す呼吸数と、上記心電信号あるいは上記筋電信号の示す脈拍数(心拍数の場合を含む)とから
覚醒度=Rrm−Rrr
Rrm:単位時間あたりの上記呼吸数の測定値
Rrr:単位時間あたりの上記呼吸数の初期値または標準値
または
覚醒度=Prm−Prr
Prm:単位時間あたりの上記脈拍数の測定値
Prr:単位時間あたりの上記脈拍数の初期値または標準値
で示される覚醒度を算出するとともに、
感情価=∫|Vemg(t)|dt−Vemg_rr
Vemg :上記筋電信号の振幅の測定値
Vemg_rr:上記筋電信号の振幅の積分値(初期値または標準値)
で示される感情価を算出し、
この算出した覚醒度および感情価から上記対象者の心理状態およびその強度を推定する
ようにした生体情報の処理装置
とするものである。
この発明によれば、複数の生体情報を取り出して対象者の覚醒度および感情価を算出しているので、対象者の心理状態とその強度を推定することができる。また、その推定結果により対象者の心理状態に最適な状態で映像や音響を再生することができる。しかも、複数の生体情報を単一の生体情報センサの出力から取り出しているので、対象者の負担を軽減できるとともに、装置を簡略化することができる。
〔1〕 映像音響再生装置の例
図1はこの発明を映像音響再生装置に適用した場合の一例を示す。この映像音響再生装置は、単一の生体情報センサにより視聴者(対象者)の複数の生体情報を取得し、その取得した複数の生体情報からそのときの視聴者の心理状態を表す指標として覚醒度および感情価を求め、これらの値に応じて再生する映像や音響に変化を与えるものである。
このため、この映像音響再生装置は、視聴者の複数の生体情報を取得する生体情報センサ11を有する。この生体情報センサ11は、視聴者に非接触で生体情報を取得する非接触型のものであってもよく、あるいは視聴者の身体や服飾品に装着されて生体情報を取得する接触型のものであってもよい。
生体情報センサ11を非接触型とする場合には、圧電素子や歪みゲージをフィルム状に構成したもの、あるいはそれらをカードに貼付したものなどとすることができる。そして、その生体情報センサ11は、例えば視聴者の左胸のポケットに装着され、この結果、生体情報センサ11からは、例えば図2Aに示すように、筋電信号および心電信号を同時に含む信号が取り出される。
また、生体情報センサ11を接触型とする場合には、例えば胸に装着した心電センサや筋電センサとすることができ、やはりセンサ出力として筋電信号および心電信号を同時に含む信号が取り出される。
そして、生体情報センサ11の出力が生体情報解析回路12に供給される。この場合、生体情報センサ11の出力のうち、心電信号は2Hz以下の周波数帯域に分布し、筋電信号は40Hzを付近を中心とする周波数帯域に分布する信号として観測される。そこで、生体情報解析回路12においては、生体情報センサ11の出力がフィルタリングされ、図2Bに示すように、心電信号と筋電信号とに周波数分離される。そして、この分離された心電信号および筋電信号がマイクロコンピュータ20に供給される。
さらに、心拍動は呼吸などにともなってその一拍一拍が揺らぐので、心電信号のR波の間隔も呼吸などにともなって揺らいでいる。したがって、心電信号には、呼吸の変動成分(呼吸由来成分、RSA)が重畳しているので、心電信号を解析することにより間接的に呼吸信号を得ることができる。
そこで、生体情報解析回路12においては、分離された心電信号のR波の時間変動を求めるとともに、FFT処理をしてパワースペクトルを求める。このパワースペクトルの0.15〜0.40Hzの周波数帯域のピークが呼吸成分を表している。したがって、FFT処理をする区間を例えば5秒ずつずらして上記の処理を繰り返すことにより呼吸成分のパワーの時間変動が得られ、すなわち、呼吸信号を間接的に得ることができる。この呼吸信号もマイクロコンピュータ20に供給される。
そして、マイクロコンピュータ20においては、これに供給された心電信号、筋電信号および呼吸信号から視聴者の覚醒度および感情価が算出され、その算出結果にしたがって映像および音響が適切に再生される。
すなわち、マイクロコンピュータ20は、プログラムを実行するCPU21と、各種のプログラムの書き込まれたROM22と、ワークエリア用のRAM23とを有し、これらがシステムバス29を通じて互いに接続されている。
この場合、ROM22には、CPU21が実行するプログラムの一部として、例えば図3に示すようなルーチン100も用意される。このルーチン100の詳細については後述するが、ルーチン100は、視聴者の生体情報に基づいて視聴者が映像や音響を心地よく感じるように、映像信号あるいは音響信号を制御するためのものである。なお、図3においては、ルーチン100は、この発明に関係する部分だけを抜粋して示している。
さらに、マイクロコンピュータ20は、大容量の記録装置としてハードディスク装置24と、キーボードやマウスなどのユーザインターフェイス25とを有し、これらもシステムバス29に接続されている。また、映像信号および音響信号の信号源として、この例においては、DVDプレーヤ36が用意され、このDVDプレーヤ36は、映像音響制御回路26を通じてシステムバス29に接続されている。
この場合、映像音響制御回路26は、DVDプレーヤ36により再生された映像信号を制御して表示される映像の状態、例えばコントラスト、明るさ、色相、色飽和度などを変更するとともに、DVDプレーヤ36の再生速度なども制御するものである。さらに、映像音響制御回路26は、DVDプレーヤ36により再生された音響信号を制御して再生される音響の音量、周波数特性、残響などを制御するものである。
また、システムバス29には表示制御回路27を通じてディスプレイ37が接続され、映像音響制御回路26から出力された映像信号が表示制御回路27により表示用の信号に変換され、この表示信号がディスプレイ37に供給される。さらに、システムバス29には音響処理回路28が接続され、この処理回路28を通じてスピーカ38に音響信号が供給されるとともに、マイクロフォン39からの音響信号が音響処理回路28を通じてマイクロコンピュータ20に取り込まれる。
さらに、この装置や他の同様の装置により測定した視聴者の生体情報やデータをそれらの装置との間でやりとりするため、送受信回路31および通信回路32がシステムバス29に接続され、通信回路32は他のネットワーク、例えばインターネット40に接続される。
このような構成において、ユーザインターフェイス25を操作すると、DVDプレーヤ36により映像信号および音響信号が再生され、その映像信号が、映像音響制御回路26および表示制御回路27を通じてディスプレイ37に供給されて映像が表示されるとともに、音響信号が、映像音響制御回路26および音響処理回路28を通じてスピーカ38に供給されて音響が再生される。
そして、このとき、CPU21によりルーチン100が実行されて、ディスプレイ37の映像およびスピーカ38の音響に対する視聴者の覚醒度および感情価が算出され、この算出結果により、視聴者が映像や音響を心地よく感じるように、その映像および音響が制御される。
すなわち、ルーチン100が実行されると、ステップ101において、生体情報センサ11により測定された生体情報が、生体情報解析回路12からマイクロコンピュータ20に取り込まれ、次にステップ102においてステップ101により取り込まれた生体情報から覚醒度および感情価が算出される。この算出方法については、〔2〕により後述するが、それぞれ正および負の極性を取り得るアナログ値として算出される。
続いて、処理はステップ103に進み、このステップ103において、ステップ102により算出された覚醒度および感情価の極性が判別され、その極性の組み合わせにしたがって処理が分岐される。すなわち、覚醒度が正および負の値を取り得るとともに、感情価も正および負の値を取り得るので、覚醒度および感情価を2次元の座標により表現すると、図4に示すようになり、このとき、
領域1は、覚醒度>0、かつ、感情価>0(覚醒度が高く、心地よい)
領域2は、覚醒度>0、かつ、感情価<0(覚醒度が高いが、不快である)
領域3は、覚醒度<0、かつ、感情価>0(覚醒度が低くいが、心地よい)
領域4は、覚醒度<0、かつ、感情価<0(覚醒度が低く、不快でもある)
となる。
そこで、覚醒度および感情価が領域1に含まれる場合には、このときの映像および音響を心地よく感じていると視聴者の心理状態を推定し、処理はステップ103からステップ111に進む。そして、ステップ111においては、ディスプレイ37およびスピーカ38に供給される映像信号および音響信号を変更することなくステップ101に戻る。つまり、領域1の場合には、視聴者がこのときの映像および音響に満足していると判断し、それらの再生状態を変更しない。
しかし、覚醒度および感情価が領域2に含まれる場合には、このときの映像および音響を不快に感じていると視聴者の心理状態を推定し、処理はステップ103からステップ112に進む。そして、ステップ112において、視聴者の不快感を取り除くため、例えば、ディスプレイ37に供給される映像信号の直流レベルや交流レベルを下げてディスプレイ37に表示される映像の輝度やコントラストを下げる。また、スピーカ38に供給される音響信号のレベルを下げたり、周波数特性を変更するなどしてスピーカ38から出力される音響の音量を下げたり、低域や高域を弱めたり、あるいはリズムを弱めたりする。そして、その後、処理はステップ101に戻る。
なお、ステップ112により設定した状態が所定の期間にわたって続くときには、視聴者の覚醒度および感情価が改善されないときなので、このときには、ステップ112により、例えば映像および音響の再生が停止される。
さらに、覚醒度および感情価が領域3に含まれる場合には、処理はステップ103からステップ113に進み、このステップ113において、覚醒度を高めて満足度を高めたり、気分を高揚させたりするため、ステップ112とは逆に、例えば、ディスプレイ37に供給される映像信号の直流レベルや交流レベルを上げてディスプレイ37に表示される映像の輝度やコントラストを上げる。また、スピーカ38に供給される音響信号のレベルを上げたり、周波数特性を変更するなどしてスピーカ38から出力される音響の音量を上げたり、低域や高域を強めたり、あるいはリズムを強調したりし、その後、ステップ101に戻る。
なお、例えば視聴者がユーザインターフェイス25を通じて就寝モードに設定している場合に、この領域3の状態になったときには、視聴者の安眠を妨げないため、このときの再生状態を維持する。
また、覚醒度および感情価が領域4に含まれる場合には、このときの映像および音響を不快に感じていると視聴者の心理状態を推定し、処理はステップ103からステップ112に進み、領域2の場合と同様、視聴者の不快感を取り除く。
したがって、ルーチン100によれば、視聴者は映像および音響を常に心地よく視聴することができる。
こうして、上述の映像音響再生装置によれば、生体情報センサ11から複数の生体情報を得て、視聴者の覚醒度および感情価を算出しているので、視聴者の心理状態とその強度を推定することができる。そして、その推定結果により心理状態に最適な状態で映像および音響を再生することができる。しかも、複数の生体情報を単一の生体情報センサ11の出力から取り出しているので、視聴者の負担を軽減できるとともに、装置を簡略化することができる。
〔2〕 覚醒度および感情価の算出
視聴者の覚醒度および感情価が、現在、図4のどの領域に位置しているかは、次に述べる〔2−1〕、〔2−2〕の処理により知ることができる。そして、視聴者の現在の覚醒度および感情価が例えば図4の点Pにあるとき、その覚醒度および感情価が、点Pを含む曲線Aのどちらに向かうかは、覚醒度および感情価の変化の履歴から判断することができる。
したがって、視聴者の現在の状態にもっともふさわしい映像および音響を常に提供することができる。また、視聴者の状態が良好なときには、これを維持したり、視聴者の状態が不良なときには、これを抑制したりすることができる。
〔2−1〕 覚醒度の算出
覚醒度は、心電信号や呼吸信号から求めることができ、生体情報センサ11が非接触式および接触式のどちらであっても、呼吸数や脈拍数の初期値または標準値に対する変動から求めることができる。すなわち、覚醒度は、
覚醒度=Rrm−Rrr ・・・ (1)
Rrm:単位時間あたりの呼吸数の測定値
Rrr:単位時間あたりの呼吸数の初期値または標準値
または
覚醒度=Prm−Prr ・・・ (2)
Prm:単位時間あたりの脈拍数の測定値
Prr:単位時間あたりの脈拍数の初期値または標準値
から算出することができる。なお、脈拍数として心拍数を利用する場合にも、(2)式により覚醒度を求めることができる。
〔2−2〕 感情価の算出
感情価は、筋電信号から例えば次の(3)式により算出することができる。
感情価=∫|Vemg(t)|dt−Vemg_init ・・・ (3)
Vemg :筋電の振幅の測定値
Vemg_init:筋電の振幅の積分値(初期値)
または
感情価=∫|Vemg(t)|dt−Vemg_ref ・・・ (4)
Vemg_ref :筋電の振幅の積分値(標準値)
なお、正の感情価の決定は頬骨筋の筋電により行い、負の感情価の決定は皺眉筋あるいは輪筋の筋電により行うことができる。
〔3〕 その他
上述において、生体情報センサ11として圧力センサを使用することができるが、その圧力センサとして、例えば「特開2001−145605号公報」に記載されているように、気密性および柔軟性を有する袋体の内部に、空気圧センサを収納したものを使用することができる。また、上述においては、生体情報センサ11の装着位置を対象者の胸の付近としたが、心電あるいは脈波と筋電とを同時に含む信号を検出できる部位であれば、生体情報センサをどこに装着してもよい。
さらに、上述において、視聴者の心理状態およびその強度の推定結果により、映像信号あるいは音響信号を変化させるとき、再生速度、音量、色およびコンテンツなどを変化させることができる。また、測定した生体情報およびその生体情報に基づいて変化させた映像信号あるいは音響信号を記録しておくこともできる。
そして、その記録媒体として、ハードディスク装置24、光ディスク、光磁気ディスク、磁気テープ、ハードディスク、半導体メモリあるいはICカードなどを使用することができる。さらに、その記録用の光ディスクは、CD、CD−R、CD−RW、MD、DVD±R、DVD±RW、DVD−RAM、ブルーレイディスクなどとすることができる。また、生体情報により映像信号および音響信号を変更するとしたが、その変更の許可・禁止を選択可能にすることもできる。
また、上述においては、算出した覚醒度および感情価により映像や音響の再生状態を制御したが、例えば家、オフィス、対人関係などのような対象者の環境を評価したり、製品などの使いやすさを評価したりすることもできる。さらに、覚醒度および感情価の算出結果をグラフや数値として表示することもできる。
〔略語の一覧〕
CD :Compact Disc
CD−R :CD Recordable
CD−RW:CD ReWritable
CPU :Central Processing Unit
DVD±R:DVD +Recordable, DVD Recordable
DVD−RAM:DVD Random Access Memory
DVD±RW:DVD +ReWritable, DVD ReWritable
FFT :Fast Fourier Transform
IC :Integrated Circuit
MD :Mini Disc
MV :Micro Vibration
RAM :Random Access Memory
ROM :Read Only Memory
RSA :Respiratory Sinus Arrhythmia
この発明の一形態を示す系統図である。 センサ出力の処理方法の一例を示す図である。 この発明による制御フローの一例を示すフローチャートである。 この発明を説明するための図である。
符号の説明
11…生体情報センサ、12…生体情報解析回路、20…マイクロコンピュータ、21…CPU、22…ROM、23…RAM、24…ハードディスク装置、25…ユーザインターフェイス、26…映像音響制御回路、27…表示制御回路、28…音響処理回路、29…システムバス、31…送受信回路、32…通信回路、36…DVDプレーヤ、37…ディスプレイ、38…スピーカ、40…インターネット、100…ルーチン

Claims (6)

  1. 対象者の複数の生体情報を有するアナログ生体信号を出力する単一の生体情報センサと、
    上記アナログ生体信号を解析して上記複数の生体情報の信号に分離して出力する解析回路と、
    上記複数の生体情報の信号の測定値と、その初期値あるいは標準値とから上記対象者の心理状態およびその強度を推定する回路と
    を有し、
    上記生体情報センサは、上記対象者の身体あるいは服飾品に装着される接触型あるいは非接触型のセンサとされ、
    上記解析回路は、上記アナログ生体情報信号に対してフィルタリング処理およびFFT処理を行うことにより、上記アナログ生体情報信号から上記対象者の心電信号、筋電信号および呼吸信号を分離して出力し、
    上記推定する回路は、上記呼吸信号の示す呼吸数と、上記心電信号あるいは上記筋電信号の示す脈拍数(心拍数の場合を含む)とから
    覚醒度=Rrm−Rrr
    Rrm:単位時間あたりの上記呼吸数の測定値
    Rrr:単位時間あたりの上記呼吸数の初期値または標準値
    または
    覚醒度=Prm−Prr
    Prm:単位時間あたりの上記脈拍数の測定値
    Prr:単位時間あたりの上記脈拍数の初期値または標準値
    で示される覚醒度を算出するとともに、
    感情価=∫|Vemg(t)|dt−Vemg_rr
    Vemg :上記筋電信号の振幅の測定値
    Vemg_rr:上記筋電信号の振幅の積分値(初期値または標準値)
    で示される感情価を算出し、
    この算出した覚醒度および感情価から上記対象者の心理状態およびその強度を推定する
    ようにした生体情報の処理装置。
  2. 請求項1に記載の処理装置において、
    上記算出した覚醒度および感情価と、それらの履歴とから上記覚醒度および感情価の変化方向を判断する
    ようにした生体情報の処理装置。
  3. 映像信号および音響信号の少なくとも一方を再生する再生手段と、
    対象者の複数の生体情報を有するアナログ生体信号を出力する単一の生体情報センサと、
    上記アナログ生体信号を解析して上記複数の生体情報の信号に分離して出力する解析回路と、
    上記複数の生体情報の信号の測定値と、その初期値あるいは標準値とから上記対象者の心理状態およびその強度を推定する回路と、
    上記再生手段により再生される映像信号および音響信号の少なくとも一方を、上記推定する回路の推定結果により変化させる手段と
    を有し、
    上記生体情報センサは、上記対象者の身体あるいは服飾品に装着される接触型あるいは非接触型のセンサとされ、
    上記解析回路は、上記アナログ生体情報信号に対してフィルタリング処理およびFFT処理を行うことにより、上記アナログ生体情報信号から上記対象者の心電信号、筋電信号および呼吸信号を分離して出力し、
    上記推定する回路は、上記呼吸信号の示す呼吸数と、上記心電信号あるいは上記筋電信号の示す脈拍数(心拍数の場合を含む)とから
    覚醒度=Rrm−Rrr
    Rrm:単位時間あたりの上記呼吸数の測定値
    Rrr:単位時間あたりの上記呼吸数の初期値または標準値
    または
    覚醒度=Prm−Prr
    Prm:単位時間あたりの上記脈拍数の測定値
    Prr:単位時間あたりの上記脈拍数の初期値または標準値
    で示される覚醒度を算出するとともに、
    感情価=∫|Vemg(t)|dt−Vemg_rr
    Vemg :上記筋電信号の振幅の測定値
    Vemg_rr:上記筋電信号の振幅の積分値(初期値または標準値)
    で示される感情価を算出し、
    この算出した覚醒度および感情価から上記対象者の心理状態およびその強度を推定して上記推定結果を出力する
    ことを特徴とする映像音響再生装置。
  4. 請求項3に記載の映像音響再生装置において、
    上記覚醒度>0、かつ、上記感情価>0の状態の場合には、上記対象者がこのときの映像および音響を心地よく感じていると推定して上記再生手段により再生される映像信号および音響信号をそのままとし、
    上記覚醒度>0、かつ、上記感情価<0の状態、あるいは上記覚醒度<0、かつ、上記感情価<0の状態の場合には、上記対象者がこのときの映像および音響を不快に感じていると推定して上記再生手段により再生される映像信号および音響信号を、上記不快感が小さくなるように制御し、
    上記覚醒度<0、かつ、上記感情価>0の状態の場合には、上記対象者がこのときの映像および音響を快適に感じていると推定して上記再生手段により再生される映像信号および音響信号を、上記快適感が大きくなるように制御する
    ことを特徴とする映像音響再生装置。
  5. 請求項4に記載の映像音響再生装置において、
    上記覚醒度>0、かつ、上記感情価<0の状態、あるいは上記覚醒度<0、かつ、上記感情価<0の状態の場合に、上記不快感が小さくなるように制御しても、それらの状態が続くときには、上記映像および音響の再生を停止する
    ことを特徴とする映像音響再生装置。
  6. 請求項4あるいは請求項5に記載の映像音響再生装置において、
    上記覚醒度<0、かつ、上記感情価>0の状態の場合に、就寝モードに設定されているときには、このときの再生状態を維持する
    ことを特徴とする映像音響再生装置。
JP2004197791A 2004-07-05 2004-07-05 生体情報の処理装置および映像音響再生装置 Expired - Fee Related JP4081686B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004197791A JP4081686B2 (ja) 2004-07-05 2004-07-05 生体情報の処理装置および映像音響再生装置
US11/158,729 US20060004266A1 (en) 2004-07-05 2005-06-22 Bio-information processing apparatus and video/sound reproduction apparatus
KR1020050056532A KR20060048641A (ko) 2004-07-05 2005-06-28 생체정보의 처리장치 및 영상음향 재생장치
CNA2005100807929A CN1720858A (zh) 2004-07-05 2005-07-05 生物信息处理装置和视频/声音再现装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004197791A JP4081686B2 (ja) 2004-07-05 2004-07-05 生体情報の処理装置および映像音響再生装置

Publications (2)

Publication Number Publication Date
JP2006015046A JP2006015046A (ja) 2006-01-19
JP4081686B2 true JP4081686B2 (ja) 2008-04-30

Family

ID=35514930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004197791A Expired - Fee Related JP4081686B2 (ja) 2004-07-05 2004-07-05 生体情報の処理装置および映像音響再生装置

Country Status (4)

Country Link
US (1) US20060004266A1 (ja)
JP (1) JP4081686B2 (ja)
KR (1) KR20060048641A (ja)
CN (1) CN1720858A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019535396A (ja) * 2016-11-10 2019-12-12 ザ リサーチ ファウンデーション フォー ザ ステート ユニバーシティ オブ ニューヨーク 気道閉塞に関するシステム、方法、及びバイオマーカ

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8951190B2 (en) * 2005-09-28 2015-02-10 Zin Technologies, Inc. Transfer function control for biometric monitoring system
US20070073266A1 (en) * 2005-09-28 2007-03-29 Zin Technologies Compact wireless biometric monitoring and real time processing system
US8764654B2 (en) 2008-03-19 2014-07-01 Zin Technologies, Inc. Data acquisition for modular biometric monitoring system
US8920343B2 (en) 2006-03-23 2014-12-30 Michael Edward Sabatino Apparatus for acquiring and processing of physiological auditory signals
EP2035098B1 (en) 2006-07-04 2019-08-28 Firstbeat Technologies OY Method and system for guiding a person in physical exercise
JP4749273B2 (ja) * 2006-08-10 2011-08-17 三洋電機株式会社 電動自転車
EP2151260A1 (en) * 2008-08-08 2010-02-10 Koninklijke Philips Electronics N.V. Calming device
CN101730127A (zh) * 2008-10-30 2010-06-09 华为技术有限公司 频点的信号质量检测方法、装置和系统
WO2010143535A1 (ja) * 2009-06-08 2010-12-16 公立大学法人名古屋市立大学 眠気判定装置
JP5464072B2 (ja) * 2010-06-16 2014-04-09 ソニー株式会社 筋活動診断装置および方法、並びにプログラム
CN103379254A (zh) * 2012-04-13 2013-10-30 鸿富锦精密工业(深圳)有限公司 提高视频信号质量的视频装置及视频电路
JP6149450B2 (ja) * 2013-03-21 2017-06-21 富士通株式会社 呼吸情報推定装置及び方法並びにプログラム
WO2015046650A1 (ko) * 2013-09-27 2015-04-02 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작 방법
CN104407768B (zh) * 2014-10-28 2019-05-17 深圳市金立通信设备有限公司 一种终端
CN104360735B (zh) * 2014-10-28 2018-06-19 深圳市金立通信设备有限公司 一种界面显示方法
CN104523250A (zh) * 2014-12-01 2015-04-22 成都智信优创科技有限公司 一种穿戴式健康医疗装置
CN107427267B (zh) * 2014-12-30 2021-07-23 日东电工株式会社 用于导出主体的精神状态的方法和装置
CN107710050A (zh) 2015-06-30 2018-02-16 3M创新有限公司 照明器
CN104983414A (zh) * 2015-07-13 2015-10-21 瑞声声学科技(深圳)有限公司 可穿戴设备及其感知和调节使用者情绪的方法
JP6985005B2 (ja) * 2015-10-14 2021-12-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体
CN108770336B (zh) 2015-11-17 2021-08-24 庆熙大学校产学协力团 利用传感器阵列的生物信息测定装置及方法
CN105852823A (zh) * 2016-04-20 2016-08-17 吕忠华 一种医学用智能化息怒提示设备
CN105725996A (zh) * 2016-04-20 2016-07-06 吕忠华 一种智能控制人体器官情绪变化医疗器械装置及方法
US11369304B2 (en) 2018-01-04 2022-06-28 Electronics And Telecommunications Research Institute System and method for volitional electromyography signal detection
CN112932225B (zh) * 2021-01-29 2023-07-18 青岛海尔空调器有限总公司 智能唤醒枕头以及基于智能唤醒枕头的唤醒方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2003069A (en) * 1931-07-13 1935-05-28 Carter Frederick Samuel Steam trap, and apparatus for controlling or maintaining the supply of water or other fluid
US2003009A (en) * 1932-06-10 1935-05-28 S S Mcclendon Jr Method and apparatus for producing liquid from wells
US2001028A (en) * 1932-09-26 1935-05-14 Frick Co Defrosting system
US2003012A (en) * 1933-05-27 1935-05-28 Westinghouse Electric & Mfg Co Grid glow tube structure
US2003060A (en) * 1934-04-02 1935-05-28 Ernest L Heckert Thermostatic controlling device
US5604112A (en) * 1993-02-26 1997-02-18 The Dupont Merck Pharmaceutical Company Method for detecting the cardiotoxicity of compounds
US6542081B2 (en) * 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US20030009078A1 (en) * 1999-10-29 2003-01-09 Elena A. Fedorovskaya Management of physiological and psychological state of an individual using images congnitive analyzer
US6854879B2 (en) * 2001-04-19 2005-02-15 Honeywell International Inc. System and method using thermal image analysis for polygraph testing
US6623427B2 (en) * 2001-09-25 2003-09-23 Hewlett-Packard Development Company, L.P. Biofeedback based personal entertainment system
US6665560B2 (en) * 2001-10-04 2003-12-16 International Business Machines Corporation Sleep disconnect safety override for direct human-computer neural interfaces for the control of computer controlled functions

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019535396A (ja) * 2016-11-10 2019-12-12 ザ リサーチ ファウンデーション フォー ザ ステート ユニバーシティ オブ ニューヨーク 気道閉塞に関するシステム、方法、及びバイオマーカ

Also Published As

Publication number Publication date
KR20060048641A (ko) 2006-05-18
CN1720858A (zh) 2006-01-18
US20060004266A1 (en) 2006-01-05
JP2006015046A (ja) 2006-01-19

Similar Documents

Publication Publication Date Title
JP4081686B2 (ja) 生体情報の処理装置および映像音響再生装置
US20050283055A1 (en) Bio-information processing apparatus and video/sound reproduction apparatus
CN100484465C (zh) 处理生物信息的方法和装置
JP4396175B2 (ja) コンテンツ再生装置及びコンテンツ再生方法
EP2371286B1 (en) Organism fatigue evaluation device and organism fatigue evaluation method
KR101307248B1 (ko) 사용자의 생체정보 분석을 통한 감정상태 분석장치 및 방법
KR20110052783A (ko) 생체 정보 획득 방법 및 장치
KR20130010207A (ko) 무구속 무자각 생체신호 획득을 통한 워치타입 건강상태 분석시스템
JP7207468B2 (ja) 出力制御装置、出力制御方法およびプログラム
KR102183435B1 (ko) 가상현실 및 바이오피드백을 이용하여 사용자의 스트레스를 저감시키는 방법 및 시스템
JP6666705B2 (ja) 生体状態推定装置、生体状態推定方法及びコンピュータプログラム
KR20200072172A (ko) 인지 능력 평가 방법, 이의 시스템 및 이를 위한 웨어러블 디바이스
JP3154384U (ja) 精神状態変動装置
JP2009183346A (ja) 精神状態変動装置
Yarici et al. Hearables: In-ear multimodal brain computer interfacing
Dourou et al. IoT-enabled analysis of subjective sound quality perception based on out-of-lab physiological measurements
Niemi et al. Digital sleep: expert evaluation of commercially available digital sleep trackers
Hu et al. Investigating the correlation between the neural activity and task performance in a psychomotor vigilance test
Moyeenudin et al. Analysis of Electroencephalographic Signals to Study the Behavior of Brain Frequencies for the Study of Academic Stress
JP7162780B1 (ja) 音環境制御システムおよび音環境制御方法
JP6942288B2 (ja) 情報処理装置、サウンドマスキングシステム、制御方法、及び制御プログラム
WO2023074656A1 (ja) プログラム、情報処理方法、及び情報処理装置
KR20180101927A (ko) 넥밴드 타입 헬스케어 웨어러블 장치 및 그 방법
WO2020202958A1 (ja) 分類装置および分類プログラム
WO2022209499A1 (ja) 情動情報を表示する情報処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080129

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110222

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees