JP6611538B2 - 生体信号出力装置 - Google Patents

生体信号出力装置 Download PDF

Info

Publication number
JP6611538B2
JP6611538B2 JP2015191525A JP2015191525A JP6611538B2 JP 6611538 B2 JP6611538 B2 JP 6611538B2 JP 2015191525 A JP2015191525 A JP 2015191525A JP 2015191525 A JP2015191525 A JP 2015191525A JP 6611538 B2 JP6611538 B2 JP 6611538B2
Authority
JP
Japan
Prior art keywords
parameter
biological signal
unit
motion
changing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015191525A
Other languages
English (en)
Other versions
JP2017063954A (ja
Inventor
収作 野村
翔一郎 高木
博司 小川
淳 納本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Chemical Holdings Corp
Original Assignee
Mitsubishi Chemical Holdings Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Chemical Holdings Corp filed Critical Mitsubishi Chemical Holdings Corp
Priority to JP2015191525A priority Critical patent/JP6611538B2/ja
Publication of JP2017063954A publication Critical patent/JP2017063954A/ja
Application granted granted Critical
Publication of JP6611538B2 publication Critical patent/JP6611538B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、検体から検出された生体信号に基づいて動作を制御されたオブジェクトの動作を表す信号を出力する生体信号出力装置、及び生体信号出力方法に関するものである。
測定対象となる検体にセンサを取り付けて、検体に由来する生体情報を検出することが行われている。また、生体情報に由来する生体信号を測定して、この生体信号に基づいてオブジェクトの表示や音声の出力を行うことで、生体信号を視覚または聴覚等で感知できるようにすることも行われている。さらには、この生体信号に基づいて表示されるオブジェクトを検体が見たり、または音声を聞いたりすることで、検体にフィードバックを行うバイオフィードバックの技術が知られている。
バイオフィードバックとは、検体から、例えば、脳波、呼吸、心拍数等の生体信号を測定し、検体が感知できる情報に変換して、測定結果に関する情報を検体に送り返す(フィードバックする)ものである。検体が測定結果に関する情報を見聞きしている状態で、検体から生体信号の測定が行われて、さらにこの生体信号の測定結果に関する情報が検体に送り返される。このようなバイオフィードバックにより、検体が自らの体に生じている現象を認識することで、生体機能の意識的な調整を経て、自律神経系機能の調整に繋がるとされている。
特許文献1では、生理的にガイドされるオブジェクト(アバター)を含むコンピュータインターフェース、及び表示方法について記載されている。アバターとは、例えば、検体の心臓または肺の動きをシミュレートする、心臓アバターまたは肺アバターである。この方法では、アバターの外観は、心拍数、心臓の1回排出量、呼吸数、1回排気量等によって制御される。また、アバターは、心臓データまたは呼吸データに同期して、心臓拡張および心臓収縮、または吸気および呼気を反映するタイミングで、拡張しおよび収縮するよう制御される。
特許文献2では、検体を睡眠に誘導するシステムについて記載されている。このシステムは、検体の心拍及び呼吸レートを監視するモニタを有し、検体の視野に光パターンのオブジェクトを生成する。光パターンは、形状、カラー、位置、光強度、及び異なる方向における異なる速度といった異なる光学特性を持つオブジェクトを備える。さらに、光パターンオブジェクトは、心拍及び呼吸レートのコヒーレンス度に基づいて、より明るく、より大きくなり、より速く移動するか、またはより淡く、より小さくなり、よりゆっくり移動する。
特表2009−502335号 特表2011−521674号
特許文献1に開示された技術は、生体信号に基づいて実際の検体における器官の動きを表現するようにオブジェクトの動作が制御されるものである。しかしながら、特許文献1のように検体の心臓又は肺の動きをシミュレートした場合には、オブジェクトの動きが目まぐるしく変化することになり、必ずしも検体に対して生体信号の変動を効果的に伝えるものではなかった。
特許文献2に開示された技術は、心拍及び呼吸レートのコヒーレンス度に基づいて光パターンの動作を変化させるものである。しかしながら、特許文献2によれば、検体を睡眠に導くためには有効であるとはいえるものの、オブジェクトの動作は生体信号の動きがコヒーレンス度の形で間接的に反映されるものであるため、検体による生体機能の意識的な調整を促すには十分ではなかった。また、特許文献2では、心拍と呼吸レートとの間のコヒーレンス度が高くなるにつれ、光パターンにおけるオブジェクトの速度や輝度は次第に減少するという関係にある。
本発明は上記のような課題に鑑みなされたもので、本発明の目的の一つは、生体信号に基づくオブジェクトの変化を効果的に検体に感知させることができる装置、及び方法を提供することである。
(1)ここで開示する生体信号出力装置は、検体から生体信号の強度情報を含む該生体信号を取得する生体信号取得手段と、該生体信号取得手段で取得された該生体信号に基づいてオブジェクトの動作を制御する動作制御手段と、該動作制御手段で動作を制御された該オブジェクトの動作を表す信号を出力する信号出力手段とを備え、該動作制御手段は、該生体信号の強度情報と所定の閾値との関係に応じて該オブジェクトの動作を変化させる手段として構成される。
(2)このとき、該オブジェクトの動作を規定する動作パラメータを設定するパラメータ設定手段と、該生体信号取得手段で取得された該生体信号に基づいて、該動作パラメータを変更するパラメータ変更手段とを備え、該パラメータ設定手段は、該パラメータ変更手段により変更を受ける第一動作パラメータを設定する第一パラメータ設定手段を有し、該パラメータ変更手段は、該生体信号の強度情報と所定の閾値との関係に応じて該第一動作パラメータを変更して第一変更パラメータを出力する第一パラメータ変更手段を有し、該動作制御手段は、該第一変更パラメータに基づいて該オブジェクトの動作を制御する手段として構成されることが好ましい。
(3)また、該パラメータ設定手段は、該パラメータ変更手段により変更を受ける第二動作パラメータを設定する第二パラメータ設定手段を有し、該パラメータ変更手段は、該生体信号の強度情報と所定の閾値との関係に関わらず該第二動作パラメータを変更して第二変更パラメータを出力する第二パラメータ変更手段を有し、該動作制御手段は、該第一変更パラメータ及び該第二変更パラメータに基づいて該オブジェクトの動作を制御する手段として構成されることが好ましい。
(4)また、該パラメータ設定手段は、該パラメータ変更手段により変更を受けない第三動作パラメータを設定する第三パラメータ設定手段を有し、該動作制御手段は、該第一変更パラメータ、該第二変更パラメータ、及び該第三動作パラメータに基づいて該オブジェクトの動作を制御する手段として構成されることが好ましい。
(5)さらに、3次元の仮想空間を作成する仮想空間作成手段と、該オブジェクトの3次元モデルを作成するモデル作成手段とを備え、該動作制御手段は、該3次元モデルを該仮想空間に配置して動作させる手段として構成されることが好ましい。
(6)また、該オブジェクトの映像を表示する映像表示手段として、非透過型ヘッドマウントディスプレイを備えることが好ましい。
(7)さらに、該生体信号が該検体の心電位であり、該第一動作パラメータとして、該オブジェクトが発する音声の大きさを示す音量パラメータを有し、該第一パラメータ変更手段は、該生体信号の強度情報が所定の閾値を上回る際に該音量パラメータを増加させて、該生体信号の強度情報が所定の閾値を下回る際に該音量パラメータを減少させて、該第一変更パラメータを出力する手段として構成されて、該第二動作パラメータとして、該オブジェクトの形状を示す形状パラメータ、及び該オブジェクトの明るさを示す明度パラメータを有し、該第二パラメータ変更手段は、該生体信号の強度情報に応じて該形状パラメータ及び該明度パラメータを変更して、該第二変更パラメータを出力する手段として構成されることが好ましい。
(8)また、該生体信号の心電図における最大ピークの波形を抽出する信号抽出手段を備え、該パラメータ変更手段は、上記の信号抽出手段によって抽出された該生体信号に基づいて該動作パラメータを変更する手段として構成されることが好ましい。
(9)また、該生体信号が該検体の吸気量であり、該第一動作パラメータとして、該オブジェクトが移動する向きに受ける力の大きさを示す外力パラメータを有し、該第一パラメータ変更手段は、該生体信号の強度情報が所定の閾値を上回る際に該外力パラメータを増加させて、該生体信号の強度情報が所定の閾値を下回る際に該外力パラメータを減少させて、該第一変更パラメータを出力する手段として構成されて、該第二動作パラメータとして、該オブジェクトが該移動方向を転換するまでの時間の長さを示す方向有効時間パラメータ、及び該オブジェクトの明るさを示す明度パラメータを有し、該第二パラメータ変更手段は、該生体信号の強度情報に応じて該方向有効時間パラメータ及び該明度パラメータを変更して、該第二変更パラメータを出力する手段として構成されて、該第三動作パラメータとして、該オブジェクトが配置される初期位置を示す初期位置パラメータ、該オブジェクトが移動する向きを示す移動方向パラメータ、該オブジェクトが該外力を受ける時間の長さを示す外力有効時間パラメータ、及び該オブジェクトが現在位置から該仮想空間における視点の位置の方向に向けて受ける力の割合を示す自己位置帰還率パラメータを有することが好ましい。
(10)また、該パラメータ設定手段は、複数の該オブジェクトそれぞれについて該動作パラメータを設定する手段として構成されて、該パラメータ変更手段は、複数の該オブジェクトそれぞれについての該第一動作パラメータ及び該第二動作パラメータを変更する手段として構成されて、該動作制御手段は、複数の該オブジェクトを、それぞれの該第一変更パラメータ、該第二変更パラメータ、及び該第三動作パラメータに基づいて動作を制御する手段として構成されることが好ましい。
(11)また、該生体信号の強度情報分布において中央部の強度情報の変動が周辺部の強度情報の変動よりも大きくなるよう、該生体信号を非線形変換する信号変換手段を備え、該パラメータ変更手段は、上記の信号変換手段によって変換された該生体信号に基づいて該動作パラメータを変更する手段として構成されることが好ましい。
(12)ここで開示する生体信号出力方法は、該検体から生体信号の強度情報を含む該生体信号を取得する生体信号取得ステップと、該生体信号取得ステップで取得された該生体信号に基づいてオブジェクトの動作を制御する動作制御ステップと、該動作制御ステップで動作を制御された該オブジェクトの動作を表す信号を出力する信号出力ステップとを備え、該動作制御ステップは、該生体信号の強度情報と所定の閾値との関係に応じて該オブジェクトの動作を変化させる。
本発明によれば、生体信号が反映されたオブジェクトを感受する検体へ、生体信号に基づくオブジェクトの変化を印象強く伝えることができる。これにより、検体に生体機能の意識的な調整が促されることによって、自律神経系機能の調整に与える正のフィードバックへの影響を高めることが可能となる。
実施形態に係る生体信号出力装置の機能構成の例を示すブロック図である。 実施形態に係る生体信号出力装置のハードウェア構成の例を示すブロック図である。 実施形態に係る生体信号出力装置の処理を説明するフローチャートである。 第一実施例に係る生体信号出力装置のハードウェア構成の例を示すブロック図である。 第一実施例に係る心電図の例を模式的に示す図である。 第一実施例に係るシリアル通信のプロトコルについて説明するための図である。 第一実施例に係るハート型のオブジェクトの3次元モデルを示す図である。 第一実施例に係る3次元の仮想空間にオブジェクトの3次元モデルを配置した状態を示す図である。 第一実施例に係る仮想空間及びオブジェクトにおいて、生体信号の強度情報が増加した場合の状態を示す図である。 第一実施例に係る生体信号出力装置の処理を説明するフローチャートである。 第二実施例に係る生体信号出力装置のハードウェア構成の例を示すブロック図である。 第二実施例に係る圧力センサの装着状態を説明するための模式的な図であり、(a)は吸気時の状態を示しており、(b)は呼気時の状態を示している。 第二実施例におけるキャリブレーションで表示される空間を説明するための図である。 第二実施例における非線形変換を説明するための図である。 第二実施例に係る3次元の仮想空間を示す図である。 第二実施例に係る3次元の仮想空間にオブジェクトの3次元モデルを配置した、吸気時の状態を示す図である。 第二実施例に係る3次元の仮想空間にオブジェクトの3次元モデルを配置した、呼気時の状態を示す図である。 第二実施例に係るオブジェクトの明度パラメータを説明するための図である。 第二実施例に係るオブジェクトの自己位置帰還率パラメータを説明するための図である。 第二実施例に係るオブジェクトの外力パラメータを説明するための図である。 第二実施例に係る生体信号出力装置の処理を説明するフローチャートである。
以下、図面を参照して本発明の実施の形態について説明する。なお、以下に示す実施形態はあくまでも例示に過ぎず、以下の実施形態で明示しない種々の変形や技術の適用を排除する意図はない。本実施形態の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができるとともに、必要に応じて取捨選択することができ、あるいは適宜組み合わせることが可能である。
[1.実施形態]
本発明の一実施形態に係る生体信号出力装置について説明する。本実施形態に係る生体信号出力装置は、検体から検出された生体信号に基づいて動作を制御されたオブジェクトの動作を表す信号を出力するものである。ここで、オブジェクトとは、生体信号を検体が感知できる形態で反映した仮想物体を指すものであって、中でも検体がオブジェクトの動作を視覚または聴覚を通じて感知できる仮想物体(以下、単に「物体」ということがある。)をいう。オブジェクトは、2次元の平面座標系に配置されて表示される画像または図形であってもよく、または3次元の空間座標系に配置されて表示される画像、図形、立体であってもよい。本実施形態では、オブジェクトが、3次元の仮想空間に配置して表示される3次元立体である場合について説明する。
[1−1.構成]
[1−1−1.全体構成]
図1及び図2を参照しながら、本実施形態に係る生体信号出力装置1の機能構成及びハードウェア構成について説明する。図1は、本実施形態に係る生体信号出力装置1の機能構成例を示すブロック図である。図2は、本実施形態に係る生体信号出力装置1のハードウェア構成例を示すブロック図である。
図1に示すように、生体信号出力装置1を機能的に表すと、生体信号取得部(生体信号取得手段)11、信号通信部(信号通信手段)21、情報処理装置31、及び動作表示部(動作表示手段)61を備えて構成される。情報処理装置31は、データ受信部41、信号処理部(信号処理手段)42、及び記憶部(記憶手段)43を備えて構成される。動作表示部61は、映像表示部62、及び音声表示部63を備えて構成される。
また、図2に示すように、生体信号出力装置1は、生体信号センサ71、信号増幅回路72、ワンボードマイクロコンピュータ(以下、単に「ワンボードマイコン」ということがある。)73、情報処理装置31、ディスプレイ76、及びスピーカー77を備えている。
[1−1−2.各部構成]
<生体信号取得部>
生体信号取得部11は、図1に示すように、生体信号検出部(生体信号検出手段)12、及び信号増幅部13を備えて構成される。生体信号取得部11は、検体の生体信号の強度情報を含む生体信号を取得して、信号通信部21を介して、情報処理装置31の信号処理部42に生体信号を出力する機能部である。強度情報とは、検体に由来する信号の量、例えば、長さ、質量、時間、電流、温度、光度、角度、面積、体積、速さ、加速度、周波数、回転速度、波数、力、圧力、粘度、流量、熱量、電圧、静電容量、磁界の強さ、電気抵抗等の情報をいうがこれに限定されない。
生体信号センサ71は、評価対象となる検体(被験者)の生体情報を検出して、生体信号を出力するセンシングユニットであって、生体信号検出部12として機能する。生体信号センサ71は、生体情報を検出して、経時的にモニタリングすることで、強度情報の経時変化を生体信号として取得する。また、生体信号センサ71は、生体情報の強度情報とともに、位置情報も取得してもよい。生体情報とは、生体が発する生理学的情報、すなわちバイタルサインであって、例えば、脈波、心拍数(脈拍数)、血圧、心電位、筋電位、眼電位、脳波、呼吸、体温が挙げられる。
生体信号センサ71としては、上述の生体情報を検出することができる、公知の測定器または感知素子を適宜用いることができる。脈波または心拍数の検出には、例えば、光電センサ、または圧電センサを用いることができる。また、脈波または心拍は、マイクロホンを用いて、血管の脈動に伴う皮膚または鼓膜部分の振動によって生じる空気の振動を測定することによっても検出することができる。血圧の検出には、例えば、圧電センサを用いることができる。心電位、筋電位、眼電位、または脳波の検出には、例えば、生体に取り付けて電位差を測定する電極を用いることができる。呼吸の検出には、例えば、流量計、または抵抗計を用いることができる。または、呼吸は、圧力センサを用いて、呼吸に伴う横隔膜の動作に由来する胸部の変動を測定することによっても検出することができる。体温の検出には、例えば、サーミスタ、または赤外線センサを用いることができる。
本実施形態では、図2に示すように、生体信号センサ71は、電圧の強さで強度情報を表すアナログデータとして生体情報を検出して、信号増幅回路72に生体信号を出力する。信号増幅回路72は、入力された信号を増幅して出力する電子回路であって、信号増幅部13として機能する。信号増幅回路72としては、例えば、演算増幅器(以下、単に「オペアンプ」ということがある。)を用いることができる。信号増幅回路72によって増幅された電圧情報は、ワンボードマイコン73に出力される。
生体信号の取得とオブジェクトの動作の制御を行うに際して、キャリブレーションを行ってもよい。生体信号センサ71によって得られる生体信号は、生体情報の変化に伴って電圧の強さが変化する、キャリブレーションでは測定される電圧の最大値と最小値を取得する。
<信号通信部>
信号通信部21は、図1に示すように、A/D変換部22、エンコード部23、及びデータ送信部24を備えて構成される。信号通信部21は、生体信号取得部11から入力された生体信号を、信号処理部42によって処理が可能な形に適宜変換を行って、情報処理装置31に出力する機能部である。
ワンボードマイコン73は、1枚のプリント基板上に、A/D変換部22、エンコード部23、及びデータ送信部24を構成する、電子部品と入出力装置が付いたマイクロコンピュータであって、信号通信部21として機能する。
ワンボードマイコン73は、プログラマブルであることが好ましい。これにより、適用する生体情報または使用するプロトコルに応じて、柔軟性を持った設計が可能となる。また、ワンボードマイコン73は、入力チャンネルのサンプリングレートが500Hz以上であることが好ましい。これにより、生体信号をリアルタイムで処理することが可能となる。また、ワンボードマイコン73は、入力チャンネルが4チャンネル以上あることが好ましい。これにより、複数の生体信号を同時に扱うことが可能となる。
A/D変換部22は、信号増幅部13から入力された生体信号の入力電圧をデジタルデータに変換して、エンコード部23に出力する。
エンコード部23は、A/D変換部22から入力された生体信号のデータ(以下、デジタルデータに変換された各種生体信号のデータについても、単に「生体信号」と称する。)を、規定したプロトコルを用いてエンコードして、データ送信部24に出力する。エンコードの際のプロトコルは、ワンボードマイコン73の制御に用いられるプログラミング言語、並びにデータ送信部24及びデータ受信部41の入出力ポート及び送受信可能なビット数を考慮して、通信可能となるよう規定する。
データ送信部24は、ワンボードマイコン73と情報処理装置31との情報のやりとりを介在するインターフェースユニットである。データ送信部24は、データ受信部41とシリアル通信を行い、データ受信部41へ生体信号を送信するシリアルインターフェースである。シリアルインターフェースとしては、例えば、USB(Universal Serial Bus)、RS−232、もしくはIEEE1394等を利用した有線インターフェース、またはBluetooth(登録商標)、もしくはIrDA(登録商標)(Infrared Data Association)等を利用した無線インターフェースを用いることができる。または、イーサネット(登録商標)を利用してネットワークを介して通信を行ってもよい。
<情報処理装置>
情報処理装置31は、図1に示すように、データ受信部41、信号処理部42、及び記憶部43を備えて構成される。
情報処理装置31は、検出された信号を処理するための情報端末(パーソナルコンピュータ)によって構成されている。情報処理装置31は、図2に示すように、CPU(Central Processing Unit;中央処理装置)74、及びメモリ75を備える。
情報処理装置31は、図示しない、入出力インターフェース(I/F)、CRT(Cathode Ray Tube;ブラウン管)、LCD(Liquid Crystal Display;液晶ディスプレイ)、またはPDP(Plasma Display Panel;プラズマディスプレイ)等のディスプレイ、マウス、キーボード、及びバスを有している。CPU74、及びメモリ75は、バスを介して相互に通信可能に接続されている。入出力I/Fは、ディスプレイ、マウス、及びキーボードとCPU74との間に介在し、ディスプレイ、マウス、及びキーボードとCPU74とを接続する。また、入出力I/Fは、ワンボードマイコン73、ディスプレイ76、及びスピーカー77とCPU74とを接続する。なお、情報処理装置31は、情報処理装置31の操作を行うための表示画面としてのディスプレイと、生体信号に基づいたオブジェクトを表示するための映像表示部62としてのディスプレイ76とについて、同じハードウェアを用いてもよく、別々のハードウェアを用いてもよい。
情報処理装置31は、入出力I/Fの一つとして、データ受信部41を備える。データ受信部41は、ワンボードマイコン73と情報処理装置31との情報のやりとりを介在するインターフェースユニットである。データ受信部41は、データ送信部24とシリアル通信を行い、データ送信部24から生体信号を受信するシリアルインターフェースである。シリアルインターフェースとしては、上述したデータ送信部24と同様にして、通信可能に構成されている。データ受信部41は、受信した生体信号を信号処理部42に出力する。
メモリ75は、種々のデータやプログラムを格納する記憶部43として機能する。メモリ75は、例えば、RAM(Random Access Memory)等の揮発性メモリや、ROM(Read Only Memory)、フラッシュメモリ等の不揮発性メモリ、またはHDD(Hard Disk Drive)、SSD(Solid State Device)によって実現される。メモリ75は後述するように、3次元の仮想空間のデータ、オブジェクトの3Dモデルのデータ、動作パラメータ、操作関数、及びパラメータの変更に用いる所定の閾値を格納する。また、メモリ75は、オブジェクトが発する音声のデータを格納していてもよい。
さらに、メモリ75は、CPU74に実行させることで、図1に示すように、仮想空間作成部(仮想空間作成手段)51、モデル作成部(モデル作成手段)52、パラメータ設定部(パラメータ設定手段)53、デコード部(デコード手段)54、LPF部(LPF手段)55、信号前処理部(信号前処理手段)56、パラメータ変更部(パラメータ変更手段)57、動作制御部(動作制御手段)58、及び信号出力部(信号出力手段)59としてそれぞれ機能させる、仮想空間作成用プログラム、モデル作成用プログラム、パラメータ設定用プログラム、デコード用プログラム、LPF用プログラム、信号前処理用プログラム、パラメータ変更用プログラム、動作制御用プログラム、及び信号出力用プログラムを予め保存する。これらのプログラムをあわせて、本件のプログラム(生体信号処理プログラム)と称する。
CPU74は、種々の制御や演算を行なう処理装置であり、メモリ75に格納された本件のプログラムを読み出して実行することにより、種々の機能を実現する。そして、CPU74が、これらのプログラムを実行することにより、図1で示すように、信号処理部42の各機能手段としてそれぞれ機能する。
信号処理部42は、CPU74で演算処理される機能部位であり、各機能は個別のプログラムとして構成されている。本実施形態におけるCPU74は、仮想空間作成部51、モデル作成部52、パラメータ設定部53、デコード部54、LPF部55、信号前処理部56、パラメータ変更部57、動作制御部58、及び信号出力部59として機能する
本件のプログラムは、例えばフレキシブルディスク、CD(CD−ROM,CD−R,CD−RW等)、DVD(DVD−ROM,DVD−RAM,DVD−R,DVD+R,DVD−RW,DVD+RW,HD DVD等)、ブルーレイディスク、磁気ディスク、光ディスク、光磁気ディスク、USBメモリ、SDメモリカード等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、情報処理装置31はその記録媒体からプログラムを読み取って内部記憶装置(例えば、メモリ75)または外部記憶装置に転送し格納して用いる。または、それらのプログラムを、例えば磁気ディスク,光ディスク,光磁気ディスク等の図示しない記憶装置(記録媒体)に記録しておき、その記憶装置から通信経路を介して情報処理装置31に提供するようにしてもよい。
なお、本実施形態において、コンピュータとは、ハードウェアとオペレーティングシステムとを含む概念であり、オペレーティングシステムの制御の下で動作するハードウェアを意味している。又、オペレーティングシステムが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウェアは、少なくとも、CPU等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とを備えている。
<動作表示部>
動作表示部61は、図1に示すように、映像表示部(映像表示手段)62、及び音声表示部(音声表示手段)63を備えて構成される。動作表示部61は、信号出力部59からオブジェクトの動作を表す信号が入力されて、動作制御部58で動作を制御されたオブジェクトの動作を表示する機能部である。動作表示部61によるオブジェクトの動作の出力とは、オブジェクトの映像または音声の表示である。ここで、映像の表示とはディスプレイ76上で映像を通じて行われる視覚表示をいい、音声の表示とはスピーカー77やイヤホンから音声が発せられて音声を通じて行われる聴覚表示をいう。
映像表示部62は、動作制御部58の処理によって生成された映像信号が、信号出力部59から入力されて、この映像信号に基づいて、動作制御部58で動作を制御されたオブジェクトの映像を表示する。映像表示部62として、図2に示すように、情報処理装置31から出力される映像信号を表示する、ディスプレイ76が用いられる。
ディスプレイ76としては、CRT、LCD、PDP、OLED(Organic Light-Emitting Diode;有機エレクトロルミネッセンス)ディスプレイ、またはプロジェクタ等の公知のディスプレイ装置を用いることができる。本実施形態では、使用者が頭部に装着するディスプレイ装置であって、装着者の眼前に位置するディスプレイ76によってオブジェクトの表示を行う、ヘッドマウントディスプレイ(HMD)を用いている。
HMDとしては、装着した際に外界が見えなくなるよう視界を遮断する非透過型のHMDを用いることが好ましい。また、両眼を覆う、両眼非透過型のHMDがさらに好ましい。非透過型のHMDを用いることで、HMDに該当しない通常のディスプレイまたは透過型のHMDを用いた場合よりも、装着者が受ける没入感を高めることができる。
また、HMDとしては、装着者の頭部の動きを追尾(トラッキング)できるものが好ましく、トラッキング性能が500Hz以上のものがより好ましい。頭部のトラッキングにより、検体の頭部の動きをHMDに表示されるオブジェクトの動作に反映させることができる。
また、HMDとしては、60Hz以上のリフレッシュレートがあることが好ましく、片眼720p以上の解像度があることが好ましい。これにより、HMDを装着して表示されるオブジェクトを見た際に臨場感が増し、残像感を抑えて、いわゆるVR(Virtual Reality)酔いまたは3D酔いといわれる減少の発生を抑えることができる。
また、HMDとしては、VRソフトウェア開発用のSDK(Software Development Kit;ソフトウェア開発キット)が用意されているものが好ましい。これにより、後述する仮想空間作成部51、モデル作成部52、及び動作制御部58を用いたソフトウェア開発が容易となる。
音声表示部63は、動作制御部58の処理によって生成された音声信号が、信号出力部59から入力されて、この音声信号に基づいて、動作制御部58で動作を制御されたオブジェクトから発する音声を表示する。音声表示部63として、図2に示すように、情報処理装置31から出力される音声信号を表示する、スピーカー77が用いられる。
[1−1−3.信号処理部]
図1に示すように、信号処理部42は、仮想空間作成部51、モデル作成部52、パラメータ設定部53、デコード部54、LPF部55、信号前処理部56、パラメータ変更部57、動作制御部58、及び信号出力部59を備えて構成される。信号処理部42及び各部の構成について詳細に説明する。
<仮想空間作成部>
仮想空間作成部51は、3次元の仮想空間を作成する。仮想空間は、直交するX軸、Y軸、Z軸の3軸によって規定された3次元座標(X,Y,Z)による立体空間である。仮想空間は、3DCG(Three-Dimensional Computer Graphics;3次元コンピュータグラフィックス)技術を用いて構築される、仮想空間には、モデル作成部52が作成したオブジェクトが配置される。仮想空間に視点を設定して、3次元の仮想空間とオブジェクトを2次元のスクリーン座標系に投影することで、映像表示部62に表示する画像または映像が得られる。
仮想空間作成部51による3次元の仮想空間の作成は、予め作成されている3次元空間のモデルデータを記憶部43から読み出し、このモデルデータに基づいて仮想空間を作成することにより行う。または、予め3次元空間のモデルを作成する形状、座標情報や条件が設定されており、これに基づいて処理を行うことで、仮想空間を作成してもよい。
3次元の仮想空間及び後述するオブジェクトの3次元モデルの作成、並びにオブジェクトの動作の制御には、ゲームエンジンを用いて行うことができる。ゲームエンジンを利用することによって、マルチプラットフォーム化が可能となり、既存の物理シミュレーション機能やプロシージャル技術等を活用することができるため、3Dソフトウェアの開発が容易になる利点がある。ゲームエンジンとしては、例えば、Unity(登録商標)、Unreal Engine、Crystal Space、Irrlicht Engineが挙げられるが、これらに限定されない。ゲームエンジンは、情報処理装置31にインストールされており、CPU74がメモリ75に保存されたゲームエンジンを実行するための各種データを読み込んで、ゲームエンジンを実行する。
<モデル作成部>
モデル作成部52は、オブジェクトの3次元モデルを作成する。モデル作成部52によるオブジェクトの作成は、予め作成されているオブジェクトのモデルデータを記憶部43から読み出し、このモデルデータに基づいて3次元モデルを作成することにより行う。または、予めオブジェクトのモデルを作成する形状、座標情報や条件が設定されており、これに基づいて処理を行うことで、3次元モデルを作成してもよい。
3次元モデルの形状は限定されないが、生体信号またはオブジェクトに設定される動作パラメータに応じて作成することが好ましい。例えば、生体信号に由来する人間の器官を模した3次元モデルを作成してもよい。または、生体信号に由来する人間の器官をデフォルメした3次元モデルを作成してもよい。この場合、生体信号の変化にあわせて、3次元モデルが対応する人間の器官と同様に変形するようにオブジェクトを動作させることができる。また、3次元モデルの動作が、3次元モデル自体の移動の仕方に特徴がある場合には、例えば、球状、円柱状、立方体状等のシンプルな形状にしてもよい。
<パラメータ設定部>
パラメータ設定部53は、オブジェクトの動作を規定する動作パラメータを設定する。動作パラメータは、モデル作成部52で作成したオブジェクトの3次元モデルの動作を規定するものである。パラメータ設定部53は、予め定められている動作パラメータを記憶部43から読み出すことによって、動作パラメータの設定を行う。パラメータ設定部53で設定された動作パラメータは、パラメータ変更部57または動作制御部58に出力される。パラメータ設定部53は、第一パラメータ設定部(第一パラメータ設定手段)91、第二パラメータ設定部(第二パラメータ設定手段)92、及び第三パラメータ設定部(第三パラメータ設定手段)93を有している。
動作パラメータは、オブジェクトの動作を規定するものであれば特に限定されず、適宜用いることができる。また、動作パラメータは、一つのオブジェクトに対して複数の動作パラメータを用いて、そのオブジェクトの動作を規定するようにしてもよい。
動作パラメータとしては、例えば、オブジェクトの3次元モデルのモデルデータ、すなわちオブジェクト形状を規定する形状パラメータが挙げられる。また、オブジェクトが移動する動き、すなわちオブジェクトの移動の度合いを規定する移動度パラメータが挙げられる。また、オブジェクトが発する光(シェーダー、ライティング)の強度、すなわちオブジェクトの明るさを規定する明度パラメータ挙げられる。また、オブジェクトの3次元モデルの表面の質感を表現する、テクスチャマッピング、バンプマッピング、またはマテリアル等を規定するパラメータが挙げられる。また、オブジェクトを表示する個数、またはパーティクルの表示を規定するパラメータが挙げられる。また、3次元モデルの以外の変化を表すオブジェクトの動作を動作パラメータとして利用してもよい。
形状パラメータとしては、例えば、3次元モデルのX軸とY軸とZ軸のスケールを、経時的に増加と減少とを繰り返すように設定することによって、オブジェクトの形状が拡張と縮小とを繰り返すように変形する動作を規定することができる。または、3次元モデルを変化させないよう一定に設定することで、オブジェクトの形状が変化しない動作を規定できる。または、3次元モデルの一部が変形するように、形状パラメータを設定してもよい。
移動度パラメータとしては、例えば、3次元モデルに加わる加速度を、経時的に増加と減少とを繰り返すように設定することによって、オブジェクトが加速と減速を繰り返して移動する動作を規定することができる。または、3次元モデルの加速度を0に設定することで、オブジェクトが一定の速度で移動する、または停止する動作を規定できる。または、3次元モデルの移動する速度を移動度パラメータとして設定してもよい。移動度パラメータは、オブジェクトの動きをベクトルによって規定してもよく、オブジェクトの動きを単位ベクトルとスカラー量とで別々のパラメータによって規定してもよい。
明度パラメータとしては、例えば、3次元モデルの発光の強度を、経時的に増加と減少とを繰り返すように設定することによって、オブジェクトが明滅を繰り返すように変化する動作を規定することができる。または、3次元モデルの発光の強度を一定に設定することで、オブジェクトが一定の明るさで発光する動作を規定できる。または、オブジェクトの発する光の色が変化するよう、パラメータを設定してもよい。
3次元モデル以外の変化としては、例えば、オブジェクトが発する音声の大きさ、すなわちオブジェクトから発せられる音量を規定する音量パラメータが挙げられる。例えば、オブジェクトから発する音声の振幅を、経時的に増加と減少とを繰り返すように設定することによって、音量が増加と減少を繰り返すようにしてオブジェクトが音声を発する動作を規定することができる。または、オブジェクトから発する音声の振幅を一定に設定することで、オブジェクトが一定の音量の音声を発する動作を規定できる。または、音声の音高もしくは音色を変化させるよう、パラメータを設定してもよい。
動作パラメータは、後述するパラメータ変更部57によって変更を受ける。詳細には、パラメータ変更部57は、生体信号の強度情報と所定の閾値との関係に応じて動作パラメータの変更を行うか、生体信号の強度情報と所定の閾値との関係に関わらず動作パラメータの変更を行うかの二通りの動作をする。そこで、動作パラメータは、以下の第一の動作パラメータから第三の動作パラメータの三種類に分類することができる。
生体信号の強度情報と所定の閾値との関係に応じて、パラメータ変更部57により変更を受ける動作パラメータを、第一の動作パラメータ(第一動作パラメータ)と称する。また、生体信号の強度情報と所定の閾値との関係に関わらず、パラメータ変更部57により変更を受ける動作パラメータを、第二の動作パラメータ(第二動作パラメータ)と称する。また、パラメータ変更部57により変更を受けない動作パラメータを、第三の動作パラメータ(第三動作パラメータ)と称する。
上述したように、パラメータ設定部53は、第一動作パラメータ、第二動作パラメータ、及び第三動作パラメータを設定することができる。より詳しくは、第一パラメータ設定部91は、第一動作パラメータを設定する。第二パラメータ設定部92は、第二動作パラメータを設定する。第三パラメータ設定部93は、第三動作パラメータを設定する。
パラメータ設定部53は、三種類の動作パラメータのうちいずれのパラメータの設定を行うかは、動作させるオブジェクトに応じて適宜選択することができる。パラメータ設定部53は、オブジェクトに対して、第一動作パラメータ、第二動作パラメータ、及び第三パラメータから、任意の一つを設定してもよく、任意の二つを組み合せて設定してもよく、または全てを設定してもよい。例えば、第一動作パラメータと第二動作パラメータとを設定してもよく、または第一動作パラメータと第二動作パラメータと第三パラメータとを設定してもよい。または、パラメータ設定部53は、いずれかの動作パラメータをオブジェクトに対して複数設定するようにしてもよい。例えば、オブジェクトに対して、第一動作パラメータを一つ、第二動作パラメータを二つ、第三動作パラメータを三つ設定してもよい。
<デコード部>
デコード部54は、データ受信部41から生体信号が入力される。デコード部54は、エンコード部23でエンコードを行ったデータを、エンコード部23で規定したプロトコルにあわせてデコードを行う。デコード部54は、デコードした生体信号を、LPF部55に出力する。
<LPF部>
LPF部55は、入力された生体信号に対して、生体情報が含まれる周波数帯域である生体情報帯域よりも高い周波数成分を減衰させて、生体情報帯域の周波数成分を通過させるLPF(ローパスフィルタ)処理を施す。LPF処理は、生体情報以外の例えば体動によるノイズ成分を緩和するためのハイカット処理ということもできる。LPF部55は、LPF処理を施した生体信号を、信号前処理部56に出力する。
<信号前処理部>
信号前処理部56は、入力された生体信号に対して、後述する動作制御部58で信号処理を行うための前処理を行う。前処理は、入力される生体信号及びオブジェクトの動作に応じて適宜行うことができる。信号前処理部56は、前処理を施した生体信号を、パラメータ変更部57に出力する。
前処理としては、生体信号の強度情報を、生体信号のキャリブレーションの結果を基にして、測定された最大値と最小値の関係とから一定の範囲に正規化する処理が挙げられる。信号の扱いやすさの点から、例えば0〜1までの範囲、0〜100までの範囲、0〜255までの範囲のようにして正規化することが出来る。また、前処理としては、生体信号の経時変化を表す信号波形における最大ピーク部分を抽出する処理が挙げられる。また、前処理としては、生体信号の強度情報分布において中央部の強度情報の変動が周辺部の強度情報の変動よりも大きくなるよう、生体信号を非線形変換する処理が挙げられる。
<パラメータ変更部>
パラメータ変更部57は、信号前処理部56で処理された生体信号と、パラメータ設定部53で設定された動作パラメータとが入力される。パラメータ変更部57は入力された生体信号に基づいて、動作パラメータを変更する。動作パラメータの変更は、動作パラメータを変更する操作関数、及び所定の閾値を、パラメータ変更部57が記憶部43から読み出して行う。操作関数は、オブジェクト及びオブジェクトに対応する動作パラメータに対して個別に設定されている。パラメータ変更部57は、第一パラメータ変更部(第一パラメータ変更手段)94、及び第二パラメータ変更部(第二パラメータ変更手段)95を有している。
動作パラメータの変更は、第一動作パラメータに対しては、第一パラメータ変更部94が、生体信号の強度情報と所定の閾値との関係に応じて変更を行う。第二動作パラメータに対しては、第二パラメータ変更部95が、生体信号の強度情報と所定の閾値との関係に関わらず変更を行う。第一パラメータ変更部94は、第一動作パラメータを変更して、第一変更パラメータを出力する。また、第二パラメータ変更部95は、第二動作パラメータを変更して、第二変更パラメータを出力する。
所定の閾値とは、オブジェクトの動作を変化させるかどうかを判定するための基準値である。閾値は、生体信号及び第一動作パラメータに対応してそれぞれ定められる。閾値は、例えば、信号前処理部56によって正規化された生体信号の強度情報の上限値よりも小さい値をとり、正規化された生体信号の強度情報の下限値よりも大きい値をとることで、正規化された生体信号の強度情報の範囲内において設けられる。一例として、閾値は、生体信号の強度情報の上限値と下限値との中心点に設けることができる。閾値は、検出する生体信号及び第一動作パラメータに応じて適宜調整可能である。閾値は、生体情報または生体情報を生じさせる生体の器官の変動が、その値の前後で現れる値に定めてもよい。
第一パラメータ変更部94は、第一動作パラメータに対して、生体信号の強度情報が閾値を上回る際と、生体信号の強度情報が閾値を下回る際とで、動作パラメータまたは動作パラメータにより規定されるオブジェクトの動作が変化するよう変更を行う。例えば、生体信号の強度情報が閾値を上回る際には、動作パラメータを増加させ、生体信号の強度情報が閾値を下回る際には、動作パラメータを減少させるよう変更を行う。または、生体信号の強度情報が閾値を上回った場合と下回った場合とのいずれかの場合にのみ、動作パラメータを増加させ、または減少させるよう変更を行う。または、生体信号の強度情報が閾値を上回る際には、動作パラメータにより規定される動作を行わせて、生体信号の強度情報が閾値を下回る際には、動作パラメータにより規定される動作を停止するよう変更を行う。
第二パラメータ変更部95は、第二動作パラメータに対して、生体信号の強度情報と閾値との関係に関わらず、生体信号の強度情報に応じて、動作パラメータまたは動作パラメータにより規定されるオブジェクトの動作が変化するよう変更を行う。第二動作パラメータが生体信号の強度情報に連動して変更を受けることで、オブジェクトの動作は生体信号の強度に連動するように変化する。例えば、0〜1の範囲で正規化された生体信号の強度情報に基づいて、生体信号が0から増加するにつれて、動作パラメータを増加させるか、または減少させるよう変更を行う。または、生体信号が1から減少するにつれて、動作パラメータを増加させるか、または減少させるよう変更を行う。すなわち、生体信号の強度情報と動作パラメータとの関係が、単調増加または単調減少の関係にあるように動作パラメータの変更を行う。このとき、生体信号の強度情報に基づいて、動作パラメータが、例えば、リニア(線形)に増加または減少するように変更を行ってもよく、または指数関数的に増加または減少するように変更を行ってもよい。
<動作制御部>
動作制御部58は、モデル作成部52で作成した3次元モデルを、仮想空間作成部51で作成した3次元の仮想空間に配置して操作することで、オブジェクトを動作させる。動作制御部58は、パラメータ設定部53で設定された動作パラメータに基づいてオブジェクトの動作を制御する。このとき、動作パラメータがパラメータ変更部57によって変更を受けた場合には、パラメータ変更部57で変更された変更パラメータに基づいてオブジェクトの動作を制御する。パラメータ変更部57が生体信号に基づいて動作パラメータを変更することから、動作制御部58は、生体信号に基づいてオブジェクトの動作を制御するといえる。
すなわち、第一パラメータ設定部91が第一動作パラメータを設定して、第一パラメータ変更部94が第一動作パラメータを変更した場合には、動作制御部58は、第一変更パラメータに基づいてオブジェクトの動作を制御する。
また、第一パラメータ設定部91及び第二パラメータ設定部92が第一動作パラメータ及び第二動作パラメータを設定して、第一パラメータ変更部94及び第二パラメータ変更部95が第一動作パラメータ及び第二動作パラメータを変更した場合には、動作制御部58は、第一変更パラメータ及び第二変更パラメータに基づいてオブジェクトの動作を制御する。
また、第一パラメータ設定部91、第二パラメータ設定部92、及び第三パラメータ設定部93が第一動作パラメータ、第二動作パラメータ、及び第三動作パラメータを設定して、第一パラメータ変更部94及び第二パラメータ変更部95が第一動作パラメータ及び第二動作パラメータを変更した場合には、動作制御部58は、第一変更パラメータ、第二変更パラメータ、及び第三動作パラメータに基づいてオブジェクトの動作を制御する。
上述したとおり、オブジェクトの動作の制御は、ゲームエンジンを用いて行うことができる。動作制御部58は、ゲームエンジンがオブジェクトの動作をさせるために設定するパラメータとして、パラメータ設定部53で設定された動作パラメータ、またはパラメータ変更部57で変更された変更パラメータを入力する。ゲームエンジンは、入力された
動作パラメータまたは変更パラメータを利用して、物理演算処理、モーション処理、アニメーション処理、またはサウンド処理を行うとともに、オブジェクトの描画処理を行う。これにより、ゲームエンジンによって、生体信号に基づいて制御されるオブジェクトの動作が実現される。
<信号出力部>
信号出力部59は、動作制御部58で動作を制御されたオブジェクトの動作を表す信号を動作表示部61に出力する。信号出力部59は、オブジェクトの映像を表示するための映像信号を映像表示部62に出力する。また、信号出力部59は、オブジェクトの音声を表示するための音声信号を音声表示部63に出力する。
[1−2.動作]
以下、図3に示すフローチャート(ステップS101〜S120)を参照しながら、本実施形態に係る生体信号出力装置1による処理や動作について説明する。なお、ここでは、動作パラメータとして、第一動作パラメータ、第二動作パラメータ、及び第三動作パラメータを用いる場合を例に挙げて説明する。また、ここでは、第一パラメータ変更部94が第一動作パラメータに対して、生体信号の強度情報が閾値を上回る際には、動作パラメータを増加させ、生体信号の強度情報が閾値を下回る際には、動作パラメータを減少させる場合を例に挙げて説明する。
生体信号の検出と生体信号に基づくオブジェクトの動作の制御を行うにあたって、まずは3次元の仮想空間、及びオブジェクトの3次元モデルの作成、並びに動作パラメータの設定を行う。始めにこれらの仮想環境の構築の処理について説明する。次に、生体信号の取得とその処理について説明する。続いて、生体信号に基づいたオブジェクトの動作の制御について説明する。
<仮想環境の構築>
仮想空間作成部51は、記憶部43から3次元空間のモデルデータを読み出して、このモデルデータに基づいて3次元の仮想空間を作成する(ステップS101、仮想空間作成ステップ)。
モデル作成部52は、記憶部43からオブジェクトの3次元モデルのモデルデータを読み出して、このモデルデータに基づいてオブジェクトの3次元モデルを作成する(ステップS102、モデル作成ステップ)。
さらに、パラメータ設定部53は、記憶部43から第一動作パラメータ、第二動作パラメータ、及び第三動作パラメータを読み出して、これをオブジェクトの動作パラメータとして設定する(ステップS103、パラメータ設定ステップ)。
上述したステップS101〜S103によって、オブジェクトの3次元モデルを3次元の仮想空間に配置して、動作パラメータに基づいてオブジェクトの動作を制御する環境が構築される。
<生体信号の取得>
生体信号検出部12は、検体から生体信号の強度情報を含む生体信号を取得する(ステップS104、生体信号取得ステップ)。
信号増幅部13は、生体信号検出部12で取得した生体信号を増幅する(ステップS105)。さらに、信号増幅部13は、増幅した生体信号を信号通信部21に出力する。
A/D変換部22は、信号増幅部13で増幅した生体信号をデジタルデータに変換する(ステップS106)。
エンコード部23は、A/D変換部22で変換された生体信号のデジタルデータのエンコードを行う(ステップS107)。
データ送信部24は、エンコード部23でエンコードされた生体信号を、情報処理装置31に出力する(ステップS108)。
データ受信部41は、データ送信部24から出力された生体信号を受信する(ステップS109)。データ受信部41により受信された生体信号のデータは、信号処理部42に出力される。
デコード部54は、データ受信部41から出力された生体信号のデータのデコードを行う(ステップS110)。
LPF部55は、デコード部54でデコードされた生体信号に対してLPF処理を施して、ノイズ成分の緩和を行う(ステップS111)。
信号前処理部56は、LPF部55でLPF処理を施された生体信号に対して、前処理を行う(ステップS112)。
<オブジェクトの動作の制御>
パラメータ変更部57は、記憶部43から閾値と操作関数を読み込み、信号前処理部56で前処理を施された生体信号の強度が閾値より大きいか否かを判定する(ステップS113)。生体信号の強度が閾値より大きければステップS114に進む。一方、生体信号の強度が閾値以下であればステップS115に進む。
ステップS114では、第一パラメータ変更部94は、ステップS103で設定された第一動作パラメータを増加させるよう変更して、第一変更パラメータを得る。
ステップS115では、第一パラメータ変更部94は、ステップS103で設定された第一動作パラメータを減少させるよう変更して、第一変更パラメータを得る。
続いて、第二パラメータ変更部95は、ステップS103で設定された第二動作パラメータを変更する(ステップS116)。ここでは、生体信号の強度と所定の閾値との関係に関わらず、生体信号の強度に連動して第二動作パラメータを変更して、第二変更パラメータを得る。
これらステップS113〜S116がパラメータ変更ステップにあたる。
動作制御部58は、ステップS102で作成したオブジェクトの3次元モデルを、ステップS101で作成した3次元の仮想空間に配置して、オブジェクトを動作させる(ステップS117、動作制御ステップ)。このとき、動作制御部58は、ステップS114またはステップS115で得られた第一変更パラメータ、ステップS116で得られた第二変更パラメータ、及びステップS103で設定された第三動作パラメータに基づいて、オブジェクトの動作を制御する。
信号出力部59は、動作表示部61へ、ステップS118で動作を制御されたオブジェクトの動作を表す信号の出力を行う(ステップS118、信号出力ステップ)。
動作表示部61は、ステップS117で動作を制御されたオブジェクトの動作の表示を行う(ステップS119、動作表示ステップ)。
ステップS120では、動作制御部58が、情報処理装置31に設けられたキーボードまたはマウス等の入力手段によって、処理の終了を指示する操作が行われたか否かを判定する。処理の終了を指示する操作が行われていない場合には、ステップS104に戻り、ステップS104〜S119の処理を、処理を終了する指示がなされるまで行う。すなわち、生体信号の取得を行い、生体信号に基づいてオブジェクトの動作を制御して、動作を制御されたオブジェクトの表示をリアルタイムで行う。一方、処理を終了する指示が行われた場合には、処理を終了する。
[1−3.作用及び効果]
本実施形態に係る生体信号出力装置1は、上述のように構成されるため、以下のような作用及び効果を得ることができる。
(1)上記の生体信号出力装置1は、生体信号取得部11で取得された生体信号に基づいて、動作制御部58がオブジェクトの動作を制御して、生体信号の強度情報と所定の閾値との関係に応じてオブジェクトの動作を変化させる。さらに、信号出力部59が動作制御部58で動作を制御されたオブジェクトの動作を表す信号を、動作表示部61に出力する。これにより、動作表示部61に表示されるオブジェクトの動作を通じて、閾値に応じた部分で生体信号の変動を強調することが可能となる。したがって、生体信号が反映されたオブジェクトを感受する検体に、自らの生体信号に基づいてオブジェクトが変化していることを、印象強く伝えることができるようになる。よって、検体に生体機能の意識的な調整を促すことで、検体の生体信号とオブジェクトとを介した自律神経系機能の調整に与える正のフィードバックへの影響を高めることが可能となる。
(2)上記の生体信号出力装置1では、第一パラメータ設定部91により設定された第一動作パラメータが、生体信号の強度情報と所定の閾値との関係に応じて第一パラメータ変更部94により変更を受けて、第一変更パラメータとなる。さらに動作制御部58は、第一変更パラメータに基づいてオブジェクトの動作を制御する。これにより、第一動作パラメータにより規定されたオブジェクトの動作を、第一変更パラメータに基づいて制御することによって、オブジェクトを生体信号の変化に併せて操作することが可能となる。またこのとき、第一動作パラメータが生体信号の強度情報と所定の閾値との関係に応じて変更を受けるため、動作表示部61に表示されるオブジェクトの動作を通じて、閾値に応じた部分で生体信号の変動を強調することが可能となる。
(3)上記の生体信号出力装置1では、第二パラメータ設定部92により設定された第二動作パラメータが、生体信号の強度情報と所定の閾値との関係に関わらず第二パラメータ変更部95により変更を受けて、第二変更パラメータとなる。さらに動作制御部58は、第一変更パラメータ及び第二変更パラメータに基づいて該オブジェクトの動作を制御する。これによれば、第二動作パラメータにより規定されたオブジェクトの動作を、第二変更パラメータに基づいて制御することによって、オブジェクトを生体信号に併せて操作することが可能となる。このとき、第二動作パラメータが生体信号の強度情報に連動して変更を受けるため、生体信号の変動に応じてオブジェクトの動作を直接的に変化させることが可能となる。これにより、オブジェクトが生体信号に同期して動作していることを検体が認識することできる。したがって、オブジェクトを生体信号によって動作させようとするモチベーションが、検体に生じやすくなる。よって、検体に生体機能の意識的な調整がさらに促される。さらに、第一変更パラメータと第二変更パラメータとに基づいてオブジェクトの動作が制御を受けるため、生体信号に応じてオブジェクトの動作が直接的に変化するとともに、閾値に応じた部分では生体信号の変動が強調されることになる。よって、検体に、自らの生体信号に基づいてオブジェクトが動作していることをさらに印象強く伝えることができるようになる。
(4)上記の生体信号出力装置1では、第三パラメータ設定部93により第三動作パラメータが設定され、この第三動作パラメータは生体信号に基づいて変更を受けない。さらに、動作制御部58は、第一変更パラメータ、第二変更パラメータ、及び第三動作パラメータに基づいてオブジェクトの動作を制御する。これによれば、第一変更パラメータ、及び第二変更パラメータに加えて、生体信号によって変更を受けない第三動作パラメータが合わさることよって、オブジェクトの動作に生体信号に基づかない動きを与えることが可能となる。これにより、オブジェクトが検体の生体信号から離れた自由な動作を表現することが可能となる。したがって、第三動作パラメータによりオブジェクトに自然な動きが演出されることで、これを感受する検体に与える没入感を向上させることができる。さらには、この状態のオブジェクトに、第一変更パラメータと第二変更パラメータとよって、生体信号に基づく動作を反映させることが可能となる。よって、検体には、無意識的または半意識的な状態で、生体信号をオブジェクトの動作に反映させてバイオフィードバックを行わせることも可能になる。
(5)上記の生体信号出力装置1では、モデル作成部52により作成したオブジェクトの3次元モデルを、仮想空間作成部51により作成した3次元の仮想空間で動作させる。これにより、オブジェクトを3次元空間へ配置して動作させることによって、臨場感が強化されて、検体へ与える影響をより強めることが可能となる。
(6)上記の生体信号出力装置1では、動作表示部61を構成する映像表示部62が非透過型ヘッドマウントディスプレイであり、この映像表示部62に動作制御部58で動作を制御されたオブジェクトを表示する。これにより、非透過型ヘッドマウントディスプレイの使用によって、検体に与える没入感をさらに増大させることができる。したがって、検体がオブジェクトの動きを鋭敏に感じ取ることが可能となる。よって、生体信号の視覚的なフィードバックの効果をいっそう高めることができる。
[1−4.その他]
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されず、本発明の趣旨を逸脱しない範囲で種々変形、変更してすることが可能である。
上記の実施形態では、オブジェクトが3次元の仮想空間に配置される立体である場合について説明した。オブジェクトはこれに限定されず、2次元の仮想平面内に、2次元の画像をオブジェクトとして表示して、この画像の動作を制御するようにしてもよい。
上記の実施形態では、信号処理部42における処理機能がプログラムとして構成されたものを例示したが、この機能の実現手段はプログラムに限定されない。例えば、信号処理部42を、ROM,RAM,CPU等を内蔵したワンチップマイコンとして構成してもよいし、あるいは、デジタル回路やアナログ回路といった電子回路として形成してもよい。
上記の実施形態では、本件のプログラムが、各ステップを実行する個々のプログラムにより構成されている場合について説明したが、本件のプログラムは、個々のプログラムが組み合わされた一つのプログラムとして構成されていてもよい。または、個々のプログラムが組み合わされて複合したプログラムとなり、さらにこの複合したプログラムが一つのプログラムとして構成されていてもよい。
上記の実施形態では、CPU74が本件のプログラムを実行する場合について説明した。情報処理装置31は、信号処理部42としてGPU(Graphics Processing Unit)を備え、また記憶部43としてVRAM(Video Random Access Memory)を備え、これらGPU及びVRAMを用いて、映像または画像等の処理を実行してもよい。GPU及びVRAMは、CPU74が行う処理の中でも仮想空間作成部51、モデル作成部52、及び動作制御部58における、オブジェクトの作成及び動作の制御に好適に用いることができる。
上記の実施形態では、データ送信部24とデータ受信部41とがシリアル通信を行い、また信号処理部42による処理によって生成される映像信号に基づいて動作表示部61がオブジェクトの動作を表示する場合について説明した。生体信号及び映像信号または音声信号の通信及び処理は、適宜変更してもよい。例えば、情報処理装置31がネットワーク上に存在して、データ送信部24とデータ受信部41によって、ネットワークを介して情報処理装置31に生体信号を送信して信号処理を行うようにした、生体信号出力システムとしてもよい。またこのとき、ネットワーク上の情報処理装置31から、ネットワークを介して動作表示部61に映像信号または音声信号を送信して、オブジェクトの表示を行うようにしてもよい。
上記の実施形態では、音声表示部63としてスピーカー77を用いる場合について説明した。音声表示部63は、音声信号に基づいてオブジェクトから発する音声を表示するものであれば特に限定されず、例えばヘッドホンまたはイヤホンであってもよい。また、音声表示部63がヘッドホンまたはイヤホンであって、映像表示部62がHMDである場合には、ヘッドホンまたはイヤホンがHMDと一体化して設けられて、動作表示部61を構成するものであっても良い。
以下、本発明の実施例を述べるが、本発明の範囲はその趣旨を超えないかぎり、以下の例に限定されるものではない。
[2.第一実施例]
本発明の第一実施例について、図4〜図10を参照して説明する。この第一実施例は、一部の構成が上述の実施形態に係る生体信号出力装置1の構成と同様に構成されている。したがって、上述の生体信号出力装置1と同様の部分については説明を省略し、同符号を用いて説明する。以下、第一実施例の説明においては、第一実施例を、単に本実施例とも称する。
[2−1.構成]
図4を参照しながら、本実施例に係る生体信号出力装置2の構成について説明する。図4は、本実施例に係る生体信号出力装置2のハードウェア構成例を示すブロック図である。図4に示すように、本実施例に係る生体信号出力装置2は、生体信号検出部12として、心電図用電極81を備える。また、生体信号出力装置2は、映像表示部62として機能するディスプレイ76と、音声表示部63として機能するスピーカー77を備える。
<生体信号取得部>
三つの心電図用電極81を検体の胸部において、心臓位置の周囲の三箇所に配置するように貼り付ける。本実施例の生体信号取得部11は、これらの心電図用電極81により差動電圧を測定することによって、心電位を生体信号として取得する。
本実施例では、生体信号は心電位の経時的な変化を表す心電図として得られる。心臓は筋肉の収縮・拡大することで血液を循環させる。心電図は、この心臓の収縮・弛緩の際に心臓の刺激伝達系を流れる微弱な電気の変化を、体表面の心電図用電極81で捉えたものである。
心電図は洞結節から房室結節,ヒス束から脚,プルキンエ線維へと電気が流れ心臓が収縮する脱分極と,収縮した心臓が弛緩して元に戻る再分極までの電位変化、及び電気的興奮を示す。心電図は、図5に示すP波、QRS波、T波の3つの波形から成り立つ。図5では、横軸に時間を、縦軸に電圧を示している。
最初に記録されるP波は心房の収縮を示している。正常な場合であればP波の開始から3分の2が右房の収縮、終了から3分の2が左房の電気的興奮を示しており、この2つが重なったものがP波である。次に最も電位変化が大きいQRS波は電気が房室へと流れ、心室(脚)が収縮する際に発生する信号である。QRS波は、左右心室筋の電気的な興奮を示している。そして,心室が収縮した際に取り込まれたナトリウムイオンやカルシウムイオンなどが細胞の外に放出される際に発生する電気がT波である。T波は心室筋の電気的興奮が消失する流れを示している。
この電位変化を連続的に記録したものが図5に示す心電図であり、R波から次のR波までの時間から1分間の心臓の拍動数(Beats Per Minute (BPM))である心拍数の算出が可能となる。また、その間隔から交感神経と副交感神経の優位性を測定することが可能となる。
<信号通信部>
本実施例の生体信号出力装置2では、信号通信部21として機能するワンボードマイコン73として、Arduino(登録商標) Unoを用いている。Arduino Unoは、6チャネル10bitのA/Dコンバータを搭載している。A/Dコンバータは、アナログ入力電圧を0から1023までの数値に変換する、A/D変換部22として機能する。また、データ送信部24及びデータ受信部41では、シリアルインターフェースとしてUSBを使用して、両者をUSBケーブルで接続している。
本実施例では、ゲームエンジンとしてUnityを使用する。Unity上でプロジェクトを作成して、3次元の仮想空間の作成、オブジェクトの3次元モデル作成、オブジェクトの動作の制御等を行う。Arduino Unoには6つの入力ポートが存在し、それぞれの入力ポートからの入力電圧をA/Dコンバータが変換した値を、情報処理装置31のCPU74で実行されるUnityに送信する。そこで、エンコード部23及びデコード部54で用いるプロトコルとして、最大6つのデータの送信を想定したシリアル通信のプロトコルを規定した。規定のプロトコルに合わせたエンコードプログラムをArduino用にエンコード部23で使用し、デコードプログラムをUnity用にデコード部54で使用している。
<プロトコル>
図6及び表1を参照して、データ送信部24及びデータ受信部41間において行うシリアル通信のプロトコルについて説明する。図6は、3番ポートに入力された信号について、数値として「1」を送信するパケットを例示している。Arduinoは1つの入力ポートから10bitのデータを取得する。一方、Arduino言語の仕様から1回のSerial.writeで送信できるデータ量は8bitである。このため、図6に示すように、符号100を付した8bitからなるパケットと、符号110を付した8bitからなるパケットとの2つに分割して、10bitのデータをデータ送信部24から送信する。
パケット100は、符号101〜108をそれぞれ付した8bitのデータからなる。また、パケット110は、符号111〜118をそれぞれ付した8bitのデータからなる。2つに分割されたパケット100とパケット110とのデータの前後を識別するために、パケット100、110の符号101,111を付した先頭の1bitを識別子として用いる。前のデータとなるパケット110では上位bitを示す「0」、後のデータとなるパケット110では下位bitを示す「1」としている。パケット100の符号102,103を付した2bitと、パケット110の符号112,113を付した2bitとの4bitの情報を使用して、どのポートから送信された信号であるか識別する。具体的には、表1に示すように、この4bitからなる情報が1番から6番ポートの内、どのポートに対応するかが定められている。さらに、パケット100の符号104〜108を付した5bitを上位5bit、パケット110の符号114〜118を付した5bitを下位5bitとして使用して、10bitのデータを送信する。
<情報処理装置>
本実施例の情報処理装置31では、デコード部54が、データ受信部41によって受信したデータを上述のプロトコルに基づいてデコードを行う。デコードによって、心電位の強度情報の経時変化を示す心電図のデータが得られる。本実施例の情報処理装置31では、デコードされた心電位の強度情報のデータに対してキャリブレーションを行う。キャリブレーションより、心臓の拍動に伴う心電位の変化の最大値・最小値の取得を行う。
本実施例では、信号前処理部56として、生体信号の心電図における最大ピークの波形を抽出する信号抽出手段を備える。心電図は図5に示すようにR波が最大のピークとなることから、信号抽出手段は、心電位の強度情報からR波を抽出することになる。これにより、生体信号は、心臓の拍動を可視化しやすい情報に加工される。
本実施例の生体信号出力装置2では、モデル作成部52は、図7に示すハート型の3次元モデルに、UnityのParticle Systemを利用して、Meshの表面に多数のParticleを表示したものをオブジェクトの3次元モデルとして作成する。仮想空間作成部51は、底面と、この底面から垂直方向に立ち上がる三方の壁とによって囲まれた3次元の仮想空間を作成する。仮想空間作成部51で作成した3次元の仮想空間に、モデル作成部52で作成したオブジェクトの3次元モデルを配置した状態を表すのが、図8である。
パラメータ設定部53は、上述のハート型の3次元モデルの動作パラメータを設定する。本実施例では、第一動作パラメータとして、オブジェクトが発する音声の大きさを示す音量パラメータを有する。また、第二動作パラメータとして、オブジェクトの形状を示す形状パラメータ、及びオブジェクトの明るさを示す明度パラメータを有する。また、第三動作パラメータとして、オブジェクトが発する音声の高さ示す音高パラメータ、及びオブジェクトが発する音声の音色を示す音色パラメータを有する。すなわち、第一パラメータ設定部91は、音量パラメータを設定する。第二パラメータ設定部92は、形状パラメータ、及び明度パラメータを設定する。第三パラメータ設定部93は、音高パラメータ、及び音色パラメータを設定する。
オブジェクトが発する音声は、音量パラメータ、音高パラメータ、及び音色パラメータによって規定される。このうち、音量パラメータはオブジェクトが発する音声の大きさを示すものであり、音量パラメータによって規定される音声の大きさで、音高パラメータ及び音色パラメータによって規定される高さ及び音色の音声が出力される。音量パラメータは、動作パラメータとしては音量が0であって、音声を発しないようになっている。音量パラメータは、パラメータ変更部57によって、音量が変化して音声を発するように変更を受ける。
形状パラメータは、図7を参照して説明したオブジェクトの3次元モデルの形状を規定する。形状パラメータは、動作パラメータとしては、オブジェクトが一定の形状を保つようになっている。形状パラメータは、パラメータ変更部57によって、3次元モデルの形状が変化するように変更を受ける。
明度パラメータは、図8に示すようにオブジェクトのパーティクルが発する光の強度を示す。オブジェクトから発せられる光を光源として、仮想空間に存在する他のオブジェクトが照らされる。明度パラメータは、動作パラメータとしては、オブジェクトが一定の明るさを保つようになっている。明度パラメータは、パラメータ変更部57によって、明るさが変化するように変更を受ける。
上述したように、ハート型の3次元モデルの動作パラメータが設定されており、仮に動作パラメータが変更されない場合には、オブジェクトは音声を発せず、形状及び明るさが変化しないよう規定されている。
パラメータ変更部57は、信号前処理部56によって抽出されたR波からなる生体信号の強度情報に基づいて、音量パラメータ、形状パラメータ、及び明度パラメータを変更する。
このとき、第一動作パラメータである音量パラメータについては、第一パラメータ変更部94は、生体信号の強度情報が所定の閾値を上回る際に音量パラメータを増加させて、生体信号の強度情報が所定の閾値を下回る際に音量パラメータを減少させるように変更して、第一変更パラメータを出力する。より具体的には、生体信号の強度情報が所定のON閾値を上回る際には、音量パラメータを増加させることで、オブジェクトが音声を発するようにする。一方、生体信号の強度情報が所定のOFF閾値を下回る際には、音量パラメータを減少させることで、オブジェクトが音声を発するのを中止して、次に音声を発する準備をするようにする。なお、本実施例のON閾値及びOFF閾値とは、心電位の中心点
の値である。すなわち、キャリブレーションで取得した、心臓の拍動に伴う心電位の電圧値の最大値と最小値との中心点を用いている。
第二動作パラメータである形状パラメータ及び明度パラメータについては、第二パラメータ変更部95は、生体信号の強度情報に応じて、形状パラメータ及び明度パラメータを連動して変更して、第二変更パラメータを出力する。より具体的には、心電位が上昇するにつれて、形状パラメータを増加させることで、オブジェクトの3次元モデルのX軸とY軸のスケールが増大して、オブジェクトが拡張する。一方、心電位が低下するにつれて、形状パラメータを減少させることで、オブジェクトの3次元モデルのX軸とY軸のスケールが減少して、オブジェクトが縮小する。また、心電位が上昇するにつれて、明度パラメータを増加させることで、オブジェクトの明るさが増大して、オブジェクトの発光が強くなり、これに伴いオブジェクトの周囲も明るく照らされる。一方、心電位が低下するにつれて、明度パラメータを減少させることで、オブジェクトの明るさが減少して、オブジェクトの発光が弱くなる。
このようにして、心電位が低下した場合のオブジェクト及び仮想空間の状態を表すのが、図8である。これに対して、心電位が上昇してピークに達した場合のオブジェクト及び仮想空間の状態を表すのが、図9であり、オブジェクトが大きく拡張して周囲を照らし出している。
動作制御部58は、第一パラメータ変更部94が出力する上述した音量パラメータの第一変更パラメータ、第二パラメータ変更部95が出力する形状パラメータ及び明度パラメータの第二変更パラメータ、並びに音高パラメータ、及び音色パラメータに基づいて、オブジェクトの動作を制御する。
信号出力部59は、動作制御部58でオブジェクトの動作を制御して得られた映像信号をディスプレイ76に、音声信号をスピーカー77に出力する。
ディスプレイ76は、映像信号に基づいて、仮想空間に配置されるオブジェクトの表示を行う。スピーカー77は、音声信号に基づいて、オブジェクトが発する音声の表示を行う。
[2−2.動作]
以下、図10に示すフローチャート(ステップS201〜S220)を参照しながら、本実施例に係る生体信号出力装置2による処理や動作について説明する。
<仮想環境の構築>
仮想空間作成部51は、記憶部43から3次元空間のモデルデータを読み出して、このモデルデータに基づいて3次元の仮想空間を作成する(ステップS201)。
モデル作成部52は、記憶部43からハート型の3次元モデルのモデルデータを読み出して、このモデルデータに基づいてオブジェクトの3次元モデルを作成する(ステップS202)。
パラメータ設定部53は、記憶部43から音量パラメータ、形状パラメータ、明度パラメータ、音高パラメータ、及び音色パラメータを読み出して、これらをオブジェクトの動作パラメータとして設定する(ステップS203)。このとき、第一パラメータ設定部91は、第一動作パラメータとして音量パラメータを設定する。第二パラメータ設定部92は、第二動作パラメータとして形状パラメータ及び明度パラメータを設定する。第三パラメータ設定部93は、第三動作パラメータとして音高パラメータ及び音色パラメータを設定する。
<生体信号の取得>
生体信号検出部12は、心電図用電極81により電圧値の変化を測定することによって、検体から強度情報を含む心電位を生体信号として取得する(ステップS204)。
信号増幅部13は、生体信号検出部12で取得した生体信号を増幅する(ステップS205)。さらに、信号増幅部13は、増幅した生体信号を信号通信部21に出力する。
A/D変換部22は、信号増幅部13で増幅した生体信号をデジタルデータに変換する(ステップS206)。
エンコード部23は、A/D変換部22で変換された生体信号のデジタルデータを、図6及び表1を参照して説明したプロトコルによりエンコードを行う(ステップS207)。
データ送信部24は、エンコード部23でエンコードされた生体信号を、情報処理装置31に出力する(ステップS208)。
データ受信部41は、データ送信部24から出力された生体信号を受信する(ステップS209)。データ受信部41により受信された生体信号のデータは、信号処理部42に出力される。
デコード部54は、データ受信部41から出力された生体信号のデータを、図6及び表1を参照して説明したプロトコルによりデコードを行う(ステップS210)。
LPF部55は、デコード部54でデコードされた生体信号に対してLPF処理を施して、ノイズ成分の緩和を行う(ステップS211)。
信号前処理部56は、LPF部55でLPF処理を施された生体信号に対して、最大ピークの波形を抽出して、R波を得る(ステップS212)。
<オブジェクトの動作の制御>
パラメータ変更部57は、記憶部43から閾値と操作関数を読み込み、ステップS212で抽出されたR波からなる生体信号の強度が閾値より大きいか否かを判定する(ステップS213)。生体信号の強度が閾値より大きければステップS214に進む。一方、生体信号の強度が閾値以下であればステップS215に進む。
ステップS214では、第一パラメータ変更部94は、ステップS203で設定された音量パラメータを増加させて、オブジェクトが音声を発するよう変更して、音量パラメータの第一変更パラメータを得る。
ステップS215では、第一パラメータ変更部94は、ステップS203で設定された音量パラメータを減少させるよう変更して、音量パラメータの第一変更パラメータを得る。
続いて、第二パラメータ変更部95は、ステップS203で設定された形状パラメータ及び明度パラメータを変更する(ステップS216)。ここでは、生体信号の強度と所定の閾値との関係に関わらず、生体信号の強度に連動して形状パラメータ及び明度パラメータを増加または減少させるように変更して、形状パラメータ及び明度パラメータそれぞれの第二変更パラメータを得る。
動作制御部58は、ステップS202で作成したハート型のオブジェクトの3次元モデルを、ステップS201で作成した3次元の仮想空間に配置して、オブジェクトを動作させる(ステップS217)。このとき、動作制御部58は、ステップS214またはステップS215で得られた音量パラメータの第一変更パラメータ、ステップS216で得られた形状パラメータ及び明度パラメータそれぞれの第二変更パラメータ、及びステップS203で設定された音高パラメータ及び音色パラメータに基づいて、オブジェクトの動作を制御する。
信号出力部59は、ディスプレイ76及びスピーカー77へ、ステップS217で動作を制御されたオブジェクトの動作を表す映像信号及び音声信号の出力を行う(ステップS218)。
ディスプレイ76及びスピーカー77は、ステップS217で動作を制御されたオブジェクトの映像と音声の表示を行う(ステップS219)。
ステップS220では、動作制御部58が、処理の終了を指示する操作が行われたか否かを判定する。処理の終了を指示する操作が行われていない場合には、ステップS204に戻り、ステップS204〜S219の処理を、処理を終了する指示がなされるまで行う。
[2−3.作用]
上記の生体信号出力装置2では、オブジェクトの動作パラメータとして、大きく三つに分けて、オブジェクトが発する音声に関する音量パラメータ、音高パラメータ、及び音色パラメータ、形状に関する形状パラメータ、並びに明るさに関する明度パラメータを設定している。このうち、音声に関する音量パラメータを第一動作パラメータとして設定して、残りの二つの形状及び明るさに関する形状パラメータ及び明度パラメータは第二動作パラメータとして設定している。さらに、生体信号出力装置2では、心電位に基づいて、パラメータ変更部57により動作パラメータの変更が行われる。
このとき、音量パラメータは、心電位の強度情報と所定の閾値との関係に応じて変更されることで、心電位の強度が所定の閾値を上回った際に増加を受けて、音声表示部63から音声が表示されることになる。一方、形状パラメータ及び明度パラメータは、心電位の強度情報に連動して変更されることで、心電位の強度の増加または減少にあわせて増加または減少を受けて、オブジェクトの形状が拡張または縮小し、明るさが増大または減少するよう動作するよう映像が表示される。これにより、オブジェクトの形状と明るさとは、心電位の増加と減少にあわせて、心電図の波形のごとく直接的に変化する。これに対して、オブジェクトが発する音声は、所定の閾値を上回った場合にのみ発せられる。
検体から取得される生体信号は通常、変動を伴うため、生体信号の強度情報をそのまま使用して動作パラメータの変更を行った場合には、心電位の動きは目まぐるしく変化する。このため、生体信号を直接可視化した場合には、オブジェクトも小刻みに激しく動作するようになる。このようなオブジェクトの動作は、本来の生体情報に基づく動作を検体に感受させてバイオフィードバックを行う目的のためには、必ずしも適したふるまいとはいえない。上記の生体信号出力装置2では、信号前処理部56によって得られるR波からなる生体信号を用いることにより、生体信号が滑らかな曲線を描くようになる。
上記の生体信号出力装置2では、ハート型のオブジェクトが発する光の明るさの変化に伴い、オブジェクトの周囲の空間が照らされて、空間の雰囲気も動的に変化する。
[2−4.効果]
(1)上記の生体信号出力装置2では、心電位を生体信号として取得して、心電位の強度情報を反映してオブジェクトの動作が制御される。このとき、オブジェクトの動作を規定する複数のパラメータを、生体信号の強度情報と所定の閾値との関係に応じて変更する第一パラメータと、生体信号の強度情報に連動してパラメータを変更する第二パラメータとに分けて設定している。これにより、心電位の強度情報を直接反映してオブジェクトの形状と明るさとが変化するのに対して、音声については所定の閾値との関係に応じて変化することになる。これにより、生体信号が所定の閾値に対応する状態となっていることを、オブジェクトが発する音声という動作によって強調することが可能となり、オブジェクトの動作にメリハリをつけることができる。したがって、上記の生体信号出力装置2によれば、検体の心電位の変化を、オブジェクトの少なくとも一つの動作を通じて検体に認識しやすい形で明確に表現することが可能となる。
なお、オブジェクトの動作として常に音声を発生させたり、生体信号の強度情報に応じて動的に音声を変化させたりした場合には、耳障りに感じられることがある。上記の生体信号出力装置2では、所定の閾値を上回る際に音量情報を増加させて音声を発生させることで、音声が耳障りに感じられることを防いでいる。
また、例えば心電図のようにして、単に心電位の強度情報の経時変化を波形で表現した場合には、検体の興味を引いて、バイオフィードバックを継続させるよう誘引させるためには弱いといえる。上記の生体信号出力装置2では、心臓の動きをオブジェクトの動作により表現することによって、オブジェクトを感受する検体に興味を持たせて、バイオフィードバックを行うモチベーションを引き起こすことができる。
また、上記の生体信号出力装置2では、ディスプレイ76に表示されるオブジェクトのみならず、表示される空間全体が変化することで、表示画面を見る者が受ける臨場感を高めることができる。
(2)上記の生体信号出力装置2では、生体信号を直接利用した場合にはオブジェクトの変化が激しくなるところを、信号前処理部56によって最大ピークの波形となるR波を抽出してこれに基づいて動作パラメータを変更している。これにより、生体信号が滑らかな曲線を描くようになり、生体信号の強度情報の変化が反映されたオブジェクトの変化も滑らかで落ち着いた動きとなる。したがって、オブジェクトが生体信号の強度情報を直接反映して変化する中に、閾値の前後におけるオブジェクトの動作の変化が相対的に強調されることで、検体に感受させたい部分がオブジェクトの激しい動きに埋もれてしまうことを防止できる。
[2−5.変形例]
上記の第一実施例では、第一動作パラメータとして音量パラメータを設定して、第二動作パラメータとして形状パラメータ及び明度パラメータを設定する場合について説明した。動作パラメータの設定はこれに限定されず、本発明の趣旨を超えない限り適宜変更してもよい。例えば、第一動作パラメータとして形状パラメータを設定して、第二動作パラメータとして明度パラメータを設定してもよい。この場合、心電位が所定の閾値を上回った場合にのみ、ハート型のオブジェクトが拡張するように動作させることができる。これの変形例によれば、オブジェクトの形状変化の動作を通じて、生体信号の変化を強調することができる。
上記の第一実施例では、心電図用電極81を用いて心電位を生体信号として取得する場合について説明した。生体信号検出部12としてイヤホンを用いて、イヤホンを外耳道に挿入することで血管の脈動に伴う皮膚または鼓膜部分の振動によって生じる空気の振動を測定することによって心拍を検出して、心拍を生体信号として取得してもよい。また、パラメータ変更部57が、音量パラメータの変更にはイヤホンを用いて取得された心拍の情報を用いて、形状パラメータ及び明度パラメータの変更には心電図用電極81を用いて取得された心電位の情報を用いるようにしてもよい。
[3.第二実施例]
本発明の第二実施例について、図11〜図21を参照して説明する。この第二実施例は、一部の構成が上述の実施形態に係る生体信号出力装置1及び第一実施例に係る生体信号出力装置2の構成と同様に構成されている。したがって、上述の生体信号出力装置1,2と同様の部分については説明を省略し、同符号を用いて説明する。以下、第二実施例の説明においては、第二実施例を、単に本実施例とも称する。
[3−1.構成]
図11を参照しながら、本実施例に係る生体信号出力装置3の構成について説明する。図11は、本実施例に係る生体信号出力装置3のハードウェア構成例を示すブロック図である。図11に示すように、本実施例に係る生体信号出力装置3は、生体信号検出部12として、圧力センサ82を備える。また、生体信号出力装置3は、映像表示部62として機能するHMD83を備える。具体的には、HMD83として、両眼非透過型のヘッドマウントディスプレイである、Oculus DK2を使用した。
<生体信号取得部>
圧力センサ82として、FSR400(Interlink Electronics Inc.製)を用いた。FSR400は、高分子圧膜素子を有しており、加えられる圧力量に応じて抵抗値が低下する。圧力センサ82の検体への装着と吸気量の測定について、図12を参照して説明する。図12(a)に示すように、圧力センサ82は、ゴム部材202と対向するようにして、環状のベルト部材203aの内側に取り付けられる。さらにベルト部材203aは、その両端を一回り大きなベルト部材203bによって連結される。ベルト部材203a及びベルト部材203bよりなるベルト203は、検体201の胸部回りを一周して巻きつけるように装着される。
図12(a),図12(b)に示すように、検体201の鳩尾部分に圧力センサ82及びゴム部材202が位置するようにして、ベルト203を検体201の胸部に装着する。図12(a)では呼気時の状態を示し、図12(b)では吸気時の状態を示している。検体201が息を吸う際には横隔膜が下がり、肋骨が上がることで肺に空気を吸い込む。反対に息を吐く際には横隔膜が上がり、肋骨が下がることで肺から空気が押し出す。この繰り返しによって検体201は呼吸を行っている。
図12(b)に示すように、検体201が息を吸う際に、胸郭が矢印211,212,213で示すように外側に向けて膨らむ。胸郭の拡張に伴い、ベルト203には矢印214,215で示すように、ベルト部材203aの両端に外側へ向けた力が加わり、ベルト部材203aが横方向に変形する。胸郭の拡張及びベルト部材203aの変形によって、矢印212,216で示すように、圧力センサ82とゴム部材202とが接触する向きに力が加わる。これにより、圧力センサ82の抵抗及び電圧が変化する。このようにして、圧力センサ82により電圧値の変化を測定することによって、検体の呼吸の深さ、すなわち呼吸に伴う吸気量を生体信号として取得する。
<信号通信部>
本実施例の生体信号出力装置3では、第一実施例の生体信号出力装置2と同様に、信号通信部21として機能するワンボードマイコン73として、Arduino Unoを用いている。また、本実施例では、ゲームエンジンとしてUnityを使用する。また、本実施例では、上述の図6及び表1を参照して説明したプロトコルを使用している。
<情報処理装置>
本実施例の情報処理装置31では、デコード部54が、データ受信部41によって受信したデータを上述のプロトコルに基づいてデコードを行う。デコードによって、吸気量の経時変化を示すデータが得られる、
本実施例の情報処理装置31では、デコードされた吸気量のデータに対してキャリブレーションを行う。キャリブレーション時には、HMD83のピント調整と、胸囲変化による電圧変化の最大値・最小値の取得とを行う。ピントの調整では、図13に示すように、装着者の視点の位置を中心として、全方向に一定の数の立方体が出現する空間を利用する。各々の立方体にはアルファベットが表示されている。ピントの調整は、この空間をHMD83のディスプレイに表示して、立方体に表示されたアルファベットを、HMD83を装着した検体が読むことで行う。次に、正面の立方体を注視した状態で胸囲変化による電圧変化の最大値及び最小値を取得する。この最大値及び最小値を基にして、呼吸に伴う胸囲変化に由来する吸気量を0から1の値に正規化した値を信号処理に使用する。
本実施例では、信号前処理部56として、生体信号の強度情報分布において中央部の強度情報の変動が周辺部の強度情報の変動よりも大きくなるよう、生体信号を非線形変換する信号変換手段を備える。まず、信号変換手段では、キャリブレーションによって得られた最大値及び最小値を基にして、息を最も吐いている状態の吸気量を0、最も吸っている状態の吸気量を1として、生体信号の強度情報の正規化を行う。さらに、正規化された吸気量(呼吸値)を、シグモイド関数を用いて非線形変換を行う。変換加工後の呼吸値を図14に示す。図14では、横軸が変換前の呼吸値を示し、縦軸の値が変換加工後の呼吸値を示す。これにより、生体信号は、吸気量の変化に緩急が付けられた情報に加工される。
本実施例の生体信号出力装置3では、モデル作成部52は、球状の3次元モデルをオブジェクトの3次元モデルとして作成する。仮想空間作成部51は、図15に示すように、四方の壁と天井と床とによって囲まれた空間であって、空間の内部に段差やオブジェクトが配置された空間を用いて、さらにこの空間を暗くした3次元空間を作成する。仮想空間作成部51で作成した3次元の仮想空間に、モデル作成部52で作成したオブジェクトの3次元モデルを配置した状態を表すのが、図16,図17である。この3次元の仮想空間の中心の位置は、映像表示部62に映像を表示する際の視点の位置となっている。
パラメータ設定部53は、上述の球状の3次元モデルの動作パラメータを設定する。本実施例では、第一動作パラメータとして、オブジェクトが移動する向きに受ける力の大きさを示す外力パラメータを有する。また、第二動作パラメータとして、オブジェクトが移動方向を転換するまでの時間の長さを示す方向有効時間パラメータ、及びオブジェクトの明るさを示す明度パラメータを有する。また、第三動作パラメータとして、オブジェクトが配置される初期位置を示す初期位置パラメータ、オブジェクトが移動する向きを示す移動方向パラメータ、オブジェクトが外力の受ける時間の長さを示す外力有効時間パラメータ、及びオブジェクトが現在位置から仮想空間における視点の位置の方向に向けて受ける力の割合を示す自己位置帰還率パラメータを有する。すなわち、第一パラメータ設定部91は、外力パラメータを設定する。第二パラメータ設定部92は、方向有効時間パラメータ、及び明度パラメータを設定する。第三パラメータ設定部93は、初期位置パラメータ、移動方向パラメータ、外力有効時間パラメータ、及び自己位置帰還率パラメータを設定する。
本実施例に係る球状のオブジェクトの動作は、ホタル(蛍)の動きを再現すると共に、このホタルの動きに検体の吸気量を反映させるものである。現実に近いホタルの動きを再現するために必要となるのは、球状のオブジェクトの「光り方」と「動き」の2種類である。まず、光り方について再現する方法を述べて、その後に動きについて述べる。
ホタルの集団を見ると、大体のところ0.5秒間隔くらいで発光を繰り返す。さらには集団で規則的に発光するのではなく、個々の個体がランダムに発光している。ホタルの光り方を再現するためには、一例として、図18のグラフに示すように1周期のSin波の絶対値を取った値を用いて、オブジェクトが発する光の強さの振幅を調整する方法が挙げられる。図18では、横軸はFrame数を示している。これは、オブジェクト表示の再描画速度を60FPS(Frame Per Second)に設定したためである。すなわち、横軸の0〜60Frameは、0〜1秒の間隔に相当する。
本実施例では、ホタルの光り方に近づけるために、個々のオブジェクトに明度パラメータを設定した。明度パラメータは、オブジェクトが発する光の強さを示すものであり、オブジェクトから発せられる光を光源として、仮想空間に存在する他のオブジェクトが照らされる。明度パラメータは、動作パラメータとしては、光の強さが0であって、光を発しないようになっている。後述するように、明度パラメータは、パラメータ変更部57によって、非線形変換を受けた生体信号に基づいて、明るさが増加して光を発するように変更を受ける。
本実施例では、ホタルの動きを再現するために、上述の通り、オブジェクトの動きに関する、(1)初期位置、(2)自己位置帰還率、(3)方向有効時間、(4)移動方向、(5)外力、及び(6)外力有効時間の6つのパラメータを個々のオブジェクトに設定した。6つのパラメータは3次元の仮想空間に配置する複数のオブジェクトに対して、それぞれ設定している。オブジェクトの表示を開始する際の動作パラメータの初期設定時に、(1)初期位置、(2)自己位置帰還率、(3)方向有効時間を決定する。この3つのパラメータは表示が完了してプログラムが終了するまで更新されない。一方、動作パラメータの初期設定時に、(4)移動方向、(5)外力、(6)外力有効時間を決定するが、この3つのパラメータは指定時間が来る度に更新される。
(1)初期位置パラメータは、仮想空間作成部51で作成した3次元の仮想空間において、オブジェクトが配置される初期位置を示す値である。初期位置パラメータは、3次元の仮想空間の内部にある指定空間内の座標(x,y,z)が、一様乱数によって決定される。本実施例では、乱数はUnityで用意されているライブラリを使用して生成している。以下に説明する乱数の生成も同様に行っている。
(2)自己位置帰還率パラメータは、オブジェクトが自己の現在位置から仮想空間作成部51で作成した3次元の仮想空間の中心方向への戻る力をどの程度受けるかを規定する値である。すなわち、3次元の仮想空間の視点の位置の方向へ戻る力の割合を示す値である。このパラメータは、動きが何かの法則に縛られているように見えることがないように、オブジェクトを空間内に満遍なく存在させるために導入したものである。自己位置帰還率パラメータは、0から1までの値を取り、一様乱数の積によって分布させる。これによりオブジェクトの動きを自然に見せることができる。このとき生成される値の分布を図19に示す。図19では、横軸に自己位置帰還率パラメータの値を、縦軸に出現個数を示している。
(3)方向有効時間パラメータは、移動方向パラメータ及び自己位置帰還率パラメータによって規定されるオブジェクトが移動する方向を転換するまでの時間の長さを示す値である。方向有効時間が経過すると、移動方向パラメータが更新されて、オブジェクトに加わる外力の方向が変化する。方向有効時間パラメータは、3秒から6秒の間に一様乱数によって分布させている。この方向有効時間パラメータの分布は、緩やかに動いているホタルの方向転換する間隔を観察して設定したものである。
(4)移動方向パラメータは、オブジェクトが移動する向きを規定するものである。移動方向パラメータは、座標(x,y,z)を一様乱数によって決定し、現在位置からこの座標(x,y,z)へ向かう単位ベクトルと、自己位置帰還率パラメータの値により規定される大きさを有する視点の位置の方向へのベクトルとを足し合わせたベクトルの向きにより決定される。移動方向パラメータは、方向有効時間が経過するたびに更新される。これによって、オブジェクトは緩やかにランダムな向きへの動きをするようになるとともに、自己位置帰還率パラメータがあわさることでオブジェクトが発散してしまうことが防止される。
(5)外力パラメータは、移動方向パラメータによって決定される方向へオブジェクトに加える力の強さを規定するものである。外力パラメータは、一様乱数によって決定された0から1の値を18乗し、60をかけて算出する。算出される値は、図20のように示される。図20では、横軸に一様乱数の値を示し、縦軸に外力の値を示している。外力パラメータには、一様乱数の値に応じた外力の値が設定される。なお、質量は全てのオブジェクトで1kgに設定されており、外力パラメータにより規定される力は、オブジェクトの加速度にあたる。
(6)外力有効時間パラメータは、外力パラメータによって規定される外力をオブジェクトが受ける時間の長さを規定するものである。外力有効時間が経過すると、外力パラメータが更新されて、オブジェクトに加わる外力の大きさが変化する。外力有効時間パラメータは、1秒から10秒の間で一様乱数によって決定される。また、外力有効時間パラメータは、外力有効時間が切れる度に更新される。これによりオブジェクトのスピードの加減速にゆらぎを持たせている。
上述したように、球状の3次元モデルの動作パラメータが設定されており、オブジェクトはそれぞれの動作パラメータに基づいて動作する。オブジェクトは、仮に動作パラメータが変更されない場合には、オブジェクトは光を発しないよう規定されている。また、オブジェクトは、初期位置パラメータによって規定される初期位置から、移動方向パラメータと自己位置帰還率パラメータとによって決定される方向に向けて、外力パラメータによって規定される大きさの外力(加速度)が加わることで仮想空間内を移動する。また、方向有効時間パラメータによって規定される時間を経過する度に、移動方向パラメータの更新により外力が加わる向きが変化する。また、外力有効時間パラメータによって規定される時間を経過する度に、外力パラメータの更新によりオブジェクトの加速度が変化するとともに、外力有効時間パラメータが更新される。
パラメータ変更部57は、信号前処理部56によって正規化と非線形変換を受けた吸気量からなる生体信号の強度情報に基づいて、外力パラメータ、方向有効時間パラメータ、及び明度パラメータを変更する。
このとき、第一動作パラメータである外力パラメータについては、第一パラメータ変更部94は、生体信号の強度情報が所定の閾値を上回る際に外力パラメータを増加させて、生体信号の強度情報が所定の閾値を下回る際に外力パラメータを減少させるように変更して、第一変更パラメータを出力する。より具体的には、生体信号の強度情報が所定の閾値を上回る際には、外力パラメータを増加させることで、オブジェクトの加速度が増加して、動きが早くなるようにする。一方、生体信号の強度情報が所定の閾値を下回る際には、外力パラメータを減少させることで、オブジェクトの加速度が減少して、動きが遅くなるようにする。なお、本実施例の所定の閾値とは、吸気量の中心点の値である。すなわち、キャリブレーションで取得した、呼吸に伴う胸囲変化による電圧値の最大値と最小値との中心点を用いている。電圧値は0から1の値に正規化していることから、中心点の値は0.5となる。
第二動作パラメータである方向有効時間パラメータ及び明度パラメータについては、第二パラメータ変更部95は、生体信号の強度情報に応じて、方向有効時間パラメータ及び明度パラメータを連動して変更して、第二変更パラメータを出力する。より具体的には、吸気量が増加するにつれて、方向有効時間パラメータを減少させることで、オブジェクトの方向転換がこまめに行われるようになる。一方、吸気量が減少するにつれて、方向有効時間パラメータを増加させることで、オブジェクトの方向転換がまれに行われるようになる。また、吸気量が増加するにつれて、明度パラメータを増加させることで、オブジェクトの明るさが増大して、オブジェクトが発する光が強くなる。吸気量が減少するにつれて、明度パラメータを減少させることで、オブジェクトの明るさが減少して、オブジェクトが発する光が弱くなる。
このように、息を吐くことで吸気量が減少して、正規化された生体信号の値が0になる場合のオブジェクト及び仮想空間の状態を表すのが図17であり、オブジェクト及び周囲が何も見えないほど真っ暗となっている。これに対して、息を吸うことで吸気量が増加して、最も息を吸って正規化された生体信号の値が1になる場合のオブジェクト及び仮想空間の状態を表すのが図16であり、オブジェクトが発光して周囲が照らし出されている。
動作制御部58は、第一パラメータ変更部94が出力する上述した外力パラメータの第一変更パラメータ、第二パラメータ変更部95が出力する方向有効時間パラメータ及び明度パラメータの第二変更パラメータ、並びに初期位置パラメータ、移動方向パラメータ、外力有効時間パラメータ、及び自己位置帰還率パラメータに基づいて、オブジェクトの動作を制御する。さらに、動作制御部58は、オブジェクトの動作を制御して得られた映像信号を出力する。このとき、パラメータ設定部53は、複数のオブジェクトそれぞれについて動作パラメータを設定して、パラメータ変更部57は、複数の該ブジェクトそれぞれについての第一動作パラメータ及び第二動作パラメータを変更している。さらに、動作制御部58は、複数のオブジェクトを、それぞれの第一変更パラメータ、第二変更パラメータ、及び第三動作パラメータに基づいて動作を制御している。
信号出力部59は、動作制御部58でオブジェクトの動作を制御して得られた映像信号をHMD83に出力する。
HMD83は、映像信号に基づいて、仮想空間に配置されるオブジェクトの表示を行う。検体は、HMD83に設けられた両眼それぞれに対応するディスプレイに表示されるオブジェクトを見て、立体視を行うことができる。このとき、HMD83は検体の頭部の動きをトラッキングして、トラッキングに関する情報を情報処理装置31に出力する。信号出力部59は、トラッキングに関する情報に基づいて、検体の頭部の動きに合わせて視界の向きを変化させた映像信号を出力する。
[3−2.動作]
以下、図21に示すフローチャート(ステップS301〜S326)を参照しながら、本実施例に係る生体信号出力装置3による処理や動作について説明する。なお、生体信号出力装置3では複数のオブジェクトについて、それぞれの動作パラメータ及び変更パラメータに基づいて動作の制御と表示を行うものである。ここでは、一つのオブジェクトの動作の制御と表示を行う場合について例を挙げて説明を行うが、他の複数のオブジェクトについても同様に、並列して動作の制御と表示を行う。
<仮想環境の構築>
仮想空間作成部51は、記憶部43から3次元空間のモデルデータを読み出して、このモデルデータに基づいて図15を参照して説明した3次元の仮想空間を作成する(ステップS301)。
モデル作成部52は、記憶部43から球状の3次元モデルのモデルデータを読み出して、このモデルデータに基づいてオブジェクトの3次元モデルを作成する(ステップS302)。
パラメータ設定部53は、記憶部43から外力パラメータ、方向有効時間パラメータ、明度パラメータ、初期位置パラメータ、移動方向パラメータ、外力有効時間パラメータ、及び自己位置帰還率パラメータを読み出して、これらをオブジェクトの動作パラメータとして設定する(ステップS303)。このとき、第一パラメータ設定部91は、第一動作パラメータとして外力パラメータを設定する。第二パラメータ設定部92は、第二動作パラメータとして方向有効時間パラメータ及び明度パラメータを設定する。第三パラメータ設定部93は、第三動作パラメータとして初期位置パラメータ、移動方向パラメータ、外力有効時間パラメータ、及び自己位置帰還率パラメータを設定する。
HMD83を用いてキャリブレーションを行い、電圧変化の最大値及び最小値を取得する(ステップS304)。なお、キャリブレーションでは、後述するステップS305〜S312と同様のステップにより生体信号の取得と一連の変換処理が行われるが、ステップS305〜S312と同様に処理を行うことができるためにここでは説明を省略する。
<生体信号の取得>
生体信号検出部12は、圧力センサ82により電圧値の変化を測定することによって、検体から強度情報を含む吸気量を生体信号として取得する(ステップS305)。
信号増幅部13は、生体信号検出部12で取得した生体信号を増幅する(ステップS306)。さらに、信号増幅部13は、増幅した生体信号を信号通信部21に出力する。
A/D変換部22は、信号増幅部13で増幅した生体信号をデジタルデータに変換する(ステップS307)。
エンコード部23は、A/D変換部22で変換された生体信号のデジタルデータを、図6及び表1を参照して説明したプロトコルによりエンコードを行う(ステップ308)。
データ送信部24は、エンコード部23でエンコードされた生体信号を、情報処理装置31に出力する(ステップS309)。
データ受信部41は、データ送信部24から出力された生体信号を受信する(ステップS310)。データ受信部41により受信された生体信号のデータは、信号処理部42に出力される。
デコード部54は、データ受信部41から出力された生体信号のデータを、図6及び表1を参照して説明したプロトコルによりデコードを行う(ステップS311)。
LPF部55は、デコード部54でデコードされた生体信号に対してLPF処理を施して、ノイズ成分の緩和を行う(ステップS312)。
信号前処理部56は、LPF部55でLPF処理を施された生体信号に対して、正規化とシグモイド曲線を用いた非線形変換を行う(ステップS313)。
<オブジェクトの動作の制御>
パラメータ設定部53は、方向有効時間パラメータを設定した時間、または前回の移動方向パラメータを更新した時間と現在の時間とを比較して、方向有効時間パラメータにより規定された方向有効時間の時間内であるかどうかを判定する(ステップS314)。方向有効時間の時間内であれば、ステップS316に進む、一方、方向有効時間を超えた場合には、ステップS315に進む。
ステップS315では、第三パラメータ設定部93は、移動方向パラメータの更新を行う。
ステップS316では、パラメータ設定部53は、外力有効時間パラメータを設定した時間、または前回の外力パラメータを更新した時間と現在の時間とを比較して、外力有効時間パラメータにより規定された外力有効時間の時間内であるかどうかを判定する。外力有効時間の時間内であれば、ステップS319に進む、一方、外力有効時間を超えた場合には、ステップS317に進む。
ステップS317では、第一パラメータ設定部91は、外力パラメータの更新を行う。
さらに、ステップS318では、第三パラメータ設定部93は、外力有効時間パラメータの更新を行う。
ステップS319では、パラメータ変更部57は、記憶部43から閾値と操作関数を読み込み、ステップS313で非線形変換された生体信号の強度が閾値より大きいか否かを判定する。生体信号の強度が閾値より大きければステップS320に進む。一方、生体信号の強度が閾値以下であればステップS321に進む。
ステップS320では、第一パラメータ変更部94は、ステップS303で初期設定された、またはステップS317で更新された外力パラメータを増加させるよう変更して、外力パラメータの第一変更パラメータを得る。
ステップS321では、第一パラメータ変更部94は、ステップS303で初期設定された、またはステップS317で更新された外力パラメータを減少させるよう変更して、外力パラメータの第一変更パラメータを得る。
続いて、第二パラメータ変更部95は、ステップS303で初期設定された方向有効時間パラメータ、及びステップS303で設定された明度パラメータを変更する(ステップS322)。ここでは、生体信号の強度と所定の閾値との関係に関わらず、生体信号の強度に連動して方向有効時間パラメータ及び明度パラメータを変更して、方向有効時間パラメータ及び明度パラメータそれぞれの第二変更パラメータを得る。
動作制御部58は、ステップS302で作成した球状のオブジェクトの3次元モデルを、ステップS301で作成した3次元の仮想空間に配置して、オブジェクトを動作させる(ステップS323)。このとき、動作制御部58は、ステップS320またはステップS321で得られた外力パラメータの第一変更パラメータ、ステップS322で得られた方向有効時間パラメータ及び明度パラメータそれぞれの第二変更パラメータ、並びにステップS303で設定された初期位置パラメータ、自己位置帰還率パラメータ、及びステップS303で設定された移動方向パラメータ、もしくは外力有効時間パラメータ、またはステップ315,S318で更新された移動方向パラメータ、もしくは外力有効時間パラメータに基づいて、オブジェクトの動作を制御する。
信号出力部59は、HMD83へ、ステップS323で動作を制御されたオブジェクトの動作を表す映像信号の出力を行う(ステップS324)。
HMD83は、ステップS323で動作を制御されたオブジェクトの映像の表示を行う(ステップS325)。
ステップS326では、動作制御部58が、処理の終了を指示する操作が行われたか否かを判定する。処理の終了を指示する操作が行われていない場合には、ステップS305に戻り、ステップS305〜S325の処理を、処理を終了する指示がなされるまで行う。
[3−3.作用]
上記の生体信号出力装置3では、初期位置パラメータ、移動方向パラメータ、及び自己位置帰還率パラメータを設定している。このうち、初期位置パラメータによってオブジェクトが仮想空間の内部に一様に初期配置される。さらに、オブジェクトの移動方向は、移動方向パラメータと自己位置帰還率パラメータによって、方向有効時間が切れる度に更新されるランダムな向きに、視点方向への向きが合わさった方向となる。これにより、オブジェクトが配置される仮想空間と視点の位置との関係から、オブジェクトが視点の位置から離れすぎないようにした位置関係を保つことが可能とになり、且つオブジェクトが視点の全方向に配置されるように調整される。
また、上記の生体信号出力装置3では、外力パラメータ、方向有効時間パラメータ、及び外力有効時間パラメータを設定している。上述した移動方向パラメータと自己位置帰還率パラメータとによって定まる方向に向けて、外力パラメータによって規定される加速度を受けて、オブジェクトが移動する。このとき、オブジェクトの移動する向きは、方向有効時間が切れる度に変化する。また、オブジェクトの加速度は外力有効時間が切れる度に変化して、さらに外力有効時間自体も外力有効時間が切れる度に変化することで、オブジェクトのスピードの加減速にゆらぎが生じる。このようにオブジェクトの移動は、オブジェクトが移動する方向と加速度がパラメータの更新の度に変化することで、ホタルの動きを再現したよう動作をみせることになる。
さらに、上記の生体信号出力装置3では、外力パラメータが第一動作パラメータであって、吸気量の強度情報と所定の閾値との関係に応じて、外力パラメータを変更している。また、方向有効時間パラメータは第二動作パラメータであって、吸気量の強度情報に連動して方向有効時間パラメータを変更している。これにより、オブジェクトは、ホタルの動きを再現したように移動すると共に、吸気量の変化が反映されて動きが変化することになる。このとき、オブジェクトの動きは吸気量に完全に連動するわけではなく、設定した閾値を上回ると外力パラメータを大きくし、下回ると外力パラメータを小さくしている。これによって、オブジェクトの加速度は、所定の閾値に応じて変化することで、吸気量に応じて、大きい動きとなるか、小さい動きとなるかの二面性が表れることになる。また、吸気量が増加するにつれて方向有効時間パラメータを減少させている。これによって、吸気量が増加した場合にはオブジェクトの方向転換がこまめに行われるようになることで、外力が大きくなる場合でも仮想空間の壁に激突することを抑えることができる。また、外力パラメータと方向有効時間パラメータとの変更により、オブジェクトの動きに躍動感を与えることができる。
また、上記の生体信号出力装置3では、第二動作パラメータとして明度パラメータを設定して、吸気量の強度情報に連動して明度パラメータを変更している。ここで、ホタルの光り方は、図18を参照して説明したように、Sin波を変形した波形を利用することでも再現することができる。一方で、検体から取得される生体信号をそのまま反映してオブジェクトの光の強さを変更しようとした場合には、生体信号にはホタルの光を再現して自然な空間を表現する上で中間の状態は少ないことが問題となる。例えば吸気量の場合には、立ち上がりの上昇量が大きく、ピーク部分の占める割合が大きいため、吸った状態と吐いた状態との中間的な状態での吸気量の変化が不足している。本実施例では、図14を参照して説明したように、吸気量に対してシグモイド関数を用いて非線形変換を行っている。これにより、非線形変換後の生体信号は、吸った状態と吐いた状態との中央部の強度情報の変動が、周辺部の強度情報の変動よりも大きくなることで、オブジェクトが消灯した状態と点灯した状態とで、ホタルの光の変化のような中間の状態を表現可能となっている。また、明度パラメータにあわせて、動作パラメータについても非線形変換後の生体信号を用いて変更を行うことで、消灯して動かない状態と点灯して動く状態とにメリハリが生じている。
[3−4.効果]
(1)上記の生体信号出力装置3では、吸気量を生体信号として取得して、吸気量の強度情報を反映してオブジェクトの動作が制御される。このとき、オブジェクトの動作を規定する、外力パラメータ、方向有効時間パラメータ、明度パラメータ、初期位置パラメータ、移動方向パラメータ、外力有効時間パラメータ、及び自己位置帰還率パラメータを規定している。これらの動作パラメータにより、ホタルが動くような、法則性を見つけることができない自然な動作表現をオブジェクトに行わせることが可能となる。さらには、外力パラメータ、方向有効時間パラメータ、明度パラメータがパラメータ変更部57によって変更を受けることで、オブジェクトの自然な動作表現の中に検体の呼吸を反映することができる。中でも、オブジェクトの加速度を表す外力パラメータを、生体信号の強度情報と所定の閾値との関係に応じて変更することによって、基本的には動きが抑えられて、動く時には大きく動くことで、吸気量を反映させるとともに、生物らしい動きを演出することが可能となった。これにより、検体がオブジェクトを眺めることによって得られる没入感を向上させることができる。没入感の向上は検体の意識をオブジェクトに向かわせることに有効であり、自律神経系機能の調整に与える正のフィードバックへの視覚的な影響に寄与する。さらには呼吸の調整に伴う自律神経系のコントロールによって、例えば、神経の高ぶりを抑え、またはこれに留まらず、血圧の調整やホルモン分泌の調整等の生体機能の調整も可能になることが期待される。
また、上記の生体信号出力装置3では、オブジェクトの初期配置位置を設定して、移動方向と自己位置帰還率とによって決定される方向に向けて、オブジェクトが受ける外力によってオブジェクトの動きを規定している。さらに、方向有効時間と外力有効時間とによって、方向と外力を受ける時間の長さを規定している。ここで、オブジェクトの動作を規定するためには、例えば空間内の位置やオブジェクトの存在量に基づいて、オブジェクトの空間分散量に基づいてオブジェクトの動く位置を制御する方法も考えられる。生体信号出力装置3によれば、上記の動作パラメータに基づいて動作を制御することによって、オブジェクトの動く方向と加速度と動く時間が決定されることにより、ホタルのような動きをヒューリスティックに表現することができる。また、生体信号出力装置3によれば、上記の動作パラメータに基づいて動作を制御することによって、オブジェクトが配置される仮想空間と視点との関係から、オブジェクトが視点の全方向に配置されるように調整される。よって、生命体の動きや光が変化する空間を、検体の眼前に構築することができる。
ヨガ、ストレッチ、フィットネス等の運動を行うことが健康増進に貢献するとされている。しかしながら、例えば「ヨガを2時間以上やると健康に良いですよ。」とアドバイスを受けても、継続して実行できる人は多くは無い。このように、自発的に自立呼吸の調整を継続して行うことは、実際に行おうとすると困難である場合が多い。そこで、上記の生体信号出力装置3によれば、検体の吸気量を反映したオブジェクトを表示して、このオブジェクトを検体が見ているだけで自立呼吸の調整が促進されることになる。したがって、検体に負担をかけることなく、健康維持に貢献することができる。生体信号出力装置3は、このような、「楽しみながら呼吸調整ができる」ことに役立つものである。
(2)上記の生体信号出力装置3では、オブジェクトを複数表示する場合について、それぞれのオブジェクトをそれぞれのパラメータに基づいて動作させることを規定している。これにより、複数のオブジェクト全体の行動パターンとして、本物のホタルのように動作が行われることで、より生物らしさを演出することができる。
(3)吸気量を測定したままの状態では中間の状態が少ないために、吸気量をそのままオブジェクトの動作に反映しようとすると、自然な空間を表現する上での変化が乏しくなる。上記の生体信号出力装置3では、非線形変換によって、オブジェクトの動作にメリハリをつけるとともに、ホタルのごとく自然な動作を表現することができる。
[3−5.変形例]
上記の第二実施例では、第一動作パラメータとして外力パラメータを、第二動作パラメータとして方向有効時間パラメータ及び明度パラメータを、第三動作パラメータとして初期位置パラメータ、移動方向パラメータ、外力有効時間パラメータ、及び自己位置帰還率パラメータを設定する場合について説明した。動作パラメータの設定はこれに限定されず、本発明の趣旨を超えない限り適宜変更してもよい。
上記の実施例では、生体信号の強度情報に基づいて動作パラメータを変更して、変更パラメータに基づいてオブジェクトの動作を制御する場合について説明した。オブジェクトの動作の制御はこれに限定されず、動作制御部58は、生体信号の強度情報が所定の閾値を上回るかまたは下回る場合に、動作パラメータとは別に、オブジェクトの動作を変化させてもよい。例えば、吸気量が閾値を下回る際に、一度だけオブジェクトの速度を0.2倍するように変化させてもよい。オブジェクトが十分な速度で移動している場合には、外力パラメータが減少して加速度が低下しても、オブジェクトの移動速度に与える影響が小さくなる場合がある。本変形例によれば、このようなパラメータによる制御だけではオブジェクトの動作への変化が十分に反映されない場合に、生体信号に基づいて直接的にオブジェクトの動作を制御することが可能となる。
上記の実施例では、複数のオブジェクトについて、それぞれの動作パラメータ及び変更パラメータに基づいて動作の制御と表示を行う場合について説明した。複数のオブジェクトの動作の制御を行うにあたっては、パラメータ変更部57に入力される生体信号を、オブジェクトによって異なるようにして割り当ててもよい。例えば、あるオブジェクトについては最新の生体信号を用いて、別のオブジェクトについては1秒前の生体信号を用いて、さらに別のオブジェクトについては2秒前の生体信号を用いるようにして、生体信号の時間軸を異なるようにさせることができる。この変形例によれば、オブジェクトそれぞれが利用する生体信号にばらつきが生じることで、よりランダム性が増した動作を表現することができる。
[4.付記]
以上の実施形態に関し、さらに以下の付記を開示する。
(付記1)
コンピュータを、
検体から検出された生体信号に基づいて該オブジェクトの動作を制御する動作制御手段と、
該動作制御手段で動作を制御された該オブジェクトの動作を表す信号を出力する信号出力手段として機能させ、
該動作制御手段は、該生体信号の強度情報と所定の閾値との関係に応じて該オブジェクトの動作を変化させる手段として構成される
ことを特徴とする生体信号出力プログラム。
(付記2)
該コンピュータを、
該オブジェクトの動作を規定する動作パラメータを設定するパラメータ設定手段と、
該生体信号に基づいて、該動作パラメータを変更するパラメータ変更手段として機能させ、
該パラメータ設定手段は、該パラメータ変更手段により変更を受ける第一動作パラメータを設定する第一パラメータ設定手段を有し、
該パラメータ変更手段は、該生体信号の強度情報と所定の閾値との関係に応じて該第一動作パラメータを変更して第一変更パラメータを出力する第一パラメータ変更手段を有し、
該動作制御手段は、該第一変更パラメータに基づいて該オブジェクトの動作を制御する手段として構成される
ことを特徴とする付記1に記載の生体信号出力プログラム。
(付記3)
該パラメータ設定手段は、該パラメータ変更手段により変更を受ける第二動作パラメータを設定する第二パラメータ設定手段を有し、
該パラメータ変更手段は、該生体信号の強度情報と所定の閾値との関係に関わらず該第二動作パラメータを変更して第二変更パラメータを出力する第二パラメータ変更手段を有し、
該動作制御手段は、該第一変更パラメータ及び該第二変更パラメータに基づいて該オブジェクトの動作を制御する手段として構成される
ことを特徴とする付記2に記載の生体信号出力プログラム。
(付記4)
該パラメータ設定手段は、該パラメータ変更手段により変更を受けない第三動作パラメータを設定する第三パラメータ設定手段を有し、
該動作制御手段は、該第一変更パラメータ、該第二変更パラメータ、及び該第三動作パラメータに基づいて該オブジェクトの動作を制御する手段として構成される
ことを特徴とする付記3に記載の生体信号出力プログラム。
(付記5)
該コンピュータを、
3次元の仮想空間を作成する仮想空間作成手段と、
該オブジェクトの3次元モデルを作成するモデル作成手段として機能させ、
該動作制御手段は、該3次元モデルを該仮想空間に配置して動作させる手段として構成される
ことを特徴とする付記1〜4のいずれか1項に記載の生体信号出力プログラム。
(付記6)
コンピュータを、
検体から検出された生体信号に基づいて該オブジェクトの動作を制御する動作制御手段と、
該動作制御手段で動作を制御された該オブジェクトの動作を表す信号を出力する信号出力手段として機能させ、
該動作制御手段は、該生体信号の強度情報と所定の閾値との関係に応じて該オブジェクトの動作を変化させる手段として構成される
ことを特徴とする生体信号出力プログラムを記録したコンピュータ読み取り可能な記録媒体。
(付記7)
該コンピュータを、
該オブジェクトの動作を規定する動作パラメータを設定するパラメータ設定手段と、
該生体信号に基づいて、該動作パラメータを変更するパラメータ変更手段として機能させ、
該パラメータ設定手段は、該パラメータ変更手段により変更を受ける第一動作パラメータを設定する第一パラメータ設定手段を有し、
該パラメータ変更手段は、該生体信号の強度情報と所定の閾値との関係に応じて該第一動作パラメータを変更して第一変更パラメータを出力する第一パラメータ変更手段を有し、
該動作制御手段は、該第一変更パラメータに基づいて該オブジェクトの動作を制御する手段として構成される
ことを特徴とする付記6に記載のコンピュータ読み取り可能な記録媒体。
(付記8)
該パラメータ設定手段は、該パラメータ変更手段により変更を受ける第二動作パラメータを設定する第二パラメータ設定手段を有し、
該パラメータ変更手段は、該生体信号の強度情報と所定の閾値との関係に関わらず該第二動作パラメータを変更して第二変更パラメータを出力する第二パラメータ変更手段を有し、
該動作制御手段は、該第一変更パラメータ及び該第二変更パラメータに基づいて該オブジェクトの動作を制御する手段として構成される
ことを特徴とする付記7に記載のコンピュータ読み取り可能な記録媒体。
(付記9)
該パラメータ設定手段は、該パラメータ変更手段により変更を受けない第三動作パラメータを設定する第三パラメータ設定手段を有し、
該動作制御手段は、該第一変更パラメータ、該第二変更パラメータ、及び該第三動作パラメータに基づいて該オブジェクトの動作を制御する手段として構成される
ことを特徴とする付記8に記載のコンピュータ読み取り可能な記録媒体。
(付記10)
該コンピュータを、
3次元の仮想空間を作成する仮想空間作成手段と、
該オブジェクトの3次元モデルを作成するモデル作成手段として機能させ、
該動作制御手段は、該3次元モデルを該仮想空間に配置して動作させる手段として構成される
ことを特徴とする付記6〜9のいずれか1項に記載のコンピュータ読み取り可能な記録媒体。
1,2,3 生体信号出力装置
11 生体信号取得部(生体信号取得手段)
31 情報処理装置
51 仮想空間作成部(仮想空間作成手段)
52 モデル作成部(モデル作成手段)
53 パラメータ設定部(パラメータ設定手段)
56 信号前処理部(信号抽出手段、信号変換手段)
57 パラメータ変更部(パラメータ変更手段)
58 動作制御部(動作制御手段)
59 信号出力部(信号出力手段)
91 第一パラメータ設定部(第一パラメータ設定手段)
92 第二パラメータ設定部(第二パラメータ設定手段)
93 第三パラメータ設定部(第三パラメータ設定手段)
94 第一パラメータ変更部(第一パラメータ変更手段)
95 第二パラメータ変更部(第二パラメータ変更手段)

Claims (7)

  1. 検体から生体信号の強度情報を含む該生体信号を取得する生体信号取得手段と、
    該生体信号取得手段で取得された該生体信号に基づいてオブジェクトの動作を制御する動作制御手段と、
    該動作制御手段で動作を制御された該オブジェクトの動作を表す信号を出力する信号出力手段とを備え、
    該動作制御手段は、該生体信号の強度情報と所定の閾値との関係に応じて該オブジェクトの動作を変化させる手段として構成され
    該オブジェクトの動作を規定する動作パラメータを設定するパラメータ設定手段と、
    該生体信号取得手段で取得された該生体信号に基づいて、該動作パラメータを変更するパラメータ変更手段とを備え、
    該パラメータ設定手段は、該パラメータ変更手段により変更を受ける第一動作パラメータを設定する第一パラメータ設定手段を有し、
    該パラメータ変更手段は、該生体信号の強度情報と所定の閾値との関係に応じて該第一動作パラメータを変更して第一変更パラメータを出力する第一パラメータ変更手段を有し、
    該動作制御手段は、該第一変更パラメータに基づいて該オブジェクトの動作を制御する手段として構成され、
    該パラメータ設定手段は、該パラメータ変更手段により変更を受ける第二動作パラメータを設定する第二パラメータ設定手段を有し、
    該パラメータ変更手段は、該生体信号の強度情報と所定の閾値との関係に関わらず該第二動作パラメータを変更して第二変更パラメータを出力する第二パラメータ変更手段を有し、
    該動作制御手段は、該第一変更パラメータ及び該第二変更パラメータに基づいて該オブジェクトの動作を制御する手段として構成され、
    該生体信号が該検体の心電位であり、
    該第一動作パラメータとして、
    該オブジェクトが発する音声の大きさを示す音量パラメータを有し、
    該第一パラメータ変更手段は、該生体信号の強度情報が所定の閾値を上回る際に該音量パラメータを増加させて、該生体信号の強度情報が所定の閾値を下回る際に該音量パラメータを減少させて、該第一変更パラメータを出力する手段として構成されて、
    該第二動作パラメータとして、
    該オブジェクトの形状を示す形状パラメータ、及び
    該オブジェクトの明るさを示す明度パラメータを有し、
    該第二パラメータ変更手段は、該生体信号の強度情報に応じて該形状パラメータ及び該明度パラメータを変更して、該第二変更パラメータを出力する手段として構成される
    ことを特徴とする生体信号出力装置。
  2. 該生体信号の心電図における最大ピークの波形を抽出する信号抽出手段を備え、
    該パラメータ変更手段は、上記の信号抽出手段によって抽出された該生体信号に基づいて該動作パラメータを変更する手段として構成される
    ことを特徴とする請求項に記載の生体信号出力装置。
  3. 検体から生体信号の強度情報を含む該生体信号を取得する生体信号取得手段と、
    該生体信号取得手段で取得された該生体信号に基づいてオブジェクトの動作を制御する動作制御手段と、
    該動作制御手段で動作を制御された該オブジェクトの動作を表す信号を出力する信号出力手段とを備え、
    該動作制御手段は、該生体信号の強度情報と所定の閾値との関係に応じて該オブジェクトの動作を変化させる手段として構成され、
    該オブジェクトの動作を規定する動作パラメータを設定するパラメータ設定手段と、
    該生体信号取得手段で取得された該生体信号に基づいて、該動作パラメータを変更するパラメータ変更手段とを備え、
    該パラメータ設定手段は、該パラメータ変更手段により変更を受ける第一動作パラメータを設定する第一パラメータ設定手段を有し、
    該パラメータ変更手段は、該生体信号の強度情報と所定の閾値との関係に応じて該第一動作パラメータを変更して第一変更パラメータを出力する第一パラメータ変更手段を有し、
    該動作制御手段は、該第一変更パラメータに基づいて該オブジェクトの動作を制御する手段として構成され、
    該パラメータ設定手段は、該パラメータ変更手段により変更を受ける第二動作パラメータを設定する第二パラメータ設定手段を有し、
    該パラメータ変更手段は、該生体信号の強度情報と所定の閾値との関係に関わらず該第二動作パラメータを変更して第二変更パラメータを出力する第二パラメータ変更手段を有し、
    該動作制御手段は、該第一変更パラメータ及び該第二変更パラメータに基づいて該オブジェクトの動作を制御する手段として構成され、
    該パラメータ設定手段は、該パラメータ変更手段により変更を受けない第三動作パラメータを設定する第三パラメータ設定手段を有し、
    該動作制御手段は、該第一変更パラメータ、該第二変更パラメータ、及び該第三動作パラメータに基づいて該オブジェクトの動作を制御する手段として構成され、
    該生体信号が該検体の吸気量であり、
    該第一動作パラメータとして、
    該オブジェクトが移動する向きに受ける力の大きさを示す外力パラメータを有し、
    該第一パラメータ変更手段は、該生体信号の強度情報が所定の閾値を上回る際に該外力パラメータを増加させて、該生体信号の強度情報が所定の閾値を下回る際に該外力パラメータを減少させて、該第一変更パラメータを出力する手段として構成されて、
    該第二動作パラメータとして、
    該オブジェクトが該移動方向を転換するまでの時間の長さを示す方向有効時間パラメータ、及び
    該オブジェクトの明るさを示す明度パラメータを有し、
    該第二パラメータ変更手段は、該生体信号の強度情報に応じて該方向有効時間パラメータ及び該明度パラメータを変更して、該第二変更パラメータを出力する手段として構成されて、
    該第三動作パラメータとして、
    該オブジェクトが配置される初期位置を示す初期位置パラメータ、
    該オブジェクトが移動する向きを示す移動方向パラメータ、
    該オブジェクトが該外力を受ける時間の長さを示す外力有効時間パラメータ、及び
    該オブジェクトが現在位置から該仮想空間における視点の位置の方向に向けて受ける力の割合を示す自己位置帰還率パラメータを有する
    ことを特徴とする生体信号出力装置。
  4. 該パラメータ設定手段は、複数の該オブジェクトそれぞれについて該動作パラメータを設定する手段として構成され、
    該パラメータ変更手段は、複数の該オブジェクトそれぞれについての該第一動作パラメータ及び該第二動作パラメータを変更する手段として構成されて、
    該動作制御手段は、複数の該オブジェクトを、それぞれの該第一変更パラメータ、該第二変更パラメータ、及び該第三動作パラメータに基づいて動作を制御する手段として構成される
    ことを特徴とする請求項に記載の生体信号出力装置。
  5. 該生体信号の強度情報分布において中央部の強度情報の変動が周辺部の強度情報の変動よりも大きくなるよう、該生体信号を非線形変換する信号変換手段を備え、
    該パラメータ変更手段は、上記の信号変換手段によって変換された該生体信号に基づいて該動作パラメータを変更する手段として構成される
    ことを特徴とする請求項または請求項に記載の生体信号出力装置。
  6. 3次元の仮想空間を作成する仮想空間作成手段と、
    該オブジェクトの3次元モデルを作成するモデル作成手段とを備え、
    該動作制御手段は、該3次元モデルを該仮想空間に配置して動作させる手段として構成される
    ことを特徴とする請求項1〜のいずれか1項に記載の生体信号出力装置。
  7. 該オブジェクトの映像を表示する映像表示手段として、非透過型ヘッドマウントディスプレイを備える
    ことを特徴とする請求項1〜のいずれか1項に記載の生体信号出力装置。
JP2015191525A 2015-09-29 2015-09-29 生体信号出力装置 Active JP6611538B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015191525A JP6611538B2 (ja) 2015-09-29 2015-09-29 生体信号出力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015191525A JP6611538B2 (ja) 2015-09-29 2015-09-29 生体信号出力装置

Publications (2)

Publication Number Publication Date
JP2017063954A JP2017063954A (ja) 2017-04-06
JP6611538B2 true JP6611538B2 (ja) 2019-11-27

Family

ID=58491659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015191525A Active JP6611538B2 (ja) 2015-09-29 2015-09-29 生体信号出力装置

Country Status (1)

Country Link
JP (1) JP6611538B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113739686A (zh) * 2021-09-27 2021-12-03 歌尔股份有限公司 振动单元位移检测方法、状态检测电路、设备以及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0546587A (ja) * 1991-08-20 1993-02-26 Nec Corp 仮想環境データ提示装置
JP2005185583A (ja) * 2003-12-25 2005-07-14 Bicom:Kk 生体情報検知プログラム、生体情報検知方法及び生体情報検知装置
CN1973311B (zh) * 2004-03-26 2010-08-25 高桥淳 具有三维视觉指示功能的三维立体数字放大镜系统
US8033996B2 (en) * 2005-07-26 2011-10-11 Adidas Ag Computer interfaces including physiologically guided avatars
JP5148858B2 (ja) * 2006-10-24 2013-02-20 テルモ株式会社 遊技用の心拍ゆらぎ検出システム、ゲーム機及びその情報処理方法
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法

Also Published As

Publication number Publication date
JP2017063954A (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
Roo et al. Inner garden: Connecting inner states to a mixed reality sandbox for mindfulness
CN109620185B (zh) 基于多模态信息的自闭症辅助诊断系统、设备及介质
KR102649074B1 (ko) 신경 생리학적 상태의 검출을 위한 사회적 상호작용 애플리케이션
Tajadura-Jiménez et al. As light as your footsteps: altering walking sounds to change perceived body weight, emotional state and gait
Gervais et al. Tobe: Tangible out-of-body experience
US10835707B2 (en) Physiological response
JP5432989B2 (ja) 被験者における望ましい状態を求める方法
CN101198277B (zh) 用于生理学和心理生理学监控的系统
US11000669B2 (en) Method of virtual reality system and implementing such method
US9779751B2 (en) Respiratory biofeedback devices, systems, and methods
JP2009502335A (ja) 生理的にガイドされるアバターを含むコンピュータ・インタフェース
WO2015190042A1 (ja) 活動評価装置、評価処理装置、プログラム
US11543879B2 (en) System for communicating sensory information with an interactive system and methods thereof
CN101969841A (zh) 修改对象的心理生理状态
KR100452093B1 (ko) 정신 질환 환자를 치료하기 위한 가상 환경 장치
Tatzgern et al. Airres mask: A precise and robust virtual reality breathing interface utilizing breathing resistance as output modality
JP6611538B2 (ja) 生体信号出力装置
JP2004537343A (ja) 個人情報配信システム
Groenegress et al. The physiological mirror—a system for unconscious control of a virtual environment through physiological activity
Kider Jr et al. A data-driven appearance model for human fatigue
JP7189434B2 (ja) 空間制御システム
CN109420235A (zh) 一种虚拟现实减压系统
Mahalil et al. Integration of a heart rate monitoring system in a virtual reality relaxation therapy for supporting an immersion level measuring technique
Oh Exploring Design Opportunities for Technology-Supported Yoga Practices at Home
Ito et al. Wind comfort and emotion can be changed by the cross-modal presentation of audio-visual stimuli of indoor and outdoor environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191029

R150 Certificate of patent or registration of utility model

Ref document number: 6611538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250