JP3699996B2 - 生体信号を利用したリモートコントローラ - Google Patents
生体信号を利用したリモートコントローラ Download PDFInfo
- Publication number
- JP3699996B2 JP3699996B2 JP2002040979A JP2002040979A JP3699996B2 JP 3699996 B2 JP3699996 B2 JP 3699996B2 JP 2002040979 A JP2002040979 A JP 2002040979A JP 2002040979 A JP2002040979 A JP 2002040979A JP 3699996 B2 JP3699996 B2 JP 3699996B2
- Authority
- JP
- Japan
- Prior art keywords
- remote controller
- unit
- user
- neural network
- biological signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、重度の障害者などでも使用することのできる筋電位波、脳電位波、あるいは心電位波などの生体信号を利用して装置を制御するリモートコントローラに関するものである。
【０００２】
【従来の技術】
テレビ、ビデオ装置、エアコンなどを制御する一般的なリモートコントローラの入力はスイッチやボタンを用いて入力するものが多い。また、最近では、人の声による命令を受けて家電製品を制御するロボットが登場している。
【０００３】
上記の一般的なリモートコントローラでは、図２に示す様に、キーによる入力部と出力信号処理部とＬＥＤを用いた送信部とを含む構成である。
【０００４】
また、人の声による命令を受けて家電製品を制御するロボットでは、図３に示す様に、各種センサに接続されたセンサ部と、カメラに接続された画像認識部と、マイクに接続された音声認識部を備え、その出力を受ける行動決定部やメカ制御部などを含んでいる。
【０００５】
また、指・手・足・呼気・瞬きなどの動きによる操作が不可能な障害者のための入力スイッチとしては、人の生体信号を利用する製品がある。この製品は、額に装着したデイテクタで、意識的に発生させた頭部の生体信号を検出して変換し、この信号で各種の機器を操作するための制御信号を作るものである。つまり、意識的に生体信号を発生させることによって、一般的なスイッチを押したことと同様の働きをさせるものである。この装置を操作する場合、筋電信号及び眼電インパルスは、発生させるのが比較的容易であるが、脳波・Beta波の発生は少しコツがいり、すぐにはできない場合がある。このため使用者が脳波・Beta波の自分なりの発生方法をマスターすることが必要で、コツが掴めるまでの根気強いトレーニングが求められることが知られている。また、この製品は生体信号を利用するため、使用者の身体の状態や無意識の動作又は雑音等によって誤動作する場合があることも知られている。
【０００６】
このように、生体信号を機器の入力スイッチとして用いる装置やその他義肢などに利用するインタフェース装置などが幾つか発明されている。しかし、使用者毎に生体信号の特性が異なるために複数の人が使用可能なインタフェース装置やリモートコントローラは存在しなかった。
【０００７】
【発明が解決しようとする課題】
上記の様に、従来の複数の人が使用可能なリモートコントローラでは、筋電位波、脳電位波、あるいは心電位波などの生体信号によって、家電製品などを制御するものが無かった。
【０００８】
この発明は上記に鑑み提案されたもので、筋電位波、脳電位波、あるいは心電位波などの生体信号によって、重度の障害者などでも家電製品などを制御することのできるものであって、容易に使用者の変更に対応することができるリモートコントローラを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明における第１の発明は、リモートコントローラに関しており、生体信号を検出する入力部と、前記生体信号から特徴量を抽出する信号前処理を行う生体信号処理部と、前記特徴量に基づいて使用者の意図や状態に対する事後確率を出力するニューラルネットワーク部と、それぞれの登録者に関する情報を保存するデータベース部と、前記ニューラルネットワーク部が出力した事後確率に基づいて使用者の意図や状態の識別を行い、その識別結果に基づいてコマンドを決定する出力信号処理部と、前記出力信号処理部で決定したコマンドを送信する送信部とを含み、振動、音声、光信号あるいは画像などの信号伝達手段を用いて信号伝達を行うバイオフィードバック部により、計測した生体信号や抽出した特徴量やコントローラの操作についての事後確率あるいは使用者の識別結果などのリモートコントローラで取り扱う情報を使用者にフィードバックする構成を備える、ことを特徴としている。
【００１０】
また、本発明における第２の発明は、上記した第１の発明の構成に加えて、上記の生体信号の入力部は、入力手段の異なる複数の入力を切り替える構成をもつことを特徴としている。
【００１１】
また、本発明における第３の発明は、上記した第１の発明の構成に加えて、生体信号処理部では、整流処理、フィルタリング処理、周波数解析処理、正規化処理を実施することにより計測した生体信号から特徴量を抽出することを特徴としている。
【００１２】
また、本発明における第４の発明は、上記した第１の発明の構成に加えて、上記のニューラルネットワーク部には、教師信号の入力部が含まれており、上記データベース部には、ニューラルネットワーク部の設定に関する情報が含まれ、それぞれの登録者に応じてニューラルネットワーク部の設定を変更する構成を有することを特徴としている。
【００１３】
また、本発明における第５の発明は、上記した第１の発明の構成に加えて、データベース部は、使用者毎の、入力部において計測する生体信号、あるいはそのリモートコントローラの動作に関するパラメータ、生体信号処理部における特徴抽出に関するパラメータ、ニューラルネットワーク部におけるネットワーク構造、ニューラルネットワーク部の学習に関する収束時間や重みなどのパラメータ、出力信号処理部における誤識別回避のための識別保留閾値、あるいは階層メニュー構造に関するパラメータを保存し、それぞれの使用者に応じて読み出す構成をもつことを特徴としている。
【００１４】
また、本発明における第６の発明は、上記した第１の発明の構成に加えて、出力信号処理部は、使用者に応じた識別判定閾値を利用して識別を行う構成を含み、上記のリモートコントローラは、前記識別判定閾値に予め決められた対応関係により決められた数のコマンド群を使用者に呈示する構成を含むことを特徴としている。
【００１８】
【発明の実施の形態】
以下にこの発明の実施の形態を図面に基づいて詳細に説明する。図１は、本発明の望ましい実施形態の一例を示すブロック図である。図１に示す構成は、生体信号を検出する入力部と、生体信号から特徴量を抽出するための信号前処理を行う生体信号処理部と、特徴量に基づいて使用者の意図や状態に対する事後確率を出力するニューラルネットワーク（NN）部と、NN部が出力した事後確率に基づいて使用者の意図や状態を識別し、識別の際には事後確率から計算されるエントロピーに基づいて、誤識別を回避し、また、識別した結果に基づいて階層的に整理されたコマンド群から送信するコマンドを決定する出力信号処理部と、出力信号処理部で決定したコマンドを赤外線や電波あるいは超音波により外部の電子機器に送信する送信部と、計測した生体信号、特徴量、事後確率、識別結果などを音声や画像を使って使用者にフィードバックするバイオフィードバック（ＢＦ）部と、生体信号処理部やNN部あるいは出力信号処理部で使用する各種パラメータを使用者個人毎に保存や呼び出しを行うことを可能とするデータベース部とを備えている
【００１９】
このリモートコントローラを使用するに当たっては、まず、リモートコントローラの制御に使用する生体信号に応じたセンサを、使用者の体に装着する。その生体信号は、生体信号の入力部へ入力される。ここで、生体信号として用いるのは、筋肉の筋電位信号や脳電位信号や心臓の筋電位信号あるいは脳の磁界信号などの信号である。これらの信号は、よく知られている様に、それぞれ異なった入力端子あるいは異なった入力装置を用いて入力されるので、これらを使用者に適合する様に選択して入力部を切り換えることが望ましい。選択された入力端子あるいは入力装置からの生体信号は、さらに生体信号処理部で、前記生体信号の特徴量を抽出する。この際、使用者は、バイオフィードバック部からの入力信号や前記特徴量についての信号伝達により、入力信号やリモートコントローラの動作状況や認識状況を知ることができる。
【００２０】
リモートコントローラの使用に先立ち、使用者の障害度など様々な条件・状態にリモートコントローラを適応させるために、使用者の選択した生体信号、それに含まれる個人差、疲労や発汗などによる時間変動、電極を張った位置について、ニューラルネット学習用のデータを抽出する。教師信号入力部へ教師信号を入力してニューラルネット学習を実行した結果、使用者の生体信号から使用者の意図する制御コマンドの推定が可能になる。複数の使用者がいる場合には、それぞれの使用者のデータをそれぞれに抽出してデータベースに保存しておく。
【００２１】
ここで用いるニューラルネットワークとしては、変動の激しい生体信号を入力しても容易に特徴量を抽出できるものが望ましく、そのようなニューラルネットワークとしては、ＬＬＧＭＮ（Log-LinearlizedGaussian Mixture Network）あるいは、さらに改善された Ｒ−ＬＬＧＭＮ（Recurrent Log-LinearlizedGaussian Mixture Network）があることが知られている。
【００２２】
出力信号処理部では、NN部が出力した事後確率に基づいて使用者の意図や状態を識別する。識別の際には、事後確率から計算されるエントロピーに基づいて、誤識別を回避する。具体的には、次の様に行う。
【００２３】
例えば筋電位信号についての入力信号であるのサンプルデータをＥＭＧi（ｎ）（ｉ＝１，…，Ｌ）とし、次式を計算する。
【数１】
ここでＥＭＧi stは安静時、ＥＭＧi maxは動作ｋを最大随意収縮したときのＥＭＧi（ｎ）の平均値である。αk（ｎ）は、動作ｋを実行した際の最大筋収縮に対する割合を示している。ここでは、この値を筋収縮情報として定義する。また、次式に従ってＥＭＧi（ｎ）の全チャネル和がｌとなるように正規化したベクトルｘ（ｎ）＝［ｘ1（ｎ）、ｘ2（ｎ）、・・・、ｘL（ｎ）］を筋の協調情報として定義する。
【００２４】
また、次のｘi（ｎ）は、電極ｉ付近から計測される筋活動量の割合が、全Ｌ対の電極から得られるその総和に対してどの程度であるかを示している。
【数２】
このベクトルｘ（ｎ）は、動作識別のためにＬＬＧＭＮへの入力ベクトルとしても利用する。
【００２５】
更に、ＥＭＧi（ｎ）の全チャネルの２乗和
【数３】
を計算し、この値が予め設定したひとつあるいは複数の閾値を超えるようにすることで、リモートコントローラでの選択を行う。
【００２６】
生体信号の変動幅が大きく、多数の閾値を設定できないときには、その選択メニューを階層構造にすることで、多数の制御コマンドの選択を行うことができる。この閾値の設定に関する情報は、利用者毎に異なる場合が多いので、データベースに保存しておき、利用者に応じて読み出し設定することが望ましい。
【００２７】
また、使用者がリモートコントローラを実際に使用する場合は、使用者が使用可能な制御コマンド形態、例えば選択肢の数、をデータベースに記録された情報をもとに決め、それぞれの使用者に適合させた階層メニューから目的の操作を選択する。選択した操作に応じて、機器や環境へ制御信号が発信されることでそれらの制御が可能になる。
【００２８】
この送信に当たっては、既によく知られている様に、赤外線や電波あるいは超音波などを用いることができる。
【００２９】
また、この際、計測した生体信号や抽出した特徴量やコントローラの操作についての事後確率あるいは利用者の識別結果などのリモートコントローラで取り扱う情報をバイオフィードバック部を通じて利用者に伝達する。
【００３０】
上記の説明で生体信号として用いるのは、筋肉の筋電位信号や脳電位信号や心臓の筋電位信号あるいは脳の磁界信号などの信号である。しかし、生体から得られる電気信号は、上記の信号以外にも多数の形態がある事が知られており、本発明は、電気信号に変換可能ないかなる生体信号についても適用することができる。
【００３１】
例えば、生体内部の深層的な情報を得るものとしては、上記の生体信号の他に、皮膚抵抗、血流量、筋音、眼振、抹消部の体温、血圧、心音、脈圧などがあり、これらは、僅かな訓練により、意図的に制御することができるので、本発明の生体信号を利用したリモートコントローラの入力信号として用いることができる。
【００３２】
また、本発明の入力信号は、上記した生体内部の深層的な情報を得ることのできる信号源のみに限定する理由は無く、生体の表層的な信号を入力信号として用いる事ができる。このような生体の表層的な信号としては、１）入力装置にマイクロフォンを用いる音声や単なる発声、２）入力装置に光ファイバを利用した曲げセンサを用いた手足などの部位の形状、３）入力装置にジャイロやひずみセンサあるいは加速度センサなどを用いた体肢の運動姿勢や運動加速度、４）画像の変化を捉えるビジョンセンサを用いた体肢の運動姿勢や運動加速度、５）圧力センサを用いた圧力分布、６）超音波や光による位置センサを用いた体肢の姿勢、７）放射温度計を用いた手のひら等の温度、８）視線センサを用いた眼球位置、９）呼吸による風力や呼吸の温度、等による信号があるが、本発明においては、手足が不自由な状態にあっても、意思により制御できる生体現象による信号であれば、信号源を特に限定する必要はなく、リモートコントローラの入力信号とすることができる。
【００３３】
【発明の効果】
この発明は、生体信号の入力部と、前記生体信号を判別処理するニューラルネットワーク部と、それぞれの登録者に関する情報を保存するデータベースと、前記ニューラルネットワーク部からの出力信号を送信信号に変換する出力信号処理部と、前記の送信信号を送信する送信部とを含む構成にしたので、ニューラルネットを利用した適応学習機能を備えたリモートコントローラを実現することができるようになり、使用者が障害者などの場合であっても遠隔の装置や環境を自在に制御可能とすることが可能となった。
【図面の簡単な説明】
【図１】本発明の望ましい実施形態の一例を示すブロック図。
【図２】一般的なリモートコントローラの構成を示すブロック図。
【図３】人の声による命令を受けて家電製品を制御するロボットの構成を示すブロック図。
【符号の説明】
１ 検出した生体信号の流れ
２ 生体信号から抽出した特徴量データの流れ
３ NNにより推定した特徴量に対する使用者の意図・状態の事後確率情報の流れ
４ 選択したコマンド情報の流れ
５ 使用する生体信号やチャンネル数に関するパラメータ情報の流れ
６ 特徴抽出に関するパラメータ情報の流れ
７ ニューラルネットの構造や学習に関するパラメータ情報の流れ
８ 誤識別回避のための識別保留閾値、階層メニュー構造に関するパラメータ
９ 計測した生体信号、特徴量、事後確率、識別結果および階層メニューの情報の流れ
１０ 音声や画像によるフィードバック情報の流れ
１１ 制御信号の伝搬
【発明の属する技術分野】
この発明は、重度の障害者などでも使用することのできる筋電位波、脳電位波、あるいは心電位波などの生体信号を利用して装置を制御するリモートコントローラに関するものである。
【０００２】
【従来の技術】
テレビ、ビデオ装置、エアコンなどを制御する一般的なリモートコントローラの入力はスイッチやボタンを用いて入力するものが多い。また、最近では、人の声による命令を受けて家電製品を制御するロボットが登場している。
【０００３】
上記の一般的なリモートコントローラでは、図２に示す様に、キーによる入力部と出力信号処理部とＬＥＤを用いた送信部とを含む構成である。
【０００４】
また、人の声による命令を受けて家電製品を制御するロボットでは、図３に示す様に、各種センサに接続されたセンサ部と、カメラに接続された画像認識部と、マイクに接続された音声認識部を備え、その出力を受ける行動決定部やメカ制御部などを含んでいる。
【０００５】
また、指・手・足・呼気・瞬きなどの動きによる操作が不可能な障害者のための入力スイッチとしては、人の生体信号を利用する製品がある。この製品は、額に装着したデイテクタで、意識的に発生させた頭部の生体信号を検出して変換し、この信号で各種の機器を操作するための制御信号を作るものである。つまり、意識的に生体信号を発生させることによって、一般的なスイッチを押したことと同様の働きをさせるものである。この装置を操作する場合、筋電信号及び眼電インパルスは、発生させるのが比較的容易であるが、脳波・Beta波の発生は少しコツがいり、すぐにはできない場合がある。このため使用者が脳波・Beta波の自分なりの発生方法をマスターすることが必要で、コツが掴めるまでの根気強いトレーニングが求められることが知られている。また、この製品は生体信号を利用するため、使用者の身体の状態や無意識の動作又は雑音等によって誤動作する場合があることも知られている。
【０００６】
このように、生体信号を機器の入力スイッチとして用いる装置やその他義肢などに利用するインタフェース装置などが幾つか発明されている。しかし、使用者毎に生体信号の特性が異なるために複数の人が使用可能なインタフェース装置やリモートコントローラは存在しなかった。
【０００７】
【発明が解決しようとする課題】
上記の様に、従来の複数の人が使用可能なリモートコントローラでは、筋電位波、脳電位波、あるいは心電位波などの生体信号によって、家電製品などを制御するものが無かった。
【０００８】
この発明は上記に鑑み提案されたもので、筋電位波、脳電位波、あるいは心電位波などの生体信号によって、重度の障害者などでも家電製品などを制御することのできるものであって、容易に使用者の変更に対応することができるリモートコントローラを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明における第１の発明は、リモートコントローラに関しており、生体信号を検出する入力部と、前記生体信号から特徴量を抽出する信号前処理を行う生体信号処理部と、前記特徴量に基づいて使用者の意図や状態に対する事後確率を出力するニューラルネットワーク部と、それぞれの登録者に関する情報を保存するデータベース部と、前記ニューラルネットワーク部が出力した事後確率に基づいて使用者の意図や状態の識別を行い、その識別結果に基づいてコマンドを決定する出力信号処理部と、前記出力信号処理部で決定したコマンドを送信する送信部とを含み、振動、音声、光信号あるいは画像などの信号伝達手段を用いて信号伝達を行うバイオフィードバック部により、計測した生体信号や抽出した特徴量やコントローラの操作についての事後確率あるいは使用者の識別結果などのリモートコントローラで取り扱う情報を使用者にフィードバックする構成を備える、ことを特徴としている。
【００１０】
また、本発明における第２の発明は、上記した第１の発明の構成に加えて、上記の生体信号の入力部は、入力手段の異なる複数の入力を切り替える構成をもつことを特徴としている。
【００１１】
また、本発明における第３の発明は、上記した第１の発明の構成に加えて、生体信号処理部では、整流処理、フィルタリング処理、周波数解析処理、正規化処理を実施することにより計測した生体信号から特徴量を抽出することを特徴としている。
【００１２】
また、本発明における第４の発明は、上記した第１の発明の構成に加えて、上記のニューラルネットワーク部には、教師信号の入力部が含まれており、上記データベース部には、ニューラルネットワーク部の設定に関する情報が含まれ、それぞれの登録者に応じてニューラルネットワーク部の設定を変更する構成を有することを特徴としている。
【００１３】
また、本発明における第５の発明は、上記した第１の発明の構成に加えて、データベース部は、使用者毎の、入力部において計測する生体信号、あるいはそのリモートコントローラの動作に関するパラメータ、生体信号処理部における特徴抽出に関するパラメータ、ニューラルネットワーク部におけるネットワーク構造、ニューラルネットワーク部の学習に関する収束時間や重みなどのパラメータ、出力信号処理部における誤識別回避のための識別保留閾値、あるいは階層メニュー構造に関するパラメータを保存し、それぞれの使用者に応じて読み出す構成をもつことを特徴としている。
【００１４】
また、本発明における第６の発明は、上記した第１の発明の構成に加えて、出力信号処理部は、使用者に応じた識別判定閾値を利用して識別を行う構成を含み、上記のリモートコントローラは、前記識別判定閾値に予め決められた対応関係により決められた数のコマンド群を使用者に呈示する構成を含むことを特徴としている。
【００１８】
【発明の実施の形態】
以下にこの発明の実施の形態を図面に基づいて詳細に説明する。図１は、本発明の望ましい実施形態の一例を示すブロック図である。図１に示す構成は、生体信号を検出する入力部と、生体信号から特徴量を抽出するための信号前処理を行う生体信号処理部と、特徴量に基づいて使用者の意図や状態に対する事後確率を出力するニューラルネットワーク（NN）部と、NN部が出力した事後確率に基づいて使用者の意図や状態を識別し、識別の際には事後確率から計算されるエントロピーに基づいて、誤識別を回避し、また、識別した結果に基づいて階層的に整理されたコマンド群から送信するコマンドを決定する出力信号処理部と、出力信号処理部で決定したコマンドを赤外線や電波あるいは超音波により外部の電子機器に送信する送信部と、計測した生体信号、特徴量、事後確率、識別結果などを音声や画像を使って使用者にフィードバックするバイオフィードバック（ＢＦ）部と、生体信号処理部やNN部あるいは出力信号処理部で使用する各種パラメータを使用者個人毎に保存や呼び出しを行うことを可能とするデータベース部とを備えている
【００１９】
このリモートコントローラを使用するに当たっては、まず、リモートコントローラの制御に使用する生体信号に応じたセンサを、使用者の体に装着する。その生体信号は、生体信号の入力部へ入力される。ここで、生体信号として用いるのは、筋肉の筋電位信号や脳電位信号や心臓の筋電位信号あるいは脳の磁界信号などの信号である。これらの信号は、よく知られている様に、それぞれ異なった入力端子あるいは異なった入力装置を用いて入力されるので、これらを使用者に適合する様に選択して入力部を切り換えることが望ましい。選択された入力端子あるいは入力装置からの生体信号は、さらに生体信号処理部で、前記生体信号の特徴量を抽出する。この際、使用者は、バイオフィードバック部からの入力信号や前記特徴量についての信号伝達により、入力信号やリモートコントローラの動作状況や認識状況を知ることができる。
【００２０】
リモートコントローラの使用に先立ち、使用者の障害度など様々な条件・状態にリモートコントローラを適応させるために、使用者の選択した生体信号、それに含まれる個人差、疲労や発汗などによる時間変動、電極を張った位置について、ニューラルネット学習用のデータを抽出する。教師信号入力部へ教師信号を入力してニューラルネット学習を実行した結果、使用者の生体信号から使用者の意図する制御コマンドの推定が可能になる。複数の使用者がいる場合には、それぞれの使用者のデータをそれぞれに抽出してデータベースに保存しておく。
【００２１】
ここで用いるニューラルネットワークとしては、変動の激しい生体信号を入力しても容易に特徴量を抽出できるものが望ましく、そのようなニューラルネットワークとしては、ＬＬＧＭＮ（Log-LinearlizedGaussian Mixture Network）あるいは、さらに改善された Ｒ−ＬＬＧＭＮ（Recurrent Log-LinearlizedGaussian Mixture Network）があることが知られている。
【００２２】
出力信号処理部では、NN部が出力した事後確率に基づいて使用者の意図や状態を識別する。識別の際には、事後確率から計算されるエントロピーに基づいて、誤識別を回避する。具体的には、次の様に行う。
【００２３】
例えば筋電位信号についての入力信号であるのサンプルデータをＥＭＧi（ｎ）（ｉ＝１，…，Ｌ）とし、次式を計算する。
【数１】
【００２４】
また、次のｘi（ｎ）は、電極ｉ付近から計測される筋活動量の割合が、全Ｌ対の電極から得られるその総和に対してどの程度であるかを示している。
【数２】
【００２５】
更に、ＥＭＧi（ｎ）の全チャネルの２乗和
【数３】
【００２６】
生体信号の変動幅が大きく、多数の閾値を設定できないときには、その選択メニューを階層構造にすることで、多数の制御コマンドの選択を行うことができる。この閾値の設定に関する情報は、利用者毎に異なる場合が多いので、データベースに保存しておき、利用者に応じて読み出し設定することが望ましい。
【００２７】
また、使用者がリモートコントローラを実際に使用する場合は、使用者が使用可能な制御コマンド形態、例えば選択肢の数、をデータベースに記録された情報をもとに決め、それぞれの使用者に適合させた階層メニューから目的の操作を選択する。選択した操作に応じて、機器や環境へ制御信号が発信されることでそれらの制御が可能になる。
【００２８】
この送信に当たっては、既によく知られている様に、赤外線や電波あるいは超音波などを用いることができる。
【００２９】
また、この際、計測した生体信号や抽出した特徴量やコントローラの操作についての事後確率あるいは利用者の識別結果などのリモートコントローラで取り扱う情報をバイオフィードバック部を通じて利用者に伝達する。
【００３０】
上記の説明で生体信号として用いるのは、筋肉の筋電位信号や脳電位信号や心臓の筋電位信号あるいは脳の磁界信号などの信号である。しかし、生体から得られる電気信号は、上記の信号以外にも多数の形態がある事が知られており、本発明は、電気信号に変換可能ないかなる生体信号についても適用することができる。
【００３１】
例えば、生体内部の深層的な情報を得るものとしては、上記の生体信号の他に、皮膚抵抗、血流量、筋音、眼振、抹消部の体温、血圧、心音、脈圧などがあり、これらは、僅かな訓練により、意図的に制御することができるので、本発明の生体信号を利用したリモートコントローラの入力信号として用いることができる。
【００３２】
また、本発明の入力信号は、上記した生体内部の深層的な情報を得ることのできる信号源のみに限定する理由は無く、生体の表層的な信号を入力信号として用いる事ができる。このような生体の表層的な信号としては、１）入力装置にマイクロフォンを用いる音声や単なる発声、２）入力装置に光ファイバを利用した曲げセンサを用いた手足などの部位の形状、３）入力装置にジャイロやひずみセンサあるいは加速度センサなどを用いた体肢の運動姿勢や運動加速度、４）画像の変化を捉えるビジョンセンサを用いた体肢の運動姿勢や運動加速度、５）圧力センサを用いた圧力分布、６）超音波や光による位置センサを用いた体肢の姿勢、７）放射温度計を用いた手のひら等の温度、８）視線センサを用いた眼球位置、９）呼吸による風力や呼吸の温度、等による信号があるが、本発明においては、手足が不自由な状態にあっても、意思により制御できる生体現象による信号であれば、信号源を特に限定する必要はなく、リモートコントローラの入力信号とすることができる。
【００３３】
【発明の効果】
この発明は、生体信号の入力部と、前記生体信号を判別処理するニューラルネットワーク部と、それぞれの登録者に関する情報を保存するデータベースと、前記ニューラルネットワーク部からの出力信号を送信信号に変換する出力信号処理部と、前記の送信信号を送信する送信部とを含む構成にしたので、ニューラルネットを利用した適応学習機能を備えたリモートコントローラを実現することができるようになり、使用者が障害者などの場合であっても遠隔の装置や環境を自在に制御可能とすることが可能となった。
【図面の簡単な説明】
【図１】本発明の望ましい実施形態の一例を示すブロック図。
【図２】一般的なリモートコントローラの構成を示すブロック図。
【図３】人の声による命令を受けて家電製品を制御するロボットの構成を示すブロック図。
【符号の説明】
１ 検出した生体信号の流れ
２ 生体信号から抽出した特徴量データの流れ
３ NNにより推定した特徴量に対する使用者の意図・状態の事後確率情報の流れ
４ 選択したコマンド情報の流れ
５ 使用する生体信号やチャンネル数に関するパラメータ情報の流れ
６ 特徴抽出に関するパラメータ情報の流れ
７ ニューラルネットの構造や学習に関するパラメータ情報の流れ
８ 誤識別回避のための識別保留閾値、階層メニュー構造に関するパラメータ
９ 計測した生体信号、特徴量、事後確率、識別結果および階層メニューの情報の流れ
１０ 音声や画像によるフィードバック情報の流れ
１１ 制御信号の伝搬
Claims (6)
- 生体信号を検出する入力部と、前記生体信号から特徴量を抽出する信号前処理を行う生体信号処理部と、前記特徴量に基づいて使用者の意図や状態に対する事後確率を出力するニューラルネットワーク部と、それぞれの登録者に関する情報を保存するデータベース部と、前記ニューラルネットワーク部が出力した事後確率に基づいて使用者の意図や状態の識別を行い、その識別結果に基づいてコマンドを決定する出力信号処理部と、前記出力信号処理部で決定したコマンドを送信する送信部とを含み、
振動、音声、光信号あるいは画像などの信号伝達手段を用いて信号伝達を行うバイオフィードバック部により、計測した生体信号や抽出した特徴量やコントローラの操作についての事後確率あるいは使用者の識別結果などのリモートコントローラで取り扱う情報を使用者にフィードバックする構成を備える、
ことを特徴とするリモートコントローラ。 - 上記の生体信号の入力部は、入力手段の異なる複数の入力を切り替える構成をもつことを特徴とする請求項１に記載のリモートコントローラ。
- 生体信号処理部では、整流処理、フィルタリング処理、周波数解析処理、正規化処理を実施することにより計測した生体信号から特徴量を抽出することを特徴とする請求項１に記載のリモートコントローラ。
- 上記のニューラルネットワーク部には、教師信号の入力部が含まれており、
上記データベース部には、ニューラルネットワーク部の設定に関する情報が含まれ、それぞれの登録者に応じてニューラルネットワーク部の設定を変更する構成を有することを特徴とする請求項１に記載のリモートコントローラ。 - データベース部は、使用者毎の、入力部において計測する生体信号、あるいはそのリモートコントローラの動作に関するパラメータ、生体信号処理部における特徴抽出に関するパラメータ、ニューラルネットワーク部におけるネットワーク構造、ニューラルネットワーク部の学習に関する収束時間や重みなどのパラメータ、出力信号処理部における誤識別回避のための識別保留閾値、あるいは階層メニュー構造に関するパラメータを保存し、それぞれの使用者に応じて読み出す構成をもつことを特徴とする請求項１に記載のリモートコントローラ。
- 出力信号処理部は、使用者に応じた識別判定閾値を利用して識別を行う構成を含み、上記のリモートコントローラは、前記識別判定閾値に予め決められた対応関係により決められた数のコマンド群を使用者に呈示する構成を含むことを特徴とする請求項１に記載のリモートコントローラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002040979A JP3699996B2 (ja) | 2002-02-19 | 2002-02-19 | 生体信号を利用したリモートコントローラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002040979A JP3699996B2 (ja) | 2002-02-19 | 2002-02-19 | 生体信号を利用したリモートコントローラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003244780A JP2003244780A (ja) | 2003-08-29 |
| JP3699996B2 true JP3699996B2 (ja) | 2005-09-28 |
Family
ID=27781502
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002040979A Expired - Lifetime JP3699996B2 (ja) | 2002-02-19 | 2002-02-19 | 生体信号を利用したリモートコントローラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3699996B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004180817A (ja) * | 2002-12-02 | 2004-07-02 | National Institute Of Advanced Industrial & Technology | 生体信号を利用した作業支援マニピュレータシステム |
| CN100353390C (zh) * | 2005-07-19 | 2007-12-05 | 天津大学 | 脑机接口家电遥控装置 |
| JP4815594B2 (ja) * | 2006-05-18 | 2011-11-16 | 国立大学法人広島大学 | 演奏インターフェース |
| JP2010057658A (ja) * | 2008-09-03 | 2010-03-18 | Institute Of Physical & Chemical Research | 検出装置および方法、並びにプログラム |
| JP5467267B2 (ja) * | 2010-03-05 | 2014-04-09 | 国立大学法人大阪大学 | 機器制御装置、機器システム、機器制御方法、機器制御プログラム、および記録媒体 |
| KR102364842B1 (ko) | 2014-12-02 | 2022-02-18 | 삼성전자주식회사 | 맥파 측정 장치 및 방법 |
| CN112954051B (zh) * | 2021-02-07 | 2021-09-03 | 广州一盒科技有限公司 | 一种用于食材加工的远程控制方法及系统 |
| WO2023089818A1 (ja) * | 2021-11-22 | 2023-05-25 | 日本電信電話株式会社 | 個人識別装置、方法およびプログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2593625B2 (ja) * | 1994-01-12 | 1997-03-26 | 株式会社脳機能研究所 | 生体情報自動識別装置 |
| JPH0871050A (ja) * | 1994-09-07 | 1996-03-19 | Matsushita Electric Ind Co Ltd | 快適環境創造システム |
| JPH0880285A (ja) * | 1994-09-14 | 1996-03-26 | Matsushita Electric Ind Co Ltd | 監視装置 |
| JP2000116785A (ja) * | 1998-10-14 | 2000-04-25 | Apollo Mec:Kk | 携帯形健康器具 |
| JP2000172407A (ja) * | 1998-12-07 | 2000-06-23 | Hitachi Ltd | 生体信号による機器制御装置 |
| JP2002010987A (ja) * | 2000-06-29 | 2002-01-15 | Takeshi Matsumura | 生体情報信号処理方法と装置およびそのプログラムを記憶した記憶媒体 |
-
2002
- 2002-02-19 JP JP2002040979A patent/JP3699996B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003244780A (ja) | 2003-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fukuda et al. | A human-assisting manipulator teleoperated by EMG signals and arm motions | |
| Ubeda et al. | Wireless and portable EOG-based interface for assisting disabled people | |
| US7520864B2 (en) | Muscle stretch sensor | |
| CN111656304B (zh) | 通信方法及系统 | |
| JP7477309B2 (ja) | 生体信号が表す情報を識別するためのシステム | |
| JP2009531077A (ja) | エフェクターのリアル・タイム制御のための装置と方法 | |
| Wehner | Man to machine, applications in electromyography | |
| Zhou et al. | Non-invasive human-machine interface (HMI) systems with hybrid on-body sensors for controlling upper-limb prosthesis: A review | |
| Asheghabadi et al. | Multichannel finger pattern recognition using single-site mechanomyography | |
| JP3699996B2 (ja) | 生体信号を利用したリモートコントローラ | |
| Iftime et al. | Automatic determination of synergies by radial basis function artificial neural networks for the control of a neural prosthesis | |
| Latif et al. | Brain computer interface based robotic arm control | |
| Franco et al. | Command acknowledge through tactile feedback improves the usability of an emg-based interface for the frontalis muscle | |
| Ortiz et al. | Brain-machine interfaces for neurorobotics | |
| JPH0328225B2 (ja) | ||
| Moqadam et al. | A novel hybrid approach to pattern recognition of finger movements and grasping gestures in upper limb amputees | |
| Cabegin et al. | Electromyography-based Control of Prosthetic Arm for Transradial Amputees using Principal Component Analysis and Support Vector Machine Algorithms | |
| KR100706065B1 (ko) | 근전도를 이용한 사용자 의도 인식 방법 및 그 시스템 | |
| Banerjee et al. | Voluntary eye movement controlled electrooculogram based multitasking graphical user interface | |
| JP2006130121A (ja) | 生体情報に基づく感情認識方法 | |
| KR100516151B1 (ko) | 안면근 신호를 이용한 방향 제어장치 및 그 방법 | |
| Cho et al. | Training strategy and sEMG sensor positioning for finger force estimation at various elbow angles | |
| Fougner | Robust, Coordinated and Proportional Myoelectric Control of Upper-Limb Prostheses | |
| Parajuli | Towards Electrodeless EMG linear envelope signal recording for myo-activated prostheses control | |
| Falk et al. | On the use of peripheral autonomic signals for binary control of body–machine interfaces |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050614 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3699996 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |