JPH10244480A - ロボットの制御装置 - Google Patents
ロボットの制御装置Info
- Publication number
- JPH10244480A JPH10244480A JP4936897A JP4936897A JPH10244480A JP H10244480 A JPH10244480 A JP H10244480A JP 4936897 A JP4936897 A JP 4936897A JP 4936897 A JP4936897 A JP 4936897A JP H10244480 A JPH10244480 A JP H10244480A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- decision
- neural network
- control device
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Manipulator (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
て動作制御を行うロボットの制御装置において、ロボッ
トの制御操作を行うことができない人の意思決定を判定
して該ロボットを制御する。 【解決手段】対象者(被介護者)1の身体に取り付けら
れて該対象者のロボットの各運動部位に関する特徴量を
検出する複数個のセンサ2のディジタル出力信号をフー
リエ変換し所望周波数帯域内の複数の分割された周波数
帯域毎のスペクトルパワーを求め、ニューラルネットワ
ークにより該スペクトルパワーが該センサ2を取り付け
た該対象者1の複数の意思決定を判定するバイナリー値
になるように該ニューラルネットワークの係数及びバイ
アスを学習して求めて記憶しておきその後の各センサ2
の出力信号と各係数及びバイアスをニューラルネットワ
ークに適用したときのバイナリー値から該対象者の意思
決定を判定する。
Description
に関し、特に介護用ロボットの動作制御を行う装置に関
するものである。
おいて進められており、その成果も著しいが、特に高齢
化・少子化社会の到来が予測される今日では、介護用ロ
ボットの研究は益々重要になっている。
いては、筋電位、眼球の運動に伴って被介護者の皮膚上
に現れる眼球電位、アルファ波などの振幅変化を用いて
コントローラ(送信装置)から有線又は無線で制御信号
を与えることにより、介護用ロボットの各部を制御する
ものが従来より提案されている。
えば、筋萎縮側索硬化症(ALS)等の患者であるよう
な場合には、全ての骨格筋を動かすことができず、発語
もジェスチャーによっても意思表示ができないため、介
護用ロボットのコントローラ自体を全く操作することが
できないという問題がある。
応した固有の信号を送出して動作制御を行うロボットの
制御装置において、ロボットの制御操作を行うことがで
きない人の意思決定を判定して該ロボットを制御するこ
とを目的とする。
の想起・快/不快及び精神的な疲労・緊張等は、脳内に
ある多数のニューロン(神経細胞)の電気的な活動を反
映することは既に広く知られている。
またある種の感情に伴ってニューロンの活動に連携が発
生して頭皮面に電位が現れ、これを脳波として計測する
ことができる。
25号において人間の感情や知的作業内容に対して定量
化することにより識別が容易な「生体情報自動識別装
置」を提案している。
は、発語やジェスチャーが無理でも、本人の知能は正常
であることから、上記の特許第2593625号の技術
思想が、対象とする人間(被介護者等)の脳神経活動を
例えば意思決定にも応用することにより本人の意思を確
認できることが分かった。
は、対象者の身体に取り付けられて該対象者のロボット
の各運動部位に関する特徴量を検出する複数個のセンサ
と、各センサの出力信号を増幅する増幅器と、該増幅器
の各出力信号をディジタル信号に変換すると共に各ディ
ジタル信号をフーリエ変換し所望周波数帯域内の複数の
分割された周波数帯域毎のスペクトルパワーを求め、更
にニューラルネットワークにより該スペクトルパワーが
該センサを取り付けた該対象者の二者択一の意思決定に
対してバイナリー値になるように該ニューラルネットワ
ークの係数及びバイアスを予め学習により求めて記憶し
ておきその後の各センサの出力信号と各係数及びバイア
スを該ニューラルネットワークに適用したときのバイナ
リー値から該対象者の意思決定を判定する演算装置と、
該演算装置による意思決定の判定結果に対応する固有の
信号を送信するコントローラと、を備えている。
(被介護者等)に装着した所定数の脳波センサから出力
され増幅器で増幅された出力信号を入力する。
ジタル信号に変換するとともにこのディジタル信号を各
センサ出力毎にフーリエ変換してそれぞれ所望周波数帯
域に分割する。
ペクトルパワー、即ち該周波数帯域内での時間軸上のス
ペクトルパワー(Variance:分散)を求める。
ラルネットワークに入力して処理を行い、センサを取り
付けた対象者におけるいろいろな意思決定を表すバイナ
リー値(1/0)になるように該ニューラルネットワー
ク中の各係数及びバイアスを学習により求め記憶してお
く。
該対象者の各センサ出力に対してニューラルネットワー
クが学習した各係数及びバイアスをそれぞれの状況にお
ける対象者の示す上記特徴量に適用することにより、ニ
ューラルネットワークで演算された値が上記の意思決定
を表すバイナリー値となるので、この値により対象者の
現在の意思決定を判定することが出来る。
なっていることに着目し、個人毎に係数のファイルを作
れば、精度の良い意思決定の自動識別を行うことが可能
となる。
れた意思決定結果を受けて、コントローラはその意思決
定に対応する制御信号を出力してロボットに与える。
を受けて例えば、被介護者が希望する上下・左右運動な
どを行うことができる。
上電位であればよい。
頭皮上電位の代わりに各センサ出力同士の相互相関係数
を用いてもよい。
御装置の実施例の構成を示したもので、図中、1はこの
脳波解析の対象者となる被介護者であり、この被介護者
1の頭部には例えば6個の脳波センサ(電極)21 〜2
6 がペーストにより装着されている。
して頭皮上の電位分布だけでなく、筋電位を検出するよ
うにセンサを被介護者1の頭部に取り付けてもよい。更
には上記の頭皮上の電位分布や筋電位の代わりに或いは
加えて心拍回数、眼球運動及び瞬き頻度の内の少なくと
もいずれかをセンサにより検出してもよい。
プ3で一旦増幅された後、更にメインアンプ4で所定の
レベルまで増幅された後、演算装置5に与えられ、演算
装置5での判定結果を表示装置6に与えて表示する。
尚、プリアンプ3とメインアンプ4とで増幅器を構成し
ている。
ーラ(送信装置)7に送られ、その判定結果に対応した
制御信号8の形で介護用ロボット9に無線で与えられ
る。もちろん、この制御信号8を有線で与えてもよい。
を示しており、以下、この図2のフローチャートを参照
して演算装置5における演算処理について説明する。
各センサ21 〜26 の出力アナログ信号を入力してそれ
ぞれディジタル信号に変換する(ステップS1)。
ーリエ変換(FFT)を施して時間情報から周波数情報
に変換する(ステップS2)。
説明すると、時系列の長さをT秒とした時、1個のセン
サに付き1/T〔Hz〕毎にフーリエ変換値が周波数スペ
クトルにおけるスペクトルパワーとして図3に示すよう
に発生する。この場合の周波数は、1/T〔Hz〕毎に離
散的になる。最高周波数は1/2τ〔Hz〕(τは脳波を
A/D変換するときのサンプリング間隔)である。
T)=T/2τ個のフーリエ変換値が発生することにな
る。各周波数毎に実数部と虚数部が存在し、変数として
は全部で、(1/2τ)×2=T/τ個発生する。
抽出する(ステップS3)。
対値を加え合わせた数値の組が、与えられた周波数帯域
に関する状態変数としてのスペクトルパワーを示してい
る。
中でn個のスペクトルパワーx1,x 2,x3,・・・・,xn
が得られる(ステップS4)。
各センサ出力の値同士の「相互相関」を用いてもよい。
上記のように6個のセンサを用いた場合は各周波数帯域
毎に全部で6C2=15個の相関値が得られることにな
る。
1,x2,x3,・・・・,xnを演算装置5においてソフトウ
ェアにより設けられたニューラルネットワークに与える
ことにより、このニューラルネットワークの出力値が被
介護者1の意思決定を表す値(バイナリー値)となるよ
うなニューラルネットワークの係数及びバイアスの組を
予め学習により求める(ステップS5)。
ように「右へ曲がる」、「左へ曲がる、「上昇する」、
「下降する」、「加速する」などであり、例えば「右へ
曲がる」ときには被介護者1に図1に点線で示すごとく
学習時のみヘッドホン10を付けてもらい左右別々の音
楽(又は音)を流し、右からの音楽のみに集中するよう
に、「左へ曲がる」ときには左からの音楽のみに集中す
るように、被介護者1に学習してもらうことになる。
れぞれ『右拳を握るイメージを持つ』及び『左拳を握る
イメージを持つ』ように学習し、そして「加速する」は
『頭を下げるイメージを持つ』ように学習してもらう。
身体的動作の違いを念ずればよい。
法を図3並びにこの図3の内容を示す以下の式により説
明する。尚、このニューラルネットワークはバック・プ
ロパゲーション(Back propagation)法として知られたア
ルゴリズムを用いているが、その他のアルゴリズムを用
いてもよい。
・・,xnに対して次式(1)に示すように、重み付け係
数(C)により重み付けを行い、更にこの乗算結果にバ
イアス(B)を加算する。そして、この演算結果を(y
1,y2,y3,y4,y5)と定義する。
わせて出力ニューロンの数N=5としてしているが、後
述するようにこのニューロンの数Nは適当に選択するこ
とができる。
更に図3に示すような非線型関数Fによって次式(2)
に示すように値(z1,z2,z3,z4,z5)に変換される。
4,z5)に対して次式(3)に示すように、例えば脳の神
経活動としての「意思決定」に適用すると、被介護者1
にとって「右へ曲がる」、「左へ曲がる」、「上昇す
る」、「下降する」、「加速する」を示すものとして、
上記の例の如く、ヘッドホンの左右の異なる音楽を該被
介護者1に聴かせたり、左右の拳を握るイメージを持っ
てもらったり、或いは頭を下げるイメージを持ってもら
う。そして、このときにそれぞれの動作を選択(意識集
中)したことに対応した意思決定〜をバイナリー値
(10000),(01000),(00100),
(00010),(00001)として割り当てる。な
お、バイナリー値が“0”であるときは、例えば「右へ
曲がる」という意識を持たないことを示している。
(C)並びにバイアス(B)を繰り返し学習(Iteratio
n)により求める。
護者1に実行してもらったときの該意思決定を表す値に
対する重み付け係数(C)並びにバイアス(B)の組を
算出した後、演算装置5に内蔵したメモリ(図示せず)
に記憶しておく(ステップS5)。
(3)に示すようにメモリに記憶された重み付け係数
(C)並びにバイアス(B)の組はその被介護者1の5
つの意思決定に基づいてその解読信号を必要個数の出力
ニューロンに表示するとともにロボット制御信号となる
ために符号化が行われる。
二者択一のものであれば、上記のようにヘッドホン10
の左右の耳から入る音楽のいずれかに神経を集中するだ
けでよい。
介護者に共通した特徴をニューラルネットで抽出すれば
よい。個性差を無くして構成されたニューラルネットを
用いれば被介護者ごとに学習を行う必要は無い。
トルパワーx1,x2,x3,・・・・,xn(ステップS4)
に対して、上記の重み付け係数(C)並びにバイアス
(B)の組を適用する。
2,z3,z4,z5)は、式(3)のようなバイナリー値とし
て出力されることとなり、被介護者1の現在の意思決定
状態を表示装置6において棒グラフまたは記号や色彩等
を用いて表示することができる(ステップS6)。
意思決定の判定結果が出力されると、表示装置6ととも
にコントローラ7にも該判定結果が送られる。
定結果に対応した制御信号8を介護用ロボット9に送る
(ステップS7)。
に対応したPCM信号をロボット9に送ればよいが、無
線を利用して周波数変調を掛ける場合には、例えば「右
へ曲がる」(=1)と「右へ曲がらない」(=0)では
別々の周波数を使用する必要があるので、この場合には
10種類の制御信号となる。
8を受けて対応する制御動作を行う。
がら意思決定をして行けばよいことになる。
類して説明したが、これ以上の多くの意思決定を考慮す
ることも可能であり、これらに対応する意思決定のバイ
ナリー値も上記のように限定されるものではない。
トの制御装置によれば、対象者の身体に取り付けられて
該対象者のロボットの各運動部位に関する特徴量を検出
する複数個のセンサのディジタル出力信号をフーリエ変
換し所望周波数帯域内の複数の分割された周波数帯域毎
のスペクトルパワーを求め、ニューラルネットワークに
より該スペクトルパワーが該センサを取り付けた該対象
者の複数の意思決定を判定するバイナリー値になるよう
に該ニューラルネットワークの係数及びバイアスを学習
して求めて記憶しておきその後の各センサの出力信号と
各係数及びバイアスをニューラルネットワークに適用し
たときのバイナリー値から該対象者の意思決定を判定す
るように構成したので、音声によってもロボット操作が
できない筋萎縮側索硬化症を患っている被介護者等にお
いて意思決定をするだけでロボット制御を行うことが可
能となった。
したブロック図である。
装置の処理手順を示したフローチャート図である。
装置内のソフトウェアによるニューラルネットワーク処
理の概念を示したブロック図である。
Claims (3)
- 【請求項1】ロボットの各部に対応した固有の信号を送
出して動作制御を行うロボットの制御装置において、 対象者の身体に取り付けられて該対象者の該ロボットの
各運動部位に関する特徴量を検出する複数個のセンサ
と、各センサの出力信号を増幅する増幅器と、該増幅器
の各出力信号をディジタル信号に変換すると共に各ディ
ジタル信号をフーリエ変換し所望周波数帯域内の複数の
分割された周波数帯域毎のスペクトルパワーを求め、更
にニューラルネットワークにより該スペクトルパワーが
該センサを取り付けた該対象者の二者択一の意思決定に
対してバイナリー値になるように該ニューラルネットワ
ークの係数及びバイアスを予め学習により求めて記憶し
ておきその後の各センサの出力信号と各係数及びバイア
スを該ニューラルネットワークに適用したときのバイナ
リー値から該対象者の意思決定を判定する演算装置と、
該演算装置による意思決定の判定結果に対応する該固有
の信号を送信するコントローラと、を備えたことを特徴
とするロボットの制御装置。 - 【請求項2】該演算装置が、該特徴量として頭皮上電位
であることを特徴とした請求項1に記載のロボットの制
御装置。 - 【請求項3】該演算装置が、該スペクトルパワーの代わ
りに各センサ出力同士の相互相関係数を用いることを特
徴とした請求項1に記載のロボットの制御装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04936897A JP3161990B2 (ja) | 1997-03-04 | 1997-03-04 | ロボットの制御装置 |
US08/904,043 US6349231B1 (en) | 1994-01-12 | 1997-07-31 | Method and apparatus for will determination and bio-signal control |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04936897A JP3161990B2 (ja) | 1997-03-04 | 1997-03-04 | ロボットの制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10244480A true JPH10244480A (ja) | 1998-09-14 |
JP3161990B2 JP3161990B2 (ja) | 2001-04-25 |
Family
ID=12829090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04936897A Expired - Fee Related JP3161990B2 (ja) | 1994-01-12 | 1997-03-04 | ロボットの制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3161990B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072606A (ja) * | 2004-09-01 | 2006-03-16 | National Institute Of Information & Communication Technology | インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置 |
JP2009032213A (ja) * | 2007-07-31 | 2009-02-12 | Hitachi Ltd | 脳機能計測による外部環境制御装置 |
JP2010520019A (ja) * | 2007-03-08 | 2010-06-10 | エムセンス コーポレイション | 関与反応を測定し評価する方法及びシステム |
JP2010207254A (ja) * | 2009-03-06 | 2010-09-24 | Konica Minolta Holdings Inc | 光出射プローブ、光出射装置、生体情報検出装置およびブレイン・マシン・インターフェース |
JP2010541091A (ja) * | 2007-10-04 | 2010-12-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ブレインコンピュータインタフェースに関する改良 |
CN105078450A (zh) * | 2015-08-24 | 2015-11-25 | 华南理工大学 | 一种可实现脑电检测的健康服务机器人 |
CN107538492A (zh) * | 2017-09-07 | 2018-01-05 | 福物(上海)机器人科技有限公司 | 移动机器人的智能操控系统、方法及智能学习方法 |
-
1997
- 1997-03-04 JP JP04936897A patent/JP3161990B2/ja not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072606A (ja) * | 2004-09-01 | 2006-03-16 | National Institute Of Information & Communication Technology | インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置 |
US7873411B2 (en) | 2004-09-01 | 2011-01-18 | National Institute Of Information And Communications Technology | Interface device, interface method and control training device by the use of the interface device |
JP2010520019A (ja) * | 2007-03-08 | 2010-06-10 | エムセンス コーポレイション | 関与反応を測定し評価する方法及びシステム |
JP2009032213A (ja) * | 2007-07-31 | 2009-02-12 | Hitachi Ltd | 脳機能計測による外部環境制御装置 |
JP2010541091A (ja) * | 2007-10-04 | 2010-12-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ブレインコンピュータインタフェースに関する改良 |
JP2010207254A (ja) * | 2009-03-06 | 2010-09-24 | Konica Minolta Holdings Inc | 光出射プローブ、光出射装置、生体情報検出装置およびブレイン・マシン・インターフェース |
CN105078450A (zh) * | 2015-08-24 | 2015-11-25 | 华南理工大学 | 一种可实现脑电检测的健康服务机器人 |
CN107538492A (zh) * | 2017-09-07 | 2018-01-05 | 福物(上海)机器人科技有限公司 | 移动机器人的智能操控系统、方法及智能学习方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3161990B2 (ja) | 2001-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2540728B2 (ja) | 脳活動自動判定装置 | |
JP2593625B2 (ja) | 生体情報自動識別装置 | |
US6349231B1 (en) | Method and apparatus for will determination and bio-signal control | |
JP3310498B2 (ja) | 生体情報解析装置および生体情報解析方法 | |
KR101626748B1 (ko) | 뇌파와 근전도를 이용한 움직임 패턴 측정 장치 및 그 방법 | |
US10390722B2 (en) | Method for quantifying the perceptive faculty of a person | |
Rahman et al. | Non-contact-based driver’s cognitive load classification using physiological and vehicular parameters | |
US20190357792A1 (en) | Sensibility evaluation apparatus, sensibility evaluation method and method for configuring multi-axis sensibility model | |
Baghdadi et al. | Dasps: a database for anxious states based on a psychological stimulation | |
KR101854812B1 (ko) | 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템 | |
WO2004008958A1 (ja) | 作業中ストレス判定装置、作業中ストレス判定プログラム及び作業中ストレス判定方法 | |
JP3161990B2 (ja) | ロボットの制御装置 | |
Zhao et al. | Human-computer interaction for augmentative communication using a visual feedback system | |
JP2009285294A (ja) | 脳訓練支援装置 | |
WO2021014738A1 (ja) | 快適性運転データ収集システム、運転制御装置、方法、および、プログラム | |
Singh et al. | A multi-functional BCI system for exigency assistance and environment control based on ML and IoT | |
JP2022062574A (ja) | 人の表出情報からの脳活動状態推定 | |
JPH10262942A (ja) | 満足感計測システムおよびフィードバック装置 | |
KR20220028967A (ko) | 뉴로피드백 기반의 치료 장치 및 치료 방법 | |
JP3816762B2 (ja) | ニューラルネットワーク、ニューラルネットワークシステム及びニューラルネットワーク処理プログラム | |
EP4000520A1 (en) | Method and system for sensor signals dependent dialog generation during a medical imaging process | |
JP2766456B2 (ja) | 生体情報自動識別装置 | |
JP2003325467A (ja) | 意思伝達支援装置、及び意思伝達支援ソフトウエア | |
JP2011188961A (ja) | ヒトの感覚判定方法及びその判定装置 | |
Bharti et al. | An enhanced feature extraction method and classification method of EEG signals using artificial intelligence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20000725 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010209 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100223 Year of fee payment: 9 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100223 Year of fee payment: 9 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |