JP5256517B2 - 脳情報出力装置、ロボット、および脳情報出力方法 - Google Patents

脳情報出力装置、ロボット、および脳情報出力方法 Download PDF

Info

Publication number
JP5256517B2
JP5256517B2 JP2009041336A JP2009041336A JP5256517B2 JP 5256517 B2 JP5256517 B2 JP 5256517B2 JP 2009041336 A JP2009041336 A JP 2009041336A JP 2009041336 A JP2009041336 A JP 2009041336A JP 5256517 B2 JP5256517 B2 JP 5256517B2
Authority
JP
Japan
Prior art keywords
intention
probability
identifier
brain activity
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009041336A
Other languages
English (en)
Other versions
JP2010198232A (ja
Inventor
雅昭 佐藤
崇人 玉川
宙人 山下
祐輔 武田
光男 川人
健太郎 山田
真弘 木村
明祐 戸田
達哉 岡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
ATR Advanced Telecommunications Research Institute International
Original Assignee
Honda Motor Co Ltd
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd, ATR Advanced Telecommunications Research Institute International filed Critical Honda Motor Co Ltd
Priority to JP2009041336A priority Critical patent/JP5256517B2/ja
Priority to PCT/JP2010/052629 priority patent/WO2010098282A1/ja
Publication of JP2010198232A publication Critical patent/JP2010198232A/ja
Application granted granted Critical
Publication of JP5256517B2 publication Critical patent/JP5256517B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14553—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dermatology (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Neurosurgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は、脳の情報を出力する脳情報出力装置等に関するものである。
近年、脳に対する生理学的な知見の充実、脳計測機器の発展、高性能なコンピュータのコストダウン、および機械学習の分野の進歩等に伴い、脳・機械インタフェース（Brain Machine Interface:ＢＭＩ）に関する研究が注目を浴びてきている（非特許文献１）。ＢＭＩは、脳と機械をつなぐインタフェースである。ＢＭＩは、人が考えた時や、何らかの行動した際に生ずる脳活動の信号を計測し、その計測データに信号処理技術を施すことにより、ユーザの意図を汲み出すものである。
Toward Brain-Computer Interfacing (Neural Information Processing)、 MIT Press、 ISBN 978-0262042444
しかしながら、従来のＢＭＩにおいて、脳活動データは１つの脳活動計測装置から取得されたデータであることが多い。従来のＢＭＩにおいて、１種類の脳活動データのみを利用した場合、意図の検出精度が高くない場合がある、という課題があった。
また、脳活動計測装置によって、ユーザの意図によって、その意図の検出が得意である意図、不得意である意図がある。
本第一の発明の脳情報出力装置は、ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得部と、前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得部と、前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出部と、前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出部と、前記第一確率算出部が算出した意図識別子ごとの第一確率、および前記第二確率算出部が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定部と、前記意図決定部が取得した意図識別子を出力する出力部とを具備する脳情報出力装置である。
かかる構成により、複数の脳活動データを利用して、ユーザの意図を決定するため、精度高く、意図を検出できる。
また、本第二の発明の脳情報出力装置は、第一の発明に対して、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第一脳活動データと同一種類のデータである第一学習データから抽出された１以上の特徴量である第一学習特徴量群とを対に有する第一意図判別情報を、２以上格納し得る第一意図判別情報格納部と、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第二脳活動データと同一種類のデータである第二学習データから抽出された１以上の特徴量である第二学習特徴量群とを対に有する第二意図判別情報を、２以上格納し得る第二意図判別情報格納部とをさらに具備し、前記第一確率算出部は、前記第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する第一特徴量群取得手段と、前記第一意図判別情報格納部の２以上の第一意図判別情報を用いて、前記第一特徴量群取得手段が取得した第一入力特徴量群が、前記２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、前記２以上の意図識別子ごとに算出する第一確率算出手段とを具備し、前記第二確率算出部は、前記第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する第二特徴量群取得手段と、前記第二意図判別情報格納部の２以上の第二意図判別情報を用いて、前記第二特徴量群取得手段が取得した第二入力特徴量群が、前記２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、前記２以上の意図識別子ごとに算出する第二確率算出手段とを具備する脳情報出力装置である。
かかる構成により、複数の脳活動データを利用して、ユーザの意図を決定するため、精度高く、意図を検出できる。
また、本第三の発明の脳情報出力装置は、第一、第二いずれかの発明に対して、前記意図決定部は、前記意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、前記意図識別子ごとの最終的な確率を算出する第三確率算出手段と、前記意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備する脳情報出力装置である。
かかる構成により、複数の脳活動データから得られる各確率を統合して、意図ごとに確率を算出するため、精度高く、意図を検出できる。
また、本第四の発明の脳情報出力装置は、第三の発明に対して、前記第三確率算出手段は、前記第一確率と前記第二確率とで、異なる重みを用いて、前記意図識別子ごとの最終的な確率を算出する脳情報出力装置である。
かかる構成により、脳活動計測装置の特性を考慮して、意図を検出するので、さらに精度高く、意図を検出できる。
また、本第五の発明の脳情報出力装置は、第一の発明に対して、前記第一確率算出部は、前記第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出し、前記第二確率算出部は、前記第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出する脳情報出力装置である。
かかる構成により、それぞれの脳活動計測装置の得意とする意図のみを使って、意図を検出するので、さらに精度高く、意図を検出できる。
また、本第六の発明の脳情報出力装置は、第一から第五いずれかの発明に対して、前記第一脳活動データ取得部は、近赤外線光計測装置であり、前記第二脳活動データ取得部は、脳波計測装置である脳情報出力装置である。
かかる構成により、精度高く、意図を検出できる。
本発明による脳情報出力装置によれば、精度高く、意図を検出できる。
本実施の形態１におけるロボットシステム１の概念図 同ロボットシステム１のブロック図 同脳情報出力装置１１の動作について説明するフローチャート 同脳情報出力装置１１の動作について説明するフローチャート 同ロボット１２の動作について説明するフローチャート 同脳情報出力装置１１の概念図 同ユーザが頭部にかぶる測定器具を示す図 同第一意図判別情報の例を示す図 同第二意図判別情報の例を示す図 同第一脳活動データの例を示す図 同第二脳活動データの例を示す図 同第一脳活動データ、第二脳活動データのグラフ 同第一特徴量群の例を示す図 同かかる第一確率の例を示す図 同第二特徴量群の例を示す図 同第二確率の例を示す図 同コンピュータシステムの概観図 同コンピュータシステムのブロック図 同確率算出アルゴリズムを説明するための図 同確率算出アルゴリズムを説明するための図
以下、脳情報出力装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）
本実施の形態において、複数の脳活動計測装置によって得られた複数の脳活動データから、ユーザの意図を決定する脳情報出力装置について説明する。なお、本実施の形態において、主として、２つの脳活動計測装置によって得られた２つの脳活動データから、ユーザの意図を決定する脳情報出力装置について説明するが、３つ以上の脳活動計測装置によって得られた３つ以上の脳活動データから、ユーザの意図を決定する脳情報出力装置であっても良い。脳活動データが２つの場合も、３つ以上の場合も、ユーザの意図を決定する方法は同様である。
また、本実施の形態において、複数の脳活動計測装置から得られる複数の脳活動データのそれぞれに対して、重み付けして、ユーザの意図を決定する脳情報出力装置についても説明する。なお、脳活動データに対する重み付けは、脳活動データから得られた確率に対する重み付けと同意義である。
また、本実施の形態において、各脳活動計測装置が、得意とする意図のみを使って、最終的な意図を決定する脳情報出力装置についても説明する。
さらに、本実施の形態において、脳情報出力装置の出力を受けて動作するロボットを含むロボットシステムについても説明する。
図１は、本実施の形態におけるロボットシステム１の概念図である。ロボットシステム１は、脳情報出力装置１１、ロボット１２を具備する。脳情報出力装置１１は、ユーザからの脳情報を取得し、ユーザの意図を検出し、当該意図を示す意図識別子をロボット１２に出力する装置である。また、ロボット１２は、脳情報出力装置１１から意図識別子を受け取り、当該意図識別子に対応する動作を行う電子機器である。ロボット１２は、いわゆる人型の形状を有する電子機器でも良いが、他の形状を有する電子機器でも良い。ロボット１２は、例えば、四輪車、二輪車、航空機、電車などの移動体でも良い。
図２は、本実施の形態におけるロボットシステム１のブロック図である。脳情報出力装置１１は、第一学習データ取得部１０１、第一学習特徴量群取得部１０２、第一意図判別情報蓄積部１０３、第二学習データ取得部１０４、第二学習特徴量群取得部１０５、第二意図判別情報蓄積部１０６、第一意図判別情報格納部１１１、第二意図判別情報格納部１１２、第一脳活動データ取得部１１３、第二脳活動データ取得部１１４、第一確率算出部１１５、第二確率算出部１１６、意図決定部１１７、出力部１１８を具備する。
第一確率算出部１１５は、第一特徴量群取得手段１１５１、第一確率算出手段１１５２を具備する。
第二確率算出部１１６は、第二特徴量群取得手段１１６１、第二確率算出手段１１６２を具備する。
意図決定部１１７は、第三確率算出手段１１７１、意図識別子取得手段１１７２を具備する。
ロボット１２は、動作情報格納部１２１、意図識別子受付部１２２、実行部１２３を具備する。
第一学習データ取得部１０１は、一の意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から一の学習データ（第一学習データ）を取得する。第一学習データ取得部１０１は、例えば、近赤外線光計測装置である。近赤外線光計測装置とは、近赤外光を用いて頭皮上から非侵襲的に脳機能マッピングする、「光機能画像法」の原理を応用した装置である。また、第一学習データ取得部１０１は、例えば、脳波計測装置である。脳波計測装置は、脳波を計測する装置である。脳波を計測する機能を有する装置として、例えば、ＢｉｏＳｅｍｉ社の装置（ＡｃｔｉｖｅＴｗｏシステム）等が存在する。また、第一学習データ取得部１０１は、例えば、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)なども良い。
また、一の学習データとは、一連の行為を行った際に、観測される一連のデータである。一の学習データは、通常、時系列的なデータである。一の学習データは、例えば、１０秒間の、脳の複数地点の血流量を示す情報である。
第一学習特徴量群取得部１０２は、第一学習データから第一学習特徴量群を取得する。第一学習特徴量群は、１以上の特徴量の集合である。第一学習特徴量群取得部１０２は、例えば、第一学習データに対して信号処理し、特徴量を取得する。ここで、信号処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値の算出、移動平均の算出、センサー選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算（ヒルベルト変換）、空間フィルターによる処理、逆問題フィルターによる処理、などである。そして、特徴量とは、例えば、上記の信号処理により、算出されるデータであり、例えば、平均値、分散、Phase Locking 値などである。なお、第一学習特徴量群を構成する特徴量は、第一学習データの特性を示すデータであれば、何でも良い。また、第一学習特徴量群取得部１０２が行う信号処理の数は、複数でも良い。また、上記の各種の信号処理の例は、公知技術であるので詳細な説明を省略する。第一学習特徴量群取得部１０２は、通常、ＭＰＵやメモリ等から実現され得る。第一学習特徴量群取得部１０２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
第一意図判別情報蓄積部１０３は、第一学習特徴量群取得部１０２が取得した第一学習特徴量群と、一の意図を識別する意図識別子とを対応付けて、第一意図判別情報格納部１１１に蓄積する。この意図識別子と第一学習特徴量群が意図判別情報である。意図識別子は、ユーザが入力しても良いし、第三者が入力しても良いし、脳情報出力装置１１が予め保持していても良い。意図識別子の入力方法は問わない。第一意図判別情報蓄積部１０３は、通常、ＭＰＵやメモリ等から実現され得る。第一意図判別情報蓄積部１０３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
第二学習データ取得部１０４は、一の意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から一の学習データ（第二学習データ）を取得する。第二学習データ取得部１０４は、例えば、脳波計測装置である。また、第二学習データ取得部１０４は、例えば、近赤外線光計測装置である。また、第二学習データ取得部１０４は、例えば、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)なども良い。
第二学習特徴量群取得部１０５は、第二学習データから第二学習特徴量群を取得する。第二学習特徴量群は、１以上の特徴量の集合である。第二学習特徴量群取得部１０５は、例えば、第二学習データに対して信号処理し、特徴量を取得する。ここで、信号処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値の算出、移動平均の算出、センサー選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算（ヒルベルト変換）、空間フィルターによる処理、逆問題フィルターによる処理、などである。第二学習特徴量群取得部１０５は、通常、ＭＰＵやメモリ等から実現され得る。第二学習特徴量群取得部１０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
第二意図判別情報蓄積部１０６は、第二学習特徴量群取得部１０５が取得した第二学習特徴量群と、一の意図を識別する意図識別子とを対応付けて、第二意図判別情報格納部１１２に蓄積する。この意図識別子と第二学習特徴量群が意図判別情報である。意図識別子は、ユーザが入力しても良いし、第三者が入力しても良いし、脳情報出力装置１１が予め保持していても良い。意図識別子の入力方法は問わない。第二意図判別情報蓄積部１０６は、通常、ＭＰＵやメモリ等から実現され得る。第二意図判別情報蓄積部１０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
第一意図判別情報格納部１１１は、２以上の第一意図判別情報を格納し得る。第一意図判別情報は、意図識別子と第一学習特徴量群とを対に有する情報である。意図識別子は、ユーザの意図を識別する情報である。意図とは、体の一部（例えば、右手、左手、舌、足など）を動かす行為や、特定のこと（例えば、右手を動かしていること、舌を出したこと、走っていることなど）を想像することなど、ユーザが考えて脳の活動に反映されることである。また、意図識別子は、例えば、ユーザが動かす体の部分であり、例えば、「右手」「左手」「舌」「足」の４つである。また、意図識別子は、例えば、「右手」「左手」の２つであっても良い。意図識別子の数は問わないが、意図識別子の数は少ない方が、通常、脳情報出力装置１１が出力する意図識別子がユーザの意図と合致している可能性は高い、と考えられる。第一学習特徴量群は、第一学習データから抽出された１以上の特徴量の情報である。第一学習データとは、意図識別子で識別される意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から取得されたデータであり、第一脳活動データと同一種類のデータである。
第一意図判別情報格納部１１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
第一意図判別情報格納部１１１に第一意図判別情報が記憶される過程は問わない。例えば、記録媒体を介して第一意図判別情報が第一意図判別情報格納部１１１で記憶されるようになってもよく、通信回線等を介して送信された第一意図判別情報が第一意図判別情報格納部１１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された第一意図判別情報が第一意図判別情報格納部１１１で記憶されるようになってもよい。
第二意図判別情報格納部１１２は、２以上の第二意図判別情報を格納し得る。第二意図判別情報は、意図識別子と第二学習特徴量群とを対に有する情報である。第二学習特徴量群は、第二学習データから抽出された１以上の特徴量の情報である。第二学習データとは、意図識別子で識別される意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から取得されたデータであり、第二脳活動データと同一種類のデータである。また、第二学習データは、第一学習データとは異なる種類のデータである。
第二意図判別情報格納部１１２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
第二意図判別情報格納部１１２に第二意図判別情報が記憶される過程は問わない。例えば、記録媒体を介して第二意図判別情報が第二意図判別情報格納部１１２で記憶されるようになってもよく、通信回線等を介して送信された第二意図判別情報が第二意図判別情報格納部１１２で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された第二意図判別情報が第二意図判別情報格納部１１２で記憶されるようになってもよい。
第一脳活動データ取得部１１３は、第一脳活動データを、ユーザから取得する。第一脳活動データは、ユーザが一の意図を示した際に、当該ユーザから取得された脳活動の第一のデータである。第一脳活動データは、ＮＩＲＳ（近赤外分光分析）、ｆＭＲＩ（機能的ＭＲＩ）、ＭＥＧ（脳磁計）、ＥＥＧ（脳波計）により取得されるデータなどである。第一脳活動データは、脳活動を示すデータであれば何でもよい。なお、第一脳活動データは第一学習データと同じ種類のデータである。第一脳活動データ取得部１１３は、例えば、近赤外線光計測装置である。また、第一脳活動データ取得部１１３は、例えば、脳波計測装置である。また、第一脳活動データ取得部１１３は、例えば、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)などでも良い。ただし、第一脳活動データと第二脳活動データは、異なる種類のデータである。
第二脳活動データ取得部１１４は、第二脳活動データを、ユーザから取得する。第二脳活動データは、ユーザが一の意図を示した際に、当該ユーザから取得された脳活動の第二のデータであり、第一脳活動データとは異なる種類のデータである。第二脳活動データは、第一脳活動データと同様、ＮＩＲＳ（近赤外分光分析）、ｆＭＲＩ（機能的ＭＲＩ）、ＭＥＧ（脳磁計）、ＥＥＧ（脳波計）により取得されるデータなどである。第二脳活動データは、脳活動を示すデータであれば何でもよい。なお、第二脳活動データは第二学習データと同じ種類のデータである。第二脳活動データ取得部１１４は、例えば、脳波計測装置である。第二脳活動データ取得部１１４は、脳波計測装置、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)などでも良い。
第一確率算出部１１５は、第一脳活動データから、ユーザにより示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する。第一確率算出部１１５は、第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出しても良い。意図識別子ごととは、通常、すべての意図識別子の確率を算出するが、すべての意図識別子の確率を算出しない場合もあり得る。第一確率算出部１１５は、第一脳活動データが得意とする意図に対応する意図識別子の確率のみを算出しても良い。つまり、第一確率算出部１１５は、例えば、第一脳活動データが得意とする意図識別子「右手」および「左手」のみの第一確率を算出しても良い。第一確率算出部１１５は、好ましくは、後述する第一特徴量群取得手段１１５１、第一確率算出手段１１５２により、第一確率を算出する。ただし、第一確率算出部１１５は、第一特徴量群取得手段１１５１、第一確率算出手段１１５２以外の手段により、第一確率を算出しても良い。第一確率算出部１１５は、通常、ＭＰＵやメモリ等から実現され得る。第一確率算出部１１５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
第一特徴量群取得手段１１５１は、第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する。第一特徴量群取得手段１１５１は、第一脳活動データを信号処理することにより、１以上の特徴量を取得する。第一特徴量群取得手段１１５１の処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値、移動平均の算出、センサー選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算（ヒルベルト変換）、空間フィルターによる処理、逆問題フィルターによる処理などの信号処理である。また、特徴量とは、平均値、分散など、何でも良い。第一特徴量群取得手段１１５１は、通常、ＭＰＵやメモリ等から実現され得る。第一特徴量群取得手段１１５１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
第一確率算出手段１１５２は、第一意図判別情報格納部１１１の２以上の第一意図判別情報を用いて、第一特徴量群取得手段１１５１が取得した第一入力特徴量群が、２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、２以上の意図識別子ごとに算出する。
意図識別子が２つ（２種類）の場合、例えば、第一確率算出手段１１５２は、以下のように意図識別子ごとの確率を算出する。つまり、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第一の意図識別子］、またはクラス２［第二の意図識別子］）に分けるための境界面の情報を得る。かかる概念を図１９に示す。
次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する（図２０参照）。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０〜１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０〜１）を、第一の意図識別子の確率とする。そして、第一確率算出手段１１５２は、第二の意図識別子の確率を、「１−第一の意図識別子の確率」により算出する。
また、意図識別子が４つ（４種類）の場合、例えば、第一確率算出手段１１５２は、以下のように意図識別子ごとの確率を算出する。つまり、上記２つの意図識別子の場合の処理を拡張する。まず、第一の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第一の意図識別子］、またはクラス２［第二の意図識別子または第三の意図識別子または第四の意図識別子）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０〜１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０〜１）を、第一の意図識別子の確率とする。次に、確率算出手段１１８１は、第二の意図識別子または第三の意図識別子または第四の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１−第一の意図識別子の確率」により算出する。
そして、次に、第二の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第二の意図識別子］、またはクラス２［第一の意図識別子または第三の意図識別子または第四の意図識別子）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０〜１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０〜１）を、第二の意図識別子の確率とする。次に、第一確率算出手段１１５２は、第一の意図識別子または第三の意図識別子または第四の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１−第二の意図識別子の確率」により算出する。
そして、次に、第三の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第三の意図識別子］、またはクラス２［第一の意図識別子または第二の意図識別子または第四の意図識別子）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０〜１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０〜１）を、第三の意図識別子の確率とする。次に、第一確率算出手段１１５２は、第一の意図識別子または第二の意図識別子または第四の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１−第三の意図識別子の確率」により算出する。
そして、次に、第四の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第四の意図識別子］、またはクラス２［第一の意図識別子または第二の意図識別子または第三の意図識別子）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０〜１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０〜１）を、第四の意図識別子の確率とする。次に、第一確率算出手段１１５２は、第一の意図識別子または第二の意図識別子または第三の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１−第四の意図識別子の確率」により算出する。
そして、第一確率算出手段１１５２は、上記で取得した確率をマージすることにより、第一の意図識別子から第四の意図識別子の確率を取得する。ここで、マージとは、前記の第一の意図識別子の確率（Ｐ１）、前記の第一以外の意図識別子の確率（Ｐ２３４）、前記の第二の意図識別子の確率（Ｐ２）、前記の第二以外の意図識別子の確率（Ｐ１３４）、前記の第三の意図識別子の確率（Ｐ３）、前記の第三以外の意図識別子の確率（Ｐ１２４）、前記の第四の意図識別子の確率（Ｐ４）、前記の第四以外の意図識別子の確率（Ｐ１２３）の８つの確率から求める操作のことを言う。マージした第一の意図識別子の確率はＰ１×Ｐ１３４×Ｐ１２４×Ｐ１２３、マージした第二の意図識別子の確率はＰ２３４×Ｐ２×Ｐ１２４×Ｐ１２３、マージした第三の意図識別子の確率はＰ２３４×Ｐ１３４×Ｐ３×Ｐ１２３、マージした第四の意図識別子はＰ２３４×Ｐ１３４×Ｐ１２４×Ｐ４のように求めることが好適である。なお、確率を正規化する操作を加えても良い。また、ここで、正規化とは、マージした第一の意図識別子の確率から第四の意図識別子の確率までを足した値でそれぞれの確率を割ることで、全てを足した確率が１になるようにする操作である。
第一確率算出手段１１５２は、通常、ＭＰＵやメモリ等から実現され得る。第一確率算出手段１１５２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
第二確率算出部１１６は、第二脳活動データから、ユーザにより示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する。
第二確率算出部１１６は、第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出する。第二確率算出部１１６は、第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出しても良い。意図識別子ごととは、通常、すべての意図識別子の確率を算出するが、すべての意図識別子の確率を算出しない場合もあり得る。第二確率算出部１１６は、第二脳活動データが得意とする意図に対応する意図識別子の確率のみを算出しても良い。つまり、第二確率算出部１１６は、例えば、第二脳活動データが得意とする意図識別子「舌」および「足」のみの第二確率を算出しても良い。第二確率算出部１１６の第二確率の算出方法は、第一確率算出部１１５の第一確率の算出方法と同様で良い。
第二確率算出部１１６は、通常、ＭＰＵやメモリ等から実現され得る。第二確率算出部１１６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
第二特徴量群取得手段１１６１は、第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する。第二特徴量群取得手段１１６１は、第二脳活動データを信号処理することにより、１以上の特徴量を取得する。第二特徴量群取得手段１１６１が行う信号処理は、通常、第一特徴量群取得手段１１５１が行う信号処理と同様である。第二特徴量群取得手段１１６１は、通常、ＭＰＵやメモリ等から実現され得る。第二特徴量群取得手段１１６１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
第二確率算出手段１１６２は、第二意図判別情報格納部１１２の２以上の第二意図判別情報を用いて、第二特徴量群取得手段１１６１が取得した第二入力特徴量群が、２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、２以上の意図識別子ごとに算出する。第二確率算出手段１１６２の第二確率の算出処理方法は、通常、第一確率算出手段１１５２の第一確率の算出処理方法と同様である。第二確率算出手段１１６２は、通常、ＭＰＵやメモリ等から実現され得る。第二確率算出手段１１６２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
意図決定部１１７は、第一確率算出部１１５が算出した意図識別子ごとの第一確率、および第二確率算出部１１６が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する。意図決定部１１７は、第一確率および第二確率をどのように用いて、意図識別子を取得するかは問わない。意図決定部１１７は、第一確率がよい高い意図識別子、第二確率がよい高い意図識別子を取得する方向に判断することは言うまでもない。意図決定部１１７は、通常、ＭＰＵやメモリ等から実現され得る。意図決定部１１７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
第三確率算出手段１１７１は、意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、意図識別子ごとの最終的な確率を算出する。第三確率算出手段１１７１は、第一確率と第二確率とで、異なる重みを用いて、意図識別子ごとの最終的な確率を算出することは好適である。
第三確率算出手段１１７１は、例えば、以下の数式１に基づいて、意図識別子ごとの最終的な確率を算出する。つまり、第三確率算出手段１１７１は、第一確率算出手段１１５２が算出した意図識別子ごとの第一確率と、第二確率算出手段１１６２が算出した意図識別子ごとの第二確率とを、数式１に代入し、意図識別子ごとの最終的な確率を算出する。なお、第三確率算出手段１１７１は、数式１の情報を予め保持している。また、数式１は、第一確率と第二確率とを統合して、意図識別子ごとの最終的な確率を算出する数式である。
数式１において、第一脳活動データは、近赤外線光計測装置により取得されたヘモグロビン量の時系列のデータである。また、第二脳活動データは、脳波計測装置により取得された脳波の時系列のデータである。
また、数式１において、意図識別子は、左手「Ｌｅｆｔ」、右手「Ｒｉｇｈｔ」、舌「Ｔｏｎｇｕｅ」、足「Ｆｏｏｔ」の4種類である。
また、数式１において、ＰＮＩＲＳ Ｌｅｆｔ（数式１において上付きの文字列と下付きの文字列は上限に並んでいるが、上付きの文字列と下付きの文字が上下に整列しているものと、ずれているものとは同一のものである。）は、第一確率算出部１１５が算出した、意図識別子「Ｌｅｆｔ」である第一確率、ＰＮＩＲＳ Ｒｉｇｈｔは第一確率算出部１１５が算出した意図識別子「Ｒｉｇｈｔ」である第一確率、ＰＮＩＲＳ Ｔｏｎｇｕｅは第一確率算出部１１５が算出した意図識別子「Ｔｏｎｇｕｅ」である第一確率、ＰＮＩＲＳ Ｆｏｏｔは第一確率算出部１１５が算出した意図識別子「Ｆｏｏｔ」である第一確率である。また、ＰＥＥＧ Ｌｅｆｔは第二確率算出部１１６が算出した意図識別子「Ｌｅｆｔ」である第二確率、ＰＥＥＧ Ｒｉｇｈｔは第二確率算出部１１６が算出した意図識別子「Ｒｉｇｈｔ」である第二確率、ＰＥＥＧ Ｔｏｎｇｕｅは第二確率算出部１１６が算出した意図識別子「Ｔｏｎｇｕｅ」である第二確率、ＰＥＥＧ Ｆｏｏｔは第二確率算出部１１６が算出した意図識別子「Ｆｏｏｔ」である第二確率である。また、Ｐｔｏｔａｌ ｔｅｘｔは最終的な確率である。Ｐｔｏｔａｌ ｔｅｘｔは、意図識別子ＴＥＸＴ（Ｌｅｆｔ、Ｒｉｇｈｔ、Ｔｏｎｇｕｅ、またはＦｏｏｔ）の最終的な確率である。
また、数式１において、ｗは重みを示す重みパラメータである。「ｗ＝１」の場合、第一確率も第二確率も同じ重みで扱うことを示す。「ｗ＝２」の場合、第一確率より第二確率の方に重きを置いて扱うことを示す。
また、数式１において、ｉは、「Ｌｅｆｔ、Ｒｉｇｈｔ、Ｔｏｎｇｕｅ、Ｆｏｏｔ」のいずれかをとり得る。さらに、ＰＮＩＲＳ ｉは、近赤外線光計測装置から得られる確率、ＰＥＥＧ ｉは、脳波から得られる確率である。
また、第三確率算出手段１１７１は、第一脳活動データ取得部１１３（第一脳活動データと言っても良い）が得意とする意図（例えば、左手「Ｌｅｆｔ」、右手「Ｒｉｇｈｔ」）のみを使い、かつ第二脳活動データ取得部１１４（第二脳活動データと言っても良い）が得意とする意図（例えば、左手「Ｔｏｎｇｕｅ」、右手「Ｆｏｏｔ」）のみを使って、意図識別子ごとの最終的な確率を取得しても良い。かかる場合、第三確率算出手段１１７１は、第一脳活動データ取得部１１３を識別する情報や第二脳活動データ取得部１１４を識別する情報と、得意とする意図を識別する意図識別子を対応付けて保持している。
第三確率算出手段１１７１は、通常、ＭＰＵやメモリ等から実現され得る。第三確率算出手段１１７１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
意図識別子取得手段１１７２は、意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する。意図識別子取得手段１１７２は、通常、一の意図識別子のみを取得する。意図識別子取得手段１１７２は、通常、ＭＰＵやメモリ等から実現され得る。意図識別子取得手段１１７２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
出力部１１８は、意図決定部１１７が取得した意図識別子を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。なお、出力とは、ロボット１２への意図識別子の送付が好適である。出力部１１８は、例えば、ロボット１２へ意図識別子を送付する通信手段で実現され得る。
動作情報格納部１２１は、２以上の動作情報を格納し得る。動作情報とは、意図識別子と当該意図識別子に対応する動作を行わせる動作モジュールとの組である。動作モジュールとは、ハードウェアで実現されていても良いし、ソフトウェアで実現されていても良いし、ハードウェアとソフトウェアで実現されていても良い。動作情報格納部１２１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。動作情報格納部１２１に動作情報が記憶される過程は問わない。例えば、記録媒体を介して動作情報が動作情報格納部１２１で記憶されるようになってもよく、通信回線等を介して送信された動作情報が動作情報格納部１２１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された動作情報が動作情報格納部１２１で記憶されるようになってもよい。
意図識別子受付部１２２は、脳情報出力装置１１から出力された意図識別子を受け付ける。受け付けとは、通信手段を用いた受信や、ソフトウェアによる情報（意図識別子）の引き渡し等である。
実行部１２３は、意図識別子受付部１２２が受け付けた意図識別子に対応する動作モジュールを実行する。動作モジュールが実現する動作内容は何でも良い。実行部１２３は、通常、ＭＰＵやメモリ等から実現され得る。実行部１２３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、ロボットシステム１の動作について説明する。まず、脳情報出力装置１１の動作について説明する。図３は、脳情報出力装置１１が学習データを取得する動作を説明するフローチャートである。学習データとは、ここでは、第一意図判別情報または第二意図判別情報である。なお、図３のフローチャートにおいて、学習データの種類は、３以上でも対応可能なフローを示している。
（ステップＳ３０１）脳情報出力装置１１の図示しない出力手段は、ユーザに対して、一の意図に対応する行為を行うように指示を出力する。出力手段が出力する指示の情報は、出力手段が予め保持している、とする。指示の情報とは、例えば、「右手を１０秒間、１０Ｈｚで、握ったり、開いたりしてください。」「１０秒間、舌を出し入れしてください。」「右手を握ったり、開いたりしていることを想像してください。」など、ユーザの脳活動に影響を与える動作をユーザにおこさせるための指示の情報である。
（ステップＳ３０２）例えば、第一意図判別情報蓄積部１０３等の意図判別情報蓄積部は、ステップＳ３０１で出力された指示に対応する意図識別子を取得する。意図判別情報蓄積部は、ステップＳ３０１で出力された指示に対応する意図識別子を、予め保持している、とする。
（ステップＳ３０３）第一学習データ取得部１０１、第二学習データ取得部１０４等の学習データ取得部は、それぞれに対応する学習データを取得する。ここで、２以上のすべての学習データが取得される。
（ステップＳ３０４）脳情報出力装置１１は、カウンタｉに１を設定する。
（ステップＳ３０５）脳情報出力装置１１は、ステップＳ３０３で取得された学習データのうち、ｉ番目の学習データが存在するか否かを判断する。ｉ番目の学習データが存在すればステップＳ３０６に行き、ｉ番目の学習データが存在しなければ処理を終了する。
（ステップＳ３０６）ｉ番目の学習データに対応する学習特徴量群取得部（例えば、第一学習特徴量群取得部１０２や、第二学習特徴量群取得部１０５など）は、ｉ番目の学習データから、ｉ番目の学習特徴量群を取得する。
（ステップＳ３０７）ｉ番目の学習データに対応する意図判別情報蓄積部（例えば、第一意図判別情報蓄積部１０３や、第二意図判別情報蓄積部１０６など）は、ｉ番目の学習特徴量群と、ステップＳ３０２で取得した意図識別子とを対応付けて、ｉ番目の意図判別情報を構成する。
（ステップＳ３０８）ｉ番目の学習データに対応する意図判別情報蓄積部は、ステップＳ３０７で構成されたｉ番目の意図判別情報を、対応する意図判別情報格納部（例えば、第一意図判別情報格納部１１１、第二意図判別情報格納部１１２など）に蓄積する。
（ステップＳ３０９）脳情報出力装置１１は、カウンタｉを１、インクリメントする。ステップＳ３０５に戻る。
次に、脳情報出力装置１１が、２以上の意図判別情報を用いて、意図識別子を取得する動作を、図４のフローチャートを用いて説明する。
（ステップＳ４０１）第一脳活動データ取得部１１３、または第二脳活動データ取得部１１４などの脳活動データ取得部は、脳活動データを取得したか否かを判断する。脳活動データを取得すればステップＳ４０２に行き、脳活動データを取得しなければステップＳ４０１に戻る。
（ステップＳ４０２）脳活動データ取得部は、ステップＳ４０１で取得した脳活動データを、少なくとも一時、記録媒体に蓄積する。
（ステップＳ４０３）脳情報出力装置１１は、すべての種類の脳活動データを取得できたか否かを判断する。すべての種類の脳活動データを取得できていればステップＳ４０４に行き、取得できていなければステップＳ４０１に戻る。なお、脳情報出力装置１１は、取得するべき、すべての種類の脳活動データを識別する情報（例えば、「ＮＩＲＳ」「ＥＥＧ」など）を保持している。
（ステップＳ４０４）脳情報出力装置１１は、カウンタｉに１を代入する。
（ステップＳ４０５）第一確率算出部１１５、第二確率算出部１１６などの確率算出部は、ステップＳ４０２で蓄積された脳活動データのうち、ｉ番目の種類の脳活動データが存在するか否かを判断する。ｉ番目の種類の脳活動データが存在すればステップＳ４０６に行き、ｉ番目の種類の脳活動データが存在しなければステップＳ４０９に行く。
（ステップＳ４０６）第一特徴量群取得手段１１５１、または第二特徴量群取得手段１１６１などの特徴量群取得手段は、ｉ番目の種類の脳活動データから、ｉ番目の特徴量群を取得する。
（ステップＳ４０７）第一確率算出手段１１５２、第二確率算出手段１１６２などの確率算出手段は、ｉ番目の意図判別情報（対応する意図判別情報格納部に存在する）を用いて、意図識別子ごとのｉ番目の確率を算出する。
（ステップＳ４０８）脳情報出力装置１１は、カウンタｉを１、インクリメントする。ステップＳ４０５に戻る。
（ステップＳ４０９）第三確率算出手段１１７１は、意図識別子ごとに、第一確率から第（ｉ−１）確率を用いて、最終的な確率を算出する。かかる算出式は、例えば、数式１である。
（ステップＳ４１０）意図識別子取得手段１１７２は、ステップＳ４０９で算出した意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する。
（ステップＳ４１１）出力部１１８は、ステップＳ４１０で取得された意図識別子を出力する。処理を終了する。
次に、ロボット１２の動作について、図５のフローチャートを用いて説明する。
（ステップＳ５０１）意図識別子受付部１２２は、脳情報出力装置１１から出力された意図識別子を受け付けたか否かを判断する。意図識別子を受け付ければステップＳ５０２に行き、意図識別子を受け付けなければステップＳ５０１に戻る。
（ステップＳ５０２）実行部１２３は、ステップＳ５０１で受け付けられた意図識別子に対応する動作モジュールを、動作情報格納部１２１から読み出す。
（ステップＳ５０３）実行部１２３は、ステップＳ５０２で読み出した動作モジュールを実行する。ステップＳ５０１に戻る。
以上の処理により、ユーザが意図した行為（思考を含む）に対応する動作が、ロボット１２により行われる。
なお、図５のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
以下、本実施の形態における脳情報出力装置１１の概念を説明する。脳情報出力装置１１の概念図は図６である。
脳情報出力装置１１において、複数の脳活動計測装置（Ｓ１１−１、Ｓ１１−２）を使って、ユーザ（Ｓ１２）の脳活動をリアルタイムに測定し、脳活動データ（Ｓ１３−１、Ｓ１３−２）を得る。そして、脳情報出力装置１１において、かかる脳活動データ（Ｓ１３−１、Ｓ１３−２）を意図判別アルゴリズム（Ｓ１４−１、Ｓ１４−２）に入れて、脳活動計測装置Ｓ１１−１、Ｓ１１−２から推定されるユーザの意図（Ｓ１５−１、Ｓ１５−２）とそれぞれの確信度合を示す確率（Ｓ１６−１、Ｓ１６−２）を計算する。その確率Ｓ１６−１とＳ１６−２を統計学で言うベイズの定理に基づいて、意図統合装置（Ｓ１７）により結合し、ユーザの統合意図（Ｓ１８）とその確率（Ｓ１９）を得ることで、複数の脳活動計測装置を使った脳・機械インタフェースの判別性能向上が図られる。
なお、図６において、脳活動計測装置（Ｓ１１−１、Ｓ１１−２）は、例えば、第一脳活動データ取得部１１３、第二脳活動データ取得部１１４に該当する。そして、脳活動データ（Ｓ１３−１、Ｓ１３−２）は、例えば、第一脳活動データ、第二脳活動データに該当する。また、意図判別アルゴリズム（Ｓ１４−１、Ｓ１４−２）は、例えば、第一確率算出部１１５、第二確率算出部１１６に該当する。また、意図（Ｓ１５−１、Ｓ１５−２）は、意図識別子に該当する。また、確率Ｓ１６−１とＳ１６−２は、第一確率、第二確率に該当する。また、意図統合装置（Ｓ１７）は、意図決定部１１７に該当する。さらに、統合意図（Ｓ１８）は、意図決定部１１７が取得した意図識別子、その確率（Ｓ１９）は、最終的な確率に該当する。
以下、本実施の形態におけるロボットシステム１の具体的な動作について説明する。ロボットシステム１の概念図は図１である。この具体的な動作は、一の実験に基づいている。
今、脳情報出力装置１１は、いわゆる脳・機械インタフェース（左手・右手の実運動）として機能する電子機器である。そして、脳情報出力装置１１から出力される意図識別子は、ロボット１２に送付され、ロボット１２は意図識別子に対応した動作を行う、とする。
また、第一学習データ取得部１０１、および第一脳活動データ取得部１１３は、近赤外線光計測装置である。そして、第一学習データおよび第一脳活動データは、ＮＩＲＳデータである。ＮＩＲＳデータとは、頭部のヘモグロビン量を示すヘモグロビン情報の集合である。
また、第二学習データ取得部１０４、および第二脳活動データ取得部１１４は、脳波計測装置である。
そして、図７は、ユーザが頭部にかぶる測定器具である。図７において、第一脳活動データ取得部１１３と、第二脳活動データ取得部１１４のハードウェア構成が示されている。また、第一学習データ取得部１０１、および第二学習データ取得部１０４のハードウェア構も、図７の測定器具である。なお、第一脳活動データ取得部１１３は、例えば、７８０ｎｍ、８０５ｎｍ、８３０ｎｍの近赤外光を発光させて頭部に当てた場合の電圧と、発光しない場合の電圧を取得し、当該取得した電圧を、予め決められた式（ヘモグロビン量を算出する式）に代入し、ヘモグロビン量であるヘモグロビン情報を取得する。また、第一脳活動データ取得部１１３は、例えば、４８チャネル（図７において、４８の測定点が存在する）から、ヘモグロビン情報を取得する。なお、第一脳活動データ取得部１１３は、予め決められた式の情報を保持している。そして、例えば、図７に示す測定器具により、２種類の異なる脳活動データが取得される。
今、第一意図判別情報格納部１１１に、図８に示す第一意図判別情報が格納されている。この第一意図判別情報は、近赤外線光計測装置である第一学習データ取得部１０１により取得された第一学習データから、第一学習特徴量群取得部１０２が第一学習特徴量群を取得し、当該第一学習特徴量群と意図識別子を有する第一意図判別情報を、第一意図判別情報蓄積部１０３が蓄積したデータである。図８において、意図識別子ごとに、２つの特徴量（第一特徴量、第二特徴量）が格納されている。なお、図８では、第一学習特徴量群を構成する特徴量は２つであったが、３以上であったも良いことは言うまでもない。また、第一特徴量、および第二特徴量は、具体的には、例えば、上述した平均値、分散、Phase Locking 値などである。
また、第二意図判別情報格納部１１２に、図９に示す第二意図判別情報が格納されている。この第二意図判別情報は、脳波計測装置である第二学習データ取得部１０４により取得された第二学習データから、第二学習特徴量群取得部１０５が第二学習特徴量群を取得し、当該第二学習特徴量群と意図識別子を有する第二意図判別情報を、第二意図判別情報蓄積部１０６が蓄積したデータである。図９において、意図識別子ごとに、２つの特徴量（第一特徴量、第二特徴量）が格納されている。なお、図９では、第二学習特徴量群を構成する特徴量は２つであったが、３以上であったも良いことは言うまでもない。また、第一特徴量、および第二特徴量は、具体的には、例えば、上述した平均値、分散、Phase Locking 値などである。
かかる状況において、ユーザは、例えば、「右手」を動かしている動作を想像する、とする。かかる場合、意図は「右手を動かすように想像すること」であり、意図識別子は「右手」である。
そして、第一脳活動データ取得部１１３は、図１０に示す第一脳活動データ（ＮＩＲＳデータ）を取得した、とする。図１０は、時間（ｔ）の経過ごとの、取得されたヘモグロビン量を示す。ヘモグロビン情報は、ここでは、例えば、８ｍｓｅｃごとに取得される、とする。
また、第二脳活動データ取得部１１４は、図１１に示す第二脳活動データ（脳波データ）を取得した、とする。図１１は、時間（ｔ）の経過ごとの、取得された脳波情報を示す。図１１において、脳波情報は２ｍｓｅｃごとに取得される、とする。なお、図１０、図１１の情報を、グラフにした図が図１２である。
次に、第一特徴量群取得手段１１５１は、図１０に示す第一脳活動データから、図１３に示す第一特徴量群を取得する。
そして、次に、第一確率算出手段１１５２は、図８の意図判別情報を用いて、意図識別子ごとの第一確率を算出する。かかる第一確率の例を図１４に示す。
次に、第二特徴量群取得手段１１６１は、図１１に示す第二脳活動データから、図１５に示す第二特徴量群を取得する。
そして、次に、第二確率算出手段１１６２は、図９の意図判別情報を用いて、意図識別子ごとの第二確率を算出する。かかる第二確率の例を図１６に示す。
次に、第三確率算出手段１１７１は、図１４の第一確率、図１６の第二確率、および「ｗ＝１」を、数式１に代入し、意図識別子ごとに、最終的な確率（例えば、Ｐｔｏｔａｌ Ｒｉｇｈｔ＝０．８１、Ｐｔｏｔａｌ Ｌｅｆｔ＝０．０５、Ｐｔｏｔａｌ Ｔｏｎｇｕｅ＝０．１１、Ｐｔｏｔａｌ Ｆｏｏｔ＝０．０３）を算出する。
次に、意図識別子取得手段１１７２は、算出した意図識別子ごとの最終的な確率から、最も大きい確率（例えば、Ｐｔｏｔａｌ Ｒｉｇｈｔ「「０．８１」）に対応する意図識別子「右手」を取得する。
そして、出力部１１８は、取得された意図識別子「右手」を、ロボット１２に送付する。
次に、ロボット１２の意図識別子受付部１２２は、脳情報出力装置１１から出力された意図識別子「右手」を受け付ける。
そして、実行部１２３は、受け付けられた意図識別子「右手」に対応する動作モジュール（例えば、ロボット１２の右手を動かすモジュール）を、動作情報格納部１２１から読み出す。
次に、実行部１２３は、読み出した動作モジュールを実行する。そして、ユーザが想像したように、ロボット１２の右手が動くこととなる。
なお、上記に実験により測定された、脳情報出力装置１１の効果について説明する。上述したように、ユーザは、左手・右手・舌・足のうちの一つを任意にイメージし、脳情報出力装置１１は、その脳活動からユーザが何をイメージしたかを、意図判別アルゴリズムを用いて推定する。
脳波計測装置だけを使った場合の判別率は６３．１±５．４％（判別できた割合が６３．１％、標準偏差が５．４％）、近赤外線光計測装置だけを使った場合の判別率は４７．６±７．０％であった。一方、脳情報出力装置１１により、脳波計測装置と近赤外線光計測装置の両方を用いて、脳波とＮＩＲＳデータを統合した場合の判別率（ｗ＝１とした）は６８．１±３．７％となり、性能の向上と、その性能のばらつきである標準偏差の低下が観察された。そして、脳情報出力装置１１は、より安定した脳・機械インタフェースであることが証明された。
以上、本実施の形態によれば、２以上の種類の脳活動データを用いて、精度高く、意図を検出できる。
なお、本実施の形態によれば、主として、２つの脳活動データを用いて、意図を検出する方法について説明した。しかし、３以上の脳活動データを用いて、意図を検出しても良い。３以上の脳活動データとは、ＮＩＲＳ（近赤外分光分析）、ｆＭＲＩ（機能的ＭＲＩ）、ＭＥＧ（脳磁計）、ＥＥＧ（脳波計）、ＰＥＴにより取得されるデータのうちの３以上の種類のデータである。
また、本実施の形態において、脳情報出力装置１１は、第一学習データ取得部１０１、第一学習特徴量群取得部１０２、第一意図判別情報蓄積部１０３、第二学習データ取得部１０４、第二学習特徴量群取得部１０５、第二意図判別情報蓄積部１０６を有しなくても良い。かかる場合、脳情報出力装置１１は、第一意図判別情報格納部１１１、第二意図判別情報格納部１１２、第一脳活動データ取得部１１３、第二脳活動データ取得部１１４、第一確率算出部１１５、第二確率算出部１１６、意図決定部１１７、出力部１１８を具備する。そして、第一意図判別情報および第二意図判別情報を取得する処理は、他の装置（例えば、学習装置という。）によりなされる。学習装置は、第一学習データ取得部１０１、第一学習特徴量群取得部１０２、第一意図判別情報蓄積部１０３、第二学習データ取得部１０４、第二学習特徴量群取得部１０５、第二意図判別情報蓄積部１０６を具備する。
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得部と、前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得部と、前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出部と、前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出部と、前記第一確率算出部が算出した意図識別子ごとの第一確率、および前記第二確率算出部が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定部と、前記意図決定部が取得した意図識別子を出力する出力部として機能させるためのプログラム、である。
また、記憶媒体に、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第一脳活動データと同一種類のデータである第一学習データから抽出された１以上の特徴量である第一学習特徴量群とを対に有する第一意図判別情報を、２以上格納しており、記憶媒体に、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第二脳活動データと同一種類のデータである第二学習データから抽出された１以上の特徴量である第二学習特徴量群とを対に有する第二意図判別情報を、２以上格納しており、上記プログラムにおいて、前記第一確率算出部は、前記第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する第一特徴量群取得手段と、前記第一意図判別情報格納部の２以上の第一意図判別情報を用いて、前記第一特徴量群取得手段が取得した第一入力特徴量群が、前記２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、前記２以上の意図識別子ごとに算出する第一確率算出手段とを具備し、前記第二確率算出部は、前記第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する第二特徴量群取得手段と、前記第二意図判別情報格納部の２以上の第二意図判別情報を用いて、前記第二特徴量群取得手段が取得した第二入力特徴量群が、前記２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、前記２以上の意図識別子ごとに算出する第二確率算出手段とを具備するものとして、コンピュータを機能させるためのプログラムであることは好適である。
また、上記プログラムにおいて、前記意図決定部は、前記意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、前記意図識別子ごとの最終的な確率を算出する第三確率算出手段と、前記意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備するものとして、コンピュータを機能させるためのプログラムであることは好適である。
また、上記プログラムにおいて、前記第三確率算出手段は、前記第一確率と前記第二確率とで、異なる重み（例えば、上述した数式１のｗ）を用いて、前記意図識別子ごとの最終的な確率を算出することは好適である。
また、上記プログラムにおいて、前記第一確率算出部は、前記第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出し、前記第二確率算出部は、前記第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出することは好適である。かかることにより、各計測装置が得意とする意図のみを使うことになり、意図の出力の精度が高まる。
また、図１７は、本明細書で述べたプログラムを実行して、上述した実施の形態の脳情報出力装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１７は、このコンピュータシステム３４０の概観図であり、図１８は、コンピュータシステム３４０のブロック図である。
図１７において、コンピュータシステム３４０は、ＦＤドライブ、ＣＤ−ＲＯＭドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。
図１８において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
コンピュータシステム３４０に、上述した実施の形態の脳情報出力装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ３４１に、上述した実施の形態の脳情報出力装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
なお、上記プログラムにおいて、ハードウェアによって行われる処理は含まれない。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる脳情報出力装置は、ユーザの意図を精度高く取得できる、という効果を有し、脳・機械インタフェース等として有用である。
１ ロボットシステム
１１ 脳情報出力装置
１２ ロボット
１０１ 第一学習データ取得部
１０２ 第一学習特徴量群取得部
１０３ 第一意図判別情報蓄積部
１０４ 第二学習データ取得部
１０５ 第二学習特徴量群取得部
１０６ 第二意図判別情報蓄積部
１１１ 第一意図判別情報格納部
１１２ 第二意図判別情報格納部
１１３ 第一脳活動データ取得部
１１４ 第二脳活動データ取得部
１１５ 第一確率算出部
１１６ 第二確率算出部
１１７ 意図決定部
１１８ 出力部
１２１ 動作情報格納部
１２２ 意図識別子受付部
１２３ 実行部
１１５１ 第一特徴量群取得手段
１１５２ 第一確率算出手段
１１６１ 第二特徴量群取得手段
１１６２ 第二確率算出手段
１１７１ 第三確率算出手段
１１７２ 意図識別子取得手段
１１８１ 確率算出手段

Claims (8)

  1. ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得部と、
    前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得部と、
    前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出部と、
    前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出部と、
    前記第一確率算出部が算出した意図識別子ごとの第一確率、および前記第二確率算出部が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定部と、
    前記意図決定部が取得した意図識別子を出力する出力部とを具備する脳情報出力装置。
  2. ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第一脳活動データと同一種類のデータである第一学習データから抽出された１以上の特徴量である第一学習特徴量群とを対に有する第一意図判別情報を、２以上格納し得る第一意図判別情報格納部と、
    ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第二脳活動データと同一種類のデータである第二学習データから抽出された１以上の特徴量である第二学習特徴量群とを対に有する第二意図判別情報を、２以上格納し得る第二意図判別情報格納部とをさらに具備し、
    前記第一確率算出部は、
    前記第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する第一特徴量群取得手段と、
    前記第一意図判別情報格納部の２以上の第一意図判別情報を用いて、前記第一特徴量群取得手段が取得した第一入力特徴量群が、前記２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、前記２以上の意図識別子ごとに算出する第一確率算出手段とを具備し、
    前記第二確率算出部は、
    前記第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する第二特徴量群取得手段と、
    前記第二意図判別情報格納部の２以上の第二意図判別情報を用いて、前記第二特徴量群取得手段が取得した第二入力特徴量群が、前記２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、前記２以上の意図識別子ごとに算出する第二確率算出手段とを具備する請求項１記載の脳情報出力装置。
  3. 前記意図決定部は、
    前記意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、前記意図識別子ごとの最終的な確率を算出する第三確率算出手段と、
    前記意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備する請求項１または請求項２記載の脳情報出力装置。
  4. 前記第三確率算出手段は、
    前記第一確率と前記第二確率とで、異なる重みを用いて、前記意図識別子ごとの最終的な確率を算出する請求項３記載の脳情報出力装置。
  5. 前記第一確率算出部は、
    前記第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出し、
    前記第二確率算出部は、
    前記第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出する請求項１記載の脳情報出力装置。
  6. 前記第一脳活動データ取得部は、近赤外線光計測装置であり、
    前記第二脳活動データ取得部は、脳波計測装置である請求項１から請求項５いずれか記載の脳情報出力装置。
  7. 意図識別子と当該意図識別子に対応する動作を行わせる動作モジュールとの組である動作情報を２以上格納し得る動作情報格納部と、
    請求項１から請求項６いずれか記載の脳情報出力装置から出力された意図識別子を受け付ける意図識別子受付部と、
    前記意図識別子受付部が受け付けた意図識別子に対応する動作モジュールを実行する実行部とを具備するロボット。
  8. ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得ステップと、
    前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得ステップと、
    前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出ステップと、
    前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出ステップと、
    前記第一確率算出ステップで算出された意図識別子ごとの第一確率、および前記第二確率算出ステップで算出された意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定ステップと、
    前記意図決定ステップで取得された意図識別子を出力する出力ステップとを具備する脳情報出力方法。
JP2009041336A 2009-02-24 2009-02-24 脳情報出力装置、ロボット、および脳情報出力方法 Expired - Fee Related JP5256517B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009041336A JP5256517B2 (ja) 2009-02-24 2009-02-24 脳情報出力装置、ロボット、および脳情報出力方法
PCT/JP2010/052629 WO2010098282A1 (ja) 2009-02-24 2010-02-22 脳情報出力装置、ロボット、および脳情報出力方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009041336A JP5256517B2 (ja) 2009-02-24 2009-02-24 脳情報出力装置、ロボット、および脳情報出力方法

Publications (2)

Publication Number Publication Date
JP2010198232A JP2010198232A (ja) 2010-09-09
JP5256517B2 true JP5256517B2 (ja) 2013-08-07

Family

ID=42665489

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009041336A Expired - Fee Related JP5256517B2 (ja) 2009-02-24 2009-02-24 脳情報出力装置、ロボット、および脳情報出力方法

Country Status (2)

Country Link
JP (1) JP5256517B2 (ja)
WO (1) WO2010098282A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6433616B2 (ja) * 2016-02-22 2018-12-05 株式会社日立製作所 心的活動状態評価支援装置、心的活動状態評価支援システム、及び心的活動状態評価支援方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180817A (ja) * 2002-12-02 2004-07-02 National Institute Of Advanced Industrial & Technology 生体信号を利用した作業支援マニピュレータシステム
JP2006072606A (ja) * 2004-09-01 2006-03-16 National Institute Of Information & Communication Technology インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置
JP2006289565A (ja) * 2005-04-12 2006-10-26 Japan Science & Technology Agency ロボット操作装置及びロボット

Also Published As

Publication number Publication date
JP2010198232A (ja) 2010-09-09
WO2010098282A1 (ja) 2010-09-02

Similar Documents

Publication Publication Date Title
JP5531237B2 (ja) 脳情報出力装置、ロボット、および脳情報出力方法
Tiwari et al. Brain computer interface: A comprehensive survey
US11006874B2 (en) Real-time stress determination of an individual
US10039501B2 (en) Computer-aided diagnosis (CAD) apparatus and method using consecutive medical images
KR101293446B1 (ko) 움직임을 상상하는 뇌파 분류 방법 및 그 장치
Becq et al. Classification of epileptic motor manifestations using inertial and magnetic sensors
Elgendi et al. Arm movement speed assessment via a Kinect camera: a preliminary study in healthy subjects
Geman et al. Automatic assessing of tremor severity using nonlinear dynamics, artificial neural networks and neuro-fuzzy classifier
Patel et al. Automated diagnosis of COVID stages from lung CT images using statistical features in 2-dimensional flexible analytic wavelet transform
Yue et al. Exploring BCI control in smart environments: intention recognition via EEG representation enhancement learning
JP5365956B2 (ja) 脳情報出力装置、ロボット、および脳情報出力方法
JP5256517B2 (ja) 脳情報出力装置、ロボット、および脳情報出力方法
KR102439639B1 (ko) 주요 우울증에 대한 정보 제공 방법 및 이를 이용한 주요 우울증에 대한 정보 제공용 디바이스
KR101345216B1 (ko) 다수 피험자의 뇌전도 분석 방법 및 장치
JP2010198237A (ja) 意図判別情報取得装置、脳情報出力装置、ロボット、および意図判別情報取得方法
Ghosh et al. Multi-modal detection of fetal movements using a wearable monitor
Delimayanti et al. Clustering and Classification of Breathing Activities by Depth Image from Kinect.
JP7507025B2 (ja) 診断支援システム、診断支援方法、及び診断支援プログラム
US20240215865A1 (en) Determining the quality of setting up a headset for cranial accelerometry
Sanamdikar et al. Classification of ECG Signal for Cardiac Arrhythmia Detection Using GAN Method
Poli et al. Identification issues associated with the use of wearable accelerometers in lifelogging
CN116779135A (zh) 用于计算血液储备分数的方法、装置、计算设备及介质
Dey et al. Cad patient classification using mimic-ii
JP2010198236A (ja) 脳情報出力装置、ロボット、および脳情報出力方法
Pawar et al. Recognition of unvoiced human utterances using brain-computer interface

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130402

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5256517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees