JP5365956B2 - 脳情報出力装置、ロボット、および脳情報出力方法 - Google Patents

脳情報出力装置、ロボット、および脳情報出力方法 Download PDF

Info

Publication number
JP5365956B2
JP5365956B2 JP2009041337A JP2009041337A JP5365956B2 JP 5365956 B2 JP5365956 B2 JP 5365956B2 JP 2009041337 A JP2009041337 A JP 2009041337A JP 2009041337 A JP2009041337 A JP 2009041337A JP 5365956 B2 JP5365956 B2 JP 5365956B2
Authority
JP
Japan
Prior art keywords
intention
identifier
brain
intention identifier
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009041337A
Other languages
English (en)
Other versions
JP2010198233A (ja
Inventor
健太郎 山田
真弘 木村
明祐 戸田
達哉 岡部
雅昭 佐藤
崇人 玉川
宙人 山下
祐輔 武田
光男 川人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
ATR Advanced Telecommunications Research Institute International
Original Assignee
Honda Motor Co Ltd
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd, ATR Advanced Telecommunications Research Institute International filed Critical Honda Motor Co Ltd
Priority to JP2009041337A priority Critical patent/JP5365956B2/ja
Priority to PCT/JP2010/052630 priority patent/WO2010098283A1/ja
Publication of JP2010198233A publication Critical patent/JP2010198233A/ja
Application granted granted Critical
Publication of JP5365956B2 publication Critical patent/JP5365956B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • Mechanical Engineering (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、脳の情報を出力する脳情報出力装置等に関するものである。
近年、脳に対する生理学的な知見の充実、脳計測機器の発展、高性能なコンピュータのコストダウン、および機械学習の分野の進歩等に伴い、脳・機械インタフェース(Brain Machine Interface:BMI)に関する研究が注目を浴びてきている(非特許文献1)。BMIは、脳と機械をつなぐインタフェースである。BMIは、人が考えた時や、何らかの行動した際に生ずる脳活動の信号を計測し、その計測データに信号処理技術を施すことにより、ユーザの意図を汲み出すものである。
Toward Brain-Computer Interfacing (Neural Information Processing)、 MIT Press、 ISBN 978-0262042444
しかしながら、BMIを使った機械の以心伝心操作で学習データが十分でない場合、意図検出を行うためのアルゴリズムである意図判別アルゴリズムの学習が不十分となり、意図判別精度が低下する。
また、従来のBMIにおいては、人間の脳の状態は時々刻々と変化するとされていたため、過去のデータを使うことはせずに、当日の学習データのみを利用して、BMIにおける意図検出を行っていた。そのため、精度の高い意図検出ができなかった。
本第一の発明の脳情報出力装置は、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得された一のデータである学習データから、抽出された1以上の特徴量である学習特徴量群とを対に有する2以上の意図判別情報であり、取得日が異なる前記学習データから抽出された2以上の各学習特徴量群を有する2以上の意図判別情報を格納し得る意図判別情報格納部と、ユーザから脳活動のデータである脳活動データを取得する脳活動データ取得部と、前記脳活動データから、1以上の特徴量である入力特徴量群を取得する特徴量群取得部と、前記入力特徴量群に対応する意図識別子を、前記意図判別情報格納部に格納されている2以上の意図判別情報から取得する意図識別子取得部と、前記意図識別子取得部が取得した意図識別子を出力する意図識別子出力部とを具備する脳情報出力装置である。
かかる構成により、ユーザが複数日に渡ってBMIを使用した際のデータ(過去に取得したデータ)を、有効に使うことにより、意図判別精度を向上させることができる。
また、本第二の発明の脳情報出力装置は、第一の発明に対して、一の意図の元にユーザが一連の行為を行った際に、ユーザの脳から一の学習データを取得する学習データ取得部と、学習データ取得部が取得した学習データから、1以上の特徴量である学習特徴量群を取得する学習特徴量群取得部と、学習特徴量群取得部が取得した学習特徴量群と、一の意図を識別する意図識別子とを対応付けた意図判別情報を、学習データの取得日が識別できるように、意図判別情報格納部に蓄積する意図判別情報蓄積部とをさらに具備する脳情報出力装置である。
かかる構成により、精度の高い意図検出ができる。
また、本第三の発明の脳情報出力装置は、第一、第二いずれかの発明に対して、意図識別子取得部は、意図判別情報格納部の2以上の意図判別情報を用いて、特徴量群取得部が取得した入力特徴量群が、2以上の意図判別情報に含まれる2以上の意図識別子の各々に対応する確率を、2以上の意図識別子ごとに算出する確率算出手段と、確率算出手段が算出した意図識別子ごとの確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備する脳情報出力装置である。
かかる構成により、精度の高い意図検出ができる。
また、本第四の発明の脳情報出力装置は、第一から第三いずれかの発明に対して、意図識別子取得部は、現在から、予め決められた日数前より新しい日以降に取得された学習データから生成された学習特徴量群を有する2以上の意図判別情報から、入力特徴量群に対応する意図識別子を取得する脳情報出力装置である。
かかる構成により、より精度の高い意図検出ができる。
本発明による脳情報出力装置によれば、精度の高い意図検出ができる。
同本実施の形態におけるロボットシステム1の概念図 同ロボットシステム1のブロック図 同脳情報出力装置の動作について説明するフローチャート 同脳情報出力装置の動作について説明するフローチャート 同ロボット12の動作について説明するフローチャート 同脳波データの例を示す図 同意図判別情報管理表を示す図 同実験結果を示す図 同実験結果を示す図 同脳情報出力装置の概念について説明する図 同コンピュータシステムの概観図 同コンピュータシステムのブロック図 同確率算出アルゴリズムを説明するための図 同確率算出アルゴリズムを説明するための図
以下、脳情報出力装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態1)
本実施の形態において、取得日の異なる2以上の学習データから取得された2以上の学習特徴量群を用いて、意図を決定し、当該意図に対応する意図識別子を出力する脳情報出力装置について説明する。
また、本実施の形態において、脳情報出力装置からの出力を受け付け、動作するロボットについて説明する。
図1は、本実施の形態におけるロボットシステム1の概念図である。ロボットシステム1は、脳情報出力装置11、ロボット12を具備する。脳情報出力装置11は、脳活動計測装置によって脳情報を取得し、ユーザの意図を検出し、当該意図を識別する意図識別子をロボット12に送付する。ロボット12は、脳情報出力装置11から意図識別子を受け付け、当該意図識別子に応じた動作を行う。ロボット12は、いわゆる人型の形状を有する電子機器でも良いが、他の形状を有する電子機器でも良い。ロボット12は、例えば、四輪車、二輪車、航空機、電車などの移動体でも良い。
図2は、本実施の形態におけるロボットシステム1のブロック図である。ロボットシステム1を構成する脳情報出力装置11は、意図判別情報格納部111、学習データ取得部112、学習特徴量群取得部113、意図判別情報蓄積部114、脳活動データ取得部115、特徴量群取得部116、意図識別子取得部117、意図識別子出力部118を具備する。
意図識別子取得部117は、確率算出手段1171、意図識別子取得手段1172を具備する。なお、意図識別子取得部117は、確率算出手段1171および意図識別子取得手段1172によらないで、意図識別子を取得しても良い。
ロボット12は、動作情報格納部121、意図識別子受付部122、実行部123を具備する。
意図判別情報格納部111は、2以上の意図判別情報を格納し得る。意図判別情報は、意図識別子と学習特徴量群を有する。意図識別子は、ユーザの意図を識別する情報である。学習特徴量群は、意図識別子で識別される意図の元にユーザが一連の行為を行った際に、ユーザの脳から取得された一のデータである学習データから抽出された1以上の特徴量である。意図判別情報格納部111が格納している2以上の意図判別情報は、取得日が異なる学習データから抽出された2以上の各学習特徴量群を有する。つまり、2以上の各学習データが取得された日(取得日)は、すべて同じ日ではなく、少なくとも2つの取得日がある。2以上の各学習データとは、意図判別情報格納部111が格納している2以上の意図判別情報が有する2以上の各学習特徴量群が生成される元になる情報である。ここで、意図とは、体の一部(例えば、右手、左手、舌、足など)を動かす行為や、特定のこと(例えば、右手を動かしていること、舌を出したこと、走っていることなど)を想像することなど、ユーザの脳の活動に反映されることである。また、意図識別子は、例えば、ユーザが動かす体の部分であり、例えば、「右手」「左手」「舌」「足」の4つである。また、意図識別子は、例えば、「右手」「左手」の2つであっても良い。意図識別子の数は問わないが、意図識別子の数は少ない方が、通常、脳情報出力装置11が出力する意図識別子がユーザの意図と合致している可能性は高い、と考えられる。学習特徴量群とは、学習データから抽出された1以上の特徴量の情報である。学習データとは、意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータである。学習データは、NIRS(近赤外分光分析)、fMRI(機能的MRI)、MEG(脳磁計)、EEG(脳波計)により取得されるデータなど、脳から取得される脳活動を示すデータであれば何でもよい。
意図判別情報格納部111は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。意図判別情報格納部111に意図判別情報が記憶される過程は問わない。例えば、記録媒体を介して意図判別情報が意図判別情報格納部111で記憶されるようになってもよく、通信回線等を介して送信された意図判別情報が意図判別情報格納部111で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された意図判別情報が意図判別情報格納部111で記憶されるようになってもよい。
学習データ取得部112は、一の意図の元にユーザが一連の行為を行った際に、ユーザの脳から一の学習データを取得する。一の学習データとは、一連の行為を行った際に、観測される一連のデータである。学習データ取得部112は、例えば、近赤外線光計測装置である。また、学習データ取得部112は、例えば、脳波計測装置である。また学習データ取得部112は、例えば、機能的MRI(fMRI: functional Magnetic Resonance Imaging)や、PET(Positron Emission Tomography)なども良い。通常、学習データ取得部112と脳活動データ取得部115とは同じものである。
学習特徴量群取得部113は、学習データ取得部112が取得した学習データから、1以上の特徴量である学習特徴量群を取得する。学習特徴量群取得部113は、学習データに対して信号処理し、1以上の特徴量である学習特徴量群を取得する。ここで、信号処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値の算出、移動平均の算出、センサー選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算(ヒルベルト変換)、空間フィルターによる処理、逆問題フィルターによる処理、などである。そして、特徴量とは、例えば、上記の信号処理により、算出されるデータであり、例えば、平均値、分散、Phase Locking 値などである。なお、学習特徴量群を構成する特徴量は、学習データの特性を示すデータであれば、何でも良い。また、学習特徴量群取得部113が行う信号処理の数は、複数でも良い。また、上記の各種の信号処理の例は、公知技術であるので詳細な説明を省略する。
学習特徴量群取得部113は、通常、MPUやメモリ等から実現され得る。学習特徴量群取得部113の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
意図判別情報蓄積部114は、学習特徴量群取得部113が取得した学習特徴量群と、一の意図を識別する意図識別子とを対応付けた意図判別情報を、学習データの取得日が識別できるように、意図判別情報格納部111に蓄積する。意図判別情報蓄積部114は、意図判別情報に対応付けて、学習データの取得日の情報を、意図判別情報格納部111に蓄積しても良い。また、意図判別情報蓄積部114は、学習データの取得日ごとに記憶場所(フォルダやディスクなど)を変えて、意図判別情報を蓄積しても良い。また、意図判別情報は、学習データの取得日の情報を含んでも良い。なお、「取得日が識別できる」とは、取得日が異なることのみを識別できても良い。意図識別子は、ユーザが入力しても良いし、第三者が入力しても良いし、脳情報出力装置11が予め保持していても良い。意図識別子の入力方法は問わない。
意図判別情報蓄積部114は、通常、MPUやメモリ等から実現され得る。意図判別情報蓄積部114の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
脳活動データ取得部115は、ユーザから脳活動のデータである脳活動データを取得する。脳活動データとは、NIRS(近赤外分光分析)、fMRI(機能的MRI)、MEG(脳磁計)、EEG(脳波計)により取得されるデータなど、脳から取得される脳活動を示すデータであれば何でもよい。脳活動データは学習データと同じ種類のデータである。
脳活動データ取得部115は、例えば、近赤外線光計測装置、また脳波計測装置である。また学習データ取得部112、または機能的MRI(fMRI: functional Magnetic Resonance Imaging)、またはPET(Positron Emission Tomography)などである。
特徴量群取得部116は、脳活動データに対して信号処理し、1以上の特徴量である入力特徴量群を取得する。ここで、信号処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値の算出、移動平均の算出、センサー選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算(ヒルベルト変換)、空間フィルターによる処理、逆問題フィルターによる処理、などである。そして、特徴量とは、例えば、上記の信号処理により、算出されるデータであり、例えば、平均値、分散、Phase Locking 値などである。なお、入力特徴量群を構成する特徴量は、脳活動データの特性を示すデータであれば、何でも良い。また、特徴量群取得部116が行う信号処理の数は、複数でも良い。また、上記の各種の信号処理の例は、公知技術であるので詳細な説明を省略する。
特徴量群取得部116は、通常、MPUやメモリ等から実現され得る。特徴量群取得部116の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
意図識別子取得部117は、入力特徴量群に対応する意図識別子を、意図判別情報格納部111に格納されている2以上の意図判別情報から取得する。意図識別子取得部117は、現在から、予め決められた日数前より新しい日以降に取得された学習データから生成された学習特徴量群を有する2以上の意図判別情報から、入力特徴量群に対応する意図識別子を取得することは好適である。つまり、意図識別子取得部117は、過去に取得された学習データから作成された意図判別情報をも利用して、意図識別子を決定する。意図識別子取得部117が意図識別子を取得するアルゴリズムは問わない。意図識別子取得部117は、例えば、入力特徴量群と、意図判別情報が有する学習特徴量群との距離を、意図識別子ごとに算出する。そして、意図識別子取得部117は、距離が最も小さい学習特徴量群に対応する意図識別子を取得しても良い。意図識別子取得部117は、通常、MPUやメモリ等から実現され得る。意図識別子取得部117の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
確率算出手段1171は、意図判別情報格納部111の2以上の意図判別情報を用いて、特徴量群取得部116が取得した入力特徴量群が、2以上の意図判別情報に含まれる2以上の意図識別子の各々に対応する確率を、2以上の意図識別子ごとに算出する。確率算出手段1171が用いる2以上の意図判別情報は、過去に取得された学習データから作成された意図判別情報をも含む。確率算出手段1171は、現在から、予め決められた日数前より新しい日以降に取得された学習データから生成された学習特徴量群を有する2以上の意図判別情報から、2以上の意図識別子の各々に対応する確率を算出することは好適である。
意図識別子が2つ(2種類)の場合、例えば、確率算出手段1171は、以下のように意図識別子ごとの確率を算出する。つまり、確率算出手段1171は、学習特徴量群から、2つのクラス(クラス1[第一の意図識別子]、またはクラス2[第二の意図識別子])に分けるための境界面の情報を得る。かかる概念を図13に示す。
次に、確率算出手段1171は、境界面からの入力特徴量群の距離を算出する(図14参照)。そして、確率算出手段1171は、当該距離をロジスティック関数(シグモイド関数)に入力し、0〜1の値に変換する。そして、確率算出手段1171は、当該変換した値(0〜1)を、第一の意図識別子の確率とする。そして、確率算出手段1171は、第二の意図識別子の確率を、「1−第一の意図識別子の確率」により算出する。
また、意図識別子が4つ(4種類)の場合、例えば、確率算出手段1171は、以下のように意図識別子ごとの確率を算出する。つまり、上記2つの意図識別子の場合の処理を拡張する。まず、第一の意図識別子と他の意図識別子との2つのクラスが存在すると考え、確率算出手段1171は、学習特徴量群から、2つのクラス(クラス1[第一の意図識別子]、またはクラス2[第二の意図識別子または第三の意図識別子または第四の意図識別子)に分けるための境界面の情報を得る。次に、確率算出手段1171は、境界面からの入力特徴量群の距離を算出する。次に、確率算出手段1171は、当該距離をロジスティック関数(シグモイド関数)に入力し、0〜1の値に変換する。そして、確率算出手段1171は、当該変換した値(0〜1)を、第一の意図識別子の確率とする。次に、確率算出手段1171は、第二の意図識別子または第三の意図識別子または第四の意図識別子の確率を、「1−第一の意図識別子の確率」により算出する。
そして、次に、第二の意図識別子と他の意図識別子との2つのクラスが存在すると考え、確率算出手段1171は、学習特徴量群から、2つのクラス(クラス1[第二の意図識別子]、またはクラス2[第一の意図識別子または第三の意図識別子または第四の意図識別子)に分けるための境界面の情報を得る。次に、確率算出手段1171は、境界面からの入力特徴量群の距離を算出する。次に、確率算出手段1171は、当該距離をロジスティック関数(シグモイド関数)に入力し、0〜1の値に変換する。そして、確率算出手段1171は、当該変換した値(0〜1)を、第二の意図識別子の確率とする。次に、確率算出手段1171は、第一の意図識別子または第三の意図識別子または第四の意図識別子の確率を、「1−第二の意図識別子の確率」により算出する。
そして、次に、第三の意図識別子と他の意図識別子との2つのクラスが存在すると考え、確率算出手段1171は、学習特徴量群から、2つのクラス(クラス1[第三の意図識別子]、またはクラス2[第一の意図識別子または第二の意図識別子または第四の意図識別子)に分けるための境界面の情報を得る。次に、確率算出手段1171は、境界面からの入力特徴量群の距離を算出する。次に、確率算出手段1171は、当該距離をロジスティック関数(シグモイド関数)に入力し、0〜1の値に変換する。そして、確率算出手段1171は、当該変換した値(0〜1)を、第三の意図識別子の確率とする。次に、確率算出手段1171は、第一の意図識別子または第二の意図識別子または第四の意図識別子の確率を、「1−第三の意図識別子の確率」により算出する。
そして、次に、第四の意図識別子と他の意図識別子との2つのクラスが存在すると考え、確率算出手段1171は、学習特徴量群から、2つのクラス(クラス1[第四の意図識別子]、またはクラス2[第一の意図識別子または第二の意図識別子または第三の意図識別子)に分けるための境界面の情報を得る。次に、確率算出手段1171は、境界面からの入力特徴量群の距離を算出する。次に、確率算出手段1171は、当該距離をロジスティック関数(シグモイド関数)に入力し、0〜1の値に変換する。そして、確率算出手段1171は、当該変換した値(0〜1)を、第四の意図識別子の確率とする。次に、確率算出手段1171は、第一の意図識別子または第二の意図識別子または第三の意図識別子の確率を、「1−第四の意図識別子の確率」により算出する。
そして、上記で取得した確率をマージすることにより、第一の意図識別子から第四の意図識別子の確率を取得する。ここで、マージとは、前記の第一の意図識別子の確率(P1)、前記の第一以外の意図識別子の確率(P234)、前記の第二の意図識別子の確率(P2)、前記の第二以外の意図識別子の確率(P134)、前記の第三の意図識別子の確率(P3)、前記の第三以外の意図識別子の確率(P124)、前記の第四の意図識別子の確率(P4)、前記の第四以外の意図識別子の確率(P123)の8つの確率から求める操作のことを言う。マージした第一の意図識別子の確率はP1×P134×P124×P123、マージした第二の意図識別子の確率はP234×P2×P124×P123、マージした第三の意図識別子の確率はP234×P134×P3×P123、マージした第四の意図識別子はP234×P134×P124×P4のように求めることが好適である。なお、確率を正規化する操作を加えても良い。ここで、正規化とは、マージした第一の意図識別子の確率から第四の意図識別子の確率までを足した値でそれぞれの確率を割ることで、全てを足した確率が1になるようにする操作である。
確率算出手段1171は、通常、MPUやメモリ等から実現され得る。確率算出手段1171の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
意図識別子取得手段1172は、確率算出手段1171が算出した意図識別子ごとの確率から、最も大きい確率に対応する意図識別子を取得する。意図識別子取得手段1172は、通常、MPUやメモリ等から実現され得る。意図識別子取得手段1172の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
意図識別子出力部118は、意図識別子取得部117が取得した意図識別子を出力する。ここで、出力とは、ロボット12への出力が好適であるが、ディスプレイへの表示や、音声出力などでも良い。意図識別子出力部118は、無線または有線の通信手段により実現され得る。
動作情報格納部121は、2以上の動作情報を格納し得る。動作情報とは、意図識別子と当該意図識別子に対応する動作を行わせる動作モジュールとの組である。動作モジュールとは、ハードウェアで実現されていても良いし、ソフトウェアで実現されていても良いし、ハードウェアとソフトウェアで実現されていても良い。動作情報格納部121は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。動作情報格納部121に動作情報が記憶される過程は問わない。例えば、記録媒体を介して動作情報が動作情報格納部121で記憶されるようになってもよく、通信回線等を介して送信された動作情報が動作情報格納部121で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された動作情報が動作情報格納部121で記憶されるようになってもよい。
意図識別子受付部122は、脳情報出力装置11から出力された意図識別子を受け付ける。受け付けとは、通信手段を用いた受信や、ソフトウェアによる情報(意図識別子)の引き渡し等である。
実行部123は、意図識別子受付部122が受け付けた意図識別子に対応する動作モジュールを実行する。動作モジュールが実現する動作内容は何でも良い。実行部123は、通常、MPUやメモリ等から実現され得る。実行部123の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
次に、ロボットシステム1の動作について説明する。まず、脳情報出力装置11が意図判別情報を蓄積する動作(学習動作)について、図3のフローチャートを用いて説明する。
(ステップS301)学習データ取得部112は、学習データを取得するタイミングであるか否かを判断する。学習データを取得するタイミングであればステップS302に行き、学習データを取得するタイミングでなければステップS308に行く。なお、学習データ取得部112が学習データを取得する前に、図示しない出力手段が、ユーザに対して、意図に対応する一連の行為(動作や思考、想像など)を行うように指示する旨の出力を行っても良い。また、ユーザの指示により、学習データ取得部112は、学習データを取得するタイミングであると判断しても良い。
(ステップS302)意図判別情報蓄積部114は、意図識別子を取得する。意図判別情報蓄積部114は、例えば、出力手段が出力した指示に対応する意図識別子を取得する。つまり、意図判別情報蓄積部114は、出力される指示(例えば、「右手を握ってください」「足を動かしてください」「舌を出してください」など)に対応する意図識別子(例えば、「右手」「足」「舌」など)を格納しており、当該意図識別子を取得する。
(ステップS303)学習データ取得部112は、学習データを取得する。
(ステップS304)学習特徴量群取得部113は、ステップS303で取得された学習データから、学習特徴量群を取得する。
(ステップS305)意図判別情報蓄積部114は、図示しない時計から、日付データを取得する。日付データは、日を識別するデータ、日時を識別するデータなどである。
(ステップS306)意図判別情報蓄積部114は、ステップS302で取得された意図識別子と、ステップS304で取得された学習特徴量群と、ステップS305で取得された日付データとを用いて、意図判別情報を構成する。意図判別情報は、ここでは、意図識別子と学習特徴量群と日付データを有する情報である。また、意図判別情報は、意図識別子と学習特徴量群のみを有し、蓄積される場所が、日付データに応じて異なっても良い。
(ステップS307)意図判別情報蓄積部114は、ステップS306で構成した意図判別情報を、意図判別情報格納部111に蓄積する。ステップS301に戻る。
(ステップS308)学習データ取得部112は、学習データの取得を終了するか否かを判断する。学習データの取得を終了する場合は処理を終了し、学習データの取得を終了しない場合はステップS301に戻る。なお、例えば、図示しない受付手段がユーザからの終了指示を受け付けた場合、学習データ取得部112は、学習データの取得を終了すると判断する。また、例えば、予め決められた個数の学習データを取得した場合(予め決められた個数の意図判別情報が蓄積された場合)、学習データ取得部112は、学習データの取得を終了すると判断しても良い。その他、学習データの取得を終了するとの判断アルゴリズムは問わない。
次に、脳情報出力装置11が学習したデータ(意図判別情報格納部111の意図判別情報)を用いて意図識別子を取得する動作を、図4のフローチャートを用いて説明する。
(ステップS401)意図識別子取得部117は、現在の日付を図示しない時計から取得する。
(ステップS402)意図識別子取得部117は、現在から、予め決められた日数前より新しい複数の意図判別情報を、意図判別情報格納部111から読み出す。ここで読み出された意図判別情報のみが、意図識別子の取得のために用いられる。
(ステップS403)脳活動データ取得部115は、脳活動データを取得したか否かを判断する。脳活動データを取得すればステップS404に行き、脳活動データを取得しなければステップS403に戻る。
(ステップS404)特徴量群取得部116は、ステップS403で取得された脳活動データから、入力特徴量群を取得する。
(ステップS405)確率算出手段1171は、カウンタiに1を代入する。
(ステップS406)確率算出手段1171は、ステップS402で読み出された2以上の意図判別情報の中に、i番目の意図識別子が存在するか否かを判断する。i番目の意図識別子が存在すればステップS407に行き、i番目の意図識別子が存在しなければステップS410に行く。
(ステップS407)確率算出手段1171は、ステップS402で読み出された2以上の意図判別情報を用いて、ステップS404で取得された入力特徴量群が、i番目の意図識別子に対応する特徴量群である確率を算出する。確率算出手段1171は、上述したように、例えば、入力特徴量群とi番目の意図識別子に対応する学習特徴量群との距離を算出する。そして、当該距離をロジスティック関数に代入し、確率を算出する。なお、ロジスティック関数の情報は、確率算出手段1171が予め保持している。また、確率算出手段1171は、一の意図識別子に対応する確率と、他の意図識別子に対応する確率とを同じアルゴリズムで算出する必要がないことは、上述した通りである。
(ステップS408)確率算出手段1171は、i番目の意図識別子と、ステップS407で算出した確率を対にして、少なくとも一時的にメモリ等の記憶媒体に蓄積する。
(ステップS409)確率算出手段1171は、カウンタiを1、インクリメントする。ステップS406に戻る。
(ステップS410)意図識別子取得手段1172は、ステップS408で蓄積された確率の中で、最も大きい確率に対応する意図識別子を取得する。
(ステップS411)意図識別子出力部118は、ステップS410で取得された意図識別子をロボット12に出力する。ステップS403に戻る。
なお、図4のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、ロボット12の動作について、図5のフローチャートを用いて説明する。
(ステップS501)意図識別子受付部122は、脳情報出力装置11から出力された意図識別子を受け付けたか否かを判断する。意図識別子を受け付ければステップS502に行き、意図識別子を受け付けなければステップS501に戻る。
(ステップS502)実行部123は、ステップS501で受け付けられた意図識別子に対応する動作モジュールを、動作情報格納部121から読み出す。
(ステップS503)実行部123は、ステップS502で読み出した動作モジュールを実行する。ステップS501に戻る。
以上の処理により、ユーザが意図した行為(思考を含む)に対応する動作が、ロボット12により行われる。
なお、図5のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
以下、本実施の形態におけるロボットシステム1の具体的な動作について説明する。ロボットシステム1の概念図は図1である。以下の具体例は、一つの実験結果である。
今、脳情報出力装置11は、いわゆる脳・機械インタフェースとして機能する電子機器である。そして、脳情報出力装置11から出力される意図識別子は、ロボット12に送付され、ロボット12は意図識別子に対応した動作を行う、とする。
また、学習データ取得部112、および脳活動データ取得部115は、脳波計測装置である。そして、学習データおよび脳活動データは、脳波データである。
また、本実験において、意図識別子は「左手」「右手」「舌」「足」の4つである、とする。つまり、本実験において、脳波を使った脳・機械インタフェース(BMI)を使って、ユーザに4つのタスク(左手・右手・舌・足を動かすイメージ)のうち1つを任意に選んでもらう。そして、脳情報出力装置11は、ユーザがイメージをしている際の脳活動データ(脳波データ)から、意図識別子を意図判別アルゴリズムによって推定し、当該意図識別子をロボット12に出力する。そして、ロボット12は、意図識別子を取得し、当該意図識別子に従った動作を行う、こととする。
かかる状況において、以下の実験を行い、実験結果を得た。つまり、ユーザは、例えば、任意にタスク(ここでは「左手」とする)を選択し、当該ユーザが、意図識別子「左手」を脳情報出力装置11に入力した、とする。
次に、脳情報出力装置11の学習データ取得部112は、例えば、図6の脳波データを取得する。
次に、学習特徴量群取得部113は、図6の学習データから、学習特徴量群を取得する。学習特徴量群を構成する特徴量は、例えば、平均値、分散値などである。
次に、意図判別情報蓄積部114は、図示しない時計から、日付データ「2008/10/22」を取得する。
次に、意図判別情報蓄積部114は、取得された意図識別子「左手」と、取得された学習特徴量群と、取得された日付データ「2008/10/22」とを用いて、意図判別情報を構成する。そして、意図判別情報蓄積部114は、構成した意図判別情報を、意図判別情報格納部111に蓄積する。
以上の処理を繰り返し、意図判別情報格納部111には、図7に示す意図判別情報管理表が格納される。意図判別情報管理表には、日付、意図識別子、および学習特徴量群を有する意図判別情報が多数、記憶されている。
以上の環境のもと、以下の実験を行った。
(実験1)
過去データを使わない場合(実験当日のデータのみ学習データとして用いた場合)では、脳情報出力装置11(脳・機械インタフェース)を使う実験当日の280のデータ(各タスク毎に70のデータ)を脳情報出力装置11に入れ、意図判別情報を構成した。そして、別に用意した実験当日の140データを入力された脳活動データとして、脳情報出力装置11は意図識別子を推定し、その正誤により、脳情報出力装置11の性能を検証した。
また、過去データを使う場合では、実験当日の280データの他に、過去の7日分の2940データ(各タスク毎に735データ)を脳情報出力装置11に入れ、意図判別情報を構成した。そして、別に用意した実験当日の140データを入力された脳活動データとして、脳情報出力装置11は意図識別子を推定し、その正誤により、脳情報出力装置11の性能を検証した。
実験における動作の流れは以下である。まず、ユーザに4つのタスク(左手・右手・舌・足を動かすイメージ)のうち1つを任意に選んでもらう。そして、脳情報出力装置11の脳活動データ取得部115は、ユーザがイメージをしている際の脳活動データ(脳波データ)を取得する。
そして、特徴量群取得部116は、取得された脳活動データから、入力特徴量群を取得する。
次に、確率算出手段1171は、図7に示す意図判別情報管理表のうち、意図判別情報が有する日付と、現在の日付を元に、実験に適する意図判別情報のみを用いて、以下のように確率を算出する。実験に適する意図判別情報とは、現在から、予め決められた日数前より新しい複数の意図判別情報である。
つまり、確率算出手段1171は、意図識別子(「左手」「右手」「舌」「足」)ごとに、入力特徴量群が各意図識別子に対応する確率を算出する。算出アルゴリズムの例は、上述した通りである。
そして、意図識別子取得手段1172は、算出された確率の中で、最も大きい確率に対応する意図識別子(例えば、「左手」)を取得する。
次に、意図識別子出力部118は、取得された意図識別子(例えば、「左手」)をロボット12に出力する。
そして、ロボット12の意図識別子受付部122は、意図識別子(例えば、「左手」)を受け付ける。次に、実行部123は、意図識別子「左手」に対応する動作モジュールを、動作情報格納部121から読み出す。次に、実行部123は、読み出した動作モジュールを実行する。
そして、ユーザが意図した動作をロボット12が行ったか否かを判断する。そして、脳情報出力装置11の性能を評価する。
以上の実験結果において、過去データを使わないケースでは63.1±4.4%の判別性能であった。つまり、平均判別率は63.1%、標準偏差が4.4%であった。また、過去データを使ったケースでは82.4±3.5%の判別性能であった。すなわち、平均判別率で19.3%の性能向上があったばかりか、判別性能のばらつきである標準偏差が0.9%低下し、非常にロバストで高性能な脳・機械インタフェースが構築できたことがわかった。
また、あわせてどの程度前のデータを使うべきかの検討を行った。ある8日分のデータを使って、その後の11日分のデータを使って判別性能を検証したところ、右肩下がりになっていった(図8参照)。すなわち、過去データを使うにしても、相当古いデータを使うと判別性能が低下する。そこで、可能な限り脳・機械インタフェースを使う日に近い過去データを使う方が良いことも分かった。
(実験2)
実験2において、過去データをどの程度入れたほうが良いのかの検証を行った。実験2における環境は、実験1の環境と同様である。実験2は2008年9月から12月まで行い、最後の3日(11月21日、11月27日、12月4日)のデータをテストデータとして使い、意図判別アルゴリズムの学習には9月データのみ、9月から11月データ、10月データから11月データ、11月データのみのケースを比較したところ、図9のような結果が得られた。
図9から、脳・機械インタフェースを使う当日に近いデータさえ学習データに入っていれば、それほど性能に差がないことが分かった。
以上、本実施の形態によれば、精度の高い意図検出ができる。具体的には、本実施の形態によれば、以下のことが言える。つまり、通常は、ユーザが複数日に渡って脳・機械インタフェース(脳情報出力装置11)を使用する。かかることを利用し、脳情報出力装置11が、過去に取得したデータを有効に使うことで、学習データの取得時間を短縮し、さらには意図判別精度を向上させることができる。かかる効果を示した概念図が図10である。なお、図10(a)は、脳・機械インタフェースを使った機械の以心伝心操作で学習データが十分でない場合は、意図の予測精度が高くないことを示す。図10(b)は、過去に取得したデータを有効に使うことにより、意図の予測精度が高くなることを示す。
また、人間の脳の状態は時々刻々と変わっており過去のデータを使うと判別性能が落ちると言われていたが、本実施の形態によれば、過去のデータから特徴量を適切に抽出し、過去のデータの入れ方を工夫することにより、前述のように判別性能が大幅に上がることが分かった。
なお、本実施の形態において、非常に古い意図判別情報を用いずに、意図識別子を取得するので、意図識別子を決定するまでの処理速度が向上する。
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得された一のデータである学習データから、抽出された1以上の特徴量である学習特徴量群とを対に有する2以上の意図判別情報であり、取得日が異なる前記学習データから抽出された2以上の各学習特徴量群を有する2以上の意図判別情報が格納されており、コンピュータを、ユーザから脳活動のデータである脳活動データを取得する脳活動データ取得部と、前記脳活動データから、1以上の特徴量である入力特徴量群を取得する特徴量群取得部と、前記入力特徴量群に対応する意図識別子を、前記記憶媒体に格納されている2以上の意図判別情報から取得する意図識別子取得部と、前記意図識別子取得部が取得した意図識別子を出力する意図識別子出力部として機能させるプログラムである。
また、上記プログラムにおいて、一の意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から一の学習データを取得する学習データ取得部と、前記学習データ取得部が取得した学習データから、1以上の特徴量である学習特徴量群を取得する学習特徴量群取得部と、前記学習特徴量群取得部が取得した学習特徴量群と、前記一の意図を識別する意図識別子とを対応付けた意図判別情報を、前記学習データの取得日が識別できるように、前記意図判別情報格納部に蓄積する意図判別情報蓄積部として、コンピュータをさらに機能させることは好適である。
また、上記プログラムにおいて、前記意図識別子取得部は、前記意図判別情報格納部の2以上の意図判別情報を用いて、前記特徴量群取得部が取得した入力特徴量群が、前記2以上の意図判別情報に含まれる2以上の意図識別子の各々に対応する確率を、前記2以上の意図識別子ごとに算出する確率算出手段と、前記確率算出手段が算出した意図識別子ごとの確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段として、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、前記意図識別子取得部は、現在から、予め決められた日数前より新しい日以降に取得された学習データから生成された学習特徴量群を有する2以上の意図判別情報から、前記入力特徴量群に対応する意図識別子を取得するものとして、コンピュータを機能させることは好適である。
また、図11は、本明細書で述べたプログラムを実行して、上述した実施の形態の脳情報出力装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図11は、このコンピュータシステム340の概観図であり、図12は、コンピュータシステム340のブロック図である。
図11において、コンピュータシステム340は、FDドライブ、CD−ROMドライブを含むコンピュータ341と、キーボード342と、マウス343と、モニタ344とを含む。
図12において、コンピュータ341は、FDドライブ3411、CD−ROMドライブ3412に加えて、MPU3413と、CD−ROMドライブ3412及びFDドライブ3411に接続されたバス3414と、ブートアッププログラム等のプログラムを記憶するためのROM3415とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3416と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3417とを含む。ここでは、図示しないが、コンピュータ341は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
コンピュータシステム340に、上述した実施の形態の脳情報出力装置等の機能を実行させるプログラムは、CD−ROM3501、またはFD3502に記憶されて、CD−ROMドライブ3412またはFDドライブ3411に挿入され、さらにハードディスク3417に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ341に送信され、ハードディスク3417に記憶されても良い。プログラムは実行の際にRAM3416にロードされる。プログラムは、CD−ROM3501、FD3502またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ341に、上述した実施の形態の脳情報出力装置等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム340がどのように動作するかは周知であり、詳細な説明は省略する。
なお、上記プログラムにおいて、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる脳情報出力装置は、精度の高い意図検出ができる。を有し、BMI等として有用である。
1 ロボットシステム
11 脳情報出力装置
12 ロボット
111 意図判別情報格納部
112 学習データ取得部
113 学習特徴量群取得部
114 意図判別情報蓄積部
115 脳活動データ取得部
116 特徴量群取得部
117 意図識別子取得部
118 意図識別子出力部
121 動作情報格納部
122 意図識別子受付部
123 実行部
1171 確率算出手段
1172 意図識別子取得手段

Claims (9)

  1. ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得された一のデータである学習データから、抽出された1以上の特徴量である学習特徴量群とを対に有する2以上の意図判別情報であり、取得日が異なる前記学習データから抽出された2以上の各学習特徴量群を有する2以上の意図判別情報を格納し得る意図判別情報格納部と、
    ユーザから脳活動のデータである脳活動データを取得する脳活動データ取得部と、
    前記脳活動データから、1以上の特徴量である入力特徴量群を取得する特徴量群取得部と、
    前記入力特徴量群に対応する意図識別子を、前記意図判別情報格納部に格納されている2以上の意図判別情報から取得する意図識別子取得部と、
    前記意図識別子取得部が取得した意図識別子を出力する意図識別子出力部とを具備する脳情報出力装置。
  2. 前記意図識別子取得部は、
    現在から、予め決められた日数前より新しい日以降に取得された学習データから生成された学習特徴量群を有する2以上の意図判別情報から、前記入力特徴量群に対応する意図識別子を取得する請求項1記載の脳情報出力装置。
  3. 一の意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から一の学習データを取得する学習データ取得部と、
    前記学習データ取得部が取得した学習データから、1以上の特徴量である学習特徴量群を取得する学習特徴量群取得部と、
    前記学習特徴量群取得部が取得した学習特徴量群と、前記一の意図を識別する意図識別子とを対応付けた意図判別情報を、前記学習データの取得日が識別できるように、前記意図判別情報格納部に蓄積する意図判別情報蓄積部とをさらに具備する請求項1または請求項2記載の脳情報出力装置。
  4. 前記意図識別子取得部は、
    前記意図判別情報格納部の2以上の意図判別情報を用いて、前記特徴量群取得部が取得した入力特徴量群が、前記2以上の意図判別情報に含まれる2以上の意図識別子の各々に対応する確率を、前記2以上の意図識別子ごとに算出する確率算出手段と、
    前記確率算出手段が算出した意図識別子ごとの確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備する請求項1から請求項3いずれか記載の脳情報出力装置。
  5. 前記確率算出手段は、
    第一から第N(Nは2以上の自然数)のN個の各意図識別子の確率を算出する場合に、前記学習特徴量群から、第一の意図識別子に対して、当該第一の意図識別子と他の意図識別子との2つのクラスに分けるための境界面の情報を得る処理である境界面取得処理を行い、かつ当該境界面取得処理を第二から第Nの意図識別子に対しても行い、次に、取得した境界面の情報により示される境界面からの入力特徴量群の距離を算出し、次に、N個の意図識別子ごとに、当該距離をロジスティック関数に入力し0〜1の値に変換し、次に、当該変換した値である各意図識別子の確率を取得し、次に、各意図識別子の確率をマージすることにより、前記2以上の意図識別子ごとに確率を算出する請求項4記載の脳情報出力装置。
  6. 前記学習データおよび前記脳活動データは、一のユーザの頭部のヘモグロビン量に関する情報であるヘモグロビン情報である請求項1から請求項5いずれか記載の脳情報出力装置。
  7. 意図識別子と当該意図識別子に対応する動作を行わせる動作モジュールとの組である動作情報を2以上格納し得る動作情報格納部と、
    請求項1から請求項6いずれか記載の脳情報出力装置から出力された意図識別子を受け付ける意図識別子受付部と、
    前記意図識別子受付部が受け付けた意図識別子に対応する動作モジュールを実行する実行部とを具備するロボット。
  8. ユーザから脳活動のデータである脳活動データを取得する脳活動データ取得ステップと、
    前記脳活動データから、1以上の特徴量である入力特徴量群を取得する特徴量群取得ステップと、
    2以上の意図判別情報であり、取得日が異なる学習データから抽出された2以上の各学習特徴量群を有する2以上の意図判別情報から、前記入力特徴量群に対応する意図識別子を取得する意図識別子取得ステップと、
    前記意図識別子取得部が取得した意図識別子を出力する意図識別子出力ステップとを具備する脳情報出力方法。
  9. 前記意図識別子取得ステップは、
    現在から、予め決められた日数前より新しい日以降に取得された学習データから生成された学習特徴量群を有する2以上の意図判別情報から、前記入力特徴量群に対応する意図識別子を取得する請求項8記載の脳情報出力方法。
JP2009041337A 2009-02-24 2009-02-24 脳情報出力装置、ロボット、および脳情報出力方法 Expired - Fee Related JP5365956B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009041337A JP5365956B2 (ja) 2009-02-24 2009-02-24 脳情報出力装置、ロボット、および脳情報出力方法
PCT/JP2010/052630 WO2010098283A1 (ja) 2009-02-24 2010-02-22 脳情報出力装置、ロボット、および脳情報出力方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009041337A JP5365956B2 (ja) 2009-02-24 2009-02-24 脳情報出力装置、ロボット、および脳情報出力方法

Publications (2)

Publication Number Publication Date
JP2010198233A JP2010198233A (ja) 2010-09-09
JP5365956B2 true JP5365956B2 (ja) 2013-12-11

Family

ID=42665490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009041337A Expired - Fee Related JP5365956B2 (ja) 2009-02-24 2009-02-24 脳情報出力装置、ロボット、および脳情報出力方法

Country Status (2)

Country Link
JP (1) JP5365956B2 (ja)
WO (1) WO2010098283A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6014869B2 (ja) * 2014-09-12 2016-10-26 株式会社国際電気通信基礎技術研究所 動作識別システム、情報処理装置、情報処理プログラム、および情報処理システム
JP6668811B2 (ja) 2016-02-23 2020-03-18 セイコーエプソン株式会社 訓練装置、訓練方法、プログラム
CN109483572B (zh) * 2018-10-15 2021-09-07 昆明理工大学 一种基于家庭智能服务机器人控制系统及其控制方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6354618A (ja) * 1986-08-25 1988-03-09 Canon Inc 入力装置
JP2000172407A (ja) * 1998-12-07 2000-06-23 Hitachi Ltd 生体信号による機器制御装置
JP2003058298A (ja) * 2001-08-20 2003-02-28 Fuji Xerox Co Ltd 情報分類装置、情報分類方法、情報分類プログラム及びコンピュータ読み取り可能な記録媒体
JP3949469B2 (ja) * 2002-02-22 2007-07-25 三菱電機株式会社 脳波信号を用いた制御装置及び制御方法
JP3993069B2 (ja) * 2002-10-30 2007-10-17 三菱電機株式会社 脳波信号を利用した制御装置
JP2004180817A (ja) * 2002-12-02 2004-07-02 National Institute Of Advanced Industrial & Technology 生体信号を利用した作業支援マニピュレータシステム
JP2006051343A (ja) * 2004-07-16 2006-02-23 Semiconductor Energy Lab Co Ltd 生体信号処理装置、無線メモリ、生体信号処理システム及び被制御装置の制御システム
JP2006072606A (ja) * 2004-09-01 2006-03-16 National Institute Of Information & Communication Technology インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置
JP2006289565A (ja) * 2005-04-12 2006-10-26 Japan Science & Technology Agency ロボット操作装置及びロボット
JP5150942B2 (ja) * 2006-02-03 2013-02-27 株式会社国際電気通信基礎技術研究所 活動補助システム
JP2008054752A (ja) * 2006-08-29 2008-03-13 Aruze Corp 遊技機
JP4272702B2 (ja) * 2006-11-15 2009-06-03 パナソニック株式会社 脳波識別方法の調整装置、方法およびコンピュータプログラム
JP4411442B2 (ja) * 2007-02-20 2010-02-10 国立大学法人 岡山大学 脳波−運動指令変換装置

Also Published As

Publication number Publication date
WO2010098283A1 (ja) 2010-09-02
JP2010198233A (ja) 2010-09-09

Similar Documents

Publication Publication Date Title
JP5531237B2 (ja) 脳情報出力装置、ロボット、および脳情報出力方法
Xie et al. Wavelet-based sparse functional linear model with applications to EEGs seizure detection and epilepsy diagnosis
US10039501B2 (en) Computer-aided diagnosis (CAD) apparatus and method using consecutive medical images
CN109344889B (zh) 脑疾病分类装置、用户终端和计算机可读存储介质
US20220343496A1 (en) Systems and methods for accurate and rapid positron emission tomography using deep learning
Mokhtari et al. Decoding brain states using backward edge elimination and graph kernels in fMRI connectivity networks
JP5365956B2 (ja) 脳情報出力装置、ロボット、および脳情報出力方法
Asghar et al. Semi-skipping layered gated unit and efficient network: hybrid deep feature selection method for edge computing in EEG-based emotion classification
WO2022202943A1 (ja) 心電図解析支援装置、プログラム、心電図解析支援方法、及び心電図解析支援システム
US11460528B2 (en) MRI reconstruction with image domain optimization
US20210319539A1 (en) Systems and methods for background aware reconstruction using deep learning
Lakshmi Devasena et al. Efficient computer aided diagnosis of abnormal parts detection in magnetic resonance images using hybrid abnormality detection algorithm
JP6458387B2 (ja) 生体電気ノイズ同定システム及び生体電気ノイズ除去システム
KR101914189B1 (ko) 복수의 뇌신호에 대한 공통 패턴을 제공하는 장치 및 방법
Onay et al. Assessment of CSP-based two-stage channel selection approach and local transformation-based feature extraction for classification of motor imagery/movement EEG data
KR101345216B1 (ko) 다수 피험자의 뇌전도 분석 방법 및 장치
JP2010198237A (ja) 意図判別情報取得装置、脳情報出力装置、ロボット、および意図判別情報取得方法
US10143406B2 (en) Feature-quantity extracting apparatus
Abenna et al. An enhanced motor imagery EEG signals prediction system in real-time based on delta rhythm
JP5256517B2 (ja) 脳情報出力装置、ロボット、および脳情報出力方法
JP2019080809A (ja) 状態推定装置
Kowshik et al. Nurse Care Activity Recognition from Accelerometer Sensor Data Using Fourier-and Wavelet-based Features
JP2010198235A (ja) 脳情報出力装置、ロボット、および脳情報出力方法
Gutierrez-Cáceres et al. Computer aided medical diagnosis tool to detect normal/abnormal studies in digital mr brain images
Calhas et al. fMRI multiple missing values imputation regularized by a recurrent denoiser

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130830

R150 Certificate of patent or registration of utility model

Ref document number: 5365956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees