JP6014869B2 - 動作識別システム、情報処理装置、情報処理プログラム、および情報処理システム - Google Patents

Description

本発明は、近赤外分光脳計測（Near Infra-Red Spectroscopy：ＮＩＲＳ）を用いて、被験者の動作を推定する技術に関する。

従来の脳機能に関する研究では、脳波計測（ElectroEncephaloGraphy：ＥＥＧ）の手法を用いて、脳活動に由来する電気信号を観測していた。近年、脳活動を示す特徴量を観測する手法として、近赤外分光脳計測（以下、「ＮＩＲＳ」とも略称する。）が開発され、脳機能に関する研究および各種応用に用いられている（たとえば、特開２０１０−０００２８３号公報（特許文献１）、および、特開２０１２−２２３５２３号公報（特許文献２）などを参照）。

脳内で何らかの信号が伝達されて処理される際には、毛細血管を通じて酸化ヘモグロビン（オキシヘモグロビン：ＯｘｙＨｂ）により酸素が供給される。ＮＩＲＳは、頭部に近赤外光を照射することで、このような酸素供給の状況をリアルタイムに計測する。脳内で酸素が消費されると、酸素と結合しているヘモグロビンである酸化ヘモグロビンは、その結合していた酸素と分離されて還元ヘモグロビン（デオキシヘモグロビン：ｄｅＯｘｙＨｂ）に変化する。照射される近赤外光は、酸化ヘモグロビンおよび還元ヘモグロビンの両方に吸収されるが、それぞれのヘモグロビンで吸収される波長は互いに異なっている。すなわち、酸化ヘモグロビンおよび還元ヘモグロビンは、互いに異なる吸収スペクトルを有している。酸化ヘモグロビンおよび還元ヘモグロビンのそれぞれのモル分子吸光係数が既知であれば、それぞれの吸収波長における吸光度変化を計測することで、酸化ヘモグロビンおよび還元ヘモグロビンの濃度変化を算出できる。これらのヘモグロビンの濃度変化は、脳内への酸素の供給状態、すなわち脳活動と強い相関性を有することになる。

たとえば、非特許文献１には、機能的近赤外分光脳計測（Functional Near Infra-Red Spectroscopy：ｆＮＩＲＳ）を用いて被験者の意図を解読して、ダンスゲームに応用した研究が開示されている。この研究では、体動によるアーチファクト（motion artifact）の影響を避けるために、被験者が可能な限り不要な動作を行なわないようにしている。

また、非特許文献２には、ブレインコンピュータインタフェース（Brain-computer Interface：ＢＣＩ）アプリケーションに適用するために、ＮＩＲＳ計測信号を識別する方法が開示されている。

特開２０１０−０００２８３号公報 特開２０１２−２２３５２３号公報

Ono, Y., et al., Frontotemporal oxyhemoglobin dynamics predict performance accuracy of dance simulation gameplay:Temporal characteristics of top-down..., NeuroImage (2013), http://dx.doi.org/10.1016/j.neuroimage.2013.05.071 Gottemukkula, V.; Derakhshani, R., "Classification-guided feature selection for NIRS-based BCI," Neural Engineering (NER), 2011 5th International IEEE/EMBS Conference on , vol., no., pp.72,75, April 27 2011-May 1 2011

何らかの体動を生じると、その体動に係る筋肉には、微弱な電流、すなわち筋電が流れる。このような筋電は、脳活動に由来する脳波（電気信号）に比較して大きい。そのため、従来の脳波計測（ＥＥＧ）では、被験者の動きを可能な限り小さくして、すなわち筋電を可能な限り小さくして、計測する必要があり、被験者の動作を推定するような用途には適用することができなかった。

非特許文献１に開示されるｆＮＩＲＳを用いる手法は、意図と関連付けられた運動想像などの運動野における脳活動を観測するものである。このような運動野における脳活動を観測するためには、より多くの計測点（チャネル）での計測が必要であり、計測装置が大がかりになる。被験者の意図でロボットや義手などを操作するような場合には、応用できるが、日常生活への応用は難しい。

被験者の脳活動を観測することで、その被験者が行なっている動作を推定する技術をより広い範囲に応用するためには、実験室内のような特殊な環境ではなく、通常の生活環境内で日常生活を行なっている被験者からの計測信号を利用できるようにすることが要望されている。

本発明のある実施の形態に従う動作識別システムは、情報処理装置と、被験者への装着が可能に構成されるとともに、被験者の頭部に近赤外光を照射することで取得される脳活動を示す信号を情報処理装置へ送信する携帯型計測装置と、被験者の行動を観察する観察装置とを含む。情報処理装置は、観察装置により取得された情報から被験者の動作を特定する特定手段と、携帯型計測装置から受信する脳活動を示す信号のうち、所定期間の信号成分を抽出する抽出手段と、抽出された信号成分と当該信号成分に対応する被験者の動作を示す情報とを関連付けたサンプルを生成する生成手段と、複数のサンプルを用いた学習により、動作についての識別器を構築する構築手段と、任意の脳活動を示す信号を識別器に入力することで、当該入力された信号に対応する動作を推定する推定手段とを含む。

好ましくは、特定手段は、予め定義された複数の動作のうちいずれかの動作を被験者が開始したタイミングを特定し、抽出手段は、特定されたタイミングを基準とする所定期間の信号成分を抽出する。

好ましくは、構築手段は、被験者が、複数の動作のうちから自身で任意に決定した動作を行なったときに取得される脳活動を示す信号、から生成されたサンプルを用いて、識別器を構築する。

あるいは、好ましくは、構築手段は、被験者が、複数の動作のうちから予めランダムに指定される動作を行なったときに取得される脳活動を示す信号、から生成されたサンプルを用いて、識別器を構築する。

好ましくは、識別器は、サポートベクターマシンに従う判別関数によって定義される。
好ましくは、脳活動を示す信号は、複数の計測点においてそれぞれ計測された複数の時系列信号を含み、生成手段は、各サンプルの時刻を基準とする所定の時間幅に関して、複数の時系列信号をそれぞれ時間方向に平均化することで、サンプルの要素として、複数の計測点のそれぞれの代表値を算出する。

さらに好ましくは、複数の時系列信号は、同一の計測点において計測される、酸化ヘモグロビンおよび還元ヘモグロビンの濃度変化の信号を含む。

本発明の別の実施の形態に従う情報処理装置は、被験者に装着された携帯型計測装置から、被験者の頭部に近赤外光を照射することで取得される脳活動を示す信号を受信する受信手段と、脳活動を示す信号のうち、所定期間の信号成分を抽出する抽出手段と、抽出された信号成分と当該信号成分に対応する被験者の動作を示す情報とを関連付けたサンプルを生成する生成手段と、複数のサンプルを用いた学習により、動作についての識別器を構築する構築手段とを含む。

本発明のさらに別の実施の形態に従えば、通信機能を有するコンピュータで実行される情報処理プログラムが提供される。情報処理プログラムは、コンピュータに、被験者に装着された携帯型計測装置から、被験者の頭部に近赤外光を照射することで取得される脳活動を示す信号を受信するステップと、脳活動を示す信号のうち、所定期間の信号成分を抽出するステップと、抽出された信号成分と当該信号成分に対応する被験者の動作を示す情報とを関連付けたサンプルを生成するステップと、複数のサンプルを用いた学習により、動作についての識別器を構築するステップとを実行させる。

本発明のさらに別の実施の形態に従う情報処理システムは、ユーザの頭部に近赤外光を照射することで測定される脳活動を示す信号を取得する取得手段と、脳活動を示す信号を識別器に入力することで、当該入力された信号に対応する動作を決定する決定手段とを含む。識別器は、ユーザから予め取得された脳活動を示す信号から抽出された所定期間の信号成分と、当該所定期間における当該ユーザの動作を示す情報とを関連付けたサンプルを複数用意するとともに、それらの複数のサンプルを用いた学習により構築されたものである。情報処理システムは、決定された動作に関連機器に対して、決定された動作に関連付けられた指令を出力する出力手段を含む。

好ましくは、決定手段は、決定された動作に関連付けられた機器を特定する手段を含む。

好ましくは、脳活動を示す信号は、複数の計測点においてそれぞれ計測された複数の時系列信号を含み、抽出された所定期間の信号成分は、各サンプルの時刻を基準とする所定の時間幅に含まれる複数の時系列信号を標準化することで算出される、複数の計測点のそれぞれの特徴量を含む。

本発明のさらに別の実施の形態に従う情報処理装置は、ユーザの頭部に近赤外光を照射することで測定される脳活動を示す信号を取得する取得手段と、脳活動を示す信号を外部装置へ送信するとともに、外部装置からの応答を受信する通信手段とを含む。外部装置は、脳活動を示す信号を識別器に入力することで、当該入力された信号に対応する動作を決定するとともに、当該決定した動作を含む情報を応答する。識別器は、ユーザから予め取得された脳活動を示す信号から抽出された所定期間の信号成分と、当該所定期間における当該ユーザの動作を示す情報とを関連付けたサンプルを複数用意するとともに、それらの複数のサンプルを用いた学習により構築されたものである。情報処理装置は、さらに、外部装置により決定された動作に関連機器に対して、決定された動作に関連付けられた指令を出力する出力手段を含む。

好ましくは、脳活動を示す信号は、複数の計測点においてそれぞれ計測された複数の時系列信号を含み、抽出された所定期間の信号成分は、各サンプルの時刻を基準とする所定の時間幅に含まれる複数の時系列信号を標準化することで算出される。

本発明のある実施の形態によれば、通常の生活環境内での日常生活を行なっている被験者からの計測信号を利用して、被験者の動作を推定することができる。

本発明の別の実施の形態によれば、通常の生活環境内での日常生活を行なっている被験者からの計測信号を利用して、被験者が行なおうとしている動作あるいはその意思を推定することができる。

本実施の形態に従う動作識別方法の概要を示す模式図である。 本実施の形態に従う動作識別方法を実現するためのシステム構成例を示す模式図である。 本実施の形態に従うセンサ本体を被験者に装着した状態を示す外観図である。 本実施の形態に従うセンサ本体のプローブおよび計測部位を示す模式図である。 本実施の形態に従うセンサ本体による計測部位を示す模式図である。 本実施の形態に従う情報処理装置のハードウェア構成を示す模式図である。 本実施の形態に従う情報処理装置での学習工程に係る機能構成を示す模式図である。 脳内の血流に含まれる周波数成分を示す模式図である。 本実施の形態に従うＮＩＲＳ計測信号の第１の特徴量抽出処理を説明する模式図である。 本実施の形態に従うＮＩＲＳ計測信号の第２の特徴量抽出処理におけるサンプルの生成方法を説明する模式図である。 本実施の形態に従うＮＩＲＳ計測信号の第２の特徴量抽出処理におけるＮＩＲＳ計測信号と動作ラベルとの組み合わせの生成処理を説明する模式図である。 本実施の形態に従うＮＩＲＳ計測信号の第２の特徴量抽出処理の変形例におけるＮＩＲＳ計測信号と動作ラベルとの組み合わせの生成処理を説明する模式図である。 第１の実験において取得されたＮＩＲＳ計測信号の時間波形の一例を示す図である。 第１の実験において取得されたＮＩＲＳ計測信号に対する学習工程および識別工程の結果を示す図である。 第１の実験において複数の被験者から取得されたＮＩＲＳ計測信号に対する学習工程および識別工程の結果を示す図である。 第２の実験におけるＩｎｓｔｒｕｃｔｅｄ条件およびＡｃｔｉｖｅ条件を説明する模式図である。 第２の実験においてＩｎｓｔｒｕｃｔｅｄ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した後、Ａｃｔｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いて識別工程を実施した結果を示す図である。 第２の実験においてＡｃｔｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した後、Ｉｎｓｔｒｕｃｔｅｄ条件下で取得されたＮＩＲＳ計測信号を用いて識別工程を実施した結果を示す図である。 第３の実験におけるＩｎｓｔｒｕｃｔｅｄ条件およびＰａｓｓｉｖｅ条件を説明する模式図である。 第３の実験において、頭の動きを抑制したＩｎｓｔｒｕｃｔｅｄ条件下において取得されたＮＩＲＳ計測信号の時間波形の一例を示す図である。 第３の実験において、頭の動きを抑制したＰａｓｓｉｖｅ条件下において取得されたＮＩＲＳ計測信号の時間波形の一例を示す図である。 第３の実験において、被験者の頭の動きを抑制した状態において測定されたＮＩＲＳ計測信号を用いて学習工程および識別工程を実施したときの識別精度を一覧表示する図である。 第３の実験において、被験者の頭の動きを抑制した状態において測定されたＮＩＲＳ計測信号を用いて学習工程および識別工程を実施したときの識別精度を一覧表示する図である。 第３の実験において、頭の動きを抑制したＩｎｓｔｒｕｃｔｅｄ条件１下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。 第３の実験において、頭の動きを抑制したＩｎｓｔｒｕｃｔｅｄ条件２下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。 第３の実験において、頭の動きを抑制したＰａｓｓｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。 第３の実験において、被験者の頭の動きを抑制しない状態において測定されたＮＩＲＳ計測信号を用いて学習工程および識別工程を実施したときの識別精度の一覧表示する図である。 第３の実験において、頭の動きを抑制しないＡｃｔｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。 第３の実験において、頭の動きを抑制しないＡｃｔｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。 第３の実験において、頭の動きを抑制しないＡｃｔｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。 第３の実験において、頭の動きを抑制しないＩｎｓｔｒｕｃｔｅｄ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。 第３の実験において、頭の動きを抑制しないＩｎｓｔｒｕｃｔｅｄ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。 第３の実験において、頭の動きを抑制しないＩｎｓｔｒｕｃｔｅｄ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。 第３の実験において、頭の動きを抑制しないＰａｓｓｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。 第３の実験において、頭の動きを抑制しないＰａｓｓｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。 第３の実験において、頭の動きを抑制しないＰａｓｓｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。 第３の実験において、頭の動きを抑制しないＩｎｉｔｉｎａｌ−ａｓｓｉｓｔｅｄ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。 第３の実験において、頭の動きを抑制しないＩｎｉｔｉｎａｌ−ａｓｓｉｓｔｅｄ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。 第３の実験において、頭の動きを抑制しないＩｎｉｔｉｎａｌ−ａｓｓｉｓｔｅｄ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。 第４の実験における識別結果の一例を示す図である。 第５の実験の実験条件を説明する模式図である。 第５の実験において同一条件下で学習工程および識別工程を実施した結果を示す図である。 第５の実験において互いに異なる条件下で学習工程および識別工程を実施した結果を示す図である。 本実施の形態に従う動作識別方法の処理手順を示すフローチャートである。 本実施の形態に従う動作識別方法を応用したシステム構成例（第１の応用例）を示す模式図である。 図４５に示すサーバ装置における処理手順を示すフローチャートである。 本実施の形態に従う動作識別方法を応用したシステム構成例（第２の応用例）を示す模式図である。 本実施の形態に従う動作識別方法を応用したシステム構成例（第３の応用例）を示す模式図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

［Ａ．概要］
まず、本実施の形態に従う動作識別方法の概要について説明する。図１は、本実施の形態に従う動作識別方法の概要を示す模式図である。図１を参照して、本実施の形態の動作識別方法は、教師あり学習を用いた識別手法を採用する。より具体的には、本実施の形態の動作識別方法は、学習工程および識別工程を有している。

学習工程では、被験者が何らかの動作を行なっている際に取得されるＮＩＲＳ計測信号（図１の（１−１））と、その動作を示す動作情報（動作ラベル）（図１の（１−２））とを関連付けて収集し、これらのＮＩＲＳ計測信号と動作情報（動作ラベル）とのペア（サンプル）を用いて学習を実施する（図１の（２））。この学習工程によって、識別器が構築される。この識別器の詳細については、後述する。

本明細書において、被験者の動作を示す動作情報は、予め定義された複数の動作のうち、いずれかの動作を被験者が行なっていることを示す情報に限らず、被験者が何らの動作も行なっていないことを示す情報、または、当該予め定義された複数の動作のいずれとも異なる動作を行なっていることを示す情報を含み得る。これらの情報は、いずれも学習工程において教師ラベルとなり得るからである。以下の具体例の説明においては、簡素な処理例として、被験者が、予め定義された複数の動作のうちいずれかの動作を行なっていることを示す情報を用いる場合を説明するが、これに限られるものではない。

識別工程では、被験者が何らかの（未知の）動作を行なっている際に取得されたＮＩＲＳ計測信号を、予め構築した識別器に入力することで（図１の（３））、入力されたＮＩＲＳ計測信号に対応する、最も確からしい動作が出力される（図１の（４））。すなわち、未知のＮＩＲＳ計測信号から被験者の動作を識別または推定できる。

なお、本明細書において、「被験者」とは、ＮＩＲＳ計測信号を取得する対象となる人を包含するが、狭義の意味での実験においてＮＩＲＳ計測信号を取得する対象となる人には限られない。本実施の形態に従う動作識別方法は、後述するように、各種の実用的な応用が想定されており、そのような応用においては、「被験者」とは、装置またはシステムを利用する「ユーザ」を含み得る。

［Ｂ．システム構成例］
次に、本実施の形態に従う動作識別方法を実現するためのシステム構成例について説明する。図２は、本実施の形態に従う動作識別方法を実現するためのシステム構成例を示す模式図である。本実施の形態の動作識別方法は、典型的には、図２に示される動作識別システム１によって実現される。

動作識別システム１は、主として、携帯型コントローラ２と、センサ本体３と、動作観察装置４と、情報処理装置５とからなる。携帯型コントローラ２およびセンサ本体３は、被験者への装着が可能に構成されたセットであり、この両者をまとめて、携帯型計測装置と称する場合もある。すなわち、携帯型計測装置は、被験者の頭部に近赤外光を照射することで取得される脳活動を示す信号であるＮＩＲＳ計測信号を情報処理装置５へ送信する。被験者は、本実施の形態に従う携帯型計測装置を装着した状態で移動できるので、通常の生活環境内で日常生活の動作を行なっている被験者の計測が可能である。

センサ本体３は、被験者の頭部に装着され、ＮＩＲＳ計測信号を取得するための複数のプローブを含む。より具体的には、センサ本体３は、近赤外光を頭部の内部に向けて照射する送光プローブ、および、照射された近赤外光が脳内で透過・反射して生じる近赤外光を受光する受光プローブを含む。センサ本体３には、脳波計測（ＥＥＧ）を行なうための少なくとも一対の電極が組み込まれていてもよい。センサ本体３の詳細については、後述する。

携帯型コントローラ２は、典型的には、所定のアダプタなどで被験者に装着されるとともに、センサ本体３に接続される。携帯型コントローラ２は、主たるコンポーネントとして、制御部２００と、発光部２０２と、検出部２０４と、Ａ／Ｄ（Analog to Digital）変換部２０６および２１０と、増幅器２０８と、通信部２１２と、バッテリ２２０とを含む。

発光部２０２および検出部２０４は、ＮＩＲＳ計測信号を取得するために、センサ本体３に配置される送光プローブおよび受光プローブとそれぞれ接続される。発光部２０２は、近赤外光を発生する光源であり、その発生させた近赤外光を、光ファイバを介して送光プローブへ送出する。検出部２０４は、受光プローブで受光されて光ファイバを介して伝播された近赤外光を検出する。検出部２０４は、受光した近赤外光に含まれる予め定められた複数の波長での強度のそれぞれを出力し、または、受光した近赤外光の予め定められた波長範囲についての強度スペクトルを出力する。検出部２０４から出力された信号（アナログ信号）は、Ａ／Ｄ変換部２０６でデジタル信号に変換されて、制御部２００へ与えられる。

増幅器２０８は、脳波計測を行なうためのコンポーネントであり、センサ本体３に組み込まれた電極と電気的に接続される。増幅器２０８は、電極間に生じる電気信号を増幅して、Ａ／Ｄ変換部２１０へ出力する。Ａ／Ｄ変換部２１０は、増幅器２０８からの電気信号（アナログ信号）をデジタル信号に変換して制御部２００へ与える。ただし、増幅器２０８およびＡ／Ｄ変換部２１０は、本実施の形態に従う動作識別方法において必須の構成ではないので、省略可能である。

制御部２００は、携帯型コントローラ２での処理を中心的に実行するコンポーネントであり、発光部２０２に対して、必要なタイミングで近赤外線の発生を指示するとともに、Ａ／Ｄ変換部２０６からの信号を予め定められた変換関数を用いて換算した上で、通信部２１２を通じて情報処理装置５へ送信する。より具体的には、制御部２００は、検出部２０４での検出量（すなわち、光子量）を、変換関数を用いて、酸化ヘモグロビン（以下、「ＯｘｙＨｂ」とも略称する。）および還元ヘモグロビン（以下、「ｄｅＯｘｙＨｂ」とも略称する。）の濃度変化量として数値化する。この濃度変化量としての数値化の具体的手順については、公知技術であるので、ここでは詳細な説明は行なわない。

検出部２０４での検出量を、ＯｘｙＨｂおよびｄｅＯｘｙＨｂの濃度変化量に変換する処理については、情報処理装置５で実行するようにしてもよい。すなわち、携帯型コントローラ２は、検出部２０４での検出生信号を情報処理装置５へ送信し、情報処理装置５がＯｘｙＨｂおよびｄｅＯｘｙＨｂの濃度変化量を算出してもよい。

通信部２１２は、情報処理装置５との間で各種情報を遣り取りするコンポーネントである。本実施の形態においては、通常の生活環境内で日常生活の動作を行なっている被験者を計測するので、携帯型コントローラ２と情報処理装置５との間は、無線通信によって情報を遣り取りする。典型的には、通信部２１２は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの汎用的な無線通信方式に従って、情報処理装置５との間を遣り取りする。

バッテリ２２０は、携帯型コントローラ２を構成する各コンポーネントに対して電源を供給する。バッテリ２２０は、再充電可能になっていることが好ましい。

動作観察装置４は、学習工程において必要な、被験者の動作を示す動作情報（動作ラベル）を取得するために、被験者の行動を観察する。動作観察装置４は、主たるコンポーネントとして、撮像部４００と、動画像収集部４０２と、位置・動き認識部４０４とを含む。

撮像部４００は、学習工程において被験者を撮像できる位置に配置されている。動画像収集部４０２は、撮像部４００から出力された動画像を時系列に格納する。位置・動き認識部４０４は、動画像収集部４０２に格納された動画像を解析して、被験者の動作を特定するために必要な情報を出力する。より具体的には、位置・動き認識部４０４は、画像内に存在する被験者およびその主要部位（例えば、顔）の位置、ならびに、骨格の位置およびそれらの間の相対位置関係などを認識して、その認識結果を出力する。位置・動き認識部４０４としては、たとえば、マイクロソフト社のＫｉｎｅｃｔ（登録商標）を用いることもできる。なお、位置・動き認識部４０４に相当する機能は、動作観察装置４ではなく、情報処理装置５に組み入れてもよい。

被験者が移動する範囲が広い場合には、撮像部４００として、複数のカメラを配置してもよい。複数の撮像部４００を配置する場合には、それぞれが出力する動画像のタイムスタンプを互いに同期させておくことが好ましい。

図２には、被験者の行動を観察する具体的手法として、被験者を撮像することで得られる動画像を用いる例を示すが、別の手法として、被験者に装着したマーカを検出する方法を採用してもよい。

情報処理装置５は、携帯型コントローラ２から受信するＮＩＲＳ計測信号、および、動作観察装置４から受信する被験者の動作を特定するための情報を用いて、学習工程および識別工程（図１参照）を実現するための処理を実行する。情報処理装置５の詳細については、後述する。

［Ｃ．ＮＩＲＳおよびセンサ本体３］
次に、ＮＩＲＳ計測信号を取得するためのセンサ本体３について説明する。図３は、本実施の形態に従うセンサ本体３を被験者に装着した状態を示す外観図である。図４は、本実施の形態に従うセンサ本体３のプローブおよび計測部位を示す模式図である。図５は、本実施の形態に従うセンサ本体３による計測部位を示す模式図である。

図３を参照して、被験者の頭部に装着されるセンサ本体３は、複数のプローブユニット３２，３３，３４，３５を含み、これらのプローブユニットはフレーム３１によって位置決めされる。プローブユニット３２，３３，３４，３５の各々は、一対の送光プローブおよび受光プローブを含む。

本実施の形態においては、頭頂から側頭部の間にある運動野周辺にプローブを配置する。より具体的には、脳波の電極配置に用いる国際１０−２０法において中心部（ｃｅｎｔｒａｌ）として定義されているＣ３およびＣ４の近傍に、複数のプローブが配置される。Ｃ３およびＣ４に相当する運動野の中心は手足の運動に関わる部分であるとの本願発明者らの知見に基づいて、これらの近傍に複数のプローブが配置されている。Ｃ３が左運動野に相当し、Ｃ４が右運動野に相当する。図４には、被験者の頭頂部から見たＣ３およびＣ４の位置を示し、図５（Ａ）には、被験者の側面側から見たＣ３およびＣ４の位置を示し、図５（Ｂ）には、被験者の背後側から見たＣ３およびＣ４の位置を示す。

本実施の形態に従うセンサ本体３は、８チャネルのＮＩＲＳ計測信号を取得できるようになっている。図４に戻って、Ｃ３の近傍にプローブユニット３２および３３が配置される。プローブユニット３２は、送光プローブ３２１および受光プローブ３２２を含み、プローブユニット３３は、送光プローブ３３１および受光プローブ３３２を含む。これらのプローブは、Ｃ３を中心とした対角状に互い違いに配置されている。

送光プローブ３２１から照射された近赤外光は、脳内で透過・反射し、その結果生じる近赤外光は、受光プローブ３２２および３３２で受光される。この近赤外光の伝搬する経路が計測点（チャネル）に相当する。図４に示す配置例では、送光プローブ３２１から受光プローブ３２２までの伝搬経路にある部分がチャネル１（ｃｈ１）となり、送光プローブ３２１から受光プローブ３３２までの伝搬経路にある部分がチャネル２（ｃｈ２）となる。同様に、送光プローブ３３１から受光プローブ３２２までの伝搬経路にある部分がチャネル３（ｃｈ３）となり、送光プローブ３３１から受光プローブ３３２までの伝搬経路にある部分がチャネル４（ｃｈ４）となる。

同様に、Ｃ４の近傍にプローブユニット３４および３５が配置される。プローブユニット３４は、送光プローブ３４１および受光プローブ３４２を含み、プローブユニット３５は、送光プローブ３５１および受光プローブ３５２を含む。上述したのと同様に、送光プローブから受光プローブまでのそれぞれの伝搬経路にある部分がチャネル５（ｃｈ５）〜チャネル８（ｃｈ８）となる。

計測部位としては、Ｃ３およびＣ４に限られることはなく、別の計測部位にプローブを配置してもよいし、別の計測部位を追加してもよい。また、計測点（チャネル）の数や位置についても、識別器の構築精度および処理速度などを考慮して適宜設計できる。

［Ｄ．情報処理装置５］
次に、学習工程および識別工程を主として実行する情報処理装置５について説明する。図６は、本実施の形態に従う情報処理装置５のハードウェア構成を示す模式図である。

情報処理装置５は、典型的には、汎用的なアーキテクチャに従うコンピュータを採用することができる。図６を参照して、情報処理装置５は、主たるコンポーネントとして、プロセッサ５００と、主メモリ５０２と、無線通信インターフェイス５０４と、有線通信インターフェイス５０６と、表示部５０８と、入力部５１０と、補助記憶装置５２０とを含む。これらのコンポーネントは、内部バス５１２を介して互いにデータを遣り取りできるように接続されている。

プロセッサ５００は、補助記憶装置５２０に格納されている各種プログラムに含まれるコードを指定される順序に実行することで、後述する各種機能を実現する。主メモリ５０２は、ＤＲＡＭ（Dynamic Random Access Memory）などで構成され、プロセッサ５００で実行されるプログラムのコードやプログラムの実行に必要な各種ワークデータを保持する。

情報処理装置５は、通信機能を有しており、この通信機能は、主として、無線通信インターフェイス５０４および有線通信インターフェイス５０６によって提供される。

無線通信インターフェイス５０４は、主として、携帯型コントローラ２（図２）との間で各種情報を遣り取りするためのコンポーネントであり、典型的には、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などに従う通信モジュールからなる。有線通信インターフェイス５０６は、主として、動作観察装置４（図２）との間で各種情報を遣り取りするためのコンポーネントであり、典型的には、インターネットプロトコルに従う通信モジュールからなる。有線通信インターフェイス５０６は、識別工程において、未知のＮＩＲＳ計測信号を他の情報処理装置から受信したり、識別結果を他の情報処理装置へ出力したりする。

表示部５０８は、典型的には、ディスプレイなどで構成され、情報処理装置５における処理の実行状態や操作に係る各種情報をユーザへ通知する。入力部５１０は、典型的には、マウスまたはキーボードなどで構成され、ユーザからの操作を受付ける。

補助記憶装置５２０は、典型的には、ハードディスクまたはＳＳＤ（Solid State Drive）などで構成され、プロセッサ５００にて実行される各種の情報処理プログラムおよび受信した各種情報を保持する。より具体的には、補助記憶装置５２０は、計測情報格納領域５２２が確保されている。計測情報格納領域５２２には、携帯型コントローラ２から受信するＮＩＲＳ計測信号５２４および脳波計測信号５２６、ならびに、動作観察装置４から受信する位置・動き認識信号５２８が格納される。

補助記憶装置５２０には、さらに、信号処理モジュール５３０と、動作ラベル付与モジュール５３２と、識別器生成モジュール５３４と、識別器定義データ５３６と、識別モジュール５３８とが格納される。信号処理モジュール５３０は、計測情報格納領域５２２に格納される、ＮＩＲＳ計測信号５２４を用いて学習工程を実施するために必要な特徴量の抽出処理（前処理）を実行する。動作ラベル付与モジュール５３２は、動作観察装置４から受信する位置・動き認識信号５２８に基づいて、被験者の動作を特定し、その動作のタイミングまたは期間を示す情報（典型的には、開始時刻および終了時刻）とともに、その動作の種類を特定する動作情報（動作ラベル）を出力する。識別器生成モジュール５３４は、信号処理モジュール５３０からのＮＩＲＳ計測信号と、動作ラベル付与モジュール５３２からの動作情報（動作ラベル）とを用いて、識別器を構築する。識別モジュール５３８は、任意のＮＩＲＳ計測信号を識別器に入力することで、当該入力されたＮＩＲＳ計測信号に対応する動作を推定する。

このように、情報処理装置５では、信号処理モジュール５３０、動作ラベル付与モジュール５３２、識別器生成モジュール５３４、および識別モジュール５３８を含む、情報処理プログラムが実行されることになる。

構築された識別器の定義は、識別器定義データ５３６として格納される。後述するように、識別器定義データ５３６としては、１または複数の判別関数の定義を含む。

図６には、プロセッサ５００がプログラムを実行することで、本実施の形態に従う動作識別方法を実現する構成例について説明したが、これに限られることなく、本発明に係る製品または方法が現実に実装される時代の技術水準に応じた構成を適宜採用することができる。たとえば、図６に示す情報処理装置５が提供する機能の全部または一部をＬＳＩ（Large Scale Integration）またはＡＳＩＣ（Application Specific Integrated Circuit）などの集積回路を用いて実装してもよいし、ＦＰＧＡ（Field-Programmable Gate Array）などの再プログラム可能な回路素子を用いて実装してもよい。さらにあるいは、図６に示す情報処理装置５が提供する機能を複数の処理主体が互いに協働することで実現してもよい。たとえば、情報処理装置５が提供する機能の実質的全部または一部がネットワーク上のサーバ装置によって提供されるようにしてもよい。サーバ装置がすべての機能を提供する場合には、情報処理装置５は、携帯型コントローラ２および動作観察装置４とサーバ装置との間のインターフェイスとしてのみ機能することになるが、そのような場合であっても、本発明の技術的範囲に含まれ得る。

［Ｅ．学習工程および識別器］
次に、本実施の形態に従う動作識別方法において実行される学習工程のより詳細な手順、およびそれによって構築される識別器について説明する。

図７は、本実施の形態に従う情報処理装置５での学習工程に係る機能構成を示す模式図である。図７に示す各機能は、典型的には、情報処理装置５が情報処理プログラム（含：信号処理モジュール５３０、動作ラベル付与モジュール５３２、識別器生成モジュール５３４、および、識別モジュール５３８（図６参照））を実行することで実現される。すなわち、図７に示す情報処理装置５において、信号処理モジュール５３０は、バンドパスフィルタ処理５３０２と、信号抽出処理５３０４と、信号整形処理５３０６とを実現するためのコードを含む。動作ラベル付与モジュール５３２は、動作認識処理５３２２および動作データベース５３２４とを実現するためのコードを含む。識別器生成モジュール５３４は、学習処理５３４２を実現するためのコードを含む。識別モジュール５３８は、識別処理５３８２を実現するためのコードを含む。

バンドパスフィルタ処理５３０２は、携帯型計測装置（携帯型コントローラ２およびセンサ本体３）から取得したＮＩＲＳ計測信号に対して、特定の周波数帯域の成分を抽出する。上述したように、本実施の形態に従うセンサ本体３は、一例として、８チャネルのＮＩＲＳ計測信号（ＯｘｙＨｂおよびｄｅＯｘｙＨｂをそれぞれ８チャネル分）を７５ｍｓｅｃ周期（１３．３Ｈｚ）で取得することができる。なお、被験者に装着された携帯型計測装置から、被験者の頭部に近赤外光を照射することで取得される脳活動を示す信号であるＮＩＲＳ計測信号を受信する機能は、無線通信インターフェイス５０４（図６）が提供する。

バンドパスフィルタ処理５３０２は、これらのＮＩＲＳ計測信号のうち、０．０１〜０．２Ｈｚの成分を抽出する。バンドパスフィルタ処理５３０２は、バンドパスフィルタを用いて、このような特定の周波数帯域の成分を抽出する。バンドパスフィルタとしては、任意のものを採用することができるが、たとえば、バターワースフィルタを用いることができる。以下に示す実験例では、４次のバターワースフィルタを用いた。

図８は、脳内の血流に含まれる周波数成分を示す模式図である。図８に示すように、脳内の血流には、人間の生命維持や体動に伴うノイズ成分（アーチファクト）が生じ得る。たとえば、０．０１Ｈｚ付近には、心臓からの血液吐出に伴う血圧変動に由来するノイズ成分が生じ、１．０Ｈｚ付近には、心臓の鼓動に由来するノイズ成分が生じる。また、１．０Ｈｚより高い周波数帯域において、体を動かすこと（体動）によるノイズ成分が生じ得る。バンドパスフィルタ処理５３０２は、ＮＩＲＳ計測信号からこれらのノイズ成分を除去して、脳活動に由来する特徴量を抽出する。

なお、被験者が頭を動かすことで、センサ本体３および血液に何らかの傾きが生じ、その傾きによってＮＩＲＳ計測信号にノイズ成分が生じる場合もあり得る。このような場合には、センサ本体３自体または被験者の頭部にその傾きを検出するセンサ（加速度センサおよび地磁気センサなど）を装着し、そのセンサの検出値に基づいて、ＮＩＲＳ計測信号に含まれるノイズ成分を低減または打ち消すようにしてもよい。

図７に戻って、動作認識処理５３２２は、動作観察装置４により取得された情報から被験者の動作を特定する。より具体的には、動作認識処理５３２２は、動作データベース５３２４を参照して、動作観察装置４から受信した位置・動き認識信号５２８にマッチする動作を特定する。動作認識処理５３２２は、特定した動作を示す動作ラベルと、その動作が行なわれた期間（開始時刻および終了時刻）を出力する。動作が開始された時刻が、動作開始タイミングとして扱われる。なお、動作認識処理５３２２は、被験者が、位置・動き認識信号５２８にマッチするいずれの動作も行なっていないことを特定してもよい。

本処理例においては、動作認識処理５３２２は、動作観察装置４から被験者の行動の記録を取得して、予め定義された複数の動作のうちいずれかの動作を被験者が開始したタイミングを特定し、そのタイミングの情報を出力する。予め定義された複数の動作のうちいずれかの動作が開始されたときのＮＩＲＳ計測信号のみを用いることで、より効率的な学習が可能になる。

なお、動作認識処理５３２２が出力する動作ラベルおよびそのタイミングについては、外部の装置から入力、または手動で入力するようにしてもよい。

動作データベース５３２４には、被験者に限らず複数人について、通常の生活環境内での日常生活の動作を示す位置・動き認識信号に含まれる特徴量が、対応する動作ラベルと関連付けて格納されている。動作認識処理５３２２は、入力された位置・動き認識信号５２８に含まれる特徴量を抽出し、その抽出した特徴量とマッチする情報を検索し、マッチする情報が存在すれば、それに関連付けられる動作ラベルを出力する。

被験者の動画像から時間ごとの動作を特定する技術については、任意の公知の技術を採用できる。動作認識処理５３２２に代えて、実験者またはその補助者などが、被験者を撮像した動画像を見ながら、または、目視判断で、動作ラベルを付与するようにしてもよい。

信号抽出処理５３０４は、携帯型計測装置から受信する脳活動を示す信号であるＮＩＲＳ計測信号のうち、所定期間の信号成分を抽出する。より具体的には、信号抽出処理５３０４は、動作認識処理５３２２が検出した動作開始タイミングに従って、バンドパスフィルタ処理５３０２から出力されるフィルタ後のＮＩＲＳ計測信号（時系列信号）のうち、学習工程に必要な部分を抽出する。すなわち、信号抽出処理５３０４は、特定された動作開始タイミングを基準とする所定期間の信号成分を抽出する。

以下、情報処理装置５でのＮＩＲＳ計測信号に含まれる特徴量を抽出する方法をいくつか例示する。

（１）第１の特徴量抽出処理（時系列信号の平均化）
図９は、本実施の形態に従うＮＩＲＳ計測信号の第１の特徴量抽出処理を説明する模式図である。図９を参照して、動作認識処理５３２２から何らかの動作の動作開始タイミングが指示されると、信号抽出処理５３０４は、その動作開始タイミングを基準にして、予め定められた時間範囲のＮＩＲＳ計測信号を抽出する。本実施の形態においては、一例として、時間幅を５秒とするウィンドウ５２４１を、動作開始タイミングの２０秒前から動作開始タイミングの３５秒後までシフトさせて順次設定する。たとえば、シフト間隔を１秒とすれば、一動作あたり、５５個のウィンドウ５２４１が設定される。そして、信号整形処理５３０６（図７）がウィンドウ５２４１の各々に含まれる信号成分と対応する動作ラベルとの組み合わせ（学習用のベクトルデータであるサンプル５３０８（図９））が、一つの情報の単位として、識別器へ入力される。

信号整形処理５３０６は、抽出された信号成分と当該信号成分に対応する被験者の動作を示す情報とを関連付けたサンプルを生成する。

なお、被験者が何らの動作も行なっていないことを示す情報、または、当該予め定義された複数の動作のいずれとも異なる動作を行なっていることを示す情報を用いる場合には、そのような条件に合致する所定期間のＮＩＲＳ計測信号を任意または所定規則に従って抽出し、それを用いてサンプルを生成してもよい。

信号整形処理５３０６は、好ましくは、ウィンドウ５２４１の各々に含まれる信号成分を時間方向に平均化し、ＯｘｙＨｂおよびｄｅＯｘｙＨｂのそれぞれのチャネルごとに１つの代表値をもつように整形した上で、対応する動作ラベルを付与して、サンプル５３０８を生成する。すなわち、脳活動を示す信号であるＮＩＲＳ計測信号は、複数の計測点（チャネル）においてそれぞれ計測された複数の時系列信号を含んでいる。この複数の時系列信号は、同一の計測点（チャネル）において計測される、ＯｘｙＨｂおよびｄｅＯｘｙＨｂの濃度変化の信号を含む。信号整形処理５３０６は、各サンプル５３０８の時刻を基準とする所定の時間幅に関して、複数の時系列信号（ＮＩＲＳ計測信号の各チャネル成分）をそれぞれ時間方向に平均化することで、サンプル５３０８の要素として、複数の計測点（チャネル）のそれぞれの代表値を算出する。図９に示すサンプル５３０８では、時間×チャネルの２次元データが１次元データ（各チャネルの代表値のセット）に圧縮されている。

（２）第２の特徴量抽出処理（時系列信号の標準化）
図１０は、本実施の形態に従うＮＩＲＳ計測信号の第２の特徴量抽出処理におけるサンプルの生成方法を説明する模式図である。図１１は、本実施の形態に従うＮＩＲＳ計測信号の第２の特徴量抽出処理におけるＮＩＲＳ計測信号と動作ラベルとの組み合わせの生成処理を説明する模式図である。

図１０（Ａ）には、上述の第１の特徴量の抽出処理の概要を示し、図１０（Ｂ）には、第２の特徴量の抽出処理の概要を示す。上述したように、第１の特徴量の抽出処理では、所定の時間幅（例えば、５秒）を有するウィンドウ５２４１を設定し、ＮＩＲＳ計測信号（ＯｘｙＨｂおよびｄｅＯｘｙＨｂの濃度変化量）の各々を時間方向に平均化することで得られる平均値を１サンプル（代表値）として算出する。

これに対して、第２の特徴量の抽出処理では、所定の時間幅（例えば、５秒）を有するウィンドウ５２４２を所定時間ΔＴずつずらしてＮＩＲＳ計測信号に設定し、各ウィンドウ５２４２に含まれる信号成分を標準化し、その結果を１サンプルとして算出する。

標準化処理によって、各ウィンドウ５２４２内に含まれるＮＩＲＳ計測信号の時間的変化を正規化した特徴量ベクトルを生成できる。すなわち、各ウィンドウ５２４２に含まれる信号成分は、平均が「０」であって、分散（標準偏差）が「１」となるようにその値（振幅）が調整される。標準化処理においては、同一の期間内に取得された特徴量ベクトルの全体、すなわち同一の期間内に取得された特徴量ベクトルの全体の平均が「０」となるように、各要素の値を調整することが好ましい。

このような標準化を行なうことで、各サンプルが示す時間的変化（特徴量）を正規化することができる。これによって、別の時間または別のソースから得られた他のサンプルとの間でそれぞれが示す特徴量の重みを均一化でき、サンプル間のばらつきによる誤差を低減できる。

より具体的な処理例としては、動作開始タイミングの５秒前から動作開始タイミングの１０秒後までの間に、時間幅Ｔを５秒とするウィンドウ５２４２を０．２５秒（所定時間ΔＴ）ずつシフトさせて順次設定するとともに、各ウィンドウ５２４２内のＮＩＲＳ計測信号をＬデータポイントまでダウンサンプリングした上で、Ｚ変換を実行することで、１つのサンプルを生成する。たとえば、センサ本体３の取得周期が７５ｍｓｅｃ周期（１３．３Ｈｚ）であれば、１つのウィンドウ５２４２内には６６データポイントが含まれ、これを、６ポイントごとにダウンサンプリングすることで１１データポイントからなる特徴量ベクトルを生成できる。そして、この特徴量ベクトルの各要素の振幅を標準化する。この例では、動作開始タイミングを含む１５秒間に６０個のウィンドウ５２４２が設定される。

上述のように、脳活動を示す信号であるＮＩＲＳ計測信号は、複数の計測点（チャネル）においてそれぞれ計測された複数の時系列信号を含んでいる。信号整形処理５３０６は、サンプルを生成するための各ウィンドウ５２４２の終了時刻ｔを基準とする所定の時間幅（ウィンドウ５２４２の時間幅Ｔ）に含まれる複数の時系列信号を標準化することで、複数の計測点のそれぞれの特徴量を算出する。すなわち、ウィンドウ５２４２ごとに抽出される所定期間の信号成分は、各サンプルの時刻を基準とする所定の時間幅（時間幅Ｔ）に含まれる複数の時系列信号を標準化することで算出される、複数の計測点のそれぞれの特徴量を含むことになる。

図１１を参照しつつ、具体的な標準化の一例についてさらに詳述する。各ウィンドウ５２４２の終了時刻をｔとして、その終了時刻ｔから６６個のデータポイントを抽出し、さらに６ポイントごとにダウンサンプリングすることでサンプルを得る。このような手順によって得られた、ＯｘｙＨｂおよびｄｅＯｘｙＨｂの濃度変化量のサンプルをそれぞれｘ_{Ｏｘｙ，Ｃ}（ｔ）およびｘ_{ｄｅＯｘｙ，Ｃ}（ｔ）と表す。ここで、ｔは、対応するウィンドウ５２４２の終期を示し、Ｃは、計測点（チャネル）を示す。

１つの動作開始タイミングに関連付けて取得されるデータポイントの群は、（２×チャネル数）×Ｌの行列Ｘ（ｔ）として表すことができる。本実施例では、２種類×８チャネルの濃度変化で１６となる。また、Ｌは、１つのウィンドウ５２４２内にあるダウンサンプリング後のデータポイントの数を示す。

ここで、Δｔは、ダウンサンプリングした後のデータポイント間隔を示す。

最終的に、１つの動作開始タイミングに関連付けて設定されるウィンドウ５２４２のそれぞれに関して、上述の処理を繰り返すことで、以下のような行列Ｚが取得される。

Ｚ_ｎ，ｋ（ｔ＋（ｋ−１）Δｔ）≡Ｙ_ｎ
ここで、ｋは、動作開始タイミングに関連付けて設定されるウィンドウ５２４２の番号を示す（ｋ＝１，２，…，ｓ）。さらに、各ウィンドウ５２４２の行列Ｚに、対応するラベルＹ_ｎを付与する。このようにして取得される、特徴量ベクトルと対応する動作ラベルとの組み合わせを用いて、識別器を生成する。

以上のとおり、第２の特徴量抽出処理においては、同一の期間内に取得された特徴量ベクトル（図１１の符号５２４３）の要素間で、振幅の時間的な変動を標準化する。すなわち、１つの特徴量ベクトルを構成する要素をそれらの全体平均値（オフセット）で除算した上で、その変動量が正規化される。このような標準化処理によって、特徴量ベクトル間でその中に含まれる変動量の大きさを整合させて、特徴量ベクトルのもつ情報を適切に識別器に反映させることができる。

（３）第２の特徴量抽出処理の変形例
上述の第２の特徴量抽出処理では、同一の期間内に取得された、ＯｘｙＨｂおよびｄｅＯｘｙＨｂの濃度変化量を示す特徴量ベクトルに対して、標準化処理が行なわれる。すなわち、標準化（オフセットの除去および変動量の正規化）の対象は、共通のウィンドウ内のＮＩＲＳ計測信号である。ただし、これに限られず、標準化処理の単位は認定に設定できる。

図１２は、本実施の形態に従うＮＩＲＳ計測信号の第２の特徴量抽出処理の変形例におけるＮＩＲＳ計測信号と動作ラベルとの組み合わせの生成処理を説明する模式図である。図１２に示す例では、同一の期間内に取得されたＯｘｙＨｂについての特徴量ベクトル（図１２の符号５２４４）と、ｄｅＯｘｙＨｂについての特徴量ベクトル（図１２の符号５２４５）とが生成され、それぞれの特徴量ベクトルに対して標準化処理が行なわれる。すなわち、ＯｘｙＨｂの特徴量ベクトルの要素間でオフセットの除去および変動量の正規化が行なわれ、これとは独立して、ｄｅＯｘｙＨｂの特徴量ベクトルの要素間でオフセットの除去および変動量の正規化が行なわれる。

ＯｘｙＨｂとｄｅＯｘｙＨｂとの間では、変動量の絶対値に大きな差があるような場合には、計測信号の種類の別に標準化処理を行なうことが好ましい。すなわち、一方の計測信号の変動が他方の計測信号の変動に比較して大きい場合などには、当該他方の計測信号に対する重みが相対的に低下し得るが、別々に標準化処理を行なうことで、このような影響を排除した識別器を生成できる。

さらに別の変形例として、複数の特徴量ベクトルについて標準化処理を行なってもよい。たとえば、１つの動作開始タイミングに関連付けて取得されるすべての特徴量ベクトル（図１２に示す符号５２４６）を対象として標準化処理を行なってもよい。これらの特徴量ベクトルには、いずれも同一の動作ラベルが付与されるので、同一の動作ラベルが付与される特徴量ベクトルの間で標準化処理を行なうことで、時間経過に伴う変動の情報を反映した識別器を生成できる。すなわち、時間的変動（時系列信号の変動パターン）についてのチャネル間の相関情報を反映した識別器を生成できる。

上述の特徴量の抽出処理（前処理）は、情報量を圧縮することによる演算量の低減、および、ノイズ成分の低減による識別精度の向上を目的としている。ただし、識別器のアルゴリズムおよび演算速度が許容するのであれば、このような前処理は必ずしも必要ではなく、ＮＩＲＳ計測信号をそのまま用いて学習を実行してもよい。

図７に戻って、学習処理５３４２は、複数の動作についてそれぞれ生成されたサンプル５３０８を用いた学習により、動作についての識別器（学習モデル）を構築する。この構築された識別器の情報は、識別器定義データ５３６として格納される。

識別器としては、たとえば、線形入力に対するパターン識別器を用いることができる。このようなパターン識別器としては、サポートベクターマシン（Support vector machine：ＳＶＭ）、スパースロジスティック回帰（Sparse Logistic Regression：ＳＬＲ）、線形判別分析（Linear Discrimination Analysis：ＬＤＡ）などが知られている。ただし、教師あり学習に適用できるのであれば、どのような識別器を用いてもよい。

以下のいくつかの実験例では、上述の３種類のパターン識別器を用いた結果を示す。本願発明者らの研究によれば、識別器は、サポートベクターマシン（ＳＶＭ）に従う判別関数によって定義されることが好適である。サポートベクターマシンでは、入力されるサンプル５３０８で示される多次元空間内の各点との距離が最大となる超平面を算出し、その算出した超平面に基づいて１または複数のパターン判別関数を定義する。

［Ｆ．サポートベクターマシンおよび識別工程］
次に、典型例として、サポートベクターマシン（ＳＶＭ）に従う識別器の構築手順について説明する。説明の便宜上、２つのクラスのパターン判別を目的とした識別器の構築について例示する。

図９に示すサンプル５３０８に相当する学習用ベクトルｘ_ｉ（ｉ＝１，…，ｌ）は、２クラスのいずれかに属しているとし、その属しているクラスを示す教師ラベルｙ_ｉは、｛１，−１｝の２値をとるものとする。ＳＶＭによる２値判別（クラス判別）は、以下の（１）に示すような最適化問題として定式化することができる。

ここで、φは、高次元の特徴空間への写像を意味し、Ｃ（＞０）は、正規化のための変数である。ｗ^Ｔφ（ｘ_ｉ）＋ｂは、パラメータｗおよびｂによって定義される判別関数である。上述の（１）式の解法にあたっては、以下の（２）式に示すような等価な双対問題に変換し、これを解く。

ここで、ｅ＝［１，…，１］^Ｔは、要素すべてが１のベクトルであり、Ｑは、ｌ×ｌの正の値をとる行列Ｑ_ｉｊ≡ｙ_ｉｙ_ｊＫ（ｘ_ｉ，ｘ_ｊ）であり、Ｋ（ｘ^ｉ，ｘ^ｊ）≡φ（ｘ^ｉ）_Ｔφ（ｘ_ｊ）は、カーネル関数である。双対問題の解αが得られると、主の最適化問題の解ｗは、以下の（３）式で与えられる。

この（３）式を用いると、判別関数は、カーネル関数を用いて、以下の（４）式のようになる。

つまり、上述の（４）式に示される判別関数の１または複数によって識別器が構築され、判別関数の各々を定義するためのパラメータが識別器定義データ５３６（図６）に格納される。本明細書において、「識別器」とは、典型的には、１または複数の判別関数に基づいて定義されるロジックを意味する。

識別工程では、識別対象のデータ（ベクトルｘ）を判別関数に入力し、そのときの判別関数の正負に基づいて、ベクトルｘを２クラスのいずれかに分類する。

上述したように、複数の種類の動作を識別する場合には、３クラス以上のいずれかに分類する必要がある。この場合には、判別関数（２クラス識別器）を想定され得る組み合わせだけ用意する、ｏｎｅ−ａｇａｉｎｓｔ−ｏｎｅ法を用いることができる。

クラス数をｋとすると、２クラスの組み合わせは、ｋ（ｋ−１）／２通りになり、その各々についてＳＶＭによる２クラス識別器（判別関数）を決定する。何らかのデータ（ベクトルｘ）が属するクラスについて、ｋ（ｋ−１）／２個の判別関数を、それぞれ投票結果として用いて、最大の得票数を得たクラスをその入力されたデータが属するクラスであると判別する。

識別処理５３８２では、任意の脳活動を示す信号（未知のＮＩＲＳ計測信号）を識別器に入力することで、当該入力された信号に対応する動作を推定する。なお、識別処理５３８２において、被験者が何らかの動作を開始したこと判断し、その動作の開始タイミングを基準としてＮＩＲＳ計測信号を抽出し、それを識別器するような処理は必要なく、被験者から連続的に取得されるＮＩＲＳ計測信号を、連続的に識別器へ入力するようにしてもよい。この場合、識別器からは、何らかの結果が連続的に出力されるが、この連続的に出力される結果のうち、信頼性が高い結果のみを選択して最終的に出力するようにしてもよい。ただし、以下の実験例のいくつかにおいては、その実験の目的から、被験者が予め定義された複数の動作のうちいずれかの動作を開始したタイミングを基準とした所定期間のＮＩＲＳ計測信号を識別器に入力している。

以上説明したような装置構成を用いて、本願発明者らが各種実験を行なった結果を以下に示す。

［Ｇ．実験結果（第１の実験）］
まず、第１の実験として、被験者に、実環境実験施設にて、７種類の日常生活の動作（テレビのリモコン操作、エアコンのリモコン操作、読書、冷蔵庫の開け閉め、歯磨き、ポットのお湯を入れる、床掃除）を繰り返し行なってもらい、携帯型計測装置（携帯型コントローラ２およびセンサ本体３）を用いてそのときのＮＩＲＳ計測信号を取得した。併せて、実験中の被験者を撮像した動画像に基づいて、７種類の動作のうちいずれかの動作が行なわれた時間帯および行なわれた動作を特定し、その特定した動作を対応する時間帯のＮＩＲＳ計測信号に関連付けて、学習工程を実施した。

第１の実験では、被験者に対して、行なうべき７種類の日常生活については指示しておいたものの、いずれの動作を行なうかについては、被験者の自由意思に委ねた。

第１の実験においては、７種類の動作をランダムに１０回ずつ繰り返し行ってもらい、ＮＩＲＳ計測信号と動作ラベルとの組み合わせを７０ペア取得した。そのうち、６３ペア（９回分）を用いて学習工程を実施し、残りの７ペア（１回分）を用いて識別工程での識別精度を評価した。

（ｇ１：ＮＩＲＳ計測信号）
図１３は、第１の実験において取得されたＮＩＲＳ計測信号の時間波形の一例を示す図である。図１３には、被験者がエアコンのリモコン操作を行なった際に取得されたＮＩＲＳ計測信号の時間波形を示し、図４に示す計測点（チャネル）に対応付けた位置に、チャネル１〜８（ｃｈ１〜ｃｈ８）について取得された時間波形のグラフを配置している。図１３に示す各時間波形としては、エアコンのリモコン操作を開始したタイミング（動作開始タイミング）を基準（０秒）として、その前後にある−２５秒〜３５秒の間の、ＯｘｙＨｂおよびｄｅＯｘｙＨｂの濃度変化を示す。ただし、縦軸は任意単位である。また、図１３の各時間波形は、１０回分の結果を、時間軸を一致させて平均化（加算）したものである。

図１３に示すように、各時間波形について、動作開始タイミングの前後を比較すると、ＯｘｙＨｂおよびｄｅＯｘｙＨｂのいずれの濃度変化についても、識別可能な変化が生じていることがわかる。本実施の形態に従う動作識別方法では、被験者の動作開始に伴って生じる、ＯｘｙＨｂおよびｄｅＯｘｙＨｂの濃度変化を特徴量として識別器を構築する。

（ｇ２：識別能力についての評価）
第１の実験において取得されたＮＩＲＳ計測信号を対して、識別器として、線形判別分析（以下、「ＬＤＡ」とも略称する。）、サポートベクターマシン（以下、「ＳＶＭ」とも略称する。）、スパースロジスティック回帰（以下、「ＳＬＲ」とも略称する。）の３つのそれぞれを用いて、学習工程および識別工程を実施した結果を示す。後述するいくつかの実験においても、３種類の識別器を用いたそれぞれの結果を合わせて示す。

図１４は、第１の実験において取得されたＮＩＲＳ計測信号に対する学習工程および識別工程の結果を示す図である。図１４の各グラフの横軸は、動作開始タイミングを基準（０秒）とした時間軸であり、図９に示すウィンドウ５２４１（すなわち、入力される特徴量）の開始時刻が各測定結果の時刻となっている（たとえば、０秒のデータは、０〜５秒間のＮＩＲＳ計測信号の平均値に相当する）。各グラフの縦軸は、識別精度（％）を示す。

図１４（Ａ）〜（Ｃ）は、学習工程の結果を示すグラフであり、図１４（Ｄ）〜（Ｅ）は、識別工程の結果を示すグラフである。図１４（Ａ）および（Ｄ）は、ＯｘｙＨｂのみで、それぞれ学習工程および識別工程を実施した結果を示し、図１４（Ｂ）および（Ｅ）は、ｄｅＯｘｙＨｂのみで、それぞれ学習工程および識別工程を実施した結果を示し、図１４（Ｃ）および（Ｆ）は、ＯｘｙＨｂおよびｄｅＯｘｙＨｂの両方を用いて、それぞれ学習工程および識別工程を実施した結果を示す。すなわち、図１４（Ａ）および（Ｄ）、ならびに、図１４（Ｂ）および（Ｅ）は、図９に例示するサンプル５３０８の上側の成分のみ、および、下側の成分のみを用いた例に相当する。

図１４（Ａ）〜（Ｃ）に示す、学習工程の識別精度は、学習工程によって構築した識別器に対して、その学習工程に用いたデータを再度入力した場合の精度を示す。本実験例では、６３ペア（９回分）を用いて識別器を構築した後、６３ペア（９回分）をその構築した識別器に入力した場合の識別結果の適否を評価したものに相当する。

図１４（Ａ）〜（Ｃ）を参照すると、いずれの結果についても、動作開始タイミングから５秒後あたり（０〜５秒間のＮＩＲＳ計測信号の平均値）の波形を特徴量として用いることで、十分に高い識別精度を得られていることがわかる。すなわち、動作開始タイミングから５秒後以降のＮＩＲＳ計測信号を用いることで、線形識別性の高い識別器を構築できていると判断できる。ＯｘｙＨｂおよびｄｅＯｘｙＨｂのうち一方のみを用いる場合（図１４（Ａ）および（Ｂ））には、情報量が少なくなるので、ＯｘｙＨｂおよびｄｅＯｘｙＨｂの両方を用いる場合（図１４（Ｃ））に比較して、識別精度は低下しているが、それでも、チャンスレベルＣＬ（本実験例では、７種類の動作を行なったので７分の１の確率）より十分に高い値を達成できていることがわかる。

また、図１４（Ｄ）〜（Ｆ）を参照すると、いずれの場合およびいずれの識別器についても、動作開始タイミングから５秒後あたり（０〜５秒間のＮＩＲＳ計測信号の平均値）の波形を特徴量とすることで、十分に実用に耐え得る識別精度を得られていることがわかる。

ただし、ＳＶＭの識別精度は、ＬＤＡおよびＳＬＲのそれに比較して優れていると言える。すなわち、図９に示すようなサンプル５３０８を用いる場合には、ＳＶＭを識別器として用いることが好ましい。ＬＤＡおよびＳＬＲについてみれば、学習工程後の識別精度は高いので、本実験例では、いわゆる過学習が生じていると判断することもできる。実験条件や学習条件を調整することで、過学習を回避して、ＳＶＭと同様に、実用的に用いることもできる。

（ｇ３：複数の被験者についての評価）
上述した第１の実験を複数の被験者に対してそれぞれ実施し、それによって得られた結果を用いて、学習工程および識別工程を実施した結果を示す。

図１５は、第１の実験において複数の被験者から取得されたＮＩＲＳ計測信号に対する学習工程および識別工程の結果を示す図である。上述の図１４と同様に、図１５の各グラフの横軸は、動作開始タイミングを基準（０秒）とした時間軸であり、縦軸は、識別精度（％）を示す。なお、識別器としては、ＳＶＭを用いた。

図１５（Ａ）〜（Ｆ）は、図１４（Ａ）〜（Ｆ）と同様に、ＯｘｙＨｂのみで学習工程を実施した結果、ｄｅＯｘｙＨｂのみで学習工程を実施した結果、ＯｘｙＨｂおよびｄｅＯｘｙＨｂの両方を用いて学習工程を実施した結果、ＯｘｙＨｂのみで識別工程を実施した結果、ｄｅＯｘｙＨｂのみで識別工程を実施した結果、ならびに、ＯｘｙＨｂおよびｄｅＯｘｙＨｂの両方を用いて識別工程を実施した結果、をそれぞれ示す。

図１５（Ａ）〜（Ｆ）の各々において、５人の被験者それぞれから取得されたＮＩＲＳ計測信号を用いて構築した識別器の識別精度を薄線で示し、５人の被験者それぞれから取得されたＮＩＲＳ計測信号の平均値を用いて構築した識別器の識別精度を実線で示す。

最終的に用いられることが想定される、ＯｘｙＨｂおよびｄｅＯｘｙＨｂの両方を用いた識別工程の結果（図１５（Ｆ））を参照すると、被験者の間での個人差はあるものの、動作開始タイミングから５秒後あたり（０〜５秒間のＮＩＲＳ計測信号の平均値）の波形を特徴量とすることで、被験者別および平均値のいずれを用いても十分な識別精度が得られていることがわかる。すなわち、図１５（Ｆ）に示すいずれの結果についても、動作開始タイミングから５秒後あたりでは、チャンスレベルＣＬに対して十分高い値を達成できていることがわかる。

この実験結果を見れば、必ずしも被験者別に識別器を構築する必要はなく、複数の被験者からそれぞれ取得されたＮＩＲＳ計測信号を用いて、共通の識別器を構築するような実施形態も可能であると言える。

（ｇ４：第１の実験のまとめ）
第１の実験によれば、日常生活の動作を行なっている被験者から、ＮＩＲＳ計測信号と動作情報（動作ラベル）とのペア（サンプル）を予め取得して学習工程を実施して識別器を構築すれば、わずか８チャネルのＮＩＲＳ計測信号だけで動作を識別（推定）できる。非特許文献１に開示されるような機能的近赤外分光脳計測（ｆＮＩＲＳ）を用いる場合に比較して、計測点（チャネル）を少なくできるので、計測装置の携帯性を高めることができ、より実用的な動作識別を実現できる。

第１の実験においては、被験者が自身の意思で次に行なうべき動作をランダムに決定することで取得されたＮＩＲＳ計測信号を用いて識別器を構築でき、その構築した識別器で十分に高い識別精度を実現できる。すなわち、本実施の形態に従う動作識別方法では、被験者が、複数の動作のうちから自身で任意に決定した動作を行なったときに取得される脳活動を示す信号（ＮＩＲＳ計測信号）、から生成されたサンプルを用いて、識別器が構築される。このような方法で取得されたＮＩＲＳ計測信号を用いることができるので、通常の生活環境内で日常生活の動作を行なっている被験者の動作の識別（推定）に適した識別器を構築できるとともに、識別器の構築（学習工程）に要する手間を低減できる。

また、本実施の形態に従う動作識別方法では、同一の計測点（チャネル）において計測されたＯｘｙＨｂおよびｄｅＯｘｙＨｂの情報を同一のサンプルに組み入れて識別器の構築（学習工程）を実施するので、識別器の識別精度を高めることができる。

従来の研究では、指をタッピングしたり、掌を開閉したりするような、通常の生活環境ではあまり用いない特殊な動作を識別することが主目的とされていたが、本実施の形態では、生活環境内で日常生活の動作を行なっている被験者の計測が可能であり、様々なアプリケーションに適用できる。

［Ｈ．実験結果（第２の実験）］
次に、第２の実験として、実験者が次に何の動作をするのかランダムに指示したことに応答して、被験者が指示された動作を行なう場合（以下、「Ｉｎｓｔｒｕｃｔｅｄ条件」とも略称する。）と、予め定義された複数の動作のうち、被験者の自由意思で選択した動作を行なう場合（以下、「Ａｃｔｉｖｅ条件」とも略称する。）とに場合分けした上で、学習工程および識別工程を実施した。図１６は、第２の実験におけるＩｎｓｔｒｕｃｔｅｄ条件およびＡｃｔｉｖｅ条件を説明する模式図である。図１６（Ａ）に示すように、Ｉｎｓｔｒｕｃｔｅｄ条件では、実験者が被験者に対して次に行なうべき動作をランダムに指示し、図１６（Ｂ）に示すように、Ａｃｔｉｖｅ条件では、被験者が自身の意思で次に行なうべき動作をランダムに決定する。

本実験においては、学習工程および識別工程の間では、互いに異なる条件下で取得されたＮＩＲＳ計測信号を用いた。すなわち、Ｉｎｓｔｒｕｃｔｅｄ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した後、Ａｃｔｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いて識別工程での識別精度を評価するとともに、その逆の場合についても実施した。

より具体的な第２の実験の条件としては、被験者に、実環境実験施設にて、３種類の日常生活の動作（テレビのリモコン操作、エアコンのリモコン操作、読書）について、Ｉｎｓｔｒｕｃｔｅｄ条件下およびＡｃｔｉｖｅ条件下でそれぞれ３０回繰り返し行なってもらった。第２の実験では、先に、Ｉｎｓｔｒｕｃｔｅｄ条件下で３０回繰り返し、続いて、Ａｃｔｉｖｅ条件下で３０回繰り返した。ただし、動作開始タイミングの前後にある−５秒〜１０秒の間の濃度変化を用いた。

図１７は、第２の実験においてＩｎｓｔｒｕｃｔｅｄ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した後、Ａｃｔｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いて識別工程を実施した結果を示す図である。図１８は、第２の実験においてＡｃｔｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した後、Ｉｎｓｔｒｕｃｔｅｄ条件下で取得されたＮＩＲＳ計測信号を用いて識別工程を実施した結果を示す図である。

図１７（Ａ）〜（Ｆ）および図１８（Ａ）〜（Ｆ）は、上述の図１４（Ａ）〜（Ｆ）と同様に、それぞれＯｘｙＨｂのみで学習工程を実施した結果、ｄｅＯｘｙＨｂのみで学習工程を実施した結果、ＯｘｙＨｂおよびｄｅＯｘｙＨｂの両方を用いて学習工程を実施した結果、ＯｘｙＨｂのみで識別工程を実施した結果、ｄｅＯｘｙＨｂのみで識別工程を実施した結果、ＯｘｙＨｂおよびｄｅＯｘｙＨｂの両方を用いて識別工程を実施した結果、を示す。

最終的に用いられることが想定される、ＯｘｙＨｂおよびｄｅＯｘｙＨｂの両方を用いた識別工程の結果（図１７（Ｆ）および図１８（Ｆ））を参照すると、Ｉｎｓｔｒｕｃｔｅｄ条件下およびＡｃｔｉｖｅ条件下でそれぞれ取得されたＮＩＲＳ計測信号のうち、学習工程および識別工程においていずれを用いたとしても、識別器の種類にかかわらず、チャンスレベルＣＬ（本実験例では、３種類の動作を行なったので３分の１の確率）を超える値を達成できていることがわかる。

特に、識別器としてＳＶＭを用いた場合には、チャンスレベルＣＬを大きく上回って、３種類の動作を９０％近くの識別精度で識別できていることがわかる。

上述の第２の実験の結果によれば、被験者の意図的な要因がない場合（Ｉｎｓｔｒｕｃｔｅｄ条件）と、被験者の意図的な要因がある場合（Ａｃｔｉｖｅ条件）との間で、識別器に決定的な影響を与えることはないと判断できる。この知見によれば、たとえば、Ｉｎｓｔｒｕｃｔｅｄ条件下で、被験者に、識別対象となるそれぞれの動作を行なってもらい、そのときに取得されるそれぞれのＮＩＲＳ計測信号を用いて識別器を構築し、その構築した識別器を用いて、通常の生活環境内での日常生活の動作を識別することもできる。

すなわち、被験者が、複数の動作のうちから自身で任意に決定した動作を行なったときに取得される脳活動を示す信号（ＮＩＲＳ計測信号）、から生成されたサンプルを用いて、識別器を構築できる。あるいは、被験者が、複数の動作のうちから予めランダムに指定される動作を行なったときに取得される脳活動を示す信号（ＮＩＲＳ計測信号）、から生成されたサンプルを用いて、識別器を構築できる。これらの方法を選択的に採用できるので、状況に応じて、学習工程の時間および手間を効率化でき、本実施の形態に従う動作識別方法を実用化する際の障壁を取り除くことができる。

［Ｉ．実験結果（第３の実験）］
上述の第１および第２の実験では、被験者が日常生活の動作を行なった際に取得されるＮＩＲＳ計測信号を用いて、学習工程および識別工程を実施したが、このような状況で取得されるＮＩＲＳ計測信号をより詳細に分析するために、以下の第３の実験を実施した。

第３の実験の詳細としては、被験者の頭の動きを抑制した状態とそうでない状態とをそれぞれつくり、取得されるＮＩＲＳ計測信号の違いを評価した。被験者の頭の動きを抑制した状態は、実験室での計測に近い状況であり、取得されるＮＩＲＳ計測信号の主成分は、脳活動に由来する成分になると考えられ、頭の動きを抑制しない状態は、実環境での計測に近い状況であり、取得されるＮＩＲＳ計測信号の主成分は、脳活動に由来する成分および体動に由来する成分の合計になると考えられる。すなわち、第３の実験の第一義的な趣旨としては、取得されるＮＩＲＳ計測信号に含まれる成分を確認することである。

（ｉ１：頭の動きを抑制した状態）
第３の実験において、被験者の頭の動きを抑制した状態をつくるために、被験者の頭をあご台で固定した上で、以下に説明する、Ｉｎｓｔｒｕｃｔｅｄ条件下およびＰａｓｓｉｖｅ条件下にて、ＮＩＲＳ計測信号をそれぞれ取得した。なお、被験者には、テレビのリモコン操作（右腕を前に出す）、エアコンのリモコン操作（右腕を右斜め前に挙げる）、読書（両手で本を開く）、左手を挙げる、の４種類の日常生活の動作を行なってもらった。

図１９は、第３の実験におけるＩｎｓｔｒｕｃｔｅｄ条件およびＰａｓｓｉｖｅ条件を説明する模式図である。図１９（Ａ）に示すように、Ｉｎｓｔｒｕｃｔｅｄ条件では、実験者が次に何の動作をするのかランダムに指示したことに応答して、被験者が指示された動作を行なう。図１９（Ｂ）に示すように、Ｐａｓｓｉｖｅ条件では、実験者が次に何の動作をするのかランダムに指示したことに応答して、介助者が被験者の腕を動かす。このとき、被験者は、可能な限り力を入れずに、受け身で腕を動かされるものとした。

図２０は、第３の実験において、頭の動きを抑制したＩｎｓｔｒｕｃｔｅｄ条件下において取得されたＮＩＲＳ計測信号の時間波形の一例を示す図である。図２１は、第３の実験において、頭の動きを抑制したＰａｓｓｉｖｅ条件下において取得されたＮＩＲＳ計測信号の時間波形の一例を示す図である。図２０（Ａ）および図２１（Ａ）は、ＯｘｙＨｂの濃度変化を表す時間波形を示し、図２０（Ｂ）および図２１（Ｂ）は、ｄｅＯｘｙＨｂの濃度変化を表す時間波形を示す。いずれについても、動作を開始したタイミング（動作開始タイミング）を基準（０秒）としている。各表の凡例において、「ＴＶ」、「ＡＣ」、「Ｒｅａｄｉｎｇ」、「Ｌｅｆｔ」は、それぞれ、テレビのリモコン操作、エアコンのリモコン操作、読書、左手を挙げる、を示す。図２０および図２１のチャネル１〜８（ｃｈ１〜ｃｈ８）は、図４に示される計測点に対応している。

図２０（Ａ）および図２１（Ａ）を参照すると、いずれの条件下においても、ＯｘｙＨｂの濃度変化については、動作開始タイミングから５秒後あたりで識別可能な変化が生じていることがわかる。これに対して、図２０（Ｂ）および図２１（Ｂ）を参照すると、ｄｅＯｘｙＨｂについては、その濃度変化が小さいことがわかる。

図２０（Ａ）と図２１（Ａ）とを比較すると、Ｉｎｓｔｒｕｃｔｅｄ条件下におけるＯｘｙＨｂの方が、Ｐａｓｓｉｖｅ条件下におけるＯｘｙＨｂより、その濃度変化はやや大きいことがわかる。これは、Ｉｎｓｔｒｕｃｔｅｄ条件下においては、被験者が主体的に腕を動かすことになるので、そのような動作に起因して、Ｐａｓｓｉｖｅ条件に比較して、ＮＩＲＳ計測信号としてより大きな反応が取得されているものと考えられる。

図２２および図２３は、第３の実験において、被験者の頭の動きを抑制した状態において測定されたＮＩＲＳ計測信号を用いて学習工程および識別工程を実施したときの識別精度を一覧表示する図である。図２２および図２３において、「Ｉｎｓｔｒｕｃｔｅｄ条件１」および「Ｉｎｓｔｒｕｃｔｅｄ条件２」は、Ｉｎｓｔｒｕｃｔｅｄ条件下での実験を２セット実施した結果を意味する。図２２に示す識別精度（最大値および平均値）の各々については、図２３に示すそれぞれ対応する識別精度の時間波形において、動作開始タイミングから５秒後まで（０〜５秒間）の値から算出した（識別器はＳＶＭとした）。

図２２および図２３を参照すると、Ｐａｓｓｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いた場合には、チャンスレベルＣＬ（本実験例では、４種類の動作を行なったので４分の１の確率）と同程度の識別精度しか得ることができていないことがわかる。

図２４〜図２６は、図２２および図２３に示す実験結果から混合行列を生成して、識別精度を評価した結果を示す図である。図２４〜図２６には、動作開始タイミングを基準とする時間ごとの混合行列を示す。各混合行列において、対角行列成分の値が高いほど正しく識別できていることを意味する。

図２４は、第３の実験において、頭の動きを抑制したＩｎｓｔｒｕｃｔｅｄ条件１下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。図２４（Ａ）には、Ｉｎｓｔｒｕｃｔｅｄ条件２下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示し、図２４（Ｂ）には、Ｐａｓｓｉｖｅ条件下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示す。

図２４の結果からは、図２４（Ｂ）に示されるＰａｓｓｉｖｅ条件下で取得されたＮＩＲＳ計測信号を入力とした場合には、他の動作であっても、「読書」と識別される傾向が見られた。これは、他の動作に比較して「読書」では動きが少ないためと推測される。

図２５は、第３の実験において、頭の動きを抑制したＩｎｓｔｒｕｃｔｅｄ条件２下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。図２５（Ａ）には、Ｉｎｓｔｒｕｃｔｅｄ条件１下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示し、図２５（Ｂ）には、Ｐａｓｓｉｖｅ条件下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示す。

図２５の結果からは、図２５（Ａ）に示されるＩｎｓｔｒｕｃｔｅｄ条件１下で取得されたＮＩＲＳ計測信号を入力とした場合には、「テレビのリモコン操作」と「エアコンのリモコン操作」との間の識別精度は相対的に低いが、「エアコンのリモコン操作」と「読書」との間の識別精度は相対的に高いという結果が得られた。これは、「リモコン操作」という意味において被験者の動きが類似している一方で、「リモコン操作」と「読書」との間では、基本的な動き（片手操作であるか、両手操作であるか）などが異なっていることに起因していると推測される。

図２６は、第３の実験において、頭の動きを抑制したＰａｓｓｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。図２６（Ａ）には、Ｉｎｓｔｒｕｃｔｅｄ条件１下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示し、図２６（Ｂ）には、Ｉｎｓｔｒｕｃｔｅｄ条件２下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示す。

図２６の結果からは、図２６（Ａ）に示されるＩｎｓｔｒｕｃｔｅｄ条件１下で取得されたＮＩＲＳ計測信号を入力とした場合には、「テレビのリモコン操作」と「左手を挙げる」との間の識別精度が相対的に低いという結果が得られた。

（ｉ２：頭の動きを抑制しない状態）
次に、頭の動きを抑制しない状態（すなわち、日常生活の動作を行なっている状態）において、以下のような４つの条件下でＮＩＲＳ計測信号を取得した。より具体的には、Ａｃｔｉｖｅ条件、Ｉｎｓｔｒｕｃｔｅｄ条件、Ｐａｓｓｉｖｅ条件、および、Ｉｎｉｔｉａｌ−ａｓｓｉｓｔｅｄ条件の４つの条件を設定した。なお、上述の頭の動きを抑制した状態での実験と同じく、被験者には、テレビのリモコン操作（右腕を前に出す）、エアコンのリモコン操作（右腕を右斜め前に挙げる）、読書（両手で本を開く）、左手を挙げる、の４種類の日常生活の動作を行なってもらった。

Ａｃｔｉｖｅ条件、Ｉｎｓｔｒｕｃｔｅｄ条件、およびＰａｓｓｉｖｅ条件は、いずれもそれぞれ上述した条件と同様である。すなわち、Ａｃｔｉｖｅ条件では、被験者が自身の意思で次に行なうべき動作をランダムに決定する。Ｉｎｓｔｒｕｃｔｅｄ条件では、実験者が次に何の動作をするのかランダムに指示したことに応答して、被験者が指示された動作を行なう。Ｐａｓｓｉｖｅ条件では、実験者が次に何の動作をするのかランダムに指示したことに応答して、介助者が被験者の腕を動かす。このとき、被験者は、可能な限り力を入れずに、受け身で腕を動かされるものとした。

これに対して、Ｉｎｉｔｉａｌ−ａｓｓｉｓｔｅｄ条件は、Ｐａｓｓｉｖｅ条件に類似した条件であり、実験者が次に何の動作をするのかランダムに指示したことに応答して、介助者が被験者の腕を最初だけ動かし、その後は、実験者が指示された動作を自ら行なうものとした。

ＮＩＲＳ計測信号の計測点（チャネル）などについては、上述した条件と実質的に同一であるので、詳細な説明は繰り返さない。

図２７は、第３の実験において、被験者の頭の動きを抑制しない状態において測定されたＮＩＲＳ計測信号を用いて学習工程および識別工程を実施したときの識別精度の一覧表示する図である。

図２８〜図３０は、第３の実験において、頭の動きを抑制しないＡｃｔｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。より具体的には、図２８には、頭の動きを抑制しないＩｎｓｔｒｕｃｔｅｄ条件下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示す。図２９には、頭の動きを抑制しないＰａｓｓｉｖｅ条件下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示す。図３０には、頭の動きを抑制しないＩｎｉｔｉｎａｌ−ａｓｓｉｓｔｅｄ条件下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示す。

図３１〜図３３は、第３の実験において、頭の動きを抑制しないＩｎｓｔｒｕｃｔｅｄ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。より具体的には、図３１には、頭の動きを抑制しないＡｃｔｉｖｅ条件下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示す。図３２には、頭の動きを抑制しないＰａｓｓｉｖｅ条件下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示す。図３３には、頭の動きを抑制しないＩｎｉｔｉｎａｌ−ａｓｓｉｓｔｅｄ条件下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示す。

図３４〜図３６は、第３の実験において、頭の動きを抑制しないＰａｓｓｉｖｅ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。より具体的には、図３４には、頭の動きを抑制しないＡｃｔｉｖｅ条件下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示す。図３５には、頭の動きを抑制しないＩｎｓｔｒｕｃｔｅｄ条件下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示す。図３６には、頭の動きを抑制しないＩｎｉｔｉｎａｌ−ａｓｓｉｓｔｅｄ条件下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示す。

図３７〜図３９は、第３の実験において、頭の動きを抑制しないＩｎｉｔｉｎａｌ−ａｓｓｉｓｔｅｄ条件下で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した場合の識別精度の評価結果を示す図である。より具体的には、図３７には、頭の動きを抑制しないＡｃｔｉｖｅ条件下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示す。図３８には、頭の動きを抑制しないＩｎｓｔｒｕｃｔｅｄ条件下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示す。図３９には、頭の動きを抑制しないＰａｓｓｉｖｅ条件下で取得されたＮＩＲＳ計測信号を入力として、識別工程を実施した結果を示す。

（ｉ３：第３の実験のまとめ）
被験者の頭の動きを抑制した状態、すなわち、体動による影響を最小限にした場合でああっても、被験者が腕を動かすことでＮＩＲＳ計測信号に変化が生じており（図２０および図２１）、本実施の形態に従う動作識別方法は、腕などの動きに関する脳活動に由来する特徴量を適切に観測できていると判断できる。

実用的に利用する場合には、被験者の頭の動きを抑制することはないが、それぞれの場合における識別精度の結果（図２２および図２７）を比較すると、被験者の頭の動きを抑制しない方がより高い識別精度を得られており、より実用向きであることが示されている。これは、被験者の頭の動きを抑制しない方が、動きの成分も含めて特徴量として識別さえることに起因するものと推定される。

一方で、被験者の頭の動きを抑制した状態（すなわち、体動によるアーチファクトを最小限にした状態）で取得されたＮＩＲＳ計測信号を用いても、ある程度の識別精度を実現できており、この事実を考慮すれば、日常生活の動作のうち、動きの少ない動作であっても、実用的な識別精度を実現できると考えられる。

なお、介助者が被験者の体を動かすような態様（Ｐａｓｓｉｖｅ条件）においても、ＮＩＲＳ計測信号に変化が見られたが、動作間での特徴量の差異が比較的少ないことがわかった。このような点を考慮すれば、何らかの外力によって体を動かされる場合と、被験者が意図的に自身の体を動かす場合とを選択的に識別できる可能性がある。

［Ｊ．実験結果（第４の実験）］
次に、第４の実験として、実環境実験施設にて、被験者に３種類の日常生活の動作（テレビのリモコン操作、エアコンのリモコン操作、読書）を、任意のタイミングで、ランダムに実施してもらい、そのときに取得されたＮＩＲＳ計測信号、およびその様子を撮像した動画像を用いて、学習工程および識別工程を実施した。

図４０は、第４の実験における識別結果の一例を示す図である。図４０（Ａ）には、識別結果の一例を時系列に示し、図４０（Ｂ）には、図４０（Ａ）に示す識別結果のうち、実際に被験者が何らかの動作を行なった時間帯のみを抽出した結果を示し、図４０（Ｃ）には、被験者の実際の動作（動作ラベル）を時系列に示す。

第４の実験においては、最初にある時間範囲（図４０（Ｃ）の「学習用データ」の区間）に取得されたＮＩＲＳ計測信号を用いて学習工程を実施した。その学習工程の実施によって構築された識別器に対して、取得されているＮＩＲＳ計測信号を入力した結果が、図４０（Ａ）に示されている。すなわち、図４０（Ａ）には、複数の動作のうちいずれかの動作を行なっている場合と、何らの動作を行なっていない場合とを合わせてサンプルとして、学習工程を実施して構築された識別器にＮＩＲＳ計測信号を入力した結果を示す。

図４０（Ａ）に示される識別結果には、被験者が何らの動作も行なっていない場合の識別結果を含むので、何らの動作も行っていない期間の識別結果をマスクしたものを図４０（Ｂ）に示す。図４０（Ｃ）には、学習工程において教師ラベルとして用いた、動作情報（動作ラベル）を時系列に示す。

すなわち、図４０（Ｂ）に示される識別結果と、図４０（Ｃ）に示される被験者の実際の動作（動作ラベル）とが一致していれば、識別結果が正しいということを意味する。図４０を参照すると、大部分の区間で一致しており、十分に実用に耐え得ることが示されている。

第４の実験においては、被験者が日常生活の動作を行なっているときに連続的に取得されたＮＩＲＳ計測信号を用いて、学習工程および識別工程を実施したが、このような簡易な処理であっても、比較的高い識別精度を実現できた。

また、第４の実験においては、被験者が、３種類の日常生活の動作のうちいずれかの動作を行なっている期間のＮＩＲＳ計測信号、ならびに、何らの動作も行なっていない期間、および、当該３種類の動作とは異なる動作を行なっている期間のＮＩＲＳ計測信号を用いて学習工程を実施することで、判別精度の高い識別器を構築できることが示された。

［Ｋ．実験結果（第５の実験）］
次に、第５の実験として、頭部の動き（体動）に伴うアーチファクト（ムービングアーチファクト）による識別精度への影響を評価した。

図４１は、第５の実験の実験条件を説明する模式図である。図４１を参照して、被験者は、テレビを視聴できる位置で、車椅子に背筋を伸ばして着座する。そして、被験者の太ももにラップテーブルを配置するとともに、被験者は両手で文庫本をもつようにする。

第５の実験については、実環境実験施設にて、被験者に３種類の日常生活の動作（テレビのリモコン操作、エアコンのリモコン操作、読書を、予め用意された刺激用プログラムの教示に従って、実施してもらい、そのときに取得されたＮＩＲＳ計測信号、およびその様子を撮像した動画像を用いて、学習工程および識別工程を実施した。なお、リモコン操作については、実際のリモコンを使用するのではなく、文庫本をリモコンに見立てて、リモコンを操作するのと同様の動きを被験者にしてもらった。

刺激用プログラムの教示は、ディスプレイにて行なわれる。具体的には、まず、指示開始の音とともに、（１）テレビのリモコン操作、（２）エアコンのリモコン操作、（３）読書、のいずれを実施するのかを示す番号がディスプレイに表示される。その後、数秒後に指示された動作の実施が指示される。この動作の実施が指示された後の所定期間にわたって、被験者からのＮＩＲＳ計測信号が取得される。ここで、被験者が動作を行なう際の条件を以下の２種類に異ならせた。

第１の条件は、日常動作を行なう際に、腕を動かす動作に合わせて頭部の動きも許容するというものである。一方、第２の条件は、日常動作を行なう際に、腕を動かす動作の有無にかかわらず、被験者は正面を向き、なるべく頭部を動かさないようにするというものである。

第１の条件では、取得されるＮＩＲＳ計測信号には、脳活動に由来する成分とおよび体動に由来する成分との両者が含まれることになる。そのため、動作を識別するための情報がより多く含まれると考えられる。これに対して、第２の条件では、取得されるＮＩＲＳ計測信号は、主として脳活動に由来する成分からなる。そのため、第１の条件に比較して、動作を識別するための情報がより少なくなると考えられる。

図４２は、第５の実験において同一条件下で学習工程および識別工程を実施した結果を示す図である。図４３は、第５の実験において互いに異なる条件下で学習工程および識別工程を実施した結果を示す図である。

図４２および図４３に示す実験結果の学習工程においては、３種類の日常生活の動作（テレビのリモコン操作、エアコンのリモコン操作、読書）のそれぞれの動作を各１０回ずつ、合計３０回行なうことを１セッションとした。被験者１については、それぞれの条件別に、合計３００回（１０セッション）の動作によって得られたＮＩＲＳ計測信号から識別器を生成した。同様に、被験者２については、合計１８０回（６セッション）の動作によって、被験者３については、合計１２０回（４セッション）の動作によって得られたＮＩＲＳ計測信号からそれぞれ識別器を生成した。

図４２（ａ）は、第１の条件での識別工程での識別精度を示す実験結果であり、図４２（ｂ）は、第２の条件での識別工程での識別精度を示す実験結果である。つまり、図４２（ａ）には、第１の条件において学習工程および識別工程を実施した実験結果の例を示し、図４２（ｂ）には、第２の条件において学習工程および識別工程を実施した実験結果の例を示す。

図４２（ａ）と図４２（ｂ）とを比較すると、より多くの動作を行なって識別器を生成した被験者１については、第２の条件、すなわち頭部をなるべく動かさない状態であっても、比較的高い識別精度が得られることがわかる。ただし、識別器の生成に用いたＮＩＲＳ計測信号が相対的に少ない被験者２および被験者３については、相対的に識別精度が低くなっていることがわかる。

この実験結果から、たとえば、身体に障がいがあって体を自由に動かすことができないユーザであっても、十分な学習工程を経ることで、相対的に高い精度で意思する動作を識別できる可能性があることがわかる。

また、図４３（ａ）は、第２の条件で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した後に、第１の条件で取得されたＮＩＲＳ計測信号を用いて識別工程を実施したときの識別精度を示す実験結果である。図４３（ｂ）は、第１の条件で取得されたＮＩＲＳ計測信号を用いて学習工程を実施した後に、第２の条件で取得されたＮＩＲＳ計測信号を用いて識別工程を実施したときの識別精度を示す実験結果である。

図４２（ａ）に示される実験結果によれば、主として脳活動に由来する成分から生成された識別器を用いることで、動作を行なう際に頭部の動きが加わったとしても、比較的高い識別精度が得られることがわかる。ただし、図４１に示される実験結果と同様に、識別器の生成に用いるサンプルが少ないほど、識別精度が低下することがわかる。

また、図４２（ｂ）に示される実験結果によれば、脳活動に由来する成分とおよび体動に由来する成分との両者を含むＮＩＲＳ計測信号を用いて識別器を生成した場合には、体動に由来する成分が実質的に含まれないＮＩＲＳ計測信号がその識別器に入力されると、識別精度がやや低下することがわかる。すなわち、体動に由来する成分は、動作を識別するために有効な特徴量を含んでいるといえる。

この実験結果から、たとえば、動作を制限した状態で学習工程を実施しておくことで、その後の識別工程が学習工程とは異なる状況であっても、実用的な動作の識別精度を確保できる可能性があるといえる。

［Ｌ．処理手順］
図４４は、本実施の形態に従う動作識別方法の処理手順を示すフローチャートである。図４４に示す各ステップは、典型的には、情報処理装置５（図６のプロセッサ５００）がプログラムを実行することで実現される。図４４のフローチャートには、説明の便宜上、学習工程および識別工程を連続的に記述するが、これらの工程はそれぞれ独立に実施されることもある。

図４４を参照して、情報処理装置５は、被験者に装着された携帯型計測装置（携帯型コントローラ２およびセンサ本体３）から、被験者の頭部に近赤外光を照射することで取得される脳活動を示す信号である、ＮＩＲＳ計測信号５２４を受信する（ステップＳ２）。続いて、情報処理装置５は、受信したＮＩＲＳ計測信号５２４に対して、バンドパスフィルタを適用して、特定の周波数帯域の成分を抽出する（ステップＳ４）。

並行して、情報処理装置５は、動作観察装置４から位置・動き認識信号５２８を受信する（ステップＳ６）。そして、情報処理装置５は、受信した位置・動き認識信号５２８を用いて、被験者が行なった動作を特定し、その特定した動作を示す動作ラベルと、その動作が行なわれた期間を検出する（ステップＳ８）。

情報処理装置５は、検出した動作開始タイミングに従って、フィルタ処理後のＮＩＲＳ計測信号のうち、学習工程に必要な部分を抽出する（ステップＳ１０）。すなわち、情報処理装置５は、被験者が予め定義された複数の動作のうちいずれかの動作を開始したタイミングの情報に基づいて、ＮＩＲＳ計測信号のうち、当該タイミングを基準とする所定期間の信号成分を抽出する。

続いて、情報処理装置５は、抽出されたＮＩＲＳ計測信号と対応する動作ラベルとを組み合わせてサンプルを生成する（ステップＳ１２）。すなわち、情報処理装置５は、抽出された信号成分と当該信号成分に対応する被験者の動作を示す情報とを関連付けたサンプルを生成する。ステップＳ１２において、情報処理装置５は、動作開始タイミングを基準とする所定範囲にわたって、所定の時間幅を有するウィンドウをシフトさせて順次設定し、各時刻におけるサンプルを生成する（図９参照）。また、ステップＳ８において特定された動作の数だけ、ステップＳ１０〜Ｓ１２が繰り返される（ステップＳ１４においてＮＯ）。

特定された動作のすべてについてサンプルの生成が完了すると（ステップＳ１４においてＹＥＳ）、情報処理装置５は、生成された複数のサンプルを用いて、識別器を構築する（ステップＳ１６）。すなわち、情報処理装置５は、複数の動作についてそれぞれ生成された、複数のサンプルを用いた学習により、動作についての識別器を構築する。この構築された識別器を定義する情報は、情報処理装置５内に格納される。

以上の処理により、学習工程が完了する。その後、任意のタイミングで、識別工程に係る処理が実行される。

すなわち、情報処理装置５は、任意のＮＩＲＳ計測信号を受信すると（ステップＳ２０においてＹＥＳ）、先に構築した識別器にその受信したＮＩＲＳ計測信号を入力し、当該入力された信号に対応する最も確からしい動作を出力する（ステップＳ２２）。

終了が指示されるまで（ステップＳ２４においてＮＯ）、ステップＳ２０およびＳ２２の処理が繰り返される。

［Ｍ．変形例］
上述の説明では、主として、情報処理装置５が学習工程および識別工程の両方を実施する実装例について説明したが、それぞれの工程を別の実行主体が実施するようにしてもよい。たとえば、本発明のある局面によれば、学習工程のみを実行して、識別器を構築するだけであっても、十分に実用性・有用性が存在する。

さらに、第１の実験において複数の被験者から取得されたＮＩＲＳ計測信号に対する学習工程および識別工程の結果（図１５）を参照すれば、複数の被験者の間で同一の識別器を共通に使用することも可能である。そのため、被験者ごとに識別器を構築してもよいが、複数の被験者からＮＩＲＳ計測信号および対応する動作情報（動作ラベル）を収集して、共通に利用可能な識別器を構築してもよい。このような実装形態においては、いわゆるクラウド型のシステムが有効である。すなわち、それぞれ別々の場所にいる被験者からＮＩＲＳ計測信号および対応する動作情報（動作ラベル）を取得し、それをサーバ装置で収集して識別器を構築し、さらに、構築した識別器（１または複数の判別関数）をそれぞれの端末に配布するようにしてもよい。なお、複数の被験者を層別した上で、たとえば、男女別や年齢別に識別器をそれぞれ構築してもよい。このような処理には、いわゆるビッグデータに対する統計処理の手法を応用できる。

［Ｎ．応用例］
本実施の形態に従う動作識別方法は、体を動かすための脳機能が失われていない人への応用も可能である。

一つの応用例として、ユーザが何らかの動作をしようとすると、そのユーザが意図した動作を識別し、その動作に関連付けられた処理を実行するようなシステムが考えられる。たとえば、ユーザが本を読もうとするしぐさをすると、本を読もうとしている動作であると識別して、部屋の明かりを明るくし、本を読みやすい環境を提供できる。あるいは、手を動かすことはできるが、指が不自由で細かい操作ができない要介護者や患者などがテレビやエアコンを操作するしぐさをすることで、テレビやエアコンをつけようとしている動作であると識別し、その識別された動作（テレビやエアコンをつける）を自動的に実行する環境を提供できる。

（ｎ１：第１の応用例）
図４５は、本実施の形態に従う動作識別方法を応用したシステム構成例（第１の応用例）を示す模式図である。上述のような応用例は、たとえば、図４５に示すシステム１Ａによって実現される。システム１Ａは、携帯型コントローラ２、サーバ装置６、およびサーバ装置９を含む。携帯型コントローラ２は、図２に示す携帯型コントローラ２と同様の機能を有しており、ユーザの頭部に近赤外光を照射することで測定される脳活動を示す信号（ＮＩＲＳ計測信号）を取得する。携帯型コントローラ２は、取得したＮＩＲＳ計測信号をサーバ装置６またはサーバ装置９へ選択的に送信できる。

サーバ装置６は、図２に示す情報処理装置５と同様の機能を有しており、携帯型コントローラ２からユーザのＮＩＲＳ計測信号を取得する。そして、サーバ装置６は、上述したような学習工程に従って、１または複数のユーザについての、識別器定義データを生成する。１または複数の識別器定義データが記憶部６００に保持されており、サーバ装置６は、サーバ装置９などからの要求に応じて、対象の識別器定義データを送信する。これらの識別器定義データは、識別器を構築するためのものであり、これらの生成方法は、上述の学習工程に相当するので、ここでは詳細な説明は繰り返さない。

サーバ装置９は、携帯型コントローラ２から取得されたユーザのＮＩＲＳ計測信号を用いて、当該ユーザが行なおうとしている動作あるいはその意思を推定し、その推定した結果に応じて、対象となる機器に指令を与える。これによって、ユーザの日常生活などを支援する。

より具体的には、サーバ装置９は、記憶部９００に、対象となるユーザに応じた識別器定義データ２１を保持しており、携帯型コントローラ２から送信されるＮＩＲＳ計測信号を識別器定義データ２１に適用することで、最も確からしい動作を決定する。すなわち、サーバ装置９は、ＮＩＲＳ計測信号を識別器定義データ２１（識別器）に入力することで、当該入力された信号に対応する動作を決定する。典型的な応用例を想定すると、ユーザごとに生成された識別器定義データをサーバ装置６が保持しており、サーバ装置９は、ネットワーク８を介して、対象となるユーザに対応付けられた識別器定義データ２１をサーバ装置６から取得する。

サーバ装置９は、記憶部９００に、決定される動作に対応付けられる機器操作を定義する機器操作定義データ２２をさらに保持している。サーバ装置９は、機器操作定義データ２２を参照して、最も確からしい動作に対応する、対象の機器および当該機器に対する指令の内容を決定する。機器操作定義データ２２は、ユーザの生活環境に応じて、適宜定義される。

サーバ装置９は、エアコン、テレビ、照明コントローラなどの各種機器と通信可能になっており、決定した指令の内容に従って、対象となる機器に対して、必要な信号を送信する。サーバ装置９と、エアコン、テレビ、照明コントローラなどとの間は、ＬＡＮ接続などの汎用的な有線通信方式、または、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの汎用的な無線通信方式によって接続されてもよい。あるいは、パルス状の赤外線を照射することでリモコンをエミュレートする赤外線発光部をサーバ装置９に装備してもよい。たとえば、サーバ装置９は、ユーザから取得されたＮＩＲＳ計測信号から、当該ユーザがエアコンをオンにする動作を行なおうとしている（あるいは、行なう意思をもっている）と判断すると、対象のエアコンをオンするための信号を発信したり、照明コントローラに対して特定の照明をオンにするための信号を発信したりする。

このような構成を採用することで、ユーザが行なおうとしている動作あるいはその意思に応じて、対象の機器を制御することができ、これによって、体の不自由なユーザの日常動作を支援できる。

なお、識別器定義データ２１および機器操作定義データ２２を、サーバ装置９の記憶部９００ではなく、ネットワーク上の別のストレージ装置に保持するようにしてもよい。

図４６は、図４５に示すサーバ装置９における処理手順を示すフローチャートである。図４６に示す各ステップは、典型的には、サーバ装置９（典型的には、主たる構成要素であるプロセッサなど）がプログラムを実行することで実現される。

図４６を参照して、サーバ装置９は、有効な識別器定義データ２１を保持しているか否かを判断する（ステップＳ１００）。有効な識別器定義データ２１を保持していない場合（ステップＳ１００においてＮＯの場合）には、サーバ装置９は、サーバ装置６などから識別器定義データ２１を取得して格納する（ステップＳ１０２）。

携帯型コントローラ２は、ユーザの頭部に近赤外光を照射することで測定される脳活動を示す信号（ＮＩＲＳ計測信号）を取得する機能を有している。ステップＳ１０２の実行後、または、有効な識別器定義データ２１を保持している場合（ステップＳ１００においてＹＥＳの場合）には、サーバ装置９は、ユーザから取得されたＮＩＲＳ計測信号を携帯型コントローラ２から受信したか否かを判断する（ステップＳ１０４）。ＮＩＲＳ計測信号をセンサ本体３から受信していない場合（ステップＳ１０４においてＮＯの場合）には、ステップＳ１０４の処理が繰り返される。

ＮＩＲＳ計測信号を携帯型コントローラ２から受信している場合（ステップＳ１０４においてＹＥＳの場合）には、サーバ装置９は、受信したＮＩＲＳ計測信号を識別器定義データ２１に適用して、当該入力された信号に対応する最も確からしい動作を決定する（ステップＳ１０６）。すなわち、サーバ装置９は、ＮＩＲＳ計測信号を識別器（識別器定義データ２１）に入力することで、当該入力された信号に対応する動作を決定する機能を有している。

サーバ装置９は、機器操作定義データ２２を参照して、決定された最も確からしい動作に対応する、操作対象となる機器および当該機器に対する指令の内容を決定する（ステップＳ１０８）。そして、サーバ装置９は、操作対象となる機器に対して、決定された指令の内容を送信する（ステップＳ１１０）。すなわち、サーバ装置９は、決定された動作に関連付けられた機器に対して、決定された動作に関連付けられた指令を出力する機能を有している。なお、サーバ装置９が決定された動作に関連付けられた機器を特定する（たとえば、いずれのエアコンが操作対象となるのかを特定する）ようにしてもよいし、携帯型コントローラ２が、自身が存在する周辺の情報を参照または探索することで、操作対象の機器を決定するようにしてもよい。

終了が指示されるまで（ステップＳ１１２においてＮＯ）、ステップＳ１０４〜Ｓ１１０の処理が繰り返される。

上述したように、本実施の形態に従う動作識別方法を応用したシステムでは、典型的には、（１）脳活動を示す信号であるＮＩＲＳ計測信号を取得する機能と、（２）ＮＩＲＳ計測信号を識別器定義データ２１（識別器）に入力することで、当該入力された信号に対応する動作を決定する機能と、（３）決定された動作に関連付けられた機器に対して、決定された動作に関連付けられた指令を出力する機能、とが互いに連係できれば、どのような実装形態を採用してもよい。図４５に示すシステム構成例においては、実質的には、携帯型コントローラ２に（１）の機能が実装され、サーバ装置９に（２）および（３）の機能が実装されていることになるが、当業者であれば、実施時の技術水準や実装コストなどに基づいて、いずれの装置にいずれの機能を実装するのかについて適宜設計することができる。この際、単一の機能を複数の主体が協働して実現するように実装されることも可能である。たとえば、複数のサーバ装置が連係することで（２）の機能を実現してもよい。以下、本発明に対する理解を深めるために、いくつかのさらに別のシステム構成例について説明する。ただし、本発明の技術的範囲は図示する実装例に限定されるものではない。

（ｎ２：第２の応用例）
図４７は、本実施の形態に従う動作識別方法を応用したシステム構成例（第２の応用例）を示す模式図である。図４７を参照して、システム１Ｂは、携帯型コントローラ２Ｂおよびサーバ装置６Ｂを含む。携帯型コントローラ２Ｂのコンポーネントのうち、図２に示す携帯型コントローラ２と同様の機能を有するコンポーネントについては、同一の符号を付している。これらの同一のコンポーネントについての詳細な説明は繰り返さない。

以下に説明する第２の応用例では、実質的に、サーバ装置６Ｂに、（２）ＮＩＲＳ計測信号を識別器定義データ２１（識別器）に入力することで、当該入力された信号に対応する動作を決定する機能が実装され、携帯型コントローラ２Ｂに、（３）決定された動作に関連付けられた機器に対して、決定された動作に関連付けられた指令を出力する機能が実装される。

携帯型コントローラ２Ｂは、ユーザの頭部に近赤外光を照射することで測定される脳活動を示す信号（ＮＩＲＳ計測信号）を取得し、取得したＮＩＲＳ計測信号をサーバ装置９へ送信する。より具体的には、携帯型コントローラ２Ｂの制御部２００Ｂは、センサ本体３からのＮＩＲＳ計測信号を、無線中継器７およびネットワーク８を介してサーバ装置６Ｂへ送信するとともに、サーバ装置６Ｂからの応答を受信する。すなわち、携帯型コントローラ２Ｂの通信部２１２Ｂは、ＮＩＲＳ計測信号をサーバ装置６Ｂ（外部装置）へ送信するとともに、サーバ装置６Ｂからの応答を受信する通信手段に相当する。

通信部２１２Ｂは、無線中継器７だけではなく、エアコン、テレビ、照明コントローラなどの各種機器と通信可能になっており、制御部２００Ｂからの内部コマンドに従って、対象となる機器に対して、必要な指令を送信する。

サーバ装置６Ｂは、識別器定義データ２１および機器操作定義データ２２を記憶部６００に保持しており、携帯型コントローラ２ＢからＮＩＲＳ計測信号を受信すると、当該ＮＩＲＳ計測信号を識別器定義データ２１に適用することで、最も確からしい動作を決定する。すなわち、サーバ装置６Ｂは、ＮＩＲＳ計測信号を識別器定義データ２１（識別器）に入力することで、当該入力された信号に対応する動作を決定する。続いて、サーバ装置６Ｂは、機器操作定義データ２２を参照して、最も確からしい動作に対応する、対象の機器および当該機器に対する指令の内容を決定する。最終的に、サーバ装置６Ｂは、対象の機器および当該機器に対する指令の内容を携帯型コントローラ２Ｂへ応答する。すなわち、サーバ装置６Ｂから携帯型コントローラ２Ｂへの応答は、入力されたＮＩＲＳ計測信号に対応する動作の情報を含む。

携帯型コントローラ２Ｂの制御部２００Ｂは、サーバ装置６Ｂから送信された情報に従って、通信部２１２Ｂから、操作対象となる機器に対して決定された指令の内容を送信する。

図４７に示すようなシステム１Ｂを採用することで、図４５に示すシステム１Ａに比較して、サーバ装置の数を削減できる。さらに、携帯型コントローラ２Ｂが制御対象の機器に直接指令を送信するので、制御対象の機器が相対的に少ない家庭で使用する場合などの導入コストを低減できる。

（ｎ３：第３の応用例）
図４８は、本実施の形態に従う動作識別方法を応用したシステム構成例（第３の応用例）を示す模式図である。図４８を参照して、システム１Ｃは、携帯型コントローラ２Ｃおよびサーバ装置６を含む。携帯型コントローラ２Ｃのコンポーネントのうち、図２に示す携帯型コントローラ２と同様の機能を有するコンポーネントについては、同一の符号を付している。これらの同一のコンポーネントについての詳細な説明は繰り返さない。また、サーバ装置６は、図４５に示すシステム１Ａのサーバ装置６と実質的に同一である。

以下に説明する第３の応用例では、実質的に、携帯型コントローラ２Ｃに、（２）ＮＩＲＳ計測信号を識別器定義データ２１（識別器）に入力することで、当該入力された信号に対応する動作を決定する機能、および、（３）決定された動作に関連付けられた機器に対して、決定された動作に関連付けられた指令を出力する機能、が実装される。

携帯型コントローラ２Ｃは、制御部２００Ｃと通信部２１２Ｃとを含んでいる。制御部２００Ｃは、対象となるユーザに応じた識別器定義データ２１を保持しており、センサ本体３によって取得されるＮＩＲＳ計測信号を識別器定義データ２１に適用することで、最も確からしい動作を決定する。ユーザごとに生成された識別器定義データをサーバ装置６が保持しており、携帯型コントローラ２Ｃ（制御部２００Ｃ）は、無線中継器７およびネットワーク８を介して、対象となるユーザに対応付けられた識別器定義データ２１をサーバ装置６から取得する。

携帯型コントローラ２Ｃの制御部２００Ｃは、決定される動作に対応付けられる機器操作を定義する機器操作定義データ２２をさらに保持している。制御部２００Ｃは、機器操作定義データ２２を参照して、最も確からしい動作に対応する、対象の機器および当該機器に対する指令の内容を決定する。最終的に、携帯型コントローラ２Ｃの制御部２００Ｃは、通信部２１２Ｃから、操作対象となる機器に対して決定した指令の内容を送信する。

好ましい実装形態としては、サーバ装置６をインタネットなどのパブリックネットワーク上に配置しておけば、本システムを各家庭に導入する際には、携帯型コントローラ２Ｃおよびセンサ本体３のセットのみを購入すれば済み、導入コストをより低減できる。

上述したシステムの別の応用例として、たとえば、認知症の患者などがどのような動作を行なおうとしているのかを逐次観測し、危険が及ぶような動作を行なおうとしている場合に、介護者に対して、その旨を通知するようなシステムを提供することもできる。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 動作識別システム、１Ａ，１Ｂ，１Ｃ システム、２，２Ｂ，２Ｃ 携帯型コントローラ、３ センサ本体、４ 動作観察装置、５ 情報処理装置、６，６Ｂ，９ サーバ装置、７ 無線中継器、８ ネットワーク、２１，５３６ 識別器定義データ、２２ 機器操作定義データ、３１ フレーム、３２，３３，３４，３５ プローブユニット、２００，２００Ｂ，２００Ｃ 制御部、２０２ 発光部、２０４ 検出部、２０６，２１０ Ａ／Ｄ変換部、２０８ 増幅器、２１２，２１２Ｂ，２１２Ｃ 通信部、２２０ バッテリ、３２１，３３１，３４１，３５１ 送光プローブ、３２２，３３２，３４２，３５２ 受光プローブ、４００ 撮像部、４０２ 動画像収集部、４０４ 位置・動き認識部、５００ プロセッサ、５０２ 主メモリ、５０４ 無線通信インターフェイス、５０６ 有線通信インターフェイス、５０８ 表示部、５１０ 入力部、５１２ 内部バス、５２０ 補助記憶装置、５２２ 計測情報格納領域、５２４ ＮＩＲＳ計測信号、５２６ 脳波計測信号、５２８ 動き認識信号、５３０ 信号処理モジュール、５３２ 動作ラベル付与モジュール、５３４ 識別器生成モジュール、５３８ 識別モジュール、６００，９００ 記憶部、５２４１，５２４２ ウィンドウ、５３０２ バンドパスフィルタ処理、５３０４ 信号抽出処理、５３０６ 信号整形処理、５３０８ サンプル、５３２２ 動作認識処理、５３２４ 動作データベース、５３４２ 学習処理、５３８２ 識別処理。

Claims (15)

1. 情報処理装置と、
   被験者への装着が可能に構成されるとともに、前記被験者の頭部に近赤外光を照射することで取得される脳活動を示す信号を前記情報処理装置へ送信する携帯型計測装置と、
   前記被験者の行動を観察する観察装置とを備え、
   前記情報処理装置は、
   前記観察装置により取得された情報から前記被験者の動作を特定する特定手段と、
   前記携帯型計測装置から受信する前記脳活動を示す信号のうち、所定期間の信号成分を抽出する抽出手段と、
   前記抽出された信号成分と当該信号成分に対応する前記被験者の動作を示す情報とを関連付けたサンプルを生成する生成手段と、
   複数の前記サンプルを用いた学習により、動作についての識別器を構築する構築手段と、
   任意の脳活動を示す信号を前記識別器に入力することで、当該入力された信号に対応する動作を推定する推定手段とを備える、動作識別システム。
2. 前記特定手段は、予め定義された複数の動作のうちいずれかの動作を前記被験者が開始したタイミングを特定し、
   前記抽出手段は、前記特定されたタイミングを基準とする所定期間の信号成分を抽出する、請求項１に記載の動作識別システム。
3. 前記構築手段は、前記被験者が、前記複数の動作のうちから自身で任意に決定した動作を行なったときに取得される脳活動を示す信号、から生成されたサンプルを用いて、前記識別器を構築する、請求項２に記載の動作識別システム。
4. 前記構築手段は、前記被験者が、前記複数の動作のうちから予めランダムに指定される動作を行なったときに取得される脳活動を示す信号、から生成されたサンプルを用いて、前記識別器を構築する、請求項２に記載の動作識別システム。
5. 前記識別器は、サポートベクターマシンに従う判別関数によって定義される、請求項１〜４のいずれか１項に記載の動作識別システム。
6. 前記脳活動を示す信号は、複数の計測点においてそれぞれ計測された複数の時系列信号を含み、
   前記生成手段は、各サンプルの時刻を基準とする所定の時間幅に関して、前記複数の時系列信号をそれぞれ時間方向に平均化することで、前記サンプルの要素として、前記複数の計測点のそれぞれの代表値を算出する、請求項１〜５のいずれか１項に記載の動作識別システム。
7. 前記脳活動を示す信号は、複数の計測点においてそれぞれ計測された複数の時系列信号を含み、
   前記生成手段は、各サンプルの時刻を基準とする所定の時間幅に含まれる前記複数の時系列信号を標準化することで、前記複数の計測点のそれぞれの特徴量を算出する、請求項１〜５のいずれか１項に記載の動作識別システム。
8. 前記複数の時系列信号は、同一の計測点において計測される、酸化ヘモグロビンおよび還元ヘモグロビンの濃度変化の信号を含む、請求項６または７に記載の動作識別システム。
9. 被験者に装着された携帯型計測装置から、前記被験者の頭部に近赤外光を照射することで取得される脳活動を示す信号を受信する受信手段と、
   前記脳活動を示す信号のうち、所定期間の信号成分を抽出する抽出手段と、
   前記抽出された信号成分と当該信号成分に対応する前記被験者の動作を示す情報とを関連付けたサンプルを生成する生成手段と、
   複数の前記サンプルを用いた学習により、動作についての識別器を構築する構築手段とを備える、情報処理装置。
10. 通信機能を有するコンピュータで実行される情報処理プログラムであって、前記情報処理プログラムは、前記コンピュータに、
    被験者に装着された携帯型計測装置から、前記被験者の頭部に近赤外光を照射することで取得される脳活動を示す信号を受信するステップと、
    前記脳活動を示す信号のうち、所定期間の信号成分を抽出するステップと、
    前記抽出された信号成分と当該信号成分に対応する前記被験者の動作を示す情報とを関連付けたサンプルを生成するステップと、
    複数の前記サンプルを用いた学習により、動作についての識別器を構築するステップとを実行させる、情報処理プログラム。
11. ユーザの頭部に近赤外光を照射することで測定される脳活動を示す信号を取得する取得手段と、
    前記脳活動を示す信号を識別器に入力することで、当該入力された信号に対応する動作を決定する決定手段とを備え、前記識別器は、ユーザから予め取得された脳活動を示す信号から抽出された所定期間の信号成分と、当該所定期間における当該ユーザの動作を示す情報とを関連付けたサンプルを複数用意するとともに、それらの複数のサンプルを用いた学習により構築されたものであり、さらに
    前記決定された動作に関連付けられた機器に対して、前記決定された動作に関連付けられた指令を出力する出力手段を備える、情報処理システム。
12. 前記決定手段は、前記決定された動作に関連付けられた機器を特定する手段を含む、請求項１１に記載の情報処理システム。
13. 前記脳活動を示す信号は、複数の計測点においてそれぞれ計測された複数の時系列信号を含み、
    前記抽出された所定期間の信号成分は、各サンプルの時刻を基準とする所定の時間幅に含まれる前記複数の時系列信号を標準化することで算出される、前記複数の計測点のそれぞれの特徴量を含む、請求項１１または１２に記載の情報処理システム。
14. ユーザの頭部に近赤外光を照射することで測定される脳活動を示す信号を取得する取得手段と、
    前記脳活動を示す信号を外部装置へ送信するとともに、前記外部装置からの応答を受信する通信手段とを備え、前記外部装置は、前記脳活動を示す信号を識別器に入力することで、当該入力された信号に対応する動作を決定するとともに、当該決定した動作を含む情報を応答し、前記識別器は、ユーザから予め取得された脳活動を示す信号から抽出された所定期間の信号成分と、当該所定期間における当該ユーザの動作を示す情報とを関連付けたサンプルを複数用意するとともに、それらの複数のサンプルを用いた学習により構築されたものであり、さらに
    前記外部装置により決定された動作に関連付けられた機器に対して、前記決定された動作に関連付けられた指令を出力する出力手段を備える、情報処理装置。
15. 前記脳活動を示す信号は、複数の計測点においてそれぞれ計測された複数の時系列信号を含み、
    前記抽出された所定期間の信号成分は、各サンプルの時刻を基準とする所定の時間幅に含まれる前記複数の時系列信号を標準化することで算出される、前記複数の計測点のそれぞれの特徴量を含む、請求項１４に記載の情報処理装置。