WO2022070821A1

WO2022070821A1 - 生体情報計測システム

Info

Publication number: WO2022070821A1
Application number: PCT/JP2021/033118
Authority: WO
Inventors: 雅史古田; 芳浩井上; 伸中村
Original assignee: 株式会社島津製作所
Priority date: 2020-09-29
Filing date: 2021-09-09
Publication date: 2022-04-07
Also published as: JPWO2022070821A1; CN116194051A; US20240237932A1

Abstract

複数のセンサを被験者に装着し、計測する準備を行う時間を短縮できる生体情報計測システムを提供する。ヘッドマウント計測システム（１００）は、被験者の頭部に着脱可能な筐体（１０）と、筐体（１０）に保持される複数のセンサと、複数のセンサから出力される信号を同期させる制御部（信号処理部）と、を備える。複数のセンサは、脳の活動を計測するＮＩＲＳプローブ（２１）（第１センサ）と、被験者の顔を撮像する超広角カメラ（３１）（第２センサ）とを含む。

Description

生体情報計測システム

　本開示は、脳の活動を計測する生体情報計測システムに関する。

　近年、個人の感情を考慮した商品やサービスの提供するために、被験者の感情情報を分析できるシステムが提案されている。例えば、特許文献１には、試供品（ワイン）が置かれたワインディスペンサーにカメラを備え付け、試供品を試す時の被験者の映像を撮影し、その映像から被験者の表情を解析して感情を推定し、これにより試供品の評価を自動的に取得する装置が開示されている。

特開２０１８－１０６４１９号公報

　被験者の感性情報を推定するためには、複数種のセンサを用いることが好ましい。例えば、特開２０１９－１５９９４１号公報に記載のように、被験者の顔を撮影するカメラに加えて、被験者の生体情報を取得する別のセンサを用いることが考えられる。同文献では、工場の生産ラインにいる作業者の顔をカメラで撮影し、さらに作業者の頭部に脳波計を取り付け、撮影した画像と脳波計の出力から作業者の集中度を推定している。

　概して、脳の活動を計測するセンサでは、被験者への装着性が問題となる。同センサを含む複数種のセンサを用いて被験者の生体情報を効率的に取得する手法については改善の余地がある。

　本開示は、かかる問題を解決するためになされたものであり、脳の活動を計測するセンサを含む複数種のセンサの被験者への装着性が改善された生体情報計測システムを提供することである。

　本開示の生体情報計測システムは、被験者の頭部に着脱可能な基体と、基体に保持される複数のセンサと、複数のセンサから出力される信号を同期させる信号処理部と、を備え、複数のセンサは、脳の活動を計測する第１センサと、被験者の顔を撮像する第２センサと、を含む。

　上記の生体情報計測システムによれば、被験者の頭部に着脱可能に固定される基体に複数のセンサを保持させることにより、被験者への装着性が向上する。さらに、第２センサで被験者の顔の表情を撮像することができるので、被験者の動きに影響されることなく被験者の顔の表情を撮像できる。

実施の形態１に従うヘッドマウント計測システムの全体構成例を示す図である。実施の形態１に従うヘッドマウント計測システムのヘッドマウントデバイスの構成を説明するためのブロック図である。実施の形態１に従うヘッドマウント計測システムに設けた撮像装置の撮影範囲を説明するための図である。実施の形態２に従うヘッドマウント計測システムの全体構成例を示す図である。実施の形態２に従うヘッドマウント計測システムの信号処理装置の構成を説明するためのブロック図である。

　以下、本実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
［実施の形態１］
　生体情報計測システムの一例として、以下に、脳の活動を計測するヘッドマウント計測システムについて説明する。図１は、実施の形態１に従うヘッドマウント計測システム１００の全体構成例を示す図である。ヘッドマウント計測システム１００は、脳の活動を計測するためのセンサが取り付けられたヘッドマウントデバイス１を少なくとも含むシステムである。ヘッドマウントデバイス１は、複数のセンサを保持する筐体１０と、筐体１０を被験者の頭部に着脱可能に固定する固定部とを含む。筐体１０は、被験者の頭部に着脱可能な基体であればよく、箱形状に限定されない。また、筐体１０に固定部を設けた構成について以下説明するが、バンドなどの固定部を設けず、前額上部の頭部曲率を利用して筐体１０を被験者の頭部に着脱可能にする構成でもよい。

　図１に示す固定部は、ずれ落ち防止の頭頂バンド１１と、筐体１０の位置を固定する頭部バンド１２と、頭部サイズに合わせて頭頂バンド１１および頭部バンド１２の長さを調整するサイズ調節部１３とを含む。なお、サイズ調節部１３は、少なくとも頭部バンド１２の長さを調整することができればよい。また、図１に示すヘッドマウントデバイス１および固定部は一例であり、ヘッドマウントデバイス１は、被験者の頭部から頸部まで覆うような形状でもよく、固定部もヘッドマウントデバイス１の形状に合わせて筐体１０の位置を固定できれば、何れの構造であってもよい。本開示では、以下に頭部と記載する場合であっても、頭部のみではなく頸部まで含んでもよい。

　ヘッドマウントデバイス１には、脳の活動を計測するためのセンサが取り付けられており、正しく脳の活動を計測するには、当該センサが被験者の頭部の所定の位置に配置されている必要がある。そのため、ヘッドマウントデバイス１を被験者の頭部に装着した場合に被験者の頭部の所定の位置に当該センサが配置されるように、頭頂バンド１１に位置合わせ部１４が設けてある。位置合わせ部１４を被験者の頭頂点に合わせることで、当該センサが被験者の頭部の所定の位置に配置される。位置合わせ部１４を設けることで、被験者自身を含め誰でも正しい位置にヘッドマウントデバイス１を簡単に装着することができる。

　筐体１０には、脳の活動を計測するセンサ（第１センサ）と、被験者の顔を撮像する撮像センサである超広角カメラ３１（第２センサ）とが取り付けられている。なお、超広角カメラ３１は、被験者の視野外の位置に配置されている。例えば、筐体１０には、被験者の前頭部から前方に突出する突出部を有しており、超広角カメラ３１が、この突出部に取り付けることで被験者の視野外の位置に配置できる。このように、超広角カメラ３１を被験者の視野外に配置することで、超広角カメラ３１が被験者の視線を邪魔しない。脳の活動を計測するセンサには、例えば、近赤外分光法（ＮＩＲＳ）により脳血流を計測するためのＮＩＲＳプローブ２１、脳波センサ２２（ＥＥＧ）、脳磁計（ＭＥＧ）などがある。図１に示す筐体１０には、ＮＩＲＳプローブ２１と、脳波センサ２２とが取り付けられているが、他の脳の活動を計測するセンサをさらに設けてもよい。また、筐体１０は、ＮＩＲＳプローブ２１、および脳波センサ２２のいずれか一方が取り付けられている構成でもよい。

　ＮＩＲＳプローブ２１は、皮膚組織や骨組織を透過し、かつ、血液中のオキシヘモグロビン、デオキシヘモグロビンにより吸収される性質を有する近赤外光を利用して非侵襲で脳血流量の変化を計測するセンサである。ＮＩＲＳプローブ２１では、被験者の頭皮上に、所定の間隔で配置された複数の送光部（送光ファイバ）から近赤外光を照射し、脳（脳皮質）によって拡散反射された光を頭皮上の複数の受光部（受光ファイバ）で受光し、信号光を検出する。この検出光により、送光部と受光部との中間にある計測部位でのオキシヘモグロビン濃度、デオキシヘモグロビン濃度を求める。そして、これらヘモグロビン濃度の変化から脳の活動を計測する。

　図１に示すヘッドマウントデバイス１では、被験者の前頭部の左右にＮＩＲＳプローブ２１に設けられ、被験者の背外側前頭前野の脳血流を計測している。１つのＮＩＲＳプローブ２１には４チャンネルの計測部が設けられており、ヘッドマウントデバイス１では、合計８チャンネルの計測部で脳血流を計測できる。また、ＮＩＲＳプローブ２１には、被験者の頭部の有毛部（毛髪を有する部位）に配置される場合に、毛髪により計測光が阻害されないように、棒状の道具を用いて毛髪を掻き分けてセンサの取付位置から頭部表面を露出させる頭髪掻き分け機能が設けられている。

　図１に示すヘッドマウントデバイス１では、被験者の背外側前頭前野の脳血流を計測することで、例えば被験者の認知についての脳の活動を研究することが可能である。しかし、被験者の他の脳の活動を研究する場合、例えば被験者の感情についての脳の活動を研究する場合に、ＮＩＲＳプローブ２１を筐体１０の別の位置にある差込口１５に差し替える。差込口１５にＮＩＲＳプローブ２１を差し替えることで、ＮＩＲＳプローブ２１で被験者の側頭部の脳血流を計測することができる。このように、筐体１０は、計測する脳の活動の対象（例えば、認知、感性など）に応じて、ＮＩＲＳプローブ２１を筐体１０に保持する位置を変更することが可能な機構を有している。なお、位置を変更する機構は、差込口１５に限定されない。

　脳波センサ２２は、脳内の活動で生じる微少電流を、頭蓋につけた電極から拾い、増幅して脳波として計測するセンサである。なお、脳波センサ２２は、脳波を計測することができれば、形状や構成については特に限定されない。また、筐体１０は、計測する脳の活動の対象に応じて、脳波センサ２２を筐体１０に保持する位置を変更することが可能な機構を有してもよい。

　筐体１０には、第２センサとして超広角カメラ３１だけでなく、被験者の体温を計測することができる温度センサ３２、被験者の頭部の動きを計測する加速度センサ３３などの他のセンサを取り付けてもよい。他のセンサは、脳の活動を計測するセンサと異なる対象を計測するセンサであれば何れのセンサでもよく、被験者の動きを検出するセンサ、心拍を計測するセンサ、呼吸を計測するセンサなどでもよい。図１に示すヘッドマウントデバイス１では、超広角カメラ３１以外に、温度センサ３２と加速度センサ３３とが筐体１０に取り付けてあるが、他のセンサをさらに筐体１０に取り付けてもよい。さらに、ヘッドマウントデバイス１では、超広角カメラ３１を筐体１０に取り付けずに、脳の活動を計測するセンサ以外の温度センサ３２、加速度センサ３３などが筐体１０に取り付けられる構成でもよい。

　筐体１０には、ＮＩＲＳプローブ２１、脳波センサ２２、超広角カメラ３１、温度センサ３２、加速度センサ３３以外に、これらのセンサを制御する制御部が設けられている。図２は、実施の形態１に従うヘッドマウント計測システムのヘッドマウントデバイスの構成を説明するためのブロック図である。図２に示すようにＮＩＲＳプローブ２１、脳波センサ２２、超広角カメラ３１、温度センサ３２、および加速度センサ３３が制御部１６に接続されている。さらに、制御部１６は、駆動するための電源としてバッテリ１７と、スマートフォンなどの外部機器５００と通信するための通信部１８とが接続されている。バッテリ１７および通信部１８は、筐体１０の中に設けられている。もちろん、ヘッドマウントデバイス１は、バッテリ１７、通信部１８を筐体１０の外に設けてもよい。

　制御部１６は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のようなプロセッサと、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ　ａｃｃｅｓｓ　ｍｅｍｏｒｙ）のようなメモリを備える。メモリは、制御プログラムを記憶する。プロセッサが、制御プログラムを実行することによって、ＮＩＲＳプローブ２１、超広角カメラ３１などのセンサを制御する。

　また、制御部１６は、ＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを同期する信号処理を行う。つまり、制御部１６は、ＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを同期する信号処理を行う信号処理部に対応しており、筐体１０に設けられている。制御部１６は、ＮＩＲＳプローブ２１で計測した信号のタイムスタンプと超広角カメラ３１で撮像した信号のタイムスタンプとに基づいて、信号の同期を行う。なお、信号を同期する信号処理は、信号のタイムスタンプに基づく処理に限定されず、制御部１６が同期信号を生成し、それぞれのセンサに供給することで、それぞれのセンサからの信号を同期させてもよい。

　バッテリ１７は、例えば、ニッケル水素電池、リチウムイオン二次電池などの二次電池、乾電池などの一次電池でもよい。もちろん、ヘッドマウントデバイス１は、バッテリ１７を設けない、またはバッテリ１７と併用して、商用電源などで駆動できるようにしてもよい。

　通信部１８は、通信用のインターフェースであり、無線通信または有線通信で外部機器５００と通信することができる。そのため、外部機器５００では、通信部１８を介して、ＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを制御部１６で同期させた信号として受信することができる。超広角カメラ３１で撮像した信号には、少なくとも被験者の顔の表情を撮像した信号が含まれているので、外部機器５００では、被験者の顔の表情と、その時の脳の活動を計測した信号（ＮＩＲＳプローブ２１で計測した信号、脳波センサ２２で計測した信号）とを取得できるので、外部機器５００で取得した信号から研究者は、被験者の喜怒哀楽と脳の活動との関係について研究することが可能となる。また、外部機器５００で取得した信号から研究者は、脳の活動を計測した時点の被験者の状態（例えば、眠っている、緊張しているなど）を把握した上で、脳の活動を研究することが可能となる。

　超広角カメラ３１で撮像した信号には、少なくとも被験者の顔の表情を撮像した信号が含まれていると説明した。つまり、超広角カメラ３１の撮影範囲には、必ず被験者の顔が含まれている。図３は、実施の形態１に従うヘッドマウント計測システムに設けた撮像装置の撮影範囲を説明するための図である。図３（ａ）では、超広角カメラ３１が被験者の側に向けて取り付けられているので、超広角カメラ３１の撮影範囲３１ａは、被験者の顔だけである。そのため、図３（ａ）に示す超広角カメラ３１では、被験者の顔の表情を撮像した信号のみが超広角カメラ３１で撮像した信号となる。

　一方、図３（ｂ）では、超広角カメラ３１が被験者より外側に向けて取り付けられているので、超広角カメラ３１の撮影範囲３１ｂは、被験者の顔だけでなく被験者の動作、および被験者の周囲の環境も含まれる。そのため、図３（ｂ）に示す超広角カメラ３１では、被験者の顔の表情を撮像した信号以外に、被験者の動作を撮像した信号、被験者の周囲の環境を撮像した信号も超広角カメラ３１で撮像した信号に含まれる。なお、被験者の周囲の環境には、被験者が視ている物や出来事、被験者が対話している人や接している動物などが含まれる。

　被験者の動作を撮像した信号と脳の活動を計測した信号（ＮＩＲＳプローブ２１で計測した信号、脳波センサ２２で計測した信号）とを同期することで、外部機器５００では、被験者の動作と、その時の脳の活動を計測した信号とを取得できる。そのため、外部機器５００で取得した信号から研究者は、被験者の行動と脳の活動との関係について研究することが可能となる。また、外部機器５００で取得した信号から研究者は、脳の活動を計測した時点の被験者の仕草（例えば、脚を小刻みに動かしているなど）を把握した上で、脳の活動を研究することが可能となる。

　また、被験者の周囲の環境を撮像した信号と脳の活動を計測した信号（ＮＩＲＳプローブ２１で計測した信号、脳波センサ２２で計測した信号）とを同期することで、外部機器５００では、被験者の周囲の環境と、その時の脳の活動を計測した信号とを取得できる。そのため、外部機器５００で取得した信号から研究者は、被験者の周囲の環境（例えば、対話している人の表情）と脳の活動との関係について研究することが可能となる。また、外部機器５００で取得した信号から研究者は、脳の活動を計測した時点の被験者の周囲の環境（例えば、ペットと遊んでいるなど）を把握した上で、脳の活動を研究することが可能となる。

　撮像センサとして超広角カメラ３１を用いると説明したが、ヘッドマウントデバイス１に取り付ける撮像センサは超広角カメラ３１に限定されない。ヘッドマウントデバイス１は、例えば、被験者の顔の表情を撮像する撮像センサと、被験者の周囲の環境を撮像する撮像センサと２つ設けてもよい。また、ヘッドマウントデバイス１は、１つの撮像センサを、被験者の顔の表情を撮像する位置、または被験者の周囲の環境を撮像する位置に動かして撮像することができる機構を有してもよい。

　上述の説明では、制御部１６は、ＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを同期する処理を行うと説明した。しかし、制御部１６は、ＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを同期するだけでなく、同期させた信号から得られる認知や感性に関する信号を生成し、通信部１８を介して外部機器５００に送信してもよい。

　また、上述の説明では、制御部１６は、ＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを同期する処理を行うと説明した。しかし、制御部１６は、超広角カメラ３１で撮像した信号以外の温度センサ３２または加速度センサ３３で計測した信号（第２信号）と、ＮＩＲＳプローブ２１で計測した信号（第１信号）とを同期する処理を行ってもよい。これにより、外部機器５００では、超広角カメラ３１で撮像した信号ではなく、温度センサ３２または加速度センサ３３で計測した信号と、その時の脳の活動を計測した信号（ＮＩＲＳプローブ２１で計測した信号、脳波センサ２２で計測した信号）とを取得できる。
［実施の形態２］
　実施の形態１に係るヘッドマウント計測システム１００では、ＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを同期する処理を、ヘッドマウントデバイス１の筐体１０に設けた制御部１６で行うと説明した。実施の形態２に係るヘッドマウント計測システムでは、ヘッドマウントデバイスの筐体とは別の装置で、ＮＩＲＳプローブで計測した信号（第１信号）と超広角カメラで撮像した信号（第２信号）とを同期する処理を行う。

　図４は、実施の形態２に従うヘッドマウント計測システム１００ａの全体構成例を示す図である。ヘッドマウント計測システム１００ａは、脳の活動を計測するためのセンサが取り付けられたヘッドマウントデバイス１と、ヘッドマウントデバイス１と通信できる信号処理装置２とを少なくとも含むシステムである。ヘッドマウントデバイス１は、複数のセンサを保持する筐体１０と、筐体１０を被験者の頭部に着脱可能に固定する固定部とを含む。なお、図４に示すヘッドマウントデバイス１は、実施の形態１で説明したヘッドマウントデバイス１と同じ構成を有しており、同じ構成については同じ符号を付して詳細な説明を繰り返さない。

　実施の形態２のヘッドマウントデバイス１では、ＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを同期する処理を制御部１６で行わず、それぞれの信号を通信部１８で信号処理装置２に送信するだけである。

　信号処理装置２は、ヘッドマウントデバイス１から受信したＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを同期する処理を行う。つまり、信号処理装置２は、ＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを同期する信号処理を行う信号処理部に対応しており、筐体１０とは別の装置に設けられている。信号処理装置２は、ＮＩＲＳプローブ２１で計測した信号のタイムスタンプと超広角カメラ３１で撮像した信号のタイムスタンプとに基づいて、信号の同期を行う。なお、信号を同期する信号処理は、信号のタイムスタンプに基づく処理に限定されない。

　信号処理装置２は、ＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを同期するだけでなく、同期させた信号から得られる認知や感性に関する信号を生成してもよい。

　また、信号処理装置２は、超広角カメラ３１で撮像した信号以外の温度センサ３２または加速度センサ３３で計測した信号（第２信号）と、ＮＩＲＳプローブ２１で計測した信号（第１信号）とを同期する処理を行ってもよい。これにより、信号処理装置２では、超広角カメラ３１で撮像した信号ではなく、温度センサ３２または加速度センサ３３で計測した信号と、その時の脳の活動を計測した信号（ＮＩＲＳプローブ２１で計測した信号、脳波センサ２２で計測した信号）とを取得できる。

　図５は、実施の形態２に従うヘッドマウント計測システム１００ａの信号処理装置２の構成を説明するためのブロック図である。図５を参照して、信号処理装置２は、プロセッサ２０２と、メインメモリ２０４と、入力部２０６と、出力部２０８と、ストレージ２１０と、外部ドライブ２１２、通信コントローラ２２０とを含む。これらのコンポーネントは、プロセッサバス２１８を介して接続されている。

　プロセッサ２０２は、ＣＰＵやＧＰＵなどで構成され、ストレージ２１０に記憶されたプログラム（一例として、ＯＳ２１０２およびプログラム２１０４）を読出して、メインメモリ２０４に展開して実行することができる。プロセッサ２０２では、入力部２０６で受け付けたヘッドマウントデバイス１からの信号を同期するプログラム２１０４が実行される。

　メインメモリ２０４は、ＤＲＡＭやＳＲＡＭなどの揮発性記憶装置などで構成される。ストレージ２１０は、例えば、ＨＤＤやＳＳＤなどの不揮発性記憶装置などで構成される。

　ストレージ２１０には、基本的な機能を実現するためのＯＳ２１０２に加えて、信号処理装置２としての機能を提供するためのプログラム２１０４が記憶される。すなわち、プログラム２１０４は、信号処理装置２のプロセッサ２０２で実行されることで、信号の同期や同期させた信号から得られる認知や感性に関する信号の生成などの処理を行う。

　入力部２０６は、ヘッドマウントデバイス１と無線または有線で接続して、ヘッドマウントデバイス１から信号を受け付ける入力インターフェースを含む。また、入力部２０６は、キーボードやマウスなどで構成され、計測者からの操作をさらに受け付けることができる。

　出力部２０８は、プロセッサ２０２で同期させた信号や同期させた信号から生成した認知や感性に関する信号を通信やＵＳＢ接続などを介して外部機器に出力する出力インターフェースを含む。また、出力部２０８は、信号処理装置２に接続されたディスプレイ、各種インジケータ、プリンタなどに対してプロセッサ２０２の処理結果などを出力し、さらに被験者に聴覚刺激を与えるためにイヤフォン・マイク３００に信号を出力したり、被験者に視覚刺激を与えるためにディスプレイ４００に信号を出力したりできる。

　信号処理装置２は、外部ドライブ２１２を有しており、コンピュータが読取可能なプログラムを記憶した記録媒体（例えば、ＤＶＤ（Digital　Versatile　Disc）などの光学記録媒体、ＵＳＢメモリ）から、その中に記憶されたプログラムが読取られてストレージ２１０などにインストールしてもよい。通信コントローラ２２０は、有線通信または無線通信を用いて、他の装置などとの間で信号を遣り取りする。信号処理装置２は、ヘッドマウントデバイス１との間で通信コントローラ２２０を介して同期させた信号や同期させた信号から生成した認知や感性に関する信号の遣り取りを行ったりしてもよい。

　信号処理装置２で実行されるプログラム２１０４などは、コンピュータ読取可能な記録媒体を介してインストールされてもよいが、ネットワーク上のサーバ装置などからダウンロードする形でインストールするようにしてもよい。また、信号処理装置２が提供する機能は、ＯＳが提供するモジュールの一部を利用する形で実現される場合もある。

　信号処理装置２は、図４に示すイヤフォン・マイク３００（音声デバイス）を用いて被験者に対して音声刺激を提示してもよい。信号処理装置２から被験者に対して音声刺激を提示することで、信号処理装置２は、音声刺激を提示したタイミングと、ＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを同期することができる。信号処理装置２は、被験者に音声刺激を提示した時の被験者の顔の表情と脳の活動を計測した信号（ＮＩＲＳプローブ２１で計測した信号、脳波センサ２２で計測した信号）とを取得できる。そのため、信号処理装置２で取得した信号から研究者は、音声刺激に対する被験者の反応と脳の活動との関係について研究することが可能となる。イヤフォン・マイク３００は、ヘッドマウントデバイス１とは別に設けられても、ヘッドマウントデバイス１と一体として設けられてもよい。

　信号処理装置２は、図４に示すディスプレイ４００（表示デバイス）を用いて被験者に対して視覚刺激を提示してもよい。信号処理装置２から被験者に対して視覚刺激を提示することで、信号処理装置２は、視覚刺激を提示したタイミングと、ＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを同期することができる。信号処理装置２は、被験者に視覚刺激を提示した時の被験者の顔の表情と脳の活動を計測した信号とを取得できる。そのため、信号処理装置２で取得した信号から研究者は、視覚刺激に対する被験者の反応と脳の活動との関係について研究することが可能となる。ディスプレイ４００は、ヘッドマウントデバイス１とは別に設けられた液晶ディスプレイなどであっても、ヘッドマウントデバイス１と一体として設けられたヘッドマウントディスプレイであってもよい。

　なお、イヤフォン・マイク３００は、被験者と計測者との音声コミュニケーションを収集する音声収集部として用いてもよい。信号処理装置２は、イヤフォン・マイク３００で収集した被験者と計測者との音声コミュニケーションと、ＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを同期することができる。信号処理装置２は、被験者と会話した時の被験者の顔の表情と脳の活動を計測した信号とを取得できる。そのため、信号処理装置２で取得した信号から研究者は、被験者との会話の内容と脳の活動との関係について研究することが可能となる。

　信号処理装置２が、音声刺激または視覚刺激を提示したタイミングと、ＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを同期すると説明した。しかし、これに限られず、実施の形態１で説明したように、ヘッドマウントデバイス１の筐体１０に設けた制御部１６で、音声刺激または視覚刺激を提示したタイミングと、ＮＩＲＳプローブ２１で計測した信号（第１信号）と、超広角カメラ３１で撮像した信号（第２信号）とを同期してもよい。
［態様］
　上述した実施形態は、以下の態様の具体例であることが当業者により理解される。

　（第１項）
　一態様に係る生体情報計測システムは、被験者の頭部に着脱可能な基体と、基体に保持される複数のセンサと、複数のセンサから出力される信号を同期させる信号処理部と、を備え、複数のセンサは、脳の活動を計測する第１センサと、被験者の顔を撮像する第２センサとを含む。

　第１項に記載の生体情報計測システムによれば、被験者の頭部に着脱可能に固定される基体に複数のセンサを保持させることにより、被験者への装着性が向上する。さらに、第２センサで被験者の顔の表情を撮像することができるので、被験者の動きに影響されることなく被験者の顔の表情を撮像できる。

　（第２項）
　第２項に記載の生体情報計測システムであって、第２センサは、被験者の視野外の位置に配置されている。

　第２項に記載の生体情報計測システムによれば、第２センサが被験者の視線を邪魔しない。

　（第３項）
　第３項に記載の生体情報計測システムであって、基体は、被験者の前頭部から前方に突出する突出部を有し、第２センサは、突出部に取り付けられている。

　第３項に記載の生体情報計測システムによれば、被験者の視線を邪魔しない位置に第２センサを配置できる。

　（第４項）
　第４項に記載の生体情報計測システムであって、基体を被験者の頭部に着脱可能に固定するための固定部を備え、固定部は、ずれ落ち防止の頭頂バンドと、基体の位置を固定する頭部バンドと、頭部サイズに合わせて少なくとも頭部バンドの長さを調整するサイズ調節部とを含む。

　第４項に記載の生体情報計測システムによれば、被験者の頭部からずれ落ちることなく、確実に基体を被験者の頭部に固定できる。

　（第５項）
　第５項に記載の生体情報計測システムであって、頭頂バンドには、頭頂点に合わせる位置合わせ部を有する。

　第５項に記載の生体情報計測システムによれば、第１センサおよび第２センサが被験者の頭部の所定の位置（正しい位置）に配置されるように、基体を簡単に装着することができる。

　（第６項）
　第６項に記載の生体情報計測システムであって、基体は、計測する脳の活動の対象に応じて、第１センサを基体に保持する位置を変更することが可能な機構を有する。

　第６項に記載の生体情報計測システムによれば、脳の活動の対象にあった位置に第１センサを配置して、脳の活動を計測することができる。

　（第７項）
　第７項に記載の生体情報計測システムであって、信号処理部は、基体に設けられている。

　第７項に記載の生体情報計測システムによれば、基体に設けた信号処理部で、第１センサで計測した第１信号と第２センサで計測した第２信号とを同期することができるので、他の装置が不要である。

　（第８項）
　第８項に記載の生体情報計測システムであって、信号処理部は、基体とは別の装置に設けられている。

　第８項に記載の生体情報計測システムによれば、基体とは別の装置で、第１センサで計測した第１信号と第２センサで計測した第２信号とを同期することができるので、基体を軽量化できる。

　（第９項）
　第９項に記載の生体情報計測システムであって、信号処理部は、第１センサの第１信号のタイムスタンプと第２センサの第２信号のタイムスタンプとに基づいて、第１信号と第２信号との同期を行う。

　第９項に記載の生体情報計測システムによれば、第１信号と第２信号との同期を簡単に行うことができる。

　（第１０項）
　第１０項に記載の生体情報計測システムであって、第１センサは、脳波を計測するセンサまたは脳血流を計測するセンサであり、第２センサは、撮像装置であり、生体情報計測システムは、さらに、被験者の動きを検出するセンサ、心拍を計測するセンサ、体温を計測するセンサ、および呼吸を計測するセンサからなる群のうち少なくとも１つのセンサを含む。

　第１０項に記載の生体情報計測システムによれば、様々な種類のセンサを第１センサおよび第２センサに採用することができる。

　（第１１項）
　第１１項に記載の生体情報計測システムであって、撮像装置は、被験者の動作、および被験者の周囲の環境のうち少なくとも１つと被験者の顔の表情とを合わせて撮像するように構成されている。

　第１１項に記載の生体情報計測システムによれば、被験者の顔の表情以外に被験者の動作、被験者の周囲の環境を撮影した信号を利用することができる。

　（第１２項）
　第１２項に記載の生体情報計測システムであって、被験者と計測者との音声コミュニケーションを収集する音声収集部をさらに備える。

　第１２項に記載の生体情報計測システムよれば、音声収集部で収集した被験者と計測者との音声コミュニケーションを脳の活動の計測に利用することができる。

　（第１３項）
　第１３項に記載の生体情報計測システムであって、被験者に対して音声刺激を提示する音声デバイスをさらに備える。

　第１３項に記載の生体情報計測システムによれば、被験者に対して音声刺激を提示したときの脳の活動を計測できる。

　（第１４項）
　第１４項に記載の生体情報計測システムであって、被験者に対して視覚刺激を提示する表示デバイスをさらに備える。

　第１４項に記載の生体情報計測システムによれば、被験者に対して視覚刺激を提示したときの脳の活動を計測できる。

　（第１５項）
　第１５項に記載の生体情報計測システムであって、外部機器との間でデータを通信する通信部をさらに備える。

　第１５項に記載の生体情報計測システムによれば、外部機器に同期した第１信号および第２信号を送信することができる。

　（第１６項）
　一態様に係る生体情報計測システムは、被験者の頭部に着脱可能な基体と、基体に保持される複数のセンサと、複数のセンサから出力される信号を処理する信号処理部と、を備え、複数のセンサは、脳の活動を計測する脳センサを含む。

　第１６項に記載の生体情報計測システムによれば、複数のセンサを被験者に装着し、計測する準備を行う時間を短縮できる。

　今回開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

　１　ヘッドマウントデバイス、２　信号処理装置、１０　筐体、１１　頭頂バンド、１２　頭部バンド、１３　サイズ調節部、１４　位置合わせ部、１５　差込口、１６　制御部、１７　バッテリ、１８　通信部、２１　プローブ、２２　脳波センサ、３１　超広角カメラ、３１ａ，３１ｂ　撮影範囲、３２　温度センサ、３３　加速度センサ、１００，１００ａ　ヘッドマウント計測システム。　

Claims

　生体情報計測システムであって、
　被験者の頭部に着脱可能な基体と、
　前記基体に保持される複数のセンサと、
　前記複数のセンサから出力される信号を同期させる信号処理部と、を備え、
　前記複数のセンサは、脳の活動を計測する第１センサと、被験者の顔を撮像する第２センサとを含む、生体情報計測システム。
　前記第２センサは、前記被験者の視野外の位置に配置されている、請求項１に記載の生体情報計測システム。
　前記基体は、被験者の前頭部から前方に突出する突出部を有し、
　前記第２センサは、前記突出部に取り付けられている、請求項１に記載の生体情報計測システム。
　前記基体を被験者の頭部に着脱可能に固定するための固定部を備え、
　前記固定部は、ずれ落ち防止の頭頂バンドと、前記基体の位置を固定する頭部バンドと、頭部サイズに合わせて少なくとも前記頭部バンドの長さを調整するサイズ調節部とを含む、請求項１に記載の生体情報計測システム。
　前記頭頂バンドは、頭頂点に合わせる位置合わせ部を有する、請求項４に記載の生体情報計測システム。
　前記基体は、計測する脳の活動の対象に応じて、前記第１センサを前記基体に保持する位置を変更することが可能な機構を有する、請求項１に記載の生体情報計測システム。
　前記信号処理部は、前記基体に設けられている、請求項１に記載の生体情報計測システム。
　前記信号処理部は、前記基体とは別の装置に設けられている、請求項１に記載の生体情報計測システム。
　前記信号処理部は、前記第１センサの第１信号のタイムスタンプと前記第２センサの第２信号のタイムスタンプとに基づいて、前記第１信号と前記第２信号との同期を行う、請求項１に記載の生体情報計測システム。
　前記第１センサは、脳波を計測するセンサまたは脳血流を計測するセンサであり、
　前記第２センサは、撮像装置であり、前記生体情報計測システムは、さらに、前記被験者の動きを検出するセンサ、心拍を計測するセンサ、体温を計測するセンサ、および呼吸を計測するセンサからなる群のうち少なくとも１つを含む、請求項１に記載の生体情報計測システム。
　前記撮像装置は、前記被験者の動作、および前記被験者の周囲の環境のうち少なくとも１つと前記被験者の顔の表情とを合わせて撮像するように構成されている、請求項１０に記載の生体情報計測システム。
　前記被験者と計測者との音声コミュニケーションを収集する音声収集部をさらに備える、請求項１に記載の生体情報計測システム。
　前記被験者に対して音声刺激を提示する音声デバイスをさらに備える、請求項１に記載の生体情報計測システム。
　前記被験者に対して視覚刺激を提示する表示デバイスをさらに備える、請求項１に記載の生体情報計測システム。
　外部機器との間でデータを通信する通信部をさらに備える、請求項１に記載の生体情報計測システム。
　脳の活動を計測するシステムであって、
　被験者の頭部に着脱可能な基体と、
　前記基体に保持される複数のセンサと、
　前記複数のセンサから出力される信号を処理する信号処理部と、を備え、
　前記複数のセンサは、脳の活動を計測する脳センサを含む、生体情報計測システム。