WO2022202057A1 - ユーザの感情状態を推定する方法および装置 - Google Patents

Abstract

感情状態を推定する方法は、コンピュータによって実行され、ユーザの基準時点からの脳血流の変化量を取得することと、前記ユーザの基準時点からの心拍数の変化量を取得することと、前記脳血流の変化量が第１閾値よりも低く、かつ前記心拍数の変化量が第２閾値よりも高い場合に、前記ユーザが興奮状態にあることを示す信号を出力することと、を含む。

Description

ユーザの感情状態を推定する方法および装置

　本開示は、ユーザの感情状態を推定する方法および装置に関する。

　近年、人の状態のセンシングに関する研究開発が盛んに行われている。センシングされる人の状態は、例えば感情状態または思考状態など、認知機能に関連している。いずれの感情も人の暮らしに密接に関連しており、センシングによって人の感情状態を推定できれば、生活の質をより向上できると期待される。

　特許文献１は、イベント会場の周辺に配置された複数の集音装置によって検知された音量に基づいて観客の興奮の度合いを検知し、その検知の結果に基づいて照明を制御する技術を開示している。イベント会場の周辺の音量に応じて照明を制御することにより、観客の興奮を鎮静化させたり、興奮を高めたりすることができる。

　他にも、自律神経系をセンシングすることにより、人の感情などの状態を推定する方法が開発されている。例えば、近赤外分光法（Ｎｅａｒ－ｉｎｆｒａｒｅｄ　ｓｐｅｃｔｒｏｓｃｏｐｙ：ＮＩＲＳ）を用いて、人の自律神経系をセンシングすることにより、感情などの状態を推定する試みがなされている。近赤外分光法においては、生体を透過しやすい近赤外線（近赤外光とも称する。）が用いられる。生体の血液中のヘモグロビンの酸素化および脱酸素化の状態によって近赤外光の吸収スペクトルが異なる性質が利用される。例えば額に向けて近赤外光を照射し、その反射光を検出することにより、脳血流の状態を推定することができる。さらに、脳血流の状態に基づいて、感情などの脳活動の状態を推定することができる。

　特許文献２から４は、近赤外分光法を用いて脳活動の状態を推定する技術の例を開示している。特許文献１は、脳血流と顔面血流の状態に基づいて感情を推定することを開示している。特許文献２および３は、脳血流および心拍に基づいて感情を推定することを開示している。

特開２０１９－１０２１６４号公報 国際公開第２０１９／１７６５３５号 国際公開第２０１８／１６７８５４号 特開２０１２－１６１５５８号公報

　本開示は、興奮状態またはリラックス状態などの人の感情状態を従来よりも高い精度で推定できる新規な技術を提供する。

　本開示の一態様に係る方法は、コンピュータによって実行される方法であって、ユーザの基準時点からの脳血流の変化量を取得することと、前記ユーザの基準時点からの心拍数の変化量を取得することと、前記脳血流の変化量が第１閾値よりも低く、かつ前記心拍数の変化量が第２閾値よりも高い場合に、前記ユーザが興奮状態にあることを示す信号を出力することと、を含む。

　本開示の他の態様に係る方法は、コンピュータによって実行される方法であって、ユーザの基準時点からの脳血流の変化量を取得することと、前記脳血流の変化量が第１閾値よりも低い場合に、前記ユーザが興奮状態またはリラックス状態にあることを示す信号を出力することと、を含む。

　本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及および記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ‐Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＢＤ（Ｂｌｕｅ－ｒａｙ　Ｄｉｓｃ）等の不揮発性の記録媒体を含み得る。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

　本開示の一様態によれば、興奮状態またはリラックス状態などの人の感情状態を従来よりも高い精度で推定することができる。

図１は、ユーザが興奮状態またはリラックス状態にあると判定される条件の例を示す図である。 図２は、ユーザが興奮状態またはリラックス状態にあると判定される条件の他の例を示す図である。 図３は、ユーザの感情状態を推定するシステムの構成例を示す図である。 図４Ａは、発光パルスと、反射光パルスにおける表面反射成分および内部散乱成分の強度の時間変化の例を示す図である。 図４Ｂは、発光パルスと、反射光パルスにおける表面反射成分および内部散乱成分の強度の時間変化の他の例を示す図である。 図５は、受光装置の１つの画素の概略的な構成の例を示す図である。 図６は、受光装置の構成の一例を示す図である。 図７は、１フレーム内に行われる動作の一例を模式的に示す図である。 図８は、脳血流の計測動作を説明するための図である。 図９Ａは、内部散乱成分を検出する動作の例を示すタイミングチャートである。 図９Ｂは、表面反射成分を検出する動作の例を示すタイミングチャートである。 図１０は、発光装置および受光装置を制御する動作の概略を示すフローチャートである。 図１１は、脳血流センサが接触型のＮＩＲＳ装置である例を示す図である。 図１２は、接触型ＮＩＲＳ装置の裏側の構成例を模式的に示す図である。 図１３は、感情推定処理の一例を示すフローチャートである。 図１４は、感情推定処理の他の例を示すフローチャートである。 図１５は、感情推定処理のさらに他の例を示すフローチャートである。 図１６は、感情推定処理のさらに他の例を示すフローチャートである。 図１７は、感情推定処理のさらに他の例を示すフローチャートである。 図１８Ａは、興奮曲を被験者が聴取した場合の脳血流量の時系列データを示すグラフである。 図１８Ｂは、リラックス曲を被験者が聴取した場合の脳血流量の時系列データを示すグラフである。 図１８Ｃは、恐怖曲を被験者が聴取した場合の脳血流量の時系列データを示すグラフである。 図１８Ｄは、ホワイトノイズを被験者が聴取した場合の脳血流量の時系列データを示すグラフである。 図１９は、平均心拍数の変化率と覚醒度に関する主観評価スコアとの相関を示す図である。 図２０は、４種類の音楽聴取時の脳血流および心拍のデータをプロットした図である。

　以下で説明される実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、およびステップの順序は、一例であり、本開示の技術を限定する趣旨ではない。以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一または類似の構成要素には同一の符号を付している。重複する説明は省略または簡略化されることがある。

　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。

　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。

　（本開示の基礎となった知見）
　本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。

　脳活動計測の方法には、脳波計測および核磁気共鳴（Ｆｕｎｃｔｉｏｎａｌ　ｍａｇｎｅｔｉｃ　ｒｅｓｏｎａｎｃｅ　ｉｍａｇｉｎｇ：ｆＭＲＩ）などの種々の方法がある。脳波計測はノイズに弱く高い精度で計測することが困難である。ｆＭＲＩは、ニューロイメージングの研究において最もよく用いられているが、大型の装置が必要であり、被検者は拘束を強いられる。このため、ｆＭＲＩの使用は医療用途または研究用途に限定される。脳波計測およびｆＭＲＩなどの方法を実生活における脳活動計測に適用することは困難である。

　これらの方法と比較して、近赤外分光法（ＮＩＲＳ）は、低拘束かつ高ノイズ耐性という特徴を有している。このため、ＮＩＲＳを実生活における脳活動計測に応用することが期待される。ＮＩＲＳによる脳活動計測は、近赤外光の高い組織透過性とヘモグロビンの吸収係数の波長依存性とを利用している。高い組織透過性に関しては、近赤外の波長域では生体における散乱係数および吸光係数が比較的低く、減衰が少ないため、近赤外光は生体を透過し易い。波長依存性に関しては、血液中の酸素化ヘモグロビン（Ｏｘｙ－Ｈｂ）の吸光度と脱酸素化ヘモグロビン（Ｄｅｏｘｙ－Ｈｂ）の吸光度とが、波長８０３ｎｍ付近で等しく、８０３ｎｍよりも短い波長では脱酸素化ヘモグロビンによる吸光度が高く、８０３ｎｍよりも長い波長では酸素化ヘモグロビンによる吸光度が高い。よって、酸素化ヘモグロビンの吸収スペクトルと脱酸素化ヘモグロビンの吸収スペクトルとが異なることを利用して、ヘモグロビンの酸素化／脱酸素化状態をＬａｍｂｅｒｔ－Ｂｅｅｒの法則に基づき近似的に計測することができる。Ｌａｍｂｅｒｔ－Ｂｅｅｒの法則によれば、（吸光度）＝（モル吸光係数）×（媒質のモル濃度）×（媒質長さ：光路長）が成立する。この関係式に基づき、２波長の近赤外光の計測結果から、基準状態（例えば安静状態）からの酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度変化を推定することができる。

　ＮＩＲＳを利用した脳活動計測時には、人の前頭葉の脳血流が計測される。計測時には、ＮＩＲＳ装置が額に取り付けられる。ＮＩＲＳ装置の送光部から近赤外光が出射される。近赤外光は、皮膚、頭蓋骨、および脳脊髄液を透過した後、脳表面に到達し、一部の光は吸収され、残りの一部の光は散乱され、脳脊髄液、頭蓋骨、皮膚を再び透過し、ＮＩＲＳ装置の受光部で検出される。ＮＩＲＳ装置で検出される光の光路長の決定は困難であるため、計測される量はヘモグロビン量の相対値である。検出される近赤外光の強さから、生体組織の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの基準状態からの変化量を算出することができる。

　脳神経活動が活発になると、脳神経における酸素消費量が増加し、それを補うために血流が増加する。このとき、血流増加による酸素供給は、神経活動の増加に伴う酸素消費の増加を遥かに凌ぎ、過剰に酸素が供給される。そのため、脳活動が活発になると、ＮＩＲＳで計測されるＯｘｙ－Ｈｂが増加する。この原理を利用し、ＮＩＲＳを用いて脳活動を推定することができる。

　また、興奮またはリラックスといった感情の誘起には、扁桃体が中心的な働きを担っていることが知られている。しかし、扁桃体のみが感情を担う訳ではなく、主に思考および判断し行動する機能を司る前頭葉も関わっており、これらによって認知による感情制御が行われる。そのため、ＮＩＲＳによって前頭葉の表面の血流の変化を計測することにより、感情を推定できる可能性がある。

　しかし、従来の感情推定方法には、感情の推定の精度に改善の余地があった。従来の感情推定方法を開示する先行技術文献には、感情状態を高精度に推定できたというデータが十分に開示されていない。このため、従来の方法で高い精度で感情状態を推定できるとは言い切れない。

　感情状態を高精度に推定できれば、例えば、家庭、自動車の車室空間、オフィス、休憩室、またはイベント会場などの、生活の様々なシーンにおいて生活の質を向上できると期待される。例えば、推定された感情に応じて照明機器または音響機器などの装置を制御することにより、興奮またはリラックスなどの特定の感情をユーザに誘起させることができると期待される。

　しかし、脳血流計測を利用した従来の感情推定方法には前述のような課題があり、高い精度で感情状態を推定することができなかった。そこで、本発明者らは、感情状態、例えば興奮状態またはリラックス状態をより高い精度で推定する方法を検討し、本開示の実施形態の構成に想到した。

　以下、本開示の実施形態の概要を説明する。

　本開示の例示的な実施形態による方法は、コンピュータによって実行される方法であって、ユーザの基準時点からの脳血流の変化量を取得することと、前記ユーザの基準時点からの心拍数の変化量を取得することと、前記脳血流の変化量が第１閾値よりも低く、かつ前記心拍数の変化量が第２閾値よりも高い場合に、前記ユーザが興奮状態にあることを示す信号を出力することと、を含む。

　基準時点からの脳血流の変化量は、例えばＮＩＲＳ装置などの脳血流センサによって基準時点および計測時点の両方で計測された脳血流量の差または比であり得る。脳血流量は、例えば脳血液中の酸素化ヘモグロビンの濃度に応じた量であり得る。基準時点からの心拍数の変化量は、心拍数を計測する装置によって基準時点および計測時点の両方で計測された平均心拍数の差または比であり得る。平均心拍数は、基準時点または計測時点からある一定時間にわたって計測された心拍数の平均値である。基準時点は、例えば安静時などの、特定の感情が誘起されていない時点であり得る。脳血流計測の基準時点と心拍数計測の基準時点とは同一でもよいし異なっていてもよい。第１閾値は、例えばゼロ（０）よりも小さい値であり得る。第２閾値は、例えば０に近い値であり、正の値および負の値のいずれでもよい。第１閾値および第２閾値は、例えばキャリブレーションによってユーザに応じて異なる値に設定されてもよい。ユーザが興奮状態にあることを示す信号は、例えば、ディスプレイにユーザが興奮状態にあること、またはその興奮の程度を表示させるための制御信号であってもよい。あるいは、ユーザが興奮状態にあることを示す信号は、照明装置または音声出力装置などの外部の装置に、ユーザの興奮の程度に応じた動作を実行させるための制御信号であってもよい。

　上記の方法によれば、脳血流の変化量および心拍数の変化量に基づき、ユーザが興奮状態にあるか否かを高い精度で推定することができる。これにより、例えば、ユーザの興奮の度合いをディスプレイに表示したり、ユーザの興奮の度合いに応じて照明装置または音声出力装置などの外部の装置を制御したりすることができる。

　上記の方法は、人が興奮状態にあるとき、酸素化ヘモグロビン量などの脳血流量が安静時よりも減少するという本発明者らの発見に基づいている。従来、人が興奮状態にあるときには酸素化ヘモグロビン量などの脳血流量が安静時よりも増加すると考えられてきた。本発明者らは、脳血流の変化量と被験者の感情との関係を解明する実験を行うことにより、人が興奮状態にあるとき、脳血流量が安静時よりも低下するという従来の常識に反する事実を発見した。さらに、本発明者らは、人が興奮状態にあるときには心拍数が増加するという実験結果から、上記の方法に想到した。上記の方法を適用することにより、従来よりも高い精度で人が興奮状態にあることを検出することができる。

　前記方法は、前記脳血流の変化量が前記第１閾値よりも低く、かつ前記心拍数の変化量が前記第２閾値よりも低い場合に、前記ユーザがリラックス状態にあることを示す信号を出力することをさらに含んでいてもよい。

　本発明者らの実験によれば、人がリラックス状態にある場合も興奮状態にある場合と同様に、酸素化ヘモグロビン量などの脳血流量が基準時点における量よりも低下することがわかっている。さらに、人がリラックス状態にあるとき、興奮状態にあるときとは異なり、心拍数が基準時点よりも低下することがわかっている。これらの知見に基づき、上記の方法では、脳血流の変化量が第１閾値よりも低く、かつ心拍数の変化量が第２閾値よりも低い場合に、ユーザがリラックス状態にあると判定される。この方法によれば、従来よりも高い精度でユーザがリラックス状態にあると推定することができる。

　前述のように、前記脳血流の変化量は、前記ユーザの脳血液中の酸素化ヘモグロビンの変化量であり得る。酸素化ヘモグロビンの変化量に基づいて上記の方法を適用することにより、ユーザが興奮状態またはリラックス状態にあることをより高い精度で推定することができる。

　前記第１閾値は０よりも小さい値、すなわち負の値に設定され得る。第１閾値は、ユーザに応じて適切な値に設定され、０以上の値に設定されてもよい。基準時点でユーザがニュートラルな感情にない場合があるため、基準時点におけるユーザの感情状態に応じて第１閾値を柔軟に設定してもよい。

　前記脳血流の変化量は、例えば、前記ユーザを興奮状態またはリラックス状態に誘起する音声および／または映像を含むコンテンツを前記ユーザが視聴している状態で取得され得る。前記基準時点は、前記ユーザが前記コンテンツの視聴を開始する時点以前の時点であり得る。この構成は、ユーザを興奮状態またはリラックス状態に誘起するコンテンツをユーザに提供する装置において用いられ得る。この構成によれば、ユーザを興奮状態またはリラックス状態に誘起するコンテンツをユーザが視聴している状態で、ユーザがどの程度興奮状態またはリラックス状態にあるのかを判定することができる。このため、例えばユーザの興奮状態またはリラックス状態の程度に応じて、コンテンツの音量またはその内容を変化させるなどの制御が可能になる。そのような制御により、ユーザの興奮度を高めたり、興奮を鎮静化させたり、よりリラックスさせたりすることができる。

　前述のように、前記ユーザが前記興奮状態にあることを示す信号は、
　（ｉ）照明装置の出力を制御する信号、および
　（ｉｉ）音声出力装置の出力を制御する信号
の少なくとも一方を含み得る。

　上記の構成によれば、ユーザの興奮の程度に応じて、照明装置の照度を上げたり、逆に照度を下げたり、音声出力装置から出力される音声の音量を上げたり、逆に音量を下げたり、音声の内容を変化させたりすることができる。これにより、ユーザの興奮度をさらに高めたり、興奮を鎮静化したりすることができる。なお、ユーザが興奮状態にあることを示す信号は、照明装置および音声出力装置に限らず、ユーザに何らかの刺激を与える任意の装置を制御する信号を含んでいてもよい。ユーザに与えられる刺激は、視覚刺激または聴覚刺激に限らず、例えば触覚、嗅覚、または味覚などの他の種類の刺激であってもよい。

　前記方法は、前記脳血流の変化量が前記第１閾値よりも高いこと、および前記心拍数の変化量が前記第２閾値よりも低いことの少なくとも一方を満たす場合に、
　（ｉ）照明装置の照度を高くする制御信号、および
　（ｉｉ）音声出力装置に、前記ユーザを興奮状態に誘起させる音声を出力させる制御信号
の少なくとも一方を出力することをさらに含んでいてもよい。

　脳血流の変化量が第１閾値よりも高いこと、および心拍数の変化量が第２閾値よりも低いことの少なくとも一方を満たす場合、ユーザが興奮状態にないと推定される。そのような場合に、照明装置の照度を高くしたり、ユーザを興奮状態に誘起させる音声を出力したりすることにより、ユーザの興奮度を高めることができる。

　本開示の他の実施形態による方法は、コンピュータによって実行され、ユーザの基準時点からの脳血流の変化量を取得することと、前記脳血流の変化量が第１閾値よりも低い場合に、前記ユーザが興奮状態またはリラックス状態にあることを示す信号を出力することと、を含む。

　上記の方法によれば、ユーザが興奮状態またはリラックス状態にあることを従来よりも高い精度で推定することができる。前述の方法とは異なり、この方法では、心拍数の変化量を必ずしも取得する必要はない。心拍数の変化量を取得することなく、ユーザが興奮状態またはリラックス状態にあるのかを判別することができる。すなわち、ユーザがラッセルの円環モデルの右側の象限に対応する「快」状態にあるのかを判別できる。

　前記方法は、前記ユーザの基準時点からの心拍数の変化量を取得することをさらに含んでいてもよい。前記信号を出力することは、前記脳血流の変化量が前記第１閾値よりも低く、かつ前記心拍数の変化量が前記第２閾値よりも高い場合に、前記ユーザが前記興奮状態にあることを示す信号を出力し、前記脳血流の変化量が前記第１閾値よりも低く、かつ前記心拍数の変化量が前記第２閾値よりも低い場合に、前記ユーザが前記リラックス状態にあることを示す信号を出力することを含んでいてもよい。これにより、ユーザが興奮状態にあるのか、リラックス状態にあるのかを高い精度で判定することができる。

　前述の各方法は、計測装置における信号処理回路などのコンピュータによって実行され得る。また、前述の各方法は、計測装置に電気通信回線を介して通信可能に接続されたサーバなどのコンピュータによって実行されてもよい。

　本開示のさらに他の実施形態による計測装置は、ユーザの脳血流を計測する脳血流センサと、ユーザの心拍数を計測する心拍数センサと、信号処理回路と、を備える。前記信号処理回路は、ユーザの基準時点からの脳血流の変化量を取得し、前記ユーザの基準時点からの心拍数の変化量を取得し、前記脳血流の変化量が第１閾値よりも低く、かつ前記心拍数の変化量が第２閾値よりも高い場合に、前記ユーザが興奮状態にあることを示す信号を出力する。

　本開示のさらに他の実施形態による計測装置は、ユーザの脳血流を計測する脳血流センサと、信号処理回路とを備える。前記信号処理回路は、前記脳血流センサから出力される信号に基づいて、前記ユーザの基準時点からの前記脳血流の変化量を計算し、前記脳血流の変化量が第１閾値よりも低い場合に、前記ユーザが興奮状態またはリラックス状態にあることを示す信号を出力する。

　本開示は、前述の各方法をコンピュータに実行させるコンピュータプログラムも含む。ある実施形態におけるコンピュータプログラムは、コンピュータに、ユーザの基準時点からの脳血流の変化量を取得することと、前記ユーザの基準時点からの心拍数の変化量を取得することと、前記脳血流の変化量が第１閾値よりも低く、かつ前記心拍数の変化量が第２閾値よりも高い場合に、前記ユーザが興奮状態にあることを示す信号を出力することと、を実行させる。

　本開示の他の実施形態におけるコンピュータプログラムは、コンピュータに、ユーザの基準時点からの脳血流の変化量を取得することと、前記脳血流の変化量が第１閾値よりも低い場合に、前記ユーザが興奮状態またはリラックス状態にあることを示す信号を出力することと、を実行させる。

　コンピュータプログラムは、コンピュータによって読み取り可能な非一時的な記録媒体に格納されて提供され得る。あるいは、コンピュータプログラムは、インターネットなどの電気通信回線を介して提供され得る。

　本開示のシステムは、ユーザの頭部に近赤外光を出射する光源と、前記近赤外光に起因して生じた、前記ユーザからの反射光を検出する第１センサと、前記ユーザの心拍数を検出する第２センサと、前記ユーザの周辺環境を制御する環境制御装置と、回路と、を備え、前記回路は、前記第１センサによって検出された前記反射光に基づき、前記ユーザの脳血液中の酸素化ヘモグロビン濃度の基準時点からの変化量を示す第１情報を生成し、前記第２センサによって検出された前記心拍数に基づき、前記心拍数の基準時点からの変化量を示す第２情報を生成し、前記第１情報に基づいて、前記酸素化ヘモグロビンの変化量が第１閾値よりも低いと判定し、かつ前記第２情報に基づいて、前記心拍数の変化量が第２閾値よりも高いと判定と判定した場合に、前記環境制御装置に前記ユーザの周辺環境を変化させるための制御信号を出力する。

　本開示の他の実施形態におけるシステムは、前記環境制御装置は、前記ユーザを照明光で照らす照明装置であり、前記回路は、前記第１情報に基づいて、前記酸素化ヘモグロビンの変化量が第１閾値よりも低いと判定し、かつ前記第２情報に基づいて、前記心拍数の変化量が第２閾値よりも高いと判定と判定した場合に、前記照明装置に前記照明光の照度および色温度の少なくとも一方を下げる制御信号を出力する。

　本開示の他の実施形態におけるシステムは、前記環境制御装置は、香料を放出する香料放出装置であり、前記回路は、前記第１情報に基づいて、前記酸素化ヘモグロビンの変化量が第１閾値よりも低いと判定し、かつ前記第２情報に基づいて、前記心拍数の変化量が第２閾値よりも高いと判定と判定した場合に、ジャスミン、ベルガモット、ローズ、ラベンダー、カモミール、サイプレス、ネロリ、サンダルウッド、およびシダーウッドからなる群から選択される少なくとも１つの香料を前記香料放出装置から放出させる制御信号を出力する。

　本開示の他の実施形態におけるシステムは、前記環境制御装置は、前記ユーザの周辺の空調制御を行う空調装置であって、前記回路は、前記第１情報に基づいて、前記酸素化ヘモグロビンの変化量が第１閾値よりも低いと判定し、かつ前記第２情報に基づいて、前記心拍数の変化量が第２閾値よりも高いと判定と判定した場合に、前記空調装置から温風を供給させる制御信号を出力する。

　本開示の他の実施形態におけるシステムは、前記環境制御装置は、前記ユーザの周辺の空調制御を行う空調装置であって、前記回路は、前記第１情報に基づいて、前記酸素化ヘモグロビンの変化量が第１閾値よりも低いと判定し、かつ前記第２情報に基づいて、前記心拍数の変化量が第２閾値よりも高いと判定と判定した場合に、前記ユーザの周辺に１／ｆゆらぎの気流を発生させるための制御信号を前記空調装置に出力する。

　本開示の他の実施形態におけるシステムは、前記環境制御装置は、前記ユーザを照明光で照らす照明装置であり、前記回路は、前記第１情報に基づいて、前記酸素化ヘモグロビンの変化量が第１閾値よりも低いと判定し、かつ前記第２情報に基づいて、前記心拍数の変化量が第２閾値よりも低いと判定と判定した場合に、前記照明装置に前記照明光の照度および色温度の少なくとも一方を上げる制御信号を出力する。

　本開示の他の実施形態におけるシステムは、前記環境制御装置は、香料を放出する香料放出装置であり、前記回路は、前記第１情報に基づいて、前記酸素化ヘモグロビンの変化量が第１閾値よりも低いと判定し、かつ前記第２情報に基づいて、前記心拍数の変化量が第２閾値よりも低いと判定と判定した場合に、ペパーミント、レモン、ローズマリー、およびレモングラスからなる群から選択される少なくとも１つの香料を前記香料放出装置から放出させる制御信号を出力する。

　本開示の他の実施形態におけるシステムは、前記環境制御装置は、前記ユーザの周辺の空調制御を行う空調装置であって、前記回路は、前記第１情報に基づいて、前記酸素化ヘモグロビンの変化量が第１閾値よりも低いと判定し、かつ前記第２情報に基づいて、前記心拍数の変化量が第２閾値よりも低いと判定と判定した場合に、前記空調装置から冷風を供給させる制御信号を出力する。

　本開示の他の実施形態におけるシステムは、前記近赤外光および前記反射光はパルス光であり、前記回路は、前記第１センサに、前記反射光の強度が減少を開始してから減少を終了するまでの期間である立下り期間において、前記反射光の成分の検出を開始させる。

　以下、本開示のより具体的な実施形態を説明する。

　（実施形態）
　［１．感情状態を推定する方法］
　本開示の例示的な実施形態における感情状態を推定する方法を説明する。

　本実施形態では、ＮＩＲＳ装置などの脳血流センサによって取得されたユーザの前頭葉の脳血流データに基づき、脳血流の基準時点からの変化量の情報が取得される。本実施形態では、脳血流の変化量として、基準時点からの脳血液中の酸素化ヘモグロビンの変化量が取得される。さらに、心拍数センサによってユーザの心電または脈波が計測され、その計測値に基づいて基準時点からの平均心拍数の変化量が取得される。基準時点からの脳血流の変化量と平均心拍数の変化量とに基づき、ユーザの興奮状態またはリラックス状態が推定される。より具体的には、本実施形態における推定方法は、以下の（Ａ）から（Ｄ）のステップを含む。
（Ａ）ユーザの基準時点からの脳血流の変化量を取得する。
（Ｂ）ユーザの基準時点からの平均心拍数の変化量を取得する。
（Ｃ）脳血流の変化量と第１閾値とを比較する。
（Ｃ）平均心拍数の変化量と第２閾値とを比較する。
（Ｄ）脳血流の変化量が第１閾値よりも低く、かつ平均心拍数の変化量が第２閾値よりも高い場合に、ユーザが興奮状態にあると判定する。
（Ｅ）脳血流の変化量が第１閾値よりも低く、かつ平均心拍数の変化量が第２閾値よりも低い場合に、前記被験者がリラックス状態にあると判定する。
なお、ステップ（Ｄ）および（Ｅ）の一方のみを実行し、他方を実行しなくてもよい。

　本実施形態では、基準時点と計測時点の両方で、ユーザの脳の内部で散乱された散乱光がＮＩＲＳ装置などの脳血流センサで検出される。基準時点と計測時点の両方で検出された散乱光の強度の差または比に基づいて、脳血液中の酸素化ヘモグロビン（ＯｘｙＨｂ）の量または濃度の基準時点からの変化量が脳血流の変化量として取得される。平均心拍数の変化量は、心拍数センサの計測値から計算される。平均心拍数は、ある一定時間（例えば、数秒から数分程度）にわたって計測された心拍数の平均値である。以下の説明において、平均心拍数の変化量を単に「心拍数の変化量」と称する。脳血流センサと心拍数センサの両方の機能を備える１つの装置によって脳血流の変化量と心拍数の変化量を取得してもよい。

　図１は、ユーザが興奮状態またはリラックス状態にあると判定される条件を説明するための図である。図１に示すように、基準時点からの脳血流の変化量（この例ではＯｘｙＨｂの変化量）が第１閾値Ｔｈ１よりも低く、かつ心拍数の変化量が第２閾値Ｔｈ２よりも高い場合、ユーザが興奮状態にあると判定される。一方、基準時点からの脳血流の変化量が第１閾値Ｔｈ１よりも低く、かつ心拍数の変化量が第２閾値Ｔｈ２よりも低い場合、ユーザがリラックス状態にあると判定される。一方、脳血流の変化量が第１閾値Ｔｈ１よりも大きい場合は、ユーザが興奮状態にもリラックス状態にもないと判定される。

　このような方法により、脳血流の変化量（この例ではＯｘｙＨｂの変化量）と心拍数の変化量とに基づいて、ユーザが興奮状態またはリラックス状態にあることを高い精度で推定することができる。

　図１の例では、第１閾値Ｔｈ１は負の値であり、第２閾値Ｔｈ２は０に近い正の値である。これは、後述する実験の結果を反映している。しかし、これは一例にすぎない。第１閾値Ｔｈ１および第２閾値Ｔｈ２は、ユーザごとに適切な値に設定され得る。ユーザによっては第１閾値Ｔｈ１が０以上の値に設定されたり、第２閾値Ｔｈが０以下の値に設定されたりしてもよい。第１閾値Ｔｈ１および第２閾値Ｔｈ２は、例えばキャリブレーションによって計測前にユーザごとに最適な値に設定され得る。

　脳血流の変化量および心拍数の変化量の基準時点は、例えばユーザが興奮状態にもリラックス状態にもないニュートラルな状態、例えば安静状態にある時点であり得る。感情の推定は、ユーザを興奮状態またはリラックス状態に誘起させる映像および／または音声などのコンテンツをユーザが視聴しているときに行われ得る。その場合には、コンテンツの出力を開始した時点、またはその時点よりも前の時点を基準時点としてもよい。

　図１の例では、興奮状態およびリラックス状態の両方について、共通の第１閾値Ｔｈ１および第２閾値Ｔｈ２が用いられる。しかし、これらの閾値が、興奮状態とリラックス状態とで異なっていてもよい。例えば、図２に示すように、基準時点からの脳血流の変化量が第１閾値Ｔｈ１よりも低く、かつ心拍数の変化量が第２閾値Ｔｈ２よりも高い場合に、ユーザが興奮状態にあると判定され、基準時点からの脳血流の変化量が第１閾値Ｔｈ１とは異なる第３閾値Ｔｈ３よりも低く、かつ心拍数の変化量が第２閾値Ｔｈ２とは異なる第４閾値Ｔｈ４よりも低い場合に、ユーザがリラックス状態にあると判定されてもよい。その場合、第１閾値Ｔｈ１、第２閾値Ｔｈ２、第３閾値Ｔｈ３、および第４閾値Ｔｈ４は、ユーザごとに適切な値に設定され得る。

　［２．感情状態を推定するシステム］
　次に、本実施形態における感情状態を推定する方法を実行するシステムの例を説明する。

　［２－１．全体構成］
　図３は、ユーザの感情状態を推定するシステムの構成例を示す図である。図３に示すシステムは、計測装置１００と、刺激装置２００とを備える。計測装置１００は、脳血流センサ１１０と、心拍数センサ１２０と、処理装置１３０とを備える。脳血流センサ１１０は、発光装置１１２と、受光装置１１４とを備える。処理装置１３０は、制御回路１３２と、信号処理回路１３４と、メモリ１３６などの記憶媒体とを備える。刺激装置２００は、照明装置２１０と、音声出力装置２２０と、表示装置２３０とを備える。刺激装置２００は、ユーザ５０に特定の感情を誘起させる刺激を与える装置である。図３の例における刺激装置２００は、照明装置２１０および表示装置２３０によって視覚刺激をユーザに与え、音声出力装置２２０によって聴覚刺激をユーザ５０に与える。刺激装置２００は、照明装置２１０、音声出力装置２２０、および表示装置２３０のうちの任意の１つまたは２つのみを含んでいてもよい。刺激装置２００は、視覚および聴覚だけでなく、触覚または嗅覚などの他の種類の刺激を与える装置を含んでいてもよい。例えば、刺激装置２００は、マッサージチェア、振動発生装置、または匂い発生装置のような装置を含んでいてもよい。

　図３の例における脳血流センサ１１０は、非接触式のＮＩＲＳ装置である。発光装置１１２は、ユーザ５０の額に向けて光を出射するように配置される。発光装置１１２から出射されてユーザ５０の額に到達した光は、ユーザ５０の額の表面で反射される表面反射成分Ｉ１と、額の内部で散乱される内部散乱成分Ｉ２とに分かれる。内部散乱成分Ｉ２は、生体内部で１回反射もしくは散乱、または多重散乱される成分である。本実施形態のように人の額部に向けて光が出射される場合、内部散乱成分Ｉ２は、額部の表面から奥に８ｍｍから１６ｍｍほどの部位、例えば脳に到達し、再び計測装置１００に戻る。表面反射成分Ｉ１は、直接反射成分、拡散反射成分、および散乱反射成分の３つの成分を含む。直接反射成分は、入射角と反射角とが等しい反射成分である。拡散反射成分は、表面の凹凸形状によって拡散して反射する成分である。散乱反射成分は、表面近傍の内部組織によって散乱して反射する成分である。散乱反射成分は、表皮内部で散乱して反射する成分である。表面反射成分Ｉ１は、これらの３つの成分を含み得る。表面反射成分Ｉ１および内部散乱成分Ｉ２は、反射または散乱によって進行方向が変化し、その一部が受光装置１１４に到達する。表面反射成分Ｉ１は、被計測部の表面情報、例えば、顔および頭皮の血流情報を含む。内部散乱成分Ｉ２は、ユーザの内部情報、例えば、脳血流情報を含む。

　本実施形態では、ユーザ５０の頭部から戻って来る反射光のうち、内部散乱成分Ｉ２が検出される。内部散乱成分Ｉ２は、ユーザ５０の脳活動を反映してその強度が変動する。このため、内部散乱成分Ｉ２の経時変化を解析することによってユーザ５０の脳活動の状態を推定することができる。

　受光装置１１４は、例えばイメージセンサなどの、１つ以上の光検出器を備える装置である。受光装置１１４は、発光装置１１２から出射され、ユーザ５０の額から戻ってきた反射光パルスのうち、内部散乱成分Ｉ２を検出し、当該成分の強度に応じた電気信号を出力する。

　心拍数センサ１２０は、例えばユーザ５０の手首、足首、または胸部などの１以上の箇所に取り付けられる電極パッドを備え得る。心拍数センサ１２０は、心臓から発生する微弱な電気パルスを計測することによってユーザ５０の心拍数を計測する。なお、心拍数センサ１２０は、電極パッドを備えたものに限定されず、近赤外光を皮膚表面に当て、反射した光をフォトダイオードなどの光検出器で検出することにより、動脈血管内のヘモグロビンが近赤外光を吸収する特性を利用して脈波を計測する構成を備えていてもよい。その場合、脳血流センサ１１０と心拍数センサ１２０は、同一の装置によって実現されていてもよい。心拍数センサ１２０は、カメラと、カメラによって取得された映像を解析することによって心拍数を推定するプロセッサとを備えていてもよい。血液中のヘモグロビンが有する、例えば緑色光を吸収する性質を利用し、血管の収縮と拡張に伴う皮膚表面からの反射光の強度の変動を解析することにより、顔などの皮膚表面を撮影したカメラ映像から脈波信号を取り出すことができる。

　制御回路１３２は、発光装置１１２および受光装置１１４を制御する回路である。制御回路１３２は、受光装置１１４に、反射光パルスの後端成分の少なくとも一部が受光装置１１４に到達するタイミングで検出動作を実行させる。反射光パルスの後端成分は、受光装置１１４の受光面に到達した反射光パルスの強度が減少を開始してから減少を終了するまでの成分である。反射光パルスの後端成分の少なくとも一部を検出することにより、内部散乱成分Ｉ２を検出することができる。

　信号処理回路１３４は、脳血流センサ１１０の受光装置１１４から出力される電気信号に基づいて、ユーザ５０の脳血流の状態を示す脳血流信号を生成する。脳血流信号は、例えばユーザ５０の脳内の血液中の酸素化ヘモグロビン濃度の経時変化を示す信号であり得る。信号処理回路１３４は、脳血流信号および心拍数センサ１２０から出力された心拍数を示す信号に基づいて、ユーザ５０の脳活動の状態を示す脳活動データ、および／または刺激装置２００を制御するための制御信号を生成することができる。脳活動データは、脳血流信号に基づいて生成される、ユーザ５０の感情、例えば興奮状態またはリラックス状態を示すデータであり得る。

　照明装置２１０は、ユーザ５０の周囲に配置され、ユーザ５０を照明する機器である。照明装置２１０は、ユーザ５０を照射する光の輝度および／または波長を変化させることにより、ユーザ５０に与える視覚刺激を変化させることができる。照明装置２１０は、例えばユーザ５０を興奮状態に誘起する場合、明るい光または色温度の高い色の光でユーザ５０を照射してもよい。逆に、ユーザ５０をリラックス状態に誘起する場合、暗い光または色温度の低い色の光でユーザ５０を照射してもよい。

　音声出力装置２２０は、例えばスピーカおよび音声再生機などの機器を含む。音声出力装置２２０は、出力する音声の音量および／または音声の内容を変化させることにより、ユーザ５０に与える聴覚刺激を変化させることができる。音声出力装置２２０は、例えばユーザ５０を興奮状態に誘起する場合、出力する音量を増加させたり、速いテンポの音楽を再生したりしてもよい。逆に、ユーザ５０をリラックス状態に誘起する場合、出力する音量を下げたり、遅いテンポの音楽を再生したりしてもよい。

　表示装置２３０は、例えば液晶ディスプレイまたはＯＬＥＤディスプレイなどの、任意のディスプレイであり得る。表示装置２３０は、信号処理回路１３４によって生成された脳活動データに基づく画像を表示する。表示装置２３０は、例えば、ユーザ５０の興奮状態の程度またはリラックス状態の程度を示す画像を表示してもよい。表示装置２３０はまた、ユーザ５０に視覚刺激を与える映像コンテンツを表示してもよい。表示装置２３０は、表示するコンテンツの内容を変化させることにより、ユーザ５０に与える視覚刺激を変化させることができる。

　［２－２．脳血流センサ］
　次に、脳血流センサ１１０の構成および動作をより詳細に説明する。

　発光装置１１２は、制御回路１３２からの指示に従い、光パルスを所定の時間間隔または所定のタイミングで複数回繰り返し出射する。発光装置１１２から出射される光パルスは、例えば立ち下がり期間の長さがゼロに近い矩形波であり得る。本明細書において、「立ち下がり期間」は、光パルスの強度が減少を開始してから減少が終了するまでの期間を意味する。一般に、ユーザ５０の頭部に入射した光は、様々な経路で頭部内を伝搬し、時間差を伴ってその表面から出射する。このため、光パルスの内部散乱成分Ｉ２の後端は、広がりを有する。被計測部が額である場合、内部散乱成分Ｉ２の後端の広がりは、４ｎｓ程度である。このことを考慮すると、光パルスの立ち下がり期間の長さは、例えばその半分以下である２ｎｓ以下に設定され得る。立ち下がり期間は、さらにその半分の１ｎｓ以下であってもよい。発光装置１１２から出射される光パルスの立ち上がり期間の長さは任意である。本明細書において、「立ち上がり期間」は、光パルスの強度が増加を開始してから増加が終了するまでの期間を意味する。本実施形態における内部散乱成分Ｉ２の検出では、光パルスの立ち下がり部分が使用され、立ち上がり部分は使用されない。光パルスの立ち上がり部分は、表面反射成分Ｉ１の検出に用いられる。

　発光装置１１２は、１つ以上の光源を含む。光源は、例えば、レーザダイオード（ＬＤ）などのレーザ素子を含み得る。レーザ素子から出射される光は、光パルスの立ち下がり部分が時間軸に略直角である、急峻な時間応答特性を有するように調整され得る。発光装置１１２は、ＬＤの駆動電流を制御する駆動回路を含み得る。駆動回路は、例えば窒化ガリウム（ＧａＮ）半導体を含む電界効果トランジスタ（ＧａＮＦＥＴ）などのエンハンスメントモードパワートランジスタを含み得る。そのような駆動回路を用いることで、ＬＤから出力される光パルスの立ち下がりを急峻にすることができる。

　発光装置１１２から出射される光の波長は、例えば６５０ｎｍ以上９５０ｎｍ以下の波長範囲に含まれる任意の波長であり得る。この波長範囲は、赤色から近赤外線の波長範囲に含まれる。上記の波長範囲は、「生体の窓」と呼ばれており、光が生体内の水分および皮膚に比較的吸収されにくいという性質を有する。生体を検出対象にする場合、上記の波長範囲の光を使用することにより、検出感度を高くすることができる。なお、本明細書において、可視光だけでなく、赤外線についても「光」の用語を使用する。本実施形態のように、人の脳の血流変化を検出する場合、使用される光は、主に酸素化ヘモグロビンおよび脱酸素化ヘモグロビンに吸収されると考えられる。酸素化ヘモグロビンと脱酸素化ヘモグロビンとでは、光吸収の波長依存性が異なる。一般に、脳活動に伴って血流に変化が生じると、酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度が変化する。この変化に伴い、光の吸収度合いも変化する。したがって、血流が変化すると、検出される光量も時間的に変化する。その光量の変化を検出することにより、脳活動の状態を推定することができる。

　発光装置１１２は、上記の波長範囲に含まれる単一の波長の光を出射してもよいし、２つ以上の波長の光を出射してもよい。複数の波長の光は、複数の光源からそれぞれ出射されてもよい。

　一般に、生体組織は波長に応じて吸収特性および散乱特性が異なる。このため、内部散乱成分Ｉ２による光信号の波長依存性を検出することで測定対象のより詳細な成分分析が可能になる。例えば、生体組織においては、波長が６５０ｎｍ以上で且つ８０５ｎｍ未満の場合、脱酸素化ヘモグロビンによる光吸収係数が、酸素化ヘモグロビンによる光吸収係数を上回る。一方、波長が８０５ｎｍよりも長く且つ９５０ｎｍ以下であるとき、酸素化ヘモグロビンによる光吸収係数が、脱酸素化ヘモグロビンによる光吸収係数を上回る。

　したがって、発光装置１１２は、６５０ｎｍ以上８０５ｎｍ未満（例えば約７５０ｎｍ）の波長の光と、８０５ｎｍよりも長く９５０ｎｍ以下（例えば約８５０ｎｍ）の波長の光とを出射するように構成されていてもよい。この場合、例えば約７５０ｎｍの波長の光による内部散乱成分Ｉ２の光強度と、例えば約８５０ｎｍの波長の光による内部散乱成分Ｉ２の光強度とが計測され得る。発光装置１１２は、６５０ｎｍ以上８０５ｎｍ未満の波長の光を出射する光源と、８０５ｎｍ超９５０ｎｍ以下の波長の光を出射する光源とを含んでいてもよい。信号処理回路１３４は、画素ごとに入力された光強度の信号値に基づいて、予め定められた連立方程式を解くことにより、血液中の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの各濃度の、初期値からの変化量を求めることができる。

　本実施形態における計測装置１００は、非接触でユーザ５０の脳血流量を計測することができる。このため、網膜への影響を考慮して設計された発光装置１１２が用いられ得る。例えば、各国で策定されているレーザ安全基準のクラス１を満足する発光装置１１２が用いられ得る。クラス１が満足されている場合、被爆放出限界（ＡＥＬ）が１ｍＷを下回るほどの低照度の光が、ユーザ５０に照射される。なお、発光装置１１２自体はクラス１を満たしていなくてもよい。例えば、拡散板またはＮＤフィルタを発光装置１１２の前に配置して光を拡散または減衰させることにより、レーザ安全基準のクラス１が満たされていてもよい。

　図４Ａおよび図４Ｂは、発光パルスＩｅと、反射光パルスにおける表面反射成分Ｉ１および内部散乱成分Ｉ２の強度の時間変化の例を示す図である。図４Ａは、発光パルスＩｅがインパルス波形を有する場合における各波形の例を示している。図４Ｂは、発光パルスＩｅが矩形状の波形を有する場合における各波形の例を示している。内部散乱成分Ｉ２は、実際には微弱であるが、図４Ａおよび図４Ｂにおいては、内部散乱成分Ｉ２の強度が強調されて示されている。

　図４Ａに示すように、発光パルスＩｅがインパルス波形を有する場合、表面反射成分Ｉ１は、光パルスＩｅと同様のインパルス波形を有し、内部散乱成分Ｉ２は、表面反射成分Ｉ１よりも遅延するインパルス応答波形を有する。これは、内部散乱成分Ｉ２が皮膚内部の様々な経路を通過した光線の組み合わせに相当するからである。

　図４Ｂに示すように、光パルスＩｅが矩形形状の波形を有する場合、表面反射成分Ｉ１は、光パルスＩｅと同様の矩形状の波形を有し、内部散乱成分Ｉ２は、多数のインパルス応答波形が重畳された波形を有する。本発明者らは、多数のインパルス応答波形の重畳により、光パルスＩｅがインパルス波形を有する場合と比較して、受光装置１１４が検出する内部散乱成分Ｉ２の光量を増幅できることを確認した。反射光パルスの立ち下がりが開始するタイミング以降で電子シャッタの開放を開始することにより、内部散乱成分Ｉ２を効果的に検出することができる。図４Ｂの右側の図における破線枠は、受光装置１１４の電子シャッタが開放されるシャッタ開放期間の例を表す。このシャッタ開放期間を「露光期間」と称する。受光装置１１４に到達する表面反射成分Ｉ１の立ち下がりが開始するタイミング以降に露光を開始することにより、内部散乱成分Ｉ２を効果的に検出することができる。

　発光装置１１２は、例えば汎用の半導体レーザによる発光素子を含み得る。汎用的な半導体レーザを用いて安定した波形を得るために、例えばパルス幅が３ｎｓ以上の光パルスを発光するように発光装置１１２が制御され得る。あるいは、さらに安定させるために、発光装置１１２は、パルス幅５ｎｓ以上、さらには１０ｎｓ以上の光パルスを発光してもよい。一方、パルス幅が大きすぎると、シャッタオフ時の電荷蓄積部１２４への光流出、つまり、寄生光感度（Ｐａｒａｓｉｔｉｃ　Ｌｉｇｈｔ　Ｓｅｎｓｉｔｉｖｉｔｙ：ＰＬＳ）が大きくなり、計測誤差を引き起こす可能性がある。そこで、発光装置１１２は、例えば、パルス幅５０ｎｓ以下の光パルスを発生させるように制御され得る。あるいは、発光装置１１２は、パルス幅３０ｎｓ以下、さらには２０ｎｓ以下の光パルスを発光してもよい。

　次に、受光装置１１４の構成例をより詳細に説明する。

　受光装置１１４は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどの任意のイメージセンサであり得る。受光装置１１４は、受光面上に２次元的に配置された複数の光検出セルを備える。各光検出セルは、例えばフォトダイオードなどの光電変換素子と、１つまたは複数の電荷蓄積部とを含み得る。光電変換素子は、光電変換によって受光量に応じた信号電荷を発生させる。電荷蓄積部は、光電変換素子から生じた信号電荷を蓄積する。受光装置１１４は、ユーザの２次元的な情報を一度に取得することができる。本明細書において、光検出セルを「画素」と称することがある。

　本実施形態における受光装置１１４は、電子シャッタを備える。電子シャッタは、露光のタイミングを制御する回路である。電子シャッタは、受光した光を有効な電気信号に変換して蓄積する１回の信号蓄積の期間と、信号蓄積を停止する期間とを制御する。信号蓄積期間を、「露光期間」と称する。１回の露光期間が終了し次の露光期間が開始するまでの時間を、「非露光期間」と称する。以下、露光している状態を「ＯＰＥＮ」、露光を停止している状態を「ＣＬＯＳＥＤ」と表現することがある。

　受光装置１１４は、電子シャッタにより、露光期間および非露光期間を、サブナノ秒、例えば３０ｐｓから１ｎｓの範囲で調整することができる。露光期間および非露光期間は、例えば、１ｎｓ以上３０ｎｓ以下の値に設定されてもよい。

　人の額を光で照射して脳血流などの情報を検出する場合、生体内部での光の減衰率が非常に大きい。例えば、入射光に対して出射光が、１００万分の１程度にまで減衰し得る。このため、内部散乱成分を検出するには、１パルスの照射だけでは光量が不足する場合がある。レーザ安全性基準のクラス１での照射では、特に光量が微弱である。この場合、制御回路１３２は、発光装置１１２に光パルスを複数回出射させ、これに同期して受光装置１１４の各光検出セルに、複数回露光させる。これにより、信号を複数回にわたって積算し、感度を向上させることができる。

　以下、受光装置１１４の各画素が、フォトダイオードなどの光電変換素子と、複数の電荷蓄積部とを備える例を説明する。以下の例では、各画素における複数の電荷蓄積部は、光パルスの表面反射成分によって生じた信号電荷を蓄積する電荷蓄積部と、光パルスの内部散乱成分によって生じた信号電荷を蓄積する電荷蓄積部とを含む。制御回路１３２は、受光装置１１４に、ユーザの額部から戻ってきた反射光パルス中の立ち下がり開始前の成分を検出させることにより、表面反射成分を検出させる。制御回路１３２はまた、受光装置１１４に、ユーザの被計測部から戻ってきた光パルス中の立ち下がり開始後の成分を検出させることにより、内部散乱成分を検出させる。なお、表面反射成分の検出は必須ではなく、用途に応じて省略してもよい。

　図５は、受光装置１１４の１つの画素２０１の概略的な構成の例を示す図である。なお、図５は、１つの画素２０１の構成を模式的に示しており、実際の構造を必ずしも反映していない。この例における画素２０１は、光電変換を行うフォトダイオード２０３と、電荷蓄積部である第１浮遊拡散層（Ｆｌｏａｔｉｎｇ　Ｄｉｆｆｕｓｉｏｎ：ＦＤ）２０４、第２浮遊拡散層２０５、第３浮遊拡散層２０６、および第４浮遊拡散層２０７と、信号電荷を排出するドレイン２０２とを含む。図５に示す例では、発光装置１１２は２種類の波長の光パルスを出射する。

　１回の光パルスの出射に起因して各画素に入射したフォトンは、フォトダイオード２０３によって信号電荷である信号エレクトロンに変換される。変換された信号エレクトロンは、制御回路１３２から受光装置１１４に入力される制御信号に従って、ドレイン２０２に排出されるか、第１浮遊拡散層２０４から第４浮遊拡散層２０７のいずれかに振り分けられる。

　発光装置１１２からの光パルスの出射と、第１浮遊拡散層２０４、第２浮遊拡散層２０５、第３浮遊拡散層２０６、および第４浮遊拡散層２０７のいずれかへの信号電荷の蓄積と、ドレイン２０２への信号電荷の排出が、この順序で繰り返し行われる。この繰り返し動作は高速であり、例えば動画像の１フレームの時間内に数万回から数億回繰り返され得る。１フレームの時間は、例えば約１／３０秒であり得る。画素２０１は、最終的に、第１浮遊拡散層２０４から第４浮遊拡散層２０７に蓄積された信号電荷に基づく４つの画像信号をフレームごとに生成して出力する。

　本実施形態における制御回路１３２は、発光装置１１２に、第１波長λ１を有する第１光パルスと、第２波長λ２を有する第２光パルスとを出射させる。波長λ１およびλ２として、被計測部の内部組織での吸収率が異なる２波長を選択することにより、被計測部の内部の状態を分析することができる。例えば、波長λ１として６５０ｎｍ以上８０５ｎｍ未満の波長が選択され、波長λ２として８０５ｎｍ超９５０ｎｍ以下の波長が選択され得る。これにより、後述するように、ユーザ５０の血液中の酸素化ヘモグロビン濃度および脱酸素化ヘモグロビン濃度のそれぞれの変化を効率的に検出することができる。

　制御回路１３２は、例えば以下の動作を実行する。制御回路１３２は、発光装置１１２に波長λ１の光パルスを出射させ、その光パルスの内部散乱成分がフォトダイオード２０３に入射している期間に、第１浮遊拡散層２０４に信号電荷を蓄積させる。制御回路１３２はまた、発光装置１１２に波長λ１の光パルスを出射させ、その光パルスの表面反射成分がフォトダイオード２０３に入射している期間に、第２浮遊拡散層２０５に信号電荷を蓄積させる。制御回路１３２はさらに、発光装置１１２に波長λ２の光パルスを出射させ、その光パルスの内部散乱成分がフォトダイオード２０３に入射している期間に、第３浮遊拡散層２０６に信号電荷を蓄積させる。制御回路１３２はまた、発光装置１１２に波長λ２の光パルスを出射させ、その光パルスの表面反射成分がフォトダイオード２０３に入射している期間に、第４浮遊拡散層２０７に信号電荷を蓄積させる。以上の動作が複数回繰り返され得る。このような動作により、波長λ１および波長λ２のそれぞれについて、表面反射成分の二次元分布を示す画像と、内部散乱成分の二次元分布を示す画像とを取得することができる。

　外乱光および環境光の光量を推定するために、発光装置１１２を消灯した状態で、他の浮遊拡散層に信号電荷を蓄積する期間を設けてもよい。第１浮遊拡散層２０４から第４浮遊拡散層２０７の信号電荷量から、上記他の浮遊拡散層の信号電荷量を差し引くことにより、外乱光および環境光成分を除去した信号を得ることができる。

　なお、本実施形態では、各画素の電荷蓄積部の個数が４であるが、目的に応じて１以上の任意の数に設計してよい。例えば、１種類の波長のみを用いて、表面反射成分と内部散乱成分とを検出する場合には、電荷蓄積部の個数は２であってよい。また、使用する波長が１種類であり、表面反射成分が検出されない場合には、画素ごとの電荷蓄積部の個数は１であってもよい。２種類の波長を用いて、内部散乱成分のみを検出する場合には、画素ごとの電荷蓄積部の個数は２であってもよい。また、２種類以上の波長を用いる場合であっても、それぞれの波長を用いた撮像を別のフレームで行えば、電荷蓄積部の個数は１であってもよい。同様に、表面反射成分および内部散乱成分の両方の検出を行う場合であっても、両者をそれぞれ別のフレームで検出する構成では、電荷蓄積部の個数は１であってもよい。

　次に、図６を参照しながら、受光装置１１４の構成例をより詳細に説明する。

　図６は、受光装置１１４の構成の一例を示す図である。図６において、二点鎖線の枠によって囲まれた領域が１つの画素２０１に相当する。画素２０１には１つのフォトダイオードが含まれる。図４では２行２列に配列された４画素のみが示されているが、実際にはさらに多数の画素が配置され得る。画素２０１は、第１浮遊拡散層２０４から第４浮遊拡散層２０７を含む。第１浮遊拡散層２０４から第４浮遊拡散層２０７に蓄積される信号は、あたかも一般的なＣＭＯＳイメージセンサの４画素の信号のように取り扱われ、受光装置１１４から出力される。

　各画素２０１は、４つの信号検出回路を有する。各信号検出回路は、ソースフォロワトランジスタ３０９と、行選択トランジスタ３０８と、リセットトランジスタ３１０とを含む。この例では、リセットトランジスタ３１０が図５に示すドレイン２０２に対応し、リセットトランジスタ３１０のゲートに入力されるパルスが前述のドレイン排出パルスに対応する。各トランジスタは、例えば半導体基板に形成された電界効果トランジスタであるが、これに限定されない。図示されるように、ソースフォロワトランジスタ３０９の入力端子および出力端子の一方と、行選択トランジスタ３０８の入力端子および出力端子のうちの一方とが接続されている。ソースフォロワトランジスタ３０９の入力端子および出力端子の上記一方は、典型的にはソースである。行選択トランジスタ３０８の入力端子および出力端子の上記一方は、典型的にはドレインである。ソースフォロワトランジスタ３０９の制御端子であるゲートは、フォトダイオード２０３に接続されている。フォトダイオード２０３によって生成された正孔または電子の信号電荷は、フォトダイオード２０３とソースフォロワトランジスタ３０９との間の電荷蓄積部である浮遊拡散層に蓄積される。

　図６には示されていないが、第１浮遊拡散層２０４から第４浮遊拡散層２０７はフォトダイオード２０３に接続される。フォトダイオード２０３と、第１浮遊拡散層２０４から第４浮遊拡散層２０７の各々との間には、１つ以上のスイッチが設けられ得る。スイッチは、制御回路１３２からの信号蓄積パルスに応じて、フォトダイオード２０３と第１浮遊拡散層２０４から第４浮遊拡散層２０７の各々との間の導通状態を切り替える。これにより、第１浮遊拡散層２０４から第４浮遊拡散層２０７の各々への信号電荷の蓄積の開始と停止とが制御される。本実施形態における電子シャッタは、このような露光制御のための機構を有する。

　第１浮遊拡散層２０４から第４浮遊拡散層２０７に蓄積された信号電荷は、行選択回路３０２によって行選択トランジスタ３０８のゲートがＯＮにされることにより、読み出される。このとき、第１浮遊拡散層２０４から第４浮遊拡散層２０７の信号電位に応じて、ソースフォロワ電源３０５からソースフォロワトランジスタ３０９およびソースフォロワ負荷３０６へ流入する電流が増幅される。垂直信号線３０４から読み出されるこの電流によるアナログ信号は、列ごとに接続されたアナログ－デジタル（ＡＤ）変換回路３０７によってデジタル信号データに変換される。このデジタル信号データは、列選択回路３０３によって列ごとに読み出され、受光装置１１４から出力される。行選択回路３０２および列選択回路３０３は、１つの行の読出しを行った後、次の行の読み出しを行い、以下同様に、全ての行の浮遊拡散層の信号電荷の情報を読み出す。制御回路１３２は、全ての信号電荷を読み出した後、リセットトランジスタ３１０のゲートをオンにすることにより、全ての浮遊拡散層をリセットする。これにより、１つのフレームの撮像が完了する。以下同様に、フレームの高速撮像を繰り返すことにより、受光装置１１４による一連のフレームの撮像が完結する。

　本実施形態では、ＣＭＯＳ型の受光装置１１４の例を説明したが、受光装置１１４は他の種類の撮像素子であってもよい。受光装置１１４は、例えば、ＣＣＤ型であっても、単一光子計数型素子であっても、ＥＭＣＣＤまたはＩＣＣＤなどの増幅型イメージセンサであってもよい。また、複数の光検出セルが２次元的に配列された受光装置１１４の代わりに、各々が単数の光電変換素子を備える複数のセンサを用いてもよい。単画素のセンサを２次元的に配列した構成であっても、被計測部の２次元データを生成することができる。

　図７は、１フレーム内に行われる動作の一例を模式的に示す図である。図７に示す例では、１フレーム内で、波長λ１の第１光パルスが繰り返し出射される期間と、波長λ２の第２光パルスが繰り返し出射される期間とが、交互に繰り返される。第１光パルスが繰り返し出射される期間および第２光パルスが繰り返し出射される期間のそれぞれは、内部散乱成分の信号電荷が蓄積される期間と、表面反射成分の信号電荷が蓄積される期間とを含む。波長λ１の光パルスの内部散乱成分は、第１浮遊拡散層２０４（ＦＤ１）に蓄積される。波長λ１の光パルスの表面散乱成分は、第２浮遊拡散層２０５（ＦＤ２）に蓄積される。波長λ２の光パルスの内部散乱成分は、第３浮遊拡散層２０６（ＦＤ３）に蓄積される。波長λ２の光パルスの表面散乱成分は、第４浮遊拡散層２０７（ＦＤ４）に蓄積される。この例では、制御回路１３２は、以下の（i）～（iv）の動作を１フレーム期間内で複数回繰り返す。
（i）発光装置１１２に波長λ１の光パルスを出射させ、その内部散乱成分を各画素の第
１浮遊拡散層２０４に蓄積させる動作を所定回数繰り返す。
（ii）発光装置１１２に波長λ１の光パルスを出射させ、その表面反射成分を各画素の第２浮遊拡散層２０５に蓄積させる動作を複数回繰り返す。
（iii）発光装置１１２に波長λ２の光パルスを出射させ、その内部散乱成分を各画素の第３浮遊拡散層２０６に蓄積させる動作を所定回数繰り返す。
（iv）発光装置１１２に波長λ２の光パルスを出射させ、その表面反射成分を各画素の第４浮遊拡散層２０７に蓄積させる動作を複数回繰り返す。

　このような動作により、２種類の波長による検出信号の取得タイミングの時間差を低減でき、ほぼ同時に第１および第２光パルスでの撮像が可能である。

　本実施形態では、受光装置１１４が、第１光パルスおよび第２光パルスのそれぞれについて、表面反射成分および内部散乱成分を検出し、それぞれの成分の強度分布を示す画像信号を生成する。第１光パルスおよび第２光パルスのそれぞれの内部散乱成分の強度分布を示す画像信号に基づいて、画素ごとまたは画素群ごとにユーザ５０の脳血流信号を生成することができる。一方、第１光パルスおよび第２光パルスのそれぞれの表面反射成分の強度分布を示す画像信号は、ユーザ５０の顔画像を示す。この顔画像信号の経時変化に基づいて、信号処理回路１３４は、ユーザ５０の額部のどの領域の検出信号を用いて脳活動データを生成するかを決定することができる。

　なお、発光装置１１２が出射する光の波長は１種類であってもよい。その場合であっても、脳活動のおおよその状態を推定することができる。

　脳血流センサ１１０は、ユーザ５０の２次元像を受光装置１１４の受光面上に形成する結像光学系を備えてもよい。結像光学系の光軸は、受光装置１１４の受光面に略直交する。結像光学系は、ズームレンズを含んでいてもよい。ズームレンズの位置が変化するとユーザ５０の２次元像の拡大率が変化し、受光装置１１４上の２次元像の解像度が変化する。したがって、ユーザ５０までの距離が長くても、所望の計測領域を拡大して詳細に観察することが可能である。

　脳血流センサ１１０は、ユーザ５０と受光装置１１４との間に、発光装置１１２から出射される波長帯域の光、またはその近傍の光のみを通過させる帯域通過フィルタを備えていてもよい。これにより、環境光などの外乱成分の影響を低減することができる。帯域通過フィルタは、例えば多層膜フィルタまたは吸収フィルタによって構成され得る。発光装置１１２の温度変化およびフィルタへの斜入射に伴う帯域シフトを考慮して、帯域通過フィルタの帯域幅は、例えば２０ｎｍから１００ｎｍ程度の幅を持たせてもよい。

　脳血流センサ１１０は、発光装置１１２とユーザ５０との間、および受光装置１１４とユーザ５０との間のそれぞれに、偏光板を備えてもよい。この場合、発光装置１１２側に配置される偏光板と、受光装置１１４側に配置される偏光板との偏光方向は、直交ニコルの関係であり得る。これにより、ユーザ５０の表面反射成分のうち正反射成分、すなわち入射角と反射角が同じ成分が受光装置１１４に到達することを防ぐことができる。つまり、表面反射成分が受光装置１１４に到達する光量を低減させることができる。

　［２－３．処理装置］
　次に、処理装置１３０の構成および動作をより詳細に説明する。

　制御回路１３２は、発光装置１１２および受光装置１１４の上記の動作を制御する。具体的には、制御回路１３２は、発光装置１１２の光パルスの出射タイミングと、受光装置１１４のシャッタタイミングとの時間差を調整する。発光装置１１２の「出射タイミング」は、発光装置１１２から出射される光パルスが立ち上がりを開始するタイミングを指す。「シャッタタイミング」は、露光を開始するタイミングを指す。

　制御回路１３２は、例えば中央演算処理装置（ＣＰＵ）などのプロセッサ、またはプロセッサを内蔵するマイクロコントローラなどの集積回路であり得る。制御回路１３２は、例えばプロセッサがメモリ１３６に記録されたコンピュータプログラムを実行することにより、出射タイミングとシャッタタイミングとの調整を行う。

　信号処理回路１３４は、受光装置１１４から出力された信号を処理する回路である。信号処理回路１３４は、ユーザ５０の感情推定処理などの演算処理を行う。信号処理回路１３４は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）もしくは画像処理用演算プロセッサ（ＧＰＵ）によって実現され得る。信号処理回路１３４は、プロセッサがメモリ１３６に格納されたコンピュータプログラムを実行することにより、後述する処理を実行する。

　メモリ１３６は、制御回路１３２および信号処理回路１３４が実行するコンピュータプログラム、および制御回路１３２および信号処理回路１３４が生成した各種のデータを記録するＲＯＭまたはＲＡＭなどの記録媒体である。

　制御回路１３２および信号処理回路１３４は、統合された１つの回路であってもよいし、分離された個別の回路であってもよい。制御回路１３２および信号処理回路１３４の各々は、複数の回路から構成されていてもよい。また、信号処理回路１３４の少なくとも一部の機能が、発光装置１１２および受光装置１１４から離れた場所に設けられたサーバコンピュータなどの外部の装置の構成要素であってもよい。その場合、外部の装置は、無線通信または有線通信により、発光装置１１２、受光装置１１４、および制御回路１３２を備える計測装置と相互にデータの送受信を行う。

　信号処理回路１３４は、受光装置１１４から出力された信号に基づき、内部散乱成分Ｉ２を反映した脳血流信号を生成することができる。信号処理回路１３４は、受光装置１１４から出力される各画素の信号に基づき、ユーザ５０の額内部の血液中の酸素化ヘモグロビンの濃度の時間変化を示すデータを生成することができる。信号処理回路１３４は、当該データに基づいて、ユーザ５０の感情（例えば興奮状態またはリラックス状態）を示す脳活動データを生成することができる。

　信号処理回路１３４は、受光装置１１４から出力される信号に含まれる外乱光によるオフセット成分の見積り、およびオフセット成分の除去を行ってもよい。オフセット成分は、太陽光もしくは蛍光灯などの外乱光による信号成分である。発光装置１１２の駆動をオフにして光が出射されない状態で、受光装置１１４によって信号を検出することにより、環境光または外乱光によるオフセット成分が見積もられる。

　［２－４．脳血流センサの動作の例］
　次に、計測装置１００の動作を説明する。

　本実施形態における計測装置１００は、被計測部からの反射光パルスにおける表面反射成分Ｉ１と内部散乱成分Ｉ２とを区別して検出することができる。被計測部が額である場合、検出すべき内部散乱成分Ｉ２による信号強度は、非常に小さい。これは、前述のように、レーザの安全基準を満たす非常に小さい光量の光が照射されることに加えて、頭皮、脳髄液、頭蓋骨、灰白質、白質および血液による光の散乱および吸収が大きいからである。さらに、脳活動時の血流量または血流内成分の変化による信号強度の変化は、変化前の信号強度の数十分の１の大きさに相当し、非常に小さい。したがって、内部散乱成分Ｉ２を検出する場合、検出すべき内部散乱成分の数千倍から数万倍である表面反射成分Ｉ１は、可能な限り除去される。

　前述のように、発光装置１１２がユーザ５０を光パルスで照射すると、表面反射成分Ｉ１および内部散乱成分Ｉ２が発生する。表面反射成分Ｉ１および内部散乱成分Ｉ２のうちの一部が、受光装置１１４に到達する。内部散乱成分Ｉ２は、発光装置１１２から出射され受光装置１１４に到達するまでにユーザ５０の内部を通過する。このため、内部散乱成分Ｉ２の光路長は、表面反射成分Ｉ１の光路長に比べて長くなる。したがって、内部散乱成分Ｉ２が受光装置１１４に到達するタイミングは、表面反射成分Ｉ１が受光装置１１４に到達するタイミングよりも平均的に遅れる。

　図８は、発光装置１１２から矩形波の光パルスが出射された場合において、ユーザ５０の被計測部から戻ってきた反射光パルスの光強度の波形を模式的に示す図である。横軸は、いずれも時間（ｔ）を表す。縦軸は、図８の部分（ａ）から（ｃ）では強度を表し、部分（ｄ）では電子シャッタのＯＰＥＮまたはＣＬＯＳＥＤの状態を表す。図６の部分（ａ）は、表面反射成分Ｉ１を示す。図６の部分（ｂ）は、内部散乱成分Ｉ２を示す。図６の部分（ｃ）は、表面反射成分Ｉ１および内部散乱成分Ｉ２の合算成分を示す。図６の部分（ａ）に示すように、表面反射成分Ｉ１の波形は、ほぼ矩形を維持する。一方、内部散乱成分Ｉ２は、さまざまな光路長の光の合算である。このため、図６の部分（ｂ）に示すように、内部散乱成分Ｉ２は、光パルスの後端が尾を引いたような特性を示す。言い換えれば、内部散乱成分Ｉ２の立ち下がり期間は、表面反射成分Ｉ１の立ち下がり期間よりも長くなる。図６の部分（ｃ）に示す光信号から内部散乱成分Ｉ２の割合を高めて抽出するために、図６の部分（ｄ）に示す通り、表面反射成分Ｉ１の後端が到達する時点以降に、電子シャッタの露光が開始される。言い換えれば、表面反射成分Ｉ１の波形が立ち下がった時またはその後に露光が開始される。このシャッタタイミングは、制御回路１３２によって調整される。

　被計測部が平面的でない場合、受光装置１１４の画素によって光が到達するタイミングが異なる。この場合、画素ごとに図６の部分（ｄ）に示すシャッタタイミングを個別に決定してもよい。例えば、受光装置１１４の受光面に垂直な方向をｚ方向とする。制御回路１３２は、被計測部の表面におけるｚ座標の２次元分布を示すデータを取得し、このデータに基づいてシャッタタイミングを画素ごとに変化させてもよい。これにより、被計測部の表面が湾曲している場合でも、それぞれの位置で最適なシャッタタイミングを決定することができる。被計測部の表面におけるｚ座標の２次元分布を示すデータは、例えば、ＴＯＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）技術によって取得される。ＴＯＦ技術では、発光装置１１２による照射光が被計測部で反射され、当該反射光がそれぞれの画素に到達するまでに要する時間が計測される。各画素で検出される反射光の位相と、発光装置１１２における照射光の位相との差に基づいて、各画素と被計測部との間の距離を推定することができる。これにより、被計測部の表面におけるｚ座標の２次元分布を示すデータを取得することができる。当該２次元分布を示すデータは、計測を行う前に予め取得され得る。

　図８の部分（ａ）に示す例では、表面反射成分Ｉ１の後端が垂直に立ち下がっている。言い換えると、表面反射成分Ｉ１が立ち下がりを開始してから終了するまでの時間がゼロである。しかし、現実には、表面反射成分Ｉ１の後端が垂直に立ち下がらない場合がある。例えば、発光装置１１２から出射される光パルスの波形の立ち下りが完全に垂直でない場合、被計測部の表面に微細な凹凸がある場合、または表皮内で散乱が生じる場合には、表面反射成分Ｉ１の後端が垂直に立ち下がらない。また、ユーザ５０は不透明な物体であることから、表面反射成分Ｉ１の光量は、内部散乱成分Ｉ２の光量よりも非常に大きい。したがって、表面反射成分Ｉ１の後端が垂直な立ち下がりの時点からわずかにはみ出した場合であっても、内部散乱成分Ｉ２が埋もれてしまう可能性がある。さらに、電子シャッタの読み出し期間中に、電子の移動に伴う時間遅れが発生する場合もある。以上のことから、図８の部分（ｄ）に示すような理想的なバイナリの読み出しを実現できないことがある。その場合には、制御回路１３２は、電子シャッタのシャッタ開始のタイミングを表面反射成分Ｉ１の立ち下がり直後よりもやや遅らせてもよい。例えば、０．５ｎｓから５ｎｓ程度遅らせてもよい。制御回路１３２は、電子シャッタのシャッタタイミングを調整する代わりに、発光装置１１２の出射タイミングを調整してもよい。言い換えれば、制御回路１３２は、電子シャッタのシャッタタイミングと発光装置１１２の出射タイミングとの時間差を調整してもよい。非接触で被計測部内の血流量または血液内成分の変化を計測する場合、あまりにもシャッタタイミングを遅らせすぎると、もともと小さい内部散乱成分Ｉ２がさらに減少してしまう。このため、表面反射成分Ｉ１の後端近傍にシャッタタイミングを留めておいてもよい。前述のように、被計測部の内部の散乱による時間遅れは、４ｎｓ程度である。この場合、シャッタタイミングの最大の遅らせ量は、４ｎｓ程度であり得る。

　図７に示す例のように、発光装置１１２から出射された複数の光パルスの各々を、同じ時間差のシャッタタイミングで露光して信号を蓄積してもよい。これにより、内部散乱成分Ｉ２の検出光量が増幅される。

　ユーザと受光装置１１４との間に帯域通過フィルタを配置することに替えて、またはそれに加えて、発光装置１１２に光を出射させない状態で、同じ露光時間で撮影することによってオフセット成分を見積もってもよい。見積もったオフセット成分は、受光装置１１４の各画素によって検出された信号から差分によって除去される。これにより、受光装置１１４上で発生する暗電流成分を除去することができる。

　内部散乱成分Ｉ２には、ユーザ５０の内部情報、例えば、脳血流情報が含まれる。ユーザ５０の脳血流量の時間的な変動に応じて、血液に吸収される光の量が変化する。その結果、受光装置１１４による検出光量も、相応に増減する。したがって、内部散乱成分Ｉ２をモニタリングすることにより、ユーザ５０の脳血流量の変化から脳活動状態を推定することが可能になる。

　図９Ａは、内部散乱成分Ｉ２を検出する動作の例を示すタイミングチャートである。この例では、１フレームの期間において、発光装置１１２は光パルスを繰り返し出射する。受光装置１１４は、各反射光パルスの後端部分が受光装置１１４に到達する期間に電子シャッタをＯＰＥＮにする。この動作により、受光装置１１４は、内部散乱成分Ｉ２の信号を蓄積する。所定回数の信号蓄積が終了すると、受光装置１１４は、画素ごとに蓄積された信号を検出信号として出力する。出力された検出信号は、信号処理回路１３４によって処理される。

　このように、制御回路１３２は、発光装置１１２に光パルスを出射させ、受光装置１１４に、反射光パルスのうちの立ち下がり開始後の成分の少なくとも一部を検出させて内部散乱成分の強度の空間分布を示す検出信号を出力させる検出動作を繰り返す。このような動作により、信号処理回路１３４は、繰り返し出力された検出信号に基づいて、被計測部における脳血流量の空間分布を示す分布データを生成して出力することができる。

　図７の例のように、計測装置１００は、表面反射成分Ｉ１をさらに検出してもよい。表面反射成分Ｉ１には、ユーザ５０の表面情報が含まれる。表面情報は、例えば、顔および頭皮の血流情報である。

　図９Ｂは、表面反射成分Ｉ１を検出する動作の例を示すタイミングチャートである。表面反射成分Ｉ１を検出する場合、受光装置１１４は、各反射光パルスが受光装置１１４に到達する前にシャッタをＯＰＥＮにし、反射光パルスの後端が到達するよりも前にシャッタをＣＬＯＳＥＤにする。このようにシャッタを制御することにより、内部散乱成分Ｉ２の混入を抑制し、表面反射成分Ｉ１の割合を大きくすることができる。シャッタＣＬＯＳＥＤのタイミングを、受光装置１１４への光の到達直後にしてもよい。これにより、光路長が比較的短い表面反射成分Ｉ１の割合を高めた信号検出が可能になる。表面反射成分Ｉ１の信号を取得することにより、ユーザ５０の顔画像を取得することに加え、脈拍、または表皮血流の酸素化度を推定することもできる。表面反射成分Ｉ１の信号から脈拍すなわち心拍数を推定する場合、脳血流センサ１１０が心拍数センサ１２０の機能を兼ねることになる。

　内部散乱成分Ｉ２を示す信号を、２つの波長の光を用いて取得してもよい。例えば、７５０ｎｍおよび８５０ｎｍの２波長の光パルスを利用してもよい。これにより、それぞれの波長での検出光量の変化から、酸素化ヘモグロビンの濃度変化および脱酸素化ヘモグロビンの濃度変化を算出することができる。表面反射成分Ｉ１および内部散乱成分Ｉ２を、それぞれ２波長で取得する場合、例えば図５から図７を参照して説明したように、４種類の電荷蓄積を１フレーム内で高速に切り替える方法が利用され得る。そのような方法により、検出信号の時間的なずれを低減することができる。

　図１０は、制御回路１３２による発光装置１１２および受光装置１１４を制御する動作の概略を示すフローチャートである。なお、ここでは、１つの波長の光を用いて内部散乱成分Ｉ２のみを検出する場合の動作の例を説明する。表面反射成分Ｉ１を検出する動作は、発光タイミングに対する露光の開始と停止のタイミングが早くなる点を除き、図１０に示す動作と同様である。また、複数の波長の光を用いる場合、波長ごとに、図１０に示す動作が繰り返される。

　ステップＳ１０１において、制御回路１３２は、発光装置１１２に、所定時間だけ光パルスを出射させる。このとき、受光装置１１４の電子シャッタは、露光を停止した状態にある。制御回路１３２は、光パルスの一部がユーザ５０の額の表面で反射されて受光装置１１４に到達する期間が完了するまで、電子シャッタに露光を停止させる。次のステップＳ１０２において、制御回路１３２は、当該光パルスの一部がユーザ５０の額の内部で散乱されて受光装置１１４に到達するタイミングで、電子シャッタに露光を開始させる。所定時間経過後、ステップＳ１０３において、制御回路１３２は、電子シャッタに露光を停止させる。続くステップＳ１０４において、制御回路１３２は、上記の信号蓄積を実行した回数が所定の回数に達したか否かを判定する。この判定がＮｏの場合、Ｙｅｓと判定するまで、ステップＳ１０１からＳ１０３が繰り返される。ステップＳ１０４においてＹｅｓと判定すると、ステップＳ１０５に進み、制御回路１３２は、各浮遊拡散層に蓄積された信号電荷に基づく画像を示す信号を、受光装置１１４に生成させて出力させる。

　以上の動作により、計測対象の内部で散乱された光の成分を、高い感度で検出することができる。なお、複数回の出射および露光は、必須ではなく、必要に応じて行われる。

　［２－５．信号処理の例］
　次に、信号処理回路１３４による信号処理の例を説明する。

　信号処理回路１３４は、受光装置１１４から出力された各画素の検出信号に基づいて、ユーザ５０の脳血流信号を生成する。脳血流信号は、例えば、脳血液中の酸素化ヘモグロビン濃度の情報を含む。脳血流信号は、さらに、脱酸素化ヘモグロビン濃度、または酸素化ヘモグロビン濃度と脱酸素化ヘモグロビン濃度との合計である総ヘモグロビン濃度の情報を含んでいてもよい。信号処理回路１３４は、画素ごとに計測された内部散乱成分Ｉ２の信号値に基づいて、予め定められた連立方程式を解くことにより、血液中の酸素化ヘモグロビン（ＨｂＯ_２）および脱酸素化ヘモグロビン（Ｈｂ）の各濃度の、初期値からの変化量を求めることができる。連立方程式は、例えば以下の式（１）および（２）によって表される。

　ΔＨｂＯ_２およびΔＨｂは、それぞれ、血液中のＨｂＯ_２およびＨｂの濃度の初期値からの変化量を表す。ε^７５０ _ＯＸＹおよびε^７５０ _{ｄｅＯＸＹ}は、それぞれ、波長７５０ｎｍでのＨｂＯ_２およびＨｂのモル吸光係数を表す。ε^８５０ _ＯＸＹおよびε^８５０ _{ｄｅＯＸＹ}は、それぞれ、波長８５０ｎｍでのＨｂＯ_２およびＨｂのモル吸光係数を表す。Ｉ^７５０ _ｉｎｉおよびＩ^７５０ _ｎｏｗは、それぞれ、波長７５０ｎｍについての初期時点および計測時点での検出強度を表す。Ｉ^８５０ _ｉｎｉおよびＩ^８５０ _ｎｏｗは、それぞれ、波長８５０ｎｍについての初期時点および計測時点での検出強度を表す。信号処理回路１３４は、例えば上記の式（１）および（２）に基づいて、血液中のＨｂＯ_２およびＨｂの各濃度の、初期値からの変化量ΔＨｂＯ_２およびΔＨｂを、各画素について計算することができる。これにより、被計測部における血液中のＨｂＯ_２およびＨｂの各濃度の変化量の２次元分布のデータを生成することができる。

　信号処理回路１３４は、さらに、ヘモグロビンの酸素飽和度を求めることもできる。酸素飽和度とは、血液中のヘモグロビンのうち、どれだけの割合が酸素と結びついているかを示す値である。酸素飽和度は、脱酸素化ヘモグロビンの濃度をＣ（Ｈｂ）、酸素化ヘモグロビンの濃度をＣ（ＨｂＯ_２）として、以下の式で定義される。
　酸素飽和度＝Ｃ（ＨｂＯ_２）／［Ｃ（ＨｂＯ_２）＋Ｃ（Ｈｂ）］×１００（％）

　生体内には、血液以外にも赤色光および近赤外光を吸収する成分が含まれている。しかし、光の吸収率が時間的に変動するのは、主に動脈血中のヘモグロビンに起因する。よって、吸収率の変動に基づいて、高い精度で血中酸素飽和度を計測することができる。

　なお、信号処理回路１３４は、酸素化ヘモグロビンの濃度の初期値からの変化量ΔＨｂＯ_２のみを計算してもよい。後述するように、ユーザ５０の興奮状態またはリラックス状態を判定する処理において、主に使用されるのはΔＨｂＯ_２であるからである。

　脳まで到達した光は、頭皮および顔表面も通過する。このため、頭皮および顔の血流の変動も重畳されて検出される。その影響を除去または低減するために、信号処理回路１３４は、受光装置１１４によって検出された内部散乱成分Ｉ２から表面反射成分Ｉ１を減算する処理を行ってもよい。これにより、頭皮および顔の血流情報を除いた純粋な脳血流情報を取得することができる。減算方法には、例えば、内部散乱成分Ｉ２の信号から、光路長差を考慮して決定されたある係数を表面反射成分Ｉ１の信号に掛けた値を減算する方法が用いられ得る。この係数は、例えば、一般的な人の頭部の光学定数の平均値に基づいて、シミュレーションまたは実験によって算出され得る。このような減算処理は、同一の計測装置により、同一の波長の光を用いて計測する場合に容易に行うことができる。時間的および空間的なずれを低減しやすく、内部散乱成分Ｉ２に含まれる頭皮血流成分の特性と、表面反射成分Ｉ１の特性とを一致させやすいからである。

　脳と頭皮との間には頭蓋骨が存在する。このため、脳血流の２次元分布と、頭皮および顔の血流の２次元分布とは独立である。したがって、受光装置１１４によって検出される信号に基づいて、内部散乱成分Ｉ２の２次元分布と表面反射成分Ｉ１の２次元分布とを、独立成分分析または主成分分析などの統計手法を用いて分離してもよい。

　脳血流量またはヘモグロビンなどの血液内成分の変化と、人間の神経活動との間には密接な関係があることが知られている。例えば、人間の感情の変化に応じて神経細胞の活動が変化することにより、脳血流量または血液内の成分が変化する。したがって、脳血流量または血液内成分の変化などの生体情報を計測できれば、ユーザの心理状態または身体状態を推定することができる。ユーザの心理状態は、例えば、気分、感情、健康状態、または温度感覚といった状態を含み得る。気分は、例えば、快、または不快といった気分を含み得る。感情は、例えば、安心、不安、悲しみ、または憤りといった感情を含み得る。健康状態は、例えば、元気または倦怠といった状態を含み得る。温度感覚は、例えば、暑い、寒い、または蒸し暑いといった感覚を含み得る。これらに派生して、脳活動の程度を表す指標、例えば興味度、熟練度、習熟度、および集中度も、心理状態に含まれ得る。さらに、疲労度、眠気、または飲酒による酔いの程度などの身体状態も、推定の対象に含まれ得る。本明細書では、このような脳血流と関連のあるデータを「脳活動データ」と総称する。

　［２－６．脳血流センサの他の例］
　本実施形態では、脳血流センサ１１０は、非接触型のＮＩＲＳ装置であるが、接触型のＮＩＲＳ装置を代わりに用いてもよい。図１１は、脳血流センサ１１０が接触型のＮＩＲＳ装置である例を示す図である。この脳血流センサ１１０は、バンド状の構造を有し、ユーザ５０の頭の周りに巻かれた状態で使用される。脳血流センサ１１０は、処理装置１３０に接続されている。

　図１２は、脳血流センサ１１０の裏側すなわち額に近接する側の構成例を模式的に示す図である。脳血流センサ１１０は、複数の発光装置１１２と、複数の受光装置１１４とを備える。図１２に示す例では、複数の発光装置１１２と複数の受光装置１１４とが行列状に配列されている。この例では、４個の発光装置１１２と４個の受光装置１１４が設けられているが、発光装置１１２および受光装置１１４のそれぞれの個数は任意である。

　図１２に示す例において、縦方向および横方向のそれぞれについて、各発光装置１１２の位置から３ｃｍ離れた位置に受光装置１１４が配置されている。縦方向および横方法のそれぞれにおいて隣り合う発光装置１１２と受光装置１１４とのペアを、「チャネル（Ｃｈ）」と称する。図１２には、複数のチャネル（Ｃｈ１、Ｃｈ２、・・・、ＣｎＮ）が例示されている。各チャネルにおける発光装置１１２と受光装置１１４との中心間距離は、図示される例では３ｃｍであるが、これに限定されない。この例のように複数のチャネルを設けることにより、複数の位置の脳血流信号を取得することができる。各チャネルの発光装置１１２および受光装置１１４は、制御回路１３２によって制御される。制御回路１３２は、すべてのチャネルを使用して複数個所の脳血流量を計測してもよいし、一部のチャネルのみを使用して脳血流量を計測してもよい。各受光装置１１４から出力された信号は、信号処理回路１３４によって処理され、脳血流信号および脳活動データが生成される。

　［２－６．感情推定処理の具体例］
　次に、信号処理回路１３４による感情推定処理の具体例を説明する。

　図１３は、信号処理回路１３４による感情推定処理の一例を示すフローチャートである。信号処理回路１３４は、図１および図２を参照して説明した感情推定方法を実行する。図１３の例において、信号処理回路は、図１３に示すステップＳ１０１からＳ１０７の動作を実行する。

　信号処理回路１３４は、まず、ステップＳ１０１において、脳血流の変化量および心拍数の変化量を算出する。脳血流の変化量は、例えば、脳血流センサ１１０によって基準時点と計測時点のそれぞれで計測されたユーザ５０の脳血流量の増加量であり得る。本実施形態では、前述の式（１）および（２）に基づいて計算された、酸素化ヘモグロビンの基準時点からの増加量が脳血流量の変化量として用いられる。心拍数の変化量は、例えば、心拍数センサ１２０によって基準時点と計測時点のそれぞれで計測されたユーザ５０の平均心拍数の増加率であり得る。

　次に、信号処理回路１３４は、ステップＳ１０２において、脳血流の変化量が第１閾値よりも小さいか否かを判定する。脳血流の変化量が第１閾値よりも小さい場合、ステップＳ１０３に進む。脳血流の変化量が第１閾値以上である場合、ステップＳ１０６に進む。

　ステップＳ１０３において、信号処理回路１３４は、心拍数の変化量が第２閾値よりも大きいか否かを判定する。心拍数の変化量が第２閾値よりも大きい場合、ステップＳ１０４に進む。心拍数の変化量が第２閾値以下である場合、ステップＳ１０５に進む。

　ステップＳ１０４において、信号処理回路１３４は、ユーザ５０が興奮状態にあると判定し、そのことを示す信号を生成する。

　ステップＳ１０５において、信号処理回路１３４は、ユーザ５０がリラックス状態にあると判定し、そのことを示す信号を生成する。

　ステップＳ１０６において、信号処理回路１３４は、ユーザ５０が興奮状態でもリラックス状態でもないと判定し、そのことを示す信号を生成する。

　ステップＳ１０７において、信号処理回路１３４は、ステップＳ１０４、Ｓ１０５、またはＳ１０６において行ったユーザの感情の判定結果を示す信号を出力する。当該信号は、例えば表示装置２３０に送られる。表示装置２３０は、当該信号に基づき、ユーザがどのような感情状態にあるかを示す画像を表示する。

　以上のように、図１３の例では、信号処理回路１３４は、ユーザ５０の脳血流量の変化量と心拍数の変化量とに基づいて、ユーザ５０が興奮状態にあるのか、リラックス状態にあるのかを判定し、判定結果を示す信号を出力する。このような動作により、基準時点と比較して、ユーザ５０が興奮状態にあるのかリラックス状態にあるのかを把握することができる。これにより、例えばユーザ５０の感情の状態に応じて刺激装置２００を制御して、ユーザ５０に所望の感情に誘導するなどの応用が可能になる。

　図１３の例では、ステップＳ１０２において、信号処理回路１３４が脳血流の変化量が第１閾値よりも小さいか否かを判定し、ステップＳ１０３において、信号処理回路１３４が、心拍数の変化量が第２閾値よりも大きいか否かを判定する動作を行うが、これは一例に過ぎない。ステップＳ１０２およびＳ１０３の動作を行う順序は逆であってもよい。すなわち、信号処理回路１３４は、心拍数の変化量が第２閾値よりも大きいか否かを判定した後に、脳血流の変化量が第１閾値よりも小さいか否かを判定してもよい。あるいは、ステップＳ１０２およびＳ１０３の判定動作が同時に行われてもよい。

　図１４は、信号処理回路１３４による感情推定処理の他の例を示すフローチャートである。この例では、信号処理回路１３４は、ユーザ５０が興奮状態にあると推定される場合に、照明装置２１０から出力される光の照度および色温度の少なくとも一方を下げる制御信号を生成する。これにより、ユーザの興奮状態を鎮静化させることができる。

　まず、ステップＳ１１１において、信号処理回路１３４は、先の例と同様に、脳血流の変化量および心拍数の変化量を算出する。

　次に、ステップＳ１１２において、信号処理回路１３４は、脳血流の変化量が第１閾値よりも小さいか否かを判定する。脳血流の変化量が第１閾値未満である場合には、ステップＳ１１３に進む。脳血流の変化量が第１閾値以上である場合には、ユーザ５０が興奮状態にはないと推定され、動作を終了する。

　ステップＳ１１３において、信号処理回路１３４は、心拍数の変化量が第２閾値よりも大きいか否かを判定する。心拍数の変化量が第２閾値よりも大きい場合には、ユーザ５０が興奮状態にあると推定され、ステップＳ１１４に進む。心拍数の変化量が第２閾値以下である場合には、ユーザ５０が興奮状態にはないと推定され、動作を終了する。

　ステップＳ１１４において、信号処理回路１３４は、照明装置２１０から出力される光の照度および色温度の少なくとも一方を下げる制御信号を生成して出力する。当該信号は、照明装置２１０に送られる。照明装置２１０は、当該信号を受け、出力する光の照度および色温度の少なくとも一方を低下させる。これにより、ユーザ５０の興奮状態を鎮静化させることができる。

　信号処理回路１３４は、ステップＳ１１４において、照明装置２１０から出力される光の照度および色温度の少なくとも一方を下げる代わりに、逆に光の照度および色温度の少なくとも一方を上げる制御信号を出力してもよい。そのような動作により、ユーザ５０の興奮状態を持続させることができる。

　図１５は、信号処理回路１３４による感情推定処理のさらに他の例を示すフローチャートである。この例では、信号処理回路１３４は、ユーザ５０が興奮状態にあると推定される場合に、音声出力装置２２０から出力される音声の音量を下げる制御信号を生成する。これにより、ユーザの興奮状態を鎮静化させることができる。

　まず、ステップＳ１２１において、信号処理回路１３４は、先の例と同様に、脳血流の変化量および心拍数の変化量を算出する。

　次に、ステップＳ１２２において、信号処理回路１３４は、脳血流の変化量が第１閾値よりも小さいか否かを判定する。脳血流の変化量が第１閾値よりも小さい場合には、ステップＳ１２３に進む。脳血流の変化量が第１閾値以上である場合には、ユーザ５０が興奮状態にはないと推定され、動作を終了する。

　ステップＳ１２３において、信号処理回路１３４は、心拍数の変化量が第２閾値よりも大きいか否かを判定する。心拍数の変化量が第２閾値よりも大きい場合には、ユーザ５０が興奮状態にあると推定され、ステップＳ１２４に進む。心拍数の変化量が第２閾値以下である場合には、ユーザ５０が興奮状態にはないと推定され、動作を終了する。

　ステップＳ１２４において、信号処理回路１３４は、音声出力装置２２０から出力される音声の音量を下げる制御信号を生成して出力する。当該信号は、音声出力装置２２０は、当該信号を受け、出力する音声の音量を低下させる。これにより、ユーザ５０の興奮状態を鎮静化させることができる。

　なお、音声の音量を下げる代わりに、音声の内容を変更することによってユーザの興奮状態を鎮静化させてもよい。例えば、アップテンポの音楽からスローテンポの音楽に変更するなどの制御により、興奮状態を鎮静化させてもよい。

　信号処理回路１３４は、ステップＳ１２４において、音声出力装置２２０から出力される音声の音量を下げる代わりに、逆に音量を上げる制御信号を出力してもよい。そのような動作により、ユーザ５０の興奮状態を持続させることができる。

　図１６は、信号処理回路１３４による感情推定処理のさらに他の例を示すフローチャートである。この例では、信号処理回路１３４は、ユーザ５０がリラックス状態にあると推定される場合に、照明装置２１０から出力される光の照度および色温度の少なくとも一方を上げる制御信号を生成する。これにより、ユーザを興奮状態に誘導することができる。

　まず、ステップＳ１３１において、信号処理回路１３４は、先の例と同様に、脳血流の変化量および心拍数の変化量を算出する。

　次に、ステップＳ１３２において、信号処理回路１３４は、脳血流の変化量が第１閾値よりも小さいか否かを判定する。脳血流の変化量が第１閾値よりも小さい場合には、ステップＳ１３３に進む。脳血流の変化量が第１閾値以上である場合には、ユーザ５０がリラックス状態にはないと推定され、動作を終了する。

　ステップＳ１３３において、信号処理回路１３４は、心拍数の変化量が第２閾値よりも大きいか否かを判定する。なお、この第２閾値は、図１４および図１５の例における第２閾値とは異なる値であってもよい。心拍数の変化量が第２閾値よりも大きい場合には、ユーザ５０がリラックス状態にないと推定され、動作を終了する。心拍数の変化量が第２閾値以下である場合には、ユーザ５０がリラックス状態にあると推定され、ステップＳ１３４に進む。

　ステップＳ１３４において、信号処理回路１３４は、照明装置２１０から出力される光の照度および色温度の少なくとも一方を上げる制御信号を生成して出力する。照明装置２１０は、当該信号を受け、出力する光の照度および色温度の少なくとも一方を増加させる。これにより、ユーザ５０を興奮状態に誘導することができる。

　信号処理回路１３４は、ステップＳ１２４において、照明装置２１０から出力される光の照度および色温度の少なくとも一方を上げる代わりに、逆に光の照度および色温度の少なくとも一方を下げる制御信号を出力してもよい。そのような動作により、ユーザ５０のリラックス状態を持続させることができる。

　図１７は、信号処理回路１３４による感情推定処理のさらに他の例を示すフローチャートである。この例では、信号処理回路１３４は、ユーザ５０がリラックス状態にあると推定される場合に、音声出力装置２２０から出力される音声の音量を上げる制御信号を生成する。これにより、ユーザを興奮状態に誘導することができる。

　まず、ステップＳ１４１において、信号処理回路１３４は、先の例と同様に、脳血流の変化量および心拍数の変化量を算出する。

　次に、ステップＳ１４２において、信号処理回路１３４は、脳血流の変化量が第１閾値よりも小さいか否かを判定する。脳血流の変化量が第１閾値よりも小さい場合には、ステップＳ１４３に進む。脳血流の変化量が第１閾値以上である場合には、ユーザ５０がリラックス状態にはないと推定され、動作を終了する。

　ステップＳ１４３において、信号処理回路１３４は、心拍数の変化量が第２閾値よりも大きいか否かを判定する。なお、この第２閾値は、図１４および図１５の例における第２閾値とは異なる値であってもよい。心拍数の変化量が第２閾値よりも大きい場合には、ユーザ５０がリラックス状態にないと推定され、動作を終了する。心拍数の変化量が第２閾値以下である場合には、ユーザ５０がリラックス状態にあると推定され、ステップＳ１４４に進む。

　ステップＳ１４４において、信号処理回路１３４は、音声出力装置２２０から出力される音声の音量を上げる制御信号を生成して出力する。音声出力装置２２０は、当該信号を受け、出力する音声の音量を増加させる。これにより、ユーザ５０を興奮状態に誘導することができる。

　なお、音声の音量を上げる代わりに、音声の内容を変更することによってユーザを興奮状態に誘導してもよい。例えば、スローテンポの音楽からアップテンポの音楽に変更するなどの制御により、興奮状態に誘導してもよい。

　信号処理回路１３４は、ステップＳ１４４において、音声出力装置２２０から出力される音声の音量を上げる代わりに、逆に音量を下げる制御信号を出力してもよい。そのような動作により、ユーザ５０のリラックス状態を持続させることができる。

　上記の例では、信号処理回路１３４は、ユーザ５０の感情状態に応じて照明装置２１０または音声出力装置２２０を制御する制御信号を生成する。このような例に限らず、信号処理回路１３４は、例えば表示装置２３０から出力される映像の内容をユーザ５０の感情状態に応じて変更する制御信号を生成してもよい。映像の内容を変更することにより、ユーザ５０の興奮状態をさらに高めたり、興奮状態を鎮静化させたり、リラックス状態に誘導したりすることができる。

　以上のように、本実施形態によれば、信号処理回路１３４は、脳血流量および心拍数に基づいてユーザ５０が興奮状態にあると推定される場合に、ユーザ５０の周辺の照明装置２１０、音声出力装置２２０、または表示装置２３０の出力を制御する処理を実行する。例えば、ユーザ５０が興奮状態にあると推定される場合に、信号処理回路１３４は、照明装置２１０から出力される光の照度および色温度の少なくとも一方を低下させたり、音声出力装置２２０から出力される音声の音量を低下させたり、音声出力装置２２０または表示装置２３０にユーザ５０の興奮状態を鎮静化させる音声または映像を出力させることができる。これにより、ユーザ５０の興奮状態を鎮静化させることができる。反対に、ユーザ５０が興奮状態にあると推定される場合に、信号処理回路１３４は、照明装置２１０から出力される光の照度および色温度の少なくとも一方を増加させたり、音声出力装置２２０から出力される音声の音量を増加させたり、音声出力装置２２０または表示装置２３０にユーザ５０を興奮状態に誘導する音声または映像を出力させることができる。これにより、ユーザ５０の興奮状態を持続させることができる。

　また、ユーザ５０がリラックス状態にあると推定される場合に、信号処理回路１３４は、照明装置２１０から出力される光の照度および色温度の少なくとも一方を増加させたり、音声出力装置２２０から出力される音声の音量を増加させたり、音声出力装置２２０または表示装置２３０にユーザ５０を興奮状態に誘導する音声または映像を出力させることができる。これにより、ユーザ５０を興奮状態に誘導することができる。反対に、ユーザ５０がリラックス状態にあると推定される場合に、信号処理回路１３４は、照明装置２１０から出力される光の照度および色温度の少なくとも一方を低下させたり、音声出力装置２２０から出力される音声の音量を低下させたり、音声出力装置２２０または表示装置２３０にユーザ５０の興奮状態を鎮静化させる音声または映像を出力させてもよい。これにより、ユーザ５０のリラックス状態を持続させることができる。

　また、信号処理回路１３４による興奮状態に誘導するための動作は、ユーザ５０が興奮状態にないと判断された場合に行われてもよい。すなわち、信号処理回路１３４が、ユーザ５０の脳血流の変化量が第１閾値よりも大きい、またはユーザ５０の心拍数の変化量が第２閾値より小さいと判定した場合に、信号処理回路１３４による興奮状態に誘導するための動作が行われてもよい。

　ユーザ５０を興奮状態に誘導する映像または音声（例えば曲）およびリラックス状態に誘導する映像または音声のデータは、例えば音声出力装置２２０のメモリに記憶されていてもよいし、計測装置１００内のメモリ１３６に保存されていてもよい。それらのデータは、音声出力装置２２０または計測装置１００とネットワークを介して接続されたサーバのメモリに保存されていてもよい。

　本実施形態の技術は、例えば、スマートフォンまたはタブレットコンピュータなどの携帯機器用のアプリケーションに適用することができる。インターネットなどのネットワークを介して複数の携帯機器に接続されたサーバなどのコンピュータに、本実施形態の方法を実行させてもよい。当該コンピュータは、各ユーザの脳血流信号および心拍信号を、ネットワークを介して収集し、各ユーザが興奮状態にあるのかリラックス状態にあるのかを示す信号を生成してもよい。各ユーザが興奮状態またはリラックス状態にあることを示す信号は、そのユーザの携帯機器に送信され、当該機器のディスプレイに判定結果が表示され得る。

　また、ユーザ５０を興奮状態またはリラックス状態に誘導するために、香料を放出する香料放出装置を用いてもよい。

　この場合、信号処理回路１３４は、脳血流量および心拍数に基づいてユーザ５０が興奮状態にあると推定される場合に、ユーザ５０の周辺の香料放出装置を制御する処理を実行してもよい。

　例えば、ユーザ５０が興奮状態にあると推定される場合に、信号処理回路１３４は、香料放出装置から、ジャスミン、ベルガモット、ローズ、ラベンダー、カモミール、サイプレス、ネロリ、サンダルウッド、またはシダーウッドなどのリラックス状態を誘起させる香料を放出させる制御を実行してもよい。これにより、興奮状態にあると推定されたユーザ５０を、リラックス状態に誘導することができる。

　また、信号処理回路１３４は、脳血流量および心拍数に基づいてユーザ５０がリラックス状態にあると推定される場合に、ユーザ５０の周辺の香料放出装置を制御する処理を実行してもよい。

　例えば、ユーザ５０がリラックス状態にあると推定される場合に、信号処理回路１３４は、香料放出装置から、ペパーミント、レモン、ローズマリー、またはレモングラスなどの興奮状態を誘起させる香料を放出させる制御を実行してもよい。これにより、リラックス状態にあると推定されたユーザ５０を、興奮状態に誘導することができる。

　これに限らず、信号処理回路１３４は、脳血流量および心拍数に基づいてユーザ５０が興奮状態にあると推定される場合に、ユーザ５０の興奮状態を維持させるために、興奮状態を誘起させる香料を放出させる制御を実行してもよい。また、信号処理回路１３４は、脳血流量および心拍数に基づいてユーザ５０がリラックス状態にあると推定される場合に、ユーザ５０のリラックス状態を維持させるために、リラックス状態を誘起させる香料を放出させる制御を実行してもよい。

　また、空調装置を用いてユーザ５０の覚醒度を変化させる制御を行ってもよい。そのような制御は、例えば２０１３－０１２０２９号公報に開示されている。

　この場合、信号処理回路１３４は、脳血流量および心拍数に基づいてユーザ５０がリラックス状態にあると推定される場合に、ユーザ５０の周辺の空調装置を制御する処理を実行してもよい。

　例えば、ユーザ５０がリラックス状態にあると推定される場合に、信号処理回路１３４は、空調装置を制御することにより、ユーザ５０に冷風を供給してもよい。これにより、ユーザ５０の覚醒度を上げてもよく、リラックス状態にあると推定されたユーザ５０を、興奮状態に誘導することができる。また、冷風を供給した一定時間後に、冷風供給前の温度に戻すための空調制御を行ってもよい。

　また、信号処理回路１３４は、脳血流量および心拍数に基づいてユーザ５０が興奮状態にあると推定される場合に、ユーザ５０の周辺の空調装置を制御する処理を実行してもよい。

　例えば、ユーザ５０が興奮状態にあると推定される場合に、信号処理回路１３４は、空調装置を制御することにより、ユーザ５０に温風を供給してもよい。これにより、ユーザ５０の覚醒度を下げてもよく、興奮状態にあると推定されたユーザ５０を、リラックス状態に誘導することができる。

　また、信号処理回路１３４は、脳血流量および心拍数に基づいてユーザ５０が興奮状態にあると推定される場合に、ユーザ５０の周辺の空調装置を制御する処理を実行してもよい。例えば、ユーザ５０が興奮状態にあると推定される場合に、信号処理回路１３４は、空調装置を制御することにより、ユーザ５０がいる空間に１／ｆゆらぎの気流を発生させてもよい。これにより、興奮状態にあると推定されたユーザ５０を、リラックス状態に誘導することができる。１／ｆゆらぎとは、パワーが周波数fに反比例するゆらぎを意味し得る。人の心拍の間隔や、ろうそくの炎のゆれ、雨音などが、1/fゆらぎを有していると言われている。

　（実施例）
　次に、上記の実施形態における興奮状態およびリラックス状態を推定する方法によって、ユーザの感情状態を評価した実施例を説明する。

　本実施例では、被験者５０名を対象に興奮状態およびリラックス状態を推定する実験を行った。被験者の男女比は半々とした。統制環境である心理実験室において、各被験者は椅子に座り、興奮曲、リラックス曲、恐怖曲、および比較対象であるホワイトノイズ（Ｗ／Ｎ）を聴取した。興奮曲およびリラックス曲は、それぞれの感情を誘起する曲であり、事前に選定した。具体的には、事前調査（調査人数：８１人）で２０曲の候補曲を聴かせ、多くの人で安定して興奮またはリラックスの感情の誘起が確認された曲を選定した。恐怖曲に関しては、音楽心理学の分野で恐怖を誘起する曲として知られている一般的な楽曲を選定した。興奮曲は、事前調査の質問紙（７段階評価）において、「快適に感じましたか」という質問に対し主観評価スコアが４以上、「覚醒されましたか？」という質問に対し主観評価スコアが４以上の曲である。リラックス曲は、事前調査の質問紙において、「快適に感じましたか」という質問に対し主観評価スコアが４以上、「覚醒されましたか？」という質問に対し主観評価スコアが４未満の曲である。興奮曲は、ラッセル円環モデルの右上の象限に位置する感情、例えば、覚醒した、興奮、明るい、うれしい、または幸福といった感情で表現され得る。リラックス曲は、ラッセル円環モデルの右下の象限に位置する感情、例えば、リラックス、くつろぎ、沈着、平穏、安心、満足、喜びといった感情で表現され得る。ホワイトノイズは、特定の感情を誘起しないニュートラルな音刺激であり、比較対象目的でリファレンスとして使用した。

　音楽刺激は、アンプ、プレーヤ、およびスピーカシステムを用いて各被験者に与えられた。脳血流計測は、接触型ＮＩＲＳ装置（ＯＥＧ－ＳｐＯ２、　Ｓｐｅｃｔｒａｔｅｃｈ）を用いて行った。心拍計測は、ＢＩＯＰＡＣシステム　（ＭＰ１６０、ＢＩＯＰＡＣ　Ｓｙｓｔｅｍｓ）を用いて行った。実験プロトコルは、安静１分→音楽刺激２分→安静１分とした。安静時の脳血流および心拍数を基準として、音楽刺激時の脳血流変化量および心拍数変化率を算出した。

　実際の使用環境では、安静時の脳血流および心拍数の計測は、ディスプレイを用いることができる環境であれば、例えば「＋」の記号が表示されるｆｉｘａｔｉｏｎ画像を表示し、一定時間（例えば１分）、ユーザがｆｉｘａｔｉｏｎ画像を見ている状態で行われ得る。また、音刺激が与えられる環境であれば、例えば、ホワイトノイズなどの感情ニュートラルな音刺激または感情ニュートラルな曲を聴取しているときの脳血流および心拍数の計測値を安静時の計測値とすることができる。これらは一例であり、感情ニュートラルな刺激は上記の例に限定されない。

　図１８Ａから図１８Ｄは、それぞれ、興奮曲、リラックス曲、恐怖曲、およびホワイトノイズを被験者が聴取した場合の脳血流量（この例では酸素化ヘモグロビン量）の時系列データを示す。横軸は時間、縦軸は脳血流変化量を示している。図１８Ａから図１８Ｄでは、５０名分のデータを加算平均した値をグラフに示している。エラーバーは標準誤差１ＳＥを示す。この結果より、興奮曲およびリラックス曲と、恐怖曲およびホワイトノイズとでは脳血流の時間変動が大きく異なることがわかる。興奮曲とリラックス曲では、音楽聴取開始３０秒から聴取終了にかけて安定して脳血流が減少しており、それぞれ統計的に有意な減少幅であることが確認された。一方、恐怖曲とホワイトノイズでは安定した脳血流変化は見られず、いずれも統計的に有意な変化は確認されなかった。

　図１９は、平均心拍数の変化率と覚醒度に関する主観評価スコアとの相関を示す図である。図１９に示すように、平均心拍数の変化率と覚醒度に関する主観評価スコアとの間に正の相関が見られ、覚醒度が高いほど平均心拍数変化率が増加することが確認された。

　上記の結果より、脳血流変化に関しては、興奮曲とリラックス曲では脳血流量が低下することが判明した。また、覚醒度が高いほど心拍数変化率が増加することが判明した。上述のように、興奮はラッセル円環モデルの右上の象限に位置する感情であり、リラックスはラッセル円環モデルの右下の象限に位置する感情である。ラッセル円環モデルの右上の象限と右下の象限は、覚醒度の高さによって分けられていると考えられている。よって、興奮およびリラックス状態の推定にあたり、覚醒度と相関のある心拍数変化率も考慮することも重要である。そのため、図２０に示すように、縦軸を脳血流変化量、横軸を心拍数変化率として、上記の４種類の音楽聴取時の５０名分のデータを加算平均した脳血流変化量および平均心拍数変化量のデータをプロットした。エラーバーは標準誤差１ＳＥを示す。この結果より、興奮曲、リラックス曲、恐怖曲、およびホワイトノイズの曲種毎に、図２０において異なる位置にプロットされていることがわかる。さらに、データのばらつきを示すエラーバーもいずれの曲種に関しても重なりがなく、統計的に有意であることがわかる。

　本実験により、脳血流量と心拍数とに基づき、安静状態に対し、興奮状態とリラックス状態とを統計的に有意、すなわち高精度に判定できることが明らかである。具体的には、脳血流の変化量が第１閾値よりも小さい場合に、ユーザが興奮状態またはリラックス状態にあると判定することができる。さらに、そのときの平均心拍数が増加している場合にはユーザが興奮状態にあり、平均心拍数が減少している場合にはユーザがリラックス状態にあると判定することができる。

　本開示の技術は、脳血流と心拍に基づいてユーザが興奮状態またはリラックス状態にあることを判定する装置に適用することができる。本開示の技術は、例えば、カメラ、計測機器、スマートフォン、タブレットコンピュータ、またはヘッドマウント装置などの、種々の装置に利用することができる。

　５０　　ユーザ
　１００　計測装置
　１１０　脳血流センサ
　１１２　発光装置
　１１４　受光装置
　１２０　心拍数センサ
　１３０　処理装置
　１３２　制御回路
　１３４　信号処理回路
　１３６　メモリ
　１５２　光源
　１５４　光検出器
　２００　刺激装置
　２１０　照明装置
　２２０　音声出力装置
　２３０　表示装置

Claims (13)

1. 　コンピュータによって実行される方法であって、
   　ユーザの基準時点からの脳血流の変化量を取得することと、
   　前記ユーザの基準時点からの心拍数の変化量を取得することと、
   　前記脳血流の変化量が第１閾値よりも低く、かつ前記心拍数の変化量が第２閾値よりも高い場合に、前記ユーザが興奮状態にあることを示す信号を出力することと、
   　を含む方法。
2. 　前記脳血流の変化量が前記第１閾値よりも低く、かつ前記心拍数の変化量が前記第２閾値よりも低い場合に、前記ユーザがリラックス状態にあることを示す信号を出力することをさらに含む、請求項１に記載の方法。
3. 　前記脳血流の変化量は、前記ユーザの脳血液中の酸素化ヘモグロビンの変化量である、請求項１または２に記載の方法。
4. 　前記第１閾値は０よりも小さい、請求項１から３のいずれかに記載の方法。
5. 　前記脳血流の変化量は、前記ユーザを興奮状態またはリラックス状態に誘起する音声および／または映像を含むコンテンツを前記ユーザが視聴している状態で取得され、
   　前記基準時点は、前記ユーザが前記コンテンツの視聴を開始する時点以前の時点である、
   　請求項１から４のいずれかに記載の方法。
6. 　前記ユーザが前記興奮状態にあることを示す信号は、
   　（ｉ）照明装置の出力を制御する信号、および
   　（ｉｉ）音声出力装置の出力を制御する信号
   の少なくとも一方を含む、
   　請求項１から５のいずれかに記載の方法。
7. 　前記脳血流の変化量が前記第１閾値よりも高いこと、および前記心拍数の変化量が前記第２閾値よりも低いことの少なくとも一方を満たす場合に、
   　（ｉ）照明装置の照度を高くする制御信号、および
   　（ｉｉ）音声出力装置に、前記ユーザを興奮状態に誘起させる音声を出力させる制御信号
   の少なくとも一方を出力することをさらに含む、
   　請求項１から６のいずれかに記載の方法。
8. 　コンピュータによって実行される方法であって、
   　ユーザの基準時点からの脳血流の変化量を取得することと、
   　前記脳血流の変化量が第１閾値よりも低い場合に、前記ユーザが興奮状態またはリラックス状態にあることを示す信号を出力することと、
   　を含む方法。
9. 　前記ユーザの基準時点からの心拍数の変化量を取得することをさらに含み、
   　前記信号を出力することは、
   　前記脳血流の変化量が前記第１閾値よりも低く、かつ前記心拍数の変化量が前記第２閾値よりも高い場合に、前記ユーザが前記興奮状態にあることを示す信号を出力し、
   　前記脳血流の変化量が前記第１閾値よりも低く、かつ前記心拍数の変化量が前記第２閾値よりも低い場合に、前記ユーザが前記リラックス状態にあることを示す信号を出力することを含む、
   　請求項８に記載の方法。
10. 　ユーザの脳血流を計測する脳血流センサと、
    　ユーザの心拍数を計測する心拍数センサと、
    　信号処理回路と、
    を備え、
    　前記信号処理回路は、
    　ユーザの基準時点からの脳血流の変化量を取得し、
    　前記ユーザの基準時点からの心拍数の変化量を取得し、
    　前記脳血流の変化量が第１閾値よりも低く、かつ前記心拍数の変化量が第２閾値よりも高い場合に、前記ユーザが興奮状態にあることを示す信号を出力する、
    　装置。
11. 　ユーザの脳血流を計測する脳血流センサと、
    　信号処理回路と、
    を備え、
    　前記信号処理回路は、
    　前記脳血流センサから出力される信号に基づいて、前記ユーザの基準時点からの前記脳血流の変化量を計算し、
    　前記脳血流の変化量が第１閾値よりも低い場合に、前記ユーザが興奮状態またはリラックス状態にあることを示す信号を出力する、
    　装置。
12. 　コンピュータに、
    　ユーザの基準時点からの脳血流の変化量を取得することと、
    　前記ユーザの基準時点からの心拍数の変化量を取得することと、
    　前記脳血流の変化量が第１閾値よりも低く、かつ前記心拍数の変化量が第２閾値よりも高い場合に、前記ユーザが興奮状態にあることを示す信号を出力することと、
    　を実行させる、コンピュータプログラム。
13. 　コンピュータに、
    　ユーザの基準時点からの脳血流の変化量を取得することと、
    　前記脳血流の変化量が第１閾値よりも低い場合に、前記ユーザが興奮状態またはリラックス状態にあることを示す信号を出力することと、
    　を実行させる、コンピュータプログラム。

Images