JP7399397B2 - 情報処理システムおよび情報処理方法 - Google Patents

Description

本開示はデータ処理技術に関し、特に情報処理システムおよび情報処理方法に関する。

従来、被験者の頭皮上に配置された電極により検知された脳波（Electroencephalogram：ＥＥＧ）のデータから、被験者の意思を推定することが行われてきた。

特表２０１９－５２７４１６号公報

脳波は空間分解能が低く、脳波からは限られた情報しか取り出すことが困難である。そのため、被験者の脳波のデータから、被験者の意思を精度よく推定することは容易でないと本発明者は認識した。

本開示は、本発明者の上記課題認識に基づきなされたものであり、１つの目的は、人の脳波に基づいて、人の意思を精度よく推定する技術を提供することにある。

上記課題を解決するために、本開示のある態様の情報処理システムは、質問に対する第１の反応を示す情報が被験者に呈示された場合、被験者の前庭に第１態様の刺激を与え、質問に対する第２の反応を示す情報が被験者に呈示された場合、被験者の前庭に第２態様の刺激を与える刺激部と、第１の反応を示すことが確定している質問が呈示された被験者の脳波に関する情報である第１脳波情報と、第２の反応を示すことが確定している質問が呈示された被験者の脳波に関する情報である第２脳波情報とを取得する取得部と、第１脳波情報と、第２脳波情報と、反応が未知の質問が呈示された被験者の脳波に関する情報とに基づいて、未知の質問に対する被験者の反応を推定する推定部と、を備える。

本開示の別の態様は、情報処理方法である。この方法は、質問に対する第１の反応を示す情報が被験者に呈示された場合、被験者の前庭に第１態様の刺激を与え、質問に対する第２の反応を示す情報が被験者に呈示された場合、被験者の前庭に第２態様の刺激を与えるステップと、第１の反応を示すことが確定している質問が呈示された被験者の脳波に関する情報である第１脳波情報と、第２の反応を示すことが確定している質問が呈示された被験者の脳波に関する情報である第２脳波情報とを取得するステップと、第１脳波情報と、第２脳波情報と、反応が未知の質問が呈示された被験者の脳波に関する情報とに基づいて、未知の質問に対する被験者の反応を推定するステップと、をコンピュータが実行する。

なお、以上の構成要素の任意の組合せ、本開示の表現を、装置、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、人の脳波に基づいて、人の意思を精度よく推定することができる。

ＧＶＳを模式的に示す図である。 第１実施例の意思推定システムの構成を示す図である。 第１実施例の条件付け装置の機能ブロックを示すブロック図である。 第１実施例の推定装置の機能ブロックを示すブロック図である。 意思推定システムの動作を示すフローチャートである。 意思推定システムの動作を示すフローチャートである。 意思推定システムの動作を示すフローチャートである。 第２実施例の推定装置の機能ブロックを示すブロック図である。

まず、本実施例の前提技術である前庭刺激（Galvanic Vestibular Stimulation：ＧＶＳ）について説明する。図１は、ＧＶＳを模式的に示す。前庭は、人間の平衡感覚を司る器官である。ＧＶＳは、被験者の耳の後ろにプラスの電極（右電極２４）とマイナスの電極（左電極２２）を取り付け、人体に弱い直流電流を流すことで、被験者の前庭（前庭神経）を刺激することである。ＧＶＳを受けた被験者には、平衡感覚の歪みが生じ、体が勝手に傾き、また視界が回転する等の現象が起こる。

ＧＶＳでは、被験者に流す電流の極性を変えることで、平衡感覚が歪む方向を変えることができ、例えば、被験者の体が傾く方向を変えることができる。図１の上側に示すように、正の周期信号（プラス方向に凸となる電流）（＋１．０～＋３．０ｍＡ）を被験者に与えると、被験者の体は右耳が下がるように傾く。一方、図１の下側に示すように、負の周期信号（マイナス方向に凸となる電流）（－１．０～－３．０ｍＡ）を被験者に与えると、被験者の体は左耳が下がるように傾く。

本実施例の意思推定システムの概要を説明する。本実施例の意思推定システムでは、被験者が質問に対する第１の反応（具体的には肯定反応「Ｙｅｓ」）を考えたときに、右に傾くＧＶＳを被験者に与え、被験者が質問に対する第２の反応（具体的には否定反応「Ｎｏ」）を考えたときに、左に傾くＧＶＳを被験者に与える。これにより、感覚連想が確立され、ＧＶＳがなくなっても、被験者が肯定反応（Ｙｅｓ）を考えたときには右に傾くような感覚が無意識に思い起こされ、一方、被験者が否定反応（Ｎｏ）を考えたときには左に傾くような感覚が無意識に思い起こされるようになる。

これは、心理学の分野で「古典的条件付け」と呼ばれる現象であり、別名「パブロフの条件付け」と呼ばれる現象と同じである。すなわち、餌を与える前に毎回ベルの音を犬に聞かせていると、ベルの音を聞いただけで犬の唾液が分泌される現象や、私達がレモンを思い浮かべただけで唾液が分泌される現象と同じである。

パブロフの実験においてベルと唾液という全く関連のないものを関連付けたことと同様に、本実施例の意思推定システムでは、肯定反応または否定反応を考える事象と平衡感覚が歪む現象という全く関連のないものを関連付ける。脳波は微弱な信号であり、また、頭皮上で測定される脳波には多くのノイズが含まれるため、ＹｅｓまたはＮｏという被験者の意思を脳波から判別することは容易でない。しかし、本実施例の意思推定システムによると、被験者が質問への返答（ＹｅｓまたはＮｏ）を考えることに付随して、その返答に応じた平衡感覚の歪みが脳活動の変化に現れるため、被験者の脳波に基づいて、被験者の返答（ＹｅｓまたはＮｏ）を高い精度で推定することができる。なお、実施例における「被験者」は、実験への「参加者」とも言える。以下、実施例の意思推定システムの構成を詳細に説明する。

（第１実施例）
図２は、第１実施例の意思推定システム１０の構成を示す。意思推定システム１０は、条件付け装置１２、脳波計１４、推定装置１６を備える情報処理システムである。意思推定システム１０における各装置は、ＬＡＮ等の公知の通信ネットワークを介して接続されてもよい。

条件付け装置１２は、古典的条件付けを利用して、被験者が質問に対する第１の反応（実施例では肯定）または第２の反応（第１の反応とは異なる反応であり、実施例では否定）を考える事象と、被験者の平衡感覚が歪む現象とを関連付ける情報処理装置である。具体的には、条件付け装置１２は、質問に対する肯定の返答を示す情報が被験者に呈示された場合、被験者の前庭に第１態様の刺激を与え、質問に対する否定の返答を示す情報が被験者に呈示された場合、被験者の前庭に第２態様の刺激を与える。

脳波計１４は、被験者の頭皮上に配置された複数の電極（言い換えればセンサ）を介して、被験者の脳波を示す信号（以下「脳波信号」と呼ぶ。）を検出する。電極の数は適宜変更可能であるが、実施例では３０個である。すなわち、脳波計１２は、３０チャネルの脳波信号を検出する。脳波計１２は、検出した３０チャネルの脳波信号を示すデータを推定装置１６へ出力する。

推定装置１６は、脳波計１４により検出された被験者の脳波信号をもとに、被験者が質問に対して第１の反応（実施例では肯定）と第２の反応（実施例では否定）のいずれを示すかを推定する情報処理装置である。なお、意思推定システム１０における物理的な装置の個数に制限はない。例えば、条件付け装置１２と推定装置１６は、単一の装置により実現されてもよい。

図３は、第１実施例の条件付け装置１２の機能ブロックを示すブロック図である。本開示のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵ・メモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。

また、本開示のブロック図において示される複数の機能ブロックの少なくとも一部の機能ブロックは、コンピュータプログラムとして実装されてもよい。上記コンピュータプログラムは、記録媒体に格納されてもよく、その記録媒体を介して上記コンピュータプログラムがコンピュータ（情報処理装置）にインストールされてもよい。または、上記コンピュータプログラムは、通信ネットワークを介してダウンロードされ、コンピュータにインストールされてもよい。コンピュータのＣＰＵは、上記コンピュータプログラムをメインメモリに読み出して実行することにより、上記コンピュータプログラムに実装された機能ブロックの機能を発揮してもよい。

条件付け装置１２は、ヘッドフォン２０、左電極２２、右電極２４、音声記憶部２６、制御部２８、音声出力部３０、ＧＶＳ部３２を備える。これらの機能ブロックは、複数の装置に分散して配置されてもよく、それら複数の装置が連携することにより実施例の条件付け装置１２が実現されてもよい。なお、条件付け装置１２は、ヘッドフォン２０に代えてスピーカーを備えてもよい。

ヘッドフォン２０は、被験者の頭部に装着され、後述の音声出力部３０から出力された電気信号を発音体（スピーカー等）を用いて可聴音に変換する。左電極２２は、被験者の左耳の後ろに取り付けられる電極（実施例ではマイナスの電極）であり、右電極２４は、被験者の右耳の後ろに取り付けられる電極（実施例ではプラスの電極）である。

音声記憶部２６は、質問に対する第１の反応を示す音声として、肯定を示す音声（例えば「Ｙｅｓ」という音声、以下「肯定音声」とも呼ぶ。）のデータを記憶する。また、音声記憶部２６は、質問に対する第２の反応を示す音声として、否定を示す音声（例えば「Ｎｏ」という音声、以下「否定音声」とも呼ぶ。）のデータを記憶する。また、音声記憶部２６は、被験者が肯定または否定を思い浮かべる合図となる音声（例えば「ピッ」という音声、以下「合図音声」とも呼ぶ。）のデータを記憶する。

制御部２８は、被験者に対する条件付けのための一連の処理を制御する。制御部２８は、肯定を示す情報を被験者に呈示することと同期して、被験者に第１態様の前提刺激を与え、また、否定を示す情報を被験者に呈示することと同期して、被験者に第２態様の前提刺激を与えるよう音声出力部３０とＧＶＳ部３２を制御する。そして、この制御を繰り返すことにより、被験者に条件付けを刷り込む。

実施例における第１態様の前提刺激は、被験者の右耳が下がるよう傾かせる前庭刺激である。第１態様の前庭刺激は、右耳が下がる方向に被験者の平衡感覚の歪みを生じさせる前庭刺激とも言える。また、第２態様の前庭刺激は、第１態様の前庭刺激とは異なる前庭刺激であり、実施例における第２態様の前庭刺激は、被験者の左耳が下がるよう傾かせる前庭刺激である。第２態様の前庭刺激は、左耳が下がる方向に被験者の平衡感覚の歪みを生じさせる前庭刺激とも言える。

具体的には、制御部２８は、以下の（１）～（６）の処理を繰り返し実行する。（１）制御部２８は、音声出力部３０に対して肯定音声を出力するよう指示する。（２）制御部２８は、肯定音声の出力が終了してから所定時間経過後（例えば１秒後）に、音声出力部３０に対して合図音声を出力するよう指示する。（３）制御部２８は、合図音声の出力から所定時間後（例えば５００ミリ秒後）に、ＧＶＳ部３２に対して第１態様の前庭刺激を出力するよう指示する。

（４）制御部２８は、音声出力部３０に対して否定音声を出力するよう指示する。（５）制御部２８は、否定音声の出力が終了してから所定時間後（例えば１秒後）に、音声出力部３０に対して合図音声を出力するよう指示する。（６）制御部２８は、合図音声の出力から所定時間経過後（例えば５００ミリ秒後）に、ＧＶＳ部３２に対して第２態様の前庭刺激を出力するよう指示する。（１）～（６）の繰り返し回数は、被験者に対する条件付けが可能な回数である。この繰り返し回数は、実験により決定されてもよく、例えば、１０回から２０回であってもよい。

音声出力部３０は、肯定音声の出力指示を制御部２８から受け付けた場合、肯定音声のデータを音声記憶部２６から読み出し、そのデータをヘッドフォン２０へ出力することにより、ヘッドフォン２０から肯定音声を出力させる。また、音声出力部３０は、否定音声の出力指示を制御部２８から受け付けた場合、否定音声のデータを音声記憶部２６から読み出し、そのデータをヘッドフォン２０へ出力することにより、ヘッドフォン２０から否定音声を出力させる。また、音声出力部３０は、合図音声の出力指示を制御部２８から受け付けた場合、合図音声のデータを音声記憶部２６から読み出し、そのデータをヘッドフォン２０へ出力することにより、ヘッドフォン２０から合図音声を出力させる。

ＧＶＳ部３２は、第１態様の前庭刺激の出力指示を制御部２８から受け付けた場合、第１態様の前庭刺激として、図１の上段に記載した正の周期信号による前庭刺激を与えるように、左電極２２と右電極２４からの電気出力を制御する。また、ＧＶＳ部３２は、第２態様の前庭刺激の出力指示を制御部２８から受け付けた場合、第２態様の前庭刺激として、図１の下段に記載した負の周期信号による前庭刺激を与えるように、左電極２２と右電極２４からの電気出力を制御する。

図４は、第１実施例の推定装置１６の機能ブロックを示すブロック図である。推定装置１６は、ヘッドフォン４０、音声記憶部４２、音声出力部４４、脳波情報取得部４６、推定部４７、推定結果出力部５４を備える。これらの機能ブロックは、複数の装置に分散して配置されてもよく、それら複数の装置が連携することにより実施例の推定装置１６が実現されてもよい。なお、推定装置１６は、ヘッドフォン４０に代えてスピーカーを備えてもよい。

ヘッドフォン４０は、被験者の頭部に装着され、後述の音声出力部４４から出力された電気信号を発音体（スピーカー等）を用いて可聴音に変換する。

音声記憶部４２は、複数個の肯定確定質問の音声データを記憶する。肯定確定質問は、被験者が第１の反応（実施例では肯定）を示すことが確定している質問であり、言い換えれば、被験者が肯定を返答することが予め判明している質問である。肯定確定質問は、被験者の属性や、恒常的に正しい事柄に即した内容であってもよい。例えば、肯定確定質問は、「あなたの名前は○○ですか（○○は被験者の名前）」、「１日は２４時間ですか」であってもよい。

また、音声記憶部４２は、複数個の否定確定質問の音声データをさらに記憶する。否定確定質問は、被験者が第２の反応（実施例では否定）を示すことが確定している質問であり、言い換えれば、被験者が否定を返答することが予め判明している質問である。例えば、否定確定質問は、「あなたの名前は××ですか（××は被験者の名前とは異なる名前）」、「１日は３０時間ですか」であってもよい。

また、音声記憶部４２は、返答内容が未確定の未定質問の音声データをさらに記憶する。未定質問は、被験者が第１の反応（肯定）と第２の反応（否定）のいずれを示すかが未知の質問である。例えば、未定質問は、「気分は良いですか」、「お腹が空いていますか」であってもよい。また、音声記憶部４２は、既述した合図音声のデータをさらに記憶する。

音声出力部４４は、肯定確定質問と否定確定質問と未定質問を被験者に呈示する。具体的には、音声出力部４４は、肯定確定質問の音声データを音声記憶部４２から読み出し、そのデータをヘッドフォン４０へ出力することにより、ヘッドフォン４０から肯定確定質問の音声を出力させる。音声出力部４４は、肯定確定質問の音声出力終了から所定時間経過後（例えば１秒後）に、合図音声のデータを音声記憶部４２から読み出し、そのデータをヘッドフォン４０へ出力することにより、ヘッドフォン４０から合図音声を出力させる。

また、音声出力部４４は、否定確定質問の音声データを音声記憶部４２から読み出し、そのデータをヘッドフォン４０へ出力することにより、ヘッドフォン４０から否定確定質問の音声を出力させる。音声出力部４４は、否定確定質問の音声出力終了から所定時間経過後（例えば１秒後）に、合図音声のデータを音声記憶部４２から読み出し、そのデータをヘッドフォン４０へ出力することにより、ヘッドフォン４０から合図音声を出力させる。音声出力部４４は、複数個の肯定確定質問の音声出力を順次実行し、また、複数個の否定確定質問の音声出力を順次実行する。なお、複数個の肯定確定質問の出力順序と、複数個の否定確定質問の出力順序に制限はなく、肯定確定質問の出力と否定確定質問の出力がランダムに切り替わってよい。

また、音声出力部４４は、未定質問の音声データを音声記憶部４２から読み出し、そのデータをヘッドフォン４０へ出力することにより、ヘッドフォン４０から未定質問の音声を出力させる。音声出力部４４は、未定質問の音声出力終了から所定時間経過後（例えば１秒後）に、合図音声のデータを音声記憶部４２から読み出し、そのデータをヘッドフォン４０へ出力することにより、ヘッドフォン４０から合図音声を出力させる。

脳波情報取得部４６は、脳波計１４から出力された被験者の脳波信号データをもとに、肯定確定質問が呈示された被験者の脳波に関する情報である第１脳波情報と、否定確定質問が呈示された被験者の脳波に関する情報である第２脳波情報を取得する。第１脳波情報と第２脳波情報のそれぞれは、脳波の時系列での電圧の推移を示すものであり、時間値と電圧値との組を複数含むものであってもよい。後述の第３脳波情報も同様である。

例えば、脳波情報取得部４６は、音声出力部４４により肯定確定質問の音声（およびそれに続く合図音声）が出力されてから所定期間（例えば５秒間）において脳波計１４から出力された被験者の脳波信号データを第１脳波情報として取得してもよい。また、脳波情報取得部４６は、音声出力部４４により否定確定質問の音声（およびそれに続く合図音声）が出力されてから所定期間（例えば５秒間）において脳波計１４から出力された被験者の脳波信号データを第２脳波情報として取得してもよい。脳波情報取得部４６は、複数個の肯定確定質問に対応する複数個の第１脳波情報を取得し、複数個の否定確定質問に対応する複数個の第２脳波情報を取得する。

また、脳波情報取得部４６は、脳波計１４から出力された被験者の脳波信号データをもとに、未定質問が呈示された被験者の脳波に関する情報である第３脳波情報を取得する。例えば、脳波情報取得部４６は、音声出力部４４により未定質問の音声（およびそれに続く合図音声）が出力されてから所定期間（例えば５秒間）において脳波計１４から出力された被験者の脳波信号データを第３脳波情報として取得してもよい。

推定部４７は、脳波情報取得部４６により取得された第１脳波情報と第２脳波情報と第３脳波情報とに基づいて、未定質問に対する被験者の返答内容を推定する。具体的には、推定部４７は、未定質問に対して被験者が第１の反応（実施例では肯定）と第２の反応（実施例では否定）のいずれを示すかを推定する。

推定結果出力部５４は、推定部４７による推定結果に基づく推定結果情報を出力する。推定結果情報は、（１）音声出力部４４により出力された未定質問（音声データまたはテキストデータ）と、（２）推定部４７による推定結果（肯定または否定を示す情報）とを含んでもよい。推定結果出力部５４は、推定装置１６ローカルの推定結果記憶部（不図示）に推定結果情報を格納してもよく、推定装置１６に接続された表示装置（不図示）に推定結果情報を表示させてもよい。また、推定結果出力部５４は、リモート装置（不図示）に推定結果情報を送信し、リモート装置の推定結果記憶部に推定結果情報を記憶させてもよく、リモート装置に接続された表示装置に推定結果情報を表示させてもよい。

推定部４７の詳細な構成を説明する。推定部４７は、モデル生成部４８、モデル記憶部５０、意思推定部５２を含む。

モデル生成部４８は、被験者の脳波情報の入力を受け付ける数理モデルであって、かつ、質問に対する被験者の反応が第１の反応（肯定）と第２の反応（否定）のいずれであるかの推定に関する情報を出力する数理モデルを、第１脳波情報と第２脳波情報とに基づく機会学習により生成する。この数理モデルを以下「肯定否定判別器」と呼ぶ。肯定否定判別器は、脳波の時系列での電圧推移と、肯定を想起したこととの相関度合い、および、脳波の時系列での電圧の推移と、否定を想起したこととの相関度合を示すモデルとも言える。

具体的には、モデル生成部４８は、脳波情報取得部４６により取得された複数個の第１脳波情報を返答「肯定」に対応付けた複数個の第１教師データを生成する。また、モデル生成部４８は、脳波情報取得部４６により取得された複数個の第２脳波情報を返答「否定」に対応付けた複数個の第２教師データを生成する。モデル生成部４８は、複数個の第１教師データと、複数個の第２教師データと、公知のＳＬＲ（Sparse Logistic Regression）アルゴリズムとに基づいて肯定否定判別器を生成する。実施例の肯定否定判別器は、質問に対する被験者の返答が肯定となる確率と、否定となる確率を出力する。

モデル記憶部５０は、肯定否定判別器のデータを記憶する。モデル生成部４８は、生成した肯定否定判別器のデータをモデル記憶部５０に格納する。

意思推定部５２は、モデル記憶部５０に記憶された肯定否定判別器のデータを読み出して、脳波情報取得部４６により取得された第３脳波情報を肯定否定判別器に入力し、肯定否定判別器の出力情報を取得する。意思推定部５２は、肯定否定判別器の出力情報に基づいて、未定質問に対する被験者の反応が第１の反応（肯定）と第２の反応（否定）のいずれであるかを推定する。意思推定部５２は、未定質問に対する被験者の反応が第１の反応（肯定）と第２の反応（否定）のいずれであるかを示す推定結果を推定結果出力部５４へ出力する。

例えば、肯定否定判別器の出力情報が示す肯定の確率が否定の確率より高く、かつ、肯定の確率が所定の閾値（例えば０．６）より高い場合、意思推定部５２は、未定質問に対する被験者の反応を「肯定」と推定してもよい。一方、肯定否定判別器の出力情報が示す否定の確率が肯定の確率より高く、かつ、否定の確率が所定の閾値（例えば０．６）より高い場合、意思推定部５２は、未定質問に対する被験者の反応を「否定」と推定してもよい。

第１実施例の意思推定システム１０の動作を説明する。
図５は、意思推定システム１０の動作を示すフローチャートである。同図は、被験者に対する条件付け時の動作を示している。同図の処理は、条件付け装置１２の制御部２８の制御により実現される。条件付け装置１２の音声出力部３０は、肯定音声をヘッドフォン２０から出力させ（Ｓ１０）、その後、合図音声をヘッドフォン２０から出力させる（Ｓ１２）。被験者は、肯定を思い浮かべる。条件付け装置１２のＧＶＳ部３２は、Ｓ１２の合図音声出力後、左電極２２と右電極２４を制御して、肯定用の前庭刺激（上記の第１態様の前庭刺激）を被験者に与える（Ｓ１４）。

条件付け装置１２の音声出力部３０は、否定音声をヘッドフォン２０から出力させ（Ｓ１６）、その後、合図音声をヘッドフォン２０から出力させる（Ｓ１８）。被験者は、否定を思い浮かべる。条件付け装置１２のＧＶＳ部３２は、Ｓ１８の合図音声出力後、左電極２２と右電極２４を制御して、否定用の前庭刺激（上記の第２態様の前庭刺激）を被験者に与える（Ｓ２０）。Ｓ１０～Ｓ２０の処理を予め定められた回数繰り返した場合（Ｓ２２のＹ）、本図の処理を終了する。繰り返し回数が上記回数未満であれば（Ｓ２２のＮ）、Ｓ１０に戻る。

図６も、意思推定システム１０の動作を示すフローチャートである。同図は、条件付け済の被験者の脳波情報をもとに肯定否定判別器を生成する動作を示している。脳波計１４は、条件付け済の被験者の脳波の計測を開始し、計測結果である脳波信号データを推定装置１６へ出力することを開始する（Ｓ３０）。推定装置１６の音声出力部４４は、所定の指示をトリガに、肯定確定質問の音声をヘッドフォン４０から出力させ（Ｓ３２）、その後、合図音声をヘッドフォン４０から出力させる（Ｓ３４）。被験者は、肯定を思い浮かべる。推定装置１６の脳波情報取得部４６は、肯定確定質問の出力開始から、合図音声の出力完了後、所定時間経過するまでの被験者の脳波信号データを第１脳波情報として取得する（Ｓ３６）。

推定装置１６の音声出力部４４は、否定確定質問の音声をヘッドフォン４０から出力させ（Ｓ３８）、その後、合図音声をヘッドフォン４０から出力させる（Ｓ４０）。被験者は、否定を思い浮かべる。推定装置１６の脳波情報取得部４６は、否定確定質問の出力開始から、合図音声の出力完了後、所定時間経過するまでの被験者の脳波信号データを第２脳波情報として取得する（Ｓ４２）。音声出力部４４は、肯定確定質問と否定確定質問の個数に応じた回数、Ｓ３２～Ｓ４２の処理を繰り返す（Ｓ４４のＮ）。上記回数の繰り返しが終了すると（Ｓ４４のＹ）、脳波計１４は、被験者の脳波の計測を終了する（Ｓ４６）。

推定装置１６のモデル生成部４８は、上記の繰り返しの中で脳波情報取得部４６により取得された複数個の第１脳波情報をもとに複数個の第１教師データを生成する。また、モデル生成部４８は、上記の繰り返しの中で脳波情報取得部４６により取得された複数個の第２脳波情報をもとに複数個の第２教師データを生成する（Ｓ４８）。モデル生成部４８は、複数個の第１教師データ、複数個の第２教師データ、およびＳＬＲアルゴリズムに基づいて肯定否定判別器を生成し、肯定否定判別器のデータをモデル記憶部５０に格納する（Ｓ５０）。

図７も、意思推定システム１０の動作を示すフローチャートである。同図は、未定質問に対する被験者の反応を推定する動作を示している。脳波計１４は、条件付け済の被験者の脳波の計測を開始し、計測結果である脳波信号データを推定装置１６へ出力することを開始する（Ｓ６０）。推定装置１６の音声出力部４４は、未定質問の音声をヘッドフォン４０から出力させ（Ｓ６２）、その後、合図音声をヘッドフォン４０から出力させる（Ｓ６４）。被験者は、未定質問に対する肯定または否定を思い浮かべる。推定装置１６の脳波情報取得部４６は、未定質問の出力開始から、合図音声の出力完了後、所定時間経過するまでの被験者の脳波信号データを第３脳波情報として取得する（Ｓ６６）。脳波計１４は、被験者の脳波の計測を終了する（Ｓ６８）。

推定装置１６の意思推定部５２は、Ｓ６６で取得された第３脳波情報を肯定否定判別器に入力し、肯定否定判別器から出力された肯定確率と否定確率をもとに、未定質問に対して被験者が肯定を返答するか否定を返答するかを推定する（Ｓ７０）。推定装置１６の推定結果出力部５４は、未定質問に対して被験者が肯定を返答するか否定を返答するかの推定結果を示す推定結果情報を出力する（Ｓ７２）。

第１実施例の意思推定システム１０によると、被験者に対する条件付けにより肯定反応または否定反応を考える事象と平衡感覚が歪む現象とを関連付けさせることで、未定質問が呈示された被験者に、肯定を想起した場合には右への歪みを不可避的に連想させ、否定を想起した場合には左への歪みを不可避的に連想させることができる。既述したように、これまで被験者の脳波から被験者の肯定または否定の意思を推定することは容易でなかったが、右への歪みを連想した際の脳波と、左への歪みを連想した際の脳波のそれぞれは特有の形状を有し、検出が容易である。そのため、条件付け済の被験者の脳波を用いることにより、未定質問に対する被験者の肯定または否定の意思を精度よく推定することができる。

第１実施例の意思推定システム１０は、植物状態の人、閉じ込め症候群の人等、意思表出（意思疎通とも言える）が困難な人の意思を精度よく推定することができ、これらの人とのコミュニケーションを支援することができる。

また、第１実施例の意思推定システム１０によると、機械学習を利用することで、右への歪みを連想した際の脳波と、左への歪みを連想した際の脳波のそれぞれの特徴を効率的に抽出し、高精度の推定を実現する肯定否定判別器を構築できる。実施例の肯定否定判別器によると、人では気づきにくい、被験者の脳波の態様と被験者の意思との相関を反映した推定結果を得ることができる。なお、健常者を被験者とした実験において、意思推定システム１０による推定結果の正解率は７０％から９０％であった。また、閉じ込め症候群患者を被験者とした実験において、意思推定システム１０による推定結果の正解率は８２．５％であった。

以上、本開示を第１実施例をもとに説明した。この実施例は例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

第１実施例に関する変形例を説明する。第１実施例では、条件付け時に、肯定を示す情報と否定を示す情報を被験者に提示する方法として肯定音声を否定音声を出力したが、肯定を示す情報と否定を示す情報を被験者に提示する方法はこれに限られない。例えば、肯定を示す画像（例えば「Ｙｅｓ」を描いた画像）と否定を示す画像（例えば「Ｎｏ」を示す画像）を表示装置に表示させて被験者に目視で確認させつつ、被験者の前庭に刺激を与えてもよい。

第１実施例に関する別の変形例を説明する。第１実施例では、肯定確定質問と否定確定質問と未定質問を被験者に呈示する方法として、これらの質問の音声を出力したが、これらの質問を被験者に呈示する方法はこれに限られない。例えば、肯定確定質問のテキスト、否定確定質問のテキスト、未定質問のテキストのそれぞれを表示装置に表示させて被験者に目視で確認させてもよい。

第１実施例に関するさらに別の変形例を説明する。第１実施例では、肯定否定判別器を構築する機械学習のアルゴリズムとしてＳＬＲを使用したが、他のアルゴリズムを使用してもよい。例えば、ＳＶＭ（Support Vector Machine）のアルゴリズムを使用してもよい。

第１実施例に関するさらに別の変形例を説明する。第１実施例では、機械学習により構築した肯定否定判別器を使用して、条件付け済の被験者の意思（肯定または否定）を推定したが、条件付け済の被験者の意思を推定する方法はこれに限られない。例えば、推定装置１６の推定部４７は、脳波の形状や電圧推移等の類否を比較する他の公知の方法を使用して、第３脳波情報と第１脳波情報の類否と、第３脳波情報と第２脳波情報との類否とを特定することにより、条件付け済の被験者の意思を推定してもよい。

第１実施例に関するさらに別の変形例を説明する。第１実施例の推定装置１６は、予め録音された未定質問を被験者に呈示したが、変形例として、実験者が未定質問を発声することにより未定質問を被験者に呈示してもよい。この場合、推定装置１６は、実験者から所定操作が入力された場合に、合図音声を出力してもよい。

（第２実施例）
本発明者は、被験者が異なる感情を抱く場合に、有意に活動が増加する脳の部位が異なるという知見を得た。この脳の部位は、具体的には、脳の表面の部位であり、言い換えれば、大脳皮質における部位である。第２実施例の意思推定システムは、本発明者の上記知見に基づくものであり、被験者の脳波から、活動が増加した脳部位（実施例では「信号源」と呼ぶ）を推定する。そして、活動が増加した脳部位（実施例では信号源の部位）に基づいて、被験者の意思を推定する。

本実施例に関して、第１実施例と相違する点を中心に以下説明し、共通する点の説明を適宜省略する。本実施例の構成要素のうち第１実施例の構成要素と同一または対応する構成要素には同一の符号を付す。第２実施例の意思推定システム１０の構成と条件付け装置１２の構成は、第１実施例の意思推定システム１０の構成（図２）と条件付け装置１２の構成（図３）と同じであるため説明を省略する。

第２実施例の推定装置１６は、条件付け済の被験者の脳波の信号源を推定し、脳波の信号源をもとに被験者の意思を推定する点で第１実施例の推定装置１６と異なる。第２実施例の推定装置１６の推定部４７は、第１脳波情報に基づく脳波の信号源に関する情報と、第２脳波情報に基づく脳波の信号源に関する情報と、未定質問が呈示された被験者の脳波の信号源に関する情報とに基づいて、未定質問に対して被験者が第１の反応（肯定）と第２の反応（否定）のいずれを示すかを推定する。

図８は、第２実施例の推定装置１６の機能ブロックを示すブロック図である。第２実施例の推定装置１６は、第１実施例の推定装置１６の構成（図４）に加えて、信号源推定関数生成部５６、信号源推定関数記憶部５８、信号源推定部６０をさらに備える。

第２実施例では、脳の表面（例えば大脳皮質）を所定の大きさに分割した複数の部位を定義し、実施例では１００個の部位を定義する。これらの複数の部位は、例えば、扁桃体、島皮質、帯状回前部等の公知の部位を含んでもよく、それらの公知の部位をより細分化した部位を含んでもよい。信号源推定関数生成部５６は、脳波信号データから当該脳波の信号源を推定するための信号源推定関数を生成する。

第２実施例における信号源推定関数は、３０チャネルの脳波信号データを入力として受け付け、１００個の脳部位それぞれの活動の有無を示すデータを出力する関数である。言い換えれば、それぞれの脳部位が信号源か否かを示すデータを出力する関数である。信号源推定関数は、３０チャネルの脳波信号データから、１００個の脳部位それぞれに対して信号源としての重み付けを行う３０×１００の行列であってもよい。

信号源推定関数生成部５６の上記処理は、実施例では、公知のソフトウェアである株式会社国際電気通信基礎技術研究所が提供するＶＢＭＥＧ（Variational Bayesian Multimodal EncephaloGraphy）を用いて実現する。ＶＢＭＥＧは、脳波信号データに基づいて脳の皮質電流を推定することにより信号源を推定するソフトウェアである。脳波信号データは、脳波の波形を示すデータでもよく、時系列での振幅の推移を示すデータでもよく、脳波の周波数特性を示すデータでもよい。

具体的には、信号源推定関数生成部５６は、ＶＢＭＥＧが提供する所定のＡＰＩ（Application Programming Interface）に、（１）不図示のｆＭＲＩ（functional Magnetic Resonance Imaging）装置により撮像された被験者の脳の構造を示す画像データ、（２）不図示のｆＭＲＩ装置により計測された被験者の脳活動データ、（３）被験者の頭皮上における電極の設置位置を示すデータ、（４）脳波情報取得部４６により取得された脳波信号データを入力することにより、ＶＢＭＥＧに信号源推定関数を生成させる。

信号源推定関数生成部５６は、生成した信号源推定関数を信号源推定関数記憶部５８に格納する。信号源推定関数記憶部５８は、信号源推定関数生成部５６により生成された信号源推定関数を記憶する記憶領域である。

信号源推定部６０は、脳波情報取得部４６により取得された脳波情報が示す脳波の態様に基づいて、被験者の脳の複数の部位の中から１つ以上の信号源を推定する。具体的には、信号源推定部６０は、信号源推定関数記憶部５８に記憶された信号源推定関数に３０チャネルの脳波データを入力することにより、信号源推定関数の出力として、１つ以上の信号源に関するデータ（以下「信号源データ」とも呼ぶ。）を取得する。信号源推定部６０は、取得した信号源データを推定結果としてモデル生成部４８に渡し（肯定否定判別器生成時）、または、意思推定部５２に渡す（意思推定時）。

信号源推定部６０が出力する信号源データは、複数の信号源（の候補）のそれぞれについて、各信号源から出力された脳波の信号強度（電流の大きさ）の時系列での推移を示すデータである。例えば、信号源データは、予め定められた１００個の信号源のそれぞれから出力された脳波について、脳波計測期間中の２５６時点の信号強度を示すデータであってもよい。

第２実施例の意思推定システム１０の動作を説明する。
まず、図６を参照しつつ、条件付け済の被験者の脳波情報をもとに肯定否定判別器を生成する動作を説明する。前提として、推定装置１６の信号源推定関数記憶部５８には、予め計測された被験者の脳波信号データ等をもとに信号源推定関数生成部５６が生成した被験者用の信号源推定関数が格納されている。図６に示す処理のうちＳ３０～Ｓ４６の処理は、第１実施例において説明済みであるため再度の説明を省略する。

Ｓ３０～Ｓ４６の処理を実行後、推定装置１６の信号源推定部６０は、信号源推定関数記憶部５８から信号源推定関数を読み出し、脳波情報取得部４６により取得された複数個の第１脳波情報のそれぞれを信号源推定関数に入力することにより、複数個の第１脳波情報に対応する複数個の信号源データ（以下「第１信号源データ」とも呼ぶ。）を取得する。また、信号源推定部６０は、脳波情報取得部４６により取得された複数個の第２脳波情報のそれぞれを信号源推定関数に入力することにより、複数個の第２脳波情報に対応する複数個の信号源データ（以下「第２信号源データ」とも呼ぶ。）を取得する。

信号源推定部６０は、複数個の第１信号源データと複数個の第２信号源データをモデル生成部４８へ出力する。既述したように、複数個の信号源データのそれぞれは、予め定められた１００個の信号源のそれぞれから出力された信号強度の時系列での推移を示す情報であってもよい。

推定装置１６のモデル生成部４８は、信号源推定部６０から出力された複数個の第１信号源データを返答「肯定」に対応付けた複数個の第１教師データを生成する。また、モデル生成部４８は、信号源推定部６０から出力された複数個の第２信号源データを返答「否定」に対応付けた複数個の第２教師データを生成する（Ｓ４８）。モデル生成部４８は、複数個の第１教師データ、複数個の第２教師データおよびＳＬＲアルゴリズムに基づいて、肯定否定判別器を生成し、肯定否定判別器のデータをモデル記憶部５０に格納する（Ｓ５０）。

第２実施例の肯定否定判別器は、脳波の信号源の時系列での推移と、肯定を想起したこととの相関度合い、および、脳波の信号源の時系列での推移と、否定を想起したこととの相関度合いを示す数理モデルである。脳波の信号源の時系列での推移は、複数の信号源からの信号強度の時系列での推移とも言える。具体的には、第２実施例の肯定否定判別器は、脳波の信号源データを入力として受け付け、質問に対する被験者の返答が肯定となる確率と、否定となる確率を出力する。

次に、図７を参照しつつ、未定質問に対する被験者の反応を推定する動作を説明する。図７に示す処理のうちＳ６０～Ｓ６８の処理は、第１実施例において説明済みであるため再度の説明を省略する。

Ｓ６０～Ｓ６８の処理を実行後、推定装置１６の信号源推定部６０は、信号源推定関数記憶部５８から信号源推定関数を読み出し、Ｓ６６で取得された第３脳波情報を信号源推定関数に入力することにより、第３脳波情報に対応する信号源データ（以下「第３信号源データ」とも呼ぶ。）を取得する。第３信号源データは、未定質問が呈示された被験者の脳波の信号源を示すデータである。

推定装置１６の意思推定部５２は、第３信号源データを肯定否定判別器に入力し、肯定否定判別器から出力された肯定確率と否定確率をもとに、未定質問に対して被験者が肯定を返答するか否定を返答するかを推定する（Ｓ７０）。推定装置１６の推定結果出力部５４は、未定質問に対して被験者が肯定を返答するか否定を返答するかの推定結果を示す推定結果情報を出力する（Ｓ７２）。

第２実施例の意思推定システム１０も、第１実施例の意思推定システム１０と同様の効果を奏する。また、被験者の頭皮上で計測される脳波は、空間分解能が低く、様々なノイズが混入しやすいが、第２実施例の意思推定システム１０では、脳波から一旦信号源の情報に変換することで、ノイズの影響を除去することができ、被験者の意思の推定精度を高めることができる。

以上、本開示を第２実施例をもとに説明した。この実施例は例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

第２実施例に関する変形例を説明する。第２実施例では、信号源を推定するためにＶＢＭＥＧを使用したが、他の手法により信号源を推定してもよい。例えば、ｓＬＯＲＥＴＡ（standardized Low-Resolution Brain Electromagnetic Tomography）を使用して信号源を推定してもよい。ｓＬＯＲＥＴＡは、脳機能イメージング解析の手法であり、脳波や脳磁図による脳内神経活動を脳図譜（言い換えれば標準脳）に重畳して描く解析手法である。

第２実施例に関する別の変形例を説明する。第２実施例では、ｆＭＲＩ装置を使用して、ユーザの脳波の信号源（言い換えれば脳活動）を特定したが、ｆＭＲＩ装置を使用しない構成も可能である。例えば、解剖学的な知見、および／または、脳波計１４の電極の三次元位置から推定される頭蓋骨の形状に基づいて、脳波の態様と信号源との対応関係を仮定または特定する構成でもよく、この場合、ｆＭＲＩ装置は不要になる。信号源推定部６０は、上記対応関係に基づいて信号源を推定してもよい。

上述の第１実施例と第２実施例では、質問に対する被験者の反応として第１の反応（肯定）と第２の反応（否定）を例示したが、推定対象となる被験者の反応は肯定と否定の２種類には限られない。ＧＶＳでは、被験者に取り付ける電極を４つにすることで、前後左右４方向への平衡感覚の歪みを被験者に生じさせることができる。意思推定システム１０は、このことを利用して、３種類以上の被験者の反応を推定してもよい。

意思推定システム１０の条件付け装置１２は、被験者に対する条件付けにおいて、４種類の反応（例えば肯定、否定、わからない、答えたくない）と、前後左右４方向への平衡感覚の歪みとを関連付けてもよい。意思推定システム１０は、上記４種類の反応のそれぞれが確定している質問を被験者に呈示して、それぞれの質問に対する被験者の４種類の脳波情報を取得し、４種類の脳波情報をもとに、被験者の意思を推定する数理モデル（ここでは「感情判別機」と呼ぶ。）を生成してもよい。意思推定システム１０は、上記４つの反応のいずれを示すかが未確定の質問を被験者に呈示して被験者の脳波情報を取得し、取得した脳波情報を感情判別機に入力することにより、上記未確定の質問に対して被験者が上記４つの反応のいずれを示すかを推定してもよい。

上述した実施例および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

１０ 意思推定システム、 １２ 条件付け装置、 １４ 脳波計、 １６ 推定装置、 ４６ 脳波情報取得部、 ４７ 推定部、 ４８ モデル生成部、 ５２ 意思推定部、 ６０ 信号源推定部。

Claims (3)

1. 質問に対する第１種類の反応を示す情報が被験者に呈示された場合、前記被験者の前庭に第１態様の刺激を与え、質問に対する前記第１種類の反応とは異なる第２種類の反応を示す情報が前記被験者に呈示された場合、前記被験者の前庭に前記第１態様の刺激とは異なる第２態様の刺激を与える刺激部と、
   前記第１種類の反応を示すことが確定している質問が呈示された前記被験者の脳波に関する情報である第１脳波情報と、前記第２種類の反応を示すことが確定している質問が呈示された前記被験者の脳波に関する情報である第２脳波情報とを取得する取得部と、
   前記第１脳波情報と前記第２脳波情報とに基づいて、前記被験者の脳波に関する情報の入力を受け付けるモデルであって、かつ、前記被験者の反応が前記第１種類の反応と前記第２種類の反応のいずれであるかの推定に関する情報を出力するモデルを生成する生成部と、
   反応が未知の質問が呈示された前記被験者の脳波に関する情報を前記モデルに入力し、前記モデルから出力された情報に基づいて、前記反応が未知の質問に対する前記被験者の反応が前記第１種類の反応と前記第２種類の反応のいずれであるかを推定する推定部と、
   を備えることを特徴とする情報処理システム。
2. 前記生成部は、前記第１脳波情報に基づく脳波の信号源に関する情報と、前記第２脳波情報に基づく脳波の信号源に関する情報とに基づいて前記モデルを生成し、
   前記推定部は、前記反応が未知の質問が呈示された前記被験者の脳波の信号源に関する情報を前記モデルに入力し、前記モデルから出力された情報に基づいて、前記反応が未知の質問に対する前記被験者の反応を推定することを特徴とする請求項１に記載の情報処理システム。
3. 質問に対する第１種類の反応を示す情報が被験者に呈示された場合、前記被験者の前庭に第１態様の刺激を与え、質問に対する前記第１種類の反応とは異なる第２種類の反応を示す情報が前記被験者に呈示された場合、前記被験者の前庭に前記第１態様の刺激とは異なる第２態様の刺激を与えるステップと、
   前記第１種類の反応を示すことが確定している質問が呈示された前記被験者の脳波に関する情報である第１脳波情報と、前記第２種類の反応を示すことが確定している質問が呈示された前記被験者の脳波に関する情報である第２脳波情報とを取得するステップと、
   前記第１脳波情報と前記第２脳波情報とに基づいて、前記被験者の脳波に関する情報の入力を受け付けるモデルであって、かつ、前記被験者の反応が前記第１種類の反応と前記第２種類の反応のいずれであるかの推定に関する情報を出力するモデルを生成するステップと、
   反応が未知の質問が呈示された前記被験者の脳波に関する情報を前記モデルに入力し、前記モデルから出力された情報に基づいて、前記反応が未知の質問に対する前記被験者の反応が前記第１種類の反応と前記第２種類の反応のいずれであるかを推定するステップと、
   をコンピュータが実行することを特徴とする情報処理方法。

Images