JP6928348B2 - 脳活動予測装置、知覚認知内容推定システム、及び脳活動予測方法 - Google Patents

Description

本発明は、脳活動予測装置、知覚認知内容推定システム、及び脳活動予測方法に関する。

近年、動画や画像などの刺激に対する脳活動から、知覚及び認知内容を推定する技術が知られている（例えば、特許文献１を参照）。このような従来の技術では、例えば、動画や画像などの刺激と、当該刺激に対する脳活動の計測データとのペアデータの対応関係の中間表現となる特徴空間を定義し、脳活動から特徴空間への投射関係をデータから学習する。そして、従来の技術では、学習した投射関係に基づいて、新たな刺激に対する脳活動の計測データから特徴空間への投射先を予測することにより、知覚及び認知内容を推定していた。

特開２０１７−１２９９２３号公報

しかしながら、従来の技術では、新たな刺激に対して知覚及び認知内容の推定を行うたびに、新たな刺激に対する脳活動を、例えば、ｆＭＲＩ（functional Magnetic Resonance Imaging）などにより計測する必要があった。そのため、従来の技術では、人的、金銭的、時間的なコストを多く費やす必要があり、利便性が悪いという課題があった。

本発明は、上記問題を解決すべくなされたもので、その目的は、知覚及び認知内容を推定する上で利便性を向上させることができる脳活動予測装置、知覚認知内容推定システム、及び脳活動予測方法を提供することにある。

上記問題を解決するために、本発明の一態様は、刺激に対する表現を第１の特徴空間に投射した第１特徴ベクトルを生成し、当該第１特徴ベクトルを時系列にまとめた第１刺激特徴行列を生成する特徴行列生成部と、被験者に与えた学習用の刺激に対する前記第１刺激特徴行列と、当該学習用の刺激に対する脳活動を計測した計測データに基づいて生成された脳活動ベクトルを時系列にまとめた脳活動行列との組データを学習データとした回帰モデルにより、前記第１の特徴空間から前記脳活動への投射関係を学習したエンコーダ学習結果に基づいて、新たな刺激に対して前記特徴行列生成部によって生成された前記第１刺激特徴行列から前記新たな刺激に対する前記脳活動行列を予測する脳活動予測部とを備えることを特徴とする脳活動予測装置である。

また、本発明の一態様は、上記の脳活動予測装置において、前記エンコーダ学習結果は、前記第１特徴ベクトルである刺激成分に過去の時点の前記脳活動ベクトルである自己回帰成分を結合した結合特徴ベクトルを生成し、当該結合特徴ベクトルを時系列にまとめて生成した前記第１刺激特徴行列と、前記脳活動行列との前記組データを学習データとして、前記自己回帰成分を含む前記回帰モデルにより学習されており、前記脳活動予測部は、前記自己回帰成分を含む前記回帰モデルにより学習された前記エンコーダ学習結果に基づいて、前記新たな刺激に対する前記第１刺激特徴行列から前記新たな刺激に対する前記脳活動行列を予測することを特徴とする。

また、本発明の一態様は、上記の脳活動予測装置において、前記特徴行列生成部は、前記脳活動予測部により予測された前記脳活動行列に基づく過去の時点の前記脳活動ベクトルと前記第１特徴ベクトルを結合して前記結合特徴ベクトルを生成し、当該結合特徴ベクトルを時系列にまとめて生成した前記第１刺激特徴行列を前記新たな刺激に対する前記第１刺激特徴行列として、前記エンコーダ学習結果に基づいて、更新された前記脳活動行列を生成することを特徴とする。

また、本発明の一態様は、上記の脳活動予測装置において、前記脳活動は、脳を分割した立方体の単位領域であるボクセルごとに計測されており、前記脳活動予測部は、学習処理の異なる複数の前記エンコーダ学習結果のうちから、学習時の予測性能に基づいて、前記ボクセルごとに選択した前記エンコーダ学習結果に基づいて、前記ボクセルごとに前記脳活動を予測することを特徴とする。

また、本発明の一態様は、上記の脳活動予測装置において、前記第１特徴ベクトルは、深層学習モデルで算出した中間層の活性化パターンであることを特徴とする。

また、本発明の一態様は、上記の脳活動予測装置において、前記エンコーダ学習結果を生成するエンコーダ学習部を備えることを特徴とする。

また、本発明の一態様は、上記の脳活動予測装置と、前記学習用の刺激に対して、刺激に対する知覚の意味内容を示すラベルを第２の特徴空間に投射した第２特徴ベクトルを生成し、当該第２特徴ベクトル又は当該第２特徴ベクトルを時系列にまとめた前記学習用の刺激に対する第２刺激特徴行列と、前記学習用の刺激に対する前記脳活動行列との組データを学習データとして、前記脳活動から前記第２の特徴空間への投射関係を学習したデコーダ学習結果と、前記脳活動予測装置によって、前記新たな刺激に対して前記第１刺激特徴行列から予測された前記脳活動行列とに基づいて、前記新たな刺激に対する前記第２特徴ベクトル又は前記第２刺激特徴行列を予測する刺激特徴予測部とを備えることを特徴とする知覚認知内容推定システムである。

また、本発明の一態様は、上記の知覚認知内容推定システムにおいて、前記刺激特徴予測部が予測した前記第２刺激特徴行列に含まれる時系列の第２特徴ベクトル、又は前記刺激特徴予測部が予測した前記第２特徴ベクトルと、前記第２の特徴空間に投射された前記ラベルに対応する前記第２特徴ベクトルとの距離に基づいて、知覚及び認知内容のいずれかを少なくとも推定する知覚認知内容推定部を備えることを特徴とする。

また、本発明の一態様は、特徴行列生成部が、刺激に対する表現を第１の特徴空間に投射した第１特徴ベクトルを生成し、当該第１特徴ベクトルを時系列にまとめた第１刺激特徴行列を生成する特徴行列生成ステップと、脳活動予測部が、被験者に与えた学習用の刺激に対する前記第１刺激特徴行列と、当該学習用の刺激に対する脳活動を計測した計測データに基づいて生成された脳活動ベクトルを時系列にまとめた脳活動行列との組データを学習データとした回帰モデルにより、前記第１の特徴空間から前記脳活動への投射関係を学習したエンコーダ学習結果に基づいて、新たな刺激に対して前記特徴行列生成ステップによって生成された前記第１刺激特徴行列から前記新たな刺激に対する前記脳活動行列を予測する脳活動予測ステップとを含むことを特徴とする脳活動予測方法である。

また、本発明の一態様は、刺激に対する表現を第１の特徴空間に投射した第１特徴ベクトルをする特徴ベクトル生成部と、被験者に与えた学習用の刺激に対する前記第１特徴ベクトルと、当該学習用の刺激に対する脳活動を計測した計測データに基づいて生成された脳活動ベクトルとの組データを学習データとした回帰モデルにより、前記第１の特徴空間から前記脳活動への投射関係を学習したエンコーダ学習結果に基づいて、新たな刺激に対して前記特徴ベクトル生成部によって生成された前記第１特徴ベクトルから前記新たな刺激に対する前記脳活動ベクトルを予測する脳活動予測部とを備えることを特徴とする脳活動予測装置である。

また、本発明の一態様は、上記の脳活動予測装置において、前記エンコーダ学習結果は、前記第１特徴ベクトルである刺激成分に過去の時点の前記脳活動ベクトルである自己回帰成分を結合した結合特徴ベクトルを生成し、当該結合特徴ベクトルと、前記脳活動ベクトルとの前記組データを学習データとして、前記自己回帰成分を含む前記回帰モデルにより学習されており、前記脳活動予測部は、前記自己回帰成分を含む前記回帰モデルにより学習された前記エンコーダ学習結果に基づいて、前記新たな刺激に対する前記第１特徴ベクトルから前記新たな刺激に対する前記脳活動ベクトルを予測することを特徴とする。

また、本発明の一態様は、上記の脳活動予測装置と、前記学習用の刺激に対して、刺激に対する知覚の意味内容を示すラベルを第２の特徴空間に投射した第２特徴ベクトルを生成し、当該第２特徴ベクトルと、前記学習用の刺激に対する前記脳活動ベクトルとの組データを学習データとして、前記脳活動から前記第２の特徴空間への投射関係を学習したデコーダ学習結果と、前記脳活動予測装置によって、前記新たな刺激に対して前記第１特徴ベクトルから予測された前記脳活動ベクトルとに基づいて、前記新たな刺激に対する前記第２特徴ベクトルを予測する刺激特徴予測部とを備えることを特徴とする知覚認知内容推定システムである。

また、本発明の一態様は、特徴ベクトル生成部が、刺激に対する表現を第１の特徴空間に投射した第１特徴ベクトルを生成する特徴ベクトル生成ステップと、脳活動予測部が、被験者に与えた学習用の刺激に対する前記第１特徴ベクトルと、当該学習用の刺激に対する脳活動を計測した計測データに基づいて生成された脳活動ベクトルとの組データを学習データとした回帰モデルにより、前記第１の特徴空間から前記脳活動への投射関係を学習したエンコーダ学習結果に基づいて、新たな刺激に対して前記特徴ベクトル生成ステップによって生成された前記第１特徴ベクトルから前記新たな刺激に対する前記脳活動ベクトルを予測する脳活動予測ステップとを含むことを特徴とする脳活動予測方法である。

本発明によれば、知覚及び認知内容を推定する上で利便性を向上させることができる。

本実施形態による知覚認知内容推定システムの一例を示す機能ブロック図である。 本実施形態におけるエンコーダの学習処理を説明する図である。 本実施形態におけるエンコーダの学習処理の一例を示すフローチャートである。 本実施形態におけるデコーダの学習処理を説明する図である。 本実施形態におけるデコーダの学習処理の一例を示すフローチャートである。 本実施形態による知覚認知内容推定システムの動作の一例を示すフローチャートである。 本実施形態における脳活動の予測処理の一例を示すフローチャートである。 本実施形態における知覚及び認知内容の推定処理の一例を示すフローチャートである。 本実施形態におけるラベルの特徴空間の一例を示す図である。

以下、本発明の一実施形態による脳活動予測装置、及び知覚認知内容推定システムについて、図面を参照して説明する。

図１は、本実施形態による知覚認知内容推定システム１の一例を示す概略ブロック図である。
図１に示すように、知覚認知内容推定システム１は、脳活動予測装置１０と、知覚認知内容推定装置２０とを備えている。知覚認知内容推定システム１は、例えば、動画（映像）、画像、音などの被験者に与えた刺激に対して、知覚及び認知内容を推定する。

脳活動予測装置１０は、被験者に与えた刺激（例えば、動画（映像）、画像、音など）に対する被験者の脳活動を予測するエンコーダとして機能する。脳活動予測装置１０は、記憶部１１と、制御部１２とを備えている。
記憶部１１は、脳活動予測装置１０が実行する処理に利用される各種情報を記憶する。記憶部１１は、学習データ記憶部１１１と、刺激特徴行列記憶部１１２と、エンコーダ学習結果記憶部１１３と、予測脳活動記憶部１１４とを備えている。

学習データ記憶部１１１は、エンコーダを学習するための学習データを記憶する。学習データ記憶部１１１は、例えば、刺激データと、脳活動の計測データとの組データ、及び、当該組データを変換したベクトルデータの組データ、及び行列データの組データを記憶する。ここで、刺激データは、動画データ、画像データ、音データなどである。また、脳活動の計測データは、当該刺激データによる刺激を被験者に与えた場合の脳活動を計測したデータであり、例えば、ｆＭＲＩ（functional Magnetic Resonance Imaging）の計測データである。なお、ｆＭＲＩの計測データは、被験者の脳活動に関連した血流動態反応を視覚化するｆＭＲＩ信号（脳活動信号）であり、例えば、２ｍｍ×２ｍｍ×２ｍｍの立方体を最小単位（ボクセル）とした約数万箇所を所定の時間間隔（例えば、２秒間隔）で計測したｆＭＲＩ信号である。学習データ記憶部１１１は、このような学習用の刺激データと当該刺激データに対する脳活動の計測データとの組データを記憶する。

また、学習データ記憶部１１１は、上述した学習用の刺激データを変換した刺激特徴行列（第１刺激特徴行列）と、脳活動の計測データを変換した脳活動行列との組データを、ベクトルデータの組データ、及び行列データの組データとして記憶する。なお、刺激特徴行列、及び脳活動行列の詳細については後述する。

刺激特徴行列記憶部１１２は、脳活動を予測する際に、刺激データの特徴を抽出した特徴ベクトル（第１特徴ベクトル）を、時系列にまとめた刺激特徴行列（第１刺激特徴行列）を記憶する。
エンコーダ学習結果記憶部１１３は、エンコーダを機械学習した学習結果（エンコーダ学習結果）を記憶する。
予測脳活動記憶部１１４は、刺激データから予測した脳活動を示す情報（予測結果）を記憶する。予測脳活動記憶部１１４は、予測結果を予測脳活動行列として記憶する。

制御部１２は、例えば、ＣＰＵ（Central Processing Unit）などを含むプロセッサであり、脳活動予測装置１０を統括的に制御する。制御部１２は、例えば、エンコーダを機械学習するエンコーダ学習処理と、学習したエンコーダを用いて、刺激から脳活動を予測する脳活動予測処理とを実行する。また、制御部１２は、刺激特徴行列生成部１２１と、脳活動行列生成部１２２と、エンコーダ学習部１２３と、脳活動予測部１２４とを備えている。

刺激特徴行列生成部１２１（特徴行列生成部の一例）は、刺激データから刺激特徴行列を生成する。刺激特徴行列生成部１２１は、刺激に対する表現を所定の特徴空間（第１の特徴空間）に投射した特徴ベクトル（第１特徴ベクトル）を生成し、当該特徴ベクトルを時系列にまとめた刺激特徴行列（第１刺激特徴行列）を生成する。刺激特徴行列生成部１２１は、特徴ベクトルを生成する際に、例えば、刺激の画像データに対して、深層学習モデルで算出した中間層（複数層の畳み込みニューラルネットワーク（ＣＮＮ）のうちの１層）の活性化パターンを特徴ベクトルとして生成する。なお、所定の特徴空間（第１の特徴空間）としては、深層学習モデルの中間層活性化パターンの他に、例えば、時空間周波数、脳活動パターンの時間的自己相関などや、それらの組み合わせが挙げられる。また、刺激特徴行列生成部１２１は、エンコーダ学習処理と、脳活動予測処理とのそれぞれにおいて、刺激データから刺激特徴行列を生成する。

刺激特徴行列生成部１２１は、エンコーダ学習処理において、学習データ記憶部１１１が記憶する学習用の刺激データから、被験者に与えた学習用の刺激に対する刺激特徴行列を生成する。刺激特徴行列生成部１２１は、生成した刺激特徴行列を学習用の組データの一部として、学習データ記憶部１１１に記憶させる。

また、刺激特徴行列生成部１２１は、脳活動予測処理において、入力された新たに刺激データから、新たな刺激に対応する刺激特徴行列を生成する。刺激特徴行列生成部１２１は、生成した新たな刺激に対応する刺激特徴行列を刺激特徴行列記憶部１１２に記憶させる。

また、刺激特徴行列生成部１２１は、学習に自己回帰モデル（自己回帰成分を含む回帰モデル）を利用する場合には、過去の時点の脳活動ベクトルを組み込んだ刺激特徴行列を生成する。刺激特徴行列生成部１２１は、生成した特徴ベクトルである刺激成分に、過去の時点（例えば、ｔ−１、ｔ−２、・・・、ｔ−ｋ）の脳活動ベクトル（Ｒ＿ｔ−１，Ｒ＿ｔ−２，・・・，Ｒ＿ｔ−ｋ）である自己回帰成分を結合して新しい特徴ベクトル（結合特徴ベクトル）を生成し、結合特徴ベクトルを時系列にまとめて新たな刺激特徴行列を生成する。また、刺激特徴行列生成部１２１は、エンコーダ学習処理と、脳活動予測処理とのそれぞれにおいて、脳活動ベクトルを組み込んだ刺激特徴行列である自己回帰モデル用の刺激特徴行列を生成する。なお、自己回帰成分を含む回帰モデルの詳細については後述する。

刺激特徴行列生成部１２１は、エンコーダ学習処理において、生成した学習用の刺激特徴行列と、後述する脳活動行列生成部１２２が生成した脳活動ベクトルとに基づいて、自己回帰モデル用の刺激特徴行列を生成する。刺激特徴行列生成部１２１は、生成した自己回帰モデル用の刺激特徴行列を学習用の組データの一部として、学習データ記憶部１１１に記憶させる。

また、刺激特徴行列生成部１２１は、脳活動予測処理において、後述する脳活動予測部１２４により予測された脳活動行列に基づく過去の時点の脳活動ベクトルと、新たに刺激データから生成した刺激特徴行列に含まれる特徴ベクトルを結合して結合特徴ベクトルを生成する。そして、刺激特徴行列生成部１２１は、当該結合特徴ベクトルを時系列にまとめて生成した刺激特徴行列を新たな刺激に対する刺激特徴行列として、刺激特徴行列記憶部１１２に記憶させる。

脳活動行列生成部１２２は、刺激に対する脳活動を計測した計測データから脳活動行列を生成する。脳活動行列生成部１２２は、学習データ記憶部１１１が記憶するボクセル数分のｆＭＲＩの計測データを要素とする脳活動ベクトルを生成し、時間（ｔ１，ｔ２，・・・，ｔｎ）における脳活動ベクトル（Ｒ＿ｔ１，Ｒ＿ｔ２，・・・，Ｒ＿ｔｎ）を得る。そして、脳活動行列生成部１２２は、当該脳活動ベクトルを時系列にまとめた脳活動行列を生成する。脳活動行列生成部１２２は、生成した脳活動行列を学習用の組データの一部として、学習データ記憶部１１１に記憶させる。

エンコーダ学習部１２３は、学習データ記憶部１１１が記憶する刺激特徴行列と脳活動行列との組データを学習データとした回帰モデルにより、上述した所定の特徴空間（第１の特徴空間）から脳活動への投射関係を学習して、学習結果であるエンコーダ学習結果（エンコードモデル）を生成する。エンコーダ学習部１２３は、例えば、上述した特徴ベクトルを時系列にまとめて生成した刺激特徴行列と、脳活動行列との組データを学習データとして、自己回帰成分を含まない回帰モデルによりエンコーダを学習し、エンコーダ学習結果（自己回帰成分を含まないエンコードモデル）を生成する。エンコーダ学習部１２３は、例えば、上述した結合特徴ベクトルを時系列にまとめて生成した刺激特徴行列と、脳活動行列との組データを学習データとして、自己回帰モデル（自己回帰成分を含む回帰モデル）によりエンコーダを学習し、エンコーダ学習結果（自己回帰成分を含むエンコードモデル）を生成する。エンコーダ学習部１２３は、生成したエンコーダ学習結果をエンコーダ学習結果記憶部１１３に記憶させる。

ここで、本実施形態における回帰モデルでは、上述した特徴ベクトル（第１特徴ベクトル）を刺激成分として、当該特徴ベクトルに基づいて、所定の特徴空間（第１の特徴空間）から脳活動への投射関係を学習する学習モデルである。本実施形態における回帰モデルには、自己回帰成分を含まない学習データにより学習する「自己回帰成分を含まない回帰モデル」と、自己回帰成分を含む学習データにより学習する「自己回帰成分を含む回帰モデル」とが含まれる。

脳活動予測部１２４は、エンコーダを用いて、新たな刺激に対する脳活動を予測する。すなわち、脳活動予測部１２４は、エンコーダ学習結果記憶部１１３が記憶するエンコーダ学習結果に基づいて、新たな刺激に対して刺激特徴行列生成部１２１によって生成された刺激特徴行列から新たな刺激に対する脳活動行列を予測する。
なお、本実施形態では、自己回帰モデルを利用するため、脳活動予測部１２４は、刺激特徴行列生成部１２１に対して、一旦生成した脳活動行列に基づく過去の時点の脳活動ベクトルと、刺激特徴行列に含まれる特徴ベクトルを結合した刺激特徴行列を生成させる。脳活動予測部１２４は、自己回帰モデルにより学習されたエンコーダ学習結果に基づいて、この更新された刺激特徴行列から、新たな刺激に対する脳活動行列を再度予測する。

脳活動予測部１２４は、予測した脳活動行列を、予測結果として、予測脳活動記憶部１１４に記憶させる。
なお、脳活動行列は、ボクセル数分の要素を持つ脳活動ベクトルを時系列にまとめたものであり、各要素が、各ボクセルのｆＭＲＩ信号（脳活動信号）の値に対応する。

知覚認知内容推定装置２０は、被験者に与えた刺激（例えば、動画（映像）、画像、音など）に対する被験者の知覚及び認知内容を推定する。知覚認知内容推定装置２０は、被験者に与えた刺激に対する脳活動の計測データの代わりに、脳活動予測装置１０から刺激に対する脳活動行列を取得し、予め機械学習したデコーダを用いて、当該脳活動行列から知覚及び認知内容を推定する。また、知覚認知内容推定装置２０は、記憶部２１と、制御部２２とを備えている。

記憶部２１は、知覚認知内容推定装置２０が実行する処理に利用される各種情報を記憶する。記憶部２１は、学習データ記憶部２１１と、ラベル特徴ベクトル記憶部２１２と、デコーダ学習結果記憶部２１３と、推定結果記憶部２１４とを備えている。

学習データ記憶部２１１は、デコーダを機械学習するための学習データを記憶する。学習データ記憶部２１１は、例えば、刺激データに対する知覚の意味内容を示すラベル情報と、脳活動の計測データとの組データ、及び、当該組データを変換したベクトルデータの組データ、及び行列データの組データを記憶する。ここで、刺激データ及び脳活動の計測データは、上述したエンコーダを学習した際に用いたデータと同一のものを用いるものとする。また、ラベル情報は、例えば、画像データに対する印象を推定したい場合には、動画刺激を所定の時間間隔で画像分割し、各画像データを説明する説明文章を言語記述（アノテーション）でラベリングした情報である。ラベル情報は、例えば、「可愛い」、「優しい」、「面白い」などの単語であってもよいし、画像データの特徴を表現する文章であってもよいし、印象の数値評定であってもよいし、画像が誘起する行動の指標でもよい。

また、学習データ記憶部２１１は、上述した学習用の刺激データに対するラベル情報を変換したラベル刺激特徴行列（第２刺激特徴行列）と、脳活動の計測データを変換した脳活動行列との組データを、ベクトルデータの組データ、及び行列データの組データとして記憶する。なお、ラベル刺激特徴行列、及び脳活動行列の詳細については後述する。

ラベル特徴ベクトル記憶部２１２は、知覚及び認知内容を推定する際に比較する、ラベル情報の特徴を抽出し、所定の特徴空間（第２の特徴空間）に投射したラベル特徴ベクトル（第２特徴ベクトル）を予め記憶する。ラベル特徴ベクトル記憶部２１２は、ラベル情報（例えば、単語など）と、当該ラベル情報に対応するラベル特徴ベクトルとを対応付けて記憶する。また、ラベル特徴ベクトル記憶部２１２は、デコーダの学習などで使用した際のラベル情報及びラベル特徴ベクトルを含む複数のラベル特徴ベクトルを記憶しているものとする。

デコーダ学習結果記憶部２１３は、デコーダを機械学習した学習結果（デコーダ学習結果）を記憶する。
推定結果記憶部２１４は、脳活動（脳活動行列）から推定したラベル情報、及びラベル情報に関する情報を推定結果として記憶する。

制御部２２は、例えば、ＣＰＵなどを含むプロセッサであり、知覚認知内容推定装置２０を統括的に制御する。制御部２２は、例えば、デコーダを機械学習するデコーダ学習処理と、学習したデコーダを用いて、知覚及び認知内容の推定、及び行動の予測などを行う知覚認知内容推定処理とを実行する。また、制御部２２は、ラベル刺激特徴行列生成部２２１と、脳活動行列生成部２２２と、デコーダ学習部２２３と、刺激特徴予測部２２４と知覚認知内容推定部２２５とを備えている。

ラベル刺激特徴行列生成部２２１は、上述したラベル情報からラベル刺激特徴行列を生成する。ラベル刺激特徴行列生成部２２１は、ラベルを所定の特徴空間（第２の特徴空間）に投射したラベル特徴ベクトル（第２特徴ベクトル）を生成し、当該ラベル特徴ベクトルを時系列にまとめた学習用の刺激に対するラベル刺激特徴行列（第２刺激特徴行列）を生成する。ラベル刺激特徴行列生成部２２１は、例えば、ラベル情報が、言語記述（アノテーション）の文章である場合には、文章を形態素解析で単語に分解した上で、各単語をＷｉｋｉｐｅｄｉａ（登録商標）などのコーパスで作られたＳｋｉｐ−ｇｒａｍ等の空間に投射し、結果得られた単語のベクトルを加重平均することで、文章ラベルのラベル特徴ベクトルを算出する。

ラベル刺激特徴行列生成部２２１は、学習データ記憶部２１１が記憶する学習用のラベル情報から、学習用の刺激に対するラベル刺激特徴行列を生成し、生成したラベル刺激特徴行列を学習用の組データの一部として、学習データ記憶部２１１に記憶させる。
なお、ここでの所定の特徴空間（第２の特徴空間）は、上述したエンコーダに用いた所定の特徴空間（第１の特徴空間）と同一である必要はなく、それぞれの特徴ベクトルに合った特徴空間を用いることが望ましい。

脳活動行列生成部２２２は、刺激に対する脳活動を計測した計測データから脳活動行列を生成する。脳活動行列生成部２２２は、学習データ記憶部２１１が記憶するボクセル数分のｆＭＲＩの計測データを要素とする脳活動ベクトルを生成し、時間（ｔ１，ｔ２，・・・，ｔｎ）における脳活動ベクトル（Ｒ＿ｔ１，Ｒ＿ｔ２，・・・，Ｒ＿ｔｎ）を得る。そして、脳活動行列生成部２２２は、当該脳活動ベクトルを時系列にまとめた脳活動行列を生成する。脳活動行列生成部２２２は、生成した脳活動行列を学習用の組データの一部として、学習データ記憶部２１１に記憶させる。

デコーダ学習部２２３は、学習データ記憶部２１１が記憶するラベル特徴ベクトル又はラベル刺激特徴行列と脳活動行列との組データを学習データとして、上述した脳活動から所定の特徴空間（第２の特徴空間）への投射関係を学習して、学習結果であるデコーダ学習結果（デコードモデル）を生成する。なお、デコーダ学習部２２３は、自己回帰モデルによりデコーダを学習し、デコーダ学習結果（デコードモデル）を生成するようにしてもよい。デコーダ学習部２２３は、生成したデコーダ学習結果をデコーダ学習結果記憶部２１３に記憶させる。

刺激特徴予測部２２４は、デコーダを用いて、新たな刺激に対するラベル刺激特徴行列又はラベル特徴ベクトルを予測する。刺激特徴予測部２２４は、例えば、デコーダ学習結果記憶部２１３が記憶するデコーダ学習結果に基づいて、新たな刺激に対して脳活動予測装置１０によって生成された脳活動行列から新たな刺激に対するラベル刺激特徴行列又はラベル特徴ベクトルを予測する。すなわち、刺激特徴予測部２２４は、デコーダ学習結果と、脳活動予測装置１０によって、新たな刺激に対して生成された脳活動行列とに基づいて、新たな刺激に対するラベル特徴ベクトル又はラベル刺激特徴行列を予測する。

知覚認知内容推定部２２５は、刺激特徴予測部２２４が予測した予測刺激特徴行列に含まれる時系列の特徴ベクトル又は刺激特徴予測部２２４が予測したラベル特徴ベクトルと、所定の特徴空間（第２の特徴空間）に投射されたラベルに対応するラベル特徴ベクトルとの距離に基づいて、知覚及び認知内容のいずれかを少なくとも推定する。すなわち、知覚認知内容推定部２２５は、ラベル特徴ベクトル記憶部２１２が記憶する複数のラベル特徴ベクトルのうちから、予測した予測刺激特徴行列（ラベル刺激特徴行列）に含まれる特徴ベクトルと距離が近いラベル特徴ベクトルを抽出し、当該ラベル特徴ベクトルに対応するラベル情報を知覚又は認知内容として推定する。なお、上述した刺激特徴予測部２２４がラベル特徴ベクトルを予測する場合には、知覚認知内容推定部２２５は、予測した特徴ベクトルと距離が近いラベル特徴ベクトルを抽出し、当該ラベル特徴ベクトルに対応するラベル情報を知覚又は認知内容として推定する。知覚認知内容推定部２２５は、推定したラベル情報、及びラベル情報に関する情報を推定結果として推定結果記憶部２１４に記憶させる。ここで、ラベル情報に関する情報には、例えば、ラベル情報に関係して推定される被験者の予測行動などが含まれる。

なお、制御部２２は、推定結果記憶部２１４が記憶する推定結果を、新たな刺激に対する知覚及び認知内容として、知覚認知内容推定装置２０の外部に出力する。

次に、図面を参照して、本実施形態による知覚認知内容推定システム１の動作について説明する。
図２は、本実施形態におけるエンコーダの学習処理を説明する図である。

図２示すように、脳活動予測装置１０は、機械学習により、動画、画像、及び音声などの刺激データから脳活動を予測するエンコーダを生成する。エンコーダ学習処理において、刺激データは、所定の特徴空間（第１の特徴空間）に投射されて、刺激特徴行列に変換される。また、一方で、ｆＭＲＩなどを使用して、動画、画像、及び音声などの刺激を、被験者に与えた際の脳活動データを取得する。エンコーダは、所定の特徴空間（第１の特徴空間）から脳活動への投射関係を学習して、刺激特徴行列から脳活動データを予測する。

次に、図３を参照して、本実施形態によるエンコーダ学習処理の詳細について説明する。
図３は、本実施形態におけるエンコーダの学習処理の一例を示すフローチャートである。

図３に示すように、まず、ｆＭＲＩなどの計測装置が、学習用の刺激に対する脳活動を計測する（ステップＳ１０１）。例えば、ｆＭＲＩは、ボクセルごとに所定の時間間隔（例えば、２秒間隔）で、学習用の刺激に対する脳活動を計測する。

次に、脳活動予測装置１０の制御部１２は、学習用の刺激データと、脳活動の計測結果とを取得する（ステップＳ１０２）。制御部１２は、学習用の刺激データと、ｆＭＲＩが計測した計測結果である計測データとの組データを取得し、当該組データを学習データ記憶部１１１に記憶させる。

次に、制御部１２の刺激特徴行列生成部１２１は、学習用の刺激データから刺激特徴行列Ｓｅを生成する（ステップＳ１０３）。刺激特徴行列生成部１２１は、学習データ記憶部１１１が記憶する学習用の刺激データから所定の特徴空間（第１の特徴空間）に投射した時系列の特徴ベクトル（Ｓｅ＿ｔ１，Ｓｅ＿ｔ２，・・・，Ｓｅ＿ｔｎ）を生成する。そして、刺激特徴行列生成部１２１は、当該特徴ベクトルを時系列にまとめた刺激特徴行列Ｓｅを生成する。刺激特徴行列生成部１２１は、生成した刺激特徴行列Ｓｅを学習用の組データの一部として、学習データ記憶部１１１に記憶させる。

また、制御部１２の脳活動行列生成部１２２は、脳活動の計測結果から脳活動行列Ｒを生成する（ステップＳ１０４）。脳活動行列生成部１２２は、学習データ記憶部１１１が記憶するボクセル数分のｆＭＲＩの計測データを要素とする脳活動ベクトルを生成し、時間（ｔ１，ｔ２，・・・，ｔｎ）における脳活動ベクトル（Ｒ＿ｔ１，Ｒ＿ｔ２，・・・，Ｒ＿ｔｎ）を得る。そして、脳活動行列生成部１２２は、当該特徴ベクトルを時系列にまとめた脳活動行列Ｒを生成する。脳活動行列生成部１２２は、生成した脳活動行列Ｒを学習用の組データの一部として、学習データ記憶部１１１に記憶させる。

なお、ステップＳ１０３の処理と、ステップＳ１０４の処理とは、逆の順番で実行されてもよいし、並列に実行されてもよい。

次に、制御部１２のエンコーダ学習部１２３は、脳活動行列Ｒと刺激特徴行列Ｓｅとにより特徴空間から脳活動への投射関係を学習する（ステップＳ１０５）。ここで、例えば、任意の関数ｆｅ（）で表現される刺激特徴行列Ｓｅと脳活動行列Ｒとの関係は、以下の式（１）により表される。

Ｒ＝ｆｅ（Ｓｅ，θｅ） ・・・ （１）

ここで、θｅは、エンコーダパラメータを示す。
エンコーダ学習部１２３は、上記の式（１）を満たすエンコーダパラメータθｅを回帰分析（例えば、リッジ回帰）により推定し、当該エンコーダパラメータθｅを、自己回帰成分を含まない回帰モデルによるエンコーダ学習結果として、エンコーダ学習結果記憶部１１３に記憶させる。
なお、関数ｆｅ（）が、線形関数である場合には、以下の式（２）により表される。

Ｒ＝Ｓｅ×Ｗｅ ・・・ （２）

ここで、Ｗｅは、重み付けを示す係数行列である。
この場合、エンコーダ学習部１２３は、上記の式（２）を満たす係数行列Ｗｅを推定し、当該係数行列Ｗｅを、自己回帰成分を含まない回帰モデルによるエンコーダ学習結果として、エンコーダ学習結果記憶部１１３に記憶させる。

次に、刺激特徴行列生成部１２１は、脳活動の過去の時系列を特徴ベクトルに連結して、刺激特徴行列Ｓｅ２を生成する（ステップＳ１０６）。刺激特徴行列生成部１２１は、刺激特徴行列Ｓｅに含まれる時系列の特徴ベクトル（Ｓｅ＿ｔ１，Ｓｅ＿ｔ２，・・・，Ｓｅ＿ｔｎ）と、過去の時系列（例えば、ｔ−１、ｔ−２、・・・、ｔ−ｋ）の脳活動ベクトル（Ｒ＿ｔ−１，Ｒ＿ｔ−２，・・・，Ｒ＿ｔ−ｋ）を結合して新しい特徴ベクトルＳｅ２＿ｔ（結合特徴ベクトル）を生成する。刺激特徴行列生成部１２１は、結合特徴ベクトルＳｅ２＿ｔを時系列にまとめて新たな刺激特徴行列Ｓｅ２を生成する。すなわち、刺激特徴行列生成部１２１は、脳活動ベクトルを組み込んだ自己回帰モデル用の刺激特徴行列Ｓｅ２を生成する。刺激特徴行列生成部１２１は、生成した自己回帰モデル用の刺激特徴行列Ｓｅ２を学習用の組データの一部として、学習データ記憶部１１１に記憶させる。

なお、刺激特徴行列生成部１２１は、過去の時系列の脳活動ベクトル（自己回帰ベクトル）を結合する際に、全ボクセルの計測信号に対して所定の次元圧縮手法（例えば、主成分分析による圧縮手法）を適用して、次元圧縮した計測信号を用いて過去の時系列の脳活動ベクトル（自己回帰ベクトル）を生成する。ここで、主成分分析による処理は、例えば、全脳の数万ボクセル（ボクセル数＝Ｎ）で観測される計測信号を、Ｎ次元の表現とみなし、そのＮ次元の空間において時間方向の信号のばらつきを上手く説明するＭ次元（Ｍ＜Ｎ、例えば、Ｍ＝１０００）の低次元空間（主成分空間）の推定を行っている。刺激特徴行列生成部１２１は、各時刻の全脳ボクセルの計測信号を、Ｍ次元空間での表現に変換した上で、過去の時系列の脳活動ベクトル（自己回帰ベクトル）を生成する。
この主成分分析により次元圧縮することにより、後述するエンコーダパラメータを計算する際のリソース不足を解消することができ、また、学習データ量の不足により精度の低いエンコーダが構築されることを防止している。

次に、制御部１２のエンコーダ学習部１２３は、脳活動行列Ｒと刺激特徴行列Ｓｅ２とにより特徴空間から脳活動への投射関係を学習する（ステップＳ１０７）。ここで、例えば、任意の関数ｆｅ（）で表現される刺激特徴行列Ｓｅ２と脳活動行列Ｒとの関係は、以下の式（１）により表される。

Ｒ＝ｆｅ（Ｓｅ２，θｅ２） ・・・ （３）

ここで、θｅ２は、エンコーダパラメータを示す。
エンコーダ学習部１２３は、上記の式（３）を満たすエンコーダパラメータθｅを回帰分析（例えば、リッジ回帰）により推定し、当該エンコーダパラメータθｅ２を、自己回帰成分を含む回帰モデルによるエンコーダ学習結果として、エンコーダ学習結果記憶部１１３に記憶させる。
なお、関数ｆｅ（）が、線形関数である場合には、以下の式（４）により表される。

Ｒ＝Ｓｅ２×Ｗｅ２ ・・・ （４）

ここで、Ｗｅ２は、重み付けを示す係数行列である。
この場合、エンコーダ学習部１２３は、上記の式（４）を満たす係数行列Ｗｅ２を推定し、当該係数行列Ｗｅ２を、自己回帰成分を含む回帰モデルによるエンコーダ学習結果として、エンコーダ学習結果記憶部１１３に記憶させる。
ステップＳ１０７の処理後に、エンコーダ学習部１２３は、エンコーダ学習処理を終了する。

なお、本実施形態において、エンコーダは、ボクセルに応じて変更してもよく、その場合、上述したエンコーダ学習処理をボクセルに応じて、複数回行ってもよい。

次に、図４は、本実施形態におけるデコーダの学習処理を説明する図である。
図４示すように、知覚認知内容推定装置２０は、動画、画像、及び音声などの刺激データと脳活動の計測データとの組データについて、それらの対応関係の中間表現となる所定の特徴空間（第２の特徴空間）を定義し、機械学習により、脳活動から特徴空間への投射関係を組データから学習する。デコーダは、脳活動から所定の特徴空間（第２の特徴空間）への投射関係を学習して、脳活動行列からラベル刺激特徴行列を予測する。

次に、図５を参照して、本実施形態によるデコーダ学習処理の詳細について説明する。
図５は、本実施形態におけるデコーダの学習処理の一例を示すフローチャートである。

図５に示すように、まず、ｆＭＲＩなどの計測装置が、学習用の刺激に対する脳活動を計測する（ステップＳ２０１）。例えば、ｆＭＲＩは、ボクセルごとに所定の時間間隔（例えば、２秒間隔）で、学習用の刺激に対する脳活動を計測する。

学習用の刺激データに対してラベルを付与する（ステップＳ２０２）。すなわち、学習用の刺激データに対して推定対象としたい種類の任意のラベル情報を付与する。例えば、画像に対する印象を推定したい場合は、動画による刺激を所定の時間間隔で画像分割し、各画像を説明する説明文章を言語記述（アノテーション）でラベリングする。なお、既にラベル情報が付与されている刺激データを使用する場合は、本処理を省略してもよい。

次に、知覚認知内容推定装置２０の制御部２２は、学習用の刺激データのラベル情報と、脳活動の計測結果とを取得する（ステップＳ２０３）。制御部２２は、学習用の刺激データのラベル情報と、ｆＭＲＩが計測した計測結果である計測データとの組データを取得し、当該組データを学習データ記憶部２１１に記憶させる。

次に、制御部２２のラベル刺激特徴行列生成部２２１は、ラベルを特徴空間に投射して
ラベル刺激特徴行列Ｓｄを生成する（ステップＳ２０４）。ラベル刺激特徴行列生成部２２１は、学習データ記憶部２１１が記憶する学習用のラベル情報を所定の特徴空間（第２の特徴空間）に投射したラベル特徴ベクトルを生成し、当該ラベル特徴ベクトル（Ｓｄ＿ｔ１，Ｓｄ＿ｔ２，・・・，Ｓｄ＿ｔｎ）を時系列にまとめた学習用の刺激に対するラベル刺激特徴行列Ｓｄを生成する。なお、ラベル刺激特徴行列生成部２２１は、例えば、ラベル情報が、言語記述（アノテーション）の文章である場合には、文章を形態素解析で単語に分解した上で、各単語をＷｉｋｉｐｅｄｉａ（登録商標）などのコーパスで作られたＳｋｉｐ−ｇｒａｍ等の空間に投射し、結果得られた単語のベクトルを加重平均することで、文章ラベルのラベル特徴ベクトルを算出する。ラベル刺激特徴行列生成部２２１は、生成したラベル刺激特徴行列Ｓｄを学習用の組データの一部として、学習データ記憶部２１１に記憶させる。

また、制御部２２の脳活動行列生成部２２２は、脳活動の計測結果から脳活動行列Ｒを生成する（ステップＳ２０５）。脳活動行列生成部２２２は、学習データ記憶部２１１が記憶するボクセル数分のｆＭＲＩの計測データを要素とする脳活動ベクトルを生成し、時間（ｔ１，ｔ２，・・・，ｔｎ）における脳活動ベクトル（Ｒ＿ｔ１，Ｒ＿ｔ２，・・・，Ｒ＿ｔｎ）を得る。そして、脳活動行列生成部２２２は、当該特徴ベクトルを時系列にまとめた脳活動行列Ｒを生成する。脳活動行列生成部２２２は、生成した脳活動行列Ｒを学習用の組データの一部として、学習データ記憶部２１１に記憶させる。

なお、ステップＳ２０４の処理と、ステップＳ２０５の処理とは、逆の順番で実行されてもよいし、並列に実行されてもよい。

次に、制御部２２のデコーダ学習部２２３は、脳活動行列Ｒとラベル刺激特徴行列Ｓｄとにより脳活動から所定の特徴空間（第２の特徴空間）への投射関係を学習する（ステップＳ２０６）。ここで、例えば、任意の関数ｆｄ（）で表現されるラベル刺激特徴行列Ｓｄと脳活動行列Ｒとの関係は、以下の式（５）により表される。

Ｓｄ＝ｆｄ（Ｒ，θｄ） ・・・ （５）

ここで、θｄは、デコーダパラメータを示す。
デコーダ学習部２２３は、上記の式（５）を満たすデコーダパラメータθｄを推定し、当該デコーダパラメータθｄをデコーダ学習結果として、デコーダ学習結果記憶部２１３に記憶させる。
なお、関数ｆｄ（）が、線形関数である場合には、以下の式（６）により表される。

Ｓｄ＝Ｒ×Ｗｄ ・・・ （６）

ここで、Ｗｄは、重み付けを示す係数行列である。
この場合、デコーダ学習部２２３は、上記の式（６）を満たす係数行列Ｗｄを推定し、当該係数行列Ｗｄをデコーダ学習結果として、デコーダ学習結果記憶部２１３に記憶させる。
ステップＳ２０６の処理後に、デコーダ学習部２２３は、デコーダ学習処理を終了する。

次に、図６を参照して、知覚認知内容推定システム１による新たな刺激に対して知覚及び認知内容を推定する処理について説明する。
図６は、本実施形態による知覚認知内容推定システム１の動作の一例を示すフローチャートである。

図６に示すように、知覚認知内容推定システム１の脳活動予測装置１０は、新たな刺激データを取得する（ステップＳ３０１）。
次に、脳活動予測装置１０は、エンコーダにより新たな刺激データから予測脳活動データを生成する（ステップＳ３０２）。ここでのエンコーダは、上述した図２及び図３に示す処理によって学習されたものである。また、予測脳活動データは、予測された脳活動行列を示している。脳活動予測装置１０は、生成した予測脳活動データを知覚認知内容推定装置２０に出力する。なお、脳活動予測装置１０によって、予測脳活動データを生成する処理の詳細については後述する。

次に、知覚認知内容推定装置２０は、デコーダにより、予測脳活動データから知覚及び認知内容を推定する（ステップＳ３０３）。ここでのデコーダは、上述した図４及び図５に示す処理によって学習されたものである。なお、知覚認知内容推定装置２０によって、知覚及び認知内容を推定する処理の詳細については後述する。

次に、知覚認知内容推定装置２０は、推定結果を出力する（ステップＳ３０４）。ステップＳ３０４の処理後に、知覚認知内容推定システム１は、新たな刺激に対して知覚及び認知内容を推定する処理を終了する。

次に、図７を参照して、脳活動予測装置１０による上述したステップＳ３０２の処理の詳細について説明する。
図７は、本実施形態における脳活動の予測処理の一例を示すフローチャートである。

図７に示すように、脳活動予測装置１０の制御部１２は、新たな刺激データから刺激特徴行列Ｓを生成する（ステップＳ４０１）。制御部１２の刺激特徴行列生成部１２１は、入力された新たに刺激データから、新たな刺激に対応する刺激特徴行列Ｓを生成する。刺激特徴行列生成部１２１は、生成した新たな刺激に対応する刺激特徴行列Ｓを刺激特徴行列記憶部１１２に記憶させる。

次に、制御部１２の脳活動予測部１２４は、エンコーダにより刺激特徴行列Ｓから予測される脳活動行列Ｒ＊を一旦生成する（ステップＳ４０２）。脳活動予測部１２４は、刺激特徴行列記憶部１１２が記憶する刺激特徴行列Ｓと、エンコーダ学習結果記憶部１１３が記憶するエンコーダ学習結果であるエンコーダパラメータθｅとに基づいて、下記の式（７）により、脳活動行列Ｒ＊を予測する。なお、「Ｒ＊」の「＊」は、予測値であることを示している。以下の説明において、「＊」は、予測値に付与されるものとして説明する。また、ここでのエンコーダパラメータθｅは、自己回帰成分を含まない回帰モデルによるエンコーダ学習結果である。

Ｒ＊＝ｆｅ（Ｓ，θｅ） ・・・ （７）

なお、脳活動予測部１２４は、関数ｆｅ（）が、線形関数である場合には、以下の式（８）により、脳活動行列Ｒ＊を予測する。

Ｒ＊＝Ｓ×Ｗｅ ・・・ （８）

この場合、係数行列Ｗｅは、エンコーダ学習結果記憶部１１３が記憶する自己回帰成分を含まない回帰モデルによるエンコーダ学習結果である。

次に、刺激特徴行列生成部１２１は、脳活動行列Ｒ＊から過去の時系列を特徴ベクトルに連結して、刺激特徴行列Ｓ２を生成する（ステップＳ４０３）。刺激特徴行列生成部１２１は、脳活動行列Ｒ＊に基づいて、過去の時系列の脳活動ベクトル（自己回帰ベクトル）を生成し、エンコーダ学習処理と同様に、当該過去の時系列の脳活動ベクトル（自己回帰ベクトル）と、刺激特徴行列Ｓの特徴ベクトルとを連結して、自己回帰モデル用の刺激特徴行列Ｓ２を生成する。なお、刺激特徴行列生成部１２１は、過去の時系列の脳活動ベクトル（自己回帰ベクトル）を生成する際に、上述したエンコーダ学習処理と同様に、主成分分析により次元圧縮する処理を実行する。

次に、脳活動予測部１２４は、エンコーダにより刺激特徴行列Ｓ２から予測される脳活動行列Ｒ２＊を生成する（ステップＳ４０４）。脳活動予測部１２４は、自己回帰モデル用の刺激特徴行列Ｓ２と、エンコーダ学習結果記憶部１１３が記憶するエンコーダ学習結果であるエンコーダパラメータθｅ２とに基づいて、下記の式（９）により、脳活動行列Ｒ２＊を予測する。ここでのエンコーダパラメータθｅ２は、自己回帰成分を含む回帰モデルによるエンコーダ学習結果である。

Ｒ２＊＝ｆｅ（Ｓ２，θｅ２） ・・・ （９）

なお、脳活動予測部１２４は、関数ｆｅ（）が、線形関数である場合には、以下の式（１０）により、脳活動行列Ｒ２＊を予測する。

Ｒ２＊＝Ｓ２×Ｗｅ２ ・・・ （１０）

この場合、係数行列Ｗｅ２は、エンコーダ学習結果記憶部１１３が記憶する自己回帰成分を含む回帰モデルによるエンコーダ学習結果である。
ステップＳ４０４の処理後に、脳活動予測装置１０は、脳活動の予測処理を終了する。
なお、ボクセルごとに、異なるエンコーダを用いる場合には、上述したステップＳ４０２からステップＳ４０４の処理を、ボクセルの数分繰り返してもよい。すなわち、脳活動予測部１２４は、学習処理の異なる複数のエンコーダ学習結果のうちから、学習時の予測性能に応じてボクセルごとに選択したエンコーダ学習結果に基づいて、ボクセルごとに脳活動を予測するようにしてもよい。

また、脳活動予測部１２４は、例えば、学習時の予測性能に基づいて、ステップＳ４０２の処理のみ（自己回帰成分を含まない回帰モデルによって学習したエンコーダ）により脳活動を予測するのか、自己回帰モデルを使用したステップＳ４０２からステップＳ４０４の処理（自己回帰成分を含む回帰モデルによって学習したエンコーダ）により脳活動を予測するのか、を選択して実行してもよい。なお、脳活動予測部１２４は、自己回帰成分を含まない回帰モデルによって学習した場合には、予測の際に、自己回帰成分を含まない回帰モデルによって学習したエンコーダを選択し、自己回帰成分を含む回帰モデルによって学習した場合には、予測の際に、自己回帰成分を含む回帰モデルによって学習したエンコーダを選択する必要がある。すなわち、自己回帰成分を含むか否かの観点で、学習する回帰モデルと予測するエンコーダとを一致させる必要がある。また、ステップＳ４０２の処理のみにより脳活動を予測する場合には、脳活動予測装置１０は、脳活動行列Ｒ＊を脳活動行列Ｒ２＊として出力する。

次に、図８及び図９を参照して、知覚認知内容推定装置２０による上述したステップＳ３０３の処理の詳細について説明する。
図８は、本実施形態における知覚及び認知内容の推定処理の一例を示すフローチャートである。

図８に示すように知覚認知内容推定装置２０の制御部２２は、予測した脳活動行列Ｒ２＊を取得する（ステップＳ５０１）。制御部１２は、脳活動予測装置１０が新たに刺激データから予測した脳活動行列Ｒ２＊を取得する。

次に、制御部２２の刺激特徴予測部２２４は、デコーダにより脳活動行列Ｒ２＊から予測刺激特徴行列Ｓ＊（ラベル刺激特徴行列）を生成する（ステップＳ５０２）。刺激特徴予測部２２４は、取得した脳活動行列Ｒ２＊と、デコーダ学習結果記憶部２１３が記憶するデコーダ学習結果であるデコーダパラメータθｄとに基づいて、下記の式（１１）により予測刺激特徴行列Ｓ＊を予測する。

Ｓ＊＝ｆｄ（Ｒ２＊，θｄ） ・・・ （１１）

なお、刺激特徴予測部２２４は、関数ｆｄ（）が、線形関数である場合には、以下の式（１２）により、予測刺激特徴行列Ｓ＊を予測する。

Ｓ＊＝Ｒ２＊×Ｗｄ ・・・ （１２）

この場合、係数行列Ｗｄは、デコーダ学習結果記憶部２１３が記憶するデコーダ学習結果である。

次に、制御部２２の知覚認知内容推定部２２５は、予測刺激特徴行列Ｓ＊に含まれる時系列の特徴ベクトルと、ラベル特徴ベクトルとの距離に基づいて、知覚及び認知内容を推定する（ステップＳ５０３）。知覚認知内容推定部２２５は、例えば、予測刺激特徴行列Ｓ＊に含まれる特徴ベクトルと、ラベル特徴ベクトル記憶部２１２が記憶するラベル特徴ベクトルとの特徴空間（第２の特徴空間）上の距離を算出する。ここで、知覚認知内容推定部２２５は、特徴空間（第２の特徴空間）上の距離として、例えば、ユークリッド距離、マハラノビス距離などの統計的距離を算出する。知覚認知内容推定部２２５は、例えば、ラベル特徴ベクトル記憶部２１２が記憶するラベル特徴ベクトルのうち、算出した距離が近い（例えば、最も近い）ラベル特徴ベクトルに対応するラベル情報を、推定結果として選定する。

なお、知覚認知内容推定部２２５は、図９に示すように、刺激特徴予測部２２４によって予測された特徴ベクトル、及びラベル特徴ベクトル記憶部２１２が記憶するラベル特徴ベクトルを、特徴空間（第２の特徴空間）上に投射する。特徴ベクトルとラベル特徴ベクトルとの距離を算出する。

ここで、図９は、本実施形態におけるラベルの特徴空間の一例を示す図である。
図９において、Ｎ次元のラベルの特徴空間（第２の特徴空間）を示している。また、特徴ベクトル（×印）は、刺激特徴予測部２２４によって予測された予測刺激特徴行列Ｓ＊に含まれる特徴ベクトルの投射位置の一例を示している。また、「ラベルＡベクトル」は、「ラベルＡ」に対応するラベル特徴ベクトルの投射位置を示し、「ラベルＢベクトル」は、「ラベルＢ」に対応するラベル特徴ベクトルの投射位置を示している。また、「ラベルＣベクトル」は、「ラベルＣ」に対応するラベル特徴ベクトルの投射位置を示している。

図９に示す例では、「ラベルＡベクトル」及び「ラベルＢベクトル」と、特徴ベクトル（×印）との距離が近いため、知覚認知内容推定部２２５は、知覚及び認知内容として、最近傍の「ラベルＡ」、次に「ラベルＢ」を推定する。

ステップＳ５０３の処理後に、知覚認知内容推定装置２０は、知覚及び認知内容の推定処理を終了する。

以上説明したように、本実施形態による脳活動予測装置１０は、刺激特徴行列生成部１２１（特徴行列生成部）と、脳活動予測部１２４とを備える。刺激特徴行列生成部１２１は、刺激に対する表現を第１の特徴空間に投射した特徴ベクトル（第１特徴ベクトル）を生成し、当該特徴ベクトルを時系列にまとめた刺激特徴行列（第１刺激特徴行列）を生成する。脳活動予測部１２４は、エンコーダ学習結果に基づいて、新たな刺激に対して刺激特徴行列生成部１２１によって生成された刺激特徴行列から新たな刺激に対する脳活動行列を予測する。ここで、エンコーダ学習結果は、被験者に与えた学習用の刺激に対する刺激特徴行列と、当該学習用の刺激に対する脳活動を計測した計測データに基づいて生成された脳活動ベクトルを時系列にまとめた脳活動行列との組データを学習データとした回帰モデルにより、第１の特徴空間から脳活動への投射関係を学習した学習結果である。

これにより、本実施形態による脳活動予測装置１０は、例えば、新たな刺激に対する脳活動から知覚及び認知内容を推定する際に、脳活動を予測するため、新たな刺激に対する脳活動をｆＭＲＩなどにより計測する必要がない。そのため、本実施形態による脳活動予測装置１０は、ｆＭＲＩなどによる脳活動の計測に要していた、人的、金銭的、時間的なコストを低減することができ、知覚及び認知内容を推定する上で利便性を向上させることができる。また、本実施形態による脳活動予測装置１０は、脳活動に基づく知覚及び認知内容、行動などの推定技術の汎用性を向上させることができる。

また、本実施形態では、エンコーダ学習結果は、特徴ベクトルである刺激成分に過去の時点の脳活動ベクトルである自己回帰成分を結合した結合特徴ベクトルを生成し、当該結合特徴ベクトルを時系列にまとめて生成した刺激特徴行列と、脳活動行列との組データを学習データとして、自己回帰モデル（自己回帰成分を含む回帰モデル）により学習されている。そして、脳活動予測部１２４は、自己回帰モデル（自己回帰成分を含む回帰モデル）により学習されたエンコーダ学習結果に基づいて、新たな刺激に対する刺激特徴行列から新たな刺激に対する脳活動行列を予測する。また、刺激特徴行列生成部１２１は、脳活動予測部１２４により予測された脳活動行列に基づく過去の時点の脳活動ベクトルと特徴ベクトルを結合して結合特徴ベクトルを生成し、当該結合特徴ベクトルを時系列にまとめて生成した刺激特徴行列を新たな刺激に対する刺激特徴行列として、エンコーダ学習結果に基づいて、更新された脳活動行列を生成する。

これにより、本実施形態による脳活動予測装置１０は、脳活動の内因的な時間的依存性をモデル化した自己回帰モデル（自己回帰成分を含む回帰モデル）を取り入れ、外因性と内因性との予測モデルを組み合わせることで、脳活動の予測精度をさらに向上させることができる。

また、本実施形態では、脳活動は、脳を分割した立方体の単位領域であるボクセルごとに計測されている。脳活動予測部１２４は、学習処理の異なる複数の前記エンコーダ学習結果のうちから、学習時の予測性能に基づいて、ボクセルごとに選択したエンコーダ学習結果に基づいて、ボクセルごとに脳活動を予測するようにしてもよい。
これにより、本実施形態による脳活動予測装置１０は、ボクセルごと適切なエンコーダを使用して脳活動を予測するため、脳活動の予測精度をさらに向上させることができる。

また、本実施形態では、特徴ベクトルは、深層学習モデルで算出した中間層の活性化パターンである。
これにより、本実施形態による脳活動予測装置１０は、既に有効性が分かっている中間層の活性化パターンを利用することができるため、簡易な手法により、脳活動の予測精度をさらに向上させることができる。

また、本実施形態による脳活動予測装置１０は、エンコーダ学習結果を生成するエンコーダ学習部１２３を備える。
これにより、本実施形態による脳活動予測装置１０は、自装置においてエンコーダの学習が可能になるため、知覚及び認知内容を推定する上でさらに利便性を向上させることができる。

また、本実施形態による知覚認知内容推定システム１は、上述した脳活動予測装置１０と、刺激特徴予測部２２４とを備える。刺激特徴予測部２２４は、デコーダ学習結果と、脳活動予測装置１０によって、新たな刺激に対して刺激特徴行列（第１刺激特徴行列）から予測された脳活動行列とに基づいて、新たな刺激に対するラベル特徴ベクトル（第２特徴ベクトル）又はラベル刺激特徴行列（第２刺激特徴行列）を予測する。ここで、デコーダ学習結果は、学習用の刺激に対して、刺激に対する知覚の意味内容を示すラベルを第２の特徴空間に投射したラベル特徴ベクトル（第２特徴ベクトル）を生成し、当該ラベル特徴ベクトル（第２特徴ベクトル）又は当該ラベル特徴ベクトルを時系列にまとめた学習用の刺激に対するラベル刺激特徴行列（第２刺激特徴行列）と、学習用の刺激に対する脳活動行列との組データを学習データとして、脳活動から第２の特徴空間への投射関係を学習した学習結果である。

これにより、本実施形態による知覚認知内容推定システム１は、例えば、新たな刺激に対する脳活動から知覚及び認知内容を推定する際に、脳活動予測装置１０が予測した脳活動である脳活動行列を使用するため、新たな刺激に対する脳活動をｆＭＲＩなどにより計測する必要がない。よって、本実施形態による知覚認知内容推定システム１は、上述した本実施形態による脳活動予測装置１０と同様に、知覚及び認知内容を推定する上で利便性を向上させることができる。

また、本実施形態による知覚認知内容推定システム１は、刺激特徴予測部２２４が予測したラベル刺激特徴行列（予測刺激特徴行列）に含まれる時系列の特徴ベクトル、又は刺激特徴予測部２２４が予測したラベル特徴ベクトルと、第２の特徴空間に投射されたラベルに対応するラベル特徴ベクトルとの距離に基づいて、知覚及び認知内容のいずれかを少なくとも推定する知覚認知内容推定部２２５を備える。
これにより、本実施形態による知覚認知内容推定システム１は、新たな刺激に対する脳活動をｆＭＲＩなどにより計測する必要なしに、第２の特徴空間の距離を用いるという簡易な手法により、知覚及び認知内容を適切に推定することできる。

また、本実施形態による脳活動予測方法は、特徴行列生成ステップと、予測する脳活動予測ステップとを含む。特徴行列生成ステップにおいて、刺激特徴行列生成部１２１が、刺激に対する表現を第１の特徴空間に投射した特徴ベクトルを生成し、当該特徴ベクトルを時系列にまとめた刺激特徴行列を生成する。予測する脳活動予測ステップにおいて、脳活動予測部１２４が、エンコーダ学習結果に基づいて、新たな刺激に対して刺激特徴行列生成部１２１によって生成された刺激特徴行列から新たな刺激に対する脳活動行列を予測する。ここで、エンコーダ学習結果は、被験者に与えた学習用の刺激に対する刺激特徴行列と、当該学習用の刺激に対する脳活動を計測した計測データに基づいて生成された脳活動ベクトルを時系列にまとめた脳活動行列との組データを学習データとして、第１の特徴空間から脳活動への投射関係を学習した学習結果である。
これにより、本実施形態による脳活動予測方法は、上述した本実施形態による脳活動予測装置１０と同様に、新たな刺激に対する脳活動をｆＭＲＩなどにより計測する必要がなく、知覚及び認知内容を推定する上で利便性を向上させることができる。

また、本実施形態による知覚認知内容推定方法は、上述した特徴行列生成ステップ及び予測する脳活動予測ステップと、刺激特徴予測ステップと、知覚認知内容推定ステップとを含む。刺激特徴予測ステップにおいて、刺激特徴予測部２２４が、デコーダ学習結果と、脳活動予測装置１０によって、新たな刺激に対して刺激特徴行列から予測された脳活動行列とに基づいて、新たな刺激に対するラベル刺激特徴行列を予測刺激特徴行列として予測する。ここで、デコーダ学習結果は、学習用の刺激に対して、刺激に対する知覚の意味内容を示すラベルを第２の特徴空間に投射したラベル特徴ベクトルを生成し、当該ラベル特徴ベクトルを時系列にまとめた学習用の刺激に対するラベル刺激特徴行列と、学習用の刺激に対する脳活動行列との組データを学習データとして、脳活動から第２の特徴空間への投射関係を学習した学習結果である。そして、知覚認知内容推定ステップにおいて、刺激特徴予測部２２４が予測した予測刺激特徴行列に含まれる時系列の特徴ベクトルと、第２の特徴空間に投射されたラベルに対応するラベル特徴ベクトルとの距離に基づいて、知覚及び認知内容のいずれかを少なくとも推定する。
これにより、本実施形態による知覚認知内容推定方法は、上述した本実施形態による脳活動予測方法と同様に、新たな刺激に対する脳活動をｆＭＲＩなどにより計測する必要がなく、知覚及び認知内容を推定する上で利便性を向上させることができる。

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記実施形態の知覚認知内容推定システム１は、脳活動予測装置１０と、知覚認知内容推定装置２０とを備える例を説明したが、これに限定されるものではない。例えば、知覚認知内容推定装置２０に、脳活動予測装置１０が含まれる構成であってもよい。

また、上記実施形態の脳活動予測装置１０は、エンコーダ学習部１２３を備える例を説明したが、エンコーダ学習部１２３を備えない構成であってもよい。また、脳活動予測装置１０は、内部に記憶部１１を備える例を説明したが、記憶部１１の一部又は全部を、脳活動予測装置１０の外部に備えてもよい。例えば、記憶部１１の一部又は全部をネットワーク上の記憶装置の内部に備えてもよい。
また、上記実施形態の脳活動予測装置１０は、１台の装置として説明したが、複数の装置で構成されるようにしてもよい。

また、上記実施形態の知覚認知内容推定装置２０は、デコーダ学習部２２３を備える例を説明したが、デコーダ学習部２２３を備えない構成であってもよい。また、知覚認知内容推定装置２０は、内部に記憶部２１を備える例を説明したが、記憶部２１の一部又は全部を、知覚認知内容推定装置２０の外部に備えてもよい。例えば、記憶部２１の一部又は全部をネットワーク上の記憶装置の内部に備えてもよい。
また、上記実施形態の知覚認知内容推定装置２０は、１台の装置として説明したが、複数の装置で構成されるようにしてもよい。

また、上記実施形態において、エンコーダの学習処理に、自己回帰成分を含む回帰モデル（自己回帰モデル）を利用する例を説明したが、自己回帰成分を含まない回帰モデルによりエンコーダを学習してもよい。また、自己回帰成分を含む回帰モデル（自己回帰モデル）を利用する際に、自己回帰ベクトルを、主成分分析により次元圧縮する例を説明したが、これに限定されるものではなく、エンコーダパラメータを計算する際のリソース不足が問題にならなければ、次元圧縮を行わない形態であってもよい。

また、上記実施形態において、脳活動を計測する手段としてｆＭＲＩを用いる例を説明したが、これに限定されるものではない。例えば、ｆＭＲＩの代わりに、ＭＥＧ（脳磁図：Magnetoencephalography）やＥＥＧ（脳波計：Electroencephalogram）、等を用いてもよい。なお、脳活動を計測する手段としてＭＥＧ又はＥＥＧを用いた場合には、脳波の強度、脳波の各周波数帯におけるパワーや位相などを計測データとして、脳活動行列が生成されるようにしてもよい。

また、上記実施形態において、学習モデルとして深層学習モデルを用いて特徴ベクトルを生成する例を説明したが、これに限定されるものではなく、他の学習モデルを用いて特徴ベクトルを生成するようにしてもよい。例えば、運動エネルギーモデルを用いた場合には、動画に含まれる運動成分（時空間周波数成分）を特徴ベクトルとして利用してもよい。また、例えば、ガボールモデルを用いた場合は、動画像に含まれる空間周波数成分を特徴ベクトルとして利用してもよい。また、深層学習以外の既存のコンピュータビジョンのモデル（例えば、SHIFT、HMAXなど）を利用して特徴ベクトルを生成するようにしてもよい。また、刺激データは、動画及び画像などの視覚成分に限定されるものではなく、聴覚成分など他の感覚種の信号を用いて特徴ベクトルを生成するようにしてもよい。

また、例えば、音声信号の基本的な特徴（周波数、強度、時間的パターン）などを抽出し、特徴ベクトルとして用いるようにしてもよいし、音声認識などを用いて検出した動画及び音声刺激内で提示された言葉の内容を検出し、特徴ベクトルとして用いるようにしてもよい。このような聴覚成分のモデルは、視覚成分のモデルと組み合わせて用いることが可能であり、多種の感覚種のモデルを組み合わせたうえで、一つの回帰モデルを作成するようにしてもよい。

また、上記実施形態において、式（１）又は式（２）により、自己回帰成分を含まない回帰モデルにより学習した結果を、図７のステップＳ４０２の処理で利用する例を説明したが、これに限定されるものではない。例えば、己回帰成分を含む回帰モデルにより学習した結果から、自己回帰成分を含まない回帰モデルに対応する成分を抽出し、この抽出成分を学習結果として、図７のステップＳ４０２において利用してもよい。この場合には、図３のステップＳ１０５の自己回帰成分を含まない回帰モデルによる学習処理を実行しなくてもよい。

また、上記実施形態において、エンコーダは、学習する際の学習データを刺激特徴行列（第１刺激特徴行列）と脳活動行列との組データとし、刺激特徴行列（第１刺激特徴行列）から脳活動行列を予測するものとしたが、これに限定されるものではない。例えば、エンコーダは、学習する際の学習データを特徴ベクトル（第１特徴ベクトル）と脳活動ベクトルとの組データとし、特徴ベクトル（第１特徴ベクトル）から脳活動ベクトルを予測するようにしてもよい。また、デコーダについて、同様に、学習データ、入力データ、及び予測データに、行列の代わりにベクトルを用いるようにしてもよい。

例えば、刺激特徴行列生成部１２１（特徴ベクトル生成部）は、刺激に対する表現を第１の特徴空間に投射した特徴ベクトル（第１特徴ベクトル）を生成する。脳活動予測部１２４は、エンコーダ学習結果に基づいて、新たな刺激に対して刺激特徴行列生成部１２１によって生成された特徴ベクトルから新たな刺激に対する脳活動ベクトルを予測するようにしてもよい。ここで、エンコーダ学習結果は、被験者に与えた学習用の刺激に対する特徴ベクトルと、当該学習用の刺激に対する脳活動を計測した計測データに基づいて生成された脳活動ベクトルとの組データを学習データとした回帰モデルにより、特徴ベクトルから脳活動への投射関係を学習した学習結果である。脳活動予測装置１０は、このような刺激特徴行列生成部１２１（特徴ベクトル生成部）と脳活動予測部１２４とを備えてもよい。
この場合の脳活動予測装置１０は、上述した行列を用いた脳活動予測装置１０と同様に、新たな刺激に対する脳活動をｆＭＲＩなどにより計測する必要がなく、知覚及び認知内容を推定する上で利便性を向上させることができる。

また、例えば、上述のエンコーダ学習結果は、特徴ベクトル（第１特徴ベクトル）である刺激成分に過去の時点の脳活動ベクトルである自己回帰成分を結合した結合特徴ベクトルを生成し、当該結合特徴ベクトルと、脳活動ベクトルとの組データを学習データとして、自己回帰成分を含む回帰モデルにより学習されてもよい。そして、脳活動予測部１２４は、自己回帰成分を含む回帰モデルにより学習されたエンコーダ学習結果に基づいて、新たな刺激に対する特徴ベクトル（第１特徴ベクトル）から新たな刺激に対する脳活動ベクトルを予測するようにしてもよい。

また、例えば、知覚認知内容推定システム１は、行列の代わりにベクトルを用いた脳活動予測装置と、刺激特徴予測部２２４とを備えてもよい。ここでの刺激特徴予測部２２４は、デコーダ学習結果と、脳活動予測装置１０によって、新たな刺激に対して特徴ベクトル（第１特徴ベクトル）から予測された脳活動ベクトルとに基づいて、新たな刺激に対するラベル特徴ベクトル（第２特徴ベクトル）を予測する。ここで、デコーダ学習結果は、学習用の刺激に対して、刺激に対する知覚の意味内容を示すラベルを第２の特徴空間に投射したラベル特徴ベクトル（第２特徴ベクトル）を生成し、当該ラベル特徴ベクトル（第２特徴ベクトル）と、学習用の刺激に対する脳活動ベクトルとの組データを学習データとして、脳活動から第２の特徴空間への投射関係を学習した学習結果である。

また、例えば、本実施形態の脳活動予測方法は、特徴ベクトル生成ステップと、脳活動予測ステップとを含んでもよい。この場合、特徴ベクトル生成ステップにおいて、刺激特徴行列生成部１２１（特徴ベクトル生成部）が、刺激に対する表現を第１の特徴空間に投射した特徴ベクトル（第１特徴ベクトル）を生成する。そして、脳活動予測ステップにおいて、脳活動予測部１２４は、行列の代わりにベクトルを用いて学習したエンコーダ学習結果に基づいて、新たな刺激に対して特徴ベクトル生成ステップによって生成された特徴ベクトル（第１特徴ベクトル）から新たな刺激に対する脳活動ベクトルを予測する。
この場合の脳活動予測方法は、上述した行列を用いた脳活動予測方法と同様に、新たな刺激に対する脳活動をｆＭＲＩなどにより計測する必要がなく、知覚及び認知内容を推定する上で利便性を向上させることができる。

なお、深層学習のような近年の機械学習手法では、自然な動画像入力に対して、物体カテゴリ名や自然言語文でラベル付けを行う技術が提供されている。このような従来の技術では、例えば、動画や画像などに対するラベル情報を推定する場合に、機械学習に用いたラベル情報が推定対象となる。

これに対して、上述した本実施形態による知覚認知内容推定システム１は、脳活動予測装置１０のエンコーダと知覚認知内容推定装置２０のデコーダとを直列に接続することにより、エンコーダ処理により脳活動を予測した後に、デコーダ処理によりラベル情報を推定する。
これにより、本実施形態による知覚認知内容推定システム１では、情感や印象といった人間の感性や行動に関わるラベル付けが可能になり、機械学習に用いたラベル情報以外のラベル付が可能になる。このように、本実施形態による知覚認知内容推定システム１は、より多様な知覚及び認知内容のラベル情報の推定が可能となり、機械学習を利用した動画や画像などの自動的なラベル付け技術の汎用性、及び利便性を向上させることができる。

なお、上述した知覚認知内容推定システム１が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した知覚認知内容推定システム１が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した知覚認知内容推定システム１が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に知覚認知内容推定システム１が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１ 知覚認知内容推定システム
１０ 脳活動予測装置
１１、２１ 記憶部
１２、２２ 制御部
２０ 知覚認知内容推定装置
１１１、２１１ 学習データ記憶部
１１２ 刺激特徴行列記憶部
１１３ エンコーダ学習結果記憶部
１１４ 予測脳活動記憶部
１２１ 刺激特徴行列生成部
１２２、２２２ 脳活動行列生成部
１２３ エンコーダ学習部
１２４ 脳活動予測部
２１２ ラベル特徴ベクトル記憶部
２１３ デコーダ学習結果記憶部
２１４ 推定結果記憶部
２２１ ラベル刺激特徴行列生成部
２２３ デコーダ学習部
２２４ 刺激特徴予測部
２２５ 知覚認知内容推定部

Claims (13)

1. 刺激に対する表現を第１の特徴空間に投射した第１特徴ベクトルを生成し、当該第１特徴ベクトルを時系列にまとめた第１刺激特徴行列を生成する特徴行列生成部と、
   被験者に与えた学習用の刺激に対する前記第１刺激特徴行列と、当該学習用の刺激に対する脳活動を計測した計測データに基づいて生成された脳活動ベクトルを時系列にまとめた脳活動行列との組データを学習データとした回帰モデルにより、前記第１の特徴空間から前記脳活動への投射関係を学習したエンコーダ学習結果に基づいて、新たな刺激に対して前記特徴行列生成部によって生成された前記第１刺激特徴行列から前記新たな刺激に対する前記脳活動行列を予測する脳活動予測部と
   を備えることを特徴とする脳活動予測装置。
2. 前記エンコーダ学習結果は、前記第１特徴ベクトルである刺激成分に過去の時点の前記脳活動ベクトルである自己回帰成分を結合した結合特徴ベクトルを生成し、当該結合特徴ベクトルを時系列にまとめて生成した前記第１刺激特徴行列と、前記脳活動行列との前記組データを学習データとして、前記自己回帰成分を含む前記回帰モデルにより学習されており、
   前記脳活動予測部は、前記自己回帰成分を含む前記回帰モデルにより学習された前記エンコーダ学習結果に基づいて、前記新たな刺激に対する前記第１刺激特徴行列から前記新たな刺激に対する前記脳活動行列を予測する
   ことを特徴とする請求項１に記載の脳活動予測装置。
3. 前記特徴行列生成部は、前記脳活動予測部により予測された前記脳活動行列に基づく過去の時点の前記脳活動ベクトルと前記第１特徴ベクトルを結合して前記結合特徴ベクトルを生成し、当該結合特徴ベクトルを時系列にまとめて生成した前記第１刺激特徴行列を前記新たな刺激に対する前記第１刺激特徴行列として、前記エンコーダ学習結果に基づいて、更新された前記脳活動行列を生成する
   ことを特徴とする請求項２に記載の脳活動予測装置。
4. 前記脳活動は、脳を分割した立方体の単位領域であるボクセルごとに計測されており、
   前記脳活動予測部は、学習処理の異なる複数の前記エンコーダ学習結果のうちから、学習時の予測性能に基づいて、前記ボクセルごとに選択した前記エンコーダ学習結果に基づいて、前記ボクセルごとに前記脳活動を予測する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の脳活動予測装置。
5. 前記第１特徴ベクトルは、深層学習モデルで算出した中間層の活性化パターンである
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の脳活動予測装置。
6. 前記エンコーダ学習結果を生成するエンコーダ学習部を備える
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の脳活動予測装置。
7. 請求項１から請求項６のいずれか一項に記載の脳活動予測装置と、
   前記学習用の刺激に対して、刺激に対する知覚の意味内容を示すラベルを第２の特徴空間に投射した第２特徴ベクトルを生成し、当該第２特徴ベクトル又は当該第２特徴ベクトルを時系列にまとめた前記学習用の刺激に対する第２刺激特徴行列と、前記学習用の刺激に対する前記脳活動行列との組データを学習データとして、前記脳活動から前記第２の特徴空間への投射関係を学習したデコーダ学習結果と、前記脳活動予測装置によって、前記新たな刺激に対して前記第１刺激特徴行列から予測された前記脳活動行列とに基づいて、前記新たな刺激に対する前記第２特徴ベクトル又は前記第２刺激特徴行列を予測する刺激特徴予測部と
   を備えることを特徴とする知覚認知内容推定システム。
8. 前記刺激特徴予測部が予測した前記第２刺激特徴行列に含まれる時系列の第２特徴ベクトル、又は前記刺激特徴予測部が予測した前記第２特徴ベクトルと、前記第２の特徴空間に投射された前記ラベルに対応する前記第２特徴ベクトルとの距離に基づいて、知覚及び認知内容のいずれかを少なくとも推定する知覚認知内容推定部を備える
   ことを特徴とする請求項７に記載の知覚認知内容推定システム。
9. 特徴行列生成部が、刺激に対する表現を第１の特徴空間に投射した第１特徴ベクトルを生成し、当該第１特徴ベクトルを時系列にまとめた第１刺激特徴行列を生成する特徴行列生成ステップと、
   脳活動予測部が、被験者に与えた学習用の刺激に対する前記第１刺激特徴行列と、当該学習用の刺激に対する脳活動を計測した計測データに基づいて生成された脳活動ベクトルを時系列にまとめた脳活動行列との組データを学習データとした回帰モデルにより、前記第１の特徴空間から前記脳活動への投射関係を学習したエンコーダ学習結果に基づいて、新たな刺激に対して前記特徴行列生成ステップによって生成された前記第１刺激特徴行列から前記新たな刺激に対する前記脳活動行列を予測する脳活動予測ステップと
   を含むことを特徴とする脳活動予測方法。
10. 刺激に対する表現を第１の特徴空間に投射した第１特徴ベクトルを生成する特徴ベクトル生成部と、
    被験者に与えた学習用の刺激に対する前記第１特徴ベクトルと、当該学習用の刺激に対する脳活動を計測した計測データに基づいて生成された脳活動ベクトルとの組データを学習データとした回帰モデルにより、前記第１の特徴空間から前記脳活動への投射関係を学習したエンコーダ学習結果に基づいて、新たな刺激に対して前記特徴ベクトル生成部によって生成された前記第１特徴ベクトルから前記新たな刺激に対する前記脳活動ベクトルを予測する脳活動予測部と
    を備えることを特徴とする脳活動予測装置。
11. 前記エンコーダ学習結果は、前記第１特徴ベクトルである刺激成分に過去の時点の前記脳活動ベクトルである自己回帰成分を結合した結合特徴ベクトルを生成し、当該結合特徴ベクトルと、前記脳活動ベクトルとの前記組データを学習データとして、前記自己回帰成分を含む前記回帰モデルにより学習されており、
    前記脳活動予測部は、前記自己回帰成分を含む前記回帰モデルにより学習された前記エンコーダ学習結果に基づいて、前記新たな刺激に対する前記第１特徴ベクトルから前記新たな刺激に対する前記脳活動ベクトルを予測する
    ことを特徴とする請求項１０に記載の脳活動予測装置。
12. 請求項１０又は請求項１１に記載の脳活動予測装置と、
    前記学習用の刺激に対して、刺激に対する知覚の意味内容を示すラベルを第２の特徴空間に投射した第２特徴ベクトルを生成し、当該第２特徴ベクトルと、前記学習用の刺激に対する前記脳活動ベクトルとの組データを学習データとして、前記脳活動から前記第２の特徴空間への投射関係を学習したデコーダ学習結果と、前記脳活動予測装置によって、前記新たな刺激に対して前記第１特徴ベクトルから予測された前記脳活動ベクトルとに基づいて、前記新たな刺激に対する前記第２特徴ベクトルを予測する刺激特徴予測部と
    を備えることを特徴とする知覚認知内容推定システム。
13. 特徴ベクトル生成部が、刺激に対する表現を第１の特徴空間に投射した第１特徴ベクトルを生成する特徴ベクトル生成ステップと、
    脳活動予測部が、被験者に与えた学習用の刺激に対する前記第１特徴ベクトルと、当該学習用の刺激に対する脳活動を計測した計測データに基づいて生成された脳活動ベクトルとの組データを学習データとした回帰モデルにより、前記第１の特徴空間から前記脳活動への投射関係を学習したエンコーダ学習結果に基づいて、新たな刺激に対して前記特徴ベクトル生成ステップによって生成された前記第１特徴ベクトルから前記新たな刺激に対する前記脳活動ベクトルを予測する脳活動予測ステップと
    を含むことを特徴とする脳活動予測方法。

Images