JP6417232B2 - 映像評価装置およびそのプログラム - Google Patents

Description

本発明は、映像コンテンツまたは当該映像コンテンツを提示する映像システムを客観的に評価する映像評価装置およびそのプログラムに関する。

従来、映像コンテンツや映像システムの評価は、映像コンテンツを視聴した評価者が、１つまたは複数の評価項目に対して評価値を与えるという主観評価によって行われてきた。この主観評価は、映像コンテンツの印象を調べたり、符号化パラメータと画質の劣化具合を調べたり、等の方法として広く用いられてきた。
しかし、主観評価は、評価者が自ら感じていること（内観）を、自らで数値的に答えるというところに大きな問題がある。なぜなら、測定対象と測定器が、同じ評価者の中に存在すると解釈でき、正確に内観を数値化することは、評価者個人の特性や能力に関ってしまうからである。

例えば、ノイズが目立つかどうかを答えるという比較的単純な評価課題であれば、評価者の能力の差はあまり大きくないことが想定できる。一方、「臨場感」や「分かりやすさ」の度合いを答えるという評価課題は、先の比較的単純な評価課題に比べ高度であり、評価者の能力の影響を大きく受けることになる。特に、認知能力が十分でないと想定される子供、高齢者等を測定対象として評価を行う場合、評価結果の品質を確保する際に非常に顕著な問題となる。

また、従来の主観評価は、映像コンテンツを視聴しながら同時に評価するという、実質的に２つの動作により行われている。したがって、評価するという行為が、映像コンテンツを視聴するという行為に干渉してしまい、評価者によっては、映像コンテンツや映像システムの評価を正しく行えないという問題がある。この問題は、評価課題が高度になるにつれて顕著になる。
そこで、近年は、内観を評価者に答えてもらうのではなく、評価者の生体信号を計測し、客観的に内観を推定する手法が開示されている（例えば、特許文献１〜９参照）。
この生体信号による内観の推定は、例えば、評価者の脳波等の生体信号を計測し、人の集中度、リラックスの状態等、予め決められた生体信号のパターンが出現するか否かにより行われている。

特許第４３７０２０９号公報 特許第４４４１３４５号公報 特許第４６８６２９９号公報 特許第３９９１０６６号公報 特許第４１８９４４０号公報 特許第５１１９３７５号公報 特許第３０４８９１８号公報 特開２０１２−７３３５０号公報 特許第２７７２４１３号公報

しかし、放送番組等の映像コンテンツは種類（ジャンル、内容等）が多種多様であり、評価者の集中度やリラックス状態が把握できても、映像コンテンツの評価には貢献できない場合がある。多種多様な映像コンテンツに対応するためには、多様な評価軸を柔軟に設定できる必要があるが、多様な評価軸に対応する生体信号のパターンを予め設定することは極めて困難であるからである。
すなわち、従来の手法のように、評価者の生体信号そのものだけを利用しても、映像コンテンツの内容を考慮した評価を行うことは困難であるという問題がある。

本発明は、このような問題に鑑みてなされたものであり、映像コンテンツの評価軸を柔軟に設定することを可能とし、評価者の生体信号から、映像コンテンツまたは映像コンテンツを提示する映像システムを客観的に評価することが可能な映像評価装置およびそのプログラムを提供することを課題とする。

前記課題を解決するため、本発明に係る映像評価装置は、予め複数の学習被験者により学習した主観評価推定モデルによって、映像コンテンツを視聴した推定対象被験者の主観評価を推定する映像評価装置であって、第１生体信号入力手段と、主観評価入力手段と、主観評価推定モデル生成手段と、第２生体信号入力手段と、主観評価推定手段と、主観評価統合手段と、を備える構成とした。

かかる構成において、映像評価装置は、第１生体信号入力手段によって、映像コンテンツ視聴中に、学習被験者の複数の部位ごとの計測チャンネルで計測された生体信号を、時系列の数値である生体信号データとして入力する。これによって、映像評価装置は、学習段階として、映像コンテンツ視聴中の学習被験者の内観を、生体信号による数値データとして入力する。

また、映像評価装置は、主観評価入力手段によって、映像コンテンツに対する予め定めた複数の評価項目に対して、学習被験者が評価した数値化された評価結果である主観評価値を入力する。これによって、映像評価装置は、学習段階として、学習被験者の映像コンテンツに対する主観評価値を入力する。また、評価項目は任意の項目を設定することができるため、映像評価装置は、それぞれの評価項目によって映像コンテンツの評価軸を柔軟に設定することができる。

そして、映像評価装置は、主観評価推定モデル生成手段によって、計測チャンネルごとの時系列の生体信号データと複数の評価項目に対する主観評価値とから、計測チャンネルごとに主観評価推定モデルを生成する。
この主観評価推定モデルは、生体信号データから主観評価値を求める関数であって、時系列の個々の生体信号データを重み付け加算して主観評価値を演算するための時系列のサンプル数に対応したパラメータで特定される。なお、このパラメータは、複数の学習被験者によって測定された生体信号データと主観評価値とに対して、例えば、最小二乗法を用いることで求めることができる。
これによって、映像評価装置は、計測チャンネルごとに、主観評価推定モデルを学習することができる。

また、映像評価装置は、実際の推定対象である推定対象被験者の主観評価値を推定するため、第２生体信号入力手段によって、映像コンテンツを視聴する推定対象被験者の計測チャンネルで計測された生体信号を、時系列の数値である生体信号データとして入力する。
そして、映像評価装置は、主観評価推定手段によって、主観評価推定モデルを用いて、計測チャンネルごとに、第２生体信号入力手段で入力された生体信号データから推定対象被験者の主観評価値を演算により求める。

そして、映像評価装置は、主観評価統合手段によって、主観評価推定手段で求められた主観評価値を予め定めた演算により計測チャンネル分統合することで、評価項目ごとに、被験者の推定主観評価値を求める。
これによって、映像評価装置は、評価項目ごとに、推定対象被験者が感じている（内観した）主観評価値を推定することができる。
なお、本発明は、コンピュータを、第１生体信号入力手段、主観評価入力手段、主観評価推定モデル生成手段、第２生体信号入力手段、主観評価推定手段および主観評価統合手段として機能させるための映像評価プログラムで実現することもできる。

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、予め複数の評価項目に対する学習被験者の主観評価によって、映像コンテンツ視聴中における学習被験者の生体信号との関係を学習することができる。そのため、本発明は、推定対象被験者の映像コンテンツの主観評価を、推定対象被験者の生体信号のみで推定することができる。
また、本発明は、従来のような特定の生体信号と主観評価とを対応付けるのではなく、学習によって、任意の生体信号と、評価軸を任意の項目で設定可能な複数の評価項目に対する主観評価とを関連付けるため、任意の映像コンテンツに対する任意の評価軸による主観評価の推定を行うことができる。

本発明の第１実施形態に係る映像評価装置の概要を説明するための説明図であって、（ａ）は学習段階、（ｂ）は推定段階の概要を示す図である。 本発明の第１実施形態に係る映像評価装置の構成を示すブロック構成図である。 本発明の第１実施形態に係る映像評価装置の学習段階の動作を示すフローチャートである。 本発明の第１実施形態に係る映像評価装置の推定段階の動作を示すフローチャートである。 本発明の第２実施形態に係る映像評価装置の構成を示すブロック構成図である。 本発明の第２実施形態に係る映像評価装置の推定段階の動作を示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。
〔映像評価装置の概要〕
最初に、図１を参照して、本発明の実施形態に係る映像評価装置１の概要について説明する。
映像評価装置１は、放送番組等の映像コンテンツを視聴中の複数の被験者の生体信号と、その被験者が複数の評価項目で当該映像コンテンツを主観評価した結果（学習用主観評価値）とから当該映像コンテンツに対する生体信号と主観評価との関係を学習し、その学習結果に基づいて、他の被験者の生体信号から、当該映像コンテンツに対する主観評価を推定するものである。ここで、学習段階における被験者を学習被験者といい、推定段階における被験者を推定対象被験者という。

すなわち、映像評価装置１は、図１（ａ）に示すように、学習段階として、複数の学習被験者Ｈｓ，Ｈｓ，…から、生体信号測定装置（ここでは、脳波計Ｂ）で計測される、テレビ受信機等の映像システムのモニタＭに提示される映像コンテンツ視聴中における生体信号（学習用生体信号）を取得する。さらに、映像評価装置１は、学習段階として、映像コンテンツ視聴後に、学習被験者Ｈｓ，Ｈｓ，…から、当該映像コンテンツに対する複数の評価項目に対する評価（学習用主観評価値）を取得する。
そして、映像評価装置１は、取得した生体信号と主観評価値との関係、すなわち、被験者の映像コンテンツ視聴中の脳波等の生体信号と、被験者の映像コンテンツに対する評価（主観評価値）との関係を学習する。

その後、映像評価装置１は、図１（ｂ）に示すように、推定段階として、映像コンテンツに対する主観評価を推定する推定対象被験者Ｈｔから、生体信号測定装置（脳波計Ｂ）で計測される、モニタＭに提示されるコンテンツ視聴中における生体信号（学習用生体信号）を取得し、学習結果に基づいて、推定対象被験者Ｈｔの主観評価値を推定する。
ここで、被験者（学習被験者Ｈｓ、推定対象被験者Ｈｔ）が視聴する映像コンテンツや映像コンテンツを提示する映像システム（モニタＭ等）は同一である。また、複数の学習被験者Ｈｓ，Ｈｓ，…に対して行う評価項目の内容は同一である。

なお、映像評価装置１は、モニタＭを含む映像システムを固定（同一解像度、同一音響環境等）すれば、評価する映像コンテンツを替えることで、映像コンテンツそのものの評価を行うことができる。また、映像評価装置１は、同一の映像コンテンツを提示することとし、映像システムの解像度、音響設備等を替えれば、映像コンテンツの視聴評価を介して、映像システムの評価を行うことができる。
以下、このように、学習と推定により、推定対象被験者Ｈｔの主観評価値を推定する映像評価装置１の構成および動作について説明を行う。

〔映像評価装置の構成：第１実施形態〕
まず、図２を参照して、本発明の第１実施形態に係る映像評価装置１の構成について説明する。
図２に示すように、映像評価装置１は、事前の学習段階において、推定段階で使用する学習結果（主観評価推定モデル）を学習するための構成として、学習用生体信号入力手段１０と、学習用生体信号記憶手段１１と、学習用主観評価入力手段１２と、学習用主観評価記憶手段１３と、主観評価推定モデル生成手段１４と、主観評価推定モデル記憶手段１５と、推定段階において、推定対象被験者の主観評価値を推定するための構成として、推定用生体信号入力手段２０と、主観評価推定手段２１と、主観評価統合手段２２と、を備える。

学習用生体信号入力手段（第１生体信号入力手段）１０は、外部に接続された生体信号測定装置（不図示）を介して、生体信号を計測する計測チャンネル（以下、チャンネルという）ごとに、学習被験者の生体信号を入力するものである。この学習用生体信号入力手段１０は、複数の学習被験者から入力した生体信号を、それぞれ時系列信号として数値化し、その数値化した生体信号データを、学習被験者とチャンネルとに対応付けて学習用生体信号記憶手段１１に書き込み記憶する。

ここで、生体信号とは、学習被験者（推定対象被験者についても同様）の生体組織の状態や組織が機能している場合の情報を反映した信号である。この生体信号は、例えば、脳血中酸素依存信号、脳波（ＥＥＧ：Electroencephalogram）、人体の体表温度等である。
例えば、生体信号測定装置としてｆＭＲＩ装置を用いることで、学習用生体信号入力手段１０は、機能的核磁気共鳴画像法（ｆＭＲＩ：Magnetic Resonance Imaging）により計測される画像の輝度データとして脳血中酸素依存信号を取得することができる。

また、例えば、生体信号測定装置としてＮＩＲＳ脳計測装置を用いることで、近赤外分光法(ＮＩＲＳ：Near Infrared Spectroscopy）により計測される近赤外光の吸収度合いを示すデータとして脳血中酸素依存信号を取得することができる。
また、例えば、生体信号測定装置として脳波計を用いることで、被験者の頭皮上等に置いた電極で計測される電位データとして脳波を取得することができる。
また、例えば、生体信号測定装置としてサーモグラフィを用いることで、熱分布を示す画像データとして体表温度を取得することができる。

また、ここで、チャンネル（計測チャンネル）とは、生体信号測定装置で測定される被験者の生体信号の測定部位を示す。例えば、生体信号としてｆＭＲＩにより計測されるデータを用いる場合、ｆＭＲＩ装置が脳の複数の断面画像（３次元画像）を生成することから、チャンネルは、画像のピクセル単位（３次元画像であるため、より正確にはボクセル単位）で表された被験者の脳の部位に相当する。また、例えば、生体信号として、近赤外分光法により計測されるデータや脳波を用いる場合、チャンネルは、被験者の頭表上に置かれるプローブ単位または電極単位で表される脳の部位に相当する。

なお、ｆＭＲＩ装置は、脳内の酸素依存信号を脳の断面画像として出力するが、その画像は被験者によって大きさ、形状等が異なる。そこで、学習用生体信号入力手段１０は、複数の被験者でチャンネルとして指し示す部位を揃えるため、アフィン変換等により、断面画像を圧縮、伸長、回転させ、標準脳と呼ばれるテンプレート脳画像と大きさ、形状等を合わせる正規化処理を行うことが好ましい。
また、学習用生体信号入力手段１０は、生体信号データに対して平滑化処理等を行うことで、データのノイズを除去することが好ましい。
このように、学習用生体信号入力手段１０は、正規化処理、ノイズ除去等を行った生体信号データを、学習用生体信号記憶手段１１に書き込み記憶する。

学習用生体信号記憶手段１１は、学習用生体信号入力手段１０で計測された生体信号（具体的には、数値化された生体信号データ）を記憶するものである。この学習用生体信号記憶手段１１は、半導体メモリ、ハードディスク等の一般的な記憶装置で構成することができる。

この学習用生体信号記憶手段１１には、学習被験者とチャンネルとに対応付けられた時系列信号として、複数の学習被験者の生体信号データが記憶される。例えば、学習用生体信号記憶手段１１には、１０人の学習被験者に対して、それぞれ１００００箇所のチャンネルで計測された生体信号データを記憶する。
ここでは、学習用生体信号記憶手段１１に記憶される生体信号データを計測した学習被験者の数をＮ人とする。また、ここで、チャンネルの識別子をｃ、学習被験者の識別子をｉ（１≦ｉ≦Ｎ）、映像コンテンツの視聴時刻をｔ（１≦ｔ≦Ｔ）としたとき、学習用生体信号記憶手段１１に記憶される時系列の生体信号データ（生体信号時系列）ｘ^ｃ _ｉは、以下の式（１）に示すＴ次元ベクトルで表すことができる。

なお、式（１）において下付きのｔは時刻を表し、上付きのｔは転置を示す数学記号である（以下の各式においても同様）。
すなわち、生体信号データｘ^ｃ _ｉは、学習被験者ｉが映像コンテンツ視聴中に、最初に計測されたｘ^ｃ _ｉ，１から、順次、時系列に計測されたｘ^ｃ _ｉ，Ｔまでの生体信号データで構成される。
また、学習用生体信号記憶手段１１には、学習用生体信号入力手段１０によって、学習被験者とチャンネルとが対応付けて記憶されているため、ここでは、チャンネルｃに対応する複数の学習被験者の生体信号データを、以下の式（２）の生体信号行列Ｘ_ｃで表すこととする。

この学習用生体信号記憶手段１１に記憶された生体信号データは、主観評価推定モデル生成手段１４によって参照される。

学習用主観評価入力手段１２は、映像コンテンツ視聴中に生体信号を計測された学習被験者から、当該映像コンテンツを主観評価した結果である学習用主観評価値（以下、主観評価値という）を入力するものである。例えば、学習用主観評価入力手段１２は、映像コンテンツを主観評価した結果を、キーボード、タッチパネル等の入力手段（不図示）を介して入力する。
この学習用主観評価入力手段１２は、入力した主観評価値を、学習被験者に対応付けて学習用主観評価記憶手段１３に書き込み記憶する。

ここで、主観評価値は、複数の評価項目に対する学習被験者の評価値である。例えば、主観評価値は、「温かい／冷たい」、「明るい／暗い」、「興奮する／興奮しない」等の複数の評価軸である評価項目に対して、それぞれ予め定めた数値範囲（例えば、“０”〜“１００”）で学習被験者が評価した数値である。なお、この主観評価値の数値は、連続値である必要はなく、例えば、離散値（例えば、“１”、“２”、“３”の中で選択）であってもよい。
また、学習用主観評価入力手段１２は、入力した主観評価値である数値をそのまま用いてもよいし、ある閾値を超えれば“１”、超えていなければ“０”のように、量子化を行った数値を用いてもよい。

学習用主観評価記憶手段１３は、学習用主観評価入力手段１２で入力された主観評価値を記憶するものである。この学習用主観評価記憶手段１３は、半導体メモリ、ハードディスク等の一般的な記憶装置で構成することができる。
ここで、評価項目の数をＮ_ｑ個とし、学習被験者の識別子をｉ（１≦ｉ≦Ｎ）としたとき、学習用主観評価記憶手段１３に記憶される主観評価値ｙ_ｉは、以下の式（３）に示すＮ_ｑ次元ベクトルで表すことができる。

また、学習用主観評価記憶手段１３には、学習用主観評価入力手段１２によって、学習被験者の数（Ｎ人）の主観評価値が記憶されているため、ここでは、複数の学習被験者の主観評価値を、以下の式（４）に示す主観評価値行列Ｙで表すこととする。

この学習用主観評価記憶手段１３に記憶された主観評価値は、主観評価推定モデル生成手段１４によって参照される。

主観評価推定モデル生成手段１４は、学習用生体信号記憶手段１１に記憶されている生体信号データと、学習用主観評価記憶手段１３に記憶されている主観評価値とから、主観評価値を推定する対象となる推定対象被験者Ｈｔ（図１参照）の主観評価値を推定するためのチャンネルごとのモデル（主観評価推定モデル）を生成するものである。
すなわち、主観評価推定モデル生成手段１４は、主観評価値を推定する推定対象被験者ｉのｊ番目の評価項目に対する推定主観評価値をｙ_ｉ，ｊとしたとき、チャンネルｃの生体信号時系列ｘ^ｃ _ｉ（前記式（１）参照）から、推定主観評価値ｙ_ｉ，ｊを推定する以下の式（５）に示すような関数ｆ_ｃを、主観評価推定モデルとして生成する。

ここでは、関数ｆ_ｃを線形関数としたときの例について説明する。
関数ｆ_ｃを線形関数であるとすると、前記式（４）の主観評価値行列Ｙのｊ番目の列（ｊ番目の評価項目に対するＮ人の学習被験者の主観評価値に相当）をｙ_ｊ ^〜としたとき、ｙ_ｊ ^〜および前記式（２）の生体信号行列Ｘ_ｃは、以下の式（６）のように表すことができる。

ここで、ｗ_ｊ，ｃは、主観評価推定モデルのパラメータ（パラメータベクトル：Ｔ×１次元）であって、映像コンテンツの視聴時刻ｔ（１≦ｔ≦Ｔ）に対応する。すなわち、ｗ_ｊ，ｃは、時系列のサンプル数の生体信号データを、重み付け加算するための重み係数である。また、ｂ_ｊ，ｃは補正項（バイアス補正項）であり、“１”は、要素がすべて“１”のＮ×１次元のベクトルである。
この主観評価推定モデル生成手段１４は、式（６）のｗ_ｊ，ｃおよびｂ_ｊ，ｃを求めることで、前記式（５）の関数ｆ_ｃを特定することができる。
なお、このｗ_ｊ，ｃおよびｂ_ｊ，ｃは、種々の手法によって求めることができる。例えば、最小二乗法を用いて解く場合、以下の式（７）とすると、以下の式（８）に示すように、前記式（６）を変形することで、ｗ_ｊ，ｃ ⁻、すなわち、ｗ_ｊ，ｃおよびｂ_ｊ，ｃを求めることができる。

なお、この式（８）において、“−１”は逆行列を示すが、Ｘ^ｔＸが非正則で逆行列を計算することができない場合、主観評価推定モデル生成手段１４は、Ｘ^ｔＸの対角成分に正則化パラメータを加算し正則化することで、逆行列を演算すればよい。
この主観評価推定モデル生成手段１４は、生成したチャンネルごとのモデル（主観評価推定モデル）を、主観評価推定モデル記憶手段１５に書き込み記憶する。
すなわち、主観評価推定モデル生成手段１４は、主観評価推定モデルとして、前記式（５）に示すチャンネルｃごとの関数ｆ_ｃを主観評価推定モデル記憶手段１５に記憶する。より具体的には、主観評価推定モデル生成手段１４は、関数ｆ_ｃを特定するパラメータベクトルｗ_ｊ，ｃおよび補正項ｂ_ｊ，ｃを、チャンネルｃに対応付けて、主観評価推定モデル記憶手段１５に記憶する。
なお、ここでは、主観評価推定モデルを、線形関数でモデル化したが、非線形関数でモデル化しても構わない。

主観評価推定モデル記憶手段１５は、主観評価推定モデル生成手段１４で生成されたチャンネルごとの主観評価推定モデルを記憶するものである。この主観評価推定モデル記憶手段１５は、半導体メモリ、ハードディスク等の一般的な記憶装置で構成することができる。
これによって、主観評価推定モデル記憶手段１５には、チャンネルごとに、生体信号データと、主観評価値とを関連付けることが可能な主観評価推定モデルが記憶されることになる。

推定用生体信号入力手段（第２生体信号入力手段）２０は、外部に接続された生体信号測定装置（不図示）を介して、生体信号を計測するチャンネルごとに、映像コンテンツに対する主観評価を推定する推定対象被験者の生体信号を入力するものである。
なお、推定用生体信号入力手段２０は、対象とする被験者と、数値化した生体信号の出力先とが異なるだけで、学習用生体信号入力手段１０と同様の機能を有する。すなわち、推定用生体信号入力手段２０は、チャンネルごとの生体信号を、時系列信号として数値化し、その数値化した生体信号データを、主観評価推定手段２１に出力する。
ここでは、チャンネルの識別子をｃ、映像コンテンツの視聴時刻をｔ（１≦ｔ≦Ｔ）としたとき、推定用生体信号入力手段２０から出力される生体信号データ（生体信号時系列）ｘ^ｃ _ｎｅｗを、以下の式（９）と表すこととする。

主観評価推定手段２１は、主観評価推定モデル記憶手段１５に記憶されているチャンネルごとの主観評価推定モデルに基づいて、推定用生体信号入力手段２０で計測される推定対象被験者の生体信号データから、評価項目に対するチャンネルごとの主観評価値を推定するものである。
すなわち、主観評価推定手段２１は、前記式（９）に示した推定対象被験者の生体信号データｘ^ｃ _ｎｅｗから、以下の式（１０）に示す演算を行うことで、チャンネルｃごとに、すべての評価項目ｊ（１≦ｊ≦Ｎ_ｑ：Ｎ_ｑは評価項目の総数）についての主観評価値ｙ^ｃ _{ｎｅｗ，ｊ} ^〜を推定する。

なお、この式（１０）中、ｗ_ｊ，ｃおよびｂ_ｊ，ｃは、主観評価推定モデル生成手段１４で学習されて、主観評価推定モデル記憶手段１５に記憶されているものである。
この主観評価推定手段２１は、推定したチャンネルごとの主観評価値ｙ^ｃ _{ｎｅｗ，ｊ} ^〜を、主観評価統合手段２２に出力する。

主観評価統合手段２２は、主観評価推定手段２１で評価項目に対してチャンネルごとに推定された主観評価値を、当該評価項目の１つの評価値として統合するものである。
具体的には、主観評価統合手段２２は、評価項目の内で主観評価値として連続値を用いた評価項目については、その評価項目に対してチャンネルごとに推定されたすべての主観評価値の平均値を演算し、推定対象被験者の推定主観評価値とする。

また、主観評価統合手段２２は、評価項目の内で主観評価値として離散値を用いた評価項目については、その評価項目に対してチャンネルごとに推定されたすべての主観評価値のヒストグラムを作成し、最も頻度の高い数値を、推定対象被験者の推定主観評価値とする。
そして、主観評価統合手段２２は、評価項目に対する評価値として、推定主観評価値を外部に出力する。

以上説明したように映像評価装置１を構成することで、映像評価装置１は、学習段階において、映像コンテンツの評価軸を評価項目として柔軟に設定することができ、推定段階において、推定対象被験者が映像コンテンツに集中した生体信号を取得することができる。
そのため、映像評価装置１は、推定対象被験者の生体信号から、映像コンテンツまたは映像コンテンツを提示する映像システムを客観的に高い精度で評価することができる。
なお、映像評価装置１は、コンピュータを、前記した構成の各手段として機能させるためのプログラム（映像評価プログラム）で動作させることができる。

〔映像評価装置の動作：第１実施形態〕
次に、図３および図４を参照して、本発明の第１実施形態に係る映像評価装置１の動作について説明する。ここでは、図３で映像評価装置１の学習段階の動作、図４で学習段階の後に行われる映像評価装置１の推定段階の動作について説明する。

（学習段階の動作）
まず、図３を参照（構成については、適宜図２参照）して、映像評価装置１の学習段階の動作について説明する。
映像評価装置１は、学習用生体信号入力手段１０によって、外部に接続された生体信号測定装置（不図示）を介して、生体信号を計測するチャンネルごとに、学習被験者の生体信号を入力する（ステップＳ１）。

そして、映像評価装置１は、学習用生体信号入力手段１０によって、ステップＳ１で入力した生体信号を数値化し、時系列信号（生体信号データ）として、学習被験者と、生体信号を測定したチャンネルとに対応付けて学習用生体信号記憶手段１１に書き込み記憶する（ステップＳ２）。

また、映像評価装置１は、学習用主観評価入力手段１２によって、映像コンテンツ視聴中に生体信号を計測された学習被験者から、当該映像コンテンツを主観評価した評価値（主観評価値）を入力する（ステップＳ３）。

そして、映像評価装置１は、学習用主観評価入力手段１２によって、ステップＳ３で入力した主観評価値を、学習被験者に対応付けて学習用主観評価記憶手段１３に書き込み記憶する（ステップＳ４）。

そして、映像評価装置１は、予め定めた学習被験者の数（Ｎ人）だけ、生体信号データおよび主観評価値を入力していなければ（ステップＳ５でＮｏ）、ステップＳ１に戻って、動作を繰り返す。

一方、予め定めた学習被験者の数（Ｎ人）だけ、生体信号データおよび主観評価値を入力した場合（ステップＳ５でＹｅｓ）、映像評価装置１は、主観評価推定モデル生成手段１４によって、ステップＳ２で学習用生体信号記憶手段１１に記憶された生体信号データと、ステップＳ４で学習用主観評価記憶手段１３に記憶された主観評価値とから、推定対象被験者の主観評価値を推定するための評価項目に対するチャンネルごとの主観評価推定モデル（関数）を生成する（ステップＳ６）。
そして、映像評価装置１は、主観評価推定モデル生成手段１４によって、ステップＳ６で生成された主観評価推定モデルを、主観評価推定モデル記憶手段１５に書き込み記憶する（ステップＳ７）。

これによって、映像評価装置１は、映像コンテンツを視聴中に測定した複数の学習被験者の生体信号データと、当該映像コンテンツ視聴後の複数の学習被験者の主観評価（主観評価値値）とから、生体信号の測定のチャンネルごとに、評価項目に対する生体信号データと主観評価値との関係をモデル化することができる。

（推定段階の動作）
次に、図４を参照（構成については、適宜図２参照）して、映像評価装置１の推定段階の動作について説明する。
映像評価装置１は、推定用生体信号入力手段２０によって、外部に接続された生体信号測定装置（不図示）を介して、生体信号を計測するチャンネルごとに、主観評価値を推定する対象である推定対象被験者の生体信号を、時系列信号（生体信号データ）として入力する（ステップＳ２１）。

そして、映像評価装置１は、主観評価推定手段２１によって、図３のステップＳ６で生成され、ステップＳ７で主観評価推定モデル記憶手段１５に記憶されているチャンネルごとの主観評価推定モデルに基づいて、ステップＳ２１で入力された推定対象被験者の生体信号データから、評価項目に対してチャンネルごとの推定した主観評価値を演算（前記式（１０）参照）により求める（ステップＳ２２）。

さらに、映像評価装置１は、主観評価統合手段２２によって、ステップＳ２２で推定された、評価項目に対してチャンネルごとに推定した主観評価値を、評価項目に対する１つの評価値として統合することで、当該評価項目に対する推定主観評価値とする（ステップＳ２３）。ここでは、主観評価統合手段２２は、主観評価値が連続値の場合、評価項目に対してチャンネルごとに推定されたすべての主観評価値の平均値を推定主観評価値とする。また、主観評価統合手段２２は、主観評価値が離散値の場合、評価項目に対してチャンネルごとに推定されたすべての主観評価値のうちで、最も頻度の高い主観評価値を推定主観評価値とする。

これによって、映像評価装置１は、学習段階で学習されたモデル（主観評価推定モデル）から、映像コンテンツを視聴した推定対象被験者の評価項目に対する主観評価値を推定することができる。

〔映像評価装置の構成：第２実施形態〕
次に、図５を参照して、本発明の第２実施形態に係る映像評価装置１Ｂの構成について説明する。

映像評価装置１Ｂは、放送番組等の映像コンテンツを視聴中の複数の被験者（学習被験者）の生体信号と、その被験者が複数の評価項目で当該映像コンテンツを主観評価した結果（学習用主観評価値）とから当該映像コンテンツに対する生体信号と主観評価との関係を学習し、その学習結果に基づいて、他の被験者（推定対象被験者）の生体信号から、当該映像コンテンツに対する主観評価を推定するものであって、映像評価装置１（図２）と同じ機能を有する。
さらに、映像評価装置１Ｂは、映像コンテンツに対する主観評価を推定する際に、当該主観評価に最も貢献した（影響を与えた）映像コンテンツのシーンを同定する機能を有する。

ここでは、図５に示すように、映像評価装置１Ｂは、学習用生体信号入力手段１０と、学習用生体信号記憶手段１１と、学習用主観評価入力手段１２と、学習用主観評価記憶手段１３と、主観評価推定モデル生成手段１４と、主観評価推定モデル記憶手段１５と、推定用生体信号入力手段２０と、主観評価推定手段２１と、主観評価統合手段２２Ｂと、推定モデル統合手段２３と、主観評価関連シーン同定手段２４と、を備える。
なお、主観評価統合手段２２Ｂ、推定モデル統合手段２３および主観評価関連シーン同定手段２４以外の構成は、図２で説明した映像評価装置１と同一の構成であるため、同一の符号を付して説明を省略する。

主観評価統合手段２２Ｂは、主観評価推定手段２１で評価項目に対してチャンネルごとに推定された主観評価値を、当該評価項目の１つの評価値として統合するものであって、図２で説明した映像評価装置１の主観評価統合手段２２と同じ機能を有する。
さらに、主観評価統合手段２２Ｂは、チャンネルごとに推定された主観評価値を統合して推定主観評価値を求めるとともに、推定主観評価値の推定に貢献の度合いが大きいチャンネルを特定する機能を有する。

具体的には、主観評価統合手段２２Ｂは、評価項目の内で主観評価値として連続値を用いた評価項目については、主観評価統合手段２２（図２）と同様、その評価項目に対してチャンネルごとに推定されたすべての主観評価値の平均値を演算し、推定対象被験者の推定主観評価値とする。
このとき、主観評価統合手段２２Ｂは、平均値（推定主観評価値）に近い主観評価値を推定したチャンネルを、近い順から予め定めた個数（Ｍ個）分選択する。

また、主観評価統合手段２２Ｂは、評価項目の内で主観評価値として離散値を用いた評価項目については、主観評価統合手段２２（図２）と同様、その評価項目に対してチャンネルごとに推定されたすべての主観評価値のヒストグラムを作成し、最も頻度の高い数値を、推定対象被験者の推定主観評価値とする。
このとき、主観評価統合手段２２Ｂは、最も頻度の高い数値（推定主観評価値）と一致する主観評価値を推定したチャンネルを選択する。
この主観評価統合手段２２Ｂは、評価項目に対して統合された推定主観評価値を外部に出力するとともに、選択したチャンネルの集合（チャンネルの識別子の集合）を推定モデル統合手段２３に出力する。

推定モデル統合手段２３は、主観評価統合手段２２Ｂで選択された評価項目に対する貢献の度合いが大きいチャンネルに基づいて、当該評価項目に対する主観評価値を推定するチャンネルごとの主観評価推定モデルのパラメータ（モデルパラメータ）を統合するものである。
ここで、主観評価推定モデルである前記式（５）に示す関数ｆ_ｃにおいて、関数ｆ_ｃを線形関数としたとき、主観評価推定モデルのパラメータは、前記式（６）におけるＴ×１次元のパラメータベクトルｗ_ｊ，ｃである。なお、前記式（６）における補正項ｂ_ｊ，ｃは、定数項であるため、モデルパラメータからは除外する。

ここでは、推定モデル統合手段２３は、選択されたチャンネル分のモデルパラメータを平均化することで、モデルパラメータを統合する。
すなわち、推定モデル統合手段２３は、主観評価統合手段２２Ｂで選択された評価項目ｊに対するチャンネルの集合をＣ_ｊとしたとき、以下の式（１１）に示す演算により、評価項目ｊに対する主観評価推定モデルのパラメータ（モデルパラメータ）ｗ_ｊを求める。なお、Ｍは選択したチャンネルの数である。

この推定モデル統合手段２３は、統合した主観評価推定モデルのパラメータ（ここでは、評価項目ｊごとのモデルパラメータｗ_ｊ）を、主観評価関連シーン同定手段２４に出力する。

主観評価関連シーン同定手段２４は、推定モデル統合手段２３で統合された主観評価推定モデルのパラメータに基づいて、評価項目に対する映像コンテンツのシーンを同定するものである。
ここで、評価項目ｊに対するモデルパラメータｗ_ｊは、Ｔ次元のベクトル、すなわち、映像コンテンツの視聴時刻ｔ（１≦ｔ≦Ｔ）に対応するベクトルである。
また、主観評価値の推定値は、前記式（１０）に示したように、計測した生体信号データとモデルパラメータとの積和演算により求められた結果である。そのため、モデルパラメータｗ_ｊの要素のうちで、絶対値が“０”に近いものは、推定主観評価値に対する貢献の度合いが小さく、絶対値が大きいものは、推定主観評価値に対する貢献の度合いが大きいといえる。
そこで、主観評価関連シーン同定手段２４は、所定の閾値に基づいて、モデルパラメータｗ_ｊの要素の絶対値と閾値とを比較し、閾値を上回る要素番号の集合Ｓ_ｔを求める。
例えば、主観評価関連シーン同定手段２４は、閾値ｔｈを、以下の式（１２）により求める。

ここで、ａは予め定めたパラメータであって、０〜１の間の正の実数である。例えば、ａ＝０．１等である。｜ｗ_ｊ，ｔ｜はベクトルｗ_ｊのｔ番目の要素の絶対値を示す。
このように、主観評価関連シーン同定手段２４が求めた閾値を上回る要素番号の集合Ｓ_ｔは、各要素番号が、映像コンテンツの視聴時刻ｔに相当するため、主観評価の推定に貢献度の高いシーンを示す番号（フレーム番号）の集合といえる。
この主観評価関連シーン同定手段２４は、求めた要素番号の集合Ｓ_ｔを、主観評価の推定に貢献度の高いシーン（主観評価関連シーン）として、外部に出力する。

以上説明したように映像評価装置１Ｂを構成することで、映像評価装置１Ｂは、映像評価装置１（図２参照）の効果に加え、評価項目に対して推定した主観評価値に貢献している映像コンテンツのシーンを特定することができる。
そのため、映像評価装置１Ｂは、映像コンテンツのシーンが視聴者に与える影響を評価することができる。
なお、映像評価装置１Ｂは、コンピュータを、前記した構成の各手段として機能させるためのプログラム（映像評価プログラム）で動作させることができる。

〔映像評価装置の動作：第２実施形態〕
次に、本発明の第２実施形態に係る映像評価装置１Ｂの動作について説明する。なお、映像評価装置１Ｂの学習段階の動作は、図３で説明した映像評価装置１の動作と同じであるため、説明を省略する。ここでは、図６を参照（構成については、適宜図５参照）して、映像評価装置１Ｂの推定段階の動作について説明する。
図６において、ステップＳ２１からＳ２３までの動作は、図４で説明した映像評価装置１の動作と同じであるため、説明を省略する。

ステップＳ２３の後、映像評価装置１Ｂは、主観評価統合手段２２Ｂによって、ステップＳ２３における評価項目に対する主観評価値の推定に貢献の大きかったチャンネルを選択する（ステップＳ２４）。ここでは、主観評価統合手段２２Ｂは、主観評価値が連続値の場合、推定主観評価値に近い主観評価値を推定したチャンネルを、近い順から予め定めた個数分選択する。また、主観評価統合手段２２Ｂは、主観評価値が離散値の場合、推定主観評価値を推定したチャンネルを選択する。

そして、映像評価装置１Ｂは、推定モデル統合手段２３によって、ステップＳ２４で選択された、評価項目に対する主観評価値の推定に貢献が大きいチャンネルについて、当該評価項目に対する主観評価値を推定するチャンネルごとの主観評価推定モデルのパラメータ（モデルパラメータ）を統合する（ステップＳ２５）。なお、このパラメータは、前記式（１１）により演算された、映像コンテンツの視聴時刻ｔ（１≦ｔ≦Ｔ）に対応するベクトルである。

そして、映像評価装置１Ｂは、主観評価関連シーン同定手段２４によって、ステップＳ２５で統合されたパラメータ（Ｔ次元ベクトル）に基づいて、パラメータの要素の値を閾値と比較し、閾値を上回る要素番号に対応するシーンを、推定主観評価値を推定する際に貢献度が大きいシーンとして同定する（ステップＳ２６）。
これによって、映像評価装置１Ｂは、学習段階で学習されたモデル（主観評価推定モデル）から、映像コンテンツを視聴した推定対象被験者の評価項目に対する主観評価値を推定することができるとともに、評価項目に対して推定した主観評価値に貢献している映像コンテンツのシーンを特定することができる。

１，１Ｂ 映像評価装置
１０ 学習用生体信号入力手段（第１生体信号入力手段）
１１ 学習用生体信号記憶手段
１２ 学習用主観評価入力手段
１３ 学習用主観評価記憶手段
１４ 主観評価推定モデル生成手段
１５ 主観評価推定モデル記憶手段
２０ 推定用生体信号入力手段（第２生体信号入力手段）
２１ 主観評価推定手段
２２，２２Ｂ 主観評価統合手段
２３ 推定モデル統合手段
２４ 主観評価関連シーン同定出手段

Claims (8)

1. 予め複数の学習被験者により学習した主観評価推定モデルによって、映像コンテンツを視聴した推定対象被験者の主観評価を推定する映像評価装置であって、
   前記映像コンテンツ視聴中に、前記学習被験者の複数の部位ごとの計測チャンネルで計測された生体信号を、時系列の数値である生体信号データとして入力する第１生体信号入力手段と、
   前記映像コンテンツに対する予め定めた複数の評価項目に対して、前記学習被験者が評価した数値化された評価結果である主観評価値を入力する主観評価入力手段と、
   前記複数の学習被験者を対象とした前記計測チャンネルごとの時系列の生体信号データと前記複数の評価項目に対する主観評価値とから、前記計測チャンネルごとに、前記生体信号データから前記主観評価値を求める関数を、前記主観評価推定モデルとして生成する主観評価推定モデル生成手段と、
   前記映像コンテンツを視聴する前記推定対象被験者の前記計測チャンネルで計測された生体信号を、時系列の数値である生体信号データとして入力する第２生体信号入力手段と、
   前記主観評価推定モデルを用いて、前記計測チャンネルごとに、前記第２生体信号入力手段で入力された生体信号データから前記推定対象被験者の主観評価値を演算により求める主観評価推定手段と、
   この主観評価推定手段で求められた主観評価値を予め定めた演算により前記計測チャンネル分統合することで、前記評価項目ごとに、前記推定対象被験者の推定主観評価値を求める主観評価統合手段と、
   を備えることを特徴とする映像評価装置。
2. 前記主観評価統合手段は、前記評価項目の内で主観評価値として連続値を用いた評価項目について、前記主観評価推定手段で演算により求められた前記計測チャンネルごとのすべての主観評価値の平均値を演算し、前記推定主観評価値とすることを特徴とする請求項１に記載の映像評価装置。
3. 前記主観評価統合手段は、前記評価項目の内で主観評価値として離散値を用いた評価項目について、前記主観評価推定手段で演算により求められた前記計測チャンネルごとの主観評価値で最も頻度の高い数値を前記推定主観評価値とすることを特徴とする請求項１に記載の映像評価装置。
4. 前記主観評価推定モデル生成手段は、前記計測チャンネルごとに、前記学習被験者の時系列の生体信号データを重み付け加算して前記主観評価値を演算するための前記時系列のサンプル数に対応した重み係数を、前記関数のパラメータとして生成することを特徴とする請求項１から請求項３のいずれか一項に記載の映像評価装置。
5. 前記主観評価推定手段で演算された主観評価値のうちで、前記推定主観評価値に予め定めた範囲で近似する主観評価値を演算した前記主観評価推定モデルである関数のパラメータを平均化することで、前記評価項目ごとに、前記計測チャンネル分の主観評価推定モデルを統合する推定モデル統合手段と、
   この推定モデル統合手段で統合された前記評価項目ごとの主観評価推定モデルの前記時系列のサンプル数に対応したパラメータの大きさが予め定めた閾値よりも大きい時点のシーンを、前記映像コンテンツにおける前記評価項目の評価に貢献するシーンとして同定する主観評価関連シーン同定手段と、
   そ備えることを特徴とする請求項４に記載の映像評価装置。
6. 前記主観評価統合手段は、前記評価項目の内で主観評価値として連続値を用いた評価項目について、さらに、前記推定主観評価値に近い主観評価値を推定した計測チャンネルを、近い順から予め定めた個数分選択し、
   前記推定モデル統合手段は、前記選択された計測チャンネルに対応する前記主観評価推定モデルの関数のパラメータを平均化することを特徴とする請求項５に記載の映像評価装置。
7. 前記主観評価統合手段は、前記評価項目の内で主観評価値として離散値を用いた評価項目について、さらに、前記推定主観評価値と一致する主観評価値を推定した計測チャンネルを選択し、
   前記推定モデル統合手段は、前記選択された計測チャンネルに対応する前記主観評価推定モデルのパラメータを平均化することを特徴とする請求項５に記載の映像評価装置。
8. コンピュータを、請求項１から請求項７のいずれか一項に記載の映像評価装置として機能させるための映像評価プログラム。

Images