JP6191248B2 - 情報処理装置及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

従来、コンテンツに対するユーザの関心度合を、生体センサや撮像した画像を用いて判断する技術が提案されている（例えば、特許文献１，２参照）。生体センサを用いる場合、ユーザの皮膚導電、皮膚温度、脈拍に基づいてユーザの集中度を判断する方法が知られており、画像を用いる場合、ユーザ姿勢（前傾や後傾）により、ユーザの熱中度の算定を行う方法が知られている。

特開２００３−１１１１０６号公報 特開２００６−４１８８７号公報

撮影画像を用いる場合、表示対象のコンテンツの特性として大きな盛り上がりが期待できるような場合には、興味・関心があれば前傾がちになり、興味・関心がなければ後傾がちになるというような単純なモデルで、ユーザの状態を判断できる。

しかしながら、視聴対象がe-learningや講演映像のような大きな盛り上がりが期待できないコンテンツである場合、ユーザが興味・関心を持っているかどうかを外見から判断することは難しい。このため、ユーザの様子を撮像した画像から明確に興味あり／興味なしの判定を行うことも難しい。

１つの側面では、本発明は、コンテンツを視聴するユーザの状態を精度よく推定することが可能な情報処理装置及び情報処理プログラムを提供することを目的とする。

一つの態様では、情報処理装置は、コンテンツを視聴する複数人のユーザのポジティブな状態とネガティブな状態の検出結果に基づいて、該検出結果の傾向が類似するユーザをグループ化するグループ化実行部と、特定のユーザの状態がポジティブな状態ともネガティブな状態とも判断できない状態にある時間範囲を特定する特定部と、特定された前記時間範囲全体において、前記特定のユーザ及び前記特定のユーザが属するグループ内のユーザに共通してポジティブ傾向又はネガティブ傾向にあると判断できる動きがあった時間を判定し、判定された該時間を前記特定のユーザがポジティブ又はネガティブな状態にあった可能性が高い時間と推定する推定部と、を備える。

一つの態様では、情報処理装置は、コンテンツを視聴するユーザのポジティブな状態とネガティブな状態の検出結果において、該ユーザの状態がポジティブな状態ともネガティブな状態とも判断できない状態にある時間範囲を特定する特定部と、特定した前記時間範囲内において、特定した前記時間範囲内における前記ユーザのポジティブ又はネガティブな状態を示す指標値の推移傾向に反する時間を抽出する抽出部と、前記抽出部が抽出した時間を前記ユーザがポジティブ又はネガティブな状態にあった可能性が高い時間と推定する推定部と、を備える。

一つの態様では、情報処理プログラムは、コンテンツを視聴する複数人のユーザのポジティブな状態とネガティブな状態の検出結果に基づいて、該検出結果の傾向が類似するユーザをグループ化し、特定のユーザの状態がポジティブな状態ともネガティブな状態とも判断できないニュートラルな状態の時間範囲を特定し、特定された前記ニュートラルな状態の時間範囲全体において、前記特定のユーザ及び前記特定のユーザが属するグループ内のユーザに共通してポジティブ傾向又はネガティブ傾向にあると判断できる動きがあった時間を判定し、判定された該時間をユーザがポジティブ又はネガティブな状態にあった可能性が高い時間と推定する、処理をコンピュータが実行する情報処理プログラムである。

一つの態様では、情報処理プログラムは、コンテンツを視聴するユーザのポジティブな状態とネガティブな状態の検出結果において、該ユーザの状態がポジティブな状態ともネガティブな状態とも判断できない状態にある時間範囲を特定し、特定した前記時間範囲内において、特定した前記時間範囲内における前記ユーザのポジティブ又はネガティブな状態を示す指標値の推移傾向に反する時間を抽出し、抽出した時間を前記ユーザがポジティブ又はネガティブな状態にあった可能性が高い時間と推定する、処理をコンピュータが実行する情報処理プログラムである。

コンテンツを視聴するユーザの状態を精度よく推定することができる。

第１の実施形態に係る情報処理システムの構成を概略的に示す図である。 図２（ａ）は、サーバのハードウェア構成を示す図であり、図２（ｂ）は、クライアントのハードウェア構成を示す図である。 情報処理システムの機能ブロック図である。 実視聴センシングデータＤＢのデータ構造の一例を示す図である。 コンテンツ表示履歴ＤＢのデータ構造の一例を示す図である。 実視聴時ユーザ状況変数ＤＢのデータ構造の一例を示す図である。 ユーザ状態判定結果ＤＢのデータ構造の一例を示す図である。 ＰＮＮ推移特異区間ＤＢのデータ構造の一例を示す図である。 データ収集部により実行される実視聴センシングデータ収集・管理処理のフローチャートである。 データ収集部により実行される姿勢変化評価値算出処理のフローチャートである。 データ収集部により実行される視聴のべ面積算出処理のフローチャートである。 図１２（ａ）〜図１２（ｅ）は、図１１の処理を説明するための図である。 第１の実施形態におけるデータ処理部の処理を示すフローチャートである。 ユーザ状態がニュートラルと判定されたコンテンツ時間区間のＰＮＮ推移値を示すグラフである。 図１５（ａ）、図１５（ｂ）は、第１の実施形態の効果を説明するための図である。 図１６（ａ）〜図１６（ｃ）は、第２の実施形態におけるグルーピングの一例を説明するための図である。 第２の実施形態におけるデータ処理部の処理を示すフローチャートである。 コンテンツ時間区間ｔ_m1〜ｔ_m1+nで集計した、各グループのＰＮＮ推移特異区間判定結果を示す表である。 第３の実施形態におけるデータ処理部の処理を示すフローチャートである。 第４の実施形態におけるデータ処理部の処理を示すフローチャートである。 図２０の処理で生成される表である。 第５の実施形態におけるＰＮＮ推移値の一例を示す図である。 第５の実施形態における、複数の時間区間長でのＰＮＮ推移値比較と、ＰＮＮ推移特異区間の判定結果の一例を示す表である。

《第１の実施形態》
以下、情報処理システムの第１の実施形態について、図１〜図１５に基づいて詳細に説明する。本第１の実施形態の情報処理システム１００は、コンテンツを視聴したユーザが興味・関心を持った状態（ポジティブ）になった時間や、興味・関心を持っていない状態（ネガティブ）になった時間、あるいは、ユーザが興味・関心を持った可能性が高い状態になった時間などを推定して、当該推定結果を利用するシステムである。

図１には、情報処理システム１００の概略構成が示されている。図１に示すように、情報処理システム１００は、情報処理装置としてのサーバ１０と、クライアント２０と、情報収集装置３０と、を備える。サーバ１０、クライアント２０及び情報収集装置３０は、インターネットやＬＡＮ（Local Area Network）などのネットワーク８０に接続されている。

サーバ１０は、サーバソフトウェアが配置（インストール）された情報処理装置であり、ユーザの状態に関するデータを集約し、整理して保管・分別・各種演算を行う。また、サーバ１０はユーザに配信するコンテンツの表示形態の制御を含め、コンテンツ配信を管理する。図２（ａ）には、サーバ１０のハードウェア構成が示されている。図２（ａ）に示すように、サーバ１０は、ＣＰＵ（Central Processing Unit）９０、ＲＯＭ（Read Only Memory）９２、ＲＡＭ（Random Access Memory）９４、記憶部（ここではＨＤＤ（Hard Disk Drive））９６、ディスプレイ９３、入力部９５、ネットワークインタフェース９７、及び可搬型記憶媒体用ドライブ９９等を備えている。これらサーバ１０の構成各部は、バス９８に接続されている。ディスプレイ９３は、液晶ディスプレイ等を含み、入力部９５は、キーボードやマウス、タッチパネル等を含む。サーバ１０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム（情報処理プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラム（情報処理プログラムを含む）をＣＰＵ９０が実行することにより、図３に示す、コンテンツ管理部５０、データ収集部５２、データ処理部５４としての機能が実現される。なお、図３には、サーバ１０のＨＤＤ９６等に格納されているコンテンツＤＢ（database）４０、実視聴センシングデータＤＢ４１、コンテンツ表示履歴ＤＢ４２、実視聴時ユーザ状況変数ＤＢ４３、ユーザ状態判定結果ＤＢ４４、ＰＮＮ推移特異区間ＤＢ４５も図示されている。なお、各ＤＢ４０〜４５の具体的なデータ構造等については後述する。

コンテンツ管理部５０は、クライアント２０のユーザからの求めに応じて、コンテンツＤＢ４０に格納されているコンテンツ（例えば、講演映像）をクライアント２０（表示処理部６０）に提供する。コンテンツＤＢ４０には、各種コンテンツのデータが格納されている。

データ収集部５２は、ユーザが視聴したコンテンツの情報をコンテンツ管理部５０から収集したり、コンテンツを視聴している間のユーザの状態に関するデータを情報収集装置３０から収集したりする。また、データ収集部５２は、収集した情報やデータを実視聴センシングデータＤＢ４１、コンテンツ表示履歴ＤＢ４２、実視聴時ユーザ状況変数ＤＢ４３に格納する。なお、データ収集部５２は、ユーザの状態に関するデータを、ユーザ記録画像系列、視線データ（実視点領域）系列、ユーザ−画面距離系列等の実視聴センシングデータという形で収集する。

データ処理部５４は、コンテンツ表示履歴ＤＢ４２に格納されているデータや実視聴時ユーザ状況変数ＤＢ４３に格納されているデータに基づいて、コンテンツを視聴していたユーザがポジティブな状態にあった時間区間やネガティブな状態にあった時間区間を判定する。また、データ処理部５４は、ユーザがポジティブな状態にあった可能性が高い時間区間（ＰＮＮ推移特異区間）を推定する。データ処理部５４は、判定結果及び推定結果をユーザ状態判定結果ＤＢ４４やＰＮＮ推移特異区間ＤＢ４５に格納する。

クライアント２０は、クライアントソフトウェアが配置（インストール）された情報処理装置であり、ユーザ向けのコンテンツを表示、管理したり、視聴履歴を保管したりする端末である。クライアント２０としては、ＰＣ（Personal Computer）のほか、携帯電話やスマートフォンなどの携帯型の端末などを採用することができる。図２（ｂ）には、クライアント２０のハードウェア構成が示されている。図２（ｂ）に示すように、クライアント２０は、ＣＰＵ１９０、ＲＯＭ１９２、ＲＡＭ１９４、記憶部（ＨＤＤ）１９６、ディスプレイ１９３、入力部１９５、ネットワークインタフェース１９７、及び可搬型記憶媒体用ドライブ１９９等を備えている。クライアント２０の構成各部は、バス１９８に接続されている。クライアント２０においては、ＣＰＵ１９０が、ＲＯＭ１９２あるいはＨＤＤ１９６に格納されているプログラム、或いは可搬型記憶媒体用ドライブ１９９が可搬型記憶媒体１９１から読み取ったプログラムを実行することで、図３に示す表示処理部６０及び入力処理部６２としての機能が実現される。

情報収集装置３０は、ユーザの状態に関するデータを収集する装置であり、例えば、Ｗｅｂカメラを含んでいる。情報収集装置３０では、収集したユーザの状態に関するデータをネットワーク８０を介してサーバ１０に送信する。なお、情報収集装置３０は、クライアント２０の一部（例えばディスプレイ周辺）に組み込まれていてもよい。

なお、本実施形態では、クライアント２０においては、ディスプレイ１９３上でユーザに応じた情報表示が行われる。また、クライアント２０のユーザからの情報収集はユーザと紐づけて情報処理システム１００上に保管される。つまり、クライアント２０は、クライアントソフトウェアもしくは、サーバソフトウェアによって、アクセス制御されている。そのため、本実施形態では、クライアント２０のユーザが例えば「ユーザＡ」であることが確認されていることを前提に情報収集や情報表示が行われる。また、クライアント２０においては、ディスプレイ１９３に応じた情報表示が行われる。また、クライアント２０からの情報収集はディスプレイ１９３と紐づけて情報処理システム１００上に保管される。つまり、クライアント２０は、クライアントソフトウェアもしくは、サーバソフトウェアによって認識されており、ディスプレイ１９３が所定のディスプレイ（例えばスクリーンＢ（scrB））であることが確認されていることを前提に情報収集や情報表示が行われる。

次に、サーバ１０が有するＤＢ４１〜４５のデータ構造について、図４〜図８に基づいて説明する。

図４には、実視聴センシングデータＤＢ４１のデータ構造の一例が示されている。実視聴センシングデータＤＢ４１には、情報収集装置３０を介してデータ収集部５２により収集された実視聴センシングデータが格納される。図４に示すように、実視聴センシングデータＤＢ４１には、一例として、「ユーザ記録画像系列」、「視線データ（実視聴領域）系列」、「ユーザ−画面距離系列」が格納されている。

ユーザ記録画像系列は、コンテンツ視聴中のユーザの様子を画像として記録したものである。具体的には、ユーザ記録画像系列は、「記録開始時刻」、「記録終了時刻」、「ユーザ」、「スクリーン」、「記録画像」の各フィールドを有しており、ディスプレイ（例えばスクリーンＢ）においてコンテンツを視聴するユーザ（Ａ）の様子を動画形式で格納する。なお、ユーザ記録画像系列においては、複数枚の連続した画像を格納することとしてもよい。

視線データ（実視点領域）系列は、例えば、各時刻においてユーザの視線の観察をすることによって得られる「ユーザ実視点予測マップ」を格納する。なお、視線の観察は、特殊な眼球の動きを測定する機器を用いることで実現することもできるが、情報収集装置３０に含まれるＷｅｂカメラ（クライアント２０のディスプレイ（スクリーンＢ）の上部に設置されているものとする）を用いて簡易にユーザの視線方向を特定することもできる（例えば、Stylianos Asteriadis et al., “Estimation of behavioral user state based on eye gaze and head pose-application in an e-learning environment”, Multimed Tools Appl, 2009.参照）。これらの視線検出技術において、コンテンツに注がれた視点データは、視点が注がれた時間が、円の面積と重なりの強度で表現されるヒートマップと呼ばれるデータとして表現される（図１２（ｄ）参照）。本実施形態では、単位時間に視点が注がれた複数の位置の中心を円の中心として、視点が注がれた位置を覆う円を当該単位時間の視点情報として記録する。ここで、時刻ｔ₁に記録するユーザ実視点予測マップには、時刻ｔ₀以降に記録された円情報がファイル中に記録される。時刻ｔ₀から時刻ｔ₁の間に視点情報が５つ記録された場合、円情報は最大５個分記録される（図１２（ｄ）参照）。

ユーザ−画面距離系列は、例えば、コンテンツ視聴中のユーザ（Ａ）と、コンテンツを表示している画面（スクリーンＢ）との距離測定結果を記録したものである。距離測定は、レーザ光や距離画像カメラのような専用の距離測定装置を用いて行うこととしてもよいが、情報収集装置３０に含まれるＷｅｂカメラが撮像したユーザ記録画像系列を用いて計測することとしてもよい。Ｗｅｂカメラが撮像したユーザ記録画像系列を用いる場合、ユーザの顔を囲む矩形領域の大きさの変化に係数を積算したものを距離として用いることができる。

図５には、コンテンツ表示履歴ＤＢ４２のデータ構造の一例が示されている。ユーザは、場合によっては、同時に複数のスクリーンを視聴している場合や、１つのスクリーンにおいて、複数のウィンドウを表示している場合もある。したがって、コンテンツ表示履歴ＤＢ４２では、ウィンドウがどのような状態でスクリーン上に配置され、ウィンドウ中にどのコンテンツが表示されたのかを履歴として蓄積する。具体的には、図５に示すように、コンテンツ表示履歴ＤＢ４２は、「ウィンドウ座標」と「コンテンツ表示履歴」と「コンテンツ」のテーブルを保持している。

「ウィンドウ座標」のテーブルには、スクリーン上に表示されたウィンドウの「ウィンドウＩＤ」、ウィンドウの表示位置やサイズを示す「左上のｘ座標」、「左上のｙ座標」、「width」、「height」のほか、ウィンドウの「重なり順」も記録される。なお、「重なり順」が記録されるのは、ウィンドウ中にコンテンツが表示されている場合であってもウィンドウが他のウィンドウの下に隠れ、実際にはユーザが視認していないウィンドウがスクリーン上に存在する場合もあるからである。

「コンテンツ表示履歴」のテーブルには、スクリーン上に表示されているウィンドウの「ウィンドウＩＤ」や、ウィンドウ上で表示されているコンテンツの「コンテンツＩＤ」、「コンテンツ時間区間」が記録される。「コンテンツ時間区間」には、コンテンツのどの箇所（時間区間）が表示されているかが記録される。なお、「コンテンツＩＤ」としては、図５の「コンテンツ」テーブルにおいて定義されているコンテンツＩＤが格納される。

図６には、実視聴時ユーザ状況変数ＤＢ４３のデータ構造の一例が示されている。ユーザ状況変数は、ユーザ状況変数の変数として用いる。図６では、一例として、実視聴時ユーザ状況変数ＤＢ４３は、「顔パーツの動き」、「視線」、「姿勢変化」のテーブルを有している。

「顔パーツの動き」のテーブルは、「時刻（start）」、「時刻（end）」、「ユーザ」、「スクリーン」、「まばたき」、「眉」、…などのフィールドを有する。この「顔パーツの動き」のテーブルには、「時刻（start）」から「時刻（end）」における、まばたきや眉の動きが激しかったか、普通だったかなどの情報が格納される。

「視線」のテーブルは、「時刻（start）」、「時刻（end）」、「ユーザ」、「スクリーン」、「ウィンドウＩＤ」、「停留時間（msec）」、「コンテンツの視聴のべ面積」のフィールドを有する。ここで、「停留時間（msec）」は、視線が動かない状態が継続した時間を意味する。また、「コンテンツの視聴のべ面積」は、各コンテンツがどのくらいの量、ユーザに視聴されたかを表す数値を意味するが、その詳細については後述する。

「姿勢変化」のテーブルは、「時刻（start）」、「時刻（end）」、「ユーザ」、「スクリーン」、「ウィンドウＩＤ」、「ユーザ画面距離」、「姿勢変化フラグ」、「姿勢変化時間」のフィールドを有する。「ユーザ画面距離」、「姿勢変化フラグ」、「姿勢変化時間」それぞれの詳細については、後述する。

図７には、ユーザ状態判定結果ＤＢ４４のデータ構造の一例が示されている。ユーザ状態判定結果ＤＢ４４においては、コンテンツ時間区間ごとに、ユーザ状態がどのような状態であったかが記録される。ユーザ状態としては、ポジティブな状態の場合には「Ｐ」が記録され、ネガティブな状態の場合には「Ｎ」が記録され、ポジティブともネガティブともいえない状態（ニュートラルの状態）の場合には「−」が記録される。

図８には、ＰＮＮ推移特異区間ＤＢ４５のデータ構造の一例が示されている。このＰＮＮ推移特異区間ＤＢ４５には、ユーザ状態判定結果ＤＢ４４においては、ポジティブともネガティブともいえない状態（ニュートラルの状態）であるものの、ポジティブであった可能性が高いと推定できる時間区間（ＰＮＮ推移特異区間）が記録される。ＰＮＮ推移特異区間ＤＢ４５の具体的内容については、後述する。

次に、サーバ１０において実行される処理について説明する。

（実視聴センシングデータ収集・管理処理）
まず、図９のフローチャートに沿って、データ収集部５２により実行される実視聴センシングデータ収集・管理処理について説明する。

図９の処理においては、まず、ステップＳ１０において、データ収集部５２が、実視聴センシングデータを情報収集装置３０から取得する。次いで、ステップＳ１２では、データ収集部５２が、取得した実視聴センシングデータを種類ごと（ユーザ記録画像系列、視線データ（実視聴領域）系列、ユーザ−画面距離系列ごと）に実視聴センシングデータＤＢ４１に格納する。

次いで、ステップＳ１４では、データ収集部５２が、試聴コンテンツの時間区分に合わせて、視聴時のユーザ状況変数を算出し、実視聴時ユーザ状況変数ＤＢ４３に格納する。

ここで、ステップＳ１４としては収集したデータの種別に応じて種々の処理が想定されるが、本実施形態では、図６の「姿勢変化」テーブルの姿勢変化フラグや姿勢変化時間を算出する処理（姿勢変化評価値算出処理）と、図６の「視線」テーブルのコンテンツの視聴のべ面積を算出する処理（視聴のべ面積算出処理）について説明する。

（姿勢変化評価値算出処理）
図１０のフローチャートに沿って、データ収集部５２により実行される姿勢変化評価値算出処理について説明する。

図１０の処理では、まず、ステップＳ３０において、データ収集部５２は、コンテンツ時間区間ｉを取得する。なお、コンテンツ時間区間ｉの区間長はＴｉであるとする。

次いで、ステップＳ３２では、データ収集部５２は、コンテンツ表示履歴ＤＢ４２、実視聴センシングデータＤＢ４１のユーザ−画面距離系列から、コンテンツ時間区間と、実視聴センシングデータとを紐付け、ユーザ状況変数として、姿勢変化テーブルを作成する。この場合、図６の姿勢変化テーブルの「時刻（start）」、「時刻（end）」、「ユーザ」、「スクリーン」、「ウィンドウＩＤ」、「ユーザ画面距離」の各フィールドにデータが入力される。なお、「ユーザ画面距離」のフィールドには、基準位置（ユーザが通常位置している位置）からの変化量のデータが入力される。

次いで、ステップＳ３４では、データ収集部５２は、ユーザ画面距離｜ｄ｜が閾値よりも大きいか否かを判断する。ここで、閾値は、例えば、基準位置×（１／３）＝５０ｍｍなどを採用することができる。

ステップＳ３４の判断が肯定された場合、すなわち、ユーザ画面距離が閾値よりも大きい場合には、ステップＳ３６に移行し、データ収集部５２は、姿勢変化テーブルにおいて、姿勢変化フラグを「true」とする。また、データ収集部５２は、コンテンツ時間区間ｉの姿勢変化時間Ｔ_trans_[i]を、Ｔ_trans_[i]＝Ｔ_trans_[i-1]＋Ｔｉとする。なお、図６の姿勢変化テーブルにおいては、上から２データ目と３データ目が姿勢変化フラグ「true」となり、当該区間2012/7/12 11:00:01.69〜2012/7/12 11:00:02.29の６００（msec）が姿勢変化時間として記録されることになる。

一方、ステップＳ３４の判断が否定された場合、すなわち、ユーザ画面距離が閾値以下の場合には、ステップＳ３８に移行し、データ収集部５２は、姿勢変化テーブルにおいて、姿勢変化フラグを「false」とする。また、データ収集部５２は、姿勢変化時間Ｔ_trans_[i]を、Ｔ_trans_[i]＝０とする（例えば、図６の姿勢変化テーブルの上から４データ目参照）。

次いで、ステップＳ４０では、データ収集部５２は、姿勢変化評価値を算出すべきコンテンツ時間区間が残っているか否かを判断する。ここでの判断が肯定された場合には、ステップＳ３０に戻り、上記処理を繰り返すが、ステップＳ４０の判断が否定された場合には、図１０の全処理を終了する。

（視聴のべ面積算出処理）
次に、データ収集部５２により実行される、図６の視線テーブルの「コンテンツの視聴のべ面積」を算出する処理（視聴のべ面積算出処理）について、図１１のフローチャートに沿って説明する。ここでは、時刻ｔ₁におけるスクリーンＸ（＝scrＢ）に関し、ウィンドウＩＤ＝Ｙ（＝１）のウィンドウで表示しているコンテンツＩＤ＝Ｚ（＝１）のコンテンツの視聴のべ面積を算出する場合について説明する。

なお、時刻ｔ₀のスクリーンＢ上には、図１２（ａ）に示すように、ウィンドウが２つ存在し、時刻ｔ₁のスクリーンＢ上には、図１２（ｂ）に示すように、ウィンドウが１つ存在するものとする。ここで、時刻ｔ₀からｔ₁のどのタイミングでウィンドウＩＤ：２のウィンドウが消失したのかについては記録されていない。したがって、ウィンドウＩＤ：１とウィンドウＩＤ：２のウィンドウで表示されたコンテンツＩＤ＝１とコンテンツＩＤ＝２のコンテンツがそれぞれ、どのくらいの分量で視聴されたかは正確に算出することはできない。このため、本実施形態では、時刻ｔ₀からｔ₁の間が微小であるという想定の下に、時刻ｔ₁の時点の視聴のべ面積は、時刻ｔ₁において存在するウィンドウに表示されているコンテンツについてのみ算出することとする。

図１１の処理では、まず、ステップＳ５０において、データ収集部５２が、ウィンドウ領域t₀-t₁の面積Ｓ_DWを算出する。ここで、「ウィンドウ領域t₀-t₁」とは、時刻ｔ₀から時刻ｔ₁の間に、スクリーンＢにおいて表示された全ウィンドウの最端を囲んだ領域を意味する。具体的には、時刻ｔ₀におけるスクリーンＢの状態が図１２（ａ）に示すような状態であり、時刻ｔ₁におけるスクリーンＢの状態が図１２（ｂ）に示すような状態であったとする。この場合、ウィンドウ領域t₀-t₁は、ウィンドウＩＤ：１の表示された最端を結んだ矩形とウィンドウＩＤ：２の表示された矩形とを囲んだ領域であり、図１２（ｃ）で太線にて示す領域を意味する。

次いで、ステップＳ５２では、データ収集部５２は、時刻ｔ₁におけるウィンドウＩＤ：１のウィンドウの面積Ｓ_1Wを算出する。ここでは、図１２（ｂ）に示すウィンドウＩＤ：１のウィンドウ面積を算出する。

次いで、ステップＳ５４では、データ収集部５２は、ウィンドウ領域t₀-t₁に含まれる実視点予測ヒートマップの延べ面積（重なった部分の面積も加算）Ｓ_ESを算出する。ここで、時刻ｔ₁における実視点予測ヒートマップに図１２（ｄ）のように５つの円が記録されているものとすると、面積Ｓ_ESとしては、図１２（ｅ）に示すように、５つの円のうち、ウィンドウ領域t₀-t₁と重複している部分の面積が算出される。

次いで、ステップＳ５６では、データ収集部５２は、現在時刻ｔ₁のスクリーンＢについて、ウィンドウＩＤ：１のウィンドウに表示しているコンテンツＩＤ＝１のコンテンツの視聴のべ面積Ｓを算出する。この場合、ウィンドウＩＤ：１のウィンドウに表示されたコンテンツＩＤ＝１のコンテンツに割り当てられる視聴のべ面積Ｓは、面積Ｓ_ESに、時刻ｔ₀から時刻ｔ₁の間において表示された全ウィンドウの最端で囲んだ領域に対する、時刻ｔ₁におけるウィンドウの面積の比率Ｓ_1W／Ｓ_DW（配分比率）を掛け合わせたものとして算出できる。すなわち、データ収集部５２は、面積Ｓを次式（１）より算出することができる。
Ｓ＝Ｓ_ES×Ｓ_1W／Ｓ_DW …（１）

なお、図６では、コンテンツの視聴のべ面積として「８０００」が算出された例が示されている。

（データ処理部５４の処理）
次に、データ処理部５４の処理について、図１３のフローチャートに沿って説明する。なお、データ処理部５４は、図１３の処理を、実視聴時ユーザ状況変数の算出（図９）と同期して行ってもよいし、コンテンツ視聴終了と同期して開始してもよい。あるいは、データ処理部５４は、図１３の処理を定時バッチ処理にて行うこととしてもよい。

図１３の処理では、まず、ステップＳ７０において、データ処理部５４が、ポジティブ（Ｐ）、ニュートラル（−）、ネガティブ（Ｎ）なコンテンツ時間区間を特定し、ユーザ状態判定結果ＤＢ４４に格納する。例えば、コンテンツ視聴時に、ユーザ状態がポジティブである場合には姿勢の変化時間が早く、ユーザ状態がネガティブである場合には姿勢の変化時間が遅くなることが想定される。この場合、姿勢変化時間をユーザ状況変数値として用いることができ、ユーザ状況変数値Ｓ＝姿勢変化時間Ｔ_transとすると、ユーザ状態Ｕは、Ｕ＝{Positive（Ｓ＜2000），Negative（Ｓ＞4000）}という形で表すことができる。あるいは、コンテンツ視聴時に、ユーザ状態がポジティブである場合には視線の停留時間が長く、ユーザ状態がネガティブである場合には視線の停留時間が短いことが想定できるとする。この場合、視線の停留時間をユーザ状況変数値として用いることができ、ユーザ状況変数値Ｓ＝視線停留時間Ｔ_sとすると、ユーザ状態Ｕ＝{Positive(Ｓ＞4000)，Negative(Ｓ＜1000)}のような形で表すことができる。なお、本第１の実施形態では、姿勢変化時間をユーザ状況変数値として用いる場合について説明する。

次いで、ステップＳ７２では、データ処理部５４が、ポジティブ→ネガティブな時間区間（ＰＮＮ区間と呼ぶ）を抽出する。ここで、ＰＮＮ区間（図７のコンテンツ時間区間５〜ｍの間）においては、ユーザ状態がポジティブともネガティブとも判定できないものの、時間経過とともにユーザ状況変数値Ｓの値が単調増加すると予測される。

次いで、ステップＳ７４では、データ処理部５４が、ＰＮＮ推移特異区間を特定し、ＰＮＮ推移特異区間ＤＢ４５に記録する。なお、ＰＮＮ推移特異区間とは、この場合、単調増加が予測される区間内であるにも関わらず、異なる推移を示した区間を意味する。また、この区間では、通常のポジティブからネガティブへの遷移に逆らった特異なユーザ状態が生じていた可能性がある。したがって、本実施形態ではこのＰＮＮ推移特異区間を、近傍区間と比較してユーザがポジティブな状態になった時間区間（ニュートラルプラス区間）である可能性が高い区間とみなす。

具体的には、ステップＳ７４では、データ処理部５４は、通常、ＰＮＮ区間においてＳ_i＞Ｓ_i-1（Ｓ_i：コンテンツ時間区間ｉのＰＮＮ推移値）が成立するべきところ、Ｓ_i＜Ｓ_i-1となるコンテンツ時間区間ｉをＰＮＮ推移特異区間として記録する。なお、ＰＮＮ推移値は、ユーザのポジティブな状態又はネガティブな状態を示す指標値を意味する。図１４には、図８に示すユーザ状態がニュートラルと判定されたコンテンツ時間区間（ＰＮＮ区間）６〜（ｍ−１）の間のＰＮＮ推移値Ｓ₆〜Ｓ_m-1を折れ線（実線）で示している。また、図１４では、当該ＰＮＮ区間の単調増加変化を線形近似した直線を一点鎖線にて示している。

ここで、ステップＳ７４では、ある時間区間における特異性を数値にて表すこととする。この場合の数値としては、線形近似値と算出値の差分で表される区間特異性値を採用することができる。この場合、コンテンツ時間区間ｉ−１，ｉ，ｉ＋１の隣接区間において、各ＰＮＮ推移値と線形近似値との絶対値差がｅ_i-1，ｅ_i，ｅ_i+1であったとすると、コンテンツ時間区間ｉにおける特異性は、通常想定される絶対値差との差分で表現することができる。ここで、想定される絶対値差が（ｅ_i-1＋ｅ_i+1)／２であるとすると、コンテンツ時間区間ｉの区間特異性値ｑ_iは、ｅ_i−（（ｅ_i-1＋ｅ_i+1)／２）で表される。したがって、データ処理部５４は、各ニュートラルプラス区間候補（ＰＮＮ区間内の各時間区間）において、区間特異性値ｑ_iをニュートラルプラス推定値ｖ_iとして求め、値ｖ_iが一定以上であれば、ニュートラルプラス区間と判定するようにすることができる。なお、本実施形態では、図１４において矢印で示す区間（図８のコンテンツ時間区間＝９）がＰＮＮ推移特異区間（ニュートラルプラス区間）として記録される。

このように、本実施形態では、図１５（ａ）に示すように、ポジティブとネガティブの間の区間α（ポジティブともネガティブともいえない区間）がある場合であっても、図１５（ｂ）に示すように、ユーザがポジティブな状態になった可能性が高い区間をニュートラルプラス推定値ｖ_iにて表すことができる。また、本実施形態では、ニュートラルプラス推定値ｖ_iに基づいて、ニュートラルプラス区間（ＰＮＮ推移特異区間）を推定することができるので、ユーザの状態をより高精度に推定することができる。

なお、サーバ１０では、上記のようにしてユーザ状態判定結果ＤＢ４４やＰＮＮ推移特異区間ＤＢ４５に格納・記録されたデータを用いることとしている。このため、例えば、ポジティブ区間と、ニュートラルプラス区間のコンテンツ映像を用いて、コンテンツのダイジェスト映像を作成するなどすることができる。また、ユーザが興味・関心を持った時間区間や興味・関心を持たなかった時間区間の情報をコンテンツ作成者（講演者など）に提供する（フィードバックする）などすることもできる。このように、本実施形態では、コンテンツの評価や再構成、コンテンツに関する統計処理等を行うことができる。

なお、本実施形態では、データ処理部５４により、コンテンツを視聴するユーザのポジティブな状態とネガティブな状態の検出結果からＰＮＮ区間を特定する特定部、特定したＰＮＮ区間内において、ユーザのポジティブ又はネガティブな状態を示す指標値（ＰＮＮ推移値）が特異な値を示す時間区間を抽出する抽出部、及び、抽出した時間区間をニュートラルプラス区間として推定する推定部、としての機能が実現されている。

以上詳細に説明したように、本第１の実施形態によると、データ処理部５４は、コンテンツを視聴するユーザの状態の検出結果において、ユーザの状態がポジティブ（Ｐ）ともネガティブ（Ｎ）とも判断できない時間範囲（ＰＮＮ区間）を特定し、特定したＰＮＮ区間内において、ユーザのＰＮＮ推移値が特異な値を示す時間（単調増加や単調減少と異なる傾向を示す時間）を抽出し、抽出した時間をユーザがポジティブ又はネガティブな状態にあった可能性が高い時間（ニュートラルプラス区間）と推定する。これにより、ユーザの興味・関心の有無が表出されにくいケース（e-learningや講演の動画などを視聴している場合等）であっても、ユーザの興味・関心のあった可能性の高い区間を推定することができる。

また、本実施形態では、Ｗｅｂカメラなどの簡易な装置を用いて、ユーザの興味・関心のあった可能性の高い区間を推定することができるので、特別なセンシング機器を導入する必要がなく、低コスト化を図ることができる。

なお、上記実施形態では、図１３のステップＳ７０において、ポジティブやネガティブの時間区間を実視聴センシングデータを用いて特定する場合について説明した。しかしながら、これに限られるものではなく、データ処理部５４は、ユーザから直接聞き取ったデータを用いて、ポジティブやネガティブの時間区間を特定することとしてもよい。

また、上記実施形態では、ユーザ状況変数として、１種類のデータを用いる場合について説明したが、これに限らず、複数人のユーザ状況変数を組み合わせて（例えば多項式で表すなどして）用いてもよい。

なお、上記実施形態では、ポジティブからネガティブに変化する区間（ＰＮＮ区間）において特異区間を推定する場合について説明した。しかしながら、これに限られるものではなく、ネガティブからポジティブに変化する区間において特異区間を推定することとしてもよい。

《第２の実施形態》
以下、第２の実施形態について、図１６、図１７に基づいて説明する。本第２の実施形態では、図３のデータ処理部５４が、多数のユーザを複数のグループに分け、当該グループに属するユーザの状態（ポジティブな状態、ネガティブな状態）に基づいて、コンテンツのＰＮＮ推移特異区間の判定処理を行う。

データ収集部５２は、多数のユーザがコンテンツ（例えばe-learningや、講演映像）を視聴する場合、コンテンツ視聴時のユーザ状態のデータを大量に収集することができる。このため、データ処理部５４は、大量に収集されたユーザ状況変数を用いて、視聴済のユーザをいくつかのグループに分類することができる。図１６（ａ）〜図１６（ｃ）には、ユーザ状況変数として、姿勢変化を用いた場合のユーザグループ分類の例を示している。図１６中の１本の縦棒は、ある時間区間における姿勢変化時間を示す。この分類の例では、姿勢変化時間が短い時間区間（ポジティブ）から長い時間区間（ネガティブ）の、ポジティブ→ニュートラル→ネガティブの遷移傾向に着目している。図１６（ａ）は、ニュートラルの時間が長いグループの例を示し、図１６（ｂ）は、ネガティブの時間が長いグループの例を示し、図１６（ｃ）は、ポジティブの時間が長いグループの例を示している。

なお、データ処理部５４は、グルーピングに際し、１つのコンテンツ視聴中の全ての時間区間のデータを使用してグルーピングしてもよいし、特定のコンテンツの特定の時間区間に着目して、ユーザ状態が同様に遷移したユーザをグルーピングしてもよい。あるいは、データ処理部５４は、コンテンツを特定せずに、共通する姿勢変化のパターン（コンテンツ後半では、姿勢変化回数が極端に減る等）でグルーピングしてもよい。いずれの場合も、ユーザ状況変数の遷移が類似する傾向にあるユーザがグルーピングされることになる。

以下、本第２の実施形態におけるデータ処理部５４の処理について、図１７のフローチャートに沿って説明する。

なお、本第２の実施形態では、ユーザＡ、ＰＮＮ区間ｋ（コンテンツＩＤ＝１，コンテンツ時間区間ｔ_m1〜ｔ_m1+n)のｎ個のニュートラルプラス推定値を算出することとする。また、ユーザＡはユーザグループ１（ニュートラル時間が長い）に分類されているものとする。

まず、ステップＳ１００では、データ処理部５４は、ユーザＡの属するグループのユーザ数Ｃ_maxを取得する。

次いで、ステップＳ１０２では、データ処理部５４は、コンテンツ時間区間ｔ_m1〜ｔ_m1+nのうちの未取得のコンテンツ時間区間ｉを取得する。次いで、ステップＳ１０４では、データ処理部５４は、コンテンツ時間区間ｉがＰＮＮ推移特異区間であると判定したユーザの数Ｃ_iを取得する。

次いで、ステップＳ１０６では、データ処理部５４は、ニュートラルプラス推定値ｖ_iを次式（２）より算出する。なお、ｑ_iは、ユーザＡのコンテンツ時間区間ｉにおける区間特異性値を意味する。
ｖ_i＝ｑ_i×（Ｃ_i＋１）／Ｃ_max …（２）

上式（２）のように、本実施形態では、ニュートラルプラス推定値の算出において、各コンテンツ時間区間でＰＮＮ推移特異区間と判定されたユーザ数のグループ内における割合を重みとして用いることとしている。これにより、同じグループのユーザに共通してＰＮＮ推移が特異であると判定された区間ほど、ニュートラルプラス推定値として高い値が算出されることになる。このように、本実施形態では、ＰＮＮ区間全体において、ユーザＡ及びユーザＡの属するグループ内のユーザに共通してポジティブ傾向にあると判断できる動きがあった時間をニュートラルプラス区間と推定することで、グループの傾向を考慮したユーザ状態の推定が可能となる。

その後は、ステップＳ１０８において、全てのコンテンツ区間を取得したか否かを判断し、ここでの判断が否定された場合には、ステップＳ１０２に戻る。そして、ステップＳ１０２以降の処理、判断を繰り返し、ステップＳ１０８の判断が肯定された段階で、図１７の全処理を終了する。

なお、本第２の実施形態では、データ処理部５４により、コンテンツを視聴する複数人のユーザをグループ化するグループ化実行部、特定のユーザ（ユーザＡ）の状態がポジティブともネガティブとも判断できないＰＮＮ区間を特定する特定部、ＰＮＮ区間全体において、特定のユーザ及び特定のユーザが属するグループ内のユーザに共通してポジティブ傾向又はネガティブ傾向にあると判断できる動きがあった時間を判定し、該時間をニュートラルプラス区間と推定する推定部、としての機能が実現されている。

以上、説明したように、本第２の実施形態によると、データ処理部５４は、ユーザＡのＰＮＮ区間を特定し、ＰＮＮ区間全体において、ユーザＡ及びユーザＡの属するグループ内のユーザに共通してポジティブ傾向又はネガティブ傾向にあると判断できる動きがあった時間（ニュートラルプラス推定値ｖ_iの値が大きい時間）をニュートラルプラス区間と推定する。これにより、同じようにユーザ状態が遷移するグループの傾向を考慮して、ユーザ状態を推定することができるので、微細なユーザ状態の変化を精度良く推定することができる。

《第３の実施形態》
次に、第３の実施形態について図１８、図１９に基づいて説明する。本第３の実施形態では、データ処理部５４は、ユーザが属するグループの情報のみならず、他のグループの情報も用いて、ニュートラルプラス推定値の補正を行う。なお、本実施形態では、第２の実施形態と同様、クライアント２０のユーザＡが、スクリーンＢ上で、コンテンツＩＤ＝１を表示しているものとする。また、本実施形態では、ＰＮＮ区間ｋ(コンテンツ時間区間t_m1〜t_m1+n)のｎ個のニュートラルプラス推定値を算出する場合について説明する。

本実施形態では、ユーザＡの分類されたグループ１だけではなく、コンテンツ時間区間t_m1〜t_m1+nのデータを用いて、他のグループ２，３のＰＮＮ推移値も参照する。ここで、図１８には、コンテンツ時間区間ｔ_m1〜ｔ_m1+nで集計した、各グループのＰＮＮ推移特異区間判定結果を示している。図１８では、各グループのコンテンツ時間区間ｉの特異性を、各グループに属するユーザのデータの平均値を用いて判定したものとする。なお、コンテンツ時間区間iにおける特異性を求める方法としては、各グループに属するユーザのデータの極大値や中央値等を用いる方法を採用してもよい。また、図１８において示す［０．１］などの数値は、各グループ内の各ユーザ単体のデータを用いてＰＮＮ推移特異区間判定を行った場合に、特異区間と判定されたユーザの割合を示している。これら特異区間の判定は、ユーザ状況変数を用いた判定を行うため、グループによっては、特異区間と判定されにくい場合が想定される。例えば、姿勢変化の例でいうと、ＰＮＮ区間でほぼ姿勢変化のないグループの場合などである。

本第３の実施形態では、データ処理部５４は、これらのグループ間での偏った判定を補正する処理を実行する。

図１９は、第３の実施形態のデータ処理部５４の処理を示すフローチャートである。以下、図１９に沿って、データ処理部５４の処理について説明する。

図１９の処理では、まず、ステップＳ１３０において、データ処理部５４は、あるユーザＡの属するグループＸのユーザ数（Ｃ_max）を取得する。次いで、ステップＳ１３２では、データ処理部５４は、コンテンツ時間区間ｔ_m1〜ｔ_m1+nの間における未取得のコンテンツ時間区間iを取得する。

次いで、ステップＳ１３４では、データ処理部５４は、コンテンツ時間区間ｉにおいて、グループＸに属するユーザのＰＮＮ推移値の平均値を用いて計算した特異性値（ｑ_i）を算出する。なお、特異性値（ｑ_i）により、コンテンツ時間区間ｉがＰＮＮ推移特異区間であるか否かを判定することができる。

次いで、ステップＳ１３６では、データ処理部５４は、コンテンツ時間区間ｉがＰＮＮ推移特異区間であると判定したグループＸ内のユーザの数（Ｃ_i）を算出する。

次いで、ステップＳ１３８では、データ処理部５４は、コンテンツ時間区間ｉがＰＮＮ推移特異区間であると判定した他のグループの割合（ｇ_i）を算出する。この場合、例えば、他の全てのグループにおいてコンテンツ時間区間ｉがＰＮＮ推移特異区間であると判定されている場合には、ｇ_iは１となる。

次いで、ステップＳ１４０では、データ処理部５４は、ニュートラルプラス推定値ｖ_iを次式（３）により算出する。
ｖ_i＝ｑ_i×((Ｃ_i／Ｃ_max+ｇ_i)／２) …（３）
この場合、値ｖ_iが一定以上であれば、ニュートラルプラス区間と判定するようにすることができる。

このように、本実施形態では、判定を行うユーザが属するグループ内においてＰＮＮ推移特異区間と判定したユーザの割合（Ｃ_i／Ｃ_max）と、他のグループのうちＰＮＮ推移特異区間と判定したグループの割合(ｇ_i)とを重みとして、ニュートラルプラス推定値ｖ_iの算出を行う。これにより同じグループのユーザに共通してＰＮＮ推移が特異であると判定された区間、及び他のグループにおいても共通してＰＮＮ推移が特異であると判定された区間ほど、ニュートラルプラス推定値として高い値が算出されることになる。

次いで、ステップＳ１４２では、データ処理部５４は、全てのコンテンツ時間区間を取得したか否かを判断する。ここでの判断が否定された場合には、ステップＳ１３２に移行し、まだ取得していないコンテンツ時間区間ｉを取得して、以降の処理を繰り返す。一方、ステップＳ１４２の判断が肯定された場合には、図１９の全処理を終了する。

以上、説明したように、本第３の実施形態によると、ユーザが属するグループのみならず、他のグループも考慮して、ニュートラルプラス推定値ｖ_iを算出することで、より精度よくニュートラルプラス区間を推定することができる。

《第４の実施形態》
次に、第４の実施形態について、図２０、図２１に基づいて説明する。本第４の実施形態では、データ処理部５４は、選別データ（ある属性（例えば汐留勤務の５０代など）を有するユーザのデータ）を用いたＰＮＮ推移値を用いて、ＰＮＮ推移特異区間の判定を行うことで、選別データ特有の高ニュートラルプラス推定値区間を特定する。

サーバ１０では、複数人のユーザのデータを収集し、コンテンツ時間区間ｔ_m1〜ｔ_m1+nの時間内で、ユーザ属性（例えば属性Ｃ）のユーザにとって、ポジティブにとらえられた可能性の高い（高ニュートラルプラス推定値となった）時間区間を特定するために、ユーザ属性Ｃのユーザのデータだけを選別して処理するものとする。

図２０には、第４の実施形態にかかるデータ処理部５４の処理がフローチャートにて示されている。以下、図２０に沿って、データ処理部５４の処理について説明する。なお、図２０の処理が開始される段階では、データ処理部５４は、第１の実施形態等と同様に、多数のユーザのデータを用いて、高ニュートラルプラス推定値を示した時間区間（ｔ_h1〜ｔ_h1+j）を特定しているものとする。なお、ｉ番目と（ｉ＋１）番目の時間区間（ｔ_iとｔ_i+1）は、実時間の経過順ではあるが、ｔ_i+1はｔ_iの直後でなくてもよい。また、ｔ_iとｔ_i+1とで、別々のコンテンツ視聴をした場合のデータであってもよい。

図２０の処理では、まず、ステップＳ１５０において、データ処理部５４は、コンテンツ時間区間ｔ_m1〜ｔ_m1+nの間で、高ニュートラルプラス推定値を示した区間（t_h1〜t_h1+j）を取得する。

次いで、ステップＳ１５２では、データ処理部５４が、ｔ_h1〜ｔ_h1+jの間のコンテンツ時間区間ｉを取得する。次いで、ステップＳ１５４では、データ処理部５４は、コンテンツ時間区間ｉにおいて、全ユーザのＰＮＮ推移値の平均値(Ｓ_i)を算出する。図２１においては、本ステップＳ１５２で算出されたＳ_iが「通常データ」の欄に格納される。

次いで、ステップＳ１５６では、データ処理部５４が、選別したデータ（データＸとする）に属する全ユーザ（属性Ｃの全ユーザ）の、コンテンツ時間区間ｉにおけるＰＮＮ推移値（ｐ_i）を算出する。

次いで、ステップＳ１５８では、データ処理部５４は、コンテンツ時間区間ｉにおいて、選別データＸに属する全ユーザのＰＮＮ推移値の平均値（Ｐ_i）を算出する。図２１においては、本ステップＳ１５８で算出されたＰ_iが「選別データ」の欄に格納される。

次いで、ステップＳ１６０では、データ処理部５４は、|Ｓ_i−Ｐ_i|＞Ｓ_i×１０％であるか否かを判断する。なお、このステップＳ１６０では、通常データと選別データとの間に十分な差があるか否かを判断しているといえる。ここでの判断が否定された場合には、ステップＳ１７０に移行するが、肯定された場合（十分な差があった場合）には、ステップＳ１６２に移行する。なお、図２１では、時間区間ｔ_h1+1において、十分な差があったと判断されるものとする。

ステップＳ１６２に移行すると、データ処理部５４は、時間区間ｉのユーザ状況変数の関数は単調減少関数か否かを判断する。ここでの判断が肯定された場合には、ステップＳ１６４に移行し、データ処理部５４は、Ｓ_i＜Ｐ_iであるか否かを判断する。例えば、図２１の時間区間ｔ_h1+1において単調減少であった場合には、ここでの判断が肯定されるので、ステップＳ１６８に移行する。ステップＳ１６８に移行すると、データ処理部５４は、時間区間ｉを選別データで顕著な高ニュートラルプラス推定値時間区間とする（図２１の時間区間ｔ_h1+1における「通常より顕著にポジティブ側であった属性」の欄参照）。その後は、ステップＳ１７０に移行する。一方、ステップＳ１６４の判断が否定された場合には、ステップＳ１６８を経ずに、ステップＳ１７０に移行する。

これに対し、ステップＳ１６２の判断が否定された場合、すなわち、時間区間ｉのユーザ状況変数が単調減少関数でなかった場合には、データ処理部５４は、ステップＳ１６６に移行する。ステップＳ１６６では、データ処理部５４は、Ｓ_i＞Ｐ_iであるか否かを判断する。ここでの判断が肯定された場合には、ステップＳ１６８に移行し、上記と同様、データ処理部５４は、時間区間ｉを選別データで顕著な高ニュートラルプラス推定値時間区間とし、ステップＳ１７０に移行する。一方、ステップＳ１６６の判断が否定された場合には、ステップＳ１６８を経ずにステップＳ１７０に移行する。

ステップＳ１７０に移行すると、データ処理部５４は、全てのコンテンツ時間区間を取得したか否かを判断する。ここでの判断が否定された場合には、ステップＳ１５２に移行し、まだ取得していないコンテンツ時間区間ｉを取得して、以降の処理を繰り返す。一方、ステップＳ１７０の判断が肯定された場合には、図２０の全処理を終了する。

なお、本第４の実施形態では、高ニュートラルプラス推定値時間区間ｔ_h1〜ｔ_h1+jに限定して、ＰＮＮ推移値の有意差を選別データと通常データとで比較したが、全てのＰＮＮ区間中の時間区間について有意差の比較を行ってもよい。

なお、本第４の実施形態では、データ処理部５４により、複数人のユーザの一部を選別する選別部、選別されたユーザの状態の検出結果を用いて、選別されたユーザがポジティブ又はネガティブな状態にあった可能性が高い時間を推定し、前記推定部の推定結果と比較する比較部、としての機能が実現されている。

以上、説明したように、本第４の実施形態によると、ある属性では顕著に、ポジティブにとらえられた可能性のある時間区間を特定することができる。これにより、ある属性のユーザが特に興味・関心を持っているコンテンツの一部を精度よく特定することができる。

《第５の実施形態》
以下、第５の実施形態について、図２２、図２３に基づいて説明する。本第５の実施形態では、データ処理部５４が、ＰＮＮ推移特異区間を判定する際に、複数の長さの時間区間毎に、ＰＮＮ推移特異区間の判定を行うものとする。

本第５の実施形態では、第２の実施形態等と同様、クライアント２０のユーザＡは、スクリーンＢ上で、コンテンツＩＤ＝１のコンテンツを表示しているものとする。また、本第５の実施形態では、データ処理部５４は、ユーザＡ、ＰＮＮ区間ｋ(コンテンツＩＤ＝１、コンテンツ時間区間ｔ_m1〜ｔ_m1+n)のニュートラルプラス推定値を算出するものとする。また、ＰＮＮ推定値算出においては、ユーザ状況変数として姿勢変化を用いるものとする。

ここで、姿勢変化（姿勢の移り変わり）そのものは、ＰＮＮ区間で、シンプルに画面に近い状態から遠い状態に遷移するものではなく、特にコンテンツに興味を失ってくると、ユーザは落ち着きなく小さな動きを示すことが多いと考えられる。つまり、ＰＮＮ区間では、画面から近い状態から遠い状態への姿勢の移行のほかに、小刻みな姿勢の変動が同時に観察されることがある。

このため、ＰＮＮ推移値を算出した後、ＰＮＮ推移特異区間の判定を行うとすると、どの時間長で比較するかによって、判定結果が異なる場合がある。したがって、本第５の実施形態では、ＰＮＮ推移特異区間の判定において、複数の時間区間長を観察区間長としてＰＮＮ推移値を比較し、ＰＮＮ推移特異区間の判定を行うこととする。

図２２には、本第５の実施形態で用いるＰＮＮ推移値の一例が示されている。また、図２３には、複数の時間区間長でのＰＮＮ推移値比較と、ＰＮＮ推移特異区間の判定結果の一例が示されている。なお、図２３では、ＰＮＮ推移特異区間と判定した根拠となる時間区間長を併記するものとしている。

これらの図においては、時間区間ｔ_m1+kに着目して、１倍区間長と４倍区間長で、どのように区間特異性値が異なるかを比較している。ここで、ニュートラルプラス推定値の算出には、第１の実施形態と同様、区間特異性値を重みなしでそのまま使用することとしている。

１倍区間長では、近似関数値との差分が近傍区間のケースとそれ程差がないので、図２２に示したようなＰＮＮ推移値の変化では、この区間で変化が起きていることが分かりにくい。これに対し、４倍区間長では、ＰＮＮ推移値がｔ_m1のときの値と同程度まで下がっているため、比較的大きな特異性を持つ区間であることがわかる。

このように、本第５の実施形態では、検出すべき変化が連続して起こる区間長によって、特異性の検討をすることで、必要な特異性を検出することが可能となる。なお、検出すべき変化の時間区間の長さは様々であるため、複数の区間長において特異性を判断してもよいし、全ての整数倍区間長で特異性を比較するといった網羅的な方法を採用してもよい。

また、本第５の実施形態では、ｍ倍区間長のＰＮＮ推移値を平均値で代表させたが、極大値や極小値を当該区間の代表値として用いても良い。また、ここで求めた複数の１倍、２倍、…ｍ倍区間長毎の区間特異性値は、基準となる１倍時間区間の特異性を判定するために算出した値である。当該時間区間の特異性の判定のために、他の時間区間のデータとの平均値や他の時間区間の極値を使用することが好ましくない場合には、ＰＮＮ推移値ではなく、ｍ倍区間長での隣接時間区間のＰＮＮ推移値の変化グラフを線形近似した傾き係数等を用いて、ｍ倍区間長での区間特異性値としてもよい。

以上、説明したように、本第５の実施形態によると、複数の区間長で特異性を検出するので、姿勢変化のように大きな動きと小さな動きとが同時に観察されるような場合でも、精度よくＰＮＮ推移特異区間の判定を行うことが可能である。また、本第５の実施形態では、特異区間判定結果として、根拠となる時間区間長も記録されるので（図２３）、ＰＮＮ推移特異区間と判定された根拠（どのような姿勢変化があったためＰＮＮ推移特異区間と判定されたか）が明確となっている。これにより、ＰＮＮ推移特異区間の判定結果を利用する場合に、当該根拠に基づいた利用が可能となる。

なお、上記各実施形態では、サーバ１０とクライアント２０が別装置である場合について説明した。しかしながら、これに限られるものではなく、サーバソフトウェアとクライアントソフトウェアが１台の装置上に実装され、１台の装置でサーバ１０とクライアント２０の機能を実現してもよい。

また、例えば、サーバ１０やクライアント２０の一部機能や、一部データを他の装置上に切り離して保持するなど、１つのソフトウェアシステムの機能が複数の装置に分散されていてもよい。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

なお、以上の第１〜第５の実施形態の説明に関して、更に以下の付記を開示する。
（付記１） コンテンツを視聴する複数人のユーザのポジティブな状態とネガティブな状態の検出結果に基づいて、該検出結果の傾向が類似するユーザをグループ化するグループ化実行部と、
特定のユーザの状態がポジティブな状態ともネガティブな状態とも判断できない状態にある時間範囲を特定する特定部と、
特定された前記時間範囲全体において、前記特定のユーザ及び前記特定のユーザが属するグループ内のユーザに共通してポジティブ傾向又はネガティブ傾向にあると判断できる動きがあった時間を判定し、判定された該時間を前記特定のユーザがポジティブ又はネガティブな状態にあった可能性が高い時間と推定する推定部と、を備える情報処理装置。
（付記２） 前記推定部は、特定された前記時間範囲全体において、前記特定のユーザ及び前記特定のユーザが属するグループ内のユーザに共通してポジティブ傾向又はネガティブ傾向にあると判断できる動きがあった時間が前記特定のユーザが属さないグループにおいても共通する傾向にあるか否かに基づいて、前記特定のユーザがポジティブ又はネガティブな状態にあった可能性が高い時間を推定することを特徴とする付記１に記載の情報処理装置。
（付記３） ユーザのポジティブな状態とネガティブな状態の検出結果以外の情報に基づいて、前記複数人のユーザの一部を選別する選別部と、
前記選別部により選別されたユーザのポジティブな状態とネガティブな状態の検出結果を用いて、選別されたユーザがポジティブ又はネガティブな状態にあった可能性が高い時間を推定し、前記推定部の推定結果と比較する比較部と、を更に備える付記１又は２に記載の情報処理装置。
（付記４） コンテンツを視聴するユーザのポジティブな状態とネガティブな状態の検出結果において、該ユーザの状態がポジティブな状態ともネガティブな状態とも判断できない状態にある時間範囲を特定する特定部と、
特定した前記時間範囲内において、前記ユーザのポジティブ又はネガティブな状態を示す指標値が特異な値を示す時間を抽出する抽出部と、
前記抽出部が抽出した時間を前記ユーザがポジティブ又はネガティブな状態にあった可能性が高い時間と推定する推定部と、を備える情報処理装置。
（付記５）
コンテンツを視聴する複数人のユーザのポジティブな状態とネガティブな状態の検出結果に基づいて、該検出結果の傾向が類似するユーザをグループ化し、
特定のユーザの状態がポジティブな状態ともネガティブな状態とも判断できない状態にある時間範囲を特定し、
特定された前記時間範囲全体において、前記特定のユーザ及び前記特定のユーザが属するグループ内のユーザに共通してポジティブ傾向又はネガティブ傾向にあると判断できる動きがあった時間を判定し、判定された該時間をユーザがポジティブ又はネガティブな状態にあった可能性が高い時間と推定する、
処理をコンピュータが実行する情報処理プログラム。
（付記６） 前記推定する処理では、特定された前記時間範囲全体において、前記特定のユーザ及び前記特定のユーザが属するグループ内のユーザに共通してポジティブ傾向又はネガティブ傾向にあると判断できる動きがあった時間が前記特定のユーザが属さないグループにおいても共通する傾向にあるか否かに基づいて、前記特定のユーザがポジティブ又はネガティブな状態にあった可能性が高い時間を推定することを特徴とする付記５に記載の情報処理プログラム。
（付記７） ユーザのポジティブな状態とネガティブな状態の検出結果以外の情報に基づいて、前記複数人のユーザの一部を選別し、
前記選別部により選別されたユーザのポジティブな状態とネガティブな状態の検出結果を用いて、選別されたユーザがポジティブ又はネガティブな状態にあった可能性が高い時間を推定し、前記推定部の推定結果と比較する、処理を前記コンピュータに更に実行させる付記５又は６に記載の情報処理プログラム。
（付記８） コンテンツを視聴するユーザのポジティブな状態とネガティブな状態の検出結果において、該ユーザの状態がポジティブな状態ともネガティブな状態とも判断できない状態にある時間範囲を特定し、
特定した前記時間範囲内において、前記ユーザのポジティブ又はネガティブな状態を示す指標値が特異な値を示す時間を抽出し、
抽出した時間を前記ユーザがポジティブ又はネガティブな状態にあった可能性が高い時間と推定する、
処理をコンピュータが実行する情報処理プログラム。

１０ サーバ（情報処理装置）
５４ データ処理部（グループ化実行部、特定部、推定部、抽出部、選別部、比較部）

Claims (6)

1. コンテンツを視聴する複数人のユーザのポジティブな状態とネガティブな状態の検出結果に基づいて、該検出結果の傾向が類似するユーザをグループ化するグループ化実行部と、
   特定のユーザの状態がポジティブな状態ともネガティブな状態とも判断できない状態にある時間範囲を特定する特定部と、
   特定された前記時間範囲全体において、前記特定のユーザ及び前記特定のユーザが属するグループ内のユーザに共通してポジティブ傾向又はネガティブ傾向にあると判断できる動きがあった時間を判定し、判定された該時間を前記特定のユーザがポジティブ又はネガティブな状態にあった可能性が高い時間と推定する推定部と、を備える情報処理装置。
2. 前記推定部は、特定された前記時間範囲全体において、前記特定のユーザ及び前記特定のユーザが属するグループ内のユーザに共通してポジティブ傾向又はネガティブ傾向にあると判断できる動きがあった時間が前記特定のユーザが属さないグループにおいても共通する傾向にあるか否かに基づいて、前記特定のユーザがポジティブ又はネガティブな状態にあった可能性が高い時間を推定することを特徴とする請求項１に記載の情報処理装置。
3. ユーザのポジティブな状態とネガティブな状態の検出結果以外の情報に基づいて、前記複数人のユーザの一部を選別する選別部と、
   前記選別部により選別されたユーザのポジティブな状態とネガティブな状態の検出結果を用いて、選別されたユーザがポジティブ又はネガティブな状態にあった可能性が高い時間を推定し、前記推定部の推定結果と比較する比較部と、を更に備える請求項１又は２に記載の情報処理装置。
4. コンテンツを視聴するユーザのポジティブな状態とネガティブな状態の検出結果において、該ユーザの状態がポジティブな状態ともネガティブな状態とも判断できない状態にある時間範囲を特定する特定部と、
   特定した前記時間範囲内において、特定した前記時間範囲内における前記ユーザのポジティブ又はネガティブな状態を示す指標値の推移傾向に反する時間を抽出する抽出部と、
   前記抽出部が抽出した時間を前記ユーザがポジティブ又はネガティブな状態にあった可能性が高い時間と推定する推定部と、を備える情報処理装置。
5. コンテンツを視聴する複数人のユーザのポジティブな状態とネガティブな状態の検出結果に基づいて、該検出結果の傾向が類似するユーザをグループ化し、
   特定のユーザの状態がポジティブな状態ともネガティブな状態とも判断できない状態にある時間範囲を特定し、
   特定された前記時間範囲全体において、前記特定のユーザ及び前記特定のユーザが属するグループ内のユーザに共通してポジティブ傾向又はネガティブ傾向にあると判断できる動きがあった時間を判定し、判定された該時間をユーザがポジティブ又はネガティブな状態にあった可能性が高い時間と推定する、
   処理をコンピュータが実行する情報処理プログラム。
6. コンテンツを視聴するユーザのポジティブな状態とネガティブな状態の検出結果において、該ユーザの状態がポジティブな状態ともネガティブな状態とも判断できない状態にある時間範囲を特定し、
   特定した前記時間範囲内において、特定した前記時間範囲内における前記ユーザのポジティブ又はネガティブな状態を示す指標値の推移傾向に反する時間を抽出し、
   抽出した時間を前記ユーザがポジティブ又はネガティブな状態にあった可能性が高い時間と推定する、
   処理をコンピュータが実行する情報処理プログラム。
   

Images