JP5391144B2 - 顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置 - Google Patents
顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置 Download PDFInfo
- Publication number
- JP5391144B2 JP5391144B2 JP2010108112A JP2010108112A JP5391144B2 JP 5391144 B2 JP5391144 B2 JP 5391144B2 JP 2010108112 A JP2010108112 A JP 2010108112A JP 2010108112 A JP2010108112 A JP 2010108112A JP 5391144 B2 JP5391144 B2 JP 5391144B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- program
- face
- facial expression
- expression change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
また、請求項5に記載の発明によれば、顔表情変化度測定プログラムをインストールしたコンピュータは請求項1と同様の効果を奏することができる。
(第1実施形態)
[顔表情変化度測定装置の構成]
顔表情変化度測定装置1は、画像として入力する測定対象の顔の表情の変化の度合いを顔表情変化度として測定する装置であって、CPU(Central Processing Unit)等の演算装置と、メモリやハードディスク等の記憶装置と、外部との間で各種情報の送受信を行うインタフェース装置とを備えたコンピュータおよび、このコンピュータにインストールされたプログラム(顔表情変化度測定プログラム)とから構成される。つまり、顔表情変化度測定装置1は、ハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより実現され、図1に示すように、モード判別手段2と、画像取込手段3と、顔領域検出手段4と、画像特徴量抽出手段5と、画像特徴量記憶手段6と、クラスタリング手段8と、ヒストグラム作成手段9と、ヒストグラム記憶手段10と、差分算出手段11とを備えている。
ここで、顔表情変化度測定装置1の概要として、被写体の基準とする顔の表情(以下、標準顔という)の一例を図8(a)に示し、同じ被写体の比較しようとする顔の表情(以下、入力顔という)の一例を図8(d)に示す。なお、標準顔と入力顔とは同じ環境で取得されたものとする。また、標準顔は1つとする。また、一連の測定が終了したら標準顔を変更してもよい。また、この顔表情変化度測定装置1が、図8(d)に示す入力顔を測定したときの処理画像の一例を図2に示す。また、顔表情変化度測定時に、図8(a)に示す標準顔に対しても同様の処理画像が得られるが、ここでは、図示は省略する。図2に示す画像は、表情の変化の度合(顔表情変化度)を求めるときの原理を説明するための画像である。なお、顔表情変化度測定装置1で測定して表示する処理結果は、顔表情変化度であって、図2に示すような画像を必ずしも表示する必要はない。
<モード判別手段>
モード判別手段2は、入力装置12から入力されるボタン押下信号が表すモードを判定し、モードに応じた動作を行うものである。ここで、入力装置12は、例えば、キーボード、マウス、タッチパネル等から構成される。また、入力装置12をGUI(Graphical User Interface)として構成してもよい。GUIの一例を図3に示す。このGUIは、処理操作用の処理開始ボタン111、終了ボタン112および標準顔の取得ボタン113と、事前設定用の設定入力部114と、処理結果表示部115とを備えている。なお、ボタンの種類に応じて、モードとして、例えば、開始モード、通常処理モード、終了モード、標準顔取得モード等を設けている。
ヒストグラムのクラスタ数設定部118は、抽出されたSURFを分類するクラスタの個数を設定するためのものである。
標準顔画像と入力顔画像のヒストグラム比較法設定部119は、差分算出手段11において差分を求めるときの方法を設定するためのものである。ここでは、「残差絶対値和」を求めて比較する方法と、「残差2乗和」を求めて比較する方法とを選択できるように設けた。なお、この例では、設定入力部114を設けて種々の設定値を所望の値に変更できるように構成したが、設定入力部114は必須ではなく、各設定値を予め所定の値に固定しておいてもよい。
SURFキーポイント数表示部120は、抽出されたSURFキーポイント数、つまり、Hessian閾値以上となるSURFキーポイント数の値を表示するものである。
顔表情変化度表示部121は、差分算出手段11で計算された差分の値を顔表情変化度として表示するものである。
プログレスバー122は、差分算出手段11で計算された差分の値をグラフィック表示するものである。
なお、この例では、処理結果表示部115は、数値とプログレスバーとを両方とも表示することとしたが、いずれか一方のみを表示するようにしてもよい。
モード判別手段2は、処理開始ボタン111または終了ボタン112が押下された場合に、その旨を開始モードまたは終了モードとして画像取込手段3に通知する。
また、モード判別手段2は、処理中に標準顔の取得ボタン113が押下されない場合(通常処理モード)、標準顔が取得済みであるか否かを判定し、標準顔を既に取得済みである場合、クラスタリング手段8に通知する。本実施形態では、モード判別手段2は、ヒストグラム記憶手段10を参照して、標準顔画像ヒストグラム13が作成されている場合に、標準顔が取得済みであると判定することとした。
画像取込手段3は、測定対象の画像を顔表情変化度測定装置1に取り込むものであって、所定の入力インタフェースから構成される。本実施形態では、顔の表情変化度を測定したい被写体を撮影したカメラ映像(撮影画像)を取り込むこととした。画像取込手段3は、モード判別手段2から処理開始を通知されると、例えば、カメラCからカメラ映像の取り込み処理を開始する。ここで、カメラCは、例えばWebカメラから構成される。
顔領域検出手段4は、測定対象の画像中の測定対象の顔領域を検出するものである。本実施形態では、画像取込手段3で取り込まれたカメラ映像中の被写体の顔領域を検出することとした。また、本実施形態では、顔領域検出手段4は、カメラ映像の各フレーム画像中の顔領域を検出する。この顔領域検出手段4は、従来公知の顔領域計測技術により顔領域を検出する。ここで、顔領域を計測する手法としては、例えば、「PAUL VIOLA, MICHAEL J. JONES: “Robust Real-Time Face Detection", International Journal of Computer Vision, Vol.57, No.2, pp.137-154(2004)」に記載されている方法を用いることができる。
画像特徴量抽出手段5は、測定対象の画像において検出された顔領域から、ベクトルまたはスカラーで表される画像の特徴量を示す複数の特徴点をそれぞれ抽出するものである。本実施形態では、画像特徴量抽出手段5は、被写体を撮影したカメラ映像において顔領域検出手段4によって検出された顔領域から特徴点を抽出する。また、本実施形態では、画像特徴量抽出手段5は、カメラ映像のフレーム画像から検出された顔領域から画像特徴量としてSURFを抽出することとした。
ここで、SURFとは、公知文献「Herbert Bay, Tinne Tuytelaars,and Luc Van Gool: “SURF: Speeded Up Robust, Features”, Computer Vision and Image Understanding(CVIU), Vol.110, No.3, pp.346-359(2008)」に記された画像特微量である。
なお、SIFT特徴量については、公知文献「David G. Lowe: “Object Recognition from Local Scale-Invariant Features”,Proc. of the International Conference on Computer Vision,pp.1150-1157(1999)」に記載されている。
画像特徴量記憶手段6は、例えば、RAM(Random Access Memory)やROM(Read Only Memory)等のメモリやハードディスク等の記憶装置から構成され、画像特徴量として例えばSURF記述子を記憶する。
クラスタリング手段8は、検出された顔領域から特徴点が抽出された画像のうち、測定対象の基準とする顔の表情を示す標準顔と、当該測定対象の比較しようとする顔の表情を示す入力顔とに関する画像毎に、顔領域から抽出された複数の特徴点を、類似した特徴点同士をまとめた所定数のクラスタに分類するものである。
本実施形態では、クラスタリング手段8は、被写体の標準顔の顔領域から抽出されたSURFを画像特徴量記憶手段6から入力し、標準顔の顔領域から抽出されたSURFの中から特徴量が類似したSURFを分類する。これにより、標準顔に対応した各クラスタが標準顔クラスタとして生成される。
また、クラスタリング手段8は、当該被写体の入力顔の顔領域から抽出されたSURFを画像特徴量記憶手段6から入力し、入力顔の顔領域から抽出されたSURFの中から特徴量が類似したSURFを分類する。これにより、入力顔に対応した各クラスタが生成される。このとき、クラスタリング手段8は、標準顔クラスタと、入力顔の顔領域から抽出されたSURFとの特微量に関する距離を求め、入力顔の顔領域から抽出されたSURFを、標準顔クラスタのうち特微量に関して最も距離の近いクラスタに分類する。つまり、クラスタリング手段8は、標準顔から抽出されたSURFを分類するときに標準顔クラスタ(標準顔SURFクラスタ)を生成し、入力顔から抽出されたSURFを分類するときには、標準顔SURFクラスタを用いて分類する。
また、クラスタリング手段8は、モード判別手段2から、標準顔を既に取得済みである通知を受けた場合、今回抽出された各SURFを、標準顔SURFクラスタのうち、最も距離の近いクラスタに分類する。ここで、標準顔を既に取得済みである場合、SURFと標準顔クラスタの距離の例としては、SURF記述子ベクトルの各要素と標準顔クラスタ内のSURFの平均記述子ベクトルの各要素との残差2乗和がある。
ヒストグラム作成手段9は、クラスタリング手段8でクラスタリングされた各クラスタを階級として、クラスタの要素である特徴点の個数を頻度とするヒストグラムを作成するものである。このヒストグラム作成手段9は、標準顔を含む画像(標準顔画像という)に対して特徴点が分類された各クラスタと、入力顔を含む画像(入力顔画像という)に対して特徴点が分類された各クラスタの双方について、ヒストグラムをそれぞれ作成する。
同様に、ヒストグラム作成手段9が、入力顔画像から抽出されたSURFについてクラスタリングした結果から作成した入力顔画像ヒストグラム14の一例を図6に示す。なお、図6に示すヒストグラムの要素数と、図4に示す各クラスタ内の特徴点の個数とは一致していない。
図6に示す入力顔画像ヒストグラム14の各クラスタと、図5に示す標準顔画像ヒストグラム13の各クラスタとは同じものである。ただし、元の画像が異なるため、同じクラスタIDであっても、クラスタの要素数(頻度)が同じであるとは限らない。
ヒストグラム記憶手段10は、例えば、メモリやハードディスク等の記憶装置から構成され、ヒストグラム作成手段9の演算処理結果である標準顔画像ヒストグラム13や入力顔画像ヒストグラム14を記憶する。
差分算出手段11は、標準顔画像ヒストグラム13と入力顔画像ヒストグラム14の階級毎の差分を加工した正の値の累積和を当該被写体の顔表情変化度として表示装置15に出力する。階級毎の差分を加工した正の値の累積和を計算する手法としては、例えば、クラスタ毎の頻度の差分の2乗和、差分の絶対値和等がある。差分算出手段11から出力された値が顔表情変化度となる。ここで、表示装置15は、例えば、液晶ディスプレイ等から構成される。図3のGUIの処理結果表示部115には、出力値が数字とプログレスバーで示されている。なお、差分算出手段11は、顔表情変化度を記憶手段に格納するようにしてもよい。
次に、顔表情変化度測定装置の動作について図7を参照(適宜図1参照)して説明する。予め図3のGUIの設定入力部114で各設定を実施した後、処理開始ボタン111の押下により処理を開始する。まず、顔表情変化度測定装置1は、画像取込手段3によって、顔の表情変化度合を測定したい人を撮影したカメラ映像を取り込む(ステップS1)。そして、顔表情変化度測定装置1は、顔領域検出手段4によって、フレーム中の顔領域を測定して検出処理を行う(ステップS2)。ここで顔領域の検出に失敗すると(ステップS2:No)、ステップS1に戻る。一方、顔領域の検出に成功すると(ステップS2:Yes)、顔表情変化度測定装置1は、画像特徴量抽出手段5によって、顔領域中のSURFを抽出する(ステップS3)。
次に、この顔表情変化度測定装置1で行っている標準顔画像ヒストグラムと入力顔画像ヒストグラムの差分を計算する処理の具体例について図8を参照して説明する。
図8は、顔の表情変化の度合とヒストグラムの差分との関係を模式的に示す概念図であって、(a)は標準顔画像、(b)は標準顔画像のSURFクラスタリング結果、(c)は標準顔画像ヒストグラム、(d)は入力顔画像、(e)は入力顔画像のSURFクラスタリング結果、(f)は入力顔画像ヒストグラムをそれぞれ示している。
図9は、本発明の第2実施形態に係る顔表情変化度測定装置の構成を模式的に示すブロック図である。以下では、この顔表情変化度測定装置1Aの構成のうち、図1に示した構成と異なる構成について説明し、同じ構成については、同じ符号を付して説明を適宜省略する。
画像蓄積装置16は、測定対象の画像を蓄積するものであって、例えば、メモリや一般的なハードディスク装置等から構成される。
また、入力装置12から検索キーは、顔表情変化度の任意の値や任意の値の範囲としてもよい。
第3実施形態は、第1実施形態に係る顔表情変化度測定装置1を、テレビ視聴者の番組興味度測定装置に適用したものである。
図10は、本発明の実施形態に係る番組興味度測定装置のシステム構成を模式的に示すブロック図である。
番組興味度測定装置200は、テレビ番組を表示するモニタMと、モニタMに表示されたテレビ番組を視聴する視聴者201を撮影するカメラCと、復調・デコード部21と、ビデオ管理部22と、ビデオ蓄積部23と、顔表情変化度測定部24と、番組興味度蓄積部25と、グラフ生成部26とを備えている。ここで、復調・デコード部21と、ビデオ管理部22と、ビデオ蓄積部23と、顔表情変化度測定部24と、番組興味度蓄積部25と、グラフ生成部26とは、ハードウェア装置とソフトウェアとが協働することによってそれぞれ実現される。
番組興味度測定装置200におけるモニタとカメラの一例を図11に示す。
モニタMは、番組表示画面301にテレビ番組を表示する。カメラCは、視聴者201の様子を撮影するため、例えばモニタMを見る視聴者201の顔を正面から撮影できる位置に配置される。ここで撮影されたカメラ映像は、顔表情変化度測定部24に送られ、視聴者201の顔の表情変化度が測定される。
図10に示す復調・デコード部21は、アンテナATNで受信した放送波を復調・デコードしたテレビ番組等をモニタMに出力する。
ビデオ管理部(ビデオ管理手段)22は、例えばインターネットN経由で受信するテレビ番組(以下、ビデオという)や、ビデオ蓄積部23に蓄積されたビデオ等を、例えば番組名、放送日時、放送局等の情報を基に管理し、再生するものである。このビデオ管理部22が、外部から受信するビデオまたは内部に蓄積されたビデオを示す番組をモニタMに表示させているときに、視聴者201が視聴していたテレビ番組に対して、グラフ生成部26は時系列グラフを生成する。また、ビデオ管理部22は、詳細は後記するが、グラフ生成部26により生成された時系列グラフの管理機能、映像のシーン分析機能、番組推薦機能等を有する。
ビデオ蓄積部23は、ビデオを蓄積するものであり、一般的なハードディスク等から構成されている。
顔表情変化度測定部(顔表情変化度測定装置)24は、カメラCから出力されるカメラ映像を取り込み、視聴者201の表情変化の度合を一定時間毎に取得し、番組興味度蓄積部25に送信する。この顔表情変化度測定部24は、図1に示す顔表情変化度測定装置1で構成することができるので、説明を省略する。
番組興味度蓄積部(番組興味度蓄積手段)25は、顔表情変化度測定部24で測定された視聴者(テレビ視聴者)201の顔表情変化度の時系列データをテレビ番組に対する時系列の番組興味度として取得し、時系列の番組興味度を、番組名および番組尺中における番組開始時刻からの経過時刻情報と共に蓄積するものである。
グラフ生成部(グラフ生成手段)26は、蓄積されたテレビ番組に対する時系列の番組興味度を示す時系列グラフを生成し、時系列グラフをモニタMに表示させるものである。グラフ生成部26は、番組終了後、または、番組視聴時に、番組興味度蓄積部25から、視聴者201の番組興味度を取得し、グラフ化する。一例として、ビデオと番組興味度の時系列グラフとを同時にモニタMに表示した場合の画面表示例を図13に示す。番組表示ウィンドウ303は、ビデオを表示するものであり、グラフ表示ウィンドウ304は、時系列グラフを表示するものである。なお、図13に示す時系列グラフは、番組興味度が正規化されている。
また、グラフ生成部26は、顔表情変化度測定部24にて顔領域を検出できなかったときの番組興味度の値が−1.0になるようにして時系列グラフを生成する。例えば、図12に示すように、0時間27分22秒に、顔検出ができずに番組興味度が取得できなかた場合、この時刻の値が−1.0となる。
例えば、グラフ生成部26は、予め定められた時間内にそれぞれ取得した番組興味度の値を平均化した平均化興味度を生成し、平均化興味度を用いて時系列グラフを生成するようにすることができる。
ビデオ管理部22は、前記した基本機能に加えて、次の拡張機能1を備えることができる。拡張機能1において、ビデオ管理部22は、グラフ生成部26により生成された時系列グラフと、時系列グラフを表示させるときに視聴者201が視聴していたテレビ番組のビデオとを番組名、放送日時、放送局等の情報を基に関連付ける。ここで、視聴者201が視聴していたテレビ番組のビデオとは、インターネットN経由で受信するビデオやビデオ蓄積部23に蓄積されたビデオ等を指す。
さらに、拡張機能1において、ビデオ管理部22は、例えばリモコン等の入力装置12から、モニタMに表示された時系列グラフ上の点を指定する入力を受け付け、指定された時系列グラフ上の点で示される時刻情報に対応した時刻から当該番組のシーンを再生した映像をモニタMに表示させる。これにより、視聴者201が、リモコン等によって、興味を持ったシーンや番組を見逃したシーンの開始時刻を時系列グラフ上の点で指定することで、ビデオ管理部22は、当該シーンを瞬時に再生することができる。
ビデオ管理部22は、前記した基本機能に加えて、次の拡張機能2を備えることができる。拡張機能2において、ビデオ管理部22は、時系列グラフにおいて、番組興味度が予め定められた閾値よりも大きい時間範囲を視聴者201が興味を持ったシーンとして抽出し、そのシーンを映像分析する。ここで、映像分析とは、そのシーンに登場する人物の顔を認識する処理や、そのシーンに表示された物体を認識する処理を行うことを表す。このような処理は、顔認識や一般的な物体認識等の各種画像処理技術や音声認識技術により行うことができる。これにより、そのシーンに登場する人物の顔から、視聴者201の興味のある人物の情報を視聴ログとして収集することができる。また、そのシーンに表示された物体から、視聴者201の興味のある物事の情報を視聴ログとして収集することができる。
2 モード判別手段
3 画像取込手段
4 顔領域検出手段
5 画像特徴量抽出手段
6 画像特徴量記憶手段
7A 画像記憶手段
8 クラスタリング手段
9 ヒストグラム作成手段
10 ヒストグラム記憶手段
11 差分算出手段
12 入力装置
13 標準顔画像ヒストグラム
14 入力顔画像ヒストグラム
15 表示装置
16 画像蓄積装置
17 検索手段
200 番組興味度測定装置
21 復調・デコード部
22 ビデオ管理部(ビデオ管理手段)
23 ビデオ蓄積部
24 顔表情変化度測定部(顔表情変化度測定装置)
25 番組興味度蓄積部(番組興味度蓄積手段)
26 グラフ生成部(グラフ生成手段)
C カメラ
M モニタ
N インターネット
ATN アンテナ
Claims (10)
- 測定対象の画像を取り込む画像取込手段と、前記画像中の測定対象の顔領域を検出する顔領域検出手段とを備え、前記画像として入力する測定対象の顔の表情の変化の度合いを顔表情変化度として測定する顔表情変化度測定装置であって、
前記画像において前記顔領域検出手段によって検出された顔領域から、ベクトルまたはスカラーで表される画像の特徴量を示す複数の特徴点をそれぞれ抽出する画像特徴量抽出手段と、
前記検出された顔領域から前記特徴点が抽出された画像のうち、測定対象の基準とする顔の表情を示す標準顔と、当該測定対象の比較しようとする顔の表情を示す入力顔とに関する画像毎に、前記顔領域から抽出された複数の特徴点を、類似した特徴点同士をまとめた所定数のクラスタに分類するクラスタリング手段と、
前記標準顔を含む画像に対して前記特徴点が分類された各クラスタと、前記入力顔を含む画像に対して前記特徴点が分類された各クラスタの双方について、各クラスタを階級としてクラスタの要素である特徴点の個数を頻度とするヒストグラムをそれぞれ作成するヒストグラム作成手段と、
前記標準顔を含む画像に基づく各クラスタから作成されたヒストグラムと、前記入力顔を含む画像に基づく各クラスタから作成されたヒストグラムとの階級毎の差分を加工した正の値の累積和を、当該測定対象の顔表情変化度として算出する差分算出手段と、を備え、
前記クラスタリング手段は、前記標準顔の顔領域から抽出された特徴点を分類して生成された各クラスタをそれぞれ示す標準顔クラスタと、前記入力顔の顔領域から抽出された特徴点との特微量に関する距離を求め、前記入力顔の顔領域から抽出された特徴点を、前記標準顔クラスタのうち特微量に関して最も距離の近いクラスタに分類することを特徴とする顔表情変化度測定装置。 - 前記画像取込手段は、前記測定対象の画像として被写体を撮影するカメラから出力されるカメラ映像を取り込み、
前記顔領域検出手段は、前記カメラ映像のフレーム画像毎に、前記被写体の顔領域を検出し、
前記カメラ映像として入力する被写体の顔表情変化度を測定することを特徴とする請求項1に記載の顔表情変化度測定装置。 - 前記画像取込手段は、前記測定対象の画像として被写体をカメラで撮影したカメラ映像を蓄積した画像蓄積装置から出力されるカメラ映像を取り込み、
前記顔領域検出手段は、前記カメラ映像のフレーム画像毎に、前記被写体の顔領域を検出し、
前記カメラ映像として入力する被写体の顔表情変化度を測定することを特徴とする請求項1に記載の顔表情変化度測定装置。 - 前記画像取込手段で取り込まれた測定対象の画像と、当該画像を基に前記差分算出手段で算出された顔表情変化度とを対応付けて記憶する画像記憶手段と、
入力装置から検索キーとして顔表情変化度の入力を受け付け、前記受け付けた顔表情変化度に対応した画像を前記画像記憶手段から検索して表示装置に出力する検索手段と、
をさらに備えることを特徴とする請求項1から請求項3のいずれか一項に記載の顔表情変化度測定装置。 - 測定対象の画像として入力する測定対象の顔の表情の変化の度合いを顔表情変化度として測定するために、コンピュータを、
前記測定対象の顔領域を検出する顔領域検出手段、
前記画像において前記顔領域検出手段によって検出された顔領域から、ベクトルまたはスカラーで表される画像の特徴量を示す複数の特徴点をそれぞれ抽出する画像特徴量抽出手段、
前記検出された顔領域から前記特徴点が抽出された画像のうち、測定対象の基準とする顔の表情を示す標準顔と、当該測定対象の比較しようとする顔の表情を示す入力顔とに関する画像毎に、前記顔領域から抽出された複数の特徴点を、類似した特徴点同士をまとめた所定数のクラスタに分類するクラスタリング手段、
前記標準顔を含む画像に対して前記特徴点が分類された各クラスタと、前記入力顔を含む画像に対して前記特徴点が分類された各クラスタの双方について、各クラスタを階級としてクラスタの要素である特徴点の個数を頻度とするヒストグラムをそれぞれ作成するヒストグラム作成手段、
前記標準顔を含む画像に基づく各クラスタから作成されたヒストグラムと、前記入力顔を含む画像に基づく各クラスタから作成されたヒストグラムとの階級毎の差分を加工した正の値の累積和を、当該測定対象の顔表情変化度として算出する差分算出手段として機能させ、
前記クラスタリング手段は、前記標準顔の顔領域から抽出された特徴点を分類して生成された各クラスタをそれぞれ示す標準顔クラスタと、前記入力顔の顔領域から抽出された特徴点との特微量に関する距離を求め、前記入力顔の顔領域から抽出された特徴点を、前記標準顔クラスタのうち特微量に関して最も距離の近いクラスタに分類することを特徴とする顔表情変化度測定プログラム。 - テレビ番組を表示するモニタと、前記モニタに表示されたテレビ番組を視聴する視聴者を撮影するカメラとを備えた番組興味度測定装置であって、
前記カメラから出力されるカメラ映像を取り込む請求項2に記載の顔表情変化度測定装置と、
外部から受信する映像または内部に蓄積された映像を示す番組を前記モニタに表示させるビデオ管理手段と、
前記顔表情変化度測定装置で測定された前記視聴者の顔表情変化度の時系列データを前記テレビ番組に対する時系列の番組興味度として取得し、前記時系列の番組興味度を、番組名および番組尺中における番組開始時刻からの経過時刻情報と共に蓄積する番組興味度蓄積手段と、
前記蓄積されたテレビ番組に対する時系列の番組興味度を示す時系列グラフを生成し、前記時系列グラフを前記モニタに表示させるグラフ生成手段と、
を備えることを特徴とする番組興味度測定装置。 - 前記グラフ生成手段は、
前記番組興味度の最大値が1.0になるよう正規化し、かつ、前記顔表情変化度測定装置にて顔領域を検出できなかったときの前記番組興味度の値が−1.0になるようにして前記時系列グラフを生成することを特徴とする請求項6に記載の番組興味度測定装置。 - 前記グラフ生成手段は、
予め定められた時間内にそれぞれ取得した前記番組興味度の値を平均化した平均化興味度を生成し、前記平均化興味度を用いて前記時系列グラフを生成することを特徴とする請求項6または請求項7に記載の番組興味度測定装置。 - 前記ビデオ管理手段は、
前記時系列グラフを生成するときに視聴者が視聴していたテレビ番組において当該番組尺中における時刻情報と、前記時系列グラフにおける時刻情報とを対応付け、入力装置から、前記モニタに表示された時系列グラフ上の点を指定する入力を受け付け、前記指定された時系列グラフ上の点で示される時刻情報に対応した時刻から当該番組を再生した映像を前記モニタに表示させる機能をさらに有することを特徴とする請求項6ないし請求項8のいずれか一項に記載の番組興味度測定装置。 - 前記ビデオ管理手段は、
前記時系列グラフにおいて、前記番組興味度が予め定められた閾値よりも大きい時間範囲を前記視聴者が興味を持ったシーンとして抽出し、前記シーンに登場する人物または物体を認識し、認識結果を視聴ログとして収集し、前記収集した視聴ログに含まれる人物名または物体名と、外部から受信する映像または内部に蓄積された映像を示す番組に予め付されたメタデータに含まれる人物名または物体名とを照合し、前記メタデータが付された番組の中から関連番組を探索して前記視聴者に推薦する機能をさらに有することを特徴とする請求項6ないし請求項9のいずれか一項に記載の番組興味度測定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010108112A JP5391144B2 (ja) | 2010-05-10 | 2010-05-10 | 顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010108112A JP5391144B2 (ja) | 2010-05-10 | 2010-05-10 | 顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011237970A JP2011237970A (ja) | 2011-11-24 |
JP5391144B2 true JP5391144B2 (ja) | 2014-01-15 |
Family
ID=45325889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010108112A Active JP5391144B2 (ja) | 2010-05-10 | 2010-05-10 | 顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5391144B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014060642A (ja) * | 2012-09-19 | 2014-04-03 | Sharp Corp | 表示装置及び表示システム |
JP2014106583A (ja) * | 2012-11-26 | 2014-06-09 | Fujitsu Ltd | 情報処理装置、情報処理方法、及び情報処理プログラム |
US9302178B2 (en) | 2012-12-13 | 2016-04-05 | Empire Technology Development Llc | Gaming scheme using general mood information |
JP2016162072A (ja) | 2015-02-27 | 2016-09-05 | 株式会社東芝 | 特徴量抽出装置 |
US9740951B2 (en) * | 2015-09-11 | 2017-08-22 | Intel Corporation | Technologies for object recognition for internet-of-things edge devices |
CN107053191B (zh) * | 2016-12-31 | 2020-05-08 | 华为技术有限公司 | 一种机器人,服务器及人机互动方法 |
CN107368812B (zh) * | 2017-07-21 | 2020-03-20 | 成都恒高科技有限公司 | 基于最大连通子图的人脸识别数据清洗方法 |
KR102174345B1 (ko) * | 2018-06-12 | 2020-11-04 | 영남대학교 산학협력단 | 몰입도 측정장치 및 방법 |
JP7105380B2 (ja) | 2019-09-30 | 2022-07-22 | 富士フイルム株式会社 | 情報処理システム及び方法 |
JP7452015B2 (ja) | 2020-01-09 | 2024-03-19 | 富士通株式会社 | 判定プログラム、判定方法、判定装置 |
WO2021250786A1 (ja) | 2020-06-09 | 2021-12-16 | 富士通株式会社 | 判定プログラム、判定装置、および判定方法 |
CN111859025A (zh) * | 2020-07-03 | 2020-10-30 | 广州华多网络科技有限公司 | 表情指令生成方法、装置、设备及存储介质 |
JPWO2022201268A1 (ja) * | 2021-03-22 | 2022-09-29 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000253337A (ja) * | 1999-02-24 | 2000-09-14 | Sony Corp | 画面の制御方法および画面の制御装置および映像再生方法および映像再生装置および映像情報の記録方法および映像情報の記録装置およびコンピュータが読み取り可能な記録媒体 |
JP4359810B2 (ja) * | 2002-10-01 | 2009-11-11 | ソニー株式会社 | ユーザ端末、データ処理方法、およびプログラム、並びにデータ処理システム |
JP4568144B2 (ja) * | 2005-03-02 | 2010-10-27 | 日本放送協会 | 情報提示装置及び情報提示プログラム |
JP4898531B2 (ja) * | 2007-04-12 | 2012-03-14 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにコンピュータプログラム |
JP5168034B2 (ja) * | 2008-09-03 | 2013-03-21 | カシオ計算機株式会社 | 画像処理装置及びプログラム |
-
2010
- 2010-05-10 JP JP2010108112A patent/JP5391144B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011237970A (ja) | 2011-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5391144B2 (ja) | 顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置 | |
CN109922373B (zh) | 视频处理方法、装置及存储介质 | |
US11113587B2 (en) | System and method for appearance search | |
US8548249B2 (en) | Information processing apparatus, information processing method, and program | |
JP5371083B2 (ja) | 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体 | |
JP5106271B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
US10939165B2 (en) | Facilitating television based interaction with social networking tools | |
JP4973188B2 (ja) | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム | |
Lovato et al. | Faved! biometrics: Tell me which image you like and I'll tell you who you are | |
WO2007020897A1 (ja) | 映像シーン分類装置および映像シーン分類方法 | |
Navarathna et al. | Predicting movie ratings from audience behaviors | |
WO2009097337A1 (en) | Laugh detector and system and method for tracking an emotional response to a media presentation | |
JP2007097047A (ja) | コンテンツの編集装置、コンテンツの編集方法及びコンテンツの編集プログラム | |
JP2011019192A (ja) | 画像表示装置 | |
CN106851395B (zh) | 视频播放方法和播放器 | |
Tan et al. | Understanding the nature of first-person videos: Characterization and classification using low-level features | |
JP2013109537A (ja) | 関心度推定装置及びそのプログラム | |
KR101838792B1 (ko) | 콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치 | |
De Pessemier et al. | Enhancing recommender systems for TV by face recognition | |
US11995738B2 (en) | Method for generating a multimedia element when reading a medium, terminal, and system | |
KR20150093480A (ko) | 표정 인식을 이용한 영상 추출 장치 및 방법 | |
JP2011239158A (ja) | ユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラム | |
Biaud et al. | Semi-supervised evaluation of face recognition in videos | |
Sarvanko et al. | FACE SEQUENCE DETECTION FOR A WEB-BASED ANNOTATION APPLICATION | |
AGRAWAL et al. | Generating Personalized Highlights for Marathon Runners from Video Recordings |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130917 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131011 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5391144 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |