JP5377624B2 - Electronic device and face image display device - Google Patents
Electronic device and face image display device Download PDFInfo
- Publication number
- JP5377624B2 JP5377624B2 JP2011279891A JP2011279891A JP5377624B2 JP 5377624 B2 JP5377624 B2 JP 5377624B2 JP 2011279891 A JP2011279891 A JP 2011279891A JP 2011279891 A JP2011279891 A JP 2011279891A JP 5377624 B2 JP5377624 B2 JP 5377624B2
- Authority
- JP
- Japan
- Prior art keywords
- face image
- face
- time
- video content
- content data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、映像コンテンツデータに登場する顔画像を表示する電子機器および顔画像表示方法に関する。 The present invention relates to an electronic device and a face image display method for displaying a face image appearing in video content data.
一般に、ビデオレコーダ、パーソナルコンピュータといった電子機器は、テレビジョン放送番組データのような各種映像コンテンツデータを記録および再生することが可能である。この場合、電子機器に格納された各映像コンテンツデータにはタイトル名が付加されるが、タイトル名だけでは、ユーザが、各映像コンテンツデータがどのような内容のものであるかを把握することは困難である。このため、映像コンテンツデータの内容を把握するためには、その映像コンテンツデータを再生することが必要となる。しかし、総時間長の長い映像コンテンツデータの再生には、たとえ早送り再生機能等を用いた場合であっても、多くの時間が要される。 Generally, electronic devices such as a video recorder and a personal computer can record and reproduce various video content data such as television broadcast program data. In this case, a title name is added to each video content data stored in the electronic device, but it is not possible for the user to grasp what the content of each video content data is based on the title name alone. Have difficulty. For this reason, in order to grasp the content of the video content data, it is necessary to reproduce the video content data. However, reproduction of video content data with a long total time length requires a lot of time even when a fast-forward reproduction function or the like is used.
特許文献1には、登場人物一覧表示機能を有する装置が開示されている。この装置は、映像コンテンツにおける登場人物の一覧として、映像コンテンツにおける登場人物それぞれの顔の画像を並べて表示する機能を有している。
しかし、特許文献1のように単純に登場人物の一覧を表示しただけでは、ユーザは、それら人物が映像コンテンツデータ内のどの辺りの時間帯に登場するのかを把握することはできない。例えば、ユーザは、ユーザにとって興味のある人物(または人物群)が登場する時間帯だけを選択的に再生することを希望する場合もある。したがって、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物が登場するのかを提示するための新たな機能の実現が必要である。さらに、表示される顔画像の数も出来るだけ多くしたいという要望もある。
However, simply displaying a list of characters as in
本発明は上述の事情を考慮してなされたものであり、映像コンテンツデータを再生することなく、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物がどの程度の出現頻度で登場するのかを提示できる電子機器および顔画像表示方法を提供することを目的とする。 The present invention has been made in consideration of the above-described circumstances, and which person appears in what time zone and at what frequency in the entire video content data without reproducing the video content data. It is an object of the present invention to provide an electronic device and a face image display method capable of presenting an image.
本発明の一例に係わる電子機器は、映像コンテンツデータから抽出された複数の顔画像を含み、各顔画像が前記映像コンテンツデータ内に登場する時点を示す時間情報を含む顔画像情報を格納する記憶装置と、前記顔画像情報に含まれる顔画像を分類する分類手段と、前記映像コンテンツデータに複数の時間帯を割り当て、前記時間情報に基づいて各時間帯に属する顔画像をそれぞれ抽出する抽出手段と、前記複数の時間帯毎に前記分類されたそれぞれの顔画像の出現頻度を算出する算出手段と、顔画像表示エリアに前記分類されたそれぞれの顔画像の一覧を表示する顔画像一覧表示手段であって、前記分類されたそれぞれの顔画像は、前記出現頻度に基づいたサイズで表示されている、顔画像一覧表示手段とを具備し、前記顔画像表示エリアは、前記複数の時間帯に応じた複数の時間帯別表示エリアを有し、前記複数の時間帯の内の第1の時間帯に対応する前記複数の時間帯別表示エリアの内の第1の時間帯別表示エリアに表示される各顔画像は前記第1の時間帯における出現頻度に基づいたサイズで表示されている電子機器。 Electronic device according to one embodiment of the invention, viewed contains a plurality of face images extracted from the video content data, the Kaoga Zojo report that each face image contains time information indicating when appearing in the video content data a memory device for storing and classifying means for classifying a face image included in the Kaoga Zojo paper, assigned several time zones in the video content data, the facial images belonging to each time zone on the basis of the time information Extraction means for extracting, calculation means for calculating the appearance frequency of each classified face image for each of the plurality of time zones, and a list of the classified face images in the face image display area are displayed. a face image list display means, each of the face images the classified are displayed in a size that is based on the appearance frequency, comprising a face image list display means, the face image display area Has a plurality of time zone display areas corresponding to the plurality of time zones, and the first of the plurality of time zone display areas corresponding to the first time zone of the plurality of time zones. Each face image displayed in the time zone display area is an electronic device displayed in a size based on the appearance frequency in the first time zone .
以下、図面を参照して、本発明の実施形態を説明する。
まず、図1および図2を参照して、本発明の一実施形態に係る電子機器の構成を説明する。本実施形態の電子機器は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ10から実現されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, with reference to FIG. 1 and FIG. 2, the structure of the electronic device which concerns on one Embodiment of this invention is demonstrated. The electronic apparatus according to the present embodiment is realized by, for example, a notebook portable
このパーソナルコンピュータ10は、放送番組データ、外部機器から入力されるビデオデータといった、映像コンテンツデータ(オーディオビジュアルコンテンツデータ)を記録および再生することができる。即ち、パーソナルコンピュータ10は、テレビジョン放送信号によって放送される放送番組データの視聴および録画を実行するためのテレビジョン(TV)機能を有している。このTV機能は、例えば、パーソナルコンピュータ10に予めインストールされているTVアプリケーションプログラムによって実現されている。また、TV機能は、外部のAV機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを再生する機能も有している。
The
さらに、パーソナルコンピュータ10は、パーソナルコンピュータ10に格納されたビデオデータ、放送番組データのような映像コンテンツデータに登場する人物の顔画像の一覧等を表示する顔画像一覧表示機能を有している。この顔画像一覧表示機能は、例えば、TV機能内にその一機能として実装されている。顔画像一覧表示機能は、映像コンテンツデータの概要等をユーザに提示するための映像インデキシング機能の一つである。この顔画像一覧表示機能は、映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに提示することができる。また、この顔画像一覧表示機能は、映像コンテンツデータ内に含まれる所定の属性区間に着目して人物の一覧を表示することもできる。
Furthermore, the
図1はコンピュータ10のディスプレイユニットを開いた状態における斜視図である。本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成されている。ディスプレイユニット12には、TFT−LCD(Thin Film Transistor Liquid Crystal Display)17から構成される表示装置が組み込まれている。
FIG. 1 is a perspective view of the
ディスプレイユニット12は、コンピュータ本体11に対し、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体11は薄い箱形の筐体を有しており、その上面にはキーボード13、本コンピュータ10をパワーオン/パワーオフするためのパワーボタン14、入力操作パネル15、タッチパッド16、およびスピーカ18A,18Bなどが配置されている。
The
入力操作パネル15は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、TV機能(視聴、録画、録画された放送番組データ/ビデオデータの再生)を制御するための操作ボタン群も含まれている。また、コンピュータ本体11の正面には、本コンピュータ10のTV機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部20が設けられている。リモコンユニットインタフェース部20は、赤外線信号受信部などから構成されている。
The
コンピュータ本体11の例えば右側面には、TV放送用のアンテナ端子19が設けられている。また、コンピュータ本体11の例えば背面には、例えばHDMI(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ(動画像データ)を外部ディスプレイに出力するために用いられる。
On the right side of the computer
次に、図2を参照して、本コンピュータ10のシステム構成について説明する。
Next, the system configuration of the
本コンピュータ10は、図2に示されているように、CPU101、ノースブリッジ102、主メモリ103、サウスブリッジ104、グラフィクスプロセッシングユニット(GPU)105、ビデオメモリ(VRAM)105A、サウンドコントローラ106、BIOS−ROM109、LANコントローラ110、ハードディスクドライブ(HDD)111、DVDドライブ112、ビデオプロセッサ113、メモリ113A、無線LANコントローラ114、IEEE 1394コントローラ115、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116、TVチューナ117、およびEEPROM118等を備えている。
As shown in FIG. 2, the
CPU101は本コンピュータ10の動作を制御するプロセッサであり、ハードディスクドライブ(HDD)111から主メモリ103にロードされる、オペレーティングシステム(OS)201、およびTVアプリケーションプログラム202のような各種アプリケーションプログラムを実行する。TVアプリケーションプログラム202はTV機能を実行するためのソフトウェアである。このTVアプリケーションプログラム202は、TVチューナ117によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをHDD111に記録する録画処理、およびHDD111に記録された放送番組データ/ビデオデータを再生する再生処理等を実行する。また、CPU101は、BIOS−ROM109に格納されたBIOS(Basic Input Output System)も実行する。BIOSはハードウェア制御のためのプログラムである。
The
ノースブリッジ102はCPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、PCI EXPRESS規格のシリアルバスなどを介してGPU105との通信を実行する機能も有している。
The
GPU105は、本コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。このGPU105によって生成される表示信号はLCD17に送られる。また、GPU105は、HDMI制御回路3およびHDMI端子2を介して、外部ディスプレイ装置1にデジタル映像信号を送出することもできる。
The
HDMI端子2は上述の外部ディスプレイ接続端子である。HDMI端子2は、非圧縮のデジタル映像信号と、デジタルオーディオ信号とを一本のケーブルでテレビのような外部ディスプレイ装置1に送出することができる。HDMI制御回路3は、HDMIモニタと称される外部ディスプレイ装置1にデジタル映像信号をHDMI端子2を介して送出するためのインタフェースである。
The
サウスブリッジ104は、LPC(Low Pin Count)バス上の各デバイス、およびPCI(Peripheral Component Interconnect)バス上の各デバイスを制御する。また、サウスブリッジ104は、ハードディスクドライブ(HDD)111およびDVDドライブ112を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。さらに、サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。
The
またさらに、サウスブリッジ104には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ113が接続されている。
Furthermore, a
ビデオプロセッサ113は、前述の映像インデキシングに関する各種処理を実行するプロセッサである。このビデオプロセッサ113は、映像インデキシング処理を実行するためのインデキシング処理部として機能する。すなわち、映像インデキシング処理においては、ビデオプロセッサ113は、映像コンテンツデータに含まれる動画像データから複数の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報、等を出力する。顔画像の抽出は、例えば、動画像データの各フレームから顔領域を検出する顔検出処理、検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。
The
メモリ113Aは、ビデオプロセッサ113の作業メモリとして用いられる。インデキシング処理(CM検出処理、映像インデキシング処理)を実行するためには多くの演算量が必要とされる。本実施形態においては、CPU101とは異なる専用のプロセッサであるビデオプロセッサ113がバックエンドプロセッサとして使用され、このビデオプロセッサ113によってインデキシング処理が実行される。よって、CPU101の負荷の増加を招くことなく、インデキシング処理を実行することが出来る。
The
サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18BまたはHDMI制御回路3に出力する。
The
無線LANコントローラ114は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ115は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。
The
エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、電力管理のためのエンベデッドコントローラと、キーボード(KB)13およびタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。このエンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、ユーザによるパワーボタン14の操作に応じて本コンピュータ10をパワーオン/パワーオフする機能を有している。さらに、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、リモコンユニットインタフェース20との通信を実行する機能を有している。
The embedded controller / keyboard controller IC (EC / KBC) 116 is a one-chip microcomputer in which an embedded controller for power management and a keyboard controller for controlling the keyboard (KB) 13 and the
TVチューナ117はテレビジョン(TV)放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子19に接続されている。このTVチューナ117は、例えば、地上波デジタルTV放送のようなデジタル放送番組データを受信可能なデジタルTVチューナとして実現されている。また、TVチューナ117は、外部機器から入力されるビデオデータをキャプチャする機能も有している。
The
次に、図3を参照して、TVアプリケーションプログラム202によって実行される顔画像一覧表示機能について説明する。
Next, the face image list display function executed by the
放送番組データのような映像コンテンツデータに対するインデキシング処理(映像インデキシング処理)は、上述したように、インデキシング処理部として機能するビデオプロセッサ113によって実行される。
As described above, the indexing process (video indexing process) for video content data such as broadcast program data is executed by the
ビデオプロセッサ113は、TVアプリケーションプログラム202の制御の下、例えば、ユーザによって指定された録画済みの放送番組データ等の映像コンテンツデータに対してインデキシング処理を実行する。また、ビデオプロセッサ113は、TVチューナ117によって受信された放送番組データをHDD111に格納する録画処理と並行して、当該放送番組データに対するインデキシング処理を実行することもできる。
Under the control of the
映像インデキシング処理(顔画像インデキシング処理とも云う)においては、ビデオプロセッサ113は、映像コンテンツデータに含まれる動画像データをフレーム単位で解析する。そして、ビデオプロセッサ113は、動画像データを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報を出力する。各顔画像に対応するタイムスタンプ情報としては、映像コンテンツデータの開始から当該顔画像が登場するまでの経過時間、または当該顔画像が抽出されたフレーム番号、等を使用することが出来る。
In the video indexing process (also referred to as face image indexing process), the
さらに、ビデオプロセッサ113は、抽出された各顔画像のサイズ(解像度)も出力する。ビデオプロセッサ113から出力される顔検出結果データ(顔画像、タイムスタンプ情報TS、およびサイズ)は、データベース111Aに顔画像インデキシング情報として格納される。このデータベース111Aは、HDD111内に用意されたインデキシングデータ記憶用の記憶領域である。
Furthermore, the
さらに、映像インデキシング処理においては、ビデオプロセッサ113は、顔画像を抽出する処理と並行して、サムネイル画像取得処理も実行する。サムネイル画像は、映像コンテンツデータから例えば等時間間隔で抽出された複数のフレームの各々に対応する画像(縮小画像)である。すなわち、ビデオプロセッサ113は、顔画像を含むフレームであるか否かに関係なく、映像コンテンツデータから例えば所定の等時間間隔でフレームを順次抽出し、抽出した各フレームに対応する画像(サムネイル画像)と、そのサムネイル画像が出現する時点を示すタイムスタンプ情報TSとを出力する。ビデオプロセッサ113から出力されるサムネイル画像取得結果データ(サムネイル、タイムスタンプ情報TS)も、データベース111Aにサムネイルインデキシング情報として格納される。
Further, in the video indexing process, the
図3に示されているように、TVアプリケーションプログラム202は、顔画像一覧表示機能を実行するための顔画像一覧表示処理部301を含んでいる。この顔画像一覧表示処理部301は、例えば、インデキシングビューワプログラムとして実現されており、データベース111Aに格納されたインデキシング情報(顔画像インデキシング情報、サムネイルインデキシング情報等)を用いて、映像コンテンツデータの概要を俯瞰するためのインデキシングビュー画面を表示する。
As shown in FIG. 3, the
具体的には、顔画像一覧表示処理部301は、データベース111Aから顔画像インデキシング情報(顔画像、タイムスタンプ情報TS、およびサイズ)を読み出し、そしてその顔画像インデキシング情報を用いて、映像コンテンツデータに登場する人物の顔画像の一覧を、インデキシングビュー画面上の2次元の表示エリア(以下、顔サムネイル表示エリアと称する)上に表示する。この場合、顔画像一覧表示処理部301は、映像コンテンツデータの総時間長を、例えば等間隔で、複数の時間帯に分割し、時間帯毎に、抽出された顔画像の内から当該時間帯に登場する顔画像を所定個選択する。そして、顔画像一覧表示処理部301は、時間帯毎に、選択した所定個の顔画像それぞれを並べて表示する。
Specifically, the face image list
すなわち、2次元の顔サムネイル表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含む。複数の列それぞれには、映像コンテンツデータの総時間長を構成する複数の時間帯が割り当てられている。具体的には、例えば、複数の列それぞれには、映像コンテンツデータの総時間長をこれら複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられる。もちろん、各列に割り当てられる時間帯は必ずしも同一の時間長でなくてもよい。 That is, the two-dimensional face thumbnail display area includes a plurality of face image display areas arranged in a matrix including a plurality of rows and a plurality of columns. A plurality of time zones constituting the total time length of the video content data are assigned to each of the plurality of columns. Specifically, for example, in each of the plurality of columns, a plurality of time zones having the same time length obtained by dividing the total time length of the video content data at equal intervals by the number of the plurality of columns. Are assigned to each. Of course, the time zone allocated to each column does not necessarily have the same time length.
顔画像一覧表示処理部301は、顔画像それぞれに対応するタイムスタンプ情報TSに基づき、各列内に属する行数分の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれを、例えば、それら顔画像の出現頻度順(顔画像の検出時間長順)のような順序で並べて表示する。この場合、例えば、当該各列に割り当てられた時間帯に属する顔画像の内から、出現頻度(登場頻度)の高い順に顔画像が行数分だけ選択され、選択された顔画像が登場頻度順に上から下に向かって並んで配置される。もちろん、出現頻度順ではなく、各列に割り当てられた時間帯に出現する顔画像それぞれを、その出現順に並べて表示してもよい。
The face image list
この顔画像一覧表示機能により、映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに分かりやすく提示することができる。顔サムネイル表示エリアの具体的な構成例については、図5以降で後述する。 With this face image list display function, it is possible to easily show to the user which person appears in which time zone in the entire video content data. A specific configuration example of the face thumbnail display area will be described later with reference to FIG.
また、顔画像一覧表示処理部301は、データベース111Aからサムネイルインデキシング情報(サムネイル、タイムスタンプ情報TS)を読み出し、そしてサムネイルインデキシング情報を用いて、サムネイル画像それぞれを、顔サムネイル表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア(以下、じゃばらサムネイル表示エリアと称する)上に、それらサムネイル画像の出現時間順に一列に並べて表示する。
In addition, the face image list
映像コンテンツデータによっては、顔画像が登場しない時間帯も存在する。したがって、インデキシングビュー画面上に顔サムネイル表示エリアのみならず、じゃばらサムネイル表示エリアも表示することにより、顔画像が登場しない時間帯においても、その時間帯の映像コンテンツデータの内容をユーザに提示することができる。 Depending on the video content data, there may be a time period when the face image does not appear. Therefore, by displaying not only the face thumbnail display area but also the loose thumbnail display area on the indexing view screen, the contents of the video content data in that time period can be presented to the user even during the time period when the face image does not appear. Can do.
次に、図4を参照して、TVアプリケーションプログラム202の機能構成を説明する。
Next, the functional configuration of the
TVアプリケーションプログラム202は、上述の顔画像一覧表示処理部301に加え、記録処理部401、インデキシング制御部402、再生処理部403等を備えている。
The
記録処理部401は、TVチューナ117によって受信された放送番組データ、または外部機器から入力されるビデオデータをHDD111に記録する記録処理を実行する。また、記録処理部401は、ユーザによって予め設定された録画予約情報(チャンネル番号、日時)によって指定される放送番組データをTVチューナ117を用いて受信し、その放送番組データをHDD111に記録する予約録画処理も実行する。
The
インデキシング制御部402は、ビデオプロセッサ(インデキシング処理部)113を制御して、映像インデキシング処理をビデオプロセッサ113に実行させる。ユーザは、録画対象の放送番組データ毎にインデキシング処理を実行するか否かを指定することができる。例えば、インデキシング処理の実行が指示された録画対象の放送番組データについては、その放送番組データがHDD111に記録された後に、インデキシング処理が自動的に開始される。また、ユーザは、既にHDD111に格納されている映像コンテンツデータの内から、インデキシング処理を実行すべき映像コンテンツデータを指定することもできる。
The
再生処理部403は、HDD111に格納されている各映像コンテンツデータを再生する処理を実行する。また、再生処理部403は、ある映像コンテンツデータの顔画像一覧の中の一つの顔画像が選択されている状態でユーザ操作によって再生指示イベントが入力された時、選択されている顔画像が登場する時点よりも所定時間前の時点から映像コンテンツデータの再生を開始する機能を有している。
The
なお、インデキシング処理は、必ずしもビデオプロセッサ113によって実行する必要はなく、例えば、TVアプリケーションプログラム202にインデキシング処理を実行する機能を設けてもよい。この場合、インデキシング処理は、TVアプリケーションプログラム202の制御の下に、CPU101によって実行される。
Note that the indexing process is not necessarily executed by the
次に、図5乃至図7を参照して、インデキシングビュー画面の具体的な構成について説明する。 Next, a specific configuration of the indexing view screen will be described with reference to FIGS.
図5には、顔画像一覧表示処理部301によってLCD17に表示されるインデキシングビュー画面の例が示されている。このインデキシングビュー画面は、ある映像コンテンツデータ(例えば放送番組データ)をインデキシング処理することによって得られた画面である。このインデキシングビュー画面には、顔画像の一覧を表示するための上述の顔サムネイル表示エリアと、サムネイル画像の一覧をじゃばら形式で表示するための上述のじゃばらサムネイル表示エリアとを含んでいる。
FIG. 5 shows an example of an indexing view screen displayed on the
ここで、じゃばら形式とは、選択されているサムネイル画像を通常サイズ(フルサイズ)で表示し、他の各サムネイル画像についてはその横方向サイズを縮小して表示する表示形式である。図5においては、選択されたサムネイル画像との距離が大きいサムネイル画像ほど、その横方向サイズが縮小されている。 Here, the loose format is a display format in which a selected thumbnail image is displayed in a normal size (full size), and the other thumbnail images are displayed with a reduced size in the horizontal direction. In FIG. 5, the larger the distance from the selected thumbnail image, the smaller the horizontal size.
図6は、顔サムネイル表示エリアの構成例が示されている。 FIG. 6 shows a configuration example of the face thumbnail display area.
顔サムネイル表示エリアは、複数の行と複数の列とを含むマトリクス状に配置された複数個の顔画像表示エリアを含んでいる。図6においては、顔サムネイル表示エリアは6行×16列から構成されている。顔サムネイル表示エリアに含まれる顔画像表示エリアの数は、96個である。 The face thumbnail display area includes a plurality of face image display areas arranged in a matrix including a plurality of rows and a plurality of columns. In FIG. 6, the face thumbnail display area is composed of 6 rows × 16 columns. The number of face image display areas included in the face thumbnail display area is 96.
列1〜列16のそれぞれには、例えば、映像コンテンツデータの総時間長を列数(=16)で等間隔で分割することによって得られる、互いに同一の時間長Tを有する複数の時間帯がそれぞれ割り当てられる。
Each of the
例えば、映像コンテンツデータの総時間長が2時間であるならば、その2時間が16個の時間帯に等間隔で分割される。この場合、各時間帯の時間長Tは、7.5分である。例えば、列1には、先頭0:00:00から0:07:30までの時間帯が割り当てられ、列2には、0:07:30から0:15:00までの時間帯が割り当てられ、列3には、0:15:00から0:22:30までの時間帯が割り当てられる。映像コンテンツデータの総時間長に応じて、各時間帯の時間長Tは変化する。
For example, if the total time length of the video content data is 2 hours, the 2 hours are divided into 16 time zones at equal intervals. In this case, the time length T of each time zone is 7.5 minutes. For example,
もちろん、複数の列それぞれに割り当てられる時間帯の長さは、必ずしも同一である必要はない。 Of course, the length of the time zone assigned to each of the plurality of columns is not necessarily the same.
顔画像一覧表示処理部301は、ビデオプロセッサ113によって抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、各列内の6個の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをたとえば上述の頻度順に並べて表示する。この場合、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から行数分(6個)の顔画像を選択し、選択した行数分の顔画像それぞれを並べて表示する。
The face image list
このように、顔サムネイル表示エリアにおいては、左端位置(1,1)を基点とし、右端位置(6,16)を映像コンテンツデータの終端とする時間軸が用いられている。 In this way, the face thumbnail display area uses a time axis with the left end position (1, 1) as a base point and the right end position (6, 16) as the end of video content data.
顔サムネイル表示エリアの各顔画像表示エリアに表示される顔画像のサイズは“大”、 “中”、“小”の内からユーザが選択することができる。行と列の数は、ユーザが選択した顔画像のサイズに応じて変化される。顔画像のサイズと行と列の数との関係は、次の通りである。 The size of the face image displayed in each face image display area of the face thumbnail display area can be selected from “large”, “medium”, and “small”. The number of rows and columns is changed according to the size of the face image selected by the user. The relationship between the size of the face image and the number of rows and columns is as follows.
(1)“大”の場合; 3行×8列
(2)“中”の場合; 6行×16列
(3)“小”の場合: 10行×24列
“大”の場合においては、各顔画像は、例えば、180×180ピクセルのサイズで表示される。“中”の場合においては、各顔画像は、例えば、90×90ピクセルのサイズで表示される。“小”の場合においては、各顔画像は、例えば、60×60ピクセルのサイズで表示される。デフォルトの顔画像サイズは、例えば、“中”に設定されている。
(1) “Large”; 3 rows x 8 columns (2) “Medium”; 6 rows x 16 columns (3) “Small”: 10 rows x 24 columns “Large” Each face image is displayed with a size of 180 × 180 pixels, for example. In the case of “medium”, each face image is displayed with a size of 90 × 90 pixels, for example. In the case of “small”, each face image is displayed with a size of 60 × 60 pixels, for example. The default face image size is set to “medium”, for example.
顔サムネイル表示エリア内の各顔画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の2つの状態のいずれかに設定される。“フォーカス”状態の顔画像のサイズは、“標準”状態の時のサイズ(180×180、90×90、または60×60)よりも大きく設定される。図6においては、座標(1,12)の顔画像が“フォーカス”状態である場合を示している。 Each face image in the face thumbnail display area is set to one of two states, a “normal” state that is not selected and a “focus” state that is selected. The size of the face image in the “focus” state is set larger than the size in the “standard” state (180 × 180, 90 × 90, or 60 × 60). FIG. 6 shows a case where the face image at the coordinates (1, 12) is in the “focus” state.
じゃばらサムネイル表示エリアに表示されるサムネイル画像の枚数は、ユーザ設定に従って、例えば240枚、144枚、96枚、48枚のいずれかに設定される。デフォルトは例えば240枚である。 The number of thumbnail images displayed in the loose thumbnail display area is set to, for example, 240, 144, 96, or 48 according to the user setting. The default is 240 sheets, for example.
サムネイル画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の2つの状態のいずれかに設定される。“フォーカス”状態のサムネイル画像は、他のサムネイル画像よりも大きいサイズで表示される。 The thumbnail image is set to one of two states, a “normal” state that is not selected and a “focus” state that is selected. The thumbnail image in the “focus” state is displayed in a larger size than the other thumbnail images.
次に、図7を参照して、顔サムネイル表示エリアとじゃばらサムネイル表示エリアとの関係について説明する。 Next, the relationship between the face thumbnail display area and the jagged thumbnail display area will be described with reference to FIG.
同一列に属する顔画像表示エリア群の集合、つまり顔サムネイル表示エリア内の個々の列を“大区間”と称する。また、“大区間”をさらに分割したものを“小区間”と称する。1つの大区間に含まれる小区間の数は、じゃばらサムネイル表示エリアに表示されるサムネイル画像の数を顔サムネイル表示エリアの列数で割った商で与えられる。例えば、顔サムネイル表示エリアが6行×16列で、じゃばらサムネイル表示エリアに表示されるサムネイル画像の数が240枚であるならば、1つの大区間に含まれる小区間の数は、15(=240÷16)となる。1つの大区間は15個の小区間を含む。換言すれば、1つの大区間に対応する時間帯には、15枚のサムネイル画像が属することになる。 A set of face image display areas belonging to the same column, that is, each column in the face thumbnail display area is referred to as a “large section”. Further, the “large section” further divided is referred to as “small section”. The number of small sections included in one large section is given by a quotient obtained by dividing the number of thumbnail images displayed in the jagged thumbnail display area by the number of columns in the face thumbnail display area. For example, if the face thumbnail display area is 6 rows × 16 columns and the number of thumbnail images displayed in the loose thumbnail display area is 240, the number of small sections included in one large section is 15 (= 240 ÷ 16). One large section includes 15 small sections. In other words, 15 thumbnail images belong to the time zone corresponding to one large section.
じゃばらサムネイル表示エリア上のあるサムネイル画像が選択された時、顔画像一覧表示処理部301は、選択されたサムネイル画像のタイムスタンプ情報に基づき、顔サムネイル表示エリア内の複数の列(複数の大区間)の内で、選択されたサムネイル画像が属する時間帯が割り当てられた列(大区間)を選択する。選択される大区間は、選択されたサムネイル画像を小区間として含む大区間である。そして、顔画像一覧表示処理部301は、選択した大区間を強調表示する。
When a certain thumbnail image on the jagged thumbnail display area is selected, the face image list
このように、じゃばらサムネイル表示エリア上のサムネイル画像が選択された時には、顔サムネイル表示エリア内の複数の列の内から、選択されたサムネイル画像が属する時間帯が割り当てられている列(大区間)が自動選択される。これにより、ユーザは、選択したサムネイル画像が、顔サムネイル表示エリア内のどの列(大区間)に対応する画像であるかを識別することができる。さらに、縦長のバーにより、ユーザは、選択したサムネイル画像が、どの列(大区間)内のどの辺りの時点に対応する画像であるかも識別することができる。 As described above, when a thumbnail image on the jagged thumbnail display area is selected, a column (large section) to which the time zone to which the selected thumbnail image belongs is assigned from among a plurality of columns in the face thumbnail display area. Is automatically selected. Thereby, the user can identify which column (large section) in the face thumbnail display area corresponds to the selected thumbnail image. Furthermore, the vertically long bar allows the user to identify which thumbnail image the selected thumbnail image corresponds to in which column (large section).
ところで、顔サムネイル表示エリアの各顔画像表示エリアに表示される顔画像のサイズとして、出現頻度に応じて顔画像のサイズを変更する設定にすることが出来る。 By the way, the size of the face image displayed in each face image display area of the face thumbnail display area can be set to change the size of the face image according to the appearance frequency.
この設定は、さらに予め用意された複数の配列形式から選択することが出来る。例えば、図8(A)〜図8(C)に示すように、ユーザは3つの配列形式から一つの配列形式を選ぶことが出来る。図8に示す配列形式は、一つの大区間を示しており、この配列形式が8列表示される。なお、図8(A)〜図8(C)において、各エリア内の矩形領域は顔画像が表示される領域である。買う矩形領域内に表示され得いる数字は、出現頻度の順番を表す。 This setting can be further selected from a plurality of arrangement formats prepared in advance. For example, as shown in FIGS. 8A to 8C, the user can select one arrangement format from three arrangement formats. The array format shown in FIG. 8 shows one large section, and this array format is displayed in 8 columns. In FIGS. 8A to 8C, a rectangular area in each area is an area where a face image is displayed. The numbers that can be displayed in the buy rectangular area represent the order of appearance frequency.
図8(A)に示す配列形式は、大顔画像エリア、中顔画像エリア、および小顔画像エリアを有する。大画像エリアには、出現頻度が最も高い1枚の顔画像が表示される。中顔画像エリアには、出現頻度が2番目から5番目の4枚の顔画像が表示される。小顔画像エリアには、出現頻度が6番目から21番目の16枚の顔画像が表示される。 The arrangement format shown in FIG. 8A has a large face image area, a medium face image area, and a small face image area. In the large image area, one face image having the highest appearance frequency is displayed. In the middle face image area, four face images having the second to fifth appearance frequencies are displayed. In the small face image area, sixteen face images having the appearance frequency from the sixth to the 21st are displayed.
図8(B)に示す配列形式は、大顔画像エリア、および中顔画像エリアを有する。大画像エリアには、出現頻度が最も高い顔と2番目の顔との2枚の顔画像が表示される。中顔画像エリアには、出現頻度が3番目から6番目の4枚の顔画像が表示される。 The arrangement format shown in FIG. 8B has a large face image area and a medium face image area. In the large image area, two face images of the face having the highest appearance frequency and the second face are displayed. In the middle face image area, four face images having the third to sixth appearance frequencies are displayed.
図8(C)に示す配列形式は、大顔画像エリア、および中顔画像エリアを有する。大画像エリアには、出現頻度が最も高い1枚の顔画像が表示される。中顔画像エリアには、出現頻度が2番目から8番目の8枚の顔画像が表示される。 The arrangement format shown in FIG. 8C has a large face image area and a medium face image area. In the large image area, one face image having the highest appearance frequency is displayed. In the middle face image area, eight face images having the second to eighth appearance frequencies are displayed.
図8(A)〜図8(C)の3種類の配列形式から一つの配列形式をユーザが選択するためのウィンドウの例を図9に示す。図9に示すように、大区間の配列形式の例が3つ表示されている。そして、それぞれの配列形式の上側にそれぞれラジオボタンが設けられている。ラジオボタンは3つのボタンの中から一つのボタンだけを選択した後、OKボタンを操作することによって、選択された配列形式が表示されるようになる。 FIG. 9 shows an example of a window for the user to select one array format from the three types of array formats shown in FIGS. 8 (A) to 8 (C). As shown in FIG. 9, three examples of the arrangement format of the large section are displayed. Radio buttons are provided above the respective array formats. As for the radio button, after selecting only one of the three buttons, the selected arrangement format is displayed by operating the OK button.
図8(A)に示した配列形式の表示例を図10に示す。図10に示すように、じゃばらサムネイル表示エリア上の8列の大区間に、図8(A)と同様な配列形式で顔画像が表示されている。各大区間には出現頻度が高い顔から順に顔画像が表示されている。 FIG. 10 shows a display example of the array format shown in FIG. As shown in FIG. 10, face images are displayed in an array format similar to that shown in FIG. 8A in large sections of eight columns on the loose thumbnail display area. In each large section, face images are displayed in order from the face with the highest appearance frequency.
なお、中顔画像エリア、および小顔画像エリアの画像は小さく、判別しにくいことがある。しかし、本装置では、中顔画像エリア、および小顔画像エリアにポインタ501を重ねて静止した状態(所謂、マウスオーバー)で所定の時間が経過すると、サイズが多きな顔画像、例えば大顔画像エリアの画像と同じ大きさの顔画像502がポインタ501の脇にポップアップ表示されるようにしてもよい(図11)。
Note that the images in the middle face image area and the small face image area are small and difficult to distinguish. However, in this apparatus, when a predetermined time elapses in a state where the
マウスオーバーしてから顔画像がポップアップ表示されるまでの時間は、ユーザが設定することが出来る。図12に示す設定ウィンドウ中において、チェックボックス511を選択し、矩形領域512内の秒数の数字を変化させることで設定することが出来る。
The user can set the time from when the mouse is over until the face image pops up. The setting window shown in FIG. 12 can be set by selecting the
設定した時間、マウスオーバーの時間が経過すると顔画像一覧表示処理部301にイベントが入力され、顔画像一覧表示処理部301は顔画像の拡大表示を行う。
When the set time and the mouse over time elapse, an event is input to the face image list
また、設定に応じては、マウスオーバーしてから顔画像が切り出された元画像を表示することも出来る。これは、大画像エリア、中顔画像エリア、および小顔画像エリアの全てのエリアで有効になる。顔画像が切り出された元画像を表示する設定ウィンドウの例を図13に示す。図13に示すように、排他的に選択可能な二つのラジオボタン521,522の一方をユーザが選択することによって、中顔画像エリアおよび小顔画像エリアにおける顔画像拡大表示並びに切り出し元画像表示の一方が設定される。
Further, depending on the setting, it is possible to display an original image in which a face image is cut out after the mouse is over. This is effective in all the large image area, medium face image area, and small face image area. FIG. 13 shows an example of a setting window for displaying the original image from which the face image is cut out. As shown in FIG. 13, when the user selects one of the two
設定した時間、マウスオーバーの時間が経過すると顔画像一覧表示処理部301にイベントが入力され、顔画像一覧表示処理部301は、設定に応じて顔画像の拡大表示、または切り出し元画像の表示を行う。
When the set time and the mouse over time elapse, an event is input to the face image list
次に、図14のフローチャートを参照して、顔画像一覧表示処理部301によって実行される表示処理の手順を説明する。
Next, the procedure of the display process executed by the face image list
まず、顔画像一覧表示処理部301は、データベース111Aに格納されている顔画像それぞれを、それら顔画像に対応するタイムスタンプ情報に基づいて、それら顔画像の登場時間順にソートする(ステップS101)。次いで、顔画像一覧表示処理部301は、ユーザによって指定された参照すると共に、例えばインデキシング対象の映像コンテンツデータの総時間長を列数で均等に分割することによって、各列(大区間)に割り当てる時間帯を算出する。そして、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯内に属する顔画像の内から、選択されている表示形式に応じた大区間に表示される顔画像の数の顔画像を選択する(ステップS102)。
First, the face image list
顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、当該時間帯において登場する頻度の高い顔画像を優先的に選択する。例えば、ビデオプロセッサ113は、抽出した顔画像それぞれの特徴データの相関に基づいて、同一人物の顔画像それぞれを同一カテゴリーに分類するクラスタリング処理を実行することができる。この場合、図15に示すように、顔画像それぞれは、人物毎(すなわちカテゴリー毎)に分類されてデータベース111Aに格納される。図15においては、カテゴリー1は、ある人物Aの顔画像の集合を示しており、カテゴリー2は、ある人物Bの顔画像の集合を示しており、またカテゴリー3は、ある人物Bの顔画像の集合を示している。顔画像一覧表示処理部301は、登場する頻度の高い人物の顔画像を優先的に選択する。なお、ある同一人物の顔画像のみが比較的長い時間出現され続けている時間帯においては、当該時間帯に対応する列上に同一人物の異なる複数の顔画像を表示してもよい。
The face image list
次いで、顔画像一覧表示処理部301は、表示処理対象の列内の複数の顔画像表示エリアに、選択した顔画像それぞれを例えば出現頻度順に並べて表示する(ステップS103)。出現頻度の高い顔画像ほど、上方の顔画像表示エリアに表示される。
Next, the face image list
ステップS102,S103の処理は、全ての列に対する処理が完了するまで、表示処理対象の列の番号を更新しながら繰り返し実行される(ステップS104,S105)。 The processes in steps S102 and S103 are repeatedly executed while updating the numbers of the display process target columns until the processes for all the columns are completed (steps S104 and S105).
全ての列に対する処理が完了すると(ステップS104のNO)、顔画像一覧表示処理部301は、データベース11Aに格納されているサムネイル画像それぞれを、それらサムネイル画像それぞれのタイムスタンプ情報に基づいて、じゃばらサムネイル表示エリア上にそれらサムネイル画像が出現する時間順に一列に並べて表示する(ステップS106)。
When the processing for all the columns is completed (NO in step S104), the face image list
次に、図16のフローチャートを参照して、再生処理部403によって実行される再生処理の手順を説明する。
Next, the procedure of the reproduction process executed by the
ユーザ操作に応じてある顔画像上で一定時間マウスオーバーが行われて顔画像一覧表示処理部301にイベントが入力された時(ステップS301のYES)、顔画像一覧表示処理部301は、顔画像の拡大表示を行う設定になっているか判別する(ステップS302)。拡大表示する設定ならば(ステップS302のYES)、顔画像一覧表示処理部301は、選択されている顔画像を拡大表示する(ステップS303)。拡大表示する設定はない(ステップS302のNO)、すなわち顔画像の切り出し元画像を表示する設定ならば、顔画像一覧表示処理部301は選択されている顔画像の切り出し元画像を表示する(ステップS303)。
When the mouse is moved over a certain face image in response to a user operation and an event is input to the face image list display processing unit 301 (YES in step S301), the face image list
以上のように、本実施形態においては、映像コンテンツデータ全体を対象に顔画像の一覧を出現時間帯毎に出現頻度に応じたサイズで表示する。よって、映像コンテンツデータを再生することなく、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物がどの程度の頻度で登場するのかをユーザに提示できる。 As described above, in the present embodiment, a list of face images is displayed for the entire video content data in a size corresponding to the appearance frequency for each appearance time zone. Therefore, it is possible to present to the user which person appears in what time zone in the entire video content data and how often without reproducing the video content data.
なお、本実施形態では、インデキシング処理部として機能するビデオプロセッサ113によって顔画像インデキシング情報を生成したが、例えば、放送番組データ内に予め当該放送番組データに対応するインデキシング情報が含まれている場合には、インデキシング処理を行う必要はない。よって、本実施形態の顔画像一覧表示機能は、データベース111Aと顔画像一覧表示処理部301のみによっても実現することが出来る。
In the present embodiment, the face image indexing information is generated by the
また、本実施形態の顔画像一覧表示処理の手順は全てソフトウェアによって実現することができるので、このソフトウェアをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入することにより、本実施形態と同様の効果を容易に実現することができる。 Further, since all the face image list display processing procedures of the present embodiment can be realized by software, the same effects as those of the present embodiment can be obtained by introducing this software into a normal computer through a computer-readable storage medium. Can be easily realized.
また、本実施形態の電子機器はコンピュータ10によって実現するのみならず、例えば、HDDレコーダ、DVDレコーダ、テレビジョン装置といった様々なコンシューマ電子機器によって実現することもできる。この場合、TVアプリケーションプログラム202の機能は、DSP、マイクロコンピュータのようなハードウェアによって実現することができる。
In addition, the electronic device of the present embodiment can be realized not only by the
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
以下に、本願の原出願の特許査定時の特許請求の範囲に記載された発明を付記する。 [1]映像コンテンツデータから抽出された複数の顔画像と前記各顔画像が前記映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報と含む顔画像インデキシング情報とを格納する記憶装置と、
前記映像コンテンツデータに複数の時間帯を割り当て、前記タイムスタンプ情報に基づいて前記各時間帯に属する顔画像をそれぞれ抽出する手段と、
抽出された顔画像から同一人物の顔画像をそれぞれ分類する手段と、
分類されたそれぞれの顔画像の出現頻度を算出する手段と、
前記顔画像インデキシング情報に含まれる複数の顔画像の一覧を2次元の表示エリア内の顔画像表示エリアに表示する顔画像一覧表示手段であって、前記顔画像表示エリアは、前記複数の時間帯に応じた複数列の時間帯別表示エリアを有し、前記各時間帯別表示エリアに表示される各顔画像は、前記出現頻度に基づいたサイズで表示されている、前記顔画像一覧表示手段とを具備することを特徴とする電子機器。
[2]前記映像コンテンツデータから複数の顔画像を抽出すると共に、抽出された各顔画像が前記映像コンテンツデータ内に登場する時点を示す前記タイムスタンプ情報を出力するインデキシング処理部を更に具備することを特徴とする[1]記載の電子機器。
[3]前記出現頻度に基づいたサイズで表示される複数の表示形式から前記顔画像表示エリアに表示される表示形式をユーザが指定するための手段を更に具備することを特徴とする[1]または[2]のいずれか1項に記載の電子機器。
[4]前記顔画像一覧表示手段は、ユーザの操作に応じて一枚の顔画像に対してのイベントが入力された場合、顔画像一覧表示手段は、前記一枚の顔画像を拡大して表示する、または前記顔画像の抽出元の画像を表示することを特徴とする[1]、[2]、[3]のいずれか1項に記載の電子機器。
[5]前記イベントが入力されるユーザの操作を設定するための設定手段を更に具備することを特徴とする[4]記載の電子機器。
[6]前記ユーザの操作に応じて表示位置が変化するポインタが表示され、
前記設定手段によって、前記顔画像上で前記ポインタが静止している時間が設定されることを特徴とする[5]記載の電子機器。
[7]映像コンテンツデータから抽出された複数の顔画像と前記各顔画像が前記映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報と含む顔画像インデキシング情報を生成し、
前記映像コンテンツデータに複数の時間帯を割り当て、前記タイムスタンプ情報に基づいて前記各時間帯に属する顔画像をそれぞれ抽出し、
抽出された同一の時間帯に属する顔画像から同一人物の顔画像をそれぞれ分類し、
分類されたそれぞれの顔画像の出現頻度を算出し、
前記顔画像インデキシング情報に含まれる複数の顔画像の一覧を2次元の表示エリア内に顔画像表示エリアに表示する顔画像表示方法であって、
前記顔画像表示エリアは、前記複数の時間帯に応じた複数列の時間帯別表示エリアを有し、前記各時間帯別表示エリアに表示される各顔画像は、前記出現頻度に基づいたサイズで表示されていることを特徴とする顔画像表示方法。
[8]前記出現頻度に基づいたサイズで表示される表示形式が複数用意され、ユーザが指定した表示形式に応じて前記各時間帯別表示エリアに顔画像が表示されることを特徴とする[7]記載の顔画像表示方法。
[9]ユーザの操作に応じて一枚の顔画像に対して発生するイベントが発生した場合、前記一枚の顔画像を拡大して表示する、または前記顔画像の抽出元の画像を表示することを特徴とする[7]記載の顔画像表示方法。
[10]前記ユーザの操作に応じて表示位置が変化するポインタが表示され、
前記顔画像上で前記ポインタが静止している時間が、設定された時間を経過した場合に前記イベントが発生することを特徴とする[9]記載の顔画像表示方法。
Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.
The invention described in the scope of the claims at the time of the patent assessment of the original application of the present application will be added below. [1] A storage device that stores a plurality of face images extracted from video content data, time stamp information indicating when each face image appears in the video content data, and face image indexing information including the time image information.
Means for assigning a plurality of time zones to the video content data and extracting face images belonging to each time zone based on the time stamp information;
Means for classifying face images of the same person from the extracted face images;
Means for calculating the appearance frequency of each classified face image;
Face image list display means for displaying a list of a plurality of face images included in the face image indexing information in a face image display area within a two-dimensional display area, wherein the face image display area includes the plurality of time zones. The face image list display means includes a plurality of columns of time zone display areas corresponding to each time zone, and each face image displayed in each time zone display area is displayed in a size based on the appearance frequency. An electronic device comprising:
[2] The image processing apparatus further includes an indexing processing unit that extracts a plurality of face images from the video content data and outputs the time stamp information indicating a time point at which each extracted face image appears in the video content data. [1] The electronic device according to [1].
[3] The apparatus further comprises means for a user to specify a display format displayed in the face image display area from a plurality of display formats displayed in a size based on the appearance frequency. Or the electronic device of any one of [2].
[4] When the face image list display means receives an event for one face image in response to a user operation, the face image list display means enlarges the one face image. The electronic device according to any one of [1], [2], and [3], wherein the electronic device is displayed or an image from which the face image is extracted is displayed.
[5] The electronic device according to [4], further comprising setting means for setting a user operation to which the event is input.
[6] A pointer whose display position changes according to the user's operation is displayed.
The electronic device according to [5], wherein the setting unit sets a time during which the pointer is stationary on the face image.
[7] generating face image indexing information including a plurality of face images extracted from video content data and time stamp information indicating a time point at which each face image appears in the video content data;
A plurality of time zones are allocated to the video content data, and face images belonging to the time zones are respectively extracted based on the time stamp information.
Classify face images of the same person from the extracted face images belonging to the same time zone,
Calculate the appearance frequency of each classified face image,
A face image display method for displaying a list of a plurality of face images included in the face image indexing information in a face image display area in a two-dimensional display area,
The face image display area has a plurality of columns of time zone display areas corresponding to the plurality of time zones, and each face image displayed in each time zone display area has a size based on the appearance frequency. A face image display method, characterized in that the face image is displayed.
[8] A plurality of display formats to be displayed in a size based on the appearance frequency are prepared, and a face image is displayed in the display area for each time period according to the display format specified by the user. 7] The face image display method according to [7].
[9] When an event occurs for one face image in response to a user operation, the one face image is enlarged or displayed, or an image from which the face image is extracted is displayed. [7] The face image display method according to [7].
[10] A pointer whose display position changes according to the user's operation is displayed.
[9] The face image display method according to [9], wherein the event occurs when a time during which the pointer is stationary on the face image has passed a set time.
10…電子機器(コンピュータ)、111A…データベース、113…ビデオプロセッサ、117…TVチューナ、301…顔画像一覧表示処理部、402…インデキシング制御部、403…再生処理部。
DESCRIPTION OF
Claims (9)
前記顔画像情報に含まれる顔画像を分類する分類手段と、
前記映像コンテンツデータに複数の時間帯を割り当て、前記時間情報に基づいて各時間帯に属する顔画像をそれぞれ抽出する抽出手段と、
前記複数の時間帯毎に前記分類されたそれぞれの顔画像の出現頻度を算出する算出手段と、
顔画像表示エリアに前記分類されたそれぞれの顔画像の一覧を表示する顔画像一覧表示手段であって、前記分類されたそれぞれの顔画像は、前記出現頻度に基づいたサイズで表示されている、顔画像一覧表示手段とを具備し、
前記顔画像表示エリアは、前記複数の時間帯に応じた複数の時間帯別表示エリアを有し、前記複数の時間帯の内の第1の時間帯に対応する前記複数の時間帯別表示エリアの内の第1の時間帯別表示エリアに表示される各顔画像は前記第1の時間帯における出現頻度に基づいたサイズで表示されている
電子機器。 A storage device for storing Kaoga Zojo report including the time information indicating the time of viewing contains a plurality of face images extracted from the video content data, the face image appears in the video content data,
A classification means for classifying a face image included in the Kaoga Zojo paper,
Extracting means for allocating a plurality of time zones to the video content data and extracting face images belonging to each time zone based on the time information;
Calculating means for calculating the appearance frequency of each classified face image for each of the plurality of time zones ;
Face image list display means for displaying a list of each classified face image in a face image display area, wherein each classified face image is displayed in a size based on the appearance frequency; A face image list display means ,
The face image display area includes a plurality of time zone display areas corresponding to the plurality of time zones, and the plurality of time zone display areas corresponding to a first time zone of the plurality of time zones. Each of the face images displayed in the first time zone display area is displayed in a size based on the appearance frequency in the first time zone .
前記映像コンテンツデータに複数の時間帯を割り当て、前記時間情報に基づいて各時間帯に属する顔画像をそれぞれ抽出し、
前記映像コンテンツデータに複数の時間帯を割り当て、前記時間情報に基づいて各時間帯に属する顔画像をそれぞれ抽出し、
前記複数の時間帯毎に前記分類されたそれぞれの顔画像の出現頻度を算出し、
顔画像表示エリアに前記分類されたそれぞれの顔画像の一覧を表示する顔画像表示方法であって、
前記顔画像表示エリアは、前記複数の時間帯に応じた複数の時間帯別表示エリアを有し、
前記複数の時間帯の内の第1の時間帯に対応する前記複数の時間帯別表示エリアの内の第1の時間帯別表示エリアに表示される各顔画像は前記第1の時間帯における出現頻度に基づいたサイズで表示されている
顔画像表示方法。 Look including a plurality of face images extracted from the video content data, the face image classifying a face image included in Kaoga Zojo report including information indicating a time point appearing in the video content data,
A plurality of time zones are assigned to the video content data, and face images belonging to each time zone are extracted based on the time information,
A plurality of time zones are assigned to the video content data, and face images belonging to each time zone are extracted based on the time information,
Calculating the appearance frequency of each classified face image for each of the plurality of time zones;
A face image display method for displaying a list of each classified face image in a face image display area,
The face image display area has a plurality of time zone display areas according to the plurality of time zones,
Each face image displayed in the first time zone display area of the plurality of time zone display areas corresponding to the first time zone of the plurality of time zones is in the first time zone. A method of displaying a face image displayed in a size based on the appearance frequency .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011279891A JP5377624B2 (en) | 2011-12-21 | 2011-12-21 | Electronic device and face image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011279891A JP5377624B2 (en) | 2011-12-21 | 2011-12-21 | Electronic device and face image display device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007256524A Division JP2009089065A (en) | 2007-09-28 | 2007-09-28 | Electronic device and facial image display apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012095334A JP2012095334A (en) | 2012-05-17 |
JP5377624B2 true JP5377624B2 (en) | 2013-12-25 |
Family
ID=46388107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011279891A Active JP5377624B2 (en) | 2011-12-21 | 2011-12-21 | Electronic device and face image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5377624B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001167110A (en) * | 1999-12-08 | 2001-06-22 | Matsushita Electric Ind Co Ltd | Picture retrieving method and its device |
JP2004072404A (en) * | 2002-08-06 | 2004-03-04 | Omron Corp | Automatic photograph sticker vending machine and method, printing medium, and printing medium unit |
KR20070101336A (en) * | 2005-01-20 | 2007-10-16 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | A user interface for browsing image |
JP2007148949A (en) * | 2005-11-30 | 2007-06-14 | Hitachi Ltd | Automatic click input system |
JP4559964B2 (en) * | 2005-12-26 | 2010-10-13 | 株式会社日立国際電気 | Image processing program |
-
2011
- 2011-12-21 JP JP2011279891A patent/JP5377624B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012095334A (en) | 2012-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009089065A (en) | Electronic device and facial image display apparatus | |
JP5057918B2 (en) | Electronic device and scene type display method | |
JP4834640B2 (en) | Electronic device and image display control method | |
JP4331240B2 (en) | Electronic apparatus and image display method | |
JP4496264B2 (en) | Electronic device and video display method | |
JP4909856B2 (en) | Electronic device and display method | |
JP4834639B2 (en) | Electronic device and image display control method | |
JP4322945B2 (en) | Electronic device and image display control method | |
JP2009038680A (en) | Electronic device and face image display method | |
JP2009076982A (en) | Electronic apparatus, and face image display method | |
JP4856105B2 (en) | Electronic device and display processing method | |
JP2010257509A (en) | Authoring apparatus, authoring method, and program | |
JP2009081699A (en) | Electronic apparatus and method of controlling face image extraction | |
JP5330551B2 (en) | Electronic device and display processing method | |
JP4625862B2 (en) | Authoring apparatus and authoring method | |
JP5377624B2 (en) | Electronic device and face image display device | |
JP5232291B2 (en) | Electronic device and face image display method | |
JP2009200827A (en) | Electronic device and image display method | |
JP5284426B2 (en) | Electronic apparatus and image display method | |
JP2009088904A (en) | Information processor and face image displaying method | |
JP5349651B2 (en) | Electronic device, face image extraction control method and program | |
JP5566984B2 (en) | Electronic apparatus and image display method | |
JP4987653B2 (en) | Electronic apparatus and image display method | |
JP5318171B2 (en) | Electronic device and image display control method | |
JP5038836B2 (en) | Information processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130218 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130924 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5377624 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313121 Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |