JP4620150B2 - 電子機器および映像処理方法 - Google Patents

Description

本発明は複数の映像データファイルに対するユーザ操作を支援する電子機器および映像処理方法に関する。

一般に、カムコーダ、ビデオレコーダ、パーソナルコンピュータといった電子機器は、各種映像データ（動画像データ）を記録及び再生することが可能である。電子機器に格納された各映像データには、撮影日時や放送日時等の映像が記録された日時を示すデータが付加されているが、このようなデータのみからユーザが各映像データの内容を把握することは困難である。このため、映像データの内容を把握するためには、その映像データを再生することが必要となる。しかし、総時間長の長い映像データや複数の映像データの再生には、たとえ早送り再生機能等を用いた場合であっても、多くの時間が要される。

特許文献１には、顔サムネイル画像を表示する情報処理装置が開示されている。この情報処理装置は、動画コンテンツに対応する顔サムネイル画像それぞれをその動画コンテンツの全部または一部分をユーザが選択するためのインデックスとして表示する機能を有している。
特開２００８−１７０４１号公報

ところで、カムコーダを用いて同一日に断続して撮影した映像等においては、関連する内容の映像が複数のファイルに亘って記録されることがある。特に、カムコーダの仕様等によっては一時停止ボタンや停止ボタンを押すごとにファイルが作成されるため、このようなカムコーダでは、関連する内容のファイルが多数作成されることとなり、ユーザはいずれのファイルにどのような内容の映像が記憶されているのかを把握するのは困難である。

通常、ユーザは、再生や編集の対象とする１つの映像データファイルについて、シーンの切り替わりや登場人物の検出等に基づいて抽出した映像フレームの一覧により、該映像データファイルを簡易的に把握することができる。これによりユーザは、映像データファイルの全部又は一部分を選択して再生や編集等の操作を行うことができる。しかし、関連する内容の複数の映像データファイルについて、映像データファイル毎にこのような作業を行うことはユーザにとって煩雑といえる。

本発明は上述の事情を考慮してなされたものであり、複数の映像データファイルに対するユーザ操作を支援することができる電子機器及び映像処理方法を提供することを目的とする。

以上の課題を解決するため、本発明の一つの観点によれば、記憶媒体に記憶された映像データファイルから、一定期間内の記録時刻を有する複数の映像データファイルを抽出し、映像データファイルを再生して得られる映像中の人物の顔画像を複数含む顔画像群を、前記抽出された複数の映像データファイルから其々抽出する画像抽出手段と、前記複数の映像データファイルの中から１以上の映像データファイルをユーザに選択可能とする選択画面を表示し、該選択画面上に、前記抽出された顔画像群の各顔画像を選択可能に、前記映像データファイル毎に並べて表示し、前記顔画像群のうち１以上の顔画像が選択された場合に、該選択された顔画像を含む１以上の映像データファイルを選択する表示制御手段と、前記選択画面で選択された前記１以上の映像データファイルを、それぞれの記録時刻順に応じて処理するファイル処理手段とを具備することを特徴とする電子機器が提供される。

また、本発明の別の観点によれば、記憶媒体に格納された複数の映像データファイルから、一定期間内の記録時刻を有する映像データファイルを処理対象の映像データファイルとして抽出するファイル抽出手段と、前記処理対象の映像データファイルから人物の顔画像群を抽出すると共に、前記顔画像群を分類して、同一人物として分類された顔画像に其々同一の識別子を付与する画像抽出手段と、前記抽出した顔画像群から前記識別子毎に１枚の顔画像を選択し、前記選択した顔画像を含む画像一覧を表示する表示制御手段と、ユーザによって前記画像一覧から顔画像が選択された場合に、前記選択された顔画像に付与された識別子を検出し、前記選択された顔画像を含む映像データファイルと、前記検出された識別子と同一の識別子が付与された顔画像を含む映像データファイルとを、記録時刻順に応じて結合するファイル処理手段とを具備することを特徴とする電子機器が提供される。

さらに、本発明のまた別の観点によれば、記憶媒体に記憶された映像データファイルのうち、一定期間内の記録時刻を有する複数の映像データファイルを抽出し、映像データファイルを再生して得られる映像中の人物の顔画像を複数含む顔画像群を、前記抽出された複数の映像データファイルから其々抽出する画像抽出ステップと、前記複数の映像データファイルの中から１以上の映像データファイルをユーザに選択可能とする選択画面を表示し、該選択画面上に、前記抽出された顔画像群の各顔画像を選択可能に、前記映像データファイル毎に並べて表示し、前記顔画像群のうち１以上の顔画像が選択された場合に、該選択された顔画像を含む１以上の映像データファイルを選択する表示制御ステップと、前記選択画面で選択された前記１以上の映像データファイルをそれぞれの記録時刻順に応じて処理するファイル処理ステップとを具備することを特徴とする映像処理方法が提供される。

本発明によれば、複数の映像データファイルに対するユーザ操作を支援することができる。

以下、図面を参照して、本発明の実施形態を説明する。

まず、図１および図２を参照して、本発明の一実施形態に係る電子機器の構成を説明する。本実施形態の電子機器は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ１０から実現されている。

このパーソナルコンピュータ１０は、放送番組データ、外部機器から入力されるビデオデータといった、映像データ（動画像データ）を記録、再生、及び編集することができる。すなわち、パーソナルコンピュータ１０は、映像データの視聴及び編集を実行するための映像処理機能を有している。この映像処理機能は、例えば、パーソナルコンピュータ１０に予めインストールされている映像処理アプリケーションプログラムによって実現されている。また、映像処理機能は、外部のＡＶ機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを再生する機能も有している。

さらに、パーソナルコンピュータ１０は、パーソナルコンピュータ１０に格納された、ビデオデータ、放送番組データのような映像データ（動画像データ）中に出現する人物の顔画像の一覧等を表示する顔画像一覧表示機能を有している。この顔画像一覧表示機能は、例えば、映像処理機能内にその一機能として実装されている。顔画像一覧表示機能は、ナビゲーション対象としてユーザによって選択された映像データの概要等をユーザに提示するための映像インデキシング機能の一つである。この顔画像一覧表示機能は、ナビゲーション対象の映像データにおいて、登場する人物をユーザに提示することができる。さらに、この顔画像一覧表示機能は、映像データを代表する代表画像から作成されたサムネイル画像を表示することもできる。

また、パーソナルコンピュータ１０は、この顔画像一覧表示機能により、複数の映像データファイルに関する顔画像一覧を同時にユーザへ提示することができる。複数の映像データファイルの顔画像一覧を同時に表示することで、ユーザは、関連する複数の映像データファイルの内容を、一度に把握することができる。

複数の映像データファイルに対する顔画像一覧表示機能は、各映像データファイルから抽出された顔画像群を、例えば、映像データファイル毎に、それら顔画像群それぞれの出現頻度順に並べて表示する。ユーザは、映像データファイル毎に表示される顔画像一覧を見て、映像データファイル又は顔画像を選択することで、必要な映像データファイルの選択、及び編集等の操作を行うことができる。

図１はコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor Liquid Crystal Display）１７から構成される表示装置が組み込まれている。

ディスプレイユニット１２は、コンピュータ本体１１に対し、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０をパワーオン／パワーオフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、およびスピーカ１８Ａ，１８Ｂなどが配置されている。

入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、ＴＶ機能（放送番組データ／ビデオデータの視聴、放送番組データ／ビデオデータの録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。また、コンピュータ本体１１の正面には、本コンピュータ１０のＴＶ機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部２０が設けられている。リモコンユニットインタフェース部２０は、赤外線信号受信部などから構成されている。

コンピュータ本体１１の例えば右側面には、ＴＶ放送用のアンテナ端子１９が設けられている。また、コンピュータ本体１１の例えば背面には、例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像データに含まれる映像データ（動画像データ）を外部ディスプレイに出力するために用いられる。

次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。

本コンピュータ１０は、図２に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＤＶＤドライブ１１２、ビデオプロセッサ１１３、メモリ１１３Ａ、無線ＬＡＮコントローラのようなネットワークコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６、ＴＶチューナ１１７、およびＥＥＰＲＯＭ１１８等を備えている。

ＣＰＵ１０１は本コンピュータ１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、および映像処理アプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。映像処理アプリケーションプログラム２０２は映像処理機能を実行するためのソフトウェアである。この映像処理アプリケーションプログラム２０２は、カムコーダ２１等の外部機器により入力された映像データやＴＶチューナ１１７によって受信された放送番組データを視聴するための再生処理、映像データや放送番組データをＨＤＤ１１１に記録する記録処理、およびＨＤＤ１１１に記録された映像データや放送番組データに対するインデキシング処理等を実行する。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。

ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。

ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。

ＨＤＭＩ端子２は上述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、デジタルオーディオ信号と、非圧縮のデジタル映像信号とを一本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。

サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。

またさらに、サウスブリッジ１０４には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ１１３が接続されている。

ビデオプロセッサ１１３は、前述の映像データのインデキシングに関する各種処理を実行するプロセッサである。このビデオプロセッサ１１３は、映像インデキシング処理を実行するためのインデキシング処理部として機能する。すなわち、映像インデキシング処理においては、ビデオプロセッサ１１３は、映像データに含まれる動画像データから人物の顔画像群を抽出すると共に、抽出された各顔画像が映像データ内に登場する時点を示すタイムスタンプ情報等を出力する。顔画像の抽出は、例えば、映像データに含まれる動画像データの各フレームから顔領域を検出する顔検出処理、検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。

メモリ１１３Ａは、ビデオプロセッサ１１３の作業メモリとして用いられる。映像データに対するインデキシング処理を実行するためには多くの演算量が必要とされる。本実施形態においては、ＣＰＵ１０１とは異なる専用のプロセッサであるビデオプロセッサ１１３がバックエンドプロセッサとして使用され、このビデオプロセッサ１１３によってインデキシング処理が実行される。よって、ＣＰＵ１０１の負荷の増加を招くことなく、インデキシング処理を実行することが出来る。

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。

ネットワークコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。

IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。IEEE 1394コントローラ１１５には、例えば、カムコーダ２１が接続される。カムコーダ２１は、撮影した映像を映像データファイルとして記憶部２１Ａに格納する。コンピュータ１０は、IEEE 1394コントローラ１１５を介して、記憶部２１Ａをコンピュータ１０の記憶装置の一つとして取り扱うことで、格納された映像データファイルに対する処理を行うことができる。また、コンピュータ１０は、記憶部２１Ａに格納された映像データファイルを主メモリ１０３にロードすること、又はＨＤＤ１１１にコピーすること等によっても、同様に映像データファイルに対する処理を行うことができる。

エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、リモコンユニットインタフェース２０との通信を実行する機能を有している。

ＴＶチューナ１１７はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子１９に接続されている。このＴＶチューナ１１７は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ１１７は、外部機器から入力されるビデオデータをキャプチャする機能も有している。

次に、図３を参照して、映像処理アプリケーションプログラム２０２によって実行されるインデキシング情報表示機能について説明する。

映像データに対するインデキシング処理は、上述したように、インデキシング処理部として機能するビデオプロセッサ１１３によって実行される。

ビデオプロセッサ１１３は、映像処理アプリケーションプログラム２０２の制御の下、例えば、カムコーダ２１を用いてユーザによって撮影された映像データ等に対してインデキシング処理を実行する。また、ビデオプロセッサ１１３は、カムコーダ２１の記憶部２１Ａに格納された映像データファイルをＨＤＤ１１１へコピーする処理と並行して、当該映像データファイルに対するインデキシング処理を実行することもできる。

映像インデキシング処理（顔画像インデキシング処理とも云う）においては、ビデオプロセッサ１１３は、映像データに含まれる動画像データをフレーム単位で解析する。そして、ビデオプロセッサ１１３は、動画像データを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が映像データ内に登場する時点を示すタイムスタンプ情報を出力する。各顔画像に対応するタイムスタンプ情報としては、映像データの開始から当該顔画像が登場するまでの経過時間、または当該顔画像が抽出されたフレーム番号等を使用することが出来る。

さらに、ビデオプロセッサ１１３は、抽出された各顔画像のサイズ（解像度）も出力する。ビデオプロセッサ１１３から出力される顔検出結果データ（顔画像、タイムスタンプ情報ＴＳ、およびサイズ）は、データベース１１１Ｃに顔画像インデキシング情報として格納される。このデータベース１１１Ｃは、ＨＤＤ１１１内に用意されたインデキシングデータ記憶用の記憶領域である。

さらに、映像インデキシング処理においては、ビデオプロセッサ１１３は、顔画像を抽出する処理と並行して、サムネイル画像取得処理も実行する。サムネイル画像は、映像データから抽出された例えば所定番目のフレームに対応する画像（縮小画像）である。すなわち、ビデオプロセッサ１１３は、顔画像を含むフレームであるか否かに関係なく、映像データから例えば所定番目のフレームを抽出し、抽出したフレームに対応する画像（サムネイル画像）と、そのサムネイル画像が出現する時点を示すタイムスタンプ情報ＴＳとを出力する。ビデオプロセッサ１１３から出力されるサムネイル画像取得結果データ（サムネイル画像、タイムスタンプ情報ＴＳ）も、データベース１１１Ｃにサムネイルインデキシング情報として格納される。サムネイル画像は、映像データから抽出された所定数毎のフレームに対応する画像（縮小画像）から、複数枚抽出してもよい。

さらに、映像インデキシング処理においては、抽出された複数の顔画像を人物別に複数の顔画像グループに分類する顔画像分類処理も実行される。ある顔画像グループに属する顔画像同士、つまり同一人物に対応する顔画像同士には、当該顔画像グループ、つまり当該人物を識別する識別子（ＩＤ）が関連付けられる。

図３に示されているように、映像処理アプリケーションプログラム２０２は、顔画像一覧表示機能を実行するための顔画像一覧表示処理部３０１を含んでいる。この顔画像一覧表示処理部３０１は、例えば、インデキシングビューワプログラムとして実現されており、データベース１１１Ｃに格納された各映像データファイルのインデキシング情報（顔画像インデキシング情報、サムネイルインデキシング情報等）を用いて、映像データの概要を提示するためのインデキシングビュー画面を表示する。

具体的には、顔画像一覧表示処理部３０１は、データベース１１１Ｃから各映像データファイルの顔画像インデキシング情報（顔画像、タイムスタンプ情報ＴＳ、およびサイズ）を読み出し、そしてその顔画像インデキシング情報を用いて、各映像データファイルに登場する人物の顔画像の一覧を、インデキシングビュー画面上の２次元の表示エリア（以下、顔サムネイルエリアと称する）上に表示する。この場合、顔画像一覧表示処理部３０１は、映像データファイル毎に抽出された顔画像群のうち、例えば出現頻度の高い顔画像を選択する。そして、顔画像一覧表示処理部３０１は、映像データファイル毎に、選択した所定個の顔画像それぞれを並べて表示する。この場合、顔画像一覧表示処理部３０１は、映像データファイル毎に、その映像データファイルから選択された所定個の顔画像を、例えば、それら顔画像の出現頻度順（顔画像の検出時間長順）のような順序で並べて表示する。

顔画像一覧表示処理部３０１は、インデキシングビュー画面を選択画面として用い、ユーザにより、この選択画面において表示される顔画像群から顔画像が選択され、選択された顔画像に付与された識別子と同一の識別子が付与された他の顔画像が前記選択画面に表示されている場合、同一の識別子が付与された顔画像を、その他の顔画像とは区別して表示することもできる。

また、顔画像一覧表示処理部３０１は、データベース１１１Ｃから各映像データファイルのサムネイルインデキシング情報（代表画像、タイムスタンプ情報ＴＳ、およびサイズ）を読み出し、そしてそのサムネイルインデキシング情報を用いて、選択画面（インデキシングビュー画面）上に、複数の映像データファイルにそれぞれ対応する代表画像を表示する。

この顔画像一覧表示機能により、複数の映像データファイルそれぞれにどの人物が登場するのかをユーザに分かりやすく提示することができる。顔サムネイルエリアの具体的な構成例については、図６以降の図により説明する。

図４は、顔画像分類処理によって複数の顔画像を分類することによって得られる幾つかの顔画像グループと各顔画像グループに対応するＩＤ（顔ＩＤ）との関係を示している。

ビデオプロセッサ１１３は、ある映像データの動画像データから抽出した顔画像間の特徴データの相関に基づいて、同一人物に対応する顔画像を同一カテゴリーに分類する顔画像分類処理を実行する。顔画像分類処理においては、類似する特徴を有する顔画像同士が同一カテゴリー（同一の顔画像グループ）に分類される。図４に示すように、同一人物に対応する顔画像それぞれには、同一のＩＤ（顔ＩＤ）が付与される。図４においては、カテゴリー１は、ある人物Ａの顔画像の集合を示しており、カテゴリー２は、ある人物Ｂの顔画像の集合を示しており、またカテゴリー３は、ある人物Ｃの顔画像の集合を示している。カテゴリー１に属する顔画像それぞれには、人物Ａを識別するためのＩＤ（顔ＩＤ＝Ａ）が関連付けられる。カテゴリー２に属する顔画像それぞれには、人物Ｂを識別するためのＩＤ（顔ＩＤ＝Ｂ）が関連付けられる。カテゴリー３に属する顔画像それぞれには、人物Ｃを識別するためのＩＤ（顔ＩＤ＝Ｃ）が関連付けられる。

次に、図５を参照して、映像処理アプリケーションプログラム２０２の機能構成を説明する。

映像処理アプリケーションプログラム２０２は、上述の顔画像一覧表示処理部３０１に加え、記録処理部４０１、映像ファイル抽出部４０２、インデキシング制御部４０３、映像結合部４０４、再生処理部４０５等を備えている。

記録処理部４０１は、ＴＶチューナ１１７によって受信された放送番組データ、またはカムコーダ２１から入力される映像データファイルをＨＤＤ１１１に記録する記録処理を実行する。記録処理部４０１に入力された映像データは、ＨＤＤ１１１において番組データ群１１１Ａ、又は映像データファイル群１１１Ｂとして格納される。また、記録処理部４０１は、ユーザによって予め設定された録画予約情報（チャンネル番号、日時）によって指定される放送番組データを、ＴＶチューナ１１７を用いて受信し、その放送番組データをＨＤＤ１１１に記録する予約録画処理も実行する。

映像ファイル抽出部４０２は、ＨＤＤ１１１に格納された番組データ群１１１Ａ、及び映像データファイル群１１１Ｂから、所定の条件に合った映像データを抽出する。映像ファイル抽出部４０２は、例えば、所定の期間内にカムコーダ２１により撮影された映像データファイル群を、ＨＤＤ１１１に格納された映像データファイル群１１１Ｂから抽出する。具体的には、映像ファイル抽出部４０２は指定された条件に基づき、例えば、同一日に撮影（記録）された映像データファイル群や記録時刻の間隔が数十分以下である映像データファイル群等を抽出する。また、単にユーザが指定したディレクトリ以下に格納された映像データファイル群を、処理対象の映像データファイル群として用いてもよい。

カムコーダ２１による撮影においては、ユーザが撮影を一時停止や停止の操作をする度に映像データファイルが作成される。このため、ユーザが、一時停止や停止等の操作を行いながら撮影を行った場合には、例えば、複数のシーンそれぞれに対応する複数の映像データファイルが作成されることがある。これら各映像データファイルは、そのファイルが作成される時に撮影時刻（記録時刻）を示す情報と一緒にカムコーダ２１内の記憶部２１Ａに格納される。したがって、互いに関連性のある複数の映像データファイルが記憶部２１Ａに格納されている場合がある。映像ファイル抽出部４０２は、記憶部２１Ａに格納されている映像データファイル群またはＨＤＤ１１１に格納された映像データファイル群１１１Ｂ等の記憶媒体に記憶された映像データファイルのうち、一定期間内の記録時刻を有する映像データファイルを抽出する。この結果、互いに関連性のある映像データファイル群を自動的にインデキシング処理の対象として選択することが可能となる。

インデキシング制御部４０３は、映像ファイル抽出部４０２において抽出した映像データファイル群に対して、ビデオプロセッサ（インデキシング処理部）１１３を制御して、上述のインデキシング処理を実行させる。すなわち、抽出した映像データファイルを再生して得られる映像中の人物の顔画像を複数含む顔画像群を、複数の映像データファイルから其々抽出し、複数の映像データファイルに跨って顔画像群を分類して、同一人物として分類された顔画像に同一の識別子を付与する画像抽出を行う。また、複数の映像データファイルのそれぞれについて、映像データファイルを代表する代表画像として少なくとも１枚の映像フレームを取得する。映像データファイル群に対するインデキシング処理結果は、インデキシング情報としてＨＤＤ１１１のデータベース１１１Ｃへ格納される。

映像結合部４０４は、ユーザ操作等によって選択された１以上の映像データファイルを対象として、それぞれの記録時刻順に応じて処理を実行する。映像結合部４０４は、例えばＨＤＤ１１１に格納されている映像データ同士を結合して一つの映像データを作成する処理を実行する。映像結合部４０４は、選択画面であるインデキシングビュー画面において、表示される顔画像群から顔画像が選択された場合に、選択された顔画像に付与された識別子を取得し、選択された顔画像が抽出された映像データファイルと、取得された識別子と同一の識別子が付与された他の顔画像が抽出された映像データファイルとを、各映像データファイルそれぞれの記録時刻順に応じて処理する。具体的には、インデキシングビュー画面において、映像データファイル又は顔画像が選択されている状態で、ユーザ操作によって結合要求イベントが入力された場合、選択された映像データファイル及び選択された顔画像が属する映像データファイルからなる映像データファイル群を、例えば、映像データファイル群のそれぞれが記録された時刻順に結合する。この結果、幾つかの映像データファイルそれぞれの映像データ同士が記録時刻順に結合された一つの映像データがファイルとして生成される。

例えば、ある時刻（Ｔ１）に撮影された映像データファイルＡと時刻（Ｔ１）よりも遅い時刻（Ｔ２）に撮影された映像データファイルＢとを結合する処理においては、映像データファイルＡの映像データ（動画像データ）に後続して、映像データファイルＢの映像データ（動画像データ）が結合され、一つの映像データが作成される。この作成された映像データは映像データファイルとしてＨＤＤ１１１に格納される。なお、映像結合部４０４は、このように映像データファイル群を物理的に結合する処理のみならず、映像データファイル群を論理的に結合して一つの映像データを作成する処理を実行することもできる。例えば、上述の映像データファイルＡと映像データファイルＢとを論理的に結合する場合においては、映像結合部４０４は、映像データファイルＡ、映像データファイルＢの順序で、それら映像データファイルＡおよび映像データファイルＢを順次再生するためのプレイリストを生成する。

再生処理部４０５は、ＨＤＤ１１１に格納されている各映像データを再生する処理を実行する。また、再生処理部４０５は、ある映像データの顔画像一覧の中の一つの顔画像が選択されている状態でユーザ操作によって再生要求イベントが入力された時、選択されている顔画像が出現する、映像データ内の位置に対応する時点から、映像データの再生を開始することができる。

ユーザは、顔画像一覧を見ながら、映像データの再生を開始すべき位置を決定することができる。したがって、ユーザは、顔画像一覧の中の任意の顔画像を選択的に指定することにより、例えば、ユーザにとって興味がある人物が登場する１以上のシーンのみを視聴することができる。

なお、映像データファイル及び顔画像の選択、並びに結合要求イベント及び再生要求イベントの入力等のユーザ操作は、例えば、キーボード１３、タッチパッド１６、リモコンユニット等を用いて行われる。

インデキシング処理は、必ずしもビデオプロセッサ１１３によって実行する必要はなく、例えば、映像処理アプリケーションプログラム２０２にインデキシング処理を実行する機能を設けてもよい。この場合、インデキシング処理は、映像処理アプリケーションプログラム２０２の制御の下に、ＣＰＵ１０１によって実行される。

次に、図６を参照して、インデキシングビュー画面の具体的な構成について説明する。

図６には、顔画像一覧表示処理部３０１によってＬＣＤ１７に表示されるインデキシングビュー画面の例が示されている。このインデキシングビュー画面は、複数の映像データファイル（例えばカムコーダ２１を用いて撮影及び記録された映像データファイル）をインデキシング処理することによって得られたインデキシング情報を用い、作成された画面である。このインデキシングビュー画面は、複数の映像データファイルの中から１以上の映像データファイルを選択可能とする選択画面である。顔画像一覧表示処理部３０１は、この選択画面上に、複数の映像データファイルから抽出された顔画像群を映像データファイル毎に並べて表示する。また、顔画像一覧表示処理部３０１は、選択画面において顔画像群の各顔画像を選択可能に表示し、顔画像群のうち１以上の顔画像が選択された場合に、選択された顔画像が抽出された１以上の映像データファイルを処理対象の映像データファイルとして選択する。

このインデキシングビュー画面には、映像データファイル毎のインデキシング情報を表示する映像ファイルインデキシングビューエリアが表示されている。この映像ファイルインデキシングビューエリアは、各映像データファイルを選択するためのチェックボックスと、各映像データファイルを代表する映像フレームの画像を縮小して表示するための代表サムネイルエリアと、映像データファイル毎に顔画像の一覧を表示するための上述の顔サムネイルエリアと、各映像データファイルの撮影日時及び撮影時間を示す表示等とを含む。インデキシングビュー画面を用いて、ユーザは、複数の映像データファイルから１つ以上の映像データファイルを選択することができる。この選択には、上述のチェックボックスや各サムネイル画像等を用いることができる。

映像ファイル抽出部４０２によって４つの映像データファイルが関連する映像データファイル群として抽出された場合には、映像ファイルインデキシングビューエリアは、例えば、抽出された４つの映像データファイルにそれぞれ対応する４つのインデキシングビューエリア５０、６０、７０、８０から構成される。例えば、インデキシングビューエリア５０は、チェックボックス５１、代表サムネイルエリア５２、顔サムネイルエリア５３Ａ〜５３Ｄからなる。また、インデキシングビューエリア６０、７０、８０も同様の構成からなる。つまり、１つの映像データファイルに対して、１つのインデキシングビューエリアが対応付けられ、ここに、該映像データファイルのインデキシング情報が表示される。

代表サムネイルエリア５２、６２、７２、８２には、顔画像一覧表示処理部３０１によりデータベース１１１Ｃから取得された映像データファイル群のそれぞれの代表フレームの画像（縮小画像）である代表サムネイル画像が表示される。代表フレームは例えば、各映像データファイルによる映像シーケンスの所定番目の映像フレームである。

顔サムネイルエリア５３、６３、７３、８３には、顔画像一覧表示処理部３０１によりデータベース１１１Ｃから取得された映像データファイル群の各映像データファイルに出現する人物の顔画像が表示される。顔画像一覧表示処理部３０１は、データベース１１１Ｃから、各映像データファイルについて、出現する各人物の顔画像を取得する。取得した顔画像群は、例えば各顔画像の出現頻度の順に並べて顔サムネイルエリアに表示する。

例えば、ある映像データファイルについて、１番目に出現頻度の高い人物の顔画像を顔サムネイルエリア５３Ａに、２番目に出現頻度の高い人物の顔画像を顔サムネイルエリア５３Ｂに、３番目に出現頻度の高い人物の顔画像を顔サムネイルエリア５３Ｃに、……といった順に顔画像を配置して表示する。この場合、１つの映像データファイルのインデキシング情報を示すインデキシングビューエリアの顔サムネイルエリアにおいて、同一人物の顔画像が表示されることはない。つまり、顔サムネイルエリア５３Ａ、５３Ｂ、５３Ｃ、５３Ｄには、それぞれ別の人物として分類された顔画像が表示される。一方、インデキシングビューエリア間（複数の映像データファイル間）では、顔サムネイルエリアにおいて同一の人物の顔画像が表示されることがある。図６においては、顔サムネイルエリア６３Ａ、７３Ａ、８３Ａに同一の人物の顔画像が表示される場合が例示されている。

このようなインデキシングビュー画面の表示により、ユーザは、各映像データファイルに出現する人物を把握できると共に、複数の映像データファイルに跨って出現する人物を把握することができる。つまり、ユーザに対して、登場人物に基づく複数の映像データファイル間の関連を提示することができ、映像データファイルの再生や編集等のユーザ操作を支援することができる。例えば、ある１人の人物に着目して、複数の映像データファイルの閲覧や編集を行う場合に、提示される顔画像一覧等のインデキシング情報に基づき、これら複数の映像データファイルの中から必要な映像データファイルを容易に選択することができる。なお、複数の映像データファイルに跨って出現する人物を把握するために、ユーザが顔画像を選択した場合に、顔画像一覧において、選択された顔画像の人物と同一の人物の顔画像とを、他の人物の顔画像とは区別して表示してもよい。

このようなユーザ操作支援は例えば、AVCHD形式等のディスク媒体を利用するカムコーダを用いて撮影を行った場合に、カメラの一時停止や停止等の操作の度に作成される、複数の映像データファイルを編集する際に有用である。上述したように、AVCHD形式等のカムコーダでは、映像データファイルが一時停止等の操作の度に作成されるため、一時停止等の操作を行いながら断続的に撮影を行った場合には、数分程度の短い撮影時間の映像データファイルが短期間に複数作成されることがある。このような場合に、映像データファイル毎に再生やインデキシング情報の提示を行って各映像データファイルの内容を把握することは、ユーザにとって非常に煩雑な作業といえる。このため、複数の映像データファイルそれぞれのインデキシング情報を一度に提示することで、ユーザは、各映像データファイルの内容と共に、映像データファイル間の関連を把握でき、複数の映像データファイルの中から必要な映像データファイルを選択することができる。

次に、図７のフローチャートを参照して、複数の映像データファイルのインデキシング情報の表示、及びユーザ操作による映像データファイルの結合の流れについて説明する。なおここでは、ＨＤＤ１１１に格納された映像データである番組データ群１１１Ａと映像データファイル群１１１Ｂのうち、映像データファイル群１１１Ｂのみを処理対象の映像データとし、説明を行う。

まず、映像ファイル抽出部４０２は、ＨＤＤ１１１に格納された映像データファイル群１１１Ｂから、映像データの記録時刻が指定した期間内である映像データファイル群を抽出する（ステップＳ１０１）。なお、ここでは記録時刻に基づいて映像データファイル群を抽出したが、指定したディレクトリ下に格納された映像データファイル群等、映像データファイルを抽出する条件は適宜設定可能である。

次に、インデキシング制御部４０３により制御されたビデオプロセッサ１１３は、抽出した各映像データファイルから顔画像群と代表画像を抽出する（ステップＳ１０２）。ビデオプロセッサ１１３は、顔画像群と少なくとも１枚の代表画像から作成した代表サムネイル画像とをＨＤＤ１１１のデータベース１１１Ｃへ格納する。また、ビデオプロセッサ１１３は、代表画像及び顔画像群のそれぞれが抽出されたフレームのタイムスタンプ情報（ＴＳ）、並びに顔画像の画像サイズ情報をデータベース１１１Ｃへ格納する。

ビデオプロセッサ１１３はさらに、抽出した顔画像群を分類して、同一人物として分類されたグループ毎に、グループに属する顔画像にＩＤ（顔ＩＤ）を付与する（ステップＳ１０３）。ビデオプロセッサ１１３は、各顔画像のＩＤ情報をデータベース１１１Ｃへ格納する。

次に、顔画像一覧表示処理部３０１は、抽出した映像データファイル毎に、データベース１１１Ｃに格納されている顔画像群について、人物毎（顔ＩＤ毎）の顔画像の検出時間長又は検出頻度に基づき、インデキシングビュー画面を表示する（ステップＳ１０４）。顔画像一覧表示処理部３０１は、抽出した映像データファイル毎に、チェックボックス、代表サムネイル画像、所定個の顔サムネイル画像、並びに該映像データファイルの記録日時及び記録時間を表示する。代表サムネイル画像には、映像データファイル毎にデータベース１１１Ｃに格納した画像を用いる。顔サムネイル画像には、それぞれの映像データファイルについて、例えば、検出頻度が高い人物（顔ＩＤ）から順に、対応する所定個の顔画像をデータベース１１１Ｃから抽出して用いる。なお、抽出した映像データファイル毎の代表サムネイル画像及び所定個の顔サムネイル画像は、例えば、各映像データファイルの記録時刻順に並べて表示する。

次に、映像結合部４０４は、キーボード１３やタッチパッド１６等により、ユーザが編集を指示する入力がされたかどうかを判定する（ステップＳ１０５）。編集を指示する入力がされた場合（ステップＳ１０５のＹＥＳ）、インデキシングビュー画面におけるチェックボックス及び顔サムネイル画像のうち、少なくともいずれか一つが選択されているかどうかを判定する（ステップＳ１０６）。

編集を指示する入力がされていない場合（ステップＳ１０５のＮＯ）、及びインデキシングビュー画面において、チェックボックス又は顔サムネイル画像のいずれも選択されていない場合（ステップＳ１０６のＮＯ）、再度ステップＳ１０５からの処理を実行する。

インデキシングビュー画面において、表示されているチェックボックス及び顔サムネイル画像のうち、少なくともいずれか一つが選択されている場合（ステップＳ１０６のＹＥＳ）、選択対象がチェックボックスであるかどうかを判定する（ステップＳ１０７）。選択対象がチェックボックスである場合（ステップＳ１０７のＹＥＳ）、映像結合部４０４は、選択されたチェックボックスに対応する映像データファイルを取得する。選択対象がチェックボックスでない場合（ステップＳ１０７のＮＯ）、つまり、選択対象が顔サムネイル画像である場合、映像結合部４０４は、選択された顔サムネイル画像に付与されたＩＤを取得する（ステップＳ１０９）。そして、映像結合部４０４は、取得したＩＤが付与された顔サムネイル画像群それぞれが属する映像データファイルからなる映像データファイル群を取得する（ステップＳ１１０）。つまり、映像結合部４０４は、選択された顔サムネイル画像が属する映像データファイルに加えて、選択された顔サムネイル画像に付与されたＩＤと同一のＩＤが付与された他の顔サムネイル画像群について、これら他の顔サムネイル画像群のそれぞれが属する映像データファイルを取得する。なおこの際、選択された顔サムネイル画像と同一のＩＤが付与された顔サムネイル画像群とを強調して表示する等により、他の顔サムネイル画像とは区別して表示してもよい。例えば図６に示すインデキシングビュー画面において、ユーザが顔サムネイル画像６３Ａを選択した場合、顔サムネイル画像６３Ａと、顔サムネイル画像６３Ａと同一の人物である顔サムネイル画像７３Ａ、８３Ａとを強調して表示する。

次に、映像結合部４０４は、選択されたすべてのチェックボックス又は顔サムネイル画像に対応する映像データファイルを取得したかどうかを判定する（ステップＳ１１１）。選択されたすべてのチェックボックス又は顔サムネイル画像に対応する映像データファイル群を取得していない場合（ステップＳ１１１のＮＯ）、ステップＳ１０７からステップＳ１１１までの処理を、注目する選択されたチェックボックス又は顔サムネイル画像を更新しながら繰り返す。選択されたすべてのチェックボックス又は顔サムネイル画像に対応する映像データファイルを取得した場合（ステップＳ１１１のＹＥＳ）、映像結合部４０４は、取得した映像データファイル群を各映像データファイルの記録時刻順に結合する（ステップＳ１１２）。

以上の処理により、複数の映像データファイルに対するインデキシング処理が実行され、インデキシング処理結果に基づくインデキシング情報が、複数の映像データファイルについて同時に、インデキシングビュー画面としてユーザへ提示される。ユーザは、提示されたインデキシングビュー画面により、各映像データファイルの概要と共に、映像データファイル間の関連を把握することができる。また、映像データファイル又は顔画像を選択することで、必要な映像データファイルを指定して、結合することができる。

図８に、顔画像一覧表示処理部３０１によってＬＣＤ１７に表示されるインデキシングビュー画面の別の例を示す。このインデキシングビュー画面は、図６に示したインデキシングビュー画面と同様に、複数の映像データファイル（例えばカムコーダ２１を用いて撮影された映像データ）をインデキシング処理することによって得られたインデキシング情報を用いて作成された画面である。このインデキシングビュー画面には、顔サムネイルエリアのみが設定されている。

この顔サムネイルエリアには、顔画像一覧表示処理部３０１処理対象の複数の映像データファイルにおいて出現する人物それぞれの顔画像が表示される。顔サムネイルエリアに表示される顔画像は、人物毎に一枚である。すなわち、処理対象の複数の映像データファイルはあたかもそれらが結合された一つの映像データファイルとして扱われ、その一つの映像データファイルの映像データに出現する各人物毎に一枚の顔画像が顔サムネイルエリア上に表示される。

例えば、顔画像一覧表示処理部３０１は、処理対象の複数の映像データファイルを構成する全ての映像フレームから抽出した顔画像群を人物毎に分類し、出現頻度の高い人物の順に顔画像を顔サムネイルエリアに表示する。この場合、インデキシング制御部４０３（ビデオプロセッサ１１３）は、映像データファイル毎にインデキシング処理を行うのではなく、複数の映像データファイルに跨って同時にインデキシング処理を行ってもよい。すなわち、映像データファイル毎に顔画像を抽出し、これら顔画像を分類して顔ＩＤを付与するのではなく、複数の映像データファイルから抽出したすべての顔画像に対して、クラスタリング処理等を用いた人物による分類を施して、顔ＩＤを付与する。顔サムネイルエリアには、同一の人物として分類された顔画像群につき、１枚の顔サムネイル画像が表示される。

つまり、このインデキシングビュー画面では、処理対象の複数の映像データファイルに出現する人物の顔画像一覧を統合して表示することができる。ユーザは、処理対象の複数の映像データファイルに出現する人物の統合された顔画像一覧を見ることで、ファイルという単位を意識することなく、編集等の操作を行うことができる。例えば、ユーザが顔サムネイルから１つの顔サムネイル画像を選択した場合に、選択した顔サムネイル画像に付与されたＩＤに基づき、このＩＤが付与された顔画像が属する全ての映像データファイルを物理的又は論理的に結合する処理を、ユーザに対してファイルという単位を意識させることなく実行することができる。

図９に示すフローチャートは、図８に示したインデキシングビュー画面による複数の映像データファイルのインデキシング情報の表示、及びユーザ操作による映像データファイルの結合の流れについて説明する。なおここでは、ＨＤＤ１１１に格納された映像データである番組データ群１１１Ａと映像データファイル群１１１Ｂのうち、映像データファイル群１１１Ｂのみを処理対象の映像データとし、説明を行う。

まず、映像ファイル抽出部４０２は、ＨＤＤ１１１に格納された映像データファイル群１１１Ｂから、映像データの記録時刻が指定した期間内である映像データファイル群を抽出する（ステップＳ２０１）。なお、ここでは記録時刻に基づいて映像データファイル群を抽出したが、指定したディレクトリ下に格納された映像データファイル群等、映像データファイルを抽出する条件は適宜設定可能である。

次に、インデキシング制御部４０３により制御されたビデオプロセッサ１１３は、抽出した映像データファイル群から顔画像群を抽出する（ステップＳ２０２）。ビデオプロセッサ１１３は、顔画像をＨＤＤ１１１のデータベース１１１Ｃへ格納する。また、ビデオプロセッサ１１３は、顔画像抽出されたフレームのタイムスタンプ情報（ＴＳ）、並びに顔画像の画像サイズ情報をデータベース１１１Ｃへ格納する。

ビデオプロセッサ１１３はさらに、抽出した全ての顔画像群を分類して、同一人物として分類された顔画像群のグループ毎に、グループに属する顔画像群のそれぞれにＩＤ（顔ＩＤ）を付与する（ステップＳ２０３）。ビデオプロセッサ１１３は、各顔画像のＩＤ情報をデータベース１１１Ｃへ格納する。

次に、顔画像一覧表示処理部３０１は、データベース１１１Ｃに格納されている顔画像群について、人物毎（顔ＩＤ毎）の顔画像の検出時間長又は検出頻度に基づき、インデキシングビュー画面を表示する（ステップＳ２０４）。顔画像一覧表示処理部３０１は、所定個の顔サムネイル画像を表示する。顔サムネイル画像には、例えば、検出頻度が高い人物（顔ＩＤ）から順に、対応する所定個の顔画像をデータベース１１１Ｃから抽出して表示する。

次に、映像結合部４０４は、キーボード１３やタッチパッド１６等により、ユーザが編集を指示する入力がされたかどうかを判定する（ステップＳ２０５）。編集を指示する入力がされた場合（ステップＳ２０５のＹＥＳ）、インデキシングビュー画面において、少なくとも一つの顔サムネイル画像が選択されているかどうかを判定する（ステップＳ２０６）。

編集を指示する入力がされていない場合（ステップＳ２０５のＮＯ）、及びインデキシングビュー画面において、顔サムネイル画像がいずれも選択されていない場合（ステップＳ２０６のＮＯ）、再度ステップＳ２０５からの処理を実行する。

インデキシングビュー画面において、少なくとも一つの顔サムネイル画像が選択されている場合（ステップＳ２０６のＹＥＳ）、映像結合部４０４は、選択された顔サムネイル画像に付与されたＩＤを取得する（ステップＳ２０７）。そして、映像結合部４０４は、取得したＩＤが付与された顔サムネイル画像群それぞれが属する映像データファイルからなる映像データファイル群を取得する（ステップＳ２０８）。つまり、映像結合部４０４は、選択された顔サムネイル画像が属する映像データファイルに加えて、選択された顔サムネイル画像に付与されたＩＤと同一のＩＤが付与された他の顔サムネイル画像群について、これら他の顔サムネイル画像群がそれぞれ属する映像データファイルを取得する。

次に、映像結合部４０４は、選択されたすべての顔サムネイル画像に対応する映像データファイルを取得したかどうかを判定する（ステップＳ２０９）。選択されたすべての顔サムネイル画像に対応する映像データファイル群を取得していない場合（ステップＳ２０９のＮＯ）、ステップＳ２０７からステップＳ２０９までの処理を、注目する選択された顔サムネイル画像を更新しながら繰り返す。選択されたすべての顔サムネイル画像に対応する映像データファイル群を取得した場合（ステップＳ２０９のＹＥＳ）、映像結合部４０４は、取得した映像データファイル群を各映像データファイルの記録時刻順に結合する（ステップＳ２１０）。

以上の処理により、複数の映像データファイルに対するインデキシング処理が実行され、インデキシング処理結果に基づくインデキシング情報が、複数の映像データファイルについて統合して、インデキシングビュー画面としてユーザへ提示される。ユーザは、提示されたインデキシングビュー画面により、複数の映像データファイルの概要をファイルとういう単位を意識することなく把握することができる。また、顔画像を選択することで、複数の映像データファイルを、映像データファイルのそれぞれを指定することなく自動的に結合することができる。

図７及び図９に示したフローチャートにおいては、ユーザによるインデキシングビュー画面（選択画面）を用いた入力に基づき、選択された複数の映像ファイルを結合する処理について説明したが、この処理は、これら選択された複数の映像ファイルに何らかの編集を加える処理等であってもよく、映像ファイルを結合する処理に限定されるものではない。

以上のように、本実施形態においては、複数の映像データファイルに関するインデキシング情報が並列して、又は統合してユーザへ提示される。よってユーザに対して、各映像データファイルの概要だけでなく、映像データファイル間の関連を把握するために有用な情報を提示することができるので、映像データファイル群の再生及び編集に関するユーザ操作を支援することができる。

本実施形態では、インデキシング処理、顔画像一覧表示処理、および映像結合処理の全てをコンピュータ１０によって実行する場合を説明したが、顔画像一覧表示処理、および映像結合処理をカムコーダ２１によって実行し、インデキシング処理のみをコンピュータ１０によって実行するという形態も考えられる。この場合、映像処理アプリケーションプログラム２０２は、カムコーダ２１の記憶部２１Ａに格納されている映像データファイル群から処理対象の複数の映像データファイルを抽出し、それら処理対象の映像データファイルそれぞれに対するインデキシング処理を実行する。そして、映像処理アプリケーションプログラム２０２は、インデキシング処理の結果を示す情報をカムコーダ２１に送信する。具体的には、映像処理アプリケーションプログラム２０２は、処理対象の映像データファイル群から抽出された顔画像群、各顔画像に付与したＩＤ、出現頻度等の情報を、インデキシング処理結果を示す情報をカムコーダ２１に送信する。カムコーダ２１は、インデキシング処理結果を示す情報に基づいて、図６または図８のインデキシングビュー画面をカムコーダ２１の表示装置に表示する。そして、カムコーダ２１は、インデキシングビュー画面を見ながらユーザが行う操作に従って、映像データファイル同士を物理的又は論理的に結合する処理を実行する。

本実施形態のインデキシング情報表示処理、再生処理、および結合処理の手順は全てソフトウェアによって実現することができるので、このソフトウェアをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入することにより、本実施形態と同様の効果を容易に実現することができる。

また、本実施形態の電子機器はコンピュータ１０によって実現するのみならず、例えば、ＨＤＤレコーダ、ＤＶＤレコーダ、テレビジョン装置といった様々なコンシューマ電子機器によって実現することもできる。また、カムコーダ２１単体で実現することもできる。この場合、映像処理アプリケーションプログラム２０２の機能は、ＤＳＰ、マイクロコンピュータのようなハードウェアによって実現することができる。

また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る電子機器の概観の例を示す斜視図。 同実施形態の電子機器のシステム構成の例を示すブロック図。 同実施形態の電子機器のインデキシング情報表示機能を説明するためのブロック図。 同実施形態の電子機器で用いられる顔画像グループの例を示す図。 同実施形態の電子機器で用いられるプログラムの機能構成を示すブロック図。 同実施形態の電子機器によって表示装置に表示されるインデキシングビュー画面の例を示す図。 同実施形態の電子機器によって実行されるインデキシング情報表示処理及び映像データファイル結合処理の手順の例を示すフローチャート。 同実施形態の電子機器によって表示装置に表示されるインデキシングビュー画面の別の例を示す図。 同実施形態の電子機器によって実行されるインデキシング情報表示処理及び映像データファイル結合処理の手順の別の例を示すフローチャート。

符号の説明

１１１…ＨＤＤ、１１１Ａ…番組データ、１１１Ｂ…映像ファイル、１１１Ｃ…データベース、１１３…ビデオプロセッサ、１１７…ＴＶチューナ、１３…キーボード（ＫＢ）、１６…タッチパッド、２０２…映像処理アプリケーション、２１…カムコーダ、３０１…顔画像一覧表示処理部、４０１…記録処理部、４０２…映像ファイル抽出部、４０３…インデキシング処理部、４０４…映像結合部、４０５…再生処理部。

Claims (5)

1. 記憶媒体に記憶された複数の映像データファイルから、一定期間内の記録時刻を有する
   複数の映像データファイルを抽出し、映像データファイルを再生して得られる映像中の人
   物の顔画像を複数含む顔画像群を、前記抽出された複数の映像データファイルから其々抽
   出する画像抽出手段と、
   前記抽出された複数の映像データファイルの中から複数の映像データファイルをユーザ
   に選択可能とする選択画面を表示し、該選択画面上に、前記抽出された顔画像群の各顔画
   像を選択可能に、前記映像データファイル毎に並べて表示し、前記顔画像群のうち複数の
   顔画像が選択された場合に、該選択された顔画像を含む複数の映像データファイルを選択
   する表示制御手段と、
   前記選択画面で選択された前記複数の映像データファイルを、それぞれの記録時刻順に
   応じて結合処理するファイル処理手段とを具備することを特徴とする電子機器。
2. 前記画像抽出手段は、前記複数の映像データファイルに跨って前記顔画像群を分類して
   、同一人物として分類された顔画像に同一の識別子を付与し、
   前記ファイル処理手段は、顔画像が選択された場合に、該選択された顔画像に付与され
   た識別子を検出し、前記選択された顔画像を含む映像データファイルと、前記検出された
   識別子が付与された他の顔画像を含む映像データファイルとを、各映像データファイルそ
   れぞれの記録時刻順に応じて処理することを特徴とする請求項１記載の電子機器。
3. 前記表示制御手段は、前記選択された顔画像の識別子が付与された顔画像を、当該識別
   子が付与されていない顔画像とは区別して表示すること特徴とする請求項２記載の電子機
   器。
4. 前記画像抽出手段は、顔画像を抽出する前記複数の映像データファイルのそれぞれにつ
   いて、該映像データファイルを代表する代表画像として少なくとも１枚の映像フレームを
   抽出し、
   前記表示制御手段は、前記選択画面上に、前記複数の映像データファイルにそれぞれ対
   応する前記代表画像を表示することを特徴とする請求項１記載の電子機器。
5. 記憶媒体に記憶された複数の映像データファイルのうち、一定期間内の記録時刻を有す
   る複数の映像データファイルを抽出し、映像データファイルを再生して得られる映像中の
   人物の顔画像を複数含む顔画像群を、前記抽出された複数の映像データファイルから其々
   抽出する画像抽出ステップと、
   前記複数の映像データファイルの中から複数の映像データファイルをユーザに選択可能
   とする選択画面を表示し、該選択画面上に、前記抽出された顔画像群の各顔画像を選択可
   能に、前記映像データファイル毎に並べて表示し、前記顔画像群のうち複数の顔画像が選
   択された場合に、該選択された顔画像を含む複数の映像データファイルを選択する表示制
   御ステップと、
   前記選択画面で選択された前記複数の映像データファイルをそれぞれの記録時刻順に応
   じて結合処理するファイル処理ステップとを具備することを特徴とする映像処理方法。

Images