JP4744345B2 - サムネイル作成方法および動画データ再生装置 - Google Patents

Description

本発明は、サムネイル作成方法および動画データ再生装置に関し、特に、ビデオストリーム形式で圧縮符号化された動画データからサムネイルを作成することのできるサムネイル作成方法および動画データ再生装置に関する。

従来より、動画データからサムネイルとなる静止画像を抽出するために様々な技術が提案されている。

たとえば特許文献１には、動画映像のＣＭ（コマーシャル・メッセージ）箇所の前後所定時間の間で一または複数の静止画像を抽出することが開示されている。特許文献２には、ＣＭではない期間において周期的に発生するタイミング信号に同期して、映像信号の縮小画像を生成することが開示されている。特許文献３には、映像信号の属性（たとえば、放送局、記録開始時刻など）を検出し、検出された属性に基づいてサムネイル画を生成することが開示されている。

また、文字が含まれる画像を検出するための技術も提案されている。特許文献４には、動画像を構成する複数のフレームから、文字出現フレームを検出することが開示されている。特許文献５には、動画像内に含まれる文字領域を検出することが開示されている。
特開２００３−２７４３６１号公報 特開２０００−１７５１３３号公報 特開２００４−１５６１１号公報 特開平４−３１６１７７号公報 特開平１０−４９６８２号公報

特許文献１〜３に開示された技術では、ある基準点から何秒後というように時間に基づいてサムネイルが抽出されるが、番組によって、特徴となる画像が出現する時間はまちまちである。このことから、特許文献１〜３のような方法では、さらには、特許文献４および５の技術を用いたとしても、最適なサムネイルが抽出できるとは限らない。

本発明は、上記のような問題を解決するためになされたものであって、その目的は、動画データの特徴画面である可能性が高い画像を、確実にサムネイルの候補として抽出することのできるサムネイル作成方法および動画データ再生装置を提供することである。

この発明のある局面に従うサムネイル作成方法は、フレーム内符号化された複数のフレーム内符号化ピクチャと、順方向予測された複数の第１予測ピクチャと、双方向予測された複数の第２予測ピクチャとを含むビデオストリームからサムネイルを作成するためのサムネイル作成方法であって、ビデオストリームからピクチャグループを抽出する抽出ステップと、ピクチャグループ単位で、第１予測ピクチャおよび第２予測ピクチャのうち少なくとも一方のデータ量を算出する第１の算出ステップと、データ量に関連し、かつ、ピクチャグループ内で再生されるフレーム間の画像の動きに対応する特徴値が極小となるピクチャグループにおけるフレーム内符号化ピクチャを、サムネイル候補として選択的に記憶する第１の記憶ステップとを備える。

好ましくは、特徴値は、データ量である。
あるいは、第１の算出ステップは、ピクチャグループ単位で、第１予測ピクチャおよび第２予測ピクチャのうち少なくとも一方の個数である予測ピクチャ数を算出するステップを含み、データ量を予測ピクチャ数で除算する第２の算出ステップをさらに備え、第２の算出ステップにおいて算出された値を、特徴値とすることが好ましい。

あるいは、第１の算出ステップは、ピクチャグループ単位で、第１予測ピクチャおよび第２予測ピクチャのうち少なくとも一方の個数である予測ピクチャ数を算出するステップを含み、データ量を予測ピクチャ数で除算した値を、ピクチャグループに含まれるピクチャの個数で除算する第２の算出ステップをさらに備え、第２の算出ステップにより算出された値を、特徴値とすることが好ましい。

また、好ましくは、第１の記憶ステップは、特徴値が最小となるピクチャグループにおけるフレーム内符号化ピクチャを、サムネイル候補として記憶する。

あるいは、抽出ステップは、時間軸に沿ってピクチャグループを抽出し、第１の記憶ステップは、特徴値が極小である極小フレーム内符号化ピクチャを、サムネイル候補として記憶することが好ましい。

好ましくは、第１の記憶ステップは、記憶済のサムネイル候補が所定個存在し、かつ、極小フレーム内符号化ピクチャの特徴値が、記憶済のサムネイル候補に対応付けられた特徴値のうち最大の特徴値以上である場合に、極小フレーム内符号化ピクチャの記憶処理を停止するステップを含む。

好ましくは、記憶された複数のサムネイル候補を表示する表示ステップと、複数のサムネイル候補のうちユーザにより選択されたサムネイル候補を、サムネイルとして記憶する第２の記憶ステップとをさらに備える。

好ましくは、表示ステップは、複数のサムネイル候補を特徴値の小さい順に表示するステップを含む。

好ましくは、抽出ステップは、第１のフレーム内符号化ピクチャと、第１のフレーム内符号化ピクチャから第１のフレーム内符号化ピクチャの次の第２のフレーム内符号化ピクチャまでの間の第１予測ピクチャおよび第２予測ピクチャとを、ピクチャグループとして抽出する、請求項１に記載のサムネイル作成方法。

この発明の他の局面に従う動画データ再生装置は、フレーム内符号化された複数のフレーム内符号化ピクチャと、順方向予測された複数の第１予測ピクチャと、双方向予測された複数の第２予測ピクチャとを含むビデオストリームからピクチャグループを抽出するための抽出手段と、ピクチャグループ単位で、第１予測ピクチャおよび第２予測ピクチャのうち少なくとも一方のデータ量を算出するための第１の算出手段と、データ量に関連し、かつ、ピクチャグループ内で再生されるフレーム間の画像の動きに対応する特徴値が極小となるピクチャグループにおけるフレーム内符号化ピクチャを、サムネイル候補として選択的に記憶するための第１の記憶手段とを備える。

好ましくは、特徴値は、データ量である。
あるいは、第１の算出手段は、ピクチャグループ単位で、第１予測ピクチャおよび第２予測ピクチャのうち少なくとも一方の個数である予測ピクチャ数をさらに算出し、データ量を予測ピクチャ数で除算するための第２の算出手段をさらに備え、第２の算出手段により算出された値を、特徴値とすることが好ましい。

あるいは、第１の算出手段は、ピクチャグループ単位で、第１予測ピクチャおよび第２予測ピクチャのうち少なくとも一方の個数である予測ピクチャ数をさらに算出し、データ量を予測ピクチャ数で除算した値を、ピクチャグループに含まれるピクチャの個数で除算するための第２の算出手段をさらに備え、第２の算出手段により算出された値を、特徴値とすることが好ましい。

また、好ましくは、第１の記憶手段は、特徴値が最小となるピクチャグループにおけるフレーム内符号化ピクチャを、サムネイル候補として記憶する。

あるいは、抽出手段は、時間軸に沿ってピクチャグループを抽出し、第１の記憶手段は、特徴値が極小である極小フレーム内符号化ピクチャを、サムネイル候補として記憶することが好ましい。

好ましくは、第１の記憶手段は、記憶済のサムネイル候補が所定個存在し、かつ、極小フレーム内符号化ピクチャの特徴値が、記憶済のサムネイル候補に対応付けられた特徴値のうち最大の特徴値以上である場合に、極小フレーム内符号化ピクチャの記憶処理を停止する。

好ましくは、記憶された複数のサムネイル候補を表示するための信号を生成する生成手段と、複数のサムネイル候補のうちユーザにより選択されたサムネイル候補を、サムネイルとして記憶するための第２の記憶手段とをさらに備える。

好ましくは、生成手段は、複数のサムネイル候補を特徴値の小さい順に表示するための信号を生成する。

好ましくは、抽出手段は、第１のフレーム内符号化ピクチャと、第１のフレーム内符号化ピクチャから第１のフレーム内符号化ピクチャの次の第２のフレーム内符号化ピクチャまでの間の第１予測ピクチャおよび第２予測ピクチャとを、ピクチャグループとして抽出する。

本発明によると、再生されるフレーム間の画像の動きの少ないピクチャグループにおけるフレーム内符号化ピクチャを抽出することができる。これにより、動画データの特徴となるピクチャを、サムネイル候補として抽出することができる。

また、本発明によると、サムネイルの候補となるピクチャを抽出する際に、ピクチャのデコードを必要としないため、処理の高速化を図ることができる。

本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。

図１は、本発明の実施の形態における動画データ再生装置１００のハードウェア構成を示すブロック図である。動画データ再生装置１００は、たとえばＭＰＥＧ（Moving Picture Experts Group）などの形式で圧縮符号化された動画データが再生できる装置であればよく、ＤＶＤ（Digital Versatile Disc）レコーダ、ＨＤＤ（Hard disk drive）レコーダ、パーソナルコンピュータ（アプリケーション）、携帯電話などの携帯通信端末などが想定される。

ビデオストリームは、時系列に並んだ、フレーム内符号化された複数のフレーム内符号化ピクチャと、順方向予測された複数の第１予測ピクチャと、双方向予測された複数の第２予測ピクチャとを含む。本実施の形態において、ビデオストリームは、ＭＰＥＧ方式であるものと仮定する。したがって、以降、フレーム内符号化ピクチャをＩピクチャ、第１予測ピクチャをＰピクチャ、第２予測ピクチャをＢピクチャとして説明する。なお、「ピクチャ」は、「フレーム」ともいわれることもある。

図１を参照して、動画データ再生装置１００は、動画データ再生装置１００の全体的な制御を行なうための制御部１０と、プログラムおよび各種データを記憶するためのメモリ１１と、録画された動画データ（以下「コンテンツ」ともいう）を記録するための録画データ記録部２０と、アンテナ６１を介してテレビ放送を受信するためのＴＶ放送受信部３０と、ピクチャデータを記憶するためのピクチャデータ記憶部４１と、後述するサムネイル候補を記憶するためのサムネイル候補記憶部４５と、サムネイル候補の画像等を表示するための表示部３２と、ユーザからの指示の入力を受付けるための入力部３４と、記録媒体６２からのデータの読出および書込を行なうためのドライブ装置３６とを備える。

録画データ記録部２０には、コンテンツごとのサムネイルに関する情報を記憶するサムネイルデータ記憶部２１が含まれる。サムネイルデータ記憶部２１のデータ構造については、後述する。

表示部３２は、たとえばＬＣＤ（Liquid Crystal Display）により構成される。入力部３４は、複数のキーにより構成される。なお、入力部３４は、リモコン（図示せず）からの赤外線信号による指令・指示を受信し、データに変換して制御部１０に与えるように構成されていてもよい。

図２は、本発明の実施の形態における動画データ再生装置１００の機能ブロック図である。

制御部１０は、ビデオストリームからピクチャグループを抽出するためのピクチャグループ抽出部１２と、ピクチャグループごとに、差分データを表わすＢピクチャのデータ量（データ量の合計）および個数を算出するための第１の算出部１４と、第１の算出部１４による算出結果に基づき、ピクチャグループごとのＢピクチャの変化度を算出するための第２の算出部１５と、第２の算出部１５により算出された変化度に基づいて、サムネイル候補を抽出・記憶するためのサムネイル候補抽出・記憶部１６と、サムネイル候補記憶部４５に記憶されたデータの並び替えを行なうためのソート部１７とを含む。また、制御部１０は、サムネイル候補記憶部４５に記憶された１以上のサムネイル候補の中から、サムネイルの登録処理を行なうためのサムネイル登録部１８と、サムネイル候補をデコードして表示部３２に表示するための信号を生成するデコード処理部１９とを含む。

ピクチャグループ抽出部１２は、ビデオストリームを構成するピクチャのヘッダを検索することで、各ピクチャのタイプ（Ｉピクチャ，Ｂピクチャ，Ｐピクチャのいずれであるか）を判別する。そして、Ｉピクチャが検出されると、当該Ｉピクチャと、当該Ｉピクチャから時間的に次のＩピクチャまでの間に存在するＢピクチャおよびＰピクチャとを、ピクチャグループとして抽出する。ピクチャグループは、ＭＰＥＧ方式のビデオストリームにおいて、１つ以上のＩピクチャと複数のＰ／Ｂピクチャからなるひと固まりを表わすＧＯＰ（Group of Pictures）であってもよい。

ピクチャグループ抽出部１２は、抽出したピクチャグループの番号をカウントするためのカウンタ２を有している。ピクチャグループ抽出部１２の具体的な処理については、後に詳述する。

なお、本実施の形態において、ピクチャグループ抽出部１２は、録画済みのコンテンツからピクチャグループを抽出することとして説明するが、録画済みのコンテンツに限定されない。たとえば、録画中の動画データから抽出することとしてもよい。あるいは、記録媒体６２に記録されたコンテンツをドライブ装置３６が読み出し、読み出されたコンテンツからピクチャグループが抽出されてもよい。

第２の算出部１５は、第１の算出部１４で算出されたＢピクチャのデータ量を、第１の算出部１４で算出された（カウントされた）Ｂピクチャの個数で除算することにより、ピクチャグループ単位でＢピクチャの変化度を算出する。なお、「変化度」とは、ピクチャグループ内で再生されるフレーム間の画像の変化を表わす指標であり、本実施の形態においては、たとえば、Ｂピクチャのデータ量の平均を表わす。

サムネイル候補抽出・記憶部１６は、第２の算出部１５により算出された変化度が極小となるピクチャグループにおけるＩピクチャを選択的にサムネイル候補として抽出する。本実施の形態では、サムネイル候補を抽出するために、次のような処理を行なう。すなわち、サムネイル候補抽出・記憶部１６は、まず、今回の変化度が前回の変化度よりも小さい場合に、今回の変化度の値と今回のピクチャデータとをピクチャデータ記憶部４１に仮保存する処理を行なう。そして、仮保存したピクチャデータに対応する変化度が極小値であることが検知された場合であって、（後述するような）所定の条件を満たした場合に、ピクチャデータ記憶部４１に記憶されたピクチャデータを、サムネイル候補として、サムネイル候補記憶部４５に記憶する処理を行なう。また、サムネイル候補抽出・記憶部１６は、サムネイル候補記憶部４５に、各サムネイル候補と対応付けて、変化度の値を格納する。

ソート部１７は、所定のタイミングで、サムネイル候補記憶部４５に記憶されたサムネイル候補を、変化度の値の小さい順に並び替える処理を行なう。

サムネイル登録部１８は、サムネイル候補記憶部４５に記憶されたサムネイル候補を、デコード処理部１９に出力する。デコード処理部１９は、入力されたサムネイル候補をデコードして表示部３２に出力する。サムネイル登録部１８は、表示部に表示されたサムネイル候補のうち、入力部３４を介してユーザにより選択されたピクチャに関する情報を、コンテンツのサムネイルの情報としてサムネイルデータ記憶部２１に登録する。

なお、図２に示した各機能ブロックの動作は、メモリ１１中に格納されたソフトウェアを実行することで実現されてもよいし、少なくとも１つについては、ハードウェアで実現されてもよい。

図３は、サムネイルデータ記憶部２１のデータ構造の一例を示す図である。
サムネイルデータ記憶部２１には、コンテンツそれぞれを管理するための管理データＡ１，Ａ２，…，Ａｋ，…，Ａｎが格納される。管理データＡｋは、コンテンツの番組名（コンテンツ名）データＤ１と、録画日時データＤ２と、チャンネルデータＤ３と、コンテンツデータの開始アドレスデータＤ４と、サムネイルデータＤ５とを有する。

本実施の形態において、サムネイルデータＤ５には、管理対象のコンテンツのサムネイルの情報が格納され、たとえば、縮小後の画像データ（サムネイル）が１つ格納される。したがって、サムネイル登録部１８は、ユーザにより選択されたピクチャを縮小し、縮小後の画像データをサムネイルデータＤ５として格納する。なお、２以上のサムネイルが格納されてもよい。また、ここでは、サムネイルが格納されることとするが、（縮小されていない）ピクチャデータが格納されてもよいし、サムネイルの位置を表わす位置情報（たとえば、アドレスデータ，時間データ）が格納されてもよい。また、ここでは、コンテンツを管理するための管理データＡｋに、サムネイルデータＤ５が含まれることとしたが、各コンテンツとサムネイルの情報とが対応付けられていればよい。

図４は、本発明の実施の形態におけるサムネイル候補記憶部４５のデータ構造の一例を示す図である。この図では、サムネイル候補記憶部４５に記憶可能なサムネイル候補数（以下「記憶可能数」という）が、３０個である場合の例が示される。なお、記憶可能数は、予め、出荷時に定められていてもよいし、ユーザにより定められてもよい。また、記憶可能数の記憶に必要なメモリ量を８バイト、変化度（「Ｄｃｈ＿ｃｄ」と表わされる）の記憶に必要なメモリ量を各４バイト、ピクチャデータのアドレス（「ｐＰｉｃ＿ｃｄ」と表わされる）の記憶に必要なメモリ量を各４バイト、ピクチャデータのために確保する領域を、各０ｘ１００００バイトと仮定する。

図４に示されるように、領域４５１に、記憶可能数が記憶され、領域４５３に、サムネイル候補として抽出されたピクチャデータが記憶される。領域４５２には、領域４５３に記憶されたピクチャ（サムネイル候補）ごとに、変化度の値と領域４５３におけるアドレスとが対応付けられて記憶される。また、領域４５４には、ピクチャのデータ量が０ｘ１００００を超えた場合に、領域４５３に書ききれないデータが記憶される。なお、ピクチャデータが領域４５３に書ききれない場合の処理については公知であるため、ここでの詳細な説明は略す。

図５および６は、本発明の実施の形態におけるサムネイル候補決定処理のメインルーチンの流れを示すフローチャートである。図５および６のフローチャートに示す処理は、予めプログラムとしてメモリ１１に格納されており、制御部１０はこのプログラムを読出して実行することにより、サムネイル候補決定処理の機能が実現される。なお、以下に示すサムネイル候補決定処理は、ユーザからの指示に応じて実行されてもよいし、録画終了後に自動的に（たとえば所定時間経過後に）実行されてもよい。

本フローチャートで用いられる記号の意味は以下のとおりである。
・Ｉ（ｉ）：ｉ番目のＩピクチャ、
・ｎ：ピクチャグループ内のピクチャの番号（Ｉピクチャを０番目とする）（＝ピクチャグループに含まれるＢピクチャおよびＰピクチャの個数）、
・ｎｂ：ピクチャグループ内のＢピクチャの番号（＝ピクチャグループに含まれるＢピクチャの個数）、
・Ｄ：ピクチャのデータ量、
・ＤＢ：ピクチャグループ内のＢピクチャのデータ量の合計、
・Ｄｃｈ［ｉ］：ピクチャグループ内のＢピクチャの変化度、
・Ｃｄ＿ｌａｓｔ：記憶可能数（サムネイル候補記憶部４５に記憶可能なサムネイル候補の個数）。

図５を参照して、始めに、ピクチャグループ抽出部１２は、カウンタ２のカウント値ｉを０にする（Ｓ２）。次に、制御部１０は、サムネイル候補記憶部４５の初期化処理を実行する（Ｓ４）。サムネイル候補記憶部４５の初期化処理のサブルーチンを図７に示す。

図７は、サムネイル候補記憶部４５の初期化処理を示すフローチャートである。
図７を参照して、制御部１０は、カウンタ用変数ｃを１とする（Ｓ１０２）。次に、カウンタ用変数ｃが、記憶可能数Ｃｄ＿ｌａｓｔ以下、すなわち３０以下であるか否かを判断する（Ｓ１０４）。カウンタ用変数ｃが記憶可能数Ｃｄ＿ｌａｓｔ以下であると判断された場合（Ｓ１０４においてＹＥＳ）、Ｓ１０６に進む。

Ｓ１０６において、領域４５２における変化度Ｄｃｈ＿ｃｄ［ｃ］の値を０とする。また、領域４５２におけるアドレスｐＰｉｃ＿ｃｄ［ｃ］の値を、‘０ｘ１００００×ｃ’とする。

Ｓ１０６の処理が終わると、カウンタ用変数ｃが１だけインクリメントされ、Ｓ１０２に戻る。

上記Ｓ１０４において、カウンタ用変数ｃが記憶可能数Ｃｄ＿ｌａｓｔを超えたと判断された場合（Ｓ１０４においてＮＯ）、処理はメインルーチンに戻される。

再び図５を参照して、サムネイル候補記憶部４５の初期化処理が終わると、制御部１０は、ｉ番目のＩピクチャが、最後のＩピクチャであるか否かを判断する（Ｓ６）。最後のＩピクチャか否かの判断は、コンテンツの最終のＩピクチャか否かを判断することにより行なわれてもよいし、たとえば、開始より所定時間（たとえば１０分）先のＩピクチャを最後のＩピクチャとして、開始より所定時間先のＩピクチャか否かの判断により行なわれてもよい。サムネイルに最適な画像は、番組の始めの方に出現する場合が多い。したがって、開始より所定時間内に留めることで、効率良くサムネイル候補を抽出することができる。

Ｓ６において、ｉ番目のＩピクチャが最後のＩピクチャでないと判断された場合（Ｓ６においてＮＯ）、Ｓ８に進む。一方、ｉ番目のＩピクチャが最後のＩピクチャであると判断された場合（Ｓ６においてＹＥＳ）、サムネイル候補決定処理は終了される。

Ｓ８において、ピクチャグループ抽出部１２は、変数ａｐｓｃに、ｉ番目のＩピクチャの先頭番地の値を代入する。また、同時に、ピクチャの番号ｎ、Ｂピクチャの番号ｎｂ、および、Ｂピクチャのデータ量ＤＢの値が０にされる。

次に、ピクチャグループ抽出部１２は、変数ｐｃｔに、ｉ番目のＩピクチャ以降のｎ番目のピクチャのタイプに応じた値（１：Ｉピクチャ、２：Ｐピクチャ、３：Ｂピクチャ）を代入する（Ｓ１０）。また、ピクチャグループ抽出部１２は、変数ａｐｓｃ＿ｎｅｘｔに、ｉ番目のＩピクチャ以降の（ｎ＋１）番目のピクチャの先頭番地の値を代入する。さらに、Ｓ１０において、ｎ番目のピクチャのデータ量Ｄが、変数ａｐｓｃの値と変数ａｐｓｃ＿ｎｅｘｔの値との差により算出される。

次に、ピクチャグループ抽出部１２は、変数ｐｃｔの値が３であるか否かを判断する（Ｓ１２）。つまり、ｎ番目のピクチャがＢピクチャであるか否かが判断される。Ｓ１２において、変数ｐｃｔの値が３であると判断された場合（Ｓ１２においてＹＥＳ）、Ｓ１８に進む。変数ｐｃｔの値が３でないと判断された場合（Ｓ１２においてＮＯ）、Ｓ１４に進む。

Ｓ１４において、ピクチャグループ抽出部１２は、変数ｐｃｔの値が２であるか否かを判断する。つまり、ｎ番目のピクチャがＰピクチャであるか否かが判断される。変数ｐｃｔの値が２であると判断された場合（Ｓ１４においてＹＥＳ）、Ｓ２０に進む。変数ｐｃｔの値が２でないと判断された場合（Ｓ１４においてＮＯ）、Ｓ１６に進む。

Ｓ１６において、ピクチャグループ抽出部１２は、変数ｐｃｔが１であり、かつ、ピクチャの番号ｎが０でないか否かを判断する。つまり、ｎ番目のピクチャがＩピクチャであり、かつ、ピクチャの番号ｎが０でないか否かが判断される。この条件を満たしていないと判断された場合、すなわち、０番目のＩピクチャであると判断された場合（Ｓ１６においてＮＯ）、Ｓ２０に進む。一方、この条件を満たしていると判断された場合、すなわち、１番目以降のＩピクチャ（ｉ番目のＩピクチャの次のＩピクチャ）であると判断された場合（Ｓ１６においてＹＥＳ）、Ｓ２２に進む。

Ｓ１８において、第１の算出部１４は、ｉ番目のピクチャグループにおけるＢピクチャの番号ｎｂを１だけインクリメントする。また、第１の算出部１４は、ｉ番目のピクチャグループにおけるＢピクチャのデータ量ＤＢに、ｎ番目のピクチャのデータ量Ｄを加算する。Ｓ１８の処理が終わると、Ｓ２０に進む。

Ｓ２０において、ピクチャグループ抽出部１２は、変数ａｐｓｃに、変数ａｐｓｃ＿ｎｅｘｔの値を代入し、ｉ番目のピクチャグループにおけるピクチャの番号ｎを１だけインクリメントする。Ｓ２０の処理が終わると、Ｓ１０に戻る。

このように、第１の算出部１４により、ｉ番目のピクチャグループにおけるＢピクチャの個数およびデータ量が算出される。

図６を参照して、Ｓ２２において、第２の算出部１５は、Ｂピクチャの変化度Ｄｃｈ［ｉ］を算出する。具体的には、ｉ番目のピクチャグループにおけるＢピクチャのデータ量ＤＢを、ｉ番目のピクチャグループにおけるＢピクチャの番号ｎｂで除算することにより算出される。

続いて、サムネイル候補抽出・記憶部１６は、カウンタ２のカウント値ｉが０であるか、または、カウント値ｉが１以上であって（前回の）変化度Ｄｃｈ［ｉ−１］が（今回の）変化度Ｄｃｈ［ｉ］よりも大きいか否かを判断する（Ｓ２４）。この条件を満たしていると判断された場合（Ｓ２４においてＹＥＳ）、Ｓ２６に進む。一方、この条件を満たしていないと判断された場合（Ｓ２４においてＮＯ）、Ｓ２８に進む。

Ｓ２６において、サムネイル候補抽出・記憶部１６は、変化度の値が単調減少していることを識別するためのフラグｄｅｃを１とし、ピクチャデータの仮保存を行なう。より詳細には、ピクチャデータ記憶部４１に、変化度Ｄｃｈ［ｉ］の値とｉ番目のＩピクチャのデータとを上書きコピーする。Ｓ２６の処理が終わると、Ｓ３８に進む。

Ｓ２８において、サムネイル候補抽出・記憶部１６は、変化度Ｄｃｈ［ｉ−１］が変化度Ｄｃｈ［ｉ］よりも小さく、かつ、フラグｄｅｃが１であるか否かを判断する。つまり、変化度の値が、単調減少から単調増加に転じたか否かが判断される。この条件を満たしていると判断された場合、すなわち、変化度の値が極小値であると判断された場合（Ｓ２８においてＹＥＳ）、Ｓ３０に進む。一方、この条件を満たしていないと判断された場合、すなわち、変化度の値が極小値でないと判断された場合には（Ｓ２８においてＮＯ）、Ｓ３８に進む。

Ｓ３０において、サムネイル候補抽出・記憶部１６は、フラグｄｅｃを０とする。そして、サムネイル候補抽出・記憶部１６は、サムネイル候補記憶部４５を参照して、領域４５２における変化度Ｄｃｈ＿ｃｄ［Ｃｄ＿ｌａｓｔ（＝３０）］の値が、０であるか、または、変化度Ｄｃｈ［ｉ−１］よりも大きいか否かを判断する（Ｓ３２）。この条件を満たしていると判断された場合（Ｓ３２においてＹＥＳ）、Ｓ３４に進む。一方、この条件を満たしていないと判断された場合（Ｓ３２においてＮＯ）、Ｓ３８に進む。

Ｓ３４において、サムネイル候補抽出・記憶部１６は、ピクチャデータ記憶部４１に記憶されていた変化度（Ｄｃｈ［ｉ−１］）の値を、サムネイル候補記憶部４５の変化度Ｄｃｈ＿ｃｄ［Ｃｄ＿ｌａｓｔ］に代入する。同時に、ピクチャデータ記憶部４１に仮保存されていたデータを、サムネイル候補記憶部４５に本保存する。つまり、ピクチャデータ記憶部４１に記憶されていたピクチャデータを、サムネイル候補記憶部４５のアドレスｐＰｉｃ＿ｃｄ［Ｃｄ＿ｌａｓｔ］が指すピクチャデータに上書きコピーする。

Ｓ３４の処理が終わると、サムネイル候補並べ替え処理が実行される（Ｓ３６）。サムネイル候補並べ替え処理のサブルーチンを、図８に示す。

図８は、サムネイル候補並べ替え処理を示すフローチャートである。
図８を参照して、ソート部１７は、カウンタ用変数ｃに、記憶可能数Ｃｄ＿ｌａｓｔから１引いた値を代入する（Ｓ２０２）。次に、ソート部１７は、サムネイル候補記憶部４５を参照して、カウンタ用変数ｃが０より大きく、かつ、変化度Ｄｃｈ＿ｃｄ［ｃ］の値が０または変化度Ｄｃｈ＿ｃｄ［ｃ＋１］よりも大きいか否かを判断する（Ｓ２０４）。この条件を満たしていると判断された場合（Ｓ２０４においてＹＥＳ）、Ｓ２０６に進む。

Ｓ２０６において、データの入れ替え処理を行なう。すなわち、変化度Ｄｃ＿ｃｄ［ｃ］の値と、変化度Ｄｃ＿ｃｄ［ｃ＋１］の値とを入れ替え、同時に、アドレスｐＰｉｃ＿ｃｄ［ｃ］の値と、ｐＰｉｃ＿ｃｄ［ｃ＋１］の値とを入れ替える。

Ｓ２０６の処理が終わると、ソート部１７は、カウンタ用変数ｃを１だけデクリメントする（Ｓ２０８）。Ｓ２０８の処理が終わると、処理はＳ２０４に戻される。

Ｓ２０４において、上記条件が満たされていないと判断された場合（Ｓ２０４においてＮＯ）、メインルーチンに処理は戻される。

このような並び替え処理が行なわれることで、サムネイル候補記憶部４５において、サムネイル候補（のアドレス）が、変化度の小さい順（Ｄｃｈ＿ｃｄ［１］≦Ｄｃｈ＿ｃｄ［２］≦…≦Ｄｃｈ＿ｃｄ［Ｃｄ＿ｌａｓｔ］）となるように並び替えられる。

再び図６を参照して、サムネイル候補並べ替え処理が終了すると、処理はＳ３８に移される。

Ｓ３８において、ピクチャグループ抽出部１２は、カウンタ２におけるカウント値ｉを１だけインクリメントする。Ｓ３８の処理が終わると、Ｓ６に処理は戻される。

以上のようなサムネイル候補決定処理が行なわれることで、ピクチャグループを用いたＭＰＥＧなどの圧縮データでは、可変ビットレートの場合は完全に圧縮データを復号しなくても、再生されるフレーム間の画像の動き（変化）の少ないピクチャグループにおけるピクチャを抽出することができる。このことについて、図９を用いて具体的に説明する。図９では、ピクチャグループに含まれるピクチャ数が１５、ＩピクチャまたはＰピクチャが出現する周期が３の場合の例が示される。この図において、ｉ番目に現れるＩピクチャを“Ｉｉ”で表わし、ｉ番目のピクチャグループ（Ｉｉを含むピクチャグループ）内に現れるＰピクチャを順に“Ｐｉ１，Ｐｉ２，Ｐｉ３，Ｐｉ４”、ｉ番目のピクチャグループ内に現れるＢピクチャを順に“Ｂｉ０１，Ｂｉ０２，Ｂｉ１１，Ｂｉ１２，…Ｂｉ４２”と表わすものとする。

図９（Ａ）には、時間軸に沿ったフレームの並びが示され、図９（Ｂ）には、図９（Ａ）に対応するデータの並びが示される。Ｂピクチャは、ＩピクチャまたはＰピクチャの差分値を表わすため、上述のように、Ｂピクチャを利用すれば、ｉ番目のピクチャグループ内の１５フレーム全ての変化を検出することができる。

また、ビデオストリームの場合、Ｂピクチャ（およびＰピクチャ）が一定の個数でない場合もあるが、本実施の形態では、ピクチャグループごとのＢピクチャの変化度、つまり、ピクチャグループごとのＢピクチャのデータ量の平均値に基づいて、サムネイル候補が抽出される。したがって、精度良くサムネイル候補を抽出することができる。

以上のように、本実施の形態によると、再生されるフレーム間の画像の変化の少ないピクチャグループにおけるＩピクチャを自動で抽出することができる。一定時間変化の少ない画像は、一定時間をかけて視聴者に見せたいという製作者の意図の表れであるため、たとえば番組タイトルやオープニング画面など、番組の特徴画面である可能性が高い。そのため、本実施の形態によると、サムネイルに相応しいピクチャが抽出されることになる。

また、本実施の形態では、変化度が継続して減少する場合、変化度が極小となるまでサムネイル候補とはなり得ない（図６のＳ２８）。これにより、同様のピクチャがサムネイル候補として抽出されてしまうことを防止することができる。

なお、本実施の形態では、Ｂピクチャを利用してサムネイル候補を抽出したが、処理をより簡素化および／または高速化するために、Ｂピクチャに代えてＰピクチャを利用してもよい。Ｐピクチャのみを利用したとしても、図９に示した例では、１５フレーム中１２フレーム分の期間の変化を検出することができ、大体の変化を検出することができる。

あるいは、不規則なピクチャグループ（たとえば、Ｉピクチャ１つとＢピクチャ２つからなるピクチャグループなど）が出現することも考慮すれば、Ｂ，Ｐピクチャ両方とも利用する方がさらに好ましい。したがって、第１の算出部１４は、ピクチャグループごとに、ＢピクチャおよびＰピクチャの個数と、ＢピクチャおよびＰピクチャのデータ量とを算出し、第２の算出部１５は、これらの値に基づいて、ＢピクチャおよびＰピクチャの変化度を算出してもよい。つまり、第２の算出部１５は、ｉ番目のピクチャグループにおけるＢピクチャおよびＰピクチャのデータ量の合計を、ｉ番目のピクチャグループにおけるＢピクチャおよびＰピクチャの個数で除算することにより、ｉ番目のピクチャグループにおける変化度（Ｂピクチャのデータ量およびＰピクチャのデータ量の平均値）を算出してもよい。ＢピクチャおよびＰピクチャのデータ量の合計は、「ａ×（Ｂピクチャのデータ量の合計）＋ｂ×（Ｐピクチャのデータ量の合計）」といったように重み付けを行なって足し合わせてもよい。

あるいは、不規則なピクチャグループが出現することも考慮すれば、さらに他のパラメータ（たとえばピクチャグループ内の全ピクチャ数）を用いて変化度を算出してもよい。つまり、第２の算出部１５は、ｉ番目のピクチャグループにおけるＢピクチャのデータ量の合計をｉ番目のピクチャグループにおけるＢピクチャの個数で除算した値を、ｉ番目のピクチャグループに含まれるピクチャ数で除算することにより、ｉ番目のピクチャグループにおける変化度を算出してもよい。この場合、図６のＳ２２における変化度Ｄｃｈ［ｉ］の算出式は、“（ＤＢ／ｎｂ）／ｎ”となる。このように、ピクチャグループに含まれるピクチャの個数による重み付けを行なうことで、さらにサムネイル候補抽出の精度を向上させることができる。

あるいは、本実施の形態では、変化度（たとえばＢピクチャのデータ量の平均値）に基づいてサムネイル候補が抽出されたが、少なくとも、ピクチャグループ内で再生されるフレーム間の画像の動きに対応する値（特徴値）に基づいて、サムネイル候補が抽出されればよく、変化度に限定されない。たとえば、処理の単純化のために、Ｂピクチャおよび／またはＰピクチャのデータ量のみで、サムネイル候補を抽出することとしてもよい。この場合、第１の算出部１４において、ｉ番目のピクチャグループにおけるＢピクチャおよび／またはＰピクチャのデータ量の合計のみを算出する。そして、サムネイル候補抽出・記憶部１６は、算出されたデータ量の合計が極小となる場合に、ｉ番目のＩピクチャをサムネイル候補として選択的にサムネイル候補記憶部４５に記憶する。なお、この場合、第２の算出部１５は不要となる。

上述のように、本実施の形態において、予め記憶可能数が定められている。したがって、莫大な数のサムネイル候補が登録されてしまうことを防止することができる。このことについて、図１０を用いて具体的に説明する。この図には、縦軸を変化度、横軸をピクチャグループ数で表わすグラフが示される。なお、ここでは、説明の簡単のために、記憶可能数が３つであるものとして説明する。

図１０を参照して、記憶可能数を設けない場合では、Ｅ時点において、全ての極小値Ａ，Ｂ，Ｃ，Ｄ，Ｅそれぞれに対応するＩピクチャがサムネイル候補として登録されてしまう。これに対し、記憶可能数を設けている場合、Ｄ時点では、極小値Ｂ，Ｃ，Ｄに対応するＩピクチャがサムネイル候補として記憶され、Ｅ時点では、極小値Ｂ，Ｄ，Ｅに対応するＩピクチャがサムネイル候補として記憶される。このように、各時点において、極小値が小さい順に３つのサムネイル候補が記憶されることになる。なお、シーンチェンジのタイミングによってはＺのように突然変化度が上がることもありうるが、このようにグラフが滑らかな曲線を描かない場合でも、上記方法を適用することができる。

また、本実施の形態では、サムネイル候補記憶部４５に既に記憶可能数のサムネイル候補が記憶されている場合、変化度が極小であったとしても、必ずしもサムネイル候補の記憶処理を行なわない。つまり、サムネイル候補抽出・記憶部１６は、変化度の値が、記憶済のサムネイル候補の変化度のうち最大値以上である場合には、サムネイル候補記憶部４５への記憶処理を停止する（サムネイル候補記憶部４５に記憶しない）。これにより、後発の不適当なピクチャがサムネイル候補として記憶されてしまうことを防止することができる。

なお、上記フローチャートでは、サムネイル候補記憶部４５に記憶されているサムネイル候補が記憶可能数未満であったとしても、変化度の値が記憶済のサムネイル候補の変化度のうち最大値以上である場合には（図６のＳ３２でＮＯ）、サムネイル候補記憶部４５への記憶処理を停止することとした。しかしながら、サムネイル候補記憶部４５に記憶されているサムネイル候補が記憶可能数未満である場合には、図６のＳ３２の判断を行なうことなく、ピクチャデータの本保存（図６のＳ３４）を行なうこととしてもよい。

図１１は、本発明の実施の形態におけるサムネイル登録処理を示すフローチャートである。図１１のフローチャートに示す処理もまた、予めプログラムとしてメモリ１１に格納されており、制御部１０がこのプログラムを読出して実行することにより、サムネイル登録処理の機能が実現される。

図１１を参照して、サムネイル登録部１８は、表示部３２に表示するページのサムネイル候補をサムネイル候補記憶部４５から読出す（Ｓ３０２）。より具体的には、領域４５２に記憶されたアドレスの順に、領域４５３に記憶されたピクチャデータが読出される。これにより、変化度の小さい順に、サムネイル候補が読出される。表示部３２において１つのページ（画面）に表示可能なピクチャの個数がたとえば６個であるとすると、サムネイル登録部１８は、６個単位でピクチャデータを読み出す。読出されたピクチャデータは、デコード処理部１９に出力される。

次に、デコード処理部１９は、サムネイル候補のピクチャデータをデコードして、表示部３２に、デコードした画像を表示する（Ｓ３０４）。

このように、サムネイル登録部１８およびデコード処理部１９によって、変化度の小さい順にサムネイル候補を表示部３２に表示するための信号が生成されることになる。

Ｓ３０４において表示されるサムネイル候補一覧画面の一例を図１２に示す。図１２は、サムネイル候補一覧画面の一例を示す図である。図１２を参照して、表示部３２の所定の領域５１には、１以上のサムネイル候補が表示される。同時に、表示中のサムネイル候補から１つのピクチャ（画像）を選択するためのカーソルキー５２が所定の領域に表示される。また、ページを切り替えるためのページ切り替えキー５３およびサムネイルとするピクチャを決定するための決定キー５４が、それぞれ所定の領域に表示される。

再び図１１を参照して、サムネイル登録部１８は、ユーザからの入力を待つ（Ｓ３０６）。ユーザからの入力があった場合、ユーザからの入力データを“入力Ｐ”とすると、入力Ｐはカーソルキー５２の１つであるか否かが判断される（Ｓ３０８）。入力Ｐがカーソルキー５２の１つであると判断された場合（Ｓ３０８においてＹＥＳ）、Ｓ３１０に進む。一方、入力Ｐがカーソルキー５２の１つでないと判断された場合（Ｓ３０８においてＮＯ）、Ｓ３１２に進む。

Ｓ３１０において、サムネイル登録部１８は、可能な範囲で表示中のカーソルを移動させ、再びＳ３０６に戻る。

Ｓ３１２において、入力Ｐが決定キー５４であるか否かが判断される。入力Ｐが決定キー５４であると判断された場合（Ｓ３１２においてＹＥＳ）、Ｓ３２０に進む。一方、入力Ｐが決定キー５４でないと判断された場合（Ｓ３１２においてＮＯ）、Ｓ３１４に進む。

Ｓ３１４において、入力Ｐがこのフローを中断する入力であるか否かが判断される。入力Ｐがこのフローを中断する入力でないと判断された場合（Ｓ３１４においてＮＯ）、Ｓ３１６に進む。

Ｓ３１６において、入力Ｐがページ切り替えキー５３であり、かつ、ページ切り替えが可能であるか否かが判断される。この条件を満たしていると判断された場合（Ｓ３１６においてＹＥＳ）、サムネイル登録部１８は、ページの切り替えを行なう（Ｓ３１８）。Ｓ３１８の処理が終わると、Ｓ３０２に戻る。

Ｓ３１６において、入力Ｐがページ切り替えキー５３であり、かつ、ページ切り替え可能でないと判断された場合（Ｓ３１６においてＮＯ）、処理はＳ３０６に戻される。

Ｓ３１４において、入力Ｐがこのフローを中断する入力であると判断された場合（Ｓ３１４においてＹＥＳ）、サムネイル登録処理は終了される。

このように、本発明の実施の形態における動画データ再生装置１００では、自動でサムネイル候補を抽出・記憶するが、実際のサムネイルの登録はユーザに委ねる。これにより、ユーザが意図しないフレームが、サムネイルとして登録されてしまうことを防止することができる。

また、本実施の形態によると、上述のサムネイル候補決定処理において、ソート部１７によって変化度の小さい順にサムネイル候補が並び替えられているため、Ｓ３０２においてアドレス順にサムネイル候補を読み出すだけで、変化度の小さい順にサムネイル候補を表示することができる。これにより、ユーザは、サムネイルの選択を行ないやすくなる。なお、サムネイル候補をユーザに提示する際に、サムネイル登録部１８およびデコード処理部１９によって変化度の小さい順にサムネイル候補を表示するための信号が生成されればよく、サムネイル候補決定処理においてサムネイル候補の並び替えを行なわないことにしてもよい。この場合、サムネイル登録処理において、サムネイル登録部１８が変化度の小さい順にサムネイル候補を並び替えて、並び替えた順序でデコード処理部１９によってサムネイル候補が復号されてよい。

または、サムネイル候補決定処理において、変化度が極小となるピクチャグループにおけるＩピクチャを全て記憶しておいてもよい。この場合、サムネイル候補決定処理において、変化度の小さい順に上位たとえば３０個のサムネイル候補をユーザに提示することとしてもよい。

なお、上述のように、本実施の形態では、時間軸に沿ってピクチャグループを抽出することとしたが、必ずしも時間軸に沿って抽出されるものでなくてもよい。たとえば、録画後のコンテンツから一度に複数の（たとえば全ての）ピクチャグループが抽出されて、その中から極小値の小さい順にたとえば３０個のサムネイル候補が登録されてもよい。あるいは、その中から変化度が最小となるピクチャグループにおけるＩピクチャただ１つをサムネイル候補として登録してもよい。

また、本実施の形態では、ピクチャグループが抽出されるたびに変化度を算出したが、必ずしもこのような例に限定されない。たとえば、１つおきに変化度を算出してもよいし、複数のピクチャグループごとに、変化度を算出してもよい。

また、本発明の動画データ再生装置１００が行なう、サムネイル候補決定方法およびサムネイル登録方法を、プログラムとして提供することもできる。このようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-ROM）などの光学媒体や、メモリカードなどのコンピュータ読取り可能な記録媒体６２にて記録させて、プログラム製品として提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。

提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態における動画データ再生装置のハードウェア構成を示すブロック図である。 本発明の実施の形態における動画データ再生装置の機能ブロック図である。 本発明の実施の形態におけるサムネイルデータ記憶部のデータ構造の一例を示す図である。 本発明の実施の形態におけるサムネイル候補記憶部のデータ構造の一例を示す図である。 本発明の実施の形態におけるサムネイル候補決定処理のメインルーチンの流れを示すフローチャートである。 本発明の実施の形態におけるサムネイル候補決定処理のメインルーチンの流れを示すフローチャートである。 本発明の実施の形態におけるサムネイル候補記憶部の初期化処理を示すフローチャートである。 本発明の実施の形態におけるサムネイル候補並べ替え処理を示すフローチャートである。 （Ａ）は、時間軸に沿ったフレームの並びを示す図であり、（Ｂ）は、（Ａ）に対応するデータの並びを示す図である。 本発明の実施の形態におけるサムネイル候補の記憶処理について説明するための図である。 本発明の実施の形態におけるサムネイル登録処理を示すフローチャートである。 サムネイル候補一覧画面の一例を示す図である。

符号の説明

２ カウンタ、１０ 制御部、１１ メモリ、１２ ピクチャグループ抽出部、１４ 第１の算出部、１５ 第２の算出部、１６ サムネイル候補抽出・記憶部、１７ ソート部、１８ サムネイル登録部、１９ デコード処理部、２０ 録画データ記録部、２１ サムネイルデータ記憶部、３０ ＴＶ放送受信部、３２ 表示部、３４ 入力部、３６ ドライブ装置、４１ ピクチャデータ記憶部、４５ サムネイル候補記憶部、６１ アンテナ、６２ 記録媒体、１００ 動画データ再生装置。

Claims (14)

1. フレーム内符号化された複数のフレーム内符号化ピクチャと、順方向予測された複数の第１予測ピクチャと、双方向予測された複数の第２予測ピクチャとを含むビデオストリームからサムネイルを作成するためのサムネイル作成方法であって、
   前記ビデオストリームからピクチャグループを抽出する抽出ステップと、
   前記ピクチャグループ単位で、前記第１予測ピクチャおよび前記第２予測ピクチャのうち少なくとも一方のデータ量を算出する第１の算出ステップと、
   前記データ量に関連し、かつ、前記ピクチャグループ内で再生されるフレーム間の画像の動きに対応する特徴値が極小となる前記ピクチャグループにおける前記フレーム内符号化ピクチャを、サムネイル候補として選択的に記憶する第１の記憶ステップとを備え、
   前記第１の算出ステップは、前記ピクチャグループ単位で、前記第１予測ピクチャおよび前記第２予測ピクチャのうち少なくとも一方の個数である予測ピクチャ数を算出するステップを含み、
   前記データ量を前記予測ピクチャ数で除算した値を、前記ピクチャグループに含まれるピクチャの個数で除算する第２の算出ステップをさらに備え、
   前記第２の算出ステップにより算出された値を、前記特徴値とする、サムネイル作成方法。
2. 前記第１の記憶ステップは、前記特徴値が最小となる前記ピクチャグループにおけるフレーム内符号化ピクチャを、前記サムネイル候補として記憶する、請求項１に記載のサムネイル作成方法。
3. 前記抽出ステップは、時間軸に沿って前記ピクチャグループを抽出し、
   前記第１の記憶ステップは、前記特徴値が極小である極小フレーム内符号化ピクチャを、前記サムネイル候補として記憶する、請求項１に記載のサムネイル作成方法。
4. 前記第１の記憶ステップは、記憶済のサムネイル候補が所定個存在し、かつ、前記極小フレーム内符号化ピクチャの特徴値が、前記記憶済のサムネイル候補に対応付けられた特徴値のうち最大の特徴値以上である場合に、前記極小フレーム内符号化ピクチャの記憶処理を停止するステップを含む、請求項３に記載のサムネイル作成方法。
5. 記憶された複数の前記サムネイル候補を表示する表示ステップと、
   前記複数のサムネイル候補のうちユーザにより選択されたサムネイル候補を、前記サムネイルとして記憶する第２の記憶ステップとをさらに備える、請求項３に記載のサムネイル作成方法。
6. 前記表示ステップは、前記複数のサムネイル候補を前記特徴値の小さい順に表示するステップを含む、請求項５に記載のサムネイル作成方法。
7. 前記抽出ステップは、第１のフレーム内符号化ピクチャと、前記第１のフレーム内符号化ピクチャから前記第１のフレーム内符号化ピクチャの次の第２のフレーム内符号化ピクチャまでの間の第１予測ピクチャおよび第２予測ピクチャとを、前記ピクチャグループとして抽出する、請求項１に記載のサムネイル作成方法。
8. フレーム内符号化された複数のフレーム内符号化ピクチャと、順方向予測された複数の第１予測ピクチャと、双方向予測された複数の第２予測ピクチャとを含むビデオストリームからピクチャグループを抽出するための抽出手段と、
   前記ピクチャグループ単位で、前記第１予測ピクチャおよび前記第２予測ピクチャのうち少なくとも一方のデータ量を算出するための第１の算出手段と、
   前記データ量に関連し、かつ、前記ピクチャグループ内で再生されるフレーム間の画像の動きに対応する特徴値が極小となる前記ピクチャグループにおける前記フレーム内符号化ピクチャを、サムネイル候補として選択的に記憶するための第１の記憶手段とを備え、
   前記第１の算出手段は、前記ピクチャグループ単位で、前記第１予測ピクチャおよび前記第２予測ピクチャのうち少なくとも一方の個数である予測ピクチャ数をさらに算出し、
   前記データ量を前記予測ピクチャ数で除算した値を、前記ピクチャグループに含まれるピクチャの個数で除算するための第２の算出手段をさらに備え、
   前記第２の算出手段により算出された値を、前記特徴値とする、動画データ再生装置。
9. 前記第１の記憶手段は、前記特徴値が最小となる前記ピクチャグループにおけるフレーム内符号化ピクチャを、前記サムネイル候補として記憶する、請求項８に記載の動画データ再生装置。
10. 前記抽出手段は、時間軸に沿って前記ピクチャグループを抽出し、
    前記第１の記憶手段は、前記特徴値が極小である極小フレーム内符号化ピクチャを、前記サムネイル候補として記憶する、請求項８に記載の動画データ再生装置。
11. 前記第１の記憶手段は、記憶済のサムネイル候補が所定個存在し、かつ、前記極小フレーム内符号化ピクチャの特徴値が、前記記憶済のサムネイル候補に対応付けられた特徴値のうち最大の特徴値以上である場合に、前記極小フレーム内符号化ピクチャの記憶処理を停止する、請求項１０に記載の動画データ再生装置。
12. 記憶された複数の前記サムネイル候補を表示するための信号を生成する生成手段と、
    前記複数のサムネイル候補のうちユーザにより選択されたサムネイル候補を、前記サムネイルとして記憶するための第２の記憶手段とをさらに備える、請求項１０に記載の動画データ再生装置。
13. 前記生成手段は、前記複数のサムネイル候補を前記特徴値の小さい順に表示するための信号を生成する、請求項１２に記載の動画データ再生装置。
14. 前記抽出手段は、第１のフレーム内符号化ピクチャと、前記第１のフレーム内符号化ピクチャから前記第１のフレーム内符号化ピクチャの次の第２のフレーム内符号化ピクチャまでの間の第１予測ピクチャおよび第２予測ピクチャとを、前記ピクチャグループとして抽出する、請求項８に記載の動画データ再生装置。

Images