JP4580183B2 - 視覚的に代表するビデオサムネイルの生成 - Google Patents

Description

本開示は一般に、ビデオ表示技術に関し、より詳細には、ビデオシーケンスの突出した（ｓａｌｉｅｎｔ）コンテンツを表すビデオサムネイルを生成することに関する。

マルチメディアコンピューティング技術およびネットワーク化通信の急速な進歩により、ディジタルライブラリに記憶されるディジタルマルチメディア（例えばビデオ、オーディオ、静止画）の量は劇的に増加している。しかし、このようなマルチメディアデータ、特にビデオにアクセスする方法は、このようなマルチメディアの量の増加についてきていない。従来のテキストベースの文書用の検索システムでは、文書情報を素早く概観するために文書代用物（例えばキーワードや要約）を閲覧することができ、これは、関係のない文書をフィルタにかけて除いて、関心のある文書をさらに検討するのに役立つ。

しかし、ビデオ独特の特性のせいで、従来の代用物およびテキスト指向の閲覧機構は、ビデオデータにアクセスするにはそれほど有用ではない。ビデオデータが伝えるビデオおよびオーディオ情報は、その時間空間表現、および単純にそのボリュームにより、言葉だけでは十分に記述し尽くせない。したがって、ビデオ「要約（ａｂｓｔｒａｃｒ）」（すなわちビデオシーケンスから抽出した代表的な静止画像）を使用することは、コンテンツベースでビデオデータを閲覧したりビデオデータにアクセスしたりするのを容易にする方法として、非常に重要である。

現在のビデオコンテンツ閲覧／アクセス方法は、ショット境界を検出し、ビデオ要約または概要として使用するためのキーフレームをビデオシーケンスから抽出することを含む。１つのビデオショットは、単一のカメラから録画されたビデオフレームの連続的なシーケンスである。ビデオショットは、ビデオシーケンスの構成単位を形成する。ショット境界検出の目的は、ビデオシーケンスを、キーフレームを抽出することのできる複数のビデオショットにセグメント化することである。キーフレームは、ショットの突出したコンテンツのサムネイル表現を提供するビデオフレームである。キーフレームを使用することで、ビデオ索引付けで必要とされるデータの量が削減され、ビデオコンテンツを構成および閲覧する方法がもたらされる。

キーフレーム抽出は、多大な労力が費やされる重要なトピックであり続けている。キーフレーム抽出にしばしば用いられる容易な技法の１つは、各ビデオショットの第１フレームをそのショットのキーフレームとして選択することである。この技法は、計算コストは低いが、通常はビデオショットについての突出した視覚コンテンツを効果的に取り込むことができない。他のキーフレーム抽出技法は、色特徴やビデオフレーム間の動きなどの様々な視覚基準を使用および分析することを含む。このような技法は、突出した視覚コンテンツの取込みを改善することができるが、計算コストが高い傾向がある。このように、キーフレーム抽出技法は、向上してきたものの、計算コストが非常に高いことや突出した視覚コンテンツをビデオデータから効果的に取り込めないことを含めて、欠点を被り続けている。

加えて、キーフレームを抽出するためのこのような従来技法は、ビデオシーケンス全体を代表するように意図されたキーフレームを決定することはない。そうではなく、このような技法は、ビデオシーケンス内の特定のビデオショットを代表するように意図されたキーフレームを決定する。

したがって、様々なビデオデータをコンテンツベースで閲覧するのを容易にする方式で、ビデオシーケンスの突出したコンテンツを正確に描く、ビデオシーケンス全体を表す方法が必要とされている。

ビデオシーケンスの突出したコンテンツを視覚的に表すビデオフレームを識別することによってビデオシーケンスに対するビデオサムネイルを生成するための、システムおよび方法を開示する。ビデオサムネイルアルゴリズムが、ビデオフレームについてのヒストグラムエントロピーとヒストグラム標準偏差との重み付き組合せに応じて、フレーム良好度（ｆｒａｍｅ ｇｏｏｄｎｅｓｓ ｍｅａｓｕｒｅ）を計算する。ビデオシーケンス内の様々なフレームのフレーム良好度を比較することに基づいて、特定のフレームをビデオサムネイルとして選択する。

一実施形態では、ビデオシーケンス中の各ビデオフレームのフレーム良好度を計算する。フレーム良好度の計算は、フレームのヒストグラムを計算することを含む。次いで、ヒストグラムについてエントロピーおよび標準偏差を計算する。次いで、エントロピーと標準偏差との重み付き組合せとしてフレーム良好度を計算する。各ビデオフレームのフレーム良好度を相互に比較して、どのビデオフレームが最も突出しているかを決定する。最高値のフレーム良好度を有するフレームを、ビデオサムネイルとして選択する。

別の実施形態では、ビデオシーケンスを時間的にセグメント化し、ビデオシーケンスの特定のセグメント内（例えばビデオシーケンスの最初、中間、または最後）のフレームのフレーム良好度を計算する。この特定のビデオセグメントについて、局所的な最高フレーム良好度を決定する。次いで、局所的な最高フレーム良好度に関連するビデオフレームを、このビデオシーケンスのビデオサムネイルとして選択する。

別の実施形態では、ビデオシーケンスをビデオショットにセグメント化し、各ショット内のフレームのフレーム良好度を計算する。各ビデオショットについて、局所的な最高フレーム良好度を決定する。最高値の局所的な最高フレーム良好度に関連するビデオフレームとして、このビデオシーケンスに対するビデオサムネイルを選択する。

各図面を通して、同じコンポーネントおよび機構を参照するのには同じ参照番号を使用する。

概要
以下の考察は、ビデオファイル内またはビデオシーケンス内のビデオフレームから、突出したコンテンツリッチなビデオサムネイルを識別するためのシステムおよび方法を対象とする。本主題について、法定要件を満たすように具体的に述べる。ただし、この記述自体は、開示する本主題の範囲を限定するものではない。そうではなくこの記述は、特許請求する本主題を他の方法で実施して、この文書に述べる要素に類似する異なる要素または組合せ要素を他の現在または将来の技術と共に含めることができることを企図して記述するものである。

本明細書に述べるシステムおよび方法は、ビデオサムネイルとして使用される突出したビデオフレームをビデオシーケンスから識別するためのサムネイル識別アルゴリズムを実施する。ビデオサムネイルの識別は、フレーム良好度に基づく。このアルゴリズムは、フレームの色ヒストグラムを計算し、次いで、色ヒストグラムのエントロピーおよび標準偏差を計算する。フレーム良好度は、エントロピーと標準偏差との重み付き組合せである。ビデオシーケンスで最大値の良好度を有するビデオフレームを、ビデオシーケンスに対するビデオサムネイルとして決定する。開示するシステムおよび方法の利点には、ビデオファイルのコンテンツを正確に代表するビデオサムネイルを生成することが含まれる。

例示的な環境
図１および２に、ビデオファイルに対するビデオサムネイルを識別するのに適した例示的な環境を示す。図１の例示的な環境１００は、コンピュータ１０２と、１つまたは複数のビデオ入力ソース１０４を含む。

ビデオ入力ソース１０４は、ビデオコンテンツをコンピュータ１０２に転送することのできる任意のタイプのデバイスまたは通信ネットワークとすることができ、例えば、携帯記憶媒体１０４（１）（例えば磁気ディスク、メディアカード、光ディスク）、ビデオ録画デバイス１０４（２）、または、インターネット、企業ネットワーク、家庭ネットワークなどのネットワーク１０４（３）が含まれる。

ビデオ録画デバイス１０４（２）は、ライブモーションビデオおよびオーディオを例えばＶＣＲやＴＶによって、またコンピュータ１０２などのパーソナルコンピュータによって後で再生するために録画することのできる様々なディジタル録画デバイスのいずれかとすることができる。ビデオ録画デバイス１０４（２）は通常、ｉ．ＬＩＮＫ（ＩＥＥＥ１３９４）またはＦｉｒｅＷｉｒｅディジタルインタフェースを使用して直接コンピュータに接続させることができ、それによりビデオコンテンツはコンピュータ１０２上で直接編集することができる。

コンピュータ１０２は、様々なソース１０４からビデオコンテンツを受け取って、このビデオコンテンツを例えばメディアプレーヤで再生するために操作することが概して可能な、様々なコンピューティングデバイスとして実現することができる。他の場合では、コンピュータ１０２は通常、電子メール、カレンダリング、タスク構成、ワードプロセッシング、ウェブ閲覧など、一般的なコンピューティング機能を実施することができる。この実施形態では、コンピュータ１０２は、Ｍｉｃｒｏｓｏｆｔ（登録商標）から発売のＷｉｎｄｏｗｓ（登録商標）ブランドのオペレーティングシステムなど、オープンプラットフォームオペレーティングシステムを実行する。コンピュータ１０２は、例えばデスクトップコンピュータ、サーバコンピュータ、ラップトップコンピュータ、またはその他の形のパーソナルコンピュータ（ＰＣ）として実現することができる。コンピュータ１０２の例示的な一実装形態については、図１３に関して後でより詳細に述べる。

図３の実施形態に関して後でより詳細に論じるが、コンピュータ１０２は一般に、ビデオコンテンツソース１０４からビデオシーケンスまたはファイル（すなわちビデオコンテンツ）を受け取り、ビデオシーケンス全体をほぼ代表する視覚コンテンツを有するビデオサムネイルとして使用するのに適したビデオフレームを、ビデオシーケンス内で識別するように構成されている。

図２の例示的な環境２００は、スタンドアロンなビデオ録画デバイス２０２を含む。ビデオ録画デバイス２０２は、図１のビデオ録画デバイス１０４（２）とほぼ同じようにして構成されたものとすることができる。したがって、ビデオ録画デバイス２０２は通常、ｉ．ＬＩＮＫ（ＩＥＥＥ１３９４）またはＦｉｒｅＷｉｒｅディジタルインタフェースを使用して直接コンピュータに接続させることができる。ただし、図２のスタンドアロンなビデオ録画デバイス２０２は、このようなデバイスが一般に、取り込んだビデオシーケンスから、ビデオシーケンス全体をほぼ代表する視覚コンテンツを有するビデオサムネイルとして使用するのに適したビデオフレームを識別するように構成できること（コンピュータ１０２のように）を例示するものである。

例示的な実施形態
図３は、図１の環境１００で実現することのできるコンピュータ１０２およびビデオ入力ソース１０４のブロック図表現である。コンピュータ１０２は、デスクトップＰＣやラップトップＰＣなどのＰＣ（パーソナルコンピュータ）として実現される。ビデオ入力ソース１０４は、光ディスク１０４（１）として実現される。

ＰＣ１０２は、プロセッサ３００、揮発性メモリ３０２（すなわちＲＡＭ）、および不揮発性メモリ３０４（例えばＲＯＭ、ハードディスク、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭなど）を備える。不揮発性メモリ３０４は一般に、コンピュータ／プロセッサ可読命令、データ構造、プログラムモジュール、およびその他のデータの記憶域をＰＣ１０２に提供する。ＰＣ１０２は通常、不揮発性メモリ３０４に記憶されてプロセッサ（ＣＰＵ）３００上で実行される様々なアプリケーションプログラム（アプリケーション）３０６を実装する。このようなアプリケーション３０６には、例えばワードプロセッサ、表計算、ブラウザ、マルチメディアプレーヤ、イラストレータ、コンピュータ援用設計ツールなどを実施するソフトウェアプログラムを含めることができる。ＰＣ１０２の例示的な一実装形態については、図１３に関して後でより詳細に述べる。

アプリケーション３０６に加えて、ＰＣ１０２は、ビデオサムネイルアルゴリズム３０８も実装する。図３では、プロセッサ３００上で実行可能な別個のスタンドアロンソフトウェアアプリケーションとして示してあるが、ビデオサムネイルアルゴリズム３０８は、より高次のアプリケーション３０６の一機能として実装してもよい。このようなアプリケーション３０６には、限定しないが通常、ブラウザ、ビデオソフトウェア編集製品、ＶＣＲ制御システム、ＭＰＥＧリッパアプリケーションなどを含めることができる。

一実施形態では、ビデオサムネイルアルゴリズム３０８は、ビデオ入力デバイス１０４（例えば光ディスク１０４（１））から受け取った、図４に示すビデオシーケンス４００などのビデオコンテンツ３１０を分析し、ビデオシーケンス４００から、ビデオシーケンス４００全体のコンテンツをほぼ代表する突出したビデオサムネイルとしてビデオフレーム４０２を識別（すなわち抽出）するように構成されている。ビデオサムネイルを識別するための計算を実施するプロセスで、ビデオサムネイルアルゴリズム３０８は、サムネイルアルゴリズム情報３１２を生成および使用する。ビデオコンテンツ３１０およびサムネイルアルゴリズム情報３１２は不揮発性メモリ３０４中にあるものとして示すが、これらの全部または一部は、さらに揮発性メモリ３０２中にもある場合があることに留意されたい。

図４は、ビデオシーケンス４００を示す高レベル図である。ビデオシーケンス４００は、任意の数のフレーム４０２（Ｎ）（１からＮ）を表し、これらのフレームはビデオコンテンツ３１０の全長を表す。ビデオシーケンス４００の下に、特定のビデオフレーム４０２（Ｎ−Ｒ）が示してあるが、このビデオフレームは、ビデオシーケンス４００全体の突出したコンテンツを表すビデオサムネイルとしてビデオサムネイルアルゴリズム３０８（図３）によって選択されたビデオフレームを表す。

再び図３の実施形態を参照するが、ビデオサムネイルアルゴリズム３０８は、ビデオシーケンス４００中の各フレームのフレーム良好度を計算することにより、ビデオサムネイルを決定する。フレーム良好度は、所与のビデオフレームがビデオシーケンス４００全体の突出したコンテンツを視覚的に表す程度の尺度を表す。したがってフレーム良好度は、ビデオシーケンス４００全体を表すためのビデオサムネイルとして最も代表的で視覚的に満足のいくビデオフレーム４０２を抽出する方法を表す。

ビデオフレーム４０２のフレーム良好度を計算するために、ビデオサムネイルアルゴリズム３０８はまず、ビデオフレームの色ヒストグラムに対して２つの計算（すなわちエントロピーおよび標準偏差）を行う。色ヒストグラムは、画像のピクセルの統計的表現を提供する重要かつ周知の画像分析ツールである。この統計的表現は、画像中にどの色ピクセルがあり、各色のピクセルが画像中にいくつあるかを示す。色ヒストグラムは棒グラフとして表すことができ、横軸上の各エントリは、そのピクセルが有する可能性のある色の１つである。

順番は必須ではないが、ビデオサムネイルアルゴリズム３０８がビデオフレームの色ヒストグラムに対して実施する第１の計算は、エントロピー計算である。エントロピーは、確率変数の不確定性の尺度である。離散確率変数をＸとし、Ｘの可能な結果の集合をｘとする。確率変数Ｘの確率質量関数（ｐｒｏｂａｂｉｌｉｔｙ ｍａｓｓ ｆｕｎｃｔｉｏｎ）はｐ（ｘ）である。したがって、Ｘのエントロピーは以下の式で定義される。

色データポイント（ピクセル）の確率が一様分布しているとき、結果は不確定であり、エントロピーは最大である。より具体的には、カラー画像（すなわちビデオフレーム４０２）中に最大数の色値があり、これらの色が一様分布している場合は、画像のエントロピーは最大化される。このような画像は、最もカラフルな画像と考えられる。加えて、このような画像は通常、色のより少ない他の画像よりも優れた視覚効果を含む。

しかし、画像中の色データポイント（ピクセル）が非常に歪んだ確率質量関数を有するときは、結果は小さい結果集合に入る傾向があり、したがって結果はより確実であり（すなわち不確定性が低い）、エントロピーは低い。したがって、画像（すなわちビデオフレーム４０２）中に最小数の色値（例えば１色だけ）がある場合は、画像のエントロピーは最小化される。色値が１つしかないカラー画像の場合、画像ヒストグラムのエントロピーは０である。このような画像は通常、色のより多い他の画像よりも悪い視覚効果を含む。このように、ビデオフレーム４０２の色ヒストグラムのエントロピーは、フレーム良好性の尺度の第１部分として有用である。

やはり順番は必須ではないが、ビデオサムネイルアルゴリズム３０８がビデオフレームの色ヒストグラムに対して実施する第２の計算は、標準偏差計算である。色ヒストグラムの標準偏差は、画像ヒストグラム中の色の拡散の尺度であり、以下のように定義される。

画像ヒストグラムの標準偏差は、画像の色範囲を示す。画像中の色値の範囲が広いほど、画像のコントラストは高い。より高いコントラストの画像は、人間の視覚系にとって、より低いコントラストの画像よりも視覚的に興味をひく傾向がある。このように、ビデオフレーム４０２の色ヒストグラムの標準偏差は、フレーム良好性の尺度の第２部分として有用である。

一般に、よりカラフルなビデオフレーム（すなわち色ヒストグラムのエントロピーがより高い）およびより高コントラストのビデオフレーム（すなわち色ヒストグラムの標準偏差がより高い）は、視覚的に好まれるフレームである。したがってフレーム良好度は、以下のように、ビデオフレームの色ヒストグラムのエントロピーと標準偏差との組合せとして定義することができる。

さらに、式（５）を使用してフレーム良好性を計算する前に、「Ｅｎｔｒｏｐｙ」と「ＳＤ」の両方を、式（６）を使用して［０，１］の範囲に正規化することに留意されたい。したがってフレーム良好度は、色ヒストグラムのエントロピーと標準偏差との重み付き組合せであり、それにより、望むならどちらかを強調することができる。

Ｇの値が大きいほど、ビデオフレームの視覚品質は優れている。したがって再び図４を参照すると、ビデオシーケンス４００中の各フレームのフレーム良好度を計算することに加えて、ビデオサムネイルアルゴリズム３０８はまた、フレーム良好度を相互に比較して、どれが最大値かを決定する。次いでビデオサムネイルアルゴリズム３０８は、計算されたフレーム良好度が最高であるビデオフレーム（例えば４０２（Ｎ−Ｒ））を、ビデオシーケンス４００のコンテンツを視覚的によく表すビデオサムネイルとして選択する。

上述のフレーム良好度を様々な方式で使用して、ビデオシーケンスに対する代表的なビデオサムネイルとしてビデオフレームを決定することができる。例えば、図４に関して上述したように、ビデオサムネイルアルゴリズム３０８の一実施形態では、ビデオシーケンス４００中の各フレームのフレーム良好度を計算し、次いですべてのフレーム良好度を比較して、計算されたフレーム良好性の値が最も高いフレームを突き止めることによって、ビデオサムネイルを決定する。以下、フレーム良好度をビデオシーケンスに適用することに関する他の例を図５〜７に関して論じる。

別の実施形態では、ビデオサムネイルアルゴリズム３０８は、フレーム良好度を個々のビデオフレームに適用する前に、ビデオシーケンス５００（図５）をセグメント化する。図５に示す一実施形態では、ビデオサムネイルアルゴリズム３０８は、ビデオシーケンスを時間的にセグメント化した後で、ビデオシーケンス５００の特定セグメント内のビデオフレームにフレーム良好度を適用する。ビデオシーケンス５００は、最初のビデオフレームセグメント５０２と、中間ビデオフレームセグメント５０４と、最後のビデオフレームセグメント５０６とに時間的にセグメント化されている。各セグメントは通常、そのセグメントの時間長に対応するいくつかのフレームを有する。例えば、１秒あたり３０個のフレームを有するビデオシーケンスの１０秒セグメントは、そのセグメント中に３００個のフレームを有することになる。図５に示す時間的セグメント化は限定としてではなく例として示すものであることに留意されたい。したがって、任意の方式のビデオシーケンスセグメント化が可能であり、セグメント内の個々のビデオフレームにフレーム良好度を適用するのを容易にするために有用とすることができる。

フレーム良好度は、任意の時間的セグメント（例えば最初のビデオフレームセグメント５０２、中間ビデオフレームセグメント５０４、最後のビデオフレームセグメント５０６）中のビデオフレームに適用することができるが、図５では、ビデオサムネイルアルゴリズム３０８が最初のビデオフレームセグメント５０２からのビデオフレームにフレーム良好度を適用する場合を示す。この場合、ビデオサムネイルアルゴリズム３０８は、最初のビデオフレームセグメント５０２からのフレーム良好度を相互に比較して、最初のビデオフレームセグメント５０２に関連する局所的な最高フレーム良好度を決定する。最初のフレームセグメント５０２内で最高のフレーム良好度（すなわち局所的な最高）を有するものとして、ビデオフレーム５０８が図示されている。したがって、ビデオフレーム５０８を、ビデオシーケンス５００を最もよく表すビデオサムネイルとして選択（すなわち抽出）する。ほとんどの場合、特定の時間的セグメント（例えば５０２、５０４、５０６）内のビデオフレームのフレーム良好度を計算し比較することによってビデオサムネイルの検索を特定の時間的セグメントに限定しても、得られるビデオサムネイル５０８の視覚品質は、ビデオシーケンス５００全体にわたるすべてのフレームのフレーム良好度を計算し比較することによって普通なら得られるであろうビデオサムネイルの品質よりも大きく低下することはない。

別の実施形態では、ビデオサムネイルアルゴリズム３０８は、フレーム良好度を個々のビデオフレームに適用する前に、ビデオシーケンス６００（図６）をビデオショットにセグメント化する。ビデオショットは、ビデオシーケンス中の切れ目のないフレームシーケンスまたはフレームセグメントであり、しばしばビデオの構成単位を定義する。例えば図６には、典型的なビデオショット６０２、６０４、６０６、６０８が示されており、それぞれはビデオシーケンス６００からのいくつかのビデオフレームを含む。ビデオショット６０２、６０４、６０６、６０８は、ビデオシーケンス６００を構成する。ビデオショットは、いずれかの特定のビデオコンテンツを表すことができる。ほとんどのビデオショットでは、ビデオコンテンツ中のしきい値偏差によって区別することのできる境界が定義されている。現在、ビデオサムネイルアルゴリズム３０８によって実施することのできる様々な効果的なショット境界検出技法が存在する。しかし、このような検出技法は一般に当業者には周知であり、したがってさらに詳細には論じない。

図６の実施形態では、ビデオサムネイルアルゴリズム３０８は一般に、各ビデオショット（例えば６０２、６０４、６０６、６０８）の局所的な最高フレーム良好度を決定し、次いで様々なビデオショットからの局所的な最高良好度を比較して、ビデオシーケンス６００全体の大域的な最高良好度を決定する。大域的な最高良好度は、ビデオシーケンス６００からのどのビデオフレームがビデオシーケンス６００全体を視覚的に最も代表するかを示し、したがって、ビデオサムネイルアルゴリズム３０８がシーケンス６００全体に対するビデオサムネイルとしてどのビデオフレームを選択（すなわち抽出）するかを示す。

図７に別の実施形態を示すが、この実施形態では、ビデオサムネイルアルゴリズム３０８は、ビデオフレーム７００をブロック７０２に分割し、ビデオフレーム７００内の各ブロック７０２の良好度を計算する。ビデオフレーム７００の全体的な良好度は、最小値のブロック良好度として決定される。したがって、ビデオフレーム７００中でブロック７０２（１）が最高のブロック良好度を有し、ブロック７０２（２）が最低のブロック良好度を有する場合、ビデオフレーム７００の良好度は、最低値のブロック７０２（２）について計算された良好度として決定される。この技法は、個別のビデオフレーム７００の良好度が常に、少なくともビデオフレーム７００内のいずれかのブロック７０２の最低良好度と同じくらい良好であることを保証する。この技法は、上述の各実施形態に適用可能である。すなわち、上述の実施形態でフレーム良好度を決定するときは、ビデオフレーム中の複数のブロックから最低ブロック良好度を選択することに基づいて決定することができる。

ブロック良好度の計算は、上述のフレーム良好度の計算と概して同じである。上述のように、フレーム良好度は、所与のフレームについて、まずフレームの色ヒストグラムのエントロピーと、フレームの色ヒストグラムの標準偏差とを計算し、次いでエントロピーと標準偏差とを組み合わせることによって計算する。図７は、ビデオサムネイルアルゴリズム３０８がどのように所与のビデオフレーム７００を複数のブロック７０２に分割し、次いでフレームの各ブロック７０２に対してエントロピー、標準偏差、および良好度の計算を実施するかを示している。次いでビデオサムネイルアルゴリズム３０８は、最小値のブロック良好度を、ビデオフレーム７００の全体的なフレーム良好度として選択する。

図８は、図２の環境２００で実現することのできるスタンドアロンなビデオ録画デバイス２０２のブロック図表現である。ビデオ録画デバイス２０２は、図１のビデオ録画デバイス１０４（２）とほぼ同じようにして構成されたものとすることができる。図８のブロック図表現は、図２のビデオ録画デバイス２０２が一般に、コンピュータ１０２に関して上述した方式で、ビデオサムネイルの視覚コンテンツがビデオシーケンス全体をほぼ代表するように、ビデオシーケンスからビデオサムネイルを識別するよう構成できること（コンピュータ１０２のように）を例示するものである。したがって、ビデオ録画デバイス２０２は、本開示のシステムおよび方法を実現することのできる別の例示的な環境である。

図８を参照すると、ビデオ録画デバイス２０２は一般に、プロセッサ（ＣＰＵ）８００、揮発性メモリ８０２（すなわちＲＡＭ）、および不揮発性メモリ８０４（例えばＲＯＭ）を備える。ビデオ録画デバイス２０２はまた一般に、携帯記憶媒体機能（図示せず）、および／または、録画したビデオコンテンツを転送するのを可能にするためのｉ．ＬＩＮＫ（ＩＥＥＥ１３９４）やＦｉｒｅＷｉｒｅディジタルインタフェースなどのディジタルインタフェース（図示せず）も備える。不揮発性メモリ８０４にはオペレーティングシステムソフトウェア８０６が記憶され、オペレーティングシステムソフトウェア８０６は、ビデオキャプチャコンポーネント８０８など、様々な機能およびビデオコンポーネントを制御するようにプロセッサ８００上で実行可能である。ビデオキャプチャコンポーネント８０８は、集束レンズ（ｆｏｃｕｓｉｎｇ ｌｅｎｓ）、電荷結合素子（ＣＣＤ）、アナログディジタル変換器など、通常のビデオコンポーネントを備える。オペレーティングシステムソフトウェア８０６は一般に、ユーザ制御インタフェース８１０を介して入力されたユーザ入力に応答して、視覚情報を受け取ったり、この情報を電子信号に変換したり、これをビデオコンテンツ３１０として記憶したりする機能を実施する。ビューファインダ８１２は一般に、インタフェース８１０を介して制御されたビデオコンテンツ３１０およびその他の情報をユーザが見ることができるようにする。ビデオ録画デバイス２０２の一般的な動作および機能は周知である。

ビデオ録画デバイス２０２上のビデオサムネイルアルゴリズム３０８は、コンピュータ１０２に関して上述したのと同様の方式で機能するように構成されている。したがって、図４〜７に関する上述した説明は、ビデオ録画デバイス２０２にも等しく適用可能である。したがって、ビデオ録画デバイス２０２の通常の動作によってビデオコンテンツ３１０が録画されると、ビデオサムネイルアルゴリズム３０８は、録画されたビデオシーケンス（すなわちビデオファイル）を視覚的に代表するビデオサムネイルを決定するように動作する。計算およびその他のアルゴリズム情報は、サムネイルアルゴリズム情報３１２として一時的に記憶される。ビデオサムネイルアルゴリズム３０８によって生成されたビデオサムネイルは、ビューファインダ８１２を介して見る／閲覧することができ、ユーザ制御インタフェース８１０を介して操作することができる。

例示的な方法
次に、主に図９、１０、１１、１２の流れ図を参照しながら、ビデオシーケンスを代表する突出したコンテンツリッチなビデオサムネイルを識別するための例示的な方法について述べる。これらの方法は一般に、図３〜８に関して上述した例示的な実施形態に適用される。述べる方法の要素は、例えば、プロセッサ可読媒体上に定義されたプロセッサ可読命令を実行することを含めて、任意の適切な手段で実施することができる。

本明細書では、「プロセッサ可読媒体」は、プロセッサによって使用または実行される命令を収録、記憶、通信、伝搬、または搬送することのできる任意の手段とすることができる。プロセッサ可読媒体は、限定しないが、電子、磁気、光学、電磁、赤外線、または半導体の、システム、装置、デバイス、または伝搬媒体とすることができる。プロセッサ可読媒体のより具体的な例としてはとりわけ、１つまたは複数のワイヤを有する電気接続、携帯コンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラム可能な読出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、携帯コンパクトディスク読出し専用メモリ（ＣＤＲＯＭ）が含まれる。

図９に、ビデオシーケンス全体の突出したコンテンツを視覚的に表すビデオサムネイルを識別するための例示的な方法９００を示す。ブロック９０２で、ビデオシーケンスからのビデオフレームに対して色ヒストグラムを計算する。ビデオシーケンスは、コンピュータが様々なビデオソース（例えば携帯記憶媒体、ネットワーク接続、ビデオカメラ）から受け取ったビデオコンテンツ、またはビデオ録画デバイスが録画したビデオコンテンツとすることができる。したがって、方法９００で論じる計算は、コンピュータ、ビデオ録画デバイス、または任意の同様のデバイス上で実施することができる。ブロック９０４で、上述した式（１）および（２）に従って、色ヒストグラムのエントロピーを計算する。ブロック９０６で、上述した式（３）および（４）に従って、色ヒストグラムの標準偏差を計算する。ブロック９０８で、フレーム良好度を計算する。フレームのフレーム良好度は、上述した式（５）および（６）に従って、エントロピーと標準偏差との重み付き組合せとして計算する。

ブロック９１０で、ビデオシーケンス中の他のビデオフレームについて、同様に他のフレーム良好度を計算する。ブロック９１２で、計算されたすべてのフレーム良好度から、最高フレーム良好度を識別する。ブロック９１４で、最大値のフレーム良好度に対応するビデオフレームを、ビデオシーケンス全体の突出したコンテンツを視覚的に表すビデオサムネイルとして選択する。

図１０に、ビデオシーケンス中のビデオフレームの良好度を計算するための代替方法１０００を示す。ブロック１００２で、ビデオフレームをさらに複数のブロックに分割する。ブロックの数は、例えば１６×１６のブロックグループがビデオフレームを構成するのを含めて、任意の適切な数とすることができる。ブロック１００４で、ブロックグループ中の各ブロック良好度を計算する。ブロック良好度は、フレーム良好度に関して上述したのと同じ方式で（すなわち同じ式を使用して）計算するが、例外として、計算はビデオフレーム全体ではなくビデオフレームの一部だけに適用する。各ブロックの良好度を計算した後、ブロック１００６に示すように最低ブロック良好度を決定する。ブロック１００８で、最低ブロック良好度を、ビデオフレームの全体的な良好度として選択する。

図１１に、ビデオシーケンス全体の突出したコンテンツを視覚的に表すビデオサムネイルを識別するための代替の例示的方法１１００を示す。ブロック１１０２で、ビデオシーケンスを時間的にセグメント化する。ビデオシーケンスは任意の基準で時間的にセグメント化することができ、例えば、最初、中間、最後のセグメントにセグメント化することができる。ブロック１１０４で、ビデオシーケンスの特定セグメント内のフレームについてフレーム良好度を計算する。良好度は、上述したように、フレームのヒストグラムエントロピーおよびヒストグラム標準偏差に基づいて計算される。ブロック１１０６で、特定セグメントの局所的な最高良好度を決定する。ブロック１１０８で、局所的な最高良好度に関連するフレームとして、ビデオサムネイルを選択する。

図１２に、ビデオシーケンス全体の突出したコンテンツを視覚的に表すビデオサムネイルを識別するための別の代替の例示的方法１２００を示す。ブロック１２０２で、ビデオシーケンスをビデオショットにセグメント化する。ブロック１２０４で、第１のビデオショット内のビデオフレームに対して色ヒストグラムを計算する。ブロック１２０６で、上述した式（１）および（２）に従って、色ヒストグラムのエントロピーを計算する。ブロック１２０８で、上述した式（３）および（４）に従って、色ヒストグラムの標準偏差を計算する。ブロック１２１０で、フレーム良好度を計算する。フレームのフレーム良好度は、上述した式（５）および（６）に従って、エントロピーと標準偏差との重み付き組合せとして計算する。

方法１２００のブロック１２１２で、第１のビデオショット内の他のビデオフレームについて、他のフレーム良好度を計算する。次いでブロック１２１４で、第１のビデオショットの局所的な最高良好度を決定する。ブロック１２１６で、第１のビデオショットと同様にして、他のビデオショットについても他の局所的な最高フレーム良好度を計算する。ブロック１２１８で、局所的な最高フレーム良好度が最高値であるビデオフレームを、ビデオシーケンス全体の突出したコンテンツを視覚的に表すビデオサムネイルフレームとして選択する。

１つまたは複数の方法を、流れ図と、流れ図のブロックに関連するテキストとによって開示したが、これらのブロックは必ずしも提示したとおりの順番で実施する必要はなく、他の順番でも同様の利点をもたらすことを理解されたい。さらに、これらの方法は排他的ではなく、単独でまたは相互に組み合わせて実施することができる。

例示的なコンピュータ
図１３に、コンピュータ１０２を実現するのに使用することのできる適したコンピューティング環境１３００の例を示す。以下の考察から明白になるであろうが、コンピュータ１０２は任意の種類の汎用または専用コンピューティングプラットフォームを表すものであり、これは、ビデオサムネイルアルゴリズム３０８が備わったとき、図３に関して上述した第１の例示的な実施形態に従って、開示している本教示を実施する。図３のコンテキストでは、ビデオサムネイルアルゴリズム３０８をソフトウェアアプリケーションとして示しているが、コンピュータ１０２は別法として、ビデオサムネイルアルゴリズム３０８のハードウェア実装をサポートすることもできることを理解されたい。これに関し、ビデオサムネイルアルゴリズム３０８の記述を別にすれば、コンピュータ１０２に関する以下の記述は単に例示であり、より多いまたは少ない機能のコンピュータを適切に代用することもできる。

例えばコンピュータ１０２は、コンピュータ、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイスまたはラップトップデバイス、携帯通信デバイス、マルチプロセッサシステム、マイクロプロセッサシステム、マイクロプロセッサベースのシステム、消費者電子デバイス、ＶＣＲ、ビデオメディアプレーヤ、ビデオオンデマンドデバイス、およびその他の関連デバイスなど、ビデオ視聴が可能な任意のビデオ監視デバイスとして実現することができる。

コンピューティング環境１３００は、コンピュータ１３０２の形の汎用コンピューティングシステムを含む。コンピュータ１３０２のコンポーネントには、限定しないが、１つまたは複数のプロセッサまたは処理ユニット１３０４と、システムメモリ１３０６と、プロセッサ１３０４を含めた様々なシステムコンポーネントをシステムメモリ１３０６に結合するシステムバス１３０８とを含めることができる。

システムバス１３０８は、様々なバスアーキテクチャのいずれかを用いた、メモリバスまたはメモリコントローラ、周辺バス、ＡＧＰ（ａｃｃｅｌｅｒａｔｅｄ ｇｒａｐｈｉｃｓ ｐｏｒｔ）、プロセッサバスまたはローカルバスを含めて、いくつかのタイプのバス構造の任意の１つまたは複数を表す。例えばこのようなアーキテクチャには、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＭＣＡ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＥＩＳＡ（Ｅｎｈａｎｃｅｄ ＩＳＡ）バス、ＶＥＳＡ（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ）ローカルバス、およびメザニンバスとも呼ばれるＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｓ）バスを含めることができる。

コンピュータ１３０２は通常、様々なコンピュータ可読媒体を備える。このような媒体は、コンピュータ１３０２からアクセス可能な任意の利用可能な媒体とすることができ、揮発性と不揮発性との、取外し可能と取外し不可能との両方の媒体が含まれる。システムメモリ１３０６は、ランダムアクセスメモリ（ＲＡＭ）１３１０などの揮発性メモリ、および／または、読出し専用メモリ（ＲＯＭ）１３１２などの不揮発性メモリの形のコンピュータ可読媒体を含む。ＲＯＭ１３１２には、起動中などにコンピュータ１３０２内の要素間で情報を転送するのを助ける基本ルーチンを含むＢＩＯＳ（ｂａｓｉｃ ｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ）１３１４が記憶されている。ＲＡＭ１３１０は通常、処理ユニット１３０４がすぐにアクセス可能な、かつ／または処理ユニット１３０４が現在作用している、データおよび／またはプログラムモジュールを含む。

コンピュータ１３０２は、その他の取外し可能／取外し不可能、揮発性／不揮発性コンピュータ記憶媒体を備えることもできる。例えば図１３には、取外し不可能かつ不揮発性の磁気媒体（図示せず）に対して読み書きするためのハードディスクドライブ１３１６と、取外し可能かつ不揮発性の磁気ディスク１３２０（例えば「フロッピー（登録商標）ディスク」）に対して読み書きするための磁気ディスクドライブ１３１８と、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭやその他の光媒体など取外し可能かつ不揮発性の光ディスク１３２４に対して読み書きするための光ディスクドライブ１３２２を示す。ハードディスクドライブ１３１６、磁気ディスクドライブ１３１８、および光ディスクドライブ１３２２はそれぞれ、１つまたは複数のデータ媒体インタフェース１３２６によってシステムバス１３０８に接続される。あるいは、ハードディスクドライブ１３１６、磁気ディスクドライブ１３１８、および光ディスクドライブ１３２２は、ＳＣＳＩインタフェース（図示せず）によってシステムバス１３０８に接続されてもよい。

各ディスクドライブおよびそれらに関連するコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータの不揮発性記憶域をコンピュータ１３０２に提供する。この例では、ハードディスク１３１６が有する磁気媒体、取外し可能な磁気ディスク１３２０、および取外し可能な光ディスク１３２４が示してあるが、磁気カセットまたは他の磁気記憶デバイス、フラッシュメモリカード、ＣＤ−ＲＯＭ、ディジタル多用途ディスク（ＤＶＤ）または他の光記憶装置、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、電気的消去可能プログラム可能な読出し専用メモリ（ＥＥＰＲＯＭ）など、コンピュータからアクセス可能なデータを記憶することのできる他のタイプのコンピュータ可読媒体も、この例示的なコンピューティングシステムおよび環境を実現するのに利用することができることを理解されたい。

ハードディスク１３１６が有する磁気媒体、磁気ディスク１３２０、光ディスク１３２４、ＲＯＭ１３１２、および／またはＲＡＭ１３１０には、任意の数のプログラムモジュールを記憶することができる。例えばこれらには、オペレーティングシステム１３２６、１つまたは複数のアプリケーションプログラム１３２８、その他のプログラムモジュール１３３０、およびプログラムデータ１３３２が含まれる。このようなオペレーティングシステム１３２６、１つまたは複数のアプリケーションプログラム１３２８、その他のプログラムモジュール１３３０、およびプログラムデータ１３３２（またはこれらの何らかの組合せ）はそれぞれ、ユーザネットワークアクセス情報のためのキャッシュ方式の一実施形態を含むものとすることができる。

コンピュータ１３０２は、通信媒体として識別される様々なコンピュータ／プロセッサ可読媒体を備えることができる。通信媒体は通常、搬送波やその他のトランスポート機構などの変調データ信号中に、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータを組み入れたものであり、任意の情報送達媒体が含まれる。「変調データ信号」という語は、情報が信号中に符号化される形で１つまたは複数の特性が設定または変更される信号を意味する。限定ではなく例として、通信媒体には、配線式ネットワークや直接配線式接続などの配線式媒体と、音響、無線周波、赤外線、その他の無線媒体などの無線媒体とが含まれる。以上の任意の組合せもコンピュータ可読媒体の範囲に含めるべきである。

ユーザは、キーボード１３３４やポインティングデバイス１３３６（例えば「マウス」）などの入力デバイスを介して、コンピュータシステム１３０２にコマンドおよび情報を入力することができる。その他の入力デバイス１３３８（具体的には図示せず）には、マイクロホン、ジョイスティック、ゲームパッド、衛星受信アンテナ、シリアルポート、スキャナ、および／またはその他を含めることができる。これらおよび他の入力デバイスは、システムバス１３０８に結合された入出力インタフェース１３４０を介して処理ユニット１３０４に接続されるが、パラレルポート、ゲームポート、ユニバーサルシリアルバス（ＵＳＢ）など、他のインタフェースおよびバス構造で接続されてもよい。

モニタ１３４２または他のタイプの表示デバイスも、ビデオアダプタ１３４４などのインタフェースを介してシステムバス１３０８に接続することができる。モニタ１３４２に加えて、その他の出力周辺デバイスには、スピーカ（図示せず）やプリンタ１３４６などのコンポーネントを含めることができ、これらは入出力インタフェース１３４０を介してコンピュータ１３０２に接続することができる。

コンピュータ１３０２は、リモートコンピューティングデバイス１３４８など１つまたは複数のリモートコンピュータへの論理接続を用いて、ネットワーク化された環境で動作することができる。例えば、リモートコンピューティングデバイス１３４８は、パーソナルコンピュータ、携帯コンピュータ、サーバ、ルータ、ネットワークコンピュータ、ピアデバイス、またはその他の一般的なネットワークノードなどとすることができる。リモートコンピューティングデバイス１３４８は、コンピュータシステム１３０２に関して本明細書に述べた要素および機能の多くまたはすべてを備えることのできる携帯コンピュータとして示す。

コンピュータ１３０２とリモートコンピュータ１３４８との間の論理接続を、ローカルエリアネットワーク（ＬＡＮ）１３５０および一般的なワイドエリアネットワーク（ＷＡＮ）１３５２として示す。このようなネットワーキング環境は、オフィス、企業全体のコンピュータネットワーク、イントラネット、およびインターネットでよくみられるものである。コンピュータ１３０２は、ＬＡＮネットワーキング環境で実現されるときは、ネットワークインタフェースまたはアダプタ１３５４を介してローカルエリアネットワーク１３５０に接続される。ＷＡＮネットワーキング環境で実現されるとき、コンピュータ１３０２は通常、ワイドエリアネットワーク１３５２を介した通信を確立するためのモデム１３５６または他の手段を備える。モデム１３５６は、コンピュータ１３０２に内蔵でも外付けでもよく、入出力インタフェース１３４０または他の適切な機構を介してシステムバス１３０８に接続することができる。図示のネットワーク接続は例示的なものであり、コンピュータ１３０２と１３４８との間に通信リンクを確立する他の手段を採用することもできることを理解されたい。

コンピューティング環境１３００で示すようなネットワーク化された環境では、コンピュータ１３０２に関して示すプログラムモジュールまたはその一部を、リモートのメモリ記憶デバイスに記憶することができる。例えば、リモートアプリケーションプログラム１３５８が、リモートコンピュータ１３４８のメモリデバイス上にある。アプリケーションプログラム、およびオペレーティングシステムなどその他の実行可能プログラムコンポーネントは、ここでは説明のために個別のブロックとして示してある。ただし、このようなプログラムおよびコンポーネントは、様々な時点でコンピュータシステム１３０２の種々の記憶コンポーネント中にあり、コンピュータのデータプロセッサによって実行されることを理解されたい。

結び
本発明を構造上の特徴および／または方法上の動作に特定の言葉で述べたが、添付の特許請求の範囲に定義する本発明は、述べた具体的な特徴または動作に必ずしも限定されないことを理解されたい。そうではなく、これらの具体的な特徴および動作は、特許請求される本発明を実施する例示的な形として開示するものである。

ビデオファイルに対するビデオサムネイルを識別するのに適した例示的な環境を示す図である。 ビデオファイルに対するビデオサムネイルを識別するのに適した例示的な環境を示す図である。 図１の環境で実現することのできるコンピュータおよびビデオ入力ソースのブロック図である。 ビデオシーケンスの高レベル図である。 フレーム良好度を適用する前にビデオシーケンスを時間的にセグメント化するビデオサムネイルアルゴリズムの一実施形態を示す図である。 ビデオシーケンスからの多数のビデオフレームをそれぞれが含む典型的なビデオショットを示す図である。 ブロックに分割されたビデオフレームを示す図である。 図２の環境で実現することのできるスタンドアロンなビデオ録画デバイスのブロック図である。 ビデオシーケンスを代表する突出したコンテンツリッチなビデオサムネイルを識別するための例示的な方法を示す流れ図である。 ビデオシーケンスを代表する突出したコンテンツリッチなビデオサムネイルを識別するための例示的な方法を示す流れ図である。 ビデオシーケンスを代表する突出したコンテンツリッチなビデオサムネイルを識別するための例示的な方法を示す流れ図である。 ビデオシーケンスを代表する突出したコンテンツリッチなビデオサムネイルを識別するための例示的な方法を示す流れ図である。 コンピュータを実現するのに使用することのできる適したコンピューティング環境の例を示す図である。

符号の説明

１０２ コンピュータ
１０４ ビデオ入力ソース
１０４（１） 携帯記憶媒体
１０４（２） ビデオ録画デバイス
１０４（３） ネットワーク
２０２ スタンドアロンビデオ録画デバイス
３００ ＣＰＵ
３０２ 揮発性メモリ
３０４ 不揮発性メモリ
３０６ アプリケーションプログラム
３０８ ビデオサムネイルアルゴリズム
３１０ ビデオコンテンツ
３１２ サムネイルアルゴリズム情報
４００ ビデオシーケンス
４０２（Ｎ） ビデオフレーム
４０２（Ｎ−Ｒ） ビデオフレーム
５００ ビデオシーケンス
５０２ 最初のビデオフレームセグメント
５０４ 中間ビデオフレームセグメント
５０６ 最後のビデオフレームセグメント
５０８ ビデオフレーム
６００ ビデオシーケンス
６０２ ビデオショット１
６０４ ビデオショット２
６０６ ビデオショット３
６０８ ビデオショットＮ
７００ ビデオフレーム
７０２ ブロック
７０２（１） ブロック
７０２（２） ブロック
８００ ＣＰＵ
８０２ 揮発性メモリ
８０４ 不揮発性メモリ
８０６ オペレーティングシステムソフトウェア
８０８ ビデオキャプチャコンポーネント
８１０ ユーザ制御インタフェース
８１２ ビューファインダ
１３００ 適したコンピューティング環境
１３０２ コンピュータ
１３０４ 処理ユニット
１３０６ システムメモリ
１３０８ システムバス
１３１０ ランダムアクセスメモリ（ＲＡＭ）
１３１２ 読出し専用メモリ（ＲＯＭ）
１３１４ ＢＩＯＳ
１３１６ ハードディスクドライブ
１３１８ 磁気ディスクドライブ
１３２０ 磁気ディスク
１３２２ 光ディスクドライブ
１３２４ 光ディスク
１３２６ オペレーティングシステム
１３２６ データ媒体インタフェース
１３２８ アプリケーションプログラム
１３３０ その他のプログラムモジュール
１３３２ プログラムデータ
１３３４ キーボード
１３３６ ポインティングデバイス
１３３８ その他のデバイス
１３４０ 入出力インタフェース
１３４２ モニタ
１３４４ ビデオアダプタ
１３４６ プリンタ
１３４８ リモートコンピューティングデバイス
１３５０ ローカルエリアネットワーク（ＬＡＮ）
１３５２ ワイドエリアネットワーク（ＷＡＮ）
１３５４ ネットワークインタフェースまたはアダプタ
１３５６ モデム
１３５８ リモートアプリケーションプログラム

Claims (27)

1. プロセッサによって実行可能なコンピュータプログラム命令を含むタンジブルコンピュータ可読記録媒体であって、
   前記コンピュータプログラム命令は、プロセッサに、
   ビデオシーケンスを受け取ること、
   ヒストグラムエントロピーおよびヒストグラム標準偏差から前記ビデオシーケンス内のフレームのフレーム良好度を計算すること、および
   ユーザがビデオデータを閲覧するために、前記フレーム良好度に基づいた視覚的に表すサムネイルをユーザに表示することを実現させるプログラムであり、
   前記フレーム良好度を計算するためのコンピュータプログラム命令は、プロセッサに、
   色ヒストグラムを計算すること、
   前記色ヒストグラムのエントロピーを計算すること、
   前記色ヒストグラムの標準偏差を計算すること、および
   前記エントロピーと前記標準偏差との重み付き組合せとして前記良好度を計算するための命令を含むことを特徴とするコンピュータ可読記録媒体。
2. 前記フレーム良好度から最高良好度を決定することを実施するように構成されたプロセッサ実行可能命令をさらに含むことを特徴とする請求項１に記載のコンピュータ可読記録媒体。
3. 前記コンピュータプログラム命令は、前記最高良好度に対応するフレームからビデオサムネイルを生成するための命令をさらに含むことを特徴とする請求項２に記載のコンピュータ可読記録媒体。
4. プロセッサによって実行可能なコンピュータプログラム命令を含むタンジブルコンピュータ可読記録媒体であって、
   前記コンピュータプログラム命令は、プロセッサに、
   ビデオシーケンスを受け取ること、
   ヒストグラムエントロピーおよびヒストグラム標準偏差から前記ビデオシーケンス内のフレームのフレーム良好度を計算すること、および
   ユーザがビデオデータを閲覧するために、前記フレーム良好度に基づいた視覚的に表すサムネイルをユーザに表示することを実現させるプログラムであり、
   前記フレーム良好度を計算するためのコンピュータプログラム命令は、
   フレームをさらに複数のブロックに分割すること、
   各ブロックの色ヒストグラムを計算すること、
   前記色ヒストグラムのエントロピーを計算すること、
   前記色ヒストグラムの標準偏差を計算すること、
   前記エントロピーと前記標準偏差との重み付き組合せとして各ブロックのブロック良好度を計算すること、
   計算した各ブロックのブロック良好度から最低ブロック良好度を決定すること、および
   前記最低ブロック良好度を前記フレームのフレーム良好度として選択するための命令を含むことを特徴とするコンピュータ可読記録媒体。
5. プロセッサによって実行可能なコンピュータプログラム命令を含むタンジブルコンピュータ可読記録媒体であって、
   前記コンピュータプログラム命令は、プロセッサに、
   ビデオシーケンスを時間的にセグメント化すること、
   前記セグメント化したビデオシーケンス中の特定の時間的セグメント内の複数のビデオフレームの色ヒストグラムをそれぞれ計算すること、
   前記各色ヒストグラムのエントロピーをそれぞれ計算すること、
   前記各色ヒストグラムの標準偏差をそれぞれ計算すること、
   前記エントロピーと前記標準偏差との重み付き組合わせとしてフレーム良好度を各ビデオフレーム毎に計算すること、
   前記計算した各ビデオフレームのフレーム良好度から最高のフレーム良好度を選択すること、および
   ユーザがビデオデータを閲覧するために、前記選択された最高のフレーム良好度に基づいた視覚的に表すサムネイルをユーザに表示することを実現させるプログラムであることを特徴とするコンピュータ可読記録媒体。
6. 前記コンピュータプログラム命令は、前記選択された最高のフレーム良好度に関連するフレームからビデオサムネイルを生成するための命令をさらに含むことを特徴とする請求項５に記載のコンピュータ可読記録媒体。
7. フレーム良好度は前記特定の時間的セグメント内のｎ番目のフレームごとに計算され、ｎは１以上であることを特徴とする請求項５に記載のコンピュータ可読記録媒体。
8. 各フレーム良好度はヒストグラムエントロピーとヒストグラム標準偏差との重み付き組合せであることを特徴とする請求項５に記載のコンピュータ可読記録媒体。
9. 前記特定の時間的セグメントは、
   前記ビデオシーケンスの最初の時間的セグメントと、
   前記ビデオシーケンスの中間の時間的セグメントと、
   前記ビデオシーケンスの最後の時間的セグメントとから選択されることを特徴とする請求項５に記載のコンピュータ可読記録媒体。
10. プロセッサによって実行可能なコンピュータプログラム命令を含むタンジブルコンピュータ可読記録媒体であって、
    前記コンピュータプログラム命令は、プロセッサに、
    ビデオシーケンスを複数のビデオショットにセグメント化すること、
    第１のビデオショット中のビデオフレームの色ヒストグラムを計算すること、
    前記色ヒストグラムのエントロピーを計算すること、
    前記色ヒストグラムの標準偏差を計算すること、
    前記エントロピーと前記標準偏差との重み付き組合せとしてフレーム良好度を計算すること、および
    ユーザがビデオデータを閲覧するために、前記フレーム良好度に基づいた視覚的に表すサムネイルをユーザに表示することを実現させるプログラムであることを特徴とするコンピュータ可読記録媒体。
11. 前記コンピュータプログラム命令は、
    前記第１のビデオショット中の他のビデオフレームについて他のフレーム良好度を計算すること、および
    フレーム良好度を比較することによって前記第１のビデオショットの局所的な最高フレーム良好度を決定することを実施するための命令をさらに含むことを特徴とする請求項１０に記載のコンピュータ可読記録媒体。
12. 前記コンピュータプログラム命令は、
    前記ビデオシーケンス中の他のビデオショットについて他の局所的な最高フレーム良好度を計算すること、および
    局所的な最高フレーム良好度を比較することによって前記ビデオシーケンスに対するサムネイルビデオフレームを決定するための命令をさらに含むことを特徴とする請求項１１に記載のコンピュータ可読記録媒体。
13. 前記決定するためのコンピュータプログラム命令はさらに、
    最大値の局所的最高フレーム良好度を識別すること、および
    前記最大値の局所的最高フレーム良好度に対応するビデオフレームを前記サムネイルビデオフレームとして選択するための命令を含むことを特徴とする請求項１２に記載のコンピュータ可読記録媒体。
14. プロセッサによって実行可能なコンピュータプログラム命令を含むタンジブルコンピュータ可読記録媒体であって、
    前記コンピュータプログラム命令は、プロセッサに、
    ビデオシーケンスを複数のショットにセグメント化すること、
    前記複数のショットのそれぞれからフレームを選択すること、
    選択された各フレームごとに、色ヒストグラムを計算すること、
    前記各色ヒストグラムのエントロピーをそれぞれ計算すること、
    前記各色ヒストグラムの標準偏差をそれぞれ計算すること、
    前記エントロピーと前記標準偏差との重み付き組合せとしてフレーム良好度を前記選択したフレーム毎に計算すること、および
    前記フレーム良好度に応じて、前記選択されたフレームからサムネイルフレームを決定することを実現させるプログラムであり、
    前記サムネイルフレームは、ユーザがビデオデータを閲覧するのを容易にさせるための、ユーザへの表示であることを特徴とするコンピュータ可読記録媒体。
15. 前記決定するためのコンピュータプログラム命令はさらに、
    前記フレーム良好度から最高フレーム良好度を識別すること、および
    前記最高フレーム良好度に関連するフレームとして前記サムネイルフレームを決定するための命令をさらに含むことを特徴とする請求項１４に記載のコンピュータ可読記録媒体。
16. 前記セグメント化するためのコンピュータプログラム命令はさらに、ショット境界検出を実施するための命令を含むことを特徴とする請求項１４に記載のコンピュータ可読記録媒体。
17. ビデオシーケンス中のビデオフレームの色ヒストグラムを計算すること、
    前記色ヒストグラムのエントロピーを計算すること、
    前記色ヒストグラムの標準偏差を計算すること、および
    前記エントロピーと前記標準偏差との重み付き組合せとしてフレーム良好度を計算すること、および
    ユーザがビデオデータを閲覧するために、前記フレーム良好度に基づいた視覚的に表すサムネイルをユーザに表示すること
    を含むことを特徴とするコンピュータで実施される方法。
18. 前記ビデオシーケンス中の他のビデオフレームについて他のフレーム良好度を計算すること、および
    フレーム良好度を比較することによって前記ビデオシーケンスに対するサムネイルビデオフレームを決定することをさらに含むことを特徴とする請求項１７に記載の方法。
19. 前記決定することはさらに、
    最高フレーム良好度を識別すること、および
    前記最高フレーム良好度に対応するビデオフレームを前記サムネイルビデオフレームとして選択することを含むことを特徴とする請求項１８に記載の方法。
20. ビデオシーケンスを時間的にセグメント化すること、
    前記セグメント化したビデオシーケンス中の特定の時間的セグメント内の複数のビデオフレームの色ヒストグラムをそれぞれ計算すること、
    前記各色ヒストグラムのエントロピーをそれぞれ計算すること、
    前記各色ヒストグラムの標準偏差をそれぞれ計算すること、
    前記エントロピーと前記標準偏差との重み付き組合せとしてフレーム良好度を各ビデオフレーム毎に計算すること、
    前記計算した各ビデオフレームのフレーム良好度から最高のフレーム良好度を選択すること、および
    ユーザがビデオデータを閲覧するために、前記選択した最高のフレーム良好度に基づいた視覚的に表すサムネイルをユーザに表示すること
    を含むことを特徴とするコンピュータで実施される方法。
21. 前記選択した最高のフレーム良好度に関連するフレームからビデオサムネイルを生成することをさらに含むことを特徴とする請求項２０に記載の方法。
22. ビデオシーケンスを複数のショットにセグメント化すること、
    前記複数のショットのそれぞれからフレームを選択すること、
    選択された各フレームごとに、色ヒストグラムを計算すること、
    前記各色ヒストグラムのエントロピーをそれぞれ計算すること、
    前記各色ヒストグラムの標準偏差をそれぞれ計算すること、
    前記エントロピーと前記標準偏差との重み付き組合せとしてフレーム良好度を前記選択したフレーム毎に計算すること、
    前記フレーム良好度に応じて、前記選択されたフレームからサムネイルフレームを決定すること、および
    前記ユーザがビデオデータを閲覧するための前記サムネイルフレームを表示することを含むことを特徴とするコンピュータで実施される方法。
23. 前記決定することはさらに、
    前記フレーム良好度から最高フレーム良好度を識別すること、および
    前記最高フレーム良好度に関連するフレームとして前記サムネイルフレームを決定することを含むことを特徴とする請求項２２に記載の方法。
24. ビデオシーケンス中のビデオフレームの色ヒストグラムを計算する手段と、
    前記色ヒストグラムのエントロピーを計算する手段と、
    前記色ヒストグラムの標準偏差を計算する手段と、
    前記エントロピーと前記標準偏差との重み付き組合せとしてフレーム良好度を計算する手段と、
    ユーザがビデオデータを閲覧するために、前記フレーム良好度に基づいた視覚的に表すサムネイルをユーザに表示する手段と
    を備えることを特徴とするビデオ録画デバイス。
25. ビデオシーケンス中のビデオフレームの色ヒストグラムを計算する手段と、
    前記色ヒストグラムのエントロピーを計算する手段と、
    前記色ヒストグラムの標準偏差を計算する手段と、
    前記エントロピーと前記標準偏差との重み付き組合せとしてフレーム良好度を計算する手段と、
    ユーザがビデオデータを閲覧するために、前記フレーム良好度に基づいた視覚的に表すサムネイルをユーザに表示する手段と
    を備えることを特徴とするコンピュータ。
26. ビデオシーケンスを時間的にセグメント化する手段と、
    前記セグメント化したビデオシーケンス中の特定の時間的セグメント内の複数のビデオフレームの色ヒストグラムをそれぞれ計算する手段と、
    前記各色ヒストグラムのエントロピーをそれぞれ計算する手段と、
    前記各色ヒストグラムの標準偏差をそれぞれ計算する手段と、
    前記エントロピーと前記標準偏差との重み付き組合せとしてフレーム良好度を各ビデオフレーム毎に計算する手段と、
    前記計算した各ビデオフレームのフレーム良好度から最高のフレーム良好度を選択する手段と、
    ユーザがビデオデータを閲覧するために、前記選択した最高のフレーム良好度に基づいた視覚的に表すサムネイルをユーザに表示する手段と
    を備えることを特徴とするコンピュータ。
27. ビデオシーケンスを複数のショットにセグメント化する手段と、
    前記複数のショットのそれぞれからフレームを選択する手段と、
    選択された各フレームごとに、色ヒストグラムを計算する手段と、
    前記各色ヒストグラムのエントロピーをそれぞれ計算する手段と、
    前記各色ヒストグラムの標準偏差をそれぞれ計算する手段と、
    前記エントロピーと前記標準偏差との重み付き組合せとしてフレーム良好度を前記選択したフレーム毎に計算する手段と、
    前記フレーム良好度に応じて、前記選択されたフレームからサムネイルフレームを決定する手段と、
    前記ユーザがビデオデータを閲覧するための前記サムネイルフレームを表示する手段と
    を備えることを特徴とするコンピュータ。

Images