JP5038607B2 - スマートメディアコンテンツサムネイル抽出のシステムおよび方法 - Google Patents

Description

本発明は、一般にビデオレンダリングに関し、特に、ビデオデータから導出されるサムネイルを生成し、提示する方法に関する。

ホームエンターテイメント技術の収束に伴って、音楽、映画、写真、ＴＶ、ビデオ、ゲームなどの多数の様々な形態のコンテンツを記憶する装置の数が増えている。デジタルビデオレコーダ（ＤＶＲ）、ゲーム機、およびエンターテイメント用に設定された（ｅｎｔｅｒｔａｉｎｍｅｎｔ−ｃｏｎｆｉｇｕｒｅｄ）コンピュータ（例えば、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ社のＷｉｎｄｏｗｓ（登録商標）ＸＰ Ｍｅｄｉａ Ｃｅｎｔｅｒオペレーティングシステムが動作するコンピュータ）などの装置は、ユーザが多数の様々な形態のコンテンツを記録し、管理し、再生することを可能にする。セットトップボックスなどの低機能の装置でさえ、複数のタイプのコンテンツを記録するように設計することができる。

そのような装置は、より多くのコンテンツを記憶し、より多くの機能を提供するように構成されているので、結合力があり（ｃｏｈｅｓｉｖｅ）、理解でき、ユーザフレンドリな形で、様々な形態の記録されたコンテンツを提示する能力が、依然課題であり続ける。これは、可能な対話および興味を持たれたオブジェクトの識別の視覚化に関するユーザの体験を活用するように設計されたグラフィカルユーザインターフェース（ＧＵＩ）ベースのコンピューティング装置について特にそうである。例えば、それぞれのイメージファイルのコンテンツを表すためのＧＵＩ内の小さいアイコンの使用は、一般に、複数のイメージファイルにまたがるユーザのブラウジング体験を大幅に容易にするであろう。このシナリオでは、小さいアイコンが、各イメージファイルのコンテンツのビジュアル表現を提示することができ、したがって、ユーザは、興味のあるイメージを探すためにイメージファイルを１つずつ開く必要はない。

上記に鑑みて、ビデオファイルにビジュアルメディアが含まれるので、ビデオファイルとのユーザ対話は、ビデオコンテンツを実質的に代表する高品質サムネイルをユーザに提示できる場合に、質を高められる。残念ながら、単一のイメージファイルの代表的主題を識別することが比較的簡単であるのと比較して、ビデオファイルの代表的イメージを識別することは、かなり問題がある。これの理由の１つは、ビデオデータに固有の特性に起因する。ビデオデータは、時系列ベースであり、通常は、多数のイメージフレーム、おそらく数十万個のイメージフレームから構成されている。そのような大量のイメージフレームから、ビデオデータシーケンス全体の主題を表すのにサムネイルとしてどの特定のイメージフレームを使用すべきかを判定するのは、実質的に困難である。ビデオサムネイル生成の従来の技術は、この問題を克服していない。

例えば、既存のビデオサムネイル生成技術の１つでは、ビデオのコンテンツの代表的サムネイルとして、ビデオデータシーケンスの最初のフレームを使用する。残念ながら、ビデオデータの最初のフレームは、しばしば、黒のフレームであるか、意味のないプレパディングデータを含む場合がある。代表的でない黒または低いイメージ品質のサムネイルは、ユーザをいらいらさせ、ユーザがビデオファイル（記録されたメディアコンテンツ１４０を含む）を素早くブラウズすることを困難にする。したがって、この従来の技術は、ビデオデータシーケンスを代表するイメージフレームの選択をもたらす可能性が低く、実質的に制限されている。ビデオデータのサムネイルを生成するもう１つの既知の技術では、サムネイルのためにビデオのデータシーケンスから１フレームをランダムに選択する。そのようなランダム選択は、ビデオの実際のコンテンツに関する客観的な判断基準を考慮に入れていない。その結果、任意に選択されたフレームは、例えば意味のない主題、低品質の主題、コマーシャル主題、ノイズの多い主題、および／または全般的に代表的でない主題を含む、任意の、しばしば期待されないコンテンツを表す。

したがって、従来のビデオサムネイル生成技術は、通常、ビデオ主題の意味のあるサムネイルをもたらさない。したがって、ビデオのコンテンツを代表するビデオデータシーケンスのイメージフレームを突き止めるためのより客観的な判断基準を適用する必要がある。そのようなイメージフレームから生成されたサムネイルの提示は、エンドユーザが、ビデオの主題が興味のあるものであるかどうかをより正確に判断することを可能にするであろう。

スマートメディアコンテンツサムネイル抽出（ｓｍａｒｔ ｍｅｄｉａ ｃｏｎｔｅｎｔ ｔｈｕｍｂｎａｉｌ ｅｘｔｒａｃｔｉｏｎ）のシステムおよび方法を説明する。一態様では、番組メタデータが、記録されたビデオコンテンツから生成される。番組メタデータには、１つまたは複数の対応するショットからの１つまたは複数のキーフレームが含まれる。客観的に代表的なキーフレームが、ショット持続時間および複数のショットにまたがるキーフレームコンテンツの出現の頻度の関数として、キーフレームの間から識別される。客観的に代表的なキーフレームは、記録されたビデオコンテンツを代表するイメージフレームである。サムネイルが、客観的に代表的なキーフレームから作成される。

図面では、構成要素参照番号の左端の桁が、その構成要素が最初に現れる特定の図面を識別する。

概要
スマートメディアコンテンツサムネイル抽出の次のシステムおよび方法は、複数の客観的判断基準を使用して、ビデオのコンテンツを実質的に代表する高品質ビデオデータシーケンスのイメージフレームを識別し抽出する。次に、この抽出されたイメージフレームを使用して、視覚的に説明的であり、記録されたビデオデータシーケンスを実質的に代表するサムネイルを生成する。例えば、ビデオデータシーケンスからの実質的に最も代表的なイメージフレームは、高いイメージ品質（例えば、特にカラフルであり、黒フレームでない、または客観的に平凡を超えるフレーム）であり、コントラストがよく（例えば、ぼけていない）、コマーシャルセッションの一部でなく、ビデオデータの主題に適当である場合に主要な人の顔および／または主要なオブジェクトを含む。生成されたサムネイルイメージを、ユーザインターフェースで提示して、視聴者がＴＶ番組などの記録されたビデオデータの間でブラウズし、特定の記録されたビデオを選択するのを助ける。

例示的なシステム
必須ではないが、スマートメディアコンテンツサムネイル抽出のシステムおよび方法を、パーソナルコンピュータによって実行されるコンピュータ実行可能命令（プログラムモジュール）の一般的なコンテキストで説明する。プログラムモジュールには、一般的に、特定のタスクを実行するか特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。このシステムおよび方法を、前述のコンテキストで説明するが、以下に説明する作用および動作は、ハードウェアで実施することもできる。

例示のために、スマートメディアコンテンツサムネイル抽出のシステムおよび方法は、放送ＴＶ網、対話型ＴＶ網、ケーブル網、およびウェブ対応ＴＶ網などのテレビジョンベースのシステムを含むオーディオおよび／またはグラフィックスのエンターテイメントシステムおよび情報システムを対象とする。説明されるシステムおよび方法の諸態様は、任意の数のエンターテイメントシステムおよび情報システムで、および任意の数およびタイプのクライアント装置内で実施することができる。

図１に、スマートメディアコンテンツサムネイル抽出のシステムおよび方法を部分的にまたは完全に実施できる例示的なアーキテクチャ１００を示す。システム１００には、クライアント装置１０２、ディスプレイ１０４（例えば、テレビジョン、モニタなど）、および１つまたは複数のコンテンツプロバイダ１０６が含まれる。コンテンツプロバイダ１０６は、映画、ＴＶ番組、コマーシャル、音楽などのオンデマンドのおよび／または放送されるメディアコンテンツ１０８、ならびに類似するオーディオコンテンツ、ビデオコンテンツ、および／またはイメージコンテンツの配布を制御する。コンテンツプロバイダ１０６は、衛星オペレータ、ネットワークテレビジョンオペレータ、ケーブルオペレータ、ウェブベースコンテンツプロバイダなどを代表する。

クライアント装置１０２は、コンテンツプロバイダ１０６によって配布されるメディアコンテンツ１０８を受信し、かつ／または記憶する。具体的に言うと、クライアント装置１０２は、コンテンツプロバイダ１０６によって放送または別の方法で送信されたＴＶ番組を受信し、記録するように構成されている。ＴＶ番組の例には、ニュース、ホームコメディ、コメディ、ＴＶ映画、インフォマーシャル、トークショー、スポーツイベントなどが含まれる。クライアント装置１０２は、スタンドアロンパーソナルコンピューティング装置、ＴＶ対応コンピューティング装置、コンピュータベースのメディアサーバ、セットトップボックス、衛星放送受信器、ハードディスク付きＴＶレコーダ、デジタルビデオレコーダ（ＤＶＲ）、ゲーム機、情報機器などを含むいろいろな形で実施することができる。

アーキテクチャ１００の例示的な実施形態では、クライアント装置１０２は、衛星通信、無線通信、ケーブル伝送などの様々な伝送媒体１１０を介して、ならびに／あるいはネットワーク上（例えばインターネットまたはイントラネット）のファイル転送プロトコルおよび／またはデータパケット通信などさまざまな他の伝送媒体を介して、メディアコンテンツ１０８を受信する。クライアント装置１０２に、１つまたは複数のメディアコンテンツ入力１１２が含まれ、このメディアコンテンツ入力１１２には、テレビジョン信号を受信するために様々な周波数またはチャンネルに同調できるチューナおよび／またはインターネットプロトコル（ＩＰ）ベースのネットワークを介してメディアコンテンツのストリームがそれを介して受け取られるＩＰ入力を含めることができる。

クライアント装置１０２に、１つまたは複数のプロセッサ１１４も含まれ、このプロセッサ１１４は、様々な命令を処理して、クライアント装置１０２の動作を制御し、クライアント装置に記憶されたアプリケーションを実行し、他の電子装置およびコンピューティング装置と通信する。プロセッサ１１４に、さらに、メディアコンテンツおよび番組データを受信し、処理し、デコードするコンテンツプロセッサを含めることができる。クライアント装置１０２は、ディスプレイ１０４または、オーディオデータおよびビデオデータを処理し、かつ／または表示し、あるいは別の方法でレンダリングする他の装置にオーディオデータおよびビデオデータを供給するオーディオ／ビデオ出力１１６も備える。ビデオ信号およびオーディオ信号を、ＲＦ（ラジオ周波数）リンク、Ｓビデオリンク、コンポジットビデオリンク、コンポーネントビデオリンク、アナログオーディオ接続、または他の類似する通信リンクを介してクライアント装置１０２からディスプレイ１０４に通信することができる。

クライアント装置１０２は、揮発性メモリおよび不揮発性メモリの両方を含む、様々なタイプのメモリコンポーネントを備えている。この例では、クライアント装置１０２が、記録媒体１２０およびキャッシュ１２２を有する。記録媒体１２０は、ハードディスクドライブ、ＲＡＩＤシステム、記録可能および／または書換可能ディスクなどの様々な不揮発性記憶媒体を使用していろいろな形で実施することができる。キャッシュ１２２は、例えば、クライアント装置１０２でのデータ処理中のより高速なアクセスのためにランダムアクセスメモリ（ＲＡＭ）として実施することができる。図示されていないが、クライアント装置に、さらに、１つまたは複数のデータメモリコンポーネントならびにアプリケーションを記憶するプログラムメモリを含めることができる。

１つまたは複数のアプリケーションプログラムを、プログラムメモリに記憶し、プロセッサ１１４によって実行することができる。図１に示された代表的なアプリケーションに、サムネイルジェネレータ１３０、ユーザインターフェース（ＵＩ）アプリケーション１３２、電子番組ガイド（ＥＰＧ）アプリケーション１３４、およびＤＶＲおよび再生アプリケーション１３６が含まれる。オペレーティングシステム（図３に図示）も、記憶装置内で維持し、プロセッサ１１４で実行することができる。

ＤＶＲおよび再生アプリケーション１３６は、コンテンツプロバイダ１０６から受信したメディアコンテンツを記録媒体１２０に記録する。記録されたメディアコンテンツ１４０には、例えば、視聴者が後で見るために記録したＴＶ番組が含まれる。ＤＶＲおよび再生アプリケーション１３６は、ディスプレイ１０４での、記録されたメディアコンテンツ１４０の再生も容易にする。

ＵＩアプリケーション１３２は、ユーザが、記録されたメディアコンテンツ１４０をブラウズし、選択することを可能にする。この実施例で、ＵＩアプリケーション１３２は、記録媒体１２０に記憶されたメディアコンテンツ１４０を識別し、ある方法でメディアコンテンツ１４０を処理するオプションを提供する対話型グラフィカルＵＩスクリーンをサポートする。例えば、ＵＩスクリーンは、様々な記録されたコンテンツ（例えば、オーディオ、静止画、ビデオ、ＴＶ番組など）へのナビゲーションを可能にし、最近記録されたコンテンツをリスト化し、または特定のコンテンツに関する詳細情報を提供することを可能にすることができる。１つの例示的なＵＩスクリーン１４２が、ディスプレイ１０４に示されている。このＵＩスクリーン１４２に、最も最近に記録されたメディアコンテンツ１４０が示されている。

ＥＰＧアプリケーション１３４は、ディスプレイ１０４で提示される番組ガイドを生成する。番組ガイドには、いつ特定のコンテンツが視聴のために放送されるか、どのチャネルでそのコンテンツが放送されるかを示すスケジュールが含まれる。ＥＰＧアプリケーション１３４は、視聴者が、番組ガイドをナビゲートし、放送される番組、記録された番組、ビデオオンデマンドの番組および映画、対話型ゲームセレクション、および視聴者が興味を持つ他のメディアアクセス情報またはコンテンツを突き止めることを可能にする。ＥＰＧデータ１４４が、コンテンツプロバイダ１０６からダウンロードされ、記録媒体１２０に記憶され、そこで、番組ガイドに投入するためにＥＰＧアプリケーション１３４によってアクセスされる。

サムネイルジェネレータ１３０は、記録されたメディアコンテンツ（ビデオデータ）１４０を代表するサムネイルイメージ１５０を作成し、サムネイルイメージ１５０をキャッシュ１２２に記憶する。サムネイルイメージまたは単に「サムネイル」は、実際のビデオコンテンツ（記録されたメディアコンテンツ１４０）から導出され、ＵＩアプリケーション１３２および／またはＥＰＧアプリケーション１３４によって、記録されたメディアコンテンツ１４０をＵＩスクリーンで視覚的に表すのに使用される。サムネイル１５０をキャッシュ１２２に記憶することによって、サムネイル１５０が、適切なＵＩスクリーンに投入するための即座の取り出しに使用可能になる。サムネイル１５０を、その代わりにまたはそれに加えて、記録媒体１２０などの他のメモリに記憶することができる。

図１では、ＵＩスクリーン１４２に、記録媒体１２０に記憶された記録されたメディアコンテンツ１４０から作成された６つのサムネイルイメージ１５２が示されている。サムネイルは、関連するＴＶ番組からの代表的なビデオフレームを示し、その結果、視聴者が、記憶された番組を示されたサムネイルに視覚的に関連付けるようになる。視聴者は、リモートコントロールハンドセット１５４などの入力装置を使用してスクリーン１４２をナビゲートして、どのＴＶ番組が記録媒体１２０に記録されているかを確認する手段としてサムネイルの間でブラウズすることができる。ハンドセット１５４を用いて、視聴者は、サムネイルを選択して、クライアント装置１０２（例えば、ＤＶＲおよび再生アプリケーション１３６などのコンピュータプログラムアプリケーション）に、選択されたサムネイル１５０に関連付けられた記録されたメディアコンテンツ１４０を再生させることができる。

一実施形態で、サムネイルジェネレータ１３０は、ＴＶ番組が記録されつつあるときに２つのサムネイルを作成するように構成される。一時的サムネイルは、ＴＶ番組が最初に記録を開始するときに導出される。一実施例で、一時的サムネイルは、ＴＶ番組の開始部分から抽出されたビデオフレームから導出される。例えば、サムネイルジェネレータ１３０は、ＴＶ番組の最初の空白でないビデオフレームを選択し、このビデオフレームから、一時的サムネイルが導出される。このような方法で、サムネイルイメージが、数秒以内に生成され、ＴＶ番組の記録が始まるや否や、ＵＩスクリーンでの即座の表示に使用可能になる。

永久的サムネイル１５０は、その後、記録されたメディアコンテンツ１４０がより多く記録されたときに生成される。議論のために、永久的サムネイルを、別のサムネイルによって置換することができ、したがって、これは、このように永久的でない。永久的サムネイルは、スマートメディアコンテンツサムネイル抽出技術に従って、ビデオデータの分析およびモデリングに基づいて生成される。これらの技術は、記録されたメディアコンテンツ１４０の、一時的サムネイル１５０を生成するのに使用されるビデオデータの量と比較してより大きい部分の分析に依存する。これらのスマートメディアコンテンツサムネイル抽出動作は、コンテンツを実質的に代表し、暗くなく、ぼけておらず、ノイズがなく、コマーシャルコンテンツからなっていないイメージフレームを、記録されたメディアコンテンツ１４０から選択する。一実施例で、永久的サムネイルは、所定の量のコンテンツ１４０が記録された後（例えば、１５分、３０分など）または番組全体が記録された後に生成される。

サムネイルジェネレータ１３０は、次の動作を実行して永久的サムネイル１５０を生成する。サムネイルジェネレータ１３０は、まず、記録されたメディアコンテンツ１４０から番組メタデータ１５６を作る。番組メタデータ１５６には、記録されたメディアコンテンツ１４０（ビデオ）のショット境界、ショットキーフレーム、およびショットにコマーシャルコンテンツが含まれるかどうかの表示が含まれる。ショットは、特定のセマンティクス、コヒーレントなカメラモーション、および一貫した外観を有する短いビデオクリップである。ショット境界は、ショットの開始イメージフレーム境界または終了イメージフレーム境界を識別する。ショット境界は、サブショット、キーフレームなど、番組メタデータ１５６の他の態様を識別するのに使用される。サムネイルジェネレータ１３０は、番組メタデータ１５６を分析して、ショット持続時間、ショットコンテンツ反復頻度、およびコンテンツ品質の関数として代表的なイメージフレームを識別する。

具体的に言うと、サムネイルジェネレータ１３０は、複数の可能なショット境界検出技術の１つを使用して、記録されたメディアコンテンツ１４０をそれぞれのショット（基本セマンティック単位）に分解する。次に、サムネイルジェネレータ１３０は、カメラモーションの関数として各ショットをサブショットにセグメント化する。ショットの関連するサブショットごとに、サムネイルジェネレータ１３０は、他のサブショットと比較して実質的に低いモーション強度を有する、持続時間において最長のキーフレームを順次選択する。モーション強度は、次のように定義される。

ここで、ｄｘ_i,jおよびｄｙ_i,jは、それぞれｘ軸およびｙ軸に沿った動きベクトルの２つの成分であり、ＭおよびＮは、それぞれ動きベクトル場の幅および高さを表す。

この実施例では、コマーシャルコンテンツを含むキーフレームが、ビデオデータシーケンスの代表的イメージフレーム（すなわち、永久的サムネイル１５０の候補）として選択されないことを保証するために、サムネイルジェネレータ１３０が、１つまたは複数の既知のコマーシャルコンテンツ検出動作を実施して、ショットにコマーシャルコンテンツが含まれるかどうかを判定する。コマーシャルコンテンツ検出の結果に基づいて、サムネイルジェネレータ１３０は、ショットの各キーフレームまたは各ショットにインディケーション（例えばフラグ）を用いてタグを付けて、ショットにコマーシャルコンテンツが含まれるかどうかを示す。

非常に短いショットは、重要でなく、コマーシャルコンテンツを含む可能性が最も高いと考えられる。重要なショットは、統計的に、詳細を提示するものであり、比較的長い持続時間があると判定される。低いイメージ品質のキーフレーム（例えば、黒、雑音が多い、パディングされたフレームなど）を含むショットは、記録されたメディアコンテンツ１４０の実質的な表現に有用でないと考えられる。この判断基準に鑑みて、サムネイルジェネレータ１３０は、ショットをフィルタリングして、（ａ）持続時間が十分に長くない、（ｂ）コマーシャルコンテンツを含む、および／または（ｃ）イメージ品質のある閾値を満足しないキーフレームを含むショットを番組メタデータ１５６から除去する。

この実施形態で、閾値イメージ品質（良さ「Ｇ」）は、次のように決定される彩度およびコントラストの関数である。
Ｇ＝αＣ＋βσ （２）
式（２）では、Ｃが、カラーヒストグラムエントロピによって定義される彩度の尺度であり、σが、カラーヒストグラムの標準偏差として計算されたコントラストの尺度であり、αおよびβが、彩度とコントラストの重みであり、α＋β＝１（α＞０，β＞０）である。コマーシャルプロパティにフラグが立てられている場合に、コマーシャルとしてマークされたすべてのキーフレームも、このステップでフィルタリングされ除去される。

この時点で、番組メタデータ１５６に、実質的に重要な客観的に判定された高いイメージ品質のキーフレームが含まれる。各残りのキーフレームは、永久的サムネイル１５０としての選択の候補である。サムネイルジェネレータ１３０は、監視されない方法で、外観の類似性に基づいて残りのキーフレームを複数のグループにクラスタ化する。この実施形態では、クラスタ化実行のための外観表現が、５０次元カラー相関曲線に基づいている。相関曲線は、効果的に、色のグローバル分布およびローカル空間相関を記述し、外観および形状の大きい変化をロバストに許容する。イメージＩおよびｍビン（ｂｉｎｓ）を有するそのヒストグラムｈを与えられれば、Ｉの相関曲線は、ｃｏｌｏｒ（ｉ，ｊ）∈［０，ｍ−１］、距離ｋ∈［１，ｄ］について、

と定義される。

類似性尺度が、外観ベースのクラスタ化のもう１つの要素である。この実施例では、２つのベクトルの間のコサインを、類似性尺度として採用する。例えば、γ_aおよびγ_bが、２つのベクトルまたは相関曲線を表すものとすると、類似性は、

として計算される。

この時点で、原理的に、最大のクラスタに含まれるキーフレームのどれであっても、類似する外観に起因して、ＴＶ／ビデオサムネイルとして使用され得る。しかし、キーフレームに含まれる情報の観点からは、キーフレームの間に大きい変動がある。ユーザは、１つまたは複数の主要な正面の顔または主オブジェクトを有するサムネイル１５０を好むかもしれない。というのは、人間の顔または特定のオブジェクトが、通常、例えば単純なシーンまたは雑然としたシーンを表すイメージフレームと比較して、より多くのセマンティクスを伝えるからである。そのような好みを考慮に入れるために、サムネイルジェネレータ１３０は、顔検出技術を使用して、最大のクラスタのキーフレームから顔を検索する。人間の顔が、いずれかの候補キーフレームで識別された場合に、最大の顔領域を有するキーフレームが、記録されたメディアコンテンツ１４０の永久的サムネイル１５０として選択される。

人間の顔が候補キーフレームで識別されない場合には、サムネイルジェネレータ１３０は、注目度検出動作を実施して、キーフレームから主要なオブジェクトを探す。このシナリオでは、最大のオブジェクト領域を有するキーフレームが、永久的サムネイル１５０（すなわち「サムネイル１５０」）として選択される。

ＴＶ番組から作成される一時的なまたは永久的なサムネイル１５０は、静的または動的とすることができる。静的サムネイルには、ビデオコンテンツから生成された静止画が含まれる。動的サムネイルは、サムネイルがアニメ化されて見えるように連続的なループで再生される、ビデオコンテンツから生成された複数のイメージからなる。

一時的なおよび永久的なサムネイル１５０は、対応する記録されたメディアコンテンツ１４０に関連してキャッシュ１２２に記憶され、その結果、ＵＩアプリケーション１３２および／またはＥＰＧアプリケーション１３４が、特定のＴＶ番組に関する情報を表示するときに、対応するサムネイルが、キャッシュ１２２から取り出され、ＵＩスクリーンに提示される。サムネイルをＴＶ番組に関連付ける１つの方法は、プログラムメモリまたはデータメモリなどのメモリに記憶されたデータ構造体を介することである。

例示的な手順
図２に、スマートメディアコンテンツサムネイル抽出の例示的な手順２００を示す。説明のために、この手順の動作を、図１の特徴に関して説明する（すべての符号は、コンポーネントが最初に導入された図面の番号から始まる）。ブロック２０２で、サムネイルジェネレータモジュール１３０が、記録されたメディアコンテンツ１４０から番組メタデータ１５６を生成する。上で説明したように、これは、記録されたメディアコンテンツ１４０をショットの組に分解することによって達成される。次に、これらのショットを、さらに、カメラモーション判断基準に従ってサブショットにセグメント化して、各ショットの候補キーフレームを突き止める。ブロック２０４で、サムネイルジェネレータモジュール１３０が、ショット持続時間、コマーシャルコンテンツ、および／またはイメージフレーム品質などの複数のショット資格付与判断基準に基づいてショットをフィルタリングする。ブロック２０６で、サムネイルジェネレータモジュール１３０が、ショットの外観に基づいて、残りのショット（ブロック２０４の動作によるフィルタリングで除去されなかったショット）をクラスタ化する。ブロック２０８で、サムネイルジェネレータモジュール１３０が、最大のクラスタに人間の顔を有するキーフレームが含まれるかどうかを判定する。顔を有する場合には、手順２００はブロック２１０に継続され、候補キーフレームを、顔の領域（Ｆａｃｉａｌ Ａｒｅａ）に従ってランク付けする。ブロック２１２で、サムネイルジェネレータモジュール１３０が、最大の顔領域を有すると判定されたキーフレームから永久的サムネイル１５０を生成する。

ブロック２１４で、サムネイルジェネレータモジュール１３０は、永久的サムネイル１５０をキャッシングする。ブロック２１６で、サムネイルジェネレータモジュール１３０が、記録されたメディアコンテンツ１４０の識別子としてサムネイル１５０を表示する。

サムネイルジェネレータモジュール１３０が最大のクラスタに人間の顔を有するキーフレームが含まれるかどうかを判定するブロック２０８で、人間の顔が存在しない場合に、手順２００は、ブロック２１８に継続される。ブロック２１８で、サムネイルジェネレータモジュール１３０は、イメージ注目度分析動作によって識別される関心を向けられる領域の関数として候補キーフレームをランク付けする。ブロック２２０で、サムネイルジェネレータモジュール１３０が、最高の実質的に関心を向けられる領域のランク付けを有するキーフレームから永久的サムネイル１５０を生成する。手順２００の動作は、上で説明したようにブロック２１４に継続される。

例示的なオペレーティング環境
図３に、スマートメディアコンテンツサムネイル抽出を提供する図１のアーキテクチャ１００および図２の手順２００を完全にまたは部分的に実施できる適切なコンピューティング環境３００の例を示す。したがって、このコンピューティング環境３００の諸態様を、図１および２の例示的なコンポーネントおよび動作に関して説明する。コンポーネントまたは動作（手続きブロック）の左端の桁は、そのコンポーネント／動作が初めて現れた特定の図を識別する。例示的なコンピューティング環境３００は、適切なコンピューティング環境の一例にすぎず、本明細書に記載のシステムおよび方法の使用または機能の範囲に関する限定を示唆することを意図したものではない。また、コンピューティング環境３００を、コンピューティング環境３００に示されたコンポーネントのいずれかまたはその組合せに対する依存性または要件を有するものと解釈してはならない。

本明細書に記載の方法およびシステムは、多数の他の汎用または専用のコンピューティングシステム環境または構成と共に使用できる。使用に適し得る周知のコンピューティングシステム、コンピューティング環境、および／またはコンピューティング構成の例として、パーソナルコンピュータ、サーバコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースのシステム、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたは装置のいずれかを含む分散コンピューティング環境などが挙げられるが、これらに限定はされない。このフレームワークのコンパクト版またはサブセット版を、ハンドヘルドコンピュータまたは他のコンピューティング装置などの制限されたリソースのクライアント装置１０２で実施することもできる。本発明は、通信ネットワークを介してリンクされたリモート処理装置によってタスクが実行される分散コンピューティング環境でも実施される。分散コンピューティング環境では、プログラムモジュールを、ローカルとリモートの両方のメモリ記憶装置に置くことができる。

図３を参照すると、システム３００に、コンピュータ３１０の形態の汎用コンピューティング装置が含まれる。コンピュータ３１０のコンポーネントに、処理装置３２０、システムメモリ３３０、およびシステムメモリを含む様々なシステムコンポーネントを処理装置３２０に結合するシステムバス３２１が含まれるが、これらに限定されない。システムバス３２１は、内部バスの例示的実施形態であり、メモリバスまたはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスを含むいくつかのタイプのバス構造のいずれかとすることができる。限定ではなく例として、そのようなアーキテクチャに、インダストリースタンダードアーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、エンハンスドＩＳＡ（ＥＩＳＡ）バス、ビデオエレクトロニクススタンダードアソシエーション（ＶＥＳＡ）ローカルバス、およびメザニンバスまたはＰＣＩバスとも称するペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスを含めることができる。

コンピュータ３１０に、通常、様々なコンピュータ可読媒体が含まれる。コンピュータ可読媒体は、コンピュータ３１０によってアクセスでき、揮発性媒体および不揮発性媒体、リムーバブル媒体および非リムーバブル媒体の両方を含む使用可能な媒体のいずれかとすることができる。限定ではなく例として、コンピュータ可読媒体に、コンピュータ記憶媒体および通信媒体を含めることができる。コンピュータ記憶媒体に、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶する任意の方法または技術で実施された、揮発性および不揮発性、リムーバブルおよび非リムーバブルの媒体が含まれる。コンピュータ記憶媒体に、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、および他のメモリテクノロジ、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、または他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、または他の磁気記憶装置、あるいは所望の情報の記憶に使用でき、コンピュータ３１０によってアクセスできる他のすべての媒体が含まれるが、これらに限定されない。

通信媒体は、通常、搬送波または他のトランスポート機構などの変調されたデータ信号中にコンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを具現化するものであり、通信媒体には、すべての情報伝達媒体が含まれる。用語「変調されたデータ信号」は、信号内で情報を符号化する形でその特性の１つまたは複数を設定または変更された信号を意味する。限定ではなく例として、通信媒体には、有線ネットワークまたは直接配線接続などの有線媒体と、音響、ＲＦ、赤外線、および他の無線媒体などの無線媒体が含まれる。上記のいずれかの組合せも、コンピュータ可読媒体の範囲に含めるべきである。

システムメモリ３３０に、読出し専用メモリ（ＲＯＭ）３３１およびランダムアクセスメモリ（ＲＡＭ）３３２などの揮発性メモリおよび／または不揮発性メモリの形態のコンピュータ記憶媒体が含まれる。起動中などにコンピュータ３１０内の要素の間での情報の転送を助ける基本ルーチンを含む基本入出力システム３３３（ＢＩＯＳ）が、通常、ＲＯＭ ３３１に記憶される。

ＲＡＭ ３３２には、通常は、処理装置３２０から即座にアクセス可能、かつ／または処理装置３２０によって現在操作中のデータおよび／またはプログラムモジュールが含まれる。限定ではなく例として、図３に、オペレーティングシステム３３４、アプリケーションプログラム３３５、他のプログラムモジュール３３６、およびプログラムデータ３３７を示す。一実施例では、アプリケーションプログラム３３５に、サムネイルジェネレータ（エクストラクタ）モジュール１３０（図１）が含まれる。プログラムデータ３３７には、例えば、記録されたメディアコンテンツ１４０、番組メタデータ１５６が含まれ、この番組メタデータ１５６には、例えば、抽出されたショット、サブショット、ショット境界表示（ｓｈｏｔ−ｂｏｕｎｄａｒｙ ｉｎｄｉｃａｔｉｏｎ）、キーフレーム、キーフレームイメージ品質尺度（例えば、良さ尺度）、ショットクラスタ、外観表現尺度、類似性尺度、キーフレームランキング値、注目度値（例えば、関心を向けられる領域（面積））、中間計算、およびショット持続時間の閾値などの他のデータが含まれる。

コンピュータ３１０に、他のリムーバブル／非リムーバブル、揮発性／不揮発性のコンピュータ記憶媒体も含めることができる。例としてのみ、図３に、非リムーバブル不揮発性磁気媒体から読み取るかこれに書き込むハードディスクドライブ３４１、リムーバブル不揮発性磁気ディスク３５２から読み取るかこれに書き込む磁気ディスクドライブ３５１、ＣＤ−ＲＯＭまたは他の光媒体などのリムーバブル不揮発性光ディスク３５６から読み取るかこれに書き込む光ディスクドライブ３５５を示す。例示的なオペレーティング環境で使用できる他のリムーバブル／非リムーバブル、揮発性／不揮発性のコンピュータ記憶媒体には、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどが含まれるが、これに限定されない。ハードディスクドライブ３４１は、通常は、インターフェース３４０などの非リムーバブルメモリインターフェースを介してシステムバス３２１に接続され、磁気ディスクドライブ３５１および光ディスクドライブ３５５は、通常、インターフェース３５０などのリムーバブルメモリインターフェースによってシステムバス３２１に接続される。

上で説明し、図３に示したドライブおよびそれに関連するコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの記憶をコンピュータ３１０に提供する。図３では、例えば、ハードディスクドライブ３４１が、オペレーティングシステム３４４、アプリケーションプログラム３４５、他のプログラムモジュール３４６、およびプログラムデータ３４７を記憶するものとして図示されている。これらのコンポーネントを、オペレーティングシステム３３４、アプリケーションプログラム３３５、他のプログラムモジュール３３６、およびプログラムデータ３３７と同一のものまたは異なるもののいずれかとすることができることに留意されたい。オペレーティングシステム３４４、アプリケーションプログラム３４５、他のプログラムモジュール３４６、およびプログラムデータ３４７は、少なくとも異なるコピーであることを示すためにここでは、異なる符号を与えられている。

ユーザは、キーボード３６２および、一般にマウス、トラックボール、またはタッチパッドと称するポインティングデバイス３６１などの入力装置を介してコンピュータ３１０にコマンドおよびユーザオーディオポリシーデータなどの情報を入力することができる。他の入力装置（図示せず）には、マイクロホン（オーディオキャプチャ）オーディオ装置、ジョイスティック、ゲームパッド、衛星パラボラアンテナ、スキャナなどを含めることができる。これらおよび他の入力装置は、しばしば、システムバス３２１に結合されたユーザ入力インターフェース３６０を介して処理装置３２０に接続されるが、パラレルポート、ゲームポート、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ １３９４ ＡＶ／Ｃバス、ＰＣＩバス、および／または類似物などの他のインターフェースおよびバス構造によって接続することもできる。

モニタ３９１または他のタイプのディスプレイ装置も、ビデオインターフェース３９０などのインターフェースを介してシステムバス３２１に接続される。モニタのほかに、コンピュータに、オーディオ装置３９７およびプリンタ３９６など、出力周辺装置インターフェース３９５を介して接続できる他の周辺出力装置も含めることができる。この実施例では、入力周辺装置インターフェース３９４および出力周辺装置インターフェース３９５のそれぞれが、オーディオコーデックの動作をカプセル化する。

コンピュータ３１０は、リモートコンピュータ３８０などの１つまたは複数のリモートコンピュータへの論理接続を使用して、ネットワーク化された環境で動作することができる。リモートコンピュータ３８０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、または他の一般的なネットワークノードとすることができ、その特定の実装形態に応じて、上でコンピュータ３１０に関して説明した構成要素の多くまたはすべてを含めることができるが、図３には、メモリ記憶装置３８１だけを示した。図３に示された論理接続に、ローカルエリアネットワーク（ＬＡＮ）３７１および広域ネットワーク（ＷＡＮ）３７３が含まれるが、他のネットワークも含めることができる。そのようなネットワーキング環境は、オフィス、会社全体のコンピュータネットワーク、イントラネット、およびインターネットで一般的なものである。

ＬＡＮネットワーキング環境で使用されるときに、コンピュータ３１０は、ネットワークインターフェースまたはネットワークアダプタ３７０を介してＬＡＮ ３７１に接続される。ＷＡＮネットワーキング環境で使用されるときに、コンピュータ３１０には、通常、インターネットなどのＷＡＮ ３７３を介する通信を確立するモデム３７２または他の手段が含まれる。モデム３７２は、内蔵または外付けとすることができるが、ユーザ入力インターフェース３６０または他の適当な機構を介してシステムバス３２１に接続することができる。ネットワーク化された環境では、コンピュータ３１０に関して示されたプログラムモジュールまたはその一部を、リモートメモリ記憶装置に記憶することができる。限定ではなく例として、図３に、メモリデバイス３８１に常駐するものとしてリモートアプリケーションプログラム３８５を示す。図示のネットワーク接続は例示的であり、コンピュータ間の通信リンクを確立する他の手段を使用することもできる。

結論
スマートメディアコンテンツサムネイル抽出（生成）のシステムおよび方法を、構造的特徴および／または方法論的動作もしくは作用に固有の言葉で説明したが、添付の特許請求の範囲で規定される実施例が、必ずしも、説明した特定の特徴または作用に限定されないことを理解されたい。むしろ、特定の特徴および作用は、請求される主題を実施する例示的な形態として開示されたものである。

スマートメディアコンテンツサムネイル抽出のシステムおよび方法を部分的にまたは完全に実施できる例示的なアーキテクチャ１００を示す図である。 スマートメディアコンテンツサムネイル抽出の例示的な手順を示す図である。 スマートメディアコンテンツサムネイル抽出を提供する図１のアーキテクチャおよび図２の手順を完全にまたは部分的に実施できる適切なコンピューティング環境の例を示す図である。

符号の説明

１０２ クライアント装置
１０６ コンテンツプロバイダ
１０８ オンデマンドで放送されるメディアコンテンツ
１１２ メディアコンテンツ入力（例えばチューナ）
１１４ プロセッサ
１１６ オーディオ／ビデオ出力
１２０ 記録媒体
１２２ キャッシュ
１３０ サムネイルジェネレータ
１３２ ＵＩアプリケーション
１３４ ＥＰＧアプリケーション
１３６ ＤＶＲおよび再生アプリケーション
１４０ 記録されたメディアコンテンツ（例えばＴＶ番組）
１４４ ＥＰＧデータ
１５０ サムネイル
１５６ メタデータ

Claims (23)

1. 記録されたビデオコンテンツから番組メタデータを生成するステップであって、前記番組メタデータは、１つまたは複数の対応するショットからの１つまたは複数のキーフレームを含むステップと、
   ショット持続時間および複数のショットにまたがるキーフレームコンテンツの出現の頻度の関数として前記キーフレームから客観的に代表的なキーフレームを識別するステップであって、前記客観的に代表的なキーフレームは、前記記録されたビデオコンテンツを代表するイメージフレームであるステップと、
   前記客観的に代表的なキーフレームからサムネイルを作成するステップと、
   を備え、
   前記識別するステップが、
   外観表現に基づいて前記ショットをクラスタ化して、１つまたは複数のクラスタを生成するステップと、
   生成された前記クラスタのうちで、より大きいクラスタが人間の顔を含むかどうかにしたがって、前記客観的に代表的なキーフレームを選択するステップと
   を含むことを特徴とする方法。
2. 前記記録されたビデオコンテンツは、記録されたテレビ番組であることを特徴とする、請求項１に記載の方法。
3. 前記生成するステップは、さらに、
   前記記録されたビデオコンテンツを複数のショットに分解するステップと、
   前記複数のショットのそれぞれからサブショットの組を導出するステップと、
   前記サブショットの組ごとに、前記キーフレームのそれぞれのキーフレームを識別するステップと
   を含むことを特徴とする、請求項１に記載の方法。
4. 前記識別するステップは、さらに、低いモーション強度のさらなる関数として前記客観的に代表的なキーフレームを選択するステップを含むことを特徴とする、請求項１に記載の方法。
5. 前記識別するステップは、さらに、
   前記ショットのうちのショットごとに、
   （ａ）前記ショットは前記ショットの他のものと比較して短い持続時間または長い持続時間のどちらであるかを判定し、（ｂ）前記ショットのキーフレームは客観的に高いイメージ品質であるかどうかを評価し、（ｃ）前記ショットはコマーシャルコンテンツを表すかどうかを検出するステップ
   を含み、前記判定、評価および検出に鑑みて、短い持続時間のショット、客観的に低いイメージ品質のショット、またはコマーシャルコンテンツを含むショットを前記番組メタデータから除去することを特徴とする、請求項１に記載の方法。
6. 前記識別するステップは、さらに、生成された前記クラスタのうちで、より大きいクラスタに関連するキーフレームが人間の顔を含む場合に、前記客観的に代表的なキーフレームとして最大の顔領域を有するキーフレームを選択するステップを含むことを特徴とする、請求項１に記載の方法。
7. 前記識別するステップは、さらに、
   生成された前記クラスタのうちで最大のクラスタに関連するキーフレームが人間の顔を含まない場合に、前記客観的に代表的なキーフレームとして、客観的に判定された高い注目度ランキングの関心を向けられる領域を有するキーフレームを選択するステップ
   を備えることを特徴とする、請求項１に記載の方法。
8. 前記記録されたビデオコンテンツの代表的識別子として前記サムネイルを提示するステップをさらに含むことを特徴とする、請求項１に記載の方法。
9. 請求項１〜８のうちのいずれか１つに記載の方法をコンピュータに実行させるためのコンピュータ実行可能命令を記録したコンピュータ可読記録媒体。
10. プロセッサと、前記プロセッサに結合されたメモリとを備えたコンピューティング装置であって、
    前記メモリは、プロセッサによって実行可能な
    記録されたビデオコンテンツから番組メタデータを生成するコンピュータプログラム命令であって、前記番組メタデータは、１つまたは複数の対応するショットからの１つまたは複数のキーフレームを含む、コンピュータプログラム命令と、
    ショット持続時間および複数のショットにまたがるキーフレームコンテンツの出現の頻度の関数として前記キーフレームから客観的に代表的なキーフレームを識別するコンピュータプログラム命令であって、前記客観的に代表的なキーフレームは、前記記録されたビデオコンテンツを代表するイメージフレームである、コンピュータプログラム命令と、
    前記客観的に代表的なキーフレームからサムネイルを作成するコンピュータプログラム命令と
    を備え、
    前記識別するコンピュータプログラム命令が、さらに、
    外観表現に基づいて前記ショットをクラスタ化して、１つまたは複数のクラスタを生成する命令と、
    生成された前記クラスタのうちで、より大きいクラスタが人間の顔を含むかどうかにしたがって、前記客観的に代表的なキーフレームを選択する命令と
    を含むことを特徴とするコンピューティング装置。
11. 前記記録されたビデオコンテンツは、記録されたテレビ番組であることを特徴とする、請求項１０に記載のコンピューティング装置。
12. 生成する前記コンピュータプログラム命令は、さらに、
    前記記録されたビデオコンテンツを複数のショットに分解する命令と、
    前記複数のショットのそれぞれからサブショットの組を導出する命令と、
    サブショットの組ごとに、前記キーフレームのそれぞれのキーフレームを識別する命令と
    を含むことを特徴とする、請求項１０に記載のコンピューティング装置。
13. 識別する前記コンピュータプログラム命令は、さらに、低いモーション強度のさらなる関数として前記客観的に代表的なキーフレームを選択する命令を含むことを特徴とする、請求項１０に記載のコンピューティング装置。
14. 識別する前記コンピュータプログラム命令は、さらに、
    前記ショットのうちのショットごとに、
    （ａ）前記ショットは前記ショットの他のものと比較して短い持続時間または長い持続時間のどちらであるかを判定する命令と、
    （ｂ）前記ショットのキーフレームは客観的に高いイメージ品質であるかどうかを評価する命令と、
    （ｃ）前記ショットはコマーシャルコンテンツを表すかどうかを検出する命令と、
    を含み、前記判定、評価、および検出に鑑みて、短い持続時間のショット、客観的に低いイメージ品質のショット、またはコマーシャルコンテンツを含むショットを前記番組メタデータから除去することを特徴とする、請求項１０に記載のコンピューティング装置。
15. 識別する前記コンピュータプログラム命令は、さらに、
    生成された前記クラスタのうちで最大のクラスタに関連するキーフレームが人間の顔を含む場合に、前記客観的に代表的なキーフレームとして最大の顔領域を有するキーフレームを選択する命令
    を含むことを特徴とする、請求項１０に記載のコンピューティング装置。
16. 識別する前記コンピュータプログラム命令は、さらに、
    生成された前記クラスタのうちで最大のクラスタに関連するキーフレームが人間の顔を含まない場合に、前記客観的に代表的なキーフレームとして、客観的に判定された高い注目度ランキングの関心を向けられる領域を有するキーフレームを選択する命令
    を含むことを特徴とする、請求項１０に記載のコンピューティング装置。
17. 前記コンピュータプログラム命令は、さらに、前記記録されたビデオコンテンツの代表的識別子として前記サムネイルを提示する命令を備えることを特徴とする、請求項１０に記載のコンピューティング装置。
18. 記録されたビデオコンテンツから番組メタデータを生成する生成手段であって、前記番組メタデータは、１つまたは複数の対応するショットからの１つまたは複数のキーフレームを含む、生成手段と、
    ショット持続時間および複数のショットにまたがるキーフレームコンテンツの出現の頻度の関数として前記キーフレームから客観的に代表的なキーフレームを識別する識別手段であって、前記客観的に代表的なキーフレームは、前記記録されたビデオコンテンツを代表するイメージフレームである、識別手段と
    前記客観的に代表的なキーフレームからサムネイルを生成する、生成手段と、
    を備え、前記識別手段が、さらに、
    外観表現に基づいて前記ショットをクラスタ化して、１つまたは複数のクラスタを生成する、クラスタ化手段と、
    生成された前記クラスタのうちで、より大きいクラスタが人間の顔を含むかどうかにしたがって、前記客観的に代表的なキーフレームを選択する、選択手段と
    を含むことを特徴とするコンピューティング装置。
19. 前記生成手段は、さらに、
    前記記録されたビデオコンテンツを複数のショットに分解する分解手段と、
    前記複数のショットのそれぞれからサブショットの組を導出する導出手段と、
    サブショットの組ごとに、前記キーフレームのそれぞれのキーフレームを識別する識別手段と
    を含むことを特徴とする、請求項１８に記載のコンピューティング装置。
20. 前記識別手段は、さらに、
    前記ショットのショットごとに、
    （ａ）前記ショットは前記ショットの他のものと比較して短い持続時間または長い持続時間のどちらであるかを判定する判定手段と、
    （ｂ）前記ショットのキーフレームは客観的に高いイメージ品質であるかどうかを評価する評価手段と、
    （ｃ）前記ショットはコマーシャルコンテンツを表すかどうかを検出する検出手段と
    を備え、前記判定手段、評価手段、および検出手段に鑑みて、短い持続時間のショット、客観的に低いイメージ品質のショット、またはコマーシャルコンテンツを含むショットを前記番組メタデータから除去することを特徴とする、請求項１８に記載のコンピューティング装置。
21. 前記識別手段は、さらに、
    生成された前記クラスタのうちで最大のクラスタに関連するキーフレームが人間の顔を含む場合に、前記客観的に代表的なキーフレームとして最大の顔領域を有するキーフレームを選択する選択手段
    を含むことを特徴とする、請求項１８に記載のコンピューティング装置。
22. 前記識別手段は、さらに、
    生成された前記クラスタのうちで最大のクラスタに関連するキーフレームが人間の顔を含まない場合に、前記客観的に代表的なキーフレームとして、客観的に判定された高い注目度ランキングの関心を向けられる領域を有するキーフレームを選択する選択手段
    を含むことを特徴とする、請求項１８に記載のコンピューティング装置。
23. 前記記録されたビデオコンテンツの代表的識別子として前記サムネイルを提示する提示手段をさらに備えることを特徴とする、請求項１８に記載のコンピューティング装置。

Images