JP5068501B2 - マルチメディア番組タイプに基づいた変換のためのシステム及び方法 - Google Patents

Description

本開示は概して、データ処理に関し、より詳細には、マルチメディア情報の処理に関する。

マルチメディア・コンテンツ配布における現在の傾向は、マルチメディア・コンテンツを格納し、その後でアクセスし、又は配布することに向けられている。現在、多くの家庭は、デジタル・ビデオ・レコーダ（ＤＶＲ）とも呼ばれるパーソナル・ビデオ・レコーダ（ＰＶＲ）を使用して、地上波放送からデジタル・データとして受信されたマルチメディア・コンテンツを格納する。このデータは次いで、それ以降の日に、表示、又はセル電話や携帯型ビデオ・プレーヤなど、別の装置への伝送のためにアクセスされることができる。現在のマルチメディア格納ソリューションは、コンテンツの品質か、それとも記憶空間かという選択に直面している。従って、こうした従来のソリューションは、コンテンツの品質を無差別に低下させることを選び、そうすることによって、データを格納するのに要求される空間を削減するか、又はコンテンツの品質を保つことを選び、そうすることによって、格納され得るデータの量を、費用効果が高いやり方で制限するかのどちらかである。従って、格納又は配布のためにマルチメディア・データを処理する改良型の技術が有利であろう。

同じ参照符号が同じ要素を示すのに使われている添付の図面と関連する以降の詳細な説明から、本開示の目的及び利点が、当業者には明らかであろう。

これ以降の説明は、コンテンツ特性に関連づけられた１つ又は複数の規則セットに基づく、マルチメディア・コンテンツの変更を伴う特定のいくつかの実施形態及び詳細を提供することによって、本開示の完全な理解を伝えることが意図されている。但し、本開示は、例示に過ぎないこうした特定の実施形態及び詳細に限定されないことが理解されよう。当業者は、知られているシステム及び方法を鑑みて、具体的な設計及び他の必要事項に応じて、任意の数の代替実施形態における、意図されたその目的及び利益のための本開示の利用法を理解するであろうことがさらに理解されよう。

図１〜５は、１つ又は複数のコンテンツ特性に関連づけられた規則セットに基づいてマルチメディア・コンテンツを変更する例示的な技術を示す。少なくとも一実施形態では、例えば、番組を表すマルチメディア・データが受信される。マルチメディア・データに関連づけられた番組情報に基づいて、規則テンプレートが識別される。規則テンプレートは、１つ又は複数の規則を含み、各規則は、例えば、コンテンツ特性と、コンテンツ特性に関連づけられた１つ又は複数のコンテンツ・アクションとによって表される。規則テンプレートは次いで、マルチメディア・データを変更するように、マルチメディア・データに適用される。一実施形態では、規則テンプレートは、規則テンプレートの適用可能な規則の一部又は全部を使ってマルチメディア・データを処理することによって適用され、マルチメディア・データのマルチメディア・コンテンツは、１つ又は複数の規則のコンテンツ特性が存在するかどうか決定するために分析され、コンテンツ特性が存在する場合、識別されたコンテンツ特性に関連づけられたコンテンツ・アクションの１つ又は複数が実施され得る。別の実施形態では、受信されたマルチメディア・データのマルチメディア番組タイプが決定される。決定されたマルチメディア番組タイプに基づいて、ピーク・ビット・レートの上限及び／又は平均ビット・レートの上限が決定される。さらに、マルチメディア・データの変換されたバージョンが格納されるべき事例では、記憶装置の残りの記憶容量が決定され、ピーク・ビット・レートの上限及び／又は平均ビット・レートの上限は、残りの記憶容量に基づいて調整され得る。マルチメディア・データは次いで、選択されたピーク・ビット・レートの上限を超えないピーク・ビット・レートを有し、且つ／又は選択された平均ビット・レートの上限を超えない平均ビット・レートを有する、変換されたマルチメディア・データを生成するように変換される。マルチメディアの変換はさらに、コンテンツ特性に基づく、規則セットの適用を含み得る。変換の後、マルチメディア・データは、ネットワークを介して、送信先マルチメディア装置に伝送され、それ以降の使用のためにローカルに格納され、又はこれらが組み合わされて行われ得る。

図１を参照すると、本開示の少なくとも一実施形態による例示的なマルチメディア処理システム１００が示されている。例示的に示されているように、システム１００は、マルチメディア処理装置１０２、コンテンツ・プロバイダ１０４及び１つ又は複数の記憶装置１０６を含み得る。マルチメディア処理装置１０２は、一実施形態では、変換装置１１０、規則テンプレート・データベース、及びビット・レート上限データベースを含む。マルチメディア処理装置１０２の実装形態は、例えば、セットトップ・ボックス、パーソナル多用途レコーダ（ＰＶＲ）、テレビ・チューナ・カード、ビデオ・カードなどを含み得る。コンテンツ・プロバイダ１０４は、例えば、衛星ビデオ・フィード、ケーブル・テレビ・ヘッドイン（ｈｅａｄ ｉｎ）、デジタル多用途ディスク（ＤＶＤ）ドライブなどを含み得る。記憶装置１０６は、例えば、メモリ、ハード・ディスク、ＤＶＤドライブなどを含み得る。

動作の際、マルチメディア処理装置１０２は、コンテンツ・プロバイダ１０４からマルチメディア・データ１０８を受信し、マルチメディア・データは、例えば、ＭＰＥＧデータ・ストリーム形式で提供されてよい。マルチメディア・データ１０８に関連づけられた番組情報１１４は、マルチメディア・データ１０８と一緒に、又は個別伝送として提供されてもよい。番組情報１１４は、マルチメディア・データ１０８の番組詳細の指示又は記述を提供する。例示のために、マルチメディア・データ１０８は、例えば、特定のフットボールの試合及び番組情報１１４を表すことができ、従って、マルチメディア・データを概して、スポーツ番組として、より詳細にはフットボール番組として、より詳細には、例えば、特定のテレビ・ネットワーク（例えば、Ｍｏｎｄａｙ Ｎｉｇｈｔ Ｆｏｏｔｂａｌｌ（登録商標）向けのＮＦＬ（登録商標）フットボール番組として識別することができる。番組情報１１４は、電子番組ガイド（ＥＰＧ）情報も、垂直帰線消去期間中に字幕情報として伝送される情報も含み得る。

番組情報１１４に基づいて、変換装置１１０は、マルチメディア・データ１１４のマルチメディア番組タイプに適用可能な特定の規則テンプレートを、規則テンプレート・データベース１１２から識別する。上で与えられた例を用いると、選択される規則テンプレートは、概してスポーツ番組に適用可能な規則テンプレート、フットボールの試合に適用可能な規則テンプレート、又は特定のタイプのフットボールの試合（例えば、大学のフットボールの試合や、特定のテレビ・ネットワークによって提供されるフットボールの試合番組）に適用可能な規則テンプレートでよい。適切な規則テンプレートを識別した後、変換装置１１０は、マルチメディア・データ１０８のコンテンツの１つ又は複数の部分を分析して、規則テンプレートの規則によって識別された１つ又は複数のコンテンツ特性が、分析される部分に存在するかどうか決定する。例示のために、規則テンプレートは、分析されるコンテンツ部分が、所与の閾値より大きい、平均音声ボリュームの変化（コンテンツ特性の一例）を含む場合、そのコンテンツ部分のビット・レートが、与えられた量だけ低下される（コンテンツ・アクションの一例）ことを定める規則を含み得る。この規則は、例えば、コマーシャル（しばしば、音量の変化に先行される）の存在を識別するのに使用されることができ、コマーシャルが存在する場合、コマーシャル・コンテンツを表すマルチメディア・データのビット・レートは、番組のマルチメディア・コンテンツに大きく影響を与えることなく、視聴者が気に留めそうなマルチメディア・データ（即ち、コマーシャルではないコンテンツ）の全体的量を削減するように低下されてよい。

適用される規則のコンテンツ特性が、マルチメディア・コンテンツの分析される部分に存在する場合、変換装置１１０は、そのマルチメディア・コンテンツに関して、規則に関連づけられた１つ又は複数のコンテンツ・アクションを実施することができる。例えば、上述した音量変化というコンテンツ特性を用いると、対応するコンテンツ・アクションは、例えば、コマーシャル・コンテンツを表すマルチメディア・データのビット・レートの低下を含み得る。その結果、ユーザは通常、コマーシャルには、番組のそれ以外の部分ほど注意を払うものではなく、コマーシャルは従って、番組の残りの部分と同じ又は同様の品質である必要はないので、コマーシャル・コンテンツを表すデータは、ユーザの番組の楽しみ方に大きく影響を与えることなく、削減され得る。

変換装置１１０はこのように、テンプレートの規則の一部又は全部を鑑みてデータのマルチメディア・コンテンツを分析することによって、マルチメディア・データに規則テンプレートを適用することができ、そうすることによって、受信されたマルチメディア・データ１０８から、変更されたマルチメディア・データ１１６を生成する。変更されたマルチメディア・データ１１６は次いで、それ以降のアクセスのため、記憶装置１０６への格納のために与えられてよい。

個々のコンテンツ特性の分析に基づく、マルチメディア・データへの規則テンプレートの適用に加えて、又はその代わりに、一実施形態では、変換装置１１０は、マルチメディア・データによって表される、番組のマルチメディア番組タイプを識別し、決定されたこのマルチメディア番組タイプに基づいて、ピーク・ビット・レートの上限、平均ビット・レートの上限、又は両方を選択することができ、こうした上限は、マルチメディア・データが変換される程度を、その結果生じる、変換されたマルチメディア・データが、識別されたピーク・ビット・レートの上限を超えないピーク・ビット・レート及び／又は識別された平均ビット・レートの上限を超えない平均ビット・レートを有するように制御するのに使われる。

さらに、記憶装置１０６は、他の番組用のマルチメディア・データの格納のせいで、追加マルチメディア・データを格納するための制限された容量を有し得ることが理解されるであろう。従って、一実施形態では、記憶装置１０６の残りの記憶容量が決定されることができ、選択されたピーク・ビット・レートの上限及び選択された平均ビット・レートの上限が、それに従って調整されることができる。この事例において、ビット・レートの上限がスケーリングされる因子は通常、比較的大きい残りの記憶容量が、ビット・レートの上限の低下（或いは、可能性としては増加）をほとんど、又はまったくもたらすことがなく、比較的小さい残りの記憶容量が、ビット・レートの上限における、より大量の低下をもたらし得るように、残りの記憶容量に比較的反比例する。従って、その結果生じる、変換プロセスによって生成されるデータの量は、記憶装置１０６の残りの記憶容量を調節するように変えられ得る。

図２を参照すると、本開示の少なくとも一実施形態による、別の例示的なマルチメディア処理システム２００が示されている。図示されているように、システム２００は、記憶装置２０６に接続された入力と、ネットワーク２０４を介して少なくとも１つのマルチメディア装置２１０に接続された出力とを有するマルチメディア処理装置１０２を含む。図示されている例において、変換装置１１０は、記憶装置２０６に格納されているマルチメディア・データ２０８にアクセスし、マルチメディア・データ２０８に関連づけられた番組情報２１４を使って、テンプレート・データベース１１２から、適切な規則テンプレートを識別し、識別されたテンプレートを、マルチメディア・データ２０８のマルチメディア・コンテンツに適用して、上述したように、変更されたマルチメディア・データ２１６を生成することができる。変換装置１１０は、記憶装置２０６に格納されているマルチメディア・データ２０８のマルチメディア番組タイプを決定し、マルチメディア番組タイプに基づくピーク・ビット・レートの上限及び／又は平均ビット・レートの上限を選択し、選択されたビット・レートの上限を、（マルチメディア・データ２０８のコンテンツ特性によって識別されたコンテンツ・アクションの適用に加えて、又はその代わりに）マルチメディア・データ２０８の変換に組み込んで、選択されたビット・レートの上限を超えないように、変更されたマルチメディア・データ２１６を生成することもできる。

さらに、変更されたマルチメディア・データ２１６を、ローカル記憶装置への格納のために提供することに加えて、又はその代わりに、変更されたマルチメディア・データ２１６は、ネットワーク２０４を介して、マルチメディア装置２０８への格納のために伝送されてもよく、ネットワーク２０４は、例えば、ワイヤレス・ネットワーク、インターネット、ユニバーサル・シリアル・バス（ＵＳＢ）などを含み得る。従って、変更されたマルチメディア・データ２１６は、その後、マルチメディア装置によって、表示用処理のため、又は別の装置への伝送のためにアクセスされ得る。

マルチメディア装置２１０のデータ格納制限、及び／又はネットワーク２０４の帯域幅制限は、入力マルチメディア・データ２０８を変換して、変更された出力マルチメディア・データ２１６を生成する際、こうした制限に準拠するように、さらなる考慮を要求し得ることが理解されるであろう。従って、少なくとも一実施形態では、テンプレート・データベース１１２は、例えば、マルチメディア番組タイプだけでなく、マルチメディア装置２１０及び／又はネットワーク２０４の１つ又は複数の特性によっても索引づけられたテンプレートを含み得る。例えば、所与のニュース番組は、適用され得る異なる複数の規則テンプレートを有してよく、一部の規則テンプレートは、記憶量が制限されている携帯型マルチメディア装置に対象とし、他の規則テンプレートは、記憶量が比較的制限されず、又は比較的高い帯域幅ネットワーク接続を有するマルチメディア装置又は記憶装置を対象とする。携帯型装置を対象とする規則テンプレートは、例えば、比較的積極的なデータ削減コンテンツ・アクションを有する規則を有してよく、高容量装置を対象とする規則テンプレートは、例えば、データ削減に関して、比較的積極的でなく、全体の画像品質により重点を置いている規則を有し得る。例示のために、あるコンテンツ・アクションは、例えば、装置の記憶容量に基づく、ピーク・ビット・レートの上限及び／又は平均ビット・レートの上限の変更を含み得る。

下のテーブル１は、マルチメディア・データのコンテンツを処理するのに使われる例示的な規則の非限定的リストを与える。

図３を参照すると、本開示の少なくとも一実施形態による、図１、２の変換装置１１０の例示的な実装形態が示されている。例示的な変換装置３００は、規則テンプレート識別モジュール３０２、規則テーブル・バッファ３０４、コンテンツ・アナライザ３０６、入力データ・バッファ３０８、トランスコーダ３１０、出力データ・バッファ３１２、システム層フォーマッタ３１４及びインデクサ３１６を含む。

動作の際、マルチメディア・データ３２２が受信され、入力データ・バッファ３０８に入れられる。入力マルチメディア・データ３２２に関連づけられた番組情報３２９が、テンプレート識別モジュール３０２に与えられる。番組情報３２９に基づいて、テンプレート識別モジュール３０２は、着信マルチメディア・データ３２２に適用するための適切な規則テーブル３２６を識別するために、規則テーブル・データベース１１２に索引をつける。識別された規則テーブル３２６は、コンテンツ・アナライザ３０６による使用のため、テーブル・バッファ３０４に格納するために与えられてよい。或いは、識別された規則テーブル３２６を指すインジケータ（例えば、アドレスやポインタ）が、コンテンツ・アナライザ３０６に与えられてもよい。

少なくとも一実施形態では、テンプレート識別モジュール３０２は、電子プログラミング・ガイド（ＥＰＧ）情報３１８へのアクセス権を有し、そうすることによって、テンプレート識別モジュール３０２は、着信マルチメディア・データ３２２の１つ又は複数のマルチメディア番組タイプを識別し、それに従って規則テーブル３２６を識別することができる。少なくとも一実施形態では、多数の規則テーブルが、マルチメディア・データ３２２に適切に適用され得る。かかる事例において、テンプレート識別モジュール３０２は、マルチメディア・データ３２２に適用するための、より適切なテンプレートを選択することができ、より適切なテンプレートは通常、最も具体的なマルチメディア番組タイプに沿ったテンプレートである。例えば、ＥＰＧ情報３１８は、着信マルチメディア・データ３２２を、概してスポーツ番組に、具体的にはサッカーの試合の番組に関連づけられたものとして識別することができる。テンプレート識別モジュール３０２は従って、特にサッカーの試合の番組に関連づけられた規則テンプレートを識別することができる。かかるテンプレートが使用可能でない場合、テンプレート識別モジュール３０２は、別法として、概してスポーツ番組に関連づけられた規則テンプレートを選択してもよい。

さらに、一実施形態では、特定の番組情報に基づくどの規則テンプレートも識別されないとき、テンプレート識別モジュール３０２は、デフォルトの規則テンプレートを選択してよい。例えば、マルチメディア・データ３２２が、対応する規則テンプレートがテンプレート・データベース１１２中にない、特定のテレビ・ネットワークからのニュース放送を表す場合、テンプレート識別モジュール３０２は、例えば、結果として生じた、変更されたマルチメディア・データを受信することが予期されるマルチメディア装置２１０のタイプに概して関連づけられ得るデフォルトのテンプレートを選択してよい。

規則テンプレート３２６の例示的な実装形態が、図３によって示されている。図示されているように、テンプレート・データベース１１２の規則テンプレートの一部又は全部は、１つ又は複数の規則（例えば、規則１〜規則Ｎとしても識別される規則エントリ３３０〜３３３）を含んでよく、各規則は、コンテンツ特性記述子（例えば、それぞれ、規則エントリ３３０〜３３３用のコンテンツ特性記述子ＣＣ_１〜ＣＣ_Ｎ）と、各コンテンツ特性記述子に関連づけられた１つ又は複数のコンテンツ・アクション記述子（ＣＡ）とを有する。コンテンツ特性記述子は通常、コンテンツ特性を表し、この特性は、分析されるコンテンツ部分で見つけられると、１つ又は複数のコンテンツ・アクション記述子によって表される１つ又は複数のコンテンツ・アクションの実施（又は実施の回避）をもたらす。コンテンツ特性記述子は通常、マルチメディア・コンテンツの特性を記述する情報（例えば、連続するフレームの最上部の光学式文字認識分析が、試合のスコアが変化していることを示すかどうかを示す記述子など）を含む。コンテンツ特性記述子は、例えば、マイクロコード、１つ又は複数のコンテンツ・アクションを実施するルーチンを格納する記憶場所へのポインタ、或いはマルチメディア・データの処理に使われる情報（例えば、トランスコーダ３１０によって適用される量子化スケーリング因子や解像度スケーリング因子など）を含み得る。

各規則はさらに、規則が、他のいずれかの規則にリンクされているかどうかを示すためのリンク・フィールド３３６と、リンクのタイプ（例えば、ＡＮＤ関係やＯＲ関係）を示すためのリンク・タイプ・フィールド３３８とを含み得る。例えば、規則１は、ＡＮＤ関係で規則２にリンクされる場合があり、この場合、規則１のコンテンツ特性が見つけられると、規則１のコンテンツ・アクションが実施され得る前に、規則２のコンテンツ特性も見つけられなければならない。別の例として、規則１は、ＯＲ関係で規則２にリンクされる場合があり、この場合、規則１のコンテンツ特性が、分析されるコンテンツ部分に存在するものとして識別されると、規則２は、そのコンテンツ部分に適用されるべきでない。

上述された例示的な規則は、対応する１つ又は複数のコンテンツ・アクションが実施され得る前に、条件（コンテンツ特性の存在）を有するが、少なくとも一実施形態では、規則の１つ又は複数は、そのコンテンツ・アクション（群）が、対応する条件が満たされずに、常に実施される無条件規則でよい。例えば、新規の番組を表すマルチメディア・コンテンツの場合、例えば、株式相場表示器を表す、連続するフレームの画像部分は、その画像部分のコンテンツの分析によって、画像部分の解像度を自動的に低下させるように変換されてよい。

ピーク・ビット・レートの上限及び／又は平均ビット・レートの上限が、マルチメディア番組タイプに基づくマルチメディア・データの変換に適用されるべきである事例において、対応するビット・レートの上限は、規則テンプレート３２６の規則として表されることができ、そうすることによって、コンテンツ・アクションは、例えば、マルチメディア・データの変換を、識別されたビット・レートの上限を超えないように制御するためのコマンドを表し得る。別の実施形態では、ビット・レートの上限は、例えば、コンテンツ・アナライザ３０６又はテンプレート識別装置３０２によってアクセス可能なビット・レート上限テーブル３５０を介してアクセスされる。

コンテンツ・アナライザ３０６は、一実施形態では、規則テンプレート３２６の規則の一部又は全部を鑑みて、マルチメディア・データ３２２のマルチメディア・コンテンツを分析する。従って、一実施形態では、コンテンツ・アナライザ３０６は、テーブル・バッファ３０４から（又は別法として、テンプレート・データベース１１２から直接）、規則情報を取得し、マルチメディア・データ３２２のコンテンツを分析して、適用される規則に関連づけられたコンテンツ特性が、マルチメディア・コンテンツの１つ又は複数の部分に存在するかどうか決定する。

いくつかの事例では、コンテンツ・アナライザ３０６は、マルチメディア・データ３２２がエンコードされた形であっても、特定のコンテンツ特性を求めてマルチメディア・データ３２２を分析することができる。例示のために、識別されるべき例示的なコンテンツ特性は、一定の閾値より大きい、連続するフレームの間の、一定量の動きでよい。この場合、コンテンツ・アナライザ３０６は、例えば、エンコードされたマルチメディア・データ３２２の動きベクトル情報を分析して、画像フレームの間に相当の動きがあるかどうか決定することができる。しかし、他の事例では、特定のコンテンツ特性の識別は、マルチメディア・データ３２２がデコードされた形であることを要求し得る。例えば、一実施形態では、コンテンツ特性は、マルチメディア・データ３２２の音声コンテンツにおける、「ゴール」という単語の識別でよい。この場合、コンテンツ・アナライザ３０６は通常、デコードされた音声情報にアクセスして、「ゴール」という単語に対して音声分析を実施することになる。従って、トランスコーダ３１０は、マルチメディア・データ３２２の一部又は全部をデコードし、デコードされたマルチメディア・データを、フレーム・バッファ３４０（データ・バッファ３０８の一部として、例示的に示されている）に格納することができる。コンテンツ・アナライザ３０６は次いで、フレーム・バッファ３４０中のデコードされたマルチメディア・データにアクセスして、コンテンツ分析を実施することができる。

特定の任意のコンテンツ特性を求めて分析されたマルチメディア・データ３２２のコンテンツの部分は通常、その特定の特性に依存する。例示のために、例えば、スコア又は株価を表す、表示されるテキストの変化というコンテンツ特性は、連続する２つの画像フレームのある特定のセグメントのＯＣＲ分析によって識別されることができる。従って、この特性に対するコンテンツ部分は、２つ以上のフレームであろう。別の例として、コンテンツ特性は、フットボールの試合におけるスクリメージ・ラインを示すイエロー・ラインの存在でよい。この事例において、イエロー・ラインは、単一の画像フレームの特定の部分（例えば、画像フレームの中心列）を分析することによって検出されることができる。この場合、分析されたコンテンツ部分は、画像フレームの中心列を含み得る。

コンテンツ・アナライザ３０６が、ある規則のコンテンツ特性が、マルチメディア・データ３２２の分析された部分に存在すると検出した場合、コンテンツ・アナライザ３０６は、トランスコーダ３１０に、実施されるべき１つ又は複数のコンテンツ・アクションの指示を与える。トランスコーダ３１０は次いで、マルチメディア・データ３２２の一部又は全部を、コンテンツ・アクションに従って処理して、変更されたマルチメディア・データ３４２を生成する。マルチメディア・データ３４２は次いで、システム層フォーマッタ３１４によって伝送用に、例えば、ＭＰＥＧ番組ストリーム３４６としてフォーマットされる前に、発信データ・バッファ３１２に格納されることができる。

少なくとも一実施形態では、実施されるべきコンテンツ・アクションは、変更されたマルチメディア・データ３４２への、コンテンツ特性索引の埋込みを含み、コンテンツ特性索引は、マルチメディア・データ３４２の対応する部分を、指示されたコンテンツ特性を有するマルチメディア・コンテンツを表すものとして識別する。例えば、コンテンツ・アナライザ３０６は、マルチメディア・データ３２２の音声コンテンツを分析して、平均音声ボリュームの急激な増大を識別することができる。かかる平均ボリュームの増大が見つけられた場合、対応するコンテンツ・アクションは、例えば、コンテンツの次の３０秒をコマーシャルとして表すマルチメディア・データ部分を識別するコンテンツ特性の挿入を含み得る。従って、マルチメディア・データ３４２は、その後、コマーシャル・コンテンツに関連づけられたデータを識別するために、高速探索される可能性があり、このコンテンツは、例えば、コマーシャル・コンテンツを取り除き、コマーシャル・コンテンツの音声ボリュームを低下させ、コマーシャル・コンテンツの解像度及び／又はビット・レートを低下させることなどによって、フィルタリングされてよい。或いは、コンテンツ・アクションは、コマーシャル・コンテンツの場所への個別索引テーブルの作成を含み得る。

従って、対応するコンテンツ索引アクションを有する、マルチメディア・コンテンツの部分に存在するコンテンツ特性を識別すると、コンテンツ・アナライザ３０６は、インデクサ３１６に索引情報を提供することができ、インデクサ３１６は次いで、例えば、システム層フォーマッタ３１４を使って、マルチメディア・データ３４２への適切なコンテンツ特性索引の挿入を管理する。

マルチメディア番組タイプに基づくビット・レートの上限が変換プロセスに適用されるべき事例において、コンテンツ・アナライザ３０６は、変換されるべきマルチメディアによって表される番組のマルチメディア番組タイプを決定する。一実施形態では、テンプレート識別装置３０２は、番組情報（例えば、ＥＰＧ情報３１８）に基づいてマルチメディア番組タイプを決定し、このマルチメディア番組タイプの指示を、コンテンツ・アナライザ３０６に与える。別の実施形態では、コンテンツ・アナライザ３０６は、マルチメディア・データのマルチメディア・コンテンツを分析して、マルチメディア番組タイプを決定する。コンテンツ・アナライザ３０６は、マルチメディア・コンテンツの一部分又は全部が、特定のマルチメディア番組タイプに関連づけられた、１つ又は複数のコンテンツ特性からなる組を有するかどうか決定することができる。例示のために、フットボールというマルチメディア番組タイプは、一連の画像のそれ以外の領域（例えば、選手を囲んでいるフィールド・ピッチ）が比較的静止している間、一連の画像の一定の領域（例えば、選手が動いているスクリーンの中心）における大幅な動きによって特徴づけられることができる。従って、コンテンツ・アナライザ３０６は、スクリーンの中央における大幅な動きと、周囲のエリアにおける小さい動きとに基づいて、フットボールのマルチメディア番組タイプとして、番組を識別することができる。別の例として、ドラマ番組は、比較的小さい動き及び一時的な大きな声の高まりによって特徴づけられることができる。従って、コンテンツ・アナライザ３０６は、小さい動きを明らかにする動きの分析と、短期間の人間の大声を検出する音声分析とに基づいて、ドラマというマルチメディア番組タイプとして番組を識別することができる。

マルチメディア番組タイプを決定した後、コンテンツ・アナライザ３０６は、このマルチメディア番組タイプを、ビット・レート上限テーブル３５０への索引として使って、マルチメディアの変換がそこまでに制約されるべき、対応するピーク・ビット・レートの上限及び／又は平均ビット・レートの上限を決定することができる。テーブル２は、ビット・レート上限テーブル３５０の非限定的例を表す。

さらに、上述したように、ビット・レートの上限は、ローカル記憶装置（又は、別法としては、変換されたデータを受信するマルチメディア装置のハード・ディスクなど、遠隔記憶装置）の残りの記憶容量に基づいてスケーリングされてよい。残りの記憶容量が一定の限界を下回った場合、ビット・レートの上限をスケーリングするのではなく、一実施形態では、デフォルトの最小ビット・レートの上限が、マルチメディア番組タイプに基づくビット・レートの上限の代わりに使われ得る。テーブル３は、選択されたピーク・ビット・レートの上限及び選択された平均ビット・レートの上限の一方又は両方に適用されるべきスケーリング因子のテーブルの、例示的な非限定的例を示す。

ビット・レートの上限を識別しスケーリングした後、コンテンツ・アナライザ３０６は、供給されるビット・レートの上限が、変更されたメディア・データ３４２によって超過されないようにトランスコーダ３１０を設定するように、トランスコーダ３１０にピーク・ビット・レートの上限及び／又は平均ビット・レートの上限のインジケータを与える。一実施形態では、トランスコーダ３１０は、平均ビット・レートを維持するように、累積ビット・レートを監視する。普通には、コード変換の間、均一に分散された動きの緩やかな、又は複雑さの低いフレームと対比して、動きの多い、又は複雑なフレームが存在する。表示品質の損失を最低限に抑えて、遅い／低複雑フレームが、より高い量子化パラメータでコード変換されることができ、ビットの割振りをより節約する。その結果もたらされるビット節約は、より動きの多い、且つ複雑なフレームのコード変換を、より高い表示品質で補償する。しかし、遅い又は低複雑フレームが少な過ぎる事例では、平均ビット・レートを維持するのに、より厳しい手法が用いられる。ビットの差分が、耐えられるレベルを超えた後、トランスコーダは、その後のフレームを、量子化されたより高い値で変換して、耐えられるレベルに到達するまで累積ビット・カウントを低減させる。ビットの差分は、コード変換期間に渡る平均ビット・レートに基づく、コード変換された実際のビット・カウントと、予期されるビット・カウントとの間の差分である。

図４を参照すると、本開示の少なくとも一実施形態による例示的な動的変換方法４００が示されている。方法４００は、ステップ４０２で開始し、そうすることによって、マルチメディア・データが受信され、一時的にバッファに入れられる。ステップ４０４で、マルチメディア・データ向けの適切な規則テンプレートが、番組情報、例えば、マルチメディア・データに関連づけられたマルチメディア番組タイプなどに基づいて選択される。上述したように、マルチメディア・データへの適用に適したいくつかの規則テンプレートがあり得る。かかる事例において、番組特性により沿っている規則テンプレート（例えば、一般のスポーツ番組テンプレートではなく、特にフットボールの試合向けの規則テンプレート）が選択される。具体的な規則テンプレートが使用可能でないか、又は適切でない場合、一実施形態では、デフォルトの全般的規則テンプレートが選択されてよい。

ステップ４０６で、選択された規則テンプレートにある規則がアクセスされ、マルチメディア・データのコンテンツの一部分が、その規則に関連づけられたコンテンツ特性が、分析されたコンテンツ部分に存在するかどうか決定するために分析される。分析されたコンテンツ部分に、コンテンツ特性が存在しない場合、方法４００は、ステップ４１０に続く。或いは、コンテンツ特性が存在する場合、規則に関連づけられたコンテンツ・アクションの１つ又は複数が、ステップ４０８で実施される。一実施形態では、規則は、ＡＮＤ演算及び／又はＯＲ演算などの論理演算を使ってリンクされることができる。従って、そのようにリンクされている場合、規則のコンテンツ・アクションは、リンクされている他の規則の条件が確認されるまで、ステップ４０８で実施されてはならない。

ステップ４１０で規則テンプレートが、適用されるべき最後の規則が適用されているかどうか決定するために調べられる。適用されていない場合、方法４００は、適用されるべき次の規則に対して、ステップ４０６〜４１０を繰り返す。ステップ４１２で、マルチメディア・データのコンテンツ部分が、まだ分析されるべきであると決定された場合、方法４００は、ステップ４０６〜４１０を繰り返して、分析されるべき次のマルチメディア・コンテンツ部分に、適切な規則を適用する。

ステップ４１４で、結果として生じる、変更されたマルチメディア・データが、ハード・ディスクやＤＶＤディスクなどの記憶装置への格納のために提供され、或いは、ネットワークを介してセルラー電話やＰＤＡなど、１つ又は複数のマルチメディア装置への伝送のために提供される。その結果、元のマルチメディア・データは、適切なコンテンツ品質を保ちながら、サイズを削減するように変更されてよい。

図５を参照すると、本開示の少なくとも一実施形態による、マルチメディア番組タイプに基づくビット・レートの上限に基づいてマルチメディア・データを変換する例示的な方法５００が示されている。方法５００は、ブロック５０２で開始し、ここで、マルチメディア・データが、ビデオ・プロバイダなどの変換システムの所で受信され、そこで一時的にバッファに入れられる。

ブロック５０４で、マルチメディア・データによって表される、番組のマルチメディア番組タイプが決定される。上述したように、マルチメディア番組タイプは、マルチメディア・データと共に受信されるＥＰＧ情報などの番組情報に基づいて決定され得る。或いは、マルチメディア番組タイプは、マルチメディア・データのマルチメディア・コンテンツ全体のいくつかの部分の、１つ又は複数のコンテンツ特性の分析又は比較に基づいて決定され得る。

ブロック５０６で、ピーク・ビット・レートの上限及び／又は平均ビット・レートの上限が、マルチメディア・データのマルチメディア番組タイプに基づいて決定される。一実施形態では、変換システムは、マルチメディア番組タイプによってビット・レートの上限に索引をつけるビット・レート上限テーブルを実装し、ビット・レートの上限の決定は、マルチメディア番組タイプに基づいた、テーブルへの索引づけを含む。具体的なビット・レートの上限が、決定されたマルチメディア番組タイプに適用可能でないとブロック５０８で決定された場合、又はマルチメディア番組タイプが決定されることができなかった場合、方法５００は、ブロック５１０に流れ、そうすることによって、マルチメディア・データは、変更されたマルチメディア・データを生成するように、デフォルトのピーク・ビット・レートの上限及び／又はデフォルトの平均ビット・レートの上限に従って変換される。変更されたマルチメディア・データは次いで、ローカル記憶装置に格納され、１つ又は複数のマルチメディア装置に（例えば、ワイヤレス伝送を介して）伝送され、或いは、これらが組み合わされて行われ得る。

マルチメディア番組タイプ特有のビット・レートの上限が決定された場合、判断ブロック５１２で、方法５００は、マルチメディア・データの変換されたバージョンが、ローカルに格納されるべきかどうか決定することを含む。その結果生じるデータが、ローカルに格納されずに伝送されるべきである場合、マルチメディア・データは、指定されたビット・レートの上限を超えない、変更されたマルチメディア・データを生成するように、マルチメディア番組タイプ特有のビット・レートの上限の一方又は両方に準拠して変換される。変更されたマルチメディア・データは次いで、１つ又は複数のマルチメディア装置への伝送用に提供される。

結果として生じたマルチメディア・データが、ローカルに格納されるべきである場合、方法５００は、ローカル記憶装置（群）の残りの記憶容量をブロック５１６で決定することを含む。残りの記憶容量は、ローカル記憶装置で使用可能なメガバイト（ＭＢ）やギガバイト（ＧＢ）数などの絶対項で表されることもでき、残りの記憶容量は、依然として使用可能な全体の記憶容量の割合（例えば、２０％の残りの記憶容量）などの相対項で表されることもできる。ブロック５１８で、マルチメディア番組タイプ固有のビット・レートの上限が、決定された残りの記憶容量に基づいて調整される。一実施形態では、ビット・レートの上限は、残りの記憶容量又は残りの記憶容量範囲に対応するスケーリング因子に基づいてスケーリングされる。スケーリング因子は、残りの記憶容量が少ない程、ビット・レートの上限の削減が大きくなるようになされ得る。

ブロック５２０で、マルチメディア・データは、調整されたピーク・ビット・レートの上限以下のピーク・ビット・レートを有し、且つ／又は調整された平均ビット・レートの上限以下の平均ビット・レートを有する、変更されたマルチメディア・データを生成するように、変更されたビット・レートの上限の一方又は両方に従って変換される。変更されたマルチメディア・データは、ローカル記憶装置でローカルに格納するために提供され、１つ又は複数のマルチメディア装置に伝送され、又はこれらが組み合わされて行われる。

本開示の他の実施形態、利用法、及び利点が、本明細書の検討及び本明細書で開示した開示内容の実施から、当業者には明らかであろう。本明細書及び図面は、例示に過ぎないとみなされるべきであり、本開示内容の範囲は従って、添付の特許請求の範囲及びその等価物によってのみ限定されることが意図される。

本開示の少なくとも一実施形態による例示的なマルチメディア処理システムを示すブロック図である。 本開示の少なくとも一実施形態による例示的なマルチメディア処理システムを示すブロック図である。 本開示の少なくとも一実施形態による変換システムの例示的な実装形態を示すブロック図である。 本開示の少なくとも一実施形態による動的変換のための例示的な方法を示すフロー図である。 本開示の少なくとも一実施形態による、マルチメディア番組タイプに基づく変換のための例示的な方法を示すフロー図である。

符号の説明

１００、２００ マルチメディア処理システム
１０２、１０２ マルチメディア処理装置
１０４ コンテンツ・プロバイダ
１０６、２０６ 記憶装置
１１０、３００ 変換装置
１１２ 規則テンプレート・データベース
３０２ 規則テンプレート識別モジュール
３０４ 規則テーブル・バッファ
３０６ コンテンツ・アナライザ
３０８ 入力データ・バッファ
３１０ トランスコーダ
３１２ 出力データ・バッファ
３１４ システム層フォーマッタ
３１６ インデクサ
３２６ 規則テーブル
３４０ フレーム・バッファ
３５０ ビット・レート上限テーブル

Claims (17)

1. マルチメディア処理装置を用いて、番組のマルチメディア・コンテンツを示すマルチメディア・データを受信し、
   前記マルチメディア処理装置を用いて、前記番組に基づいて複数のテンプレートのうち複数の規則を含む選択テンプレートを特定し、各前記規則は、或るマルチメディア・コンテンツの特性および該特性に関連づけられたマルチメディア処理装置によって実行される１またはそれ以上のアクションを含み、前記１またはそれ以上のアクションは、前記マルチメディア・データのビット・レートの変更、前記マルチメディア・データの解像度の変更、および、前記マルチメディア・データの音声ボリュームの変更からなるグループから選択された少なくとも１つのアクションを含み、
   前記マルチメディア・コンテンツの特性を決定するために前記マルチメディア処理装置を用いて前記マルチメディア・コンテンツを分析し、
   前記マルチメディア処理装置を用いて、前記選択テンプレートの前記複数の規則を前記マルチメディア・コンテンツの特徴へ適用することに基づいて前記マルチメディア・データを変換することを含み、
   前記選択テンプレートの前記複数の規則を前記マルチメディア・コンテンツの特徴へ適用することは、
   前記マルチメディア・コンテンツの一部が前記規則に関連付けられた特性を有するか否かを、複数の前記規則を含む少なくとも１つのサブセットの各規則ごとに決定し、
   前記マルチメディア・コンテンツの一部が前記規則に関連付けられた特性を有すると決定されると、前記受信したマルチメディア・データを変換するために前記規則に関連する１またはそれ以上のアクションを実行することをさらに含む、方法。
2. 前記選択テンプレートは前記マルチメディア・データに関連する受信された番組情報に基づいて特定され、
   該番組情報は、電子番組ガイド情報を含む、請求項１に記載の方法。
3. 前記１またはそれ以上のコンテンツ・アクションは、前記特性を有するものとして前記マルチメディア・コンテンツを特定する識別子を、前記マルチメディア・コンテンツの一部に関連付けられた前記マルチメディア・データの一部に挿入するアクションをさらに含む、請求項１に記載の方法。
4. 前記マルチメディア・コンテンツは、音声コンテンツを含み、
   前記マルチメディア・コンテンツの分析は、前記音声コンテンツが音量または選択音における少なくとも１つの変化を有するか否かを決定するために、前記マルチメディア処理装置を用いて前記音声コンテンツの音声分析の実行を含む、請求項１に記載の方法。
5. 前記マルチメディア・コンテンツは、ビデオ・コンテンツを含み、
   前記マルチメディア・コンテンツの分析は、前記ビデオ・コンテンツが少なくとも１つの前記特性を有するか否かを決定するために、前記マルチメディア処理装置を用いて前記ビデオ・コンテンツの光学文字認識分析を実行することを含む、請求項１に記載の方法。
6. 前記マルチメディア・コンテンツは、ビデオ・コンテンツを含み、
   前記マルチメディア・コンテンツの分析は、前記ビデオ・コンテンツが少なくとも１つの前記特性を有するか否かを決定するために、前記マルチメディア処理装置を用いて前記ビデオ・コンテンツの動作検出分析の実行を含む、請求項１に記載の方法。
7. 前記マルチメディア・コンテンツの特性に前記選択テンプレートの複数の規則を提供することに基づいて、前記マルチメディア・データを変換することは、
   前記マルチメディア・コンテンツが前記複数の規則のうち選択規則の選択特性を有するか否かを決定するために前記マルチメディア・コンテンツを分析し、
   ビット・レート変更のアクションを含む前記選択規則の決定に応じて前記マルチメディア処理装置を用いて前記マルチメディア・データのビット・レートを変更する、ことを含む、請求項１に記載の方法。
8. 前記マルチメディア・コンテンツの特性に前記選択テンプレートの複数の規則を適用することに基づいて、前記マルチメディア・データを変換することは、
   前記マルチメディア・コンテンツが前記複数の規則のうち選択規則の選択特性を有するか否かを決定するために前記マルチメディア・コンテンツを分析し、
   解像度変更のアクションを含む前記選択規則の決定に応じて前記マルチメディア処理装置を用いて前記マルチメディア・データの解像度を変更する、ことを含む、請求項１に記載の方法。
9. 前記マルチメディア・コンテンツの特性に前記選択テンプレートの複数の規則を適用することに基づいて、前記マルチメディア・コンテンツを変換することは、
   前記マルチメディア・コンテンツが前記複数の規則のうち選択規則の選択特性を有するか否かを決定するために前記マルチメディア・コンテンツを分析し、
   ボリューム変更のアクションを含む前記選択規則の決定に応じて前記マルチメディア処理装置を用いて前記マルチメディア・データのボリュームを変更する、請求項１に記載の方法。
10. 前記複数の規則は、コマーシャルを示す特性を含む選択規則および一時的なビット・レートの変化または一時的な解像度の変化のうち少なくとも１つのアクションを含み、
    前記マルチメディア・コンテンツの特性を決定するために前記マルチメディア・コンテンツを分析することは、前記マルチメディア・コンテンツの一部がコマーシャルを示す特性を有するか否かを決定するために前記マルチメディア・コンテンツを分析することを含み、
    前記選択テンプレートの前記複数の規則を前記マルチメディア・コンテンツの前記特性に適用することに基づいて前記マルチメディア・データを変換することは、前記マルチメディア・コンテンツの前記一部を示す前記マルチメディア・データの一部のビット・レートまたは解像度のうち少なくとも１つを変化させるように、前記マルチメディア・コンテンツに適用するための前記選択規則を特定することを含む、請求項１に記載の方法。
11. マルチメディア・コンテンツを有するマルチメディア・データを受信するインターフェースと、
    前記マルチメディア・データに関連付けられた選択テンプレートを特定するためのテンプレート識別モジュールであって、前記選択テンプレートは、複数の規則を含み、各前記規則は、或るマルチメディア・コンテンツの特性および該特性に関連する１またはそれ以上のアクションを含み、前記１またはそれ以上のアクションは、前記マルチメディア・データのビット・レートの変更、前記マルチメディア・データの解像度の変更、および、前記マルチメディア・データの音声ボリュームの変更からなるグループから選択された少なくとも１つのアクションを含む、テンプレート識別モジュールと、
    前記インターフェース及び前記テンプレート識別モジュールに動作可能に結合されたコンテンツ分析装置であって、前記マルチメディア・コンテンツの一部が前記規則に関連付けられた特性を有するか否かを、前記選択テンプレートの複数の前記規則を含む少なくとも１つのサブセットの各規則ごとに決定するために、前記マルチメディア・コンテンツを分析する前記コンテンツ分析装置と、
    前記インターフェース及び前記コンテンツ分析装置に動作可能に結合されたトランスコーダであって、前記マルチメディア・コンテンツの一部が前記規則に関連付けられた特性を有すると決定されると、前記マルチメディア・データを変更するように、前記規則に関連付けられた１またはそれ以上のアクションのうち少なくとも１つのアクションを実行するためのトランスコーダとを備えたシステム。
12. 前記テンプレート識別モジュールは、前記マルチメディア・データに関連する受信された番組情報に基づいて前記選択テンプレートを特定する、請求項１１に記載のシステム。
13. 前記１またはそれ以上のアクションは、前記規則に関連付けられた前記特性を有するものとして、前記マルチメディア・コンテンツの一部を特定する識別子を前記マルチメディア・コンテンツの一部に挿入するアクションをさらに含む、請求項１１に記載のシステム。
14. 前記規則に関連付けられた前記特性は、ボリュームまたは選択音声における変化のうち少なくとも１つを含み、
    前記マルチメディア・コンテンツの一部は音声コンテンツを含み、
    前記コンテンツ分析装置は、前記マルチメディア・コンテンツの一部が前記規則に関連付けられた特性を有するか否かを、前記音声コンテンツの音声解析を実行することによって決定する、請求項１１に記載のシステム。
15. 前記マルチメディア・コンテンツの一部は、ビデオ・コンテンツを含み、
    前記コンテンツ分析装置は、前記マルチメディア・コンテンツの一部が前記規則に関連付けられた特性を有するか否かを、前記ビデオ・コンテンツの光学文字認識分析を実行することによって決定する、請求項１１に記載のシステム。
16. 前記マルチメディア・コンテンツの一部は、ビデオ・コンテンツを含み、
    前記コンテンツ分析装置は、前記マルチメディア・コンテンツの一部が前記規則に関連付けられた特性を有するか否かを、前記ビデオ・コンテンツの動作検出分析を実行することによって決定する、請求項１１に記載のシステム。
17. 前記１またはそれ以上のアクションは、前記マルチメディア・データのビット・レートの変化、または、前記マルチメディア・データの音声ボリュームの変化のうち１つを含む、請求項１１に記載のシステム。

Images