JP6121518B2 - ビデオストリームの選択された空間部分を符号化するための方法および装置 - Google Patents

Description

本発明は、ビデオストリーム符号化の分野に関する。

テレビで放送されるスポーツイベント、コンサート、劇の公演など、特定の種類の映像コンテンツの場合、視聴者は、ある時には、高品質の概観の画面を見ることに関心をもち、またある時には、動作の特定の部分でズームインしたいと考える場合がある。クライアント側の知られているパンチルトズーム（ＰＴＺ）機能は、拡大された画像部分の品質または解像度を損なうことにつながる。サーバ側の知られているパンチルトズーム（ＰＴＺ）機能は、サーバ側に膨大な量の計算をもたらす。

Ｐｅｔｅｒ Ｍ．Ｋｕｈｎ、Ｔｅｒｕｈｉｋｏ Ｓｕｚｕｋｉ、およびＡｎｔｈｏｎｙ Ｖｅｔｒｏ、「ＭＰＥＧ−７ Ｔｒａｎｓｃｏｄｉｎｇ Ｈｉｎｔｓ ｆｏｒ Ｒｅｄｕｃｅｄ Ｃｏｍｐｌｅｘｉｔｙ ａｎｄ Ｉｍｐｒｏｖｅｄ Ｑｕａｌｉｔｙ」、Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ＰａｃｋｅｔＶｉｄｅｏ ’０１、２００１ Ｒａｌｐｈ Ａ．Ｂｒａｓｐｅｎｎｉｎｇ、Ｇｅｒａｒｄ ｄｅ Ｈａａｎ、「Ｔｒｕｅ−ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ ｆｅａｔｕｒｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ」、Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ２００４、第５３０８巻、第１号（２００４）、３９６−４０７頁

得られる画像が非常に高い品質を保持するような方法で、クライアント側のＰＴＺ機能性を提供するとともに、計算リソースがより効率的に使用されるようにすることが、本発明の実施形態の目的である。

本発明の一態様によれば、元のビデオストリームの選択された空間部分をスタンドアロン型のビデオストリームとして符号化するための方法であって、選択された空間部分に関する画素情報を取得するステップと、選択された空間部分の周辺にある、元のビデオストリームの補完的な空間部分から導き出された符号化ヒントを取得するステップと、選択された空間部分を符号化ヒントを使用して符号化するステップとを含む、符号化するための方法が提供される。

より大きな画像についての情報、特に、選択された部分の外側の領域、ただし、続いて生じるフレームの符号化に影響を与える性質をもつのに十分に近い領域に現れる元のビデオストリームの特徴を考慮することによって、選択された部分の符号化プロセスをより効率的にできることは、本発明による方法の利点である。関連した周辺特徴は、好ましくは、これらの特徴の動き、および選択された部分の「動き」、すなわち、元のビデオストリームに関して任意のパン、チルト、またはズームによって誘起された画像の動きに基づいて、選択される。

どこで符号化ヒントの導出が行われたかにかかわらず、符号化段階で改善が得られることは、本発明による方法のさらなる利点である。この設定は、ヒント導出のプロセスの一部、特に、元のビデオフィードに関する特徴および動きの抽出が、残りの方法ステップから分離されることを可能にする。このように、これらの分離されたステップの集中化が可能となり、複数の符号化が実行される予定の場合、効率性の向上につながる。

一実施形態では、本発明による方法は、元のビデオストリームを取得するステップと、スタンドアロン型のビデオストリームの選択された空間部分を表す選択情報を取得するステップと、選択された空間部分に関する画素情報を、選択情報に従って、元のビデオストリームから抽出するステップとをさらに含む。

元のビデオストリームの情報を使用して、元のビデオストリームの品質（例えば、解像度）を、縮小されたビデオストリームにおいて最大限保持できるように、縮小されたビデオを生成することは、本実施形態の利点である。

一実施形態では、本発明による方法は、元のビデオストリームに関する動きおよび特徴情報を取得するステップと、動きおよび特徴情報において、選択された空間部分の周辺にある領域に関する関連した特徴を識別するステップと、識別された関連した特徴から符号化ヒントを導き出すステップとをさらに含む。

元のビデオストリームの情報を使用して、符号化ヒントを生成するために最大限の入手可能な情報を考慮できるように、動きおよび特徴情報を生成することは、本実施形態の利点である。好ましくは、動き適応器は、候補となる特徴の動きベクトルを、選択された空間部分のパン／チルト／ズーム動作を表す動きベクトルと比較することによって、関連した特徴を識別するように構成される。したがって、選択された部分の周辺領域における特徴は、関心領域へ移行するものとして検出可能であり、その場合、特徴の様相が予想可能であり、好ましくはその特徴の予想される存在に最適に対処できるように、可変符号化パラメータに新しい値が選択される可能性がある。

本発明による方法の一実施形態では、符号化するステップが、スケーラブルなビデオコーデックによって実行される。

特定の実施形態では、元のビデオストリームが、符号化するステップのためのベースレイヤとして提供される。

特定の実施形態では、スケーラブルなビデオコーデックが、Ｈ．２６４ ＳＶＣコーデックである。

本発明による方法の一実施形態では、選択された空間部分に関する画素情報を取得するステップが、符号化済みのビデオストリームを取得するステップを含み、また符号化するステップが、符号化済みのビデオストリームをトランスコードするステップを含む。

元のビデオストリームおよび／または選択された空間部分は、元々、符号化済みのストリームとしてのみ使用できる場合がある。その場合、賢明なトランスコーディングは、未加工のビデオストリームの復号化および再符号化を行うよりも効率的となるはずである。

本発明の態様によれば、実行時に本発明の実施形態による方法を実行するようになされたコンピュータプログラムが提供される。

本発明の一態様によれば、データ処理装置に本発明の実施形態による方法のステップを実行させるための命令を含むコンピュータ可読記憶媒体が提供される。

本発明の一態様によれば、元のビデオストリームの選択された空間部分をスタンドアロン型のビデオストリームとして符号化する装置であって、元のビデオストリームを受信するためのビデオ入力インタフェースと、選択された空間部分を表す選択情報を受信するための選択情報入力インタフェースと、元のビデオストリームから導き出された特徴情報を受信するための、動きおよび特徴情報入力インタフェースと、ビデオ入力インタフェースおよび選択情報入力インタフェースに動作可能に結合されたパノラマフレーム変更器であって、選択された空間部分に関する画素情報を、選択情報に従って、元のビデオストリームから抽出するように構成された、パノラマフレーム変更器と、動きおよび特徴情報入力インタフェースならびに選択情報入力インタフェースに動作可能に結合された動き適応器であって、動きおよび特徴情報において、選択された空間部分の周辺にある領域に関する関連した特徴を識別するように、また識別された関連した特徴から符号化ヒントを導き出すように構成された、動き適応器と、パノラマフレーム変更器および動き適応器に動作可能に結合されたヒント付き符号化器であって、選択された空間部分を符号化ヒントを使用して符号化するように構成された、ヒント付き符号化器とを備える装置が提供される。

本発明による装置の一実施形態では、ヒント付き符号化器が、スケーラブルなビデオコーデックによって、選択された空間部分を符号化するように構成される。

特定の実施形態では、ヒント付き符号化器が、元のビデオストリームを符号化のためのベースレイヤとして提供するように構成される。

特定の実施形態では、スケーラブルなビデオコーデックは、Ｈ．２６４ ＳＶＣコーデックである。

本発明による装置の一実施形態では、ビデオ入力インタフェースが、ビデオストリームを符号化済みのビデオストリームとして取得するように構成され、またヒント付き符号化器が、符号化済みのビデオストリームをトランスコードするように構成される。

本発明は、元のビデオストリームの選択された空間部分をスタンドアロン型のビデオストリームとして符号化するシステムであって、周辺部分における特徴に関する動き情報を抽出するように構成された特徴解析器と、請求項９から１３のいずれかによるいくつかの装置とを備え、特徴解析器が、装置のそれぞれの動きおよび特徴情報インタフェースに結合されている、システムをさらに提供する。

本発明の実施形態による装置およびシステムの効果ならびに利点は、必要な変更を加えるものの、対応する、本発明の実施形態による方法の効果および利点と実質的に同じである。

次に、本発明の実施形態による装置および／または方法のいくつかの実施形態を、単に例示を目的として、添付の図を参照しながら説明する。

本発明の一実施形態による方法の流れ図である。 本発明の実施形態による装置およびシステムの概略図である。 本発明の実施形態で実行される、動きベクトルの比較を示す図である。

本発明は、パーソナライズされた関心領域（ＲｏＩ）を要求できる複数のユーザに、パンーチルトーズーム（ＰＴＺ）のインタラクティブな方式で、高解像度ビデオパノラマからサービスを提供するプロキシから構成されるシステムに関する。本発明はさらに、同じビデオパノラマソースからのこれらのパーソナライズされたビデオストリームのビデオ符号化にかかる、プロキシ側における計算コストの最適化に関する。「パノラマ」という用語は、本明細書では一般に、通常、幅が４０００画素を上回る、高解像度のビデオ解像度を指定するために使用されており、物理的空間の広角視野もしくは広角表現の、ビデオとしての円筒形マッピングまたは球面マッピングを含む場合がある。任意選択で、パノラマは、統合され、融合された異なるビデオソースから構成されてもよい。

現在のソリューションでは、時間ｔにおいて、未加工データに、所望のＲｏＩフレームを生成し、それを、Ｈ．２６４、または動き補償および／もしくはイントラ符号化を備えた、ＷｅｂＭに似たコーデックを使用して符号化するために、ユーザが要求したクロッピングおよびＰＴＺ動作を実行する。

残念なことに、この技法を使用すると、何人かが共通の、または重複するＲｏＩを要求したとしても、動き補償／推定モードおよびイントラ予測モードは、すべてのユーザに対して計算されなければならない。これにより、結果としてプロキシが、入力ビデオパノラマがすべてのユーザに対して同じであるという事実から恩恵を受けることができないので、システム拡張性が不十分になる。モバイルデバイスに映像を適応させるためのハードウェア加速にトランスコーディングを提供するシステムについても同じことが言える。

本説明では、Ｈ．２６４勧告のコンテキストに共通の映像符号化専門用語が使用されることになる。このことが本文を明瞭にするためだけに行われており、また専門用語のこうした選択が、本発明の範囲を、その特定の符号化標準が適用されるシステムに限定することを意図するものではないことを当業者なら理解するであろう。

本発明の実施形態では、ＲｏＩの動き推定およびイントラ予測の全体的な計算の複雑性が、パノラマから直接、相対的な動きおよびイントラ予測方向を計算することによって軽減される。その結果、計算速度は向上される。新しいクライアントの追加がもたらす計算の複雑性の増加はわずかなので、得られるシステムの拡張性は主要な利点となる。

本発明の実施形態は、以下の２つのステップを実行することによって、この利点が達成され得るとみる、発明者らの洞察に基づく：
１）動き解析（ならびにイントラ予測方向推定）が、各パノラマ画素に対して、フルパノラマで、最大解像度で実行される。
２）次いで、ＲｏＩの相対的な動きが、ユーザが要求する、起こり得る、ＲｏＩの変位および解像度変更を補償することにより、これらのパノラマ動きベクトルから計算され得る。実際には、これらの補償された動きベクトルは、ヒントとして、そのＲｏＩの符号化に貢献する符号化器に送信される。符号化器は、必要な場合、この動きベクトルの「ヒント」を改良する（ｒｅｆｉｎｅ）ことができる。

図１は、本発明の一実施形態による方法の流れ図を提供する。様々な示されているステップが、必ずしも単一のエンティティによって実行されるものではないことを当業者なら理解するであろう。加えて、特定の順序が確かに必要であることが説明から明らかでない限り、並行して行われるものとして示されているステップは、連続して実施されてもよく、また逆も同様である。

示されている実施形態によれば、元のビデオストリームが取得され（１００）、それが使用されて、一方では選択した領域の関連した画素情報が抽出され（１３０）、他方では動きおよび特徴情報が抽出される（１５０）。

選択した領域の画素情報の抽出を実行するために、関心領域（ＲｏＩ）は、通常はビデオクライアントデバイスを介してビューアによって、しかしもう１つのもしくは付加的な方法として人間の指示者または自動化スクリプトによって、選択されていなければならず（１１０）、またこの選択情報は、抽出側で取得されなければならない（１２０）。選択アクションは、元のビデオストリームに関してパン、ズーム、およびチルトに限定されてもよく、そこでは選択した領域のアスペクト比は、好ましくは、視聴装置と関連付けられた固定アスペクト比（例えば、３×４または１６×９）に限定される。画素情報は、選択した領域内のビデオ画像の任意の形態の表現を含むことを意味する。これは、非圧縮ビデオ画像のストリーム、または符号化済みのビデオストリームであってもよい。

本発明による方法の実施形態は、動きが、場合によってはすべてのデータが使用可能である（すなわち、パノラマである）多重解像度法において、最高解像度で計算され、したがって最高の正確性を実現するという利点をもたらす。本発明による方法の実施形態はさらに、動きデータが、パノラマで、事前に計算されているので、異なるユーザ向けの重複するＲｏＩまたは位置合わせされたＲｏＩが、それぞれの符号化器のための動き推定作業の重複を必要としないというさらなる利点をもたらす。

符号化ヒントが、抽出された動きおよび特徴情報から導き出される（１６０）。動きおよび特徴情報が、すべての入手可能な情報を考慮して、元のビデオストリームから抽出される一方、符号化ヒントの導出は、以降でより詳しく説明するように、符号化性能を改善するのに関連した特徴を選択する。

符号化器は、選択された部分に関する画素情報を取得し（１４０）、また、通常は周辺部分から導き出される符号化ヒントを取得する（１７０）。これらの入力に基づいて、符号化器は、ビデオストリームの選択された部分を符号化する（１８０）。

符号化ヒントは、元のビデオストリームの選択されなかった部分から導き出されたビット情報であり、選択された部分の符号化を改善するために、選択された部分に関する情報に加えて使用される。これを実現するために、本発明の実施形態による方法は、（ステップ１２０において）クライアントからのナビゲーションコマンドおよびズームコマンドを追跡し、次いでズームコマンドに応答してグローバル動きデータの縮尺を変更し、（ステップ１６０において）パンコマンドまたはチルトコマンドに応答してＲｏＩの動きを追加する。ヒントか実際の動きベクトルとして使用される、取得された１組の動きベクトルに基づいて、符号化が行われる（ステップ１８０）。符号化器で参照フレーム領域が使用できない場合、予測動きベクトルおよび探索ウィンドウの範囲が符号化器またはイントラ予測モードに送信される。

前述の方法は、一般に、元のビデオストリームの選択された空間部分をスタンドアロン型のビデオストリームとして符号化する装置であって、選択された空間部分に関する画素情報を取得する（１４０）ための手段と、選択された空間部分の周辺にある、元のビデオストリームの補完的な空間部分から導き出された符号化ヒントを取得する（１７０）ための手段と、選択された空間部分を符号化ヒントを使用して符号化する（１８０）ための手段とを備える装置によって実行可能である。

装置は、元のビデオストリームを取得する（１００）ための手段と、スタンドアロン型のビデオストリームの選択された空間部分を表す選択情報を取得する（１２０）ための手段と、選択された空間部分に関する画素情報を、選択情報に従って、元のビデオストリームから抽出する（１３０）ための手段とをさらに備えてもよい。

より具体的には、装置は、元のビデオストリームに関する動きおよび特徴情報を取得する（１５０）ための手段と、動きおよび特徴情報において、選択された空間部分の周辺にある領域に関する関連した特徴を識別するための手段と、識別された関連した特徴から符号化ヒントを導き出す（１６０）ための手段とをさらに備えてもよい。

符号化する（１８０）ための手段は、スケーラブルなビデオコーデックで動作してもよい。より具体的には、符号化する（１８０）ための手段は、元のビデオストリームを符号化のためのベースレイヤとして提供してもよい。またより具体的には、スケーラブルなビデオコーデックは、Ｈ．２６４ ＳＶＣコーデックであってもよい。

選択された空間部分に関する画素情報を取得する（１４０）ための手段は、符号化済みのビデオストリームを取得するように構成されてもよく、また符号化する（１８０）ための手段は、符号化済みのビデオストリームをトランスコードするようになされてもよい。

図２は、本発明の実施形態による装置およびシステムの概略図を提供する。装置２００は、前記元のビデオストリーム１９９を受信するためのビデオ入力インタフェース２１１と、前記選択された空間部分を表す選択情報を受信するための選択情報入力インタフェース２３２と、前記元のビデオストリームから導き出された特徴情報を受信するための、動きおよび特徴情報入力インタフェース２２１と、前記ビデオ入力インタフェース２１１および前記選択情報入力インタフェース２３２に動作可能に結合されたパノラマフレーム変更器２１１であって、前記選択された空間部分に関する画素情報を、前記選択情報に従って、前記元のビデオストリームから抽出するように構成された、パノラマフレーム変更器２１１と、前記動きおよび特徴情報入力インタフェース２２１ならびに前記選択情報入力インタフェース２３２に動作可能に結合された動き適応器２２０であって、前記動きおよび特徴情報において、前記選択された空間部分の周辺にある領域に関する関連した特徴を識別するように、また前記識別された関連した特徴から符号化ヒントを導き出すように構成された、動き適応器２２０と、前記パノラマフレーム変更器２１０および前記動き適応器２２０に動作可能に結合されたヒント付き符号化器２３０であって、前記選択された空間部分を前記符号化ヒントを使用して符号化するように構成された、ヒント付き符号化器２３０とを備える。

装置２００は、選択された符号化済みのビデオストリームをクライアント３００にネットワーク２５０を介して送信するための出力インタフェース２３１をさらに備える。示されているネットワーク２５０は、１つまたは複数のネットワークリンクから構成されてもよい。それには通常、クライアント側にアクセスリンクが含まれている。

「インタフェース」という用語は、当業者にはよく知られているように、プロトコルスタックの様々なレイヤにわたってデータ通信の接続性を確立するために必要なハードウェアおよびソフトウェアを指定する。好ましくは、標準化されたプロトコルが使用される。アクセスインタフェースには、例えば、ｘＤＳＬ、ｘＰＯＮ、ＷＭＡＮ、３Ｇリンクなどのアクセスリンクのインタフェースが含まれる場合がある。ＬＡＮインタフェースには、例えば、ＩＥＥＥ８０２．３「イーサネット(登録商標)」リンク、ＩＥＥＥ８０２．１１「無線ＬＡＮ」リンクのうちの１つまたは複数に対するインタフェースが含まれる場合がある。ＰＡＮインタフェースには、例えば、ＵＳＢインタフェースまたはＢｌｕｅｔｏｏｔｈ(登録商標)インタフェースが含まれる場合がある。いくつかのネットワークセグメントにわたる通信のための上位レイヤプロトコルは、好ましくは、ＴＣＰ／ＩＰプロトコルスイート由来のプロトコルである。

クライアント３００は、受信したビデオストリームを復号するための標準復号器３１０を備える。クライアント３００は、エンドユーザが関心領域を選択することと、得られた選択情報を装置２００にフィードバックすることを可能にする手段３２０をさらに含む。

説明した装置に加えて、本発明によるシステムは、元のビデオストリーム１９９上で動作する、動きおよび特徴解析器２４０を備えることができる。好ましくは、この動きおよび特徴解析器２４０は、集中化されるか、「クラウドに」配置され、またその出力を、本発明による１つまたは複数の装置２００に提供する。しかし、動きおよび特徴解析器２４０の機能ならびに単一の装置２００を同じデバイスまたは製品に含めることも可能である。

分かりやすく、簡潔にするために、特定の特徴および利点のみが、方法の実施形態と装置／システムの実施形態のどちらかと関連して、明示的に説明されてきた。特徴および利点は、他のカテゴリの対応する実施形態に同様に適用することを当業者なら理解するであろう。

例示的配備では、それぞれがクライアント３００にサービス提供しているＮ個の適応ＲｏＩ符号化器２００に接続されたパノラマビデオストリーム解析器２４０から構成されるシステムについて検討する。各適応ＲｏＩ符号化器２００は、図２で示されているように、動き適応モジュール２２０、パノラマビデオフレーム変更モジュール２１０、およびクライアント３００への送信を行うヒント付き符号化器２３０を備える。

パノラマ動き解析器２４０は、未加工の、または符号化済みのパノラマビデオストリーム１９９を受信し、動き情報をＮ個の適応ＲｏＩ符号化器２００の動き適応モジュール２２０に送信する。パノラマ解析器２４０がその作業を圧縮領域で実行した場合、フレーム変更モジュール２１０は、必要な部分的復号を可能にすることになる。符号化器２３０がＭＰＥＧ−７準拠のトランスコーダである場合、ヒント情報は、ＭＰＥＧ−７トランスコーディングヒントとして符号化器２３０に提供可能である。

このようなトランスコーダは、Ｐｅｔｅｒ Ｍ．Ｋｕｈｎ、Ｔｅｒｕｈｉｋｏ Ｓｕｚｕｋｉ、およびＡｎｔｈｏｎｙ Ｖｅｔｒｏ、「ＭＰＥＧ−７ Ｔｒａｎｓｃｏｄｉｎｇ Ｈｉｎｔｓ ｆｏｒ Ｒｅｄｕｃｅｄ Ｃｏｍｐｌｅｘｉｔｙ ａｎｄ Ｉｍｐｒｏｖｅｄ Ｑｕａｌｉｔｙ」、Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ＰａｃｋｅｔＶｉｄｅｏ ’０１、２００１から知られている。

各動き適応モジュール２２０は、パノラマ動き解析器２４０から動きおよび特徴情報を、そのクライアント３００からＲｏＩ位置変更要求を受信する。この情報に基づいて、モジュール２２０は、その接続されたヒント付き符号化器２３０にヒントを出力する。パノラマフレーム変更モジュール２１０はまた、ＲｏＩ要求を読み取り、要求されたパノラマ領域を再度サンプリングおよびクロッピングし、ヒント付き符号化器２３０向けに、要求された位置および解像度で、パノラマ領域を準備する。パノラマ領域が２次元でマッピングされる必要がある場合（例えば、球面映像に対する円筒形マッピング）、これもまた、パノラマフレーム変更モジュール２１０で行われる。

各ヒント付き符号化器２３０は、その動き適応モジュール２２０からのヒント、ならびに要求された解像度および位置での、未加工のクロッピングされたビデオストリームを受信する。ヒントは、圧縮性能で不利益を得ることなしに符号化器２３０の計算の複雑性を軽減するのに役立つ情報から構成される。Ｈ．２６４の場合、ヒントは、ダイレクト動きベクトル、モード判定（動き区分）、探索ウィンドウが中心を置くことになる予測動きベクトルならびにその探索ウィンドウのサイズ、イントラモード予測、スキップ判定などから構成され得る。これに関する例は、Ｒａｌｐｈ Ａ．Ｂｒａｓｐｅｎｎｉｎｇ、Ｇｅｒａｒｄ ｄｅ Ｈａａｎ、「Ｔｒｕｅ−ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ ｆｅａｔｕｒｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ」、Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ２００４、第５３０８巻、第１号（２００４）、３９６−４０７頁に見られる。

パノラマ解析器２４０および動き適応モジュール２２０によって計算されるこれらのヒントを使用することの主要な利点は、動き予測の作業が、高精度でパノラマ全体に対して１度だけ実行され、すべての符号化器２００によって再生成（ｒｅｐｒｏｄｕｃｅ）される必要がない。

この作業の集中化の結果、システムの全体的な計算の複雑性は低下する。このことは、以下の簡素化した計算によって、例示的な方法で示すことができる。Ｃがビデオ符号化器の計算の複雑性、Ｃ_ｍが動き推定の複雑性、Ｃ_ｒが残りの圧縮動作の複雑性である場合、Ｃ＝Ｃ_ｒ＋Ｃ_ｍであり、Ｃ_ｍ＞Ｃ_ｒ（通常、Ｃ_ｍ≫Ｃ_ｒ）である。パノラマ解析（図１のステップ１５０、図２の解析器２４０の機能）の計算の複雑性は、Ｃ_ｐとして示され、Ｃ_ｐ＞Ｃである。本システムによれば、Ｎクライアントへのサービス提供は、（Ｃ_ｐ＋Ｃ_ｒ）の関数における古典的な線形性ではなく、単にＣ_ｐ＋Ｎ×Ｃ_ｒの複雑性になる。１クライアントの追加は、Ｃ_ｒの増分を加算するのみであり、それは従来の場合の項Ｃ_ｍ＋Ｃ_ｒよりも非常に小さい。

パノラマ動きおよび特徴解析器２４０によって計算される動き情報は、動き適応モジュール２２０によって、クライアント要求に適応させる必要がある。これには、使用可能な動きベクトルが、ヒント付き符号化器２３０において参照フレームとして使用できるパノラマ領域を示しているかを検出することが必要である。そうした検出は、図３で示され、そこでは未加工のパノラマビデオフレームの動きおよび特徴情報が、Ｍ個のフレームのＲｏＩ要求の一例と共に示されている。各パノラマフレーム、時間ｔのΠ（ｔ）は、パノラマ動きおよび特徴解析モジュール２４０において、各画素向けに特徴情報および動き情報を生成するように解析される。特徴情報は、例えば、エッジの位置および配向情報、ＳＩＦＴ記述子と共にパノラマのセグメンテーションから構成され、動き情報は、参照フレームとして機能する、Ｍ個の前のフレームΠ（ｔ−１）からΠ（ｔ−Ｍ）のそれぞれに対して１つの動きベクトルとして表示される。

動き適応モジュール２２０は、ＲｏＩ要求を受信して、ヒント付き符号化器２３０が使用する、前のＭ参照フレームに対して、パノラマにおけるＲｏＩ位置変化を計算する。ＲｏＩの動きの変化は、図３にｒとして示されるベクトルによって表示され、そこでは現在のＲｏＩマクロブロックは、規則的な格子として表示され、前のＲｏＩフレーム位置は、破線の矩形領域（幅がｗ（ｔ）、高さがｈ（ｔ））として表示されている。

動き適応モジュールは、次いで、ヒント付き符号化器２３０によって符号化されるあらゆるマクロブロックに対して、パノラマ解析器２４０によってパノラマにおける各画素に対して計算された動きベクトルが、ヒント付き符号化器の参照フレームにおいて使用可能であるかを検査する。使用可能であるならば、動き適応モジュールは、最善のモード判定を計算し、パノラマにおけるＲｏＩウィンドウの位置変化を補償するように動きベクトルを適応させて集約し、この情報をヒントとしてヒント付き符号化器２３０に送信する。動きベクトルがマクロブロックに対して使用可能でないならば、解析器２４０からの特徴が使用されて、パノラマ動きおよび特徴解析によって実施されたセグメンテーションによって得られる所与の近接領域の特徴、または同様にこれらの特徴（例えば、４×４モードまたは１６×１６モードにおいてマクロブロックで検出されたエッジに沿ったイントラ予測方向）によっても誘導されるイントラ予測モードの特徴と、現在のマクロブロックの特徴が一致する場合に、探索ウィンドウを示唆する。

クライアント３００からのＲｏＩ要求は、パノラマにおけるＲｏＩ解像度および位置の記述にある。この情報は、動き適応モジュール２２０によって、およびパノラマフレーム変更モジュール２１０によって使用される。このモジュール２１０は、パノラマの正しい領域を選択し、それを、要求された解像度に向けて、サブサンプリングまたは補間または再マッピングする。これらの動作の出力は、次いで、クロッピングされ、ヒント付き符号化器２３０に送信される。

任意選択で、いくつかのクライアント３００が同じだが解像能力が異なるＲｏＩを要求した場合、これらのクライアント３００は、仮想スーパークライアントとして集約されてもよい。このことは、例えば、ＲｏＩ変位がスクリプト（例えば、仮想もしくは人間の制作ディレクタによって判定される、パノラマ空間における対象または人または変位の追跡）によって誘導されている場合に可能である。ヒント付き符号化器は、Ｈ．２６４、ＳＶＣのスケーラブルな拡張機能などのスケーラブルな符号化技法を使用する。このことは、ストリームの、クライアント３００のニーズへの適応を可能にしつつ、依然として、符号化の計算の複雑性を軽減する。ヒントはまた、次いで、好ましくは、動きおよび特徴解析に基づいて、レイヤ内およびレイヤ間の予測ヒントを統合する。パノラマ動き解析器２４０は、次いで、具体的には、これを可能にするように多重解像度の動きおよび特徴情報を出力する。

任意選択で、本発明による方法は、フルパノラマで動き解析を使用するほうが、各ＲｏＩをヒントなしで個別に符号化するよりも効率的かを推定する追加のステップを含む。先に定義された表記法を再利用すると、計算が実行されて、パノラマ動き解析（ステップ１５０）コストが、より高い拡張性によって補償される、クライアントの最小数Ｎ_ｐを決定する。先に提供された解析によれば、Ｎ_ｐは、式、Ｎ_ｐ×（Ｃ_ｍ＋Ｃ_ｒ）＝Ｃ_Ｐ＋Ｎ_Ｐ×Ｃ_ｒによって与えられる。その結果として、Ｎ_ｐ＝Ｃ_ｐ／Ｃ_ｍとなる。したがって、好ましい一実施形態では、本発明による方法は、上述のとおり、サービスを受けるクライアントの数が少なくともＮ_ｐ＝Ｃ_ｐ／Ｃ_ｍと同じであると検証した後で、ヒント付き符号化を使用する。

方法および装置は、別個の実施形態として先に説明されているが、これは分かりやすくする目的のみのために行われ、方法の実施形態に関連してのみ説明された特徴が、同じ技術的な効果および利点を得るために本発明による装置に適用されてもよく、また逆も同様であることに留意されたい。

「プロセッサ」として分類された任意の機能ブロックを含む、図に示される様々な要素の機能は、専用のハードウェア、ならびに適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを使用することによって、提供されてもよい。プロセッサによって提供されるとき、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、またはその一部を共有することができる複数の個々のプロセッサによって、提供されてもよい。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すものと解釈されるべきではなく、暗黙的に、デジタル信号プロセッサ（ＤＳＰ）のハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ソフトウェアを格納するための読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性記憶装置を非限定的に含んでもよい。また、従来の、および／または特注の、他のハードウェアも含まれてもよい。同様に、図に示されるあらゆるスイッチは単に概念的なものである。それらの機能は、プログラム論理の動作によって、専用論理によって、プログラム制御と専用論理の相互作用によって、またはさらには手動で実施されてもよく、文脈からより具体的に理解されるように、特定の技法が実装者によって選択可能である。

当業者であれば、様々な前述の方法のステップが、プログラムされたコンピュータによって実行され得ることを容易に認識するであろう。本明細書において、一部の実施形態は、例えばデジタルデータ記憶媒体などのプログラム記憶デバイスを包含することも意図されるが、このプログラム記憶デバイスとは、マシンまたはコンピュータにより読み取り可能であり、またマシンが実行可能なまたはコンピュータが実行可能な、命令のプログラムを符号化し、前記命令が前記前述の方法のステップの一部またはすべてを実行するものである。プログラム記憶デバイスは、例えば、デジタルメモリ、磁気ディスクや磁気テープなどの磁気記憶媒体、ハードドライブ、または光学的に読み取り可能なデジタルデータ記憶媒体などでもよい。各実施形態は、前述の方法の前記ステップを実行するためにプログラムされたコンピュータを包含することも意図される。

Claims (12)

1. 元のビデオストリームの選択された空間部分をスタンドアロン型のビデオストリームとして符号化するための方法であって、
   前記元のビデオストリームを取得するステップ（１００）と、
   前記スタンドアロン型のビデオストリームの前記選択された空間部分を表す選択情報を取得するステップ（１２０）と、
   前記選択情報に従って、前記元のビデオストリームから、前記選択された空間部分内のビデオ画像の任意の形態の表現を含む、画素情報を抽出するステップ（１３０）と、
   符号化器で前記選択された空間部分に関する前記画素情報を取得するステップ（１４０）と、
   前記元のビデオストリームに関する動きおよび特徴情報を取得するステップ（１５０）と、
   前記動きおよび特徴情報において、前記選択された空間部分の周辺にある領域に関する関連した特徴を識別するステップと、
   前記識別された関連した特徴から動きベクトルを含む符号化ヒントを導き出すステップ（１６０）と、
   前記符号化ヒントを前記符号化器において取得するステップ（１７０）と、
   前記選択された空間部分を前記符号化ヒントを使用して符号化するステップ（１８０）と
   を含み、
   前記関連した特徴を識別するステップは、前記関連した特徴の候補となる特徴の動きベクトルを、選択された空間部分のパン／チルト／ズーム動作を表す動きベクトルと比較して、前記選択された空間部分内へ移行する、前記選択された部分の周辺にある前記領域の特徴を検出することを含む、符号化するための方法。
2. 前記符号化するステップが、スケーラブルなビデオコーデックによって実行される、請求項１に記載の方法。
3. 前記元のビデオストリームが、前記符号化のためのベースレイヤとして提供される、請求項２に記載の方法。
4. 前記スケーラブルなビデオコーデックが、Ｈ．２６４ ＳＶＣコーデックである、請求項２または３に記載の方法。
5. 前記選択された空間部分に関する前記画素情報を前記取得するステップが、符号化済みのビデオストリームを取得するステップを含み、また前記符号化するステップが、前記符号化済みのビデオストリームをトランスコードするステップを含む、請求項１から４のいずれかに記載の方法。
6. データ処理装置に請求項１から５のいずれかによる方法の各ステップを実行させる、コンピュータプログラム。
7. データ処理装置に請求項１から５のいずれかによる方法のステップを実行させるための命令を含む、コンピュータ可読データ記憶媒体。
8. 元のビデオストリーム（１９９）の選択された空間部分をスタンドアロン型のビデオストリームとして符号化するシステムであって、周辺部分における特徴に関する動き情報を抽出するように構成された特徴解析器（２４０）と、少なくとも１つの装置（２００）とを備え、前記特徴解析器（２４０）が、前記少なくとも１つの装置（２００）のそれぞれの動きおよび特徴情報インタフェース（２２１）に結合されており、
   該少なくとも１つの装置（２００）が、
   前記元のビデオストリーム（１９９）を受信するためのビデオ入力インタフェース（２１１）と、
   前記選択された空間部分を表す選択情報を受信するための選択情報入力インタフェース（２３２）と、
   前記元のビデオストリーム（１９９）から導き出された特徴情報を受信するための、前記動きおよび特徴情報入力インタフェースと、
   前記ビデオ入力インタフェース（２１１）および前記選択情報入力インタフェース（２３２）に動作可能に結合されたパノラマフレーム変更器（２１０）であって、前記選択情報に従って、前記元のビデオストリーム（１９９）から、前記選択された空間部分内のビデオ画像の任意の形態の表現を含む、画素情報を抽出するように構成された、パノラマフレーム変更器（２１０）と、
   前記動きおよび特徴情報入力インタフェース（２２１）ならびに前記選択情報入力インタフェース（２３２）に動作可能に結合された動き適応器（２２０）であって、前記動きおよび特徴情報において、前記選択された空間部分の周辺にある領域に関する関連した特徴を識別するように、また前記識別された関連した特徴から動きベクトルを含む符号化ヒントを導き出すように構成された、動き適応器（２２０）と、
   前記パノラマフレーム変更器（２１０）および前記動き適応器（２２０）に動作可能に結合されたヒント付き符号化器（２３０）であって、前記選択された空間部分を前記符号化ヒントを使用して符号化するように構成された、ヒント付き符号化器（２３０）を含み、
   前記動き適応器（２２０）が、前記関連した特徴の候補となる特徴の動きベクトルを、選択された空間部分のパン／チルト／ズーム動作を表す動きベクトルと比較して、前記選択された空間部分内へ移行する、前記選択された空間部分の周辺にある前記領域の特徴を検出することにより関連した特徴を識別するように構成された、システム。
9. 前記ヒント付き符号化器（２３０）が、スケーラブルなビデオコーデックによって、前記選択された空間部分を符号化するように構成された、請求項８に記載のシステム。
10. 前記ヒント付き符号化器（２３０）が、前記元のビデオストリームを前記符号化のためのベースレイヤとして提供するように構成された、請求項９に記載のシステム。
11. 前記スケーラブルなビデオコーデックが、Ｈ．２６４ ＳＶＣコーデックである、請求項９または請求項１０に記載のシステム。
12. 前記ビデオ入力インタフェース（２１１）が、前記ビデオストリームを符号化済みのビデオストリームとして取得するように構成され、また前記ヒント付き符号化器（２３０）が、前記符号化済みのビデオストリームをトランスコードするように構成された、請求項９から１１のいずれかに記載のシステム。

Images