JP6306141B2

JP6306141B2 - 映像データの一体化された空間ダウンサンプリング

Info

Publication number: JP6306141B2
Application number: JP2016500438A
Authority: JP
Inventors: ゲ、フェン; ラルグディ、ハリハラン・ガネシュ; モハン、スミト; ワン、カイ; マラヤス、ナレンドラナス
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2013-03-13
Filing date: 2014-02-26
Publication date: 2018-04-04
Anticipated expiration: 2034-02-26
Also published as: CN105144717B; US20140269895A1; CN105144717A; KR20150127166A; JP2016515356A; US9432614B2; EP2974315A1; KR102281154B1; WO2014163903A1

Description

［０００１］本実装は画像処理に関して、より詳細には、映像コアにおける一体化された（integrated）映像ダウンスケーリング（downscale）に関する映像画像処理システム、方法および装置に関する。

［０００２］移動体無線通信装置、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、デジタルカメラ、デジタル記録装置など、を含む広範囲の電子装置は、種々の画像及び映像能力を有する。いくつかの装置は２次元（２Ｄ）画像および映像、３次元（３Ｄ）画像および映像、あるいは両方を表示することができる。

［０００３］映像データは種々のフォーマットで提供されることができる。フォーマットは、提供される映像データの解像度において変化する。例えば、いくつかのフォーマットは高解像度の映像データ（例えば１９２０×１０８０）を提供するのに対して、他のフォーマットは低解像度の映像データ（例えば８６４×４８０）を提供することができる。

［０００４］表示装置は制限された解像度で映像データを提示するように構成されることができる。例えば、移動体装置は８６４×４８０の解像度で映像データを表示するように構成されることができる。表示装置は、プロセッサ資源、電力資源、帯域資源などの、表示装置に利用可能な資源及び／または利用可能な表示のサイズに基づく解像度に関して構成されることができる。各表示装置の特定の構成にもかかわらず、表示装置は、表示するように当該装置が構成されるよりも高い解像度で映像データを受信することができる。より高い解像度の映像データをより低い解像度に変換するプロセスは概してダウンスケーリングと呼ぶことができる。

［０００５］ダウンスケーリングは符号化装置あるいは復号装置に関して実行することができる。符号化装置に実装された場合、当該装置はソース映像データを受信し、表示装置への送信のために映像データのダウンスケーリングされたバージョンを符号化する。復号装置に実装された場合には、当該装置は基準映像データを受信して、当該基準データを復号し、基準映像データのより低い解像度のバージョンを生成することができる。一部の実装において、復号装置内は表示装置内に含まれる。一部の実装において、復号装置は表示装置と結合されることができる。

［０００６］ダウンスケーリングのプロセスは装置の資源を利用するので、ダウンスケーリングを効率的に実行するシステムおよび方法が望まれている。

［０００７］添付の特許請求の範囲内のシステム、方法および装置の種々の実施形態はそれぞれいくつかの側面を備えるが、それのどの１つをとってもここに記述された所望の属性に対して単独で責任を負うものではない。添付の特許請求の範囲を制限することなしにいくつかの顕著な特徴がここに記述される。この議論を考慮したあと、そして特に“詳細な説明”と書かれた部分を熟読したあとにおいて、人は種々の実装の特徴が映像コアにおける一体化されたダウンスケーリングを提供するためにいかに利用されるかについて理解するであろう。

［０００８］１つの改善された側面において、映像データを処理するための電子装置が提供される。装置は入力映像データを受信するように構成された受信機を含む。装置は出力映像データを生成するように構成されたビデオコーダを含む。ビデオコーダはビデオエンコーダと、ビデオデコーダとを含む。ビデオコーダはさらにエンコーダとデコーダとに結合されたダウンスケーラを含み、ダウンスケーラは符号化または復号の間に入力映像データのダウンスケールリングされたバージョンを生成するように構成され、ここにおいて、出力映像データは入力映像データのダウンスケーリングされたバージョンを含む。

［０００９］さらなる改善された側面において、映像データを処理する方法が提供される。方法は入力映像データを受信することを含む。方法は出力映像データを生成することを含み、出力映像データを生成することは入力映像データを選択的に符号化および復号することを含み、ここにおいて、入力映像データのダウンスケーリングされたバージョンは符号化または復号の間に生成され、出力映像データは入力映像データのダウンスケーリングされたバージョンを含む。

［００１０］さらなる他の改善された側面において、映像データを処理するためのさらなる電子装置が提供される。電子装置は入力映像データを受信するための手段を含む。電子装置はさらに出力映像データを生成するための手段を含み、出力映像データを生成することは入力映像データを選択的に符号化および復号することを含み、ここにおいて、入力映像データのダウンスケーリングされたバージョンは符号化あるいは復号の間に生成され、出力映像データは入力映像データのダウンスケーリングされたバージョンを含む。

［００１１］装置のプロセッサによって実行可能な命令を備えるコンピュータ読み取り可能な記憶媒体がさらなる改善された側面において提供される。命令は装置に入力映像データを受信させる。命令はさらに装置に出力映像データを生成させ、出力映像データを生成することは入力映像データを選択的に符号化および復号することを含み、入力映像データのダウンスケーリングされたバージョンは符号化あるいは復号の間に生成され、ここにおいて、出力映像データは入力映像データのダウンスケーリングされたバージョンを含む。

［００１２］本開示の特徴を詳細に理解できるように、上では簡単に要約された、より特定された説明が側面に関連して行われ、側面のいくつかは添付の図面において例示されている。しかしながら、添付の図面はこの開示のある典型的な側面のみを示しており、説明は他の均等に効果的な側面に適用されるのでその側面を限定するものと考えられるべきではない。
［００１３］図１は、例示的映像符号化及び復号システムの機能的ブロック図を示す。［００１４］図２は、一体化されたダウンスケーラを含む例示的映像コアの機能的ブロック図を示す。［００１５］図３は、例示的ダウンスケーラの機能的ブロック図を示す。［００１６］図４は、例示的映像エンコーダの機能的ブロック図を示す。［００１７］図５は、例示的映像デコーダの機能的ブロック図を示す。［００１８］図６は、インタレーシングされた映像データの一体化ダウンスケーリングを備える復号の例示的方法のためのプロセスフロー図を示す。［００１９］図７は、インタレーシングされた映像データの一体化ダウンスケーリングを備える復号の例示的方法のための他のプロセスフロー図を示す。［００２０］図８は、映像データを処理する例示的方法のためのフローチャートを示す。［００２１］図９は、映像データを処理するための例示的電子装置の機能的ブロック図を示す。

［００２２］通常のプラクティスにしたがって、図面に例示された種々の特徴は、正確な縮尺率で記載することができない。したがって、種々の特徴の寸法は明確さのために自由に拡大または縮小することができる。さらに、図面のいくつかは与えられたシステム、方法あるいは装置のすべての構成要素を示していない。最後に同じ参照番号は明細書および図の全体にわたって同じ特徴を記述するのに用いられることができる。

［００２３］映像ハードウエアコーデック内に一体化されたダウンスケーラおよび関連する方法が記述される。ダウンスケーラは計算を行って表示フレームを外部メモリに書き込む。このフレームは目標表示装置（例えば移動体装置、携帯電話機）と同じ解像度をもつ。目標表示装置は次に元の高解像度フレームではなくこの表示フレームを読み出す。符号化／復号間でのダウンスケールを可能にすることによって、装置は映像データのフレームを個々にダウンスケーリングすることに関連する電力消費、メモリ帯域、メモリアクセス、バス帯域などのリソースを保存することができる。

［００２４］記述されるプロセスはブロック主体の符号化および復号プロセスにおける一体化されたダウンスケーラを含む。映像が符号化あるいは復号されるときに生成される情報に基づいて、映像データのダウンスケーリングされたバージョンが生成されることができる。デコーダとして実装されるならば、ダウンスケーリングされたバージョンが表示される。エンコーダとして実装されるならば、ダウンスケーリングされたバージョンは目標表示装置に送信されることができる。

［００２５］記述された特徴の限定されない利点は、映像コア内でのダウンスケーリングの一体化を含む。映像コアによる画像の処理の間に、画像をダウンスケーリングするのに使用されることができる情報が生成される。一部のシステムにおいて、画像は映像コアによって処理され、記憶され、後でダウンスケーリングされる。この処理は画像が２回操作されるので電力および処理資源などの増大した資源の消費を含むことになる。さらに記憶された高解像度バージョンは目標装置によって必要とされない。したがって、そのような実装においてメモリ資源もまた拡張されうる。

［００２６］映像コアにダウンスケーリングを一体化するとき、画像データは復号処理の間ダウンスケーリングされることになる。また、資源の節約を提供することに加えて、一体化された方法は、ダウンスケーリングされた画像を生成するための時間を減らすことができる。

［００２７］次の記述において、例の完全な理解を提供するために特別な詳細が与えられる。しかしながら、当業者ならば、例はこれらの特別な詳細がなくとも実行されることを理解するであろう。例えば、電気構成要素／デバイスは、不必要な詳細にまで例をぼかすことがないようにブロック図で示されることができる。他の例において、そのような構成要素、他の構造および技術は例をさらに説明するために詳細に示されることができる。

［００２８］また、例は、フローチャート、フロー図、有限な状態図、構造図あるいはブロック図として記述される、プロセスとして記述されることができる。フローチャートはオペレーションを順次なプロセスとして記述することができるが、多くのオペレーションは並行して同時に実行することができ、当該プロセスは反復可能である。さらに、オペレーションの順序は再構成されることができる。オペレーションが完了したときに処理は停止される。プロセスは方法、機能、プロシージャ、サブルーチン、サブプログラムなどに対応することができる。プロセスはソフトウエア機能に対応し、停止は読み出し関数あるいはメイン関数に対する関数の戻りに対応する。

［００２９］当業者ならば、情報および信号は種々の異なる技術および技能のいずれかを使用して表すことができることを理解するであろう。例えば上記記述を通して参照されることができるデータ、命令、コマンド、情報、信号、ビット、シンボル、そしてチップは、電圧、電流、電磁波、磁界、あるいは粒子、光界あるいは粒子、あるいはそれらの組み合わせ、によって表されることができる。

［００３０］添付の請求の範囲内における実施形態の種々の側面について以下に記述される。個々に記述された側面は広範囲の形態で具現化することができ、ここに記述された任意の特別な構造および／または機能は単なる例示であることは明らかである。当業者ならば本開示に基づいてここに記述された側面は他の側面から独立して実装されることができ、これらの側面の２つ以上を種々の方法で組み合わせることができることを認識するであろう。例えば、装置及び／または方法はここに記述された任意の数の側面を使用して実装されるとともに実行されることができる。さらにそのような装置及び／または方法はここに記述された側面の１つ以上に加えてあるいは１つ以上を除いて、実装されるとともに実行されることができる。

［００３１］図１は例示的映像符号化および復号システムの機能的ブロック図を示す。図１に示されるように、システム１０は符号化された映像を通信チャネル１５を介して送信先装置１６に送信する送信元装置１２を含む。送信元装置１２および送信先装置１６は移動体装置あるいは概して固定装置を含む、広範囲の装置のいくつかを備えることができる。いくつかの場合において、送信元装置１２および送信先装置１６は無線ハンドセット、いわゆるセルラあるいは衛星無線電話、パーソナルデジタルアシスタンツ（ＰＤＡ）、モバイルメディアプレーヤ、あるいは無線あるいは無線ではない通信チャネル１５を介して映像情報を通信できる任意の装置などの、無線通信装置を備える。しかしながら、映像コア内のダウンスケーリングの一体化を対象とする、この開示の技術は、多くの異なるシステムおよび設定において使用することができる。図１はそのようなシステムの単なる例である。

［００３２］図１の例において、送信元装置１２は映像ソース２０、映像エンコーダ２２、変調器／復調器（モデム）２３、そして送信機２４を含む。送信先装置１６は受信機２６、モデム２７、映像デコーダ２８、そして表示装置３０を含むことができる。この開示にしたがって、送信元装置３０の映像エンコーダ２２は基準画像の一連のフレームを符号化するように構成される。映像エンコーダ２２は基準画像のダウンスケーリングされたバージョンを生成するように構成されることができる。モデム２３および送信機２４は無線信号を変調して送信先装置１６に送信することができる。この方法において、送信元装置１２は符号化された基準シーケンスを３Ｄ変換情報とともに送信先装置１６に通信する。

［００３３］受信機２６およびモデム２７は送信元装置１２から受信した無線信号を受信して復調する。したがって映像デコーダ２８は基準画像の一連のフレームを受信することができる。それに加えてあるいはその代わりに、映像デコーダ２８は基準画像のダウンスケーリングされたフレームを受信することができる。また、映像デコーダ２８はダウンスケーリング用に構成することができる。映像デコーダ２８は基準画像の一連のフレームに基づいて、基準画像のダウンスケーリングされたバージョンを生成することができる。映像デコーダ２８は映像に関する目標表示装置に基づいてダウンスケーリングされたフレームを生成することができる。

［００３４］述べられたように、図１の示されたシステム１０は単に例示的なものである。この開示の技術は第１次のブロック主体の映像コーディングを支持する任意のコーディング装置あるいは技術に拡張することができる。

［００３５］送信元装置１２および送信先装置１６は、送信元装置１２が送信先装置１６への送信のためのコーディングされた映像データを生成するそのようなコーディング装置の単なる例である。いくつかの場合において、装置１２、１６は実質的に対称的な手順で動作することができ、装置１２、１６の各々は映像符号化および復号要素を含む。すなわち、システム１０は映像ストリーミング、映像再生、映像放送、あるいは映像電話のために、映像装置１２、１６間の一方向または両方向の映像送信を支持することができる。

［００３６］送信元装置１２の映像ソース２０は映像カメラ、以前に取得された映像を含む映像アーカイブ、あるいは映像コンテンツプロバイダからの映像フィードなどの映像取得装置を含むことができる。さらなる代替として、映像ソース２０はソース映像としてのコンピュータグラフィック主体のデータ、あるいはライブ映像、記録保存された映像、そして、コンピュータにより生成された映像の組み合わせ、を生成することができる。いくつかの例において、映像ソース２０が映像カメラであるならば、送信元装置１２および送信先装置１６はいわゆるカメラフォーンすなわちビデオフォーンを形成することができる。各場合において、取得された、予め取得された、あるいはコンピュータにより生成された映像は映像エンコーダ２２によって符号化されることができる。符号化された映像情報は次に、例えば符号分割多元接続（ＣＤＭＡ）あるいは他の通信標準などの通信標準にしたがってモデム２３によって変調され、送信機２４を介して送信先装置１６に送信されることができる。モデム２３は種々のミキサ、フィルタ、増幅器あるいは信号変調のために設計された他の要素を含むことができる。送信機２４は増幅器、フィルタ、そして１つ以上のアンテナを含む、データを送信するために設計された回路を含むことができる。

［００３７］送信先装置１６の受信機２６はチャネル１５を介して情報を受信し、モデム２７は情報を復調する。再び、映像符号化プロセスは個々に記述された１つ以上の技術を実行して、映像のダウンスケーリングされたバージョンを生成する。チャネル１５を介して通信される情報は、映像エンコーダ２２によって定義された情報を含むことができ、この開示に合致した映像デコーダ２８によって使用されることができる。表示装置３０は復号された映像データをユーザに対して表示し、陰極線管、液晶表示（ＬＣＤ）、プラズマ表示、有機光出力ダイオード（ＯＬＥＤ）表示、あるいは他のタイプの表示装置などの種々の表示装置のいくつかを備えることができる。

［００３８］図１の例において、通信チャネル１５は、無線周波数（ＲＦ）スペクトルあるいは１つ以上の物理的送信線、あるいは無線および有線媒体の組み合わせなどの、無線あるいは有線の通信媒体を備えることができる。したがって、モデム２３および送信機２４は多くの可能な無線プロトコル、有線プロトコルあるいは有線および無線プロトコルを支持することができる。通信チャネル１５は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、あるいはインターネットなどのグローバルネットワークなどのパケット主体のネットワークの一部を形成することができ、１つ以上のネットワークの相互接続を備える。通信チャネル１５は概して、映像データを送信元装置１２から送信先装置１６に送信するための、任意の好適する通信媒体あるいは異なる通信媒体の集合体を表す。通信チャネル１５はルータ、スイッチ、基地局あるいは送信元装置１２から送信先装置１６への通信を確立するのに有用な他の装置を含むことができる。この開示の技術は必ずしも、１つの装置から他への符号化データの通信を必要とするものではなく、相互的な復号なしの符号化構成にも適用することができる。また、この開示の側面は相互の符号化なしに復号プロセスに適用することができる。

［００３９］映像エンコーダ２２および映像デコーダ２８は、代替的にＭＰＥＧ−４、パート１０、そしてアドバンストビデオコーディング（ＡＶＣ）として記述された、ＩＴＵ−ＴＨ．２６４標準などの、映像圧縮標準に合致して動作することができる。しかしながら、この開示の技術は、特定のコーディング標準あるいはその拡張に限定されることはない。図１には示されていないが、一部の側面において、映像エンコーダ２２および映像デコーダ２８は各々音響エンコーダおよびデコーダと一体化することができ、共通のデータストリームあるいは別個のデータストリームにおいて音響および映像の両方の符号化を処理するために、好適するＭＵＸ−ＤＥＭＵＸユニットあるいは他のハードウエアおよびソフトウエアを含むことができる。適用可能であるならば、ＭＵＸ−ＤＥＭＵＸユニットはマルチプレクサプロトコル（例えばＩＴＵＨ．２２３）あるいはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに合致することができる。

［００４０］映像エンコーダ２２および映像デコーダ２８はそれぞれ１つ以上のマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック回路、マイクロプロセッサ上で実行されるソフトウエアあるいは他のプラットフォーム、ハードウエア、ファームウエアあるいはそれらの組み合わせ、として実装される。映像エンコーダ２２および映像デコーダ２８の各々は１つ以上のエンコーダあるいはデコーダ内に含まれることができ、エンコーダおよびデコーダの各々は、各移動体デバイス、サブスクライバデバイス、ブロードキャストデバイス、サーバ、などにおいて組み合わされたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として一体化されることができる。

［００４１］映像シーケンスは概して一連の映像フレームを含む。映像エンコーダ２２および映像デコーダ２８は映像データを符号化および復号するために個々の映像フレーム内の映像ブロックに関して操作を行なう。映像ブロックは固定のあるいは可変のサイズをもつことができ、特定されたコーディング標準にしたがってサイズを異ならせることができる。各映像フレームは一連のスライスあるいは他の独立して復号可能なユニットを含むことができる。各スライスは、サブブロックに配列することができる、一連のマクロブロックを含むことができる。例として、ＩＴＵ−ＴＨ．２６４標準は、ルマ成分に関して１６×１６、８×８、あるいは４×４およびクロマ成分に関して８×８などの種々のブロックサイズのイントラ予測と、ルマ成分に関して１６×１６、１６×８、８×１６、８×８、８×４、４×８、そして４×４およびクロマ成分に関して対応するスケーリングされたサイズ、などの種々のブロックサイズのインター予測と、を支持する。映像ブロックは、例えば離散コサイン変換あるいは概念的に類似の変換プロセスなどの変換プロセスの後でピクセルデータのブロックあるいは変換係数のブロックを備えることができる。

［００４２］マクロブロックあるいは他の映像ブロックはスライス、フレームあるいは他の独立したユニットなどの復号可能なユニットに分類される。各スライスは映像フレームの独立して復号可能なユニットであることができる。代替として、フレームそれ自身が復号可能なユニットであるかあるいは、フレームの他の部分が復号可能なユニットとして規定することができる。この開示において、術語“コーディングされたユニット”は、フレーム全体、フレームの一スライス、ピクチャのグループ（ＧＯＰ）、あるいは使用されるコーディング技術にしたがって規定された他の独立して復号可能なユニットなどの、映像フレームの、独立して復号可能なユニットを意味する。

［００４３］説明を簡単にするために、フレーム、ブロック、マクロブロック、などを参照することにする。しかしながら、記述されるダウンスケーリングプロセスに合致して映像を表示する他の方法が使用されることを理解すべきである。例えば、映像データはコーディングユニットおよび／または付加的なロジカルおよび／または物理的組織構造を使用して表すことができる。

［００４４］図２は一体化されたダウンスケーラを含む例示的映像コアの機能的ブロック図を示す。映像コア２００は映像入力２０２を受信して映像出力２９０を生成する電子装置である。映像コア２００は映像コーダ２０４を含むことができる。映像コーダ２０４は入力映像２０２の符号化および／または復号を実行するように構成されることができる。構成はメモリ２０６内に記憶され、映像コーダ２０４によって読み出すことができる。例えば映像コーダ２０４はある種のビットレートで特定された解像度である種のフォーマットの映像を符号化および復号するように構成することができる。映像コーダ２０４が映像を処理するごとに、映像コーダ２０４によって実行されるべき処理を確立するために構成情報が読み出される。メモリ２０６は映像コア２００の外部の要素として示されるが、いくつかの実装において、メモリ２０６は映像コア２００および／または映像コーダ２０４と一体化することができる。さらに、メモリ２０６は単一の要素として示されるが、いくつかの実装では、映像コア２００の処理を支持するために複数のメモリを提供することが望ましい。

［００４５］いくつかの実装において、映像コーダ２０４は適応的に構成されることができる。例えば、入力映像２０２はそのタイプを決定するために前処理されることができる。いくつかの実装において、前処理は映像コア２００が含まれる装置の特性を決定することを含むことができる。そのような特性は利用可能な電力、利用可能な帯域、利用可能な処理資源、結合された装置（例えば表示装置）、利用可能なメモリなどを含むことができる。そのような手順において、映像コーダ２０４はその動作環境を考慮して適応的に構成することができる。

［００４６］映像コーダ２０４は映像エンコーダ４００、映像デコーダ５００、そしてダウンスケーラ３００を含むことができる。ダウンスケーラ３００、映像エンコーダ４００、そして映像デコーダ５００は以下でさらに詳細に説明される。

［００４７］映像コア２００は付加的な処理要素を含むことができる。例えば映像コア２００は映像コーダ２０４の前に映像入力２０２を処理するように構成される前処理要素を含むことができる。前処理要素の一例は暗号化された映像入力２０２を復号化するように構成された復号化ユニットである。

［００４８］同様にして、映像コアは映像コーダによって生成された映像データを処理するように構成された後処理要素を含むことができる。後処理要素の一例は出力に先立って映像データを暗号化するように構成された暗号化ユニットである。

［００４９］図３は例示的ダウンスケーラの機能的ブロック図を示す。ダウンスケーラ３００が受信する一つの入力は映像データ３０２である。映像データ３０２は符号化された映像データあるいは生の映像データであることができる。例えば、ダウンスケーラ３００は符号化プロセスの一部として映像データをダウンスケーリングするように構成することができる。そのような実装において、映像データ３０２は生のデータであることができる。ダウンスケーラ３００は復号プロセスの一部として映像データをダウンスケーリングするように構成することができる。これらの実装において、映像データ３０２は符号化された映像データであることができる。

［００５０］また、ダウンスケーラ３００は１つ以上のダウンスケーリング命令を受信することができる。ダウンスケーリング命令３０４はダウンスケーリング機能を制御するために情報を提供する。例えば、ダウンスケーラがインタレーシングされた映像入力に関して動作しているならば、映像データ３０２の一部がどのようにしてダウンスケーリングに関して取り出され、そしてダウンスケーリングの後に記憶されるかが影響を受ける可能性がある。ダウンスケーリング命令３０４はダウンスケーラ３００に含まれるレジスタ命令フェッチ３０５に記憶することができる。

［００５１］ダウンスケーリング命令３０４および映像データ３０２はダウンスケーラ３００内に含まれるタイル／リニアフェッチ３１０に供給されることができる。タイル／リニアフェッチ３１０はメモリに記憶されている映像データ３０２の一部を取得するように構成することができる。

［００５２］映像データの取得された部分は水平スケーラ３２０に供給することができる。また、水平スケーラ３２０はレジスタ命令フェッチ３０５から１つ以上のダウンスケーリング命令３０４を受信するように構成することができる。さらに、水平スケーラ３２０はスケーラ構成３４０からのスケーラ構成値を受信するように構成することができる。

［００５３］スケーラ構成３４０はダウンスケーリングプロセスの間に使用される構成を記憶する。例えば、スケーラ構成３４０はルックアップテーブルを含むことができる。ルックアップテーブルは水平および垂直ダウンスケーリングに関するスケーリング値を含むことができる。スケーリング値は例えばパーセント、比率、あるいは関数として表すことができる。スケーラ構成３４０は静的なメモリ記憶部に構成を記憶することができる。いくつかの実装において、スケーラ構成３４０は、ダウンスケーラ３００に結合された装置からシグナリングを介してあるいはダウンスケーラ３００を使用することができるアプリケーションを介して更新することができる。一実装において、スケーラ構成３４０は５８のエントリを含むことができ、各エントリはダウンスケーリング比に対応する。

［００５４］また、水平スケーラ３２０はカラムバッファ３３０から／カラムバッファ３３０に対してスケーリングされた水平映像データを読み出しあるいは書き込むように構成することができる。カラムバッファ３３０はダウンスケーラ３００の外部に示される。いくつかの実装において、カラムバッファ３３０はダウンスケーラ３００の一部として実装されることができる。カラムバッファ３３０は水平スケーラ３２０によって生成されたダウンスケーリングされた値を蓄積するように構成することができる。カラムバッファ３３０はダウンスケーリングされた映像に関する輝度およびまたは色度（クロミナンス）値を記憶することができる。一例として、カラムバッファ３３０は各エントリ１５ビット長さのエントリを含む４０。この例は輝度値を記憶するのに好適する。また、カラムバッファ３３０は色度のブルーと色度のレッド値を記憶するために長さが１５ビットの４８エントリを含むことができる。いくつかの実装において、カラムバッファ３３０は色度および輝度値を記憶するための単一のバッファとして実装されることができる。いくつかの実装において、別個のカラムバッファを含めることができ、１つは輝度値を記憶するためのものであり、１つは色度値を記憶するためのものである。

［００５５］次に、水平にスケーリングされた映像データはダウンスケーラ３００内に含まれた垂直スケーラ３５０に供給される。垂直スケーラ３５０は垂直方向に沿って映像データをダウンスケーリングするように構成することができる。水平スケーラ３２０と同様に、垂直スケーラ３５０はレジスタ命令フェッチ３０５からの命令と、スケーラ構成３４０からスケーラ構成値を取得することができる。垂直スケーラ３５０はローバッファ３６０に対して値を読み出しおよび／または書き込むように構成されることができる。ローバッファ３６０は垂直スケーラ３５０によって生成されたダウンスケーリングされた値を蓄積することができる。ローバッファ３６０はダウンスケーリングされた映像に関する輝度および／または色度値を記憶することができる。一例として、ローバッファ３６０は各エントリが１５ビットの長さの１９２０のエントリを含むことができる。この例は輝度値を記憶するのに好適する。また、ローバッファ３６０はブルー／レッドの色度値を記憶するために各１５ビットの長さの１９２０のエントリを含むことができる。いくつかの実装において、ローバッファ３６０は色度および輝度値を記憶するために単一バッファとして実装されることができる。いくつかの実装において、別個のローバッファが含まれ、１つは輝度値を記憶するためのものであり、１つは色度値を記憶するためのものである。

［００５６］次に、ダウンスケーリングされた映像データはタイル／リニアパッカ３７０に供給されることができる。タイル／リニアパッカ３７０はスケーリングされたローおよびカラムに基づいてダウンスケーリングされた映像データ３９０を構築するように構成することができる。タイル／リニアパッカ３７０による、ダウンスケーリングされた映像データ３９０の生成は、レジスタ命令フェッチ３０５からのタイル／リニアパッカ３７０によって取得されたダウンスケーリング命令３０４に基づくことができる。一例として、タイル／リニアパッカ３７０はダウンスケールＲＡＭにおけるダウンスケーリングされた映像データ３９０を記憶するように構成することができる。ダウンスケールＲＡＭは４つのＲＡＭユニットとして実装することができ、各ＲＡＭユニットは３８４のエントリを含み、各エントリは３２ビットを含む。ダウンスケーリングされた映像データ３９０は、本開示の範囲から逸脱することなしに他の形態で提供（例えば記憶する、送信するあるいは利用可能にされる）することができる。

［００５７］また、いくつかの実装において、タイル／リニアパッカ３７０は、制御信号を送信するように構成することができる。制御信号はダウンスケーリングされた映像データ３９０の次の処理のために使用することができる。例えば、エンコーダあるいはデコーダに含まれる書き込みデータ移動器は制御信号を検出して、符号化あるいは復号処理を継続することができる。

［００５８］図３に示されるダウンスケーラ３００はダウンスケーリングのために符号化あるいは復号された映像データを動的に処理することができる。すなわち、ダウンスケーラ３００は映像エンコーダ４００と映像デコーダ５００によって共有されることができる。さらに、当該構成は、ダウンスケーラ３００が完全な符号化あるいは復号されたバージョンを不必要に取得することなしに映像データ３０２の一部に関して動作することを可能にする。さらに、映像データ３０２の一部は当該部分の符号化あるいは復号を完了する前にダウンスケーリングすることができる。

［００５９］図４は例示的映像エンコーダの機能的ブロック図を示す。映像エンコーダ４００は入力として生の映像データ４０２を受信することができる。生の映像データ４０２はセンサ（例えばカメラ）、メモリ、ネットワーク位置、などの種々のソースから受信することができる。

［００６０］フレーム符号化プレフェッチ４１０は映像エンコーダ４００に含めることができる。フレーム符号化プレフェッチ４１０は符号化プロセスに関して生の映像データ４０２の一部に対して構成することができる。例えば、フレーム符号化プレフェッチ４１０は符号化すべき生の映像データ４０２の現在のフレームを取得するように構成することができる。フレーム符号化プレフェッチ４１０は生の映像データ４０２の基準フレームを取得するように構成することができる。基準フレームは現在のフレームを符号化するのに使用することができる。

［００６１］基準フレームは動き推定器および補償器４２０に供給することができる。動き推定器および補償器４２０は現在のフレームに関して動き情報を生成するように構成することができる。動き推定器および補償器４２０はフレーム符号化プレフェッチ４１０によって取得された現在の基準フレームに基づいてその値を生成することができる。例えば、動き推定器および補償器４２０は映像ブロックに関する動きを推定する、生成動きベクトルを生成することができる。動きベクトルは例えば、現在のフレーム（または他のコーディングされたユニット）内でコーディングされている現在のブロックに対する、予測入力フレーム（または他のコーディングされたユニット）内の予測ブロックの変位を示すことができる。予測ブロックはピクセル相違の観点から、コーディングすべきブロックに密接に合致するとわかったブロックであり、絶対相違（ＳＡＤ）の和、二乗相違（ＳＳＤ）の和、あるいは他の相違メトリックによって決定することができる。また、動きベクトルはマクロブロックの分割の変位を示すことができる。動き補償は予測ブロックに基づく予測データの計算を含むことができる。動き推定器および補償器４２０によって生成された情報は変換器／量子化器およびレート制御ユニット４３０に供給することができる。

［００６２］また、変換器／量子化器およびレート制御ユニット４３０はフレーム符号化プレフェッチ４１０からフレームを取得することができる。変換器／量子化器およびレート制御ユニット４３０はある視覚品質のための目標ビットレートを達成するためにある期間の時間にわたるビット予算を割り当てるように構成することができる。概して、首尾一貫した視覚品質のためには一定のビットレートが望まれる。レート制御アルゴリズムは、ビット予算と現在のフレームの統計にしたがってかつ入力映像データに関するピクセル情報、符号化された入力映像データに沿って、現在のフレームに関して、符号化パラメータ、特には量子化パラメータを動的に調整することができる。

［００６３］ピクセル情報はエントロピコーダ４５０およびデブロッカ４４０に供給することができる。エントロピコーダ４５０は符号化プロセスによって生成された映像データをさらに圧縮するように構成することができる。例えば、エントロピコーダ４５０は映像データを圧縮するためにハフマンコーディングを適用するように構成することができる。

［００６４］デブロッカ４４０はブロッキングアーティファクトを特定して除去することによって映像データをさらに処理するように構成することができる。変換器／量子化器およびレート制御ユニット４３０は、例えば圧縮の結果、ブロッキングアーティファクトを映像データに対して導入することが考えられる。デブロッカ４４０はこれらのブロッキングアーティファクトを円滑化して映像データの視覚品質を改善するように構成することができる。例えば、デブロッカは変換された入力映像データをフィルタリングして視覚ブロッキングアーティファクトを改善するように構成することができる。デブロッカ４４０はデブロッキングされた映像データを書き込みデータ移動器４６０に供給するように構成することができる。示される書き込みデータ移動器４６０はメモリ位置などの符号化映像データ４９０を記憶するように構成することができる。

［００６５］また、デブロッカ４４０はデブロッキングされた映像データをダウンスケーラ３００に供給することができる。このようにして、符号化された生の映像データ４０２のダウンスケーリングされたバージョンを生成することができる。フレーム符号化プレフェッチ４１０によって取得された現在のおよび／または基準フレームはダウンスケーラ３００に供給されることができる。すなわち、ダウンスケーラ３００は生の映像データのデブロッキングされたバージョンおよび、フレーム符号化プレフェッチ４１０によって取得された元の基準および／または現在のフレームのいずれかまたは両方に基づいて、ダウンスケーリングされたバージョンを生成することができる。ダウンスケーラ３００はダウンスケーリングされたバージョンを書き込みデータ移動器４６０に供給するように構成することができる。さらに、書き込みデータ移動器４６０は符号化映像データ４９０のダウンスケーリングされたバージョンを記憶するように構成することができる。

［００６６］図４に示される映像エンコーダ４００は生の映像データのエントロピー符号化されたバージョン、生の映像データのデブロッキングされた符号化バージョン、そして生の映像データのダウンスケーリングされたデブロッキングされた符号化バージョンを生成する。書き込みデータ移動器４６０はダウンスケーリングされたおよびダウンスケーリングされないデブロッキングされた符号化バージョンの一方あるいは両方を選択的に記憶するように構成することができることを理解すべきである。例えば、映像エンコーダ４００を含む装置が制限された資源（例えばメモリ、電力）を有するならば、完全なデブロッキングされた符号化バージョンを記憶するのを避けて、その代わりにダウンスケーリングされたバージョンのみを記憶することが望ましい。

［００６７］図５は例示的映像デコーダの機能的ブロック図を示す。映像デコーダ５００は符号化映像データ５０２を復号するように構成することができる。符号化映像データ５０２は図１で記述されたように送信先装置１６によって受信されることができる。

［００６８］示される映像デコーダ５００は可変長デコーダ５１０を含む。可変長デコーダ５１０は符号化映像データ５０２に含まれるシンボルを伸張するように構成することができる。伸張された情報は動き補償器５２０に供給することができる。動き補償器は入力映像データを再構成するように構成することができる。動き補償された映像データおよび可変長復号映像データは逆量子化／変換器５３０に供給することができる。さらに、逆量子化／変換器５３０は映像データを伸張するように構成することができる。動き補償された入力映像データおよび復号された入力映像データに基づいて、逆量子化／変換器５３０は映像データに関するピクセル値を生成することができる。

［００６９］図４を参照して上記したように、ブロッキングアーティファクトは例えば符号化および復号プロセスによって導入されうる。そのようなブロッキングアーティファクトを除去するためにデブロッカ５４０を映像デコーダ３００に含めることができる。デブロッカ５４０は復号およびデブロッキングされた映像データを書き込みデータ移動器５５０に供給するように構成することができる。書き込みデータ移動器５５０は映像エンコーダ４００内に含まれた書き込みデータ移動器４６０と同様の機能を実行することができる。例えば、書き込みデータ移動器５５０は復号映像データ５９０を供給するように構成することができる。復号映像データ５９０を提供することはメモリに復号映像データ５９０を記憶すること、トランシーバを介して復号映像データ５９０を送信すること、あるいは、表示のために復号映像データ５９０を供給すること、を含むことができる。また、デブロッカ５４０はデブロッキングされた復号映像データをダウンスケーラ３００に供給することができる。ダウンスケーラ３００は復号およびデブロッキングされた映像データのダウンスケーリングされたバージョンを生成することができる。ダウンスケーリングされたバージョンは書き込みデータ移動器５５０に供給することができ、上記したように処理される。

［００７０］図６はインタレーシングされた映像データの一体化されたダウンスケーリングを有する復号の例示的方法のためのプロセスフロー図を示す。インタレーシングされた符号化映像データ６０２は入力として供給される。ノード６０４で、映像コア２００はダウンスケーリング方向を選択する。選択は映像コア２００のダウンスケーラ３００内で実行することができる。選択はスケーリング構成、映像データの属性（例えば符号化フォーマット／方法、ビットレート、コンテンツタイプ）、映像コア２００構成などに基づくことができる。ダウンスケーリング方向は水平および／または垂直ダウンスケーリングであることができる。

［００７１］ノード６０６で、ダウンスケーラ３００は選択されたダウンスケーリング方向においてインタレーシングされた符号化映像データ６０２をダウンスケーリングする。ダウンスケーリングされたバージョンは表示、モニタ、セットトップボックス、あるいは映像データを提示するように構成された他の装置などのメディア表示プラットフォーム６４０に供給することができる。ノード６０８で、メディア表示プラットフォーム６４０は映像データをデインタレーシングする。決定ノード６１０で、映像データが全ての方向においてスケーリングされたかどうかの決定が行われる。映像が全ての方向においてスケーリングされたならば（例えばダウンスケーラ３００は水平におよび垂直にダウンスケーリングされるように構成される）、デインタレーシングされた復号映像データ６９０が提供される。映像データが完全にダウンスケーリングされていないならば、ノード６１２で、映像データがさらにスケーリングされる。決定は、供給された映像データにおけるピクセルの数に基づくことができる。さらに決定は、デインタレーシングされた復号データ６９０に関するピクセルの構成可能な好ましい比率に基づくことができる。

［００７２］一例として、インタレーシングされた符号化映像データ６０２は１９２０×１０８０のインタレーシングされた映像データであることができる。ダウンスケーラ３００は８５４ピクセルにまで水平にダウンスケーリングするように構成することができる。したがって、映像コア２００はインタレーシングされた８５４×１０８０の復号映像データをメディア表示プラットフォーム６４０に供給することができる。メディア表示プラットフォーム６４０は映像データのこのバージョンをデインタレーシングするように構成することができる。デインタレーシングは映像データのアスペクト比を変更することはない。したがって、メディア表示プラットフォーム６４０は今では映像の８５４×１０８０のデインタレーシングされたバージョンを有することになる。次にメディア表示プラットフォームは、映像データの寸法（dimension）はメディア表示プラットフォーム６４０に関連した表示に関する構成された解像度に合致しないと決定することができる。したがって、メディア表示プラットフォーム６４０は、映像を所望の８５４×４８０の解像度にするためにさらなる垂直スケーリングを実行することができる。この開示の範囲から逸脱することなしに他の寸法も実装することができる。

［００７３］図６に示される方法は、映像コア２００が映像データに関する初期ダウンスケーリングを実行することを可能にする。これは映像コア２００のハードウエア内で計算を実行すること、映像データの次のスケーリングを簡略化することができる初期ダウンスケーリングを提供すること、など、メディア表示プラットフォーム６４０に対していくつかの利点を提供することができる。さらにダウンスケーリングされた画像は小さいので、映像コア２００からメディア表示プラットフォーム６４０へ送信されるデータの量は低減され、メディア表示プラットフォーム６４０に映像データを供給する場合の資源を保存することができる。

［００７４］図７はインタレーシングされた映像データの一体化されたダウンスケーリングを備える復号の例示的方法に関する他のプロセスフロー図を示す。インタレーシングされた符号化映像データ６０２は映像コア２００に供給される。ノード７１０で、インタレーシングされた符号化映像データはデインタレーシングされる。一実装において、デインタレーシングは２つのフィールドを生成し、各フィールドは１９２０×５４０のピクセルを含む。ノード７２０で、ダウンスケーリングに関して１つのフィールドが選択される。この選択は映像データ、映像コア２００の構成、あるいは他の要因に基づくことができる。ノード７３０で、選択されたフィールドはデインタレーシングされた復号映像データ６９０を生成するために上記した方法でダウンスケーリングされる。選択されないフィールドはさらなるダウンスケーリング処理から廃棄される。フィールドが１９２０×５４０フィールドである実装において、ノード７３０のダウンスケーリングによって生成された映像は、８５４×４８０のダウンスケーリングされたバージョンであることができる。

［００７５］図６および図７に関して述べられた方法は相互に排他的ではないことに注意すべきである。例えば、メディア表示プラットフォーム６４０に応じて、映像コア２００は示されたプロセスを選択的に実行するように構成することができる。デインタレーシングするように構成されていない、あるいはスケーリングを実行できないメディア表示プラットフォーム６４０を考慮の対象とする。そのような実装において、図７に示されるプロセスを実行するために映像コア２００を構成することが望ましい。他の場合において、メディア表示プラットフォーム６４０はデインタレーシングおよびスケーリングするように構成された装置と結合することができる。したがって、媒体表示プラットフォーム６４０が映像コア２００からデインタレーシングおよび次のスケーリングの作業を解放できるようにすることが好ましい。

［００７６］また、選択は映像コア２００中心であることができる。例えば、映像コア２００が軽い負荷（例えば処理やメモリ利用が多くない）の下にあるときには、映像コア２００が図７に示されるプロセスを実行するように構成することが望ましい。しかしながら、映像コア２００がより高い利用レベルを被るならば、図６に示されるような作業から解放することが望ましい。

［００７７］以下の表１は記述された一体化されたダウンスケーリングシステムおよび方法により達成されることができるいくつかの改善を示す実験データを含む。当該実験は１秒当たり３０フレームのコンテンツレート、１秒当たり６０フレームのリフレッシュレート、そしてピクセル当たり１．５バイト、を仮定している。ピクセルは色度ブルー、色度レッド、輝度の比率４：２：０を含む。実験は１９２０×１０８０の基準映像を使用して実行された。表示標準はテスト中の映像表示標準を意味し、対応する表示寸法が提供されている。一体化されたダウンスケーリング（ＩＤＳ）映像コア基準（ref）フレーム書き込み帯域（ＢＷ）は１秒当たりメガバイトで示されている。また、ＩＤＳ映像コア（disp）フレーム書き込み帯域（ＢＷ）は１秒当たりメガバイトで報告されている。また、メディア表示プラットフォーム（ＭＤＰ）表示フレーム読み出し帯域が１秒当たりメガバイトで示されている。

［００７８］ＷＵＸＧＡ、ＨＤ１０８０、ＷＳＸＧＡ^＋、ＵＧＡおよびＳＸＧＡ^＋などの高解像度の目標表示の場合に関しては、節約はほとんど見られなかった。これは、もしあったとしてもこれらの表示に関して実行されたダウンスケーリングの量は小さいので予期されたことである。しかしながら、目標表示に関して使用されるダウンスケーリングの量が増大するにしたがって、節約の量は非常に顕著になる。表１に示される効率は、バスおよび／またはメモリ帯域の効率として明示される帯域の利点を意味する。これらは単なる一例として提供されたものであり、さらなる限定されない利点が記述されたシステムおよび方法によって提供される。例えば、同じダウンスケーラが一体化され、符号化および復号ダウンスケーリングの両方に対して選択的に使用されることができる。これは、同じ構成要素がエンコーダおよびデコーダによって利用されるので装置の物理的占有範囲を減らすことができる。また、このことは、ソース映像装置内あるいは、送信先映像装置内あるいは、ハイブリッド装置（例えば映像を取得して表示可能）内のどこに一体化されても、ダウンスケーラは同じコアに関して含まれることができるので、映像コアを製造するコストを減らすことができる。

［００７９］図８は映像データを処理する例示的方法に関するフローチャートを示す。当該方法は映像コア２００などの、ここに記述された装置の１つ以上において実装することができる。

［００８０］ノード８０２で、入力映像データが受信される。この受信は有線あるいは無線受信であることができる。受信はカメラなどのセンサからおよび／またはメモリからの入力映像データを受信することを含む。

［００８１］ノード８０４で、出力映像データが生成される。出力映像データを生成することは入力映像データを選択的に符号化および復号することを含む。符号化あるい復号の間に入力映像データのダウンスケーリングされたバージョンが生成され、出力映像データは入力映像データのダウンスケーリングされたバージョンを含む。

［００８２］図９は映像データを処理するための例示的電子装置の機能的ブロック図を示す。当業者ならば、電子装置は図９に示される簡略化された映像処理装置９００よりも多くの構成要素を持つことができることを理解するであろう。映像処理装置９００は特許請求の範囲内でいくつかの顕著な特徴を説明するのに役立つ構成要素のみを示している。映像処理装置９００は入力受信機９０２および出力生成器９０４を含む。

［００８３］入力受信機９０２は入力映像データを受信するように構成される。入力受信機９０２は１つ以上のアンテナ、シグナルプロセッサ、ネットワークインタフェース、メモリ、そして周辺インタフェースを含むことができる。いくつかの実装において、入力映像データを受信するための手段は入力受信機９０２を含む。

［００８４］出力生成器９０４は出力映像データを生成するように構成される。出力映像データを生成することは入力映像データを選択的に符号化および復号することを含む。符号化および復号の間に入力映像表示モニタのダウンスケーリングされたバージョンが生成され、出力映像データは入力映像データのダウンスケーリングされたバージョンを含む。出力生成器９０４は映像エンコーダ、映像デコーダ、ダウンスケーラ、動き補償器および推定ユニット、量子化器、変換器、レート制御ユニット、メモリ、プロセッサ、書き込みデータ移動器、ネットワークインタフェース、そしてバッファの１つ以上を使用して実装されることができる。いくつかの実装において、出力映像を生成するための手段は出力生成器９０４を含むことができる。

［００８５］当業者ならばさらに、ここに開示された実装に関連して記述された種々の例示的論理ブロック、モジュール、回路そしてプロセスステップは、電子的ハードウエア、コンピュータソフトウエア、あるいは両方の組み合わせとして実装できることを認識するであろう。ハードウエアとソフトウエアのこの交換性を明確に示すために、種々の例示的構成要素、ブロック、モジュール、回路そしてステップが概してそれらの機能性の観点から説明された。そのような機能性がハードウエアとしてあるいはソフトウエアとして実装されるかは特定のアプリケーションおよびシステム全体に課せられた設計上の制約に依存する。当業者は各特定のアプリケーションに関して種々の方法で記述された機能性を実装することができるが、そのような実装の決定は本願発明の範囲からの逸脱を引き起こすものと解釈されるべきではない。当業者は部分あるいは一部は全体に満たないかあるいは全体に等しい何かを備えることを認識するであろう。例えば、ピクセルの収集物の一部はこれらピクセルの副収集物を意味する。

［００８６］ここに開示された実装に関連して記述された種々の例示的論理ブロック、モジュール、そして回路は汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは他のプログラマブルロジックデバイス、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウエア構成要素、あるいはここに記述された機能を実行するように設計されたそれらの組み合わせによって実装あるいは実行することができる。汎用プロセッサはマイクロプロセッサであることができるが、その代わりとしてプロセッサは通常のプロセッサ、コントローラ、マイクロコントローラ、あるいはステートマシンであることができる。また、プロセッサは計算装置の組み合わせ、例えばＤＳＰおよびマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアに関連する１つ以上のマイクロプロセッサ、あるいは任意のそのような構成、の組み合わせとして実装することができる。

［００８７］個々に開示された実装に関連して記述された方法およびプロセスのステップは、直接ハードウエアで、プロセッサによって実行されるソフトウエアモジュール、あるいは２つの組み合わせによって具現化されることができる。ソフトウエアモジュールはＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取り外し可能なディスク、ＣＤ−ＲＯＭ、あるいは当業界で知られた他の形態の非一時的な記憶媒体上に配置することができる。例示的コンピュータ読み取り可能な記憶媒体はプロセッサに結合され、プロセッサはコンピュータ読み取り可能な記憶媒体に対して情報を読み出し書き込むことができる。代替的に、記憶媒体はプロセッサと一体化可能である。プロセッサおよび記憶媒体はＡＳＩＣ内に配置することができる。ＡＳＩＣはユーザ端末、カメラあるいは他のデバイスに配置することができる。代替的に、プロセッサおよび記憶媒体はユーザ端末、カメラ、あるいは他のデバイス内のディスクリート構成要素として配置することができる。

［００８８］ここに使用されるように、術語“決定”あるいは“決定すること”は、広範囲のアクションを含む。例えば、“決定すること”は、計算すること、算出すること、処理すること、引き出すこと、調査すること、参照すること（例えばテーブル、データベースあるいは他のデータ構造を参照する）、確認すること、などを含むことができる。さらに、“決定すること”は受信すること（例えば情報を受信すること）、アクセスすること（例えばメモリ内のデータにアクセスすること）、などを含むことができる。さらに、“決定すること”は解決すること、選択すること、選別すること、確立すること、などを含むことができる。

［００８９］ここに使用されているように、術語“供給する”あるいは“供給すること”は広範囲のアクションを含む。例えば、“供給すること”は次の取り出しのための位置の値を記憶すること、値を直接受信者に送信すること、値に対する参照を送信あるいは記憶すること、などを含むことができる。また、“供給すること”は符号化すること、復号すること、暗号化すること、復号化すること、立証すること、実証すること、などを含むことができる。

［００９０］さらに、語句“例示的”はここでは“一例、一実例、あるいは一例示として有用である”ことを意味するために使用される。“例示的”としてここに記述された実施形態は他の実施形態と比べて必ずしも好ましいとか有利であるとかに解釈されるべきではない。

［００９１］ここに使用されているように、品目のリストの“少なくとも１つの”は、単一の部材を含むこれらの品目の組み合わせを意味する。例として、“ａ、ｂあるいはｃの少なくとも１つ”は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、そしてａ−ｂ−ｃを含めることを意図している。

［００９２］開示された実装の上記した記述は、当業者が本願発明を製造あるいは使用することを可能にするために提供された。これらの実装に対する種々の変更が当業者にとって容易に明らかであり、ここに規定された一般的な原理は本発明の精神あるいは範囲から逸脱することなしに他の実装に適用することができる。すなわち、本発明はここに示された実装に限定されることを意図していないが、ここに開示された原理および新規な特徴に合致した最も広い範囲が与えられるべきである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
映像データを処理するための電子装置であって、
入力映像データを受信するように構成された受信機と、
出力映像データを生成するように構成された映像コーダと、を備え、
前記映像コーダは、
映像エンコーダと、
映像デコーダと、
前記エンコーダと前記デコーダとに結合されたダウンスケーラであって、符号化あるいは復号の間に前記入力映像データのダウンスケーリングされたバージョンを生成するように構成され、前記出力映像データは前記入力映像データのダウンスケーリングされたバージョンを含むダウンスケーラと、を含む電子装置。
［Ｃ２］
前記ダウンスケーラは、前記入力映像データのデブロッキングされた符号化バージョンあるいは前記受信された入力映像データの一方に基づいて、前記入力映像データの前記ダウンスケーリングされたバージョンを生成するように構成されるＣ１の装置。
［Ｃ３］
前記ダウンスケーラは前記受信された入力映像データのデブロッキングされた復号バージョンに基づいて前記入力映像データの前記ダウンスケーリングされたバージョンを生成するように構成されるＣ１の装置。
［Ｃ４］
前記入力映像データはインタレーシングされた映像データを備えるＣ１の装置。
［Ｃ５］
前記入力映像データの前記ダウンスケーリングされたバージョンを生成することは、
複数のダウンスケール方向の少なくとも１つのダウンスケーリング方向を特定することであって、前記複数のダウンスケール方向は水平ダウンスケールリングおよび垂直ダウンスケーリングを備えることと、
前記インタレーシングされた映像データをダウンスケーリングすることと、を備え、
前記出力映像データを生成することは、
前記ダウンスケーリングされたインタレーシングされた映像データをデインタレーシングすることと、
前記デインタレーシングされた映像データをスケーリングすることと、を備えるＣ４の装置。
［Ｃ６］
前記入力映像データの前記ダウンスケーリングされたバージョンを生成することは、
前記入力映像データの第１のデインタレーシングされたバージョンと前記入力映像データの第２のデインタレーシングされたバージョンとを受信することと、
前記入力映像データの前記第１のデインタレーシングされたバージョンと前記第２のデインタレーシングされたバージョンの１つを選択することと、
前記入力映像データの前記選択されたデインタレーシングされたバージョンをスケーリングすることと、を備えるＣ４の装置。
［Ｃ７］
前記出力映像データの少なくとも１つのバージョンを送信するように構成された送信機をさらに備えるＣ１の装置。
［Ｃ８］
前記ダウンスケーラは前記入力映像画像の垂直寸法と水平寸法の少なくとも１つに沿って選択的にダウンスケールするように構成されるＣ１の装置。
［Ｃ９］
前記ダウンスケーラは目標表示装置の寸法と、前記目標表示装置にデータを送信するための利用可能な帯域と、前記電子装置に対する資源利用可能性と、に少なくとも部分的に基づいて前記ダウンスケーリングされたバージョンを生成するように構成されるＣ１の装置。
［Ｃ１０］
前記電子装置に対する前記資源利用可能性は電力、処理すること、メモリそしてバス利用可能性の少なくとも１つを備えるＣ９の装置。
［Ｃ１１］
映像データを処理する方法であって、
入力映像データを受信することと、
出力映像データを生成することであって、出力映像データを生成することは、前記入力映像データを選択的に符号化及び復号することを備え、前記入力映像データのダウンスケーリングされたバージョンは前記符号化あるいは復号の間に生成され、前記出力映像データは前記入力映像データの前記ダウンスケーリングされたバージョンを含むことと、を備える方法。
［Ｃ１２］
前記入力映像データの前記ダウンスケーリングされたバージョンは、前記入力映像データのデブロッキングされた符号化バージョンまたは前記受信された入力映像データの１つに基づいて生成されるＣ１１の方法。
［Ｃ１３］
前記入力映像データの前記ダウンスケーリングされたバージョンは前記受信された入力映像データのデブロッキングされた復号バージョンに基づいて生成されるＣ１１の方法。
［Ｃ１４］
前記入力映像データはインタレーシングされた映像データを備えるＣ１１の方法。
［Ｃ１５］
前記入力映像データの前記ダウンスケーリングされたバージョンを生成することは、
複数のダウンスケーリング方向の少なくとも１つのダウンスケーリング方向を特定することであって、前記複数のダウンスケーリング方向は水平ダウンスケーリングと垂直ダウンスケーリングとを備えることと、
前記インタレーシングされた映像データをダウンスケーリングすることと、を備え、
前記出力映像データを生成することは、
前記ダウンスケーリングされたインタレーシングされた映像データをデインタレーシングすることと、
前記デインタレーシングされた映像データをスケーリングすることと、を備えるＣ１４の方法。
［Ｃ１６］
前記入力映像データの前記ダウンスケーリングされたバージョンを生成することは、
前記入力映像データの第１のデインタレーシングされたバージョンと前記入力映像データの第２のデインタレーシングされたバージョンを受信することと、
前記入力映像データの前記第１のデインタレーシングされたバージョンと前記第２のデインタレーシングされたバージョンの１つを選択することと、
前記入力映像データの前記選択されたデインタレーシングされたバージョンをスケーリングすることと、を備えるＣ１４の方法。
［Ｃ１７］
前記出力映像データの少なくとも１つを送信することをさらに備えるＣ１１の方法。
［Ｃ１８］
前記ダウンスケーリングされたバージョンを生成することは前記入力映像画像の水平寸法および垂直寸法の少なくとも１つに沿って、選択的にダウンスケーリングすることを備えるＣ１１の方法。
［Ｃ１９］
前記ダウンスケーリングされたバージョンを生成することは、
前記ダウンスケーラは目標表示装置の寸法と、前記目標表示装置にデータを送信するための利用可能な帯域と、資源利用可能性と、に少なくとも部分的に基づくＣ１１の方法。
［Ｃ２０］
前記資源利用可能性は、電力、処理すること、メモリそしてバス利用可能性の少なくとも１つを備えるＣ１９の方法。
［Ｃ２１］
映像データを処理するための電子装置であって、
入力映像データを受信するための手段と、
出力映像データを生成するための手段であって、出力映像データを生成することは、前記入力映像データを選択的に符号化及び復号することを備え、前記入力映像データのダウンスケーリングされたバージョンは前記符号化あるいは前記復号の間に生成され、前記出力映像データは前記入力映像データの前記ダウンスケーリングされたバージョンを含む手段と、を備える電子装置。
［Ｃ２２］
装置のプロセッサによって実行可能な命令を備えるコンピュータ読み取り可能な記憶媒体であって、前記命令は前記装置に、
入力映像データを受信させ、
出力映像データを生成させ、ここにおいて、出力映像データを生成することは、前記入力映像データを選択的に符号化及び復号することを備え、前記入力映像データのダウンスケーリングされたバージョンは前記符号化あるいは復号の間に生成され、前記出力映像データは前記入力映像データの前記ダウンスケーリングされたバージョンを含む、コンピュータ読み取り可能な記憶媒体。

Claims

映像データを処理するための映像コアであって、
入力映像データを受信するように構成された受信機と、
出力映像データを生成するように構成された映像コーダと、
を備え、
前記映像コーダは、
映像エンコーダと、
映像デコーダと、前記映像エンコーダおよび前記映像デコーダはそれぞれ、デブロッキングされた映像データを供給するように配置されたデブロッカを備え、
前記映像エンコーダおよび前記映像デコーダの各々の前記デブロッカに結合されたダウンスケーラと、
を含み、
前記ダウンスケーラは各デブロッカに結合され、各デブロッカによって供給された前記デブロッキングされた映像データを受信するように配置され、前記ダウンスケーラは前記映像エンコーダと前記映像デコーダとによって共有され、前記ダウンスケーラは目標表示装置に基づいて、前記入力映像データのダウンスケーリングされたバージョンを生成するために前記デブロッキングされた映像データのダウンスケーリングされたより低い解像度バージョンを生成するように構成され、前記入力映像データの前記ダウンスケーリングされたバージョンは前記目標表示装置と同じ解像度をもち、前記出力映像データは前記入力映像データの前記ダウンスケーリングされたバージョンを含む、
映像コア。
前記入力映像データはインタレーシングされた映像データを備える請求項１の映像コア。
前記入力映像データの前記ダウンスケーリングされたバージョンを生成することは、
複数のダウンスケール方向の少なくとも１つのダウンスケーリング方向を決定することであって、前記複数のダウンスケール方向は水平ダウンスケーリングおよび垂直ダウンスケーリングを備える、決定することと、
前記インタレーシングされた映像データをダウンスケーリングすることと、
を備え、
前記出力映像データを生成することは、
前記ダウンスケーリングされたインタレーシングされた映像データをデインタレーシングすることと、
前記決定された少なくとも１つのダウンスケーリング方向に従って、前記デインタレーシングされた映像データをスケーリングすることと、
を備える、
請求項２の映像コア。
前記入力映像データは、前記入力映像データの第１および第２のデインタレーシングされたバージョンを生成するためにデインタレーシングされ、
前記入力映像データの前記ダウンスケーリングされたバージョンを生成することは、
前記入力映像データの第１のデインタレーシングされたバージョンと前記入力映像データの第２のデインタレーシングされたバージョンとを受信することと、
前記入力映像データの前記第１のデインタレーシングされたバージョンと前記第２のデインタレーシングされたバージョンの１つを選択することと、
前記入力映像データの前記選択されたデインタレーシングされたバージョンをスケーリングすることと、
を備える、
請求項２の映像コア。
前記ダウンスケーラは入力映像画像の垂直寸法と水平寸法の少なくとも１つに沿って選択的にダウンスケールするように構成される請求項１の映像コア。
前記ダウンスケーラは前記目標表示装置の寸法と、前記目標表示装置にデータを送信するための利用可能な帯域と、前記映像コアに対する資源利用可能性と、に少なくとも部分的に基づいて前記ダウンスケーリングされたバージョンを生成するように構成される請求項１の映像コア。
映像コア内で映像データを処理する方法であって、
入力映像データを受信することと、
出力映像データを生成することと、
を備え、
出力映像データを生成することは、
前記入力映像データを復号または符号化することと、前記復号または符号化することは、デブロッキングされた映像データを供給することを備え、
目標表示装置に基づいて、前記入力映像データのダウンスケーリングされたより低い解像度バージョンを生成するために前記デブロッキングされた映像データをダウンスケーリングすることであって、前記入力映像データの前記ダウンスケーリングされたバージョンは前記目標表示装置と同じ解像度をもち、前記出力映像データは前記入力映像データの前記ダウンスケーリングされたバージョンを含む、ダウンスケーリングすることと、
を備え、
前記映像コアは、映像エンコーダと、映像デコーダと、ダウンリンクスケーリングのためのダウンスケーラと、を備え、前記ダウンスケーラは前記映像エンコーダと前記映像デコーダとによって共有される、
方法。
前記入力映像データはインタレーシングされた映像データを備える請求項７の方法。
前記入力映像データの前記ダウンスケーリングされたバージョンを生成することは、
複数のダウンスケール方向の少なくとも１つのダウンスケーリング方向を決定することであって、前記複数のダウンスケール方向は水平ダウンスケーリングと垂直ダウンスケーリングとを備える、決定することと、
前記インタレーシングされた映像データをダウンスケーリングすることと、
を備え、
前記出力映像データを生成することは、
前記ダウンスケーリングされたインタレーシングされた映像データをデインタレーシングすることと、
前記決定された少なくとも１つのダウンスケーリング方向に従って、前記デインタレーシングされた映像データをスケーリングすることと、
を備える、
請求項８の方法。
映像データの異なる解像度についての前記入力映像データの第１および第２のデインタレーシングされたバージョンを生成するために前記入力映像データをデインタレーシングすることを備え、
前記入力映像データの前記ダウンスケーリングされたバージョンを生成することは、
前記入力映像データの第１のデインタレーシングされたバージョンと前記入力映像データの第２のデインタレーシングされたバージョンとを受信することと、
前記入力映像データの前記第１のデインタレーシングされたバージョンと前記第２のデインタレーシングされたバージョンの１つを選択することと、
前記入力映像データの前記選択されたデインタレーシングされたバージョンをスケーリングすることと、
を備える、
請求項８の方法。
前記出力映像データの少なくとも１つのバージョンを送信することをさらに備える請求項７の方法。
前記ダウンスケーリングされたバージョンを生成することは入力映像画像の水平寸法および垂直寸法の少なくとも１つに沿って、選択的にダウンスケーリングすることを備える請求項７の方法。
前記ダウンスケーリングされたバージョンを生成することは、
前記目標表示装置の寸法と、前記目標表示装置にデータを送信するための利用可能な帯域と、資源利用可能性と、に少なくとも部分的に基づく請求項７の方法。
前記資源利用可能性は、電力と、処理することと、メモリと、およびバス利用可能性とのうちの少なくとも１つを備える請求項１３の方法。
装置のプロセッサによって実行可能な命令を備えるコンピュータ読み取り可能な記憶媒体であって、前記命令は前記装置に、請求項７〜１４のいずれか一項の方法を行わせる、コンピュータ読み取り可能な記憶媒体。