JP5318424B2 - 関心領域映像符号化に関するコンテンツ適応型背景スキップ - Google Patents

Description

本発明は、米国仮特許出願番号６０／６５８，００８（出願日：２００５年３月１日）の利益を主張するものである。

本開示は、デジタル映像符号化に関するものである。本発明は、より具体的には、ビデオテレフォニー（ＶＴ）用途に関する関心領域（ＲＯＩ）情報符号化技術に関するものである。

デジタル映像シーケンスを符号化するための幾つかの異なる映像符号化基準が確立されている。例えば、ムービング・ピクチャー・エキスパート・グループ（ＭＰＥＧ）は、ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４を含む幾つかの基準を策定している。その他の例は、国際電気通信連合（ＩＴＵ）Ｈ．２６３基準、新興のＩＴＵ Ｈ．２６４基準を含む。これらの映像符号化基準は、一般的は、データを圧縮して符号化することによって映像シーケンスの向上された伝送効率をサポートする。

ビデオテレフォニー（ＶＴ）は、テレビ会議等の用途をサポートするためにユーザーが映像及び音声情報を共有することを可能にする。典型的ビデオテレフォニー基準は、セッション開始プロトコル（ＳＩＰ）、ＩＴＵ Ｈ．３２３基準、及びＩＴＵ Ｈ．３２４基準によって定義されるビデオテレフォニー基準を含む。ＶＴシステムにおいては、ユーザーは、映像情報を送受信する、映像情報を受信するだけである、又は映像情報を送信するだけである。受信者は、一般的には、送信者から送信された形の受信映像情報を観る。

映像情報の選択された部分の優先的符号化が提案されている。例えば、送信者は、受信者に送信するためにより高い品質で符号化すべき関心領域（ＲＯＩ）を指定することができる。送信者は、遠隔の受信者に対してＲＯＩを強調するのを望むことができる。ＲＯＩの典型例は人間の顔であるが、送信者は、映像シーン内のその他のオブジェクトに注意を集中するのを望むことができる。ＲＯＩを優先的に符号化することにより、受信者は、非ＲＯＩ領域よりも鮮明にＲＯＩを観ることができる。

ＲＯＩは、映像シーンの非ＲＯＩエリア、すなわち「背景」エリアよりもＲＯＩに対してより大きな割合の符号化ビットを割り当てることによって優先的に符号化することができる。映像フレームの非ＲＯＩエリアをスキップすることは、符号化ビットをＲＯＩに割り当てるために保存することを可能にする。先行フレームに関する符号化された非ＲＯＩは、現在のフレーム内のスキップされた非ＲＯＩの代わりに用いることができる。代替として、スキップされた非ＲＯＩは、内挿することができる。

いずれの場合においても、フレームの非ＲＯＩエリアの符号化をスキップすることは、ＲＯＩの向上された符号化を可能にする。

本開示は、関心領域（ＲＯＩ）映像符号化に関するコンテンツ適応型背景スキップ技術に関するものである。該技術は、映像ストリーミング及びテレビ会議、等のビデオテレフォニー（ＶＴ）用途において有用であり、特にモバイルＶＴ、等の低ビットレート無線通信用途において有用である。コンテンツ適応型非ＲＯＩスキップは、幾つかの実施形態においては、相対的に軽度の複雑さで実装することができる。

ＲＯＩ映像符号化は、例えば映像フレーム内のＲＯＩに追加の符号化ビットを割り当て、さらに減らされた数の符号化ビットを非ＲＯＩエリアに割り当てることによって、前記ＲＯＩの優先的な符号化を行うことを含む。前記非ＲＯＩエリアは、「背景」エリアと呼ぶことができるが、非ＲＯＩエリアは、より一般的には、映像シーンのうちでＲＯＩの一部を形成していないエリアを包含する。従って、非ＲＯＩ及び背景という表現は、本開示全体を通じて、ＲＯＩ内にないエリアを指すために互換的に用いることができる。

開示される技術は、映像フレームのコンテンツ情報を解析して前記フレーム内における非ＲＯＩエリアの符号化をスキップするかどうかを決定する。例えば、前記スキップ決定は、コンテンツ活動（content activity）、例えば、ＲＯＩ形状の変形、ＲＯＩの動き、非ＲＯＩの動き、非ＲＯＩのテクスチャの複雑さ、１つ以上の以前のフレームにおける非ＲＯＩのスキップに起因する累積歪み、等、に基づくことができる。前記スキップ決定は、フレームレベル又はマクロブロックレベルでのビット割当てとともに行うことができる。

複数の領域の間における及び複数のフレームの間におけるビット割当てを行うために異なる戦略を用いることができる。将来のフレームにおけるスキップされる非ＲＯＩエリア数を動き及び非ＲＯＩのテクスチャの複雑さに基づいて推定するために、ベイジアンモデルに基づく自習分類手法を利用することができる。この方法により、リアルタイムシステムでは困難である現在のフレームに関する非ＲＯＩスキップ決定を行うために将来のコンテンツ情報を入手する必要がない。さらに、ＲＯＩエリア及び非ＲＯＩエリアに関するビットを割り当てるために重み付き速度制御及びビット割当てアルゴリズムを利用することができる。

人間の視覚系（ＨＶＳ）は、映像シーンフレームが激しい動きを含むときには時間的な変化に対する感度が高くなり、映像シーンがゆっくりとした動きを含むときには空間的な詳細に対する感度が高くなる傾向がある。ＨＶＳモデルを利用することで、受け入れ可能な時間上の品質が維持されるようにするために激しい動きのシーン中には非ＲＯＩのスキップを回避することができる。しかしながら、時間的感度がより低いゆっくりとした動きのシーン中に非ＲＯＩエリアをスキップすることによって、向上されたＲＯＩ符号化のために符号化ビットを節約することができる。この方法により、非ＲＯＩエリアの空間上の品質を向上させることができる。

一実施形態においては、本開示は、映像フレームを得ることと、前記映像フレーム内の関心領域（ＲＯＩ）を符号化することと、前記映像フレームの非ＲＯＩエリアの符号化をスキップするかどうかを前記ＲＯＩ及び前記非ＲＯＩエリアのコンテンツ活動及び１つ以上のその他のフレームにおける非ＲＯＩエリアの符号化のスキップに起因する累積歪みに基づいて決定すること、とを具備する方法を提供する。

他の実施形態においては、本開示は、映像フレーム内の関心領域（ＲＯＩ）の定義を生成する関心領域マッパーと、前記映像フレーム内の前記ＲＯＩを符号化する映像符号器と、前記符号器が、前記映像フレームの非ＲＯＩエリアの符号化をスキップするかどうかを、前記ＲＯＩ及び前記非ＲＯＩエリアのコンテンツ活動及び１つ以上のその他のフレームにおける非ＲＯＩエリアの符号化のスキップに起因する累積歪みに基づいて決定するスキップモジュールと、を具備するデバイスを提供する。

さらなる実施形態においては、本開示は、映像フレームを得ること、前記映像フレーム内の関心領域（ＲＯＩ）を符号化すること、及び前記映像フレームの非ＲＯＩエリアの符号化をスキップするかどうかを前記ＲＯＩ及び非ＲＯＩエリアのコンテンツ活動及び１つ以上のその他のフレームにおける非ＲＯＩエリアの符号化のスキップに起因する累積歪みに基づいて決定することをプロセッサに行わせるための命令を具備する、コンピュータによって読み取り可能な媒体、を提供する。

本明細書において説明される技術は、ハードウェア内、ソフトウェア内、又はその組合せ内において実装することができる。ソフトウェア内に実装された場合は、前記技術は、実行されたときに本明細書において説明される方法のうちの１つ以上を実行する命令を含むプログラムコードを具備するコンピュータ読取可能媒体によって一部を実現することができる。

１つ以上の実施形態の詳細が、添付図面及び以下の説明において示されている。該説明及び図面から、及び請求項からその他の特長、目的、及び利点が明確になるであろう。

図１は、ＲＯＩイネーブルド映像符号器−復号器（ＣＯＤＥＣ）を組み入れた映像符号化及び復号システム１０を示すブロック図である。図１に示されるように、システム１０は、第１の映像通信デバイス１２と、第２の映像通信デバイス１４と、を含む。通信デバイス１２、１４は、送信チャネル１６によって接続される。送信チャネル１６は、有線又は無線の通信媒体であることができる。システム１０は、ビデオテレフォニーに関する映像通信デバイス１２、１４の間における双方向映像送信をサポートする。デバイス１２、１４は、実質的に対称的に動作することができる。しかしながら、幾つかの実施形態においては、一方又は両方の映像通信デバイス１２、１４は、ＲＯＩイネーブルド映像ストリーミングをサポートするために１方向通信のみに関して構成することができる。

映像通信デバイス１２、１４の一方又は両方は、本明細書において説明されるように、ビデオテレフォニー（ＶＴ）に関するＲＯＩ符号化技術を利用するように構成することができる。ＲＯＩ映像符号化は、例えば映像フレーム内のＲＯＩに追加の符号化ビットを割り当て、減らされた数の符号化ビットを非ＲＯＩエリアに割り当てることによって、ＲＯＩの優先的な符号化を行うことを含む。本明細書において説明されるＲＯＩ符号化技術は、ＲＯＩへの割当て用に符号化ビットを保存するために非ＲＯＩエリアのコンテンツ適応型スキップを行うことを含む。コンテンツ適応型スキップ技術は、映像フレーム内のコンテンツ情報を解析して映像フレーム内の非ＲＯＩエリアをスキップするかどうかを各フレームごとに動的に決定することを含む。

フレームに関するコンテンツ適応型スキップ決定は、フレーム内のコンテンツ活動、例えば、ＲＯＩ形状の変形、ＲＯＩの動き、非ＲＯＩの動き、非ＲＯＩのテクスチャの複雑さ、その他のフレームにおける非ＲＯＩのスキップに起因する累積歪み、等、に基づくことができる。テクスチャの複雑さは、分散として表すことができる。さらに、コンテンツ適応型スキップ決定は、フレームレベル又はマクロブロックレベルのビット割当てとともに行うことができる。マクロブロック（ＭＢ）は、フレームの一部を成す映像ブロックである。ＭＢの大きさは、１６×１６画素であることができる。しかしながら、その他のＭＢの大きさも可能である。マクロブロックは、様々な大きさを有することができるということを理解しつつ、本明細書においては例示することを目的として説明される。一般的には、マクロブロックは、１つにまとまって映像フレームを形成するあらゆる大きさの映像ブロックを指す。

双方向性の用途に関しては、相互符号化、復号、多重化（ＭＵＸ）及び逆多重化（ＤＥＭＵＸ）コンポーネントをチャネル１６の反対側の端部に備えることができる。図１の例においては、映像通信デバイス１２は、ＭＵＸ／ＤＥＭＵＸコンポーネント１８と、ＲＯＩイネーブルド映像ＣＯＤＥＣ２０と、音声ＣＯＤＥＣ２２と、を含む。同様に、映像通信デバイス１４は、ＭＵＸ／ＤＥＭＵＸコンポーネント２６と、ＲＯＩイネーブルド映像ＣＯＤＥＣ２８と、音声ＣＯＤＥＣ３０と、を含む。

システム１０は、セッション開始プロトコル（ＳＩＰ）、ＩＴＵ Ｈ．３２３基準、ＩＴＵ Ｈ．３２４基準、又はその他の基準に従ってビデオテレフォニーをサポートすることができる。各映像ＣＯＤＥＣ２０、２８は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ Ｈ．２６３、又はＩＴＵ Ｈ．２６４、等の映像圧縮基準に従って符号化映像データを生成する。図１においてさらに示されるように、映像ＣＯＤＥＣ２０、２８は、各々の音声ＣＯＤＥＣ２２、３０と一体化することができ、データストリームの音声部分及び映像部分を処理する適切なＭＵＸ／ＤＥＭＵＸコンポーネント１８、２６を含む。音声部分は、声又はその他の音声分を搬送することができる。ＭＵＸ／ＤＥＭＵＸ装置１８、２６は、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル又はその他のプロトコル、例えばユーザーデータグラムプロトコル（ＵＤＰ）に準拠することができる。

各ＲＯＩイネーブルド映像ＣＯＤＥＣ２０、２８は、各々の映像通信デバイス１２、１４のローカルユーザーによってローカルで提供されるＲＯＩ情報又は他方の映像通信デバイス１２、１４の遠隔ユーザーから遠隔で提供されるＲＯＩ情報を処理することができる。例えば、映像通信デバイス１２のローカルユーザーは、送信映像の領域をデバイス１４の遠隔ユーザーに対して強調するために、映像通信デバイス１２によってローカルで生成される「ニアエンド」映像内のＲＯＩを指定することができる。逆に、映像通信デバイス１２のローカルユーザーは、映像通信デバイス１４によって遠隔で生成される「ファーエンド」映像においてＲＯＩを指定して該ＲＯＩを遠隔映像通信デバイスに通信することができる。この場合は、映像通信デバイス１２のユーザーは、例えば映像通信デバイス１４から受信された映像内のＲＯＩをより鮮明に観るために、映像通信デバイス１４によるＲＯＩの優先的符号化を遠隔制御する。

映像通信デバイス１２、１４は、映像ストリーミング、ビデオテレフォニー、又は両方のために備えられた無線移動端末又は有線端末として実装することができる。この目的のために、映像通常デバイス１２、１４は、無線通信をサポートするための適切な無線送信機、受信機、モデム、及び処理用電子装置をさらに含むことができる。無線移動端末の例は、無線通信能力及び映像符号化及び／又は復号能力を備えた移動無線電話、モバイルパーソナルデジタルアシスタント（ＰＤＡ）、モバイルコンピュータ、又はその他のモバイルデバイスを含む。有線端末の例は、デスクトップコンピュータ、ビデオ電話、ネットワーク機器、セットトップボックス、双方向型テレビ、等、を含む。どちらの映像通信デバイス１２、１４も、映像情報を送信するように、映像情報を受信するように、又は映像情報を送受信するように構成することができる。
ビデオテレフォニー用途に関しては、一般的には、データ１２が映像送信能力及び映像受信能力の両方をサポートするのが望ましい。しかしながら、ストリーミング映像用途も企図されている。ビデオテレフォニー、特に無線通信によるモバイルビデオテレフォニーにおいては、極端に低いビットレートがしばしば要求されるため帯域幅が重要な懸念事項である。特に、通信チャネル１６は、制限された帯域幅を有しており、チャネル１６で高質の映像シーケンスを有効にリアルタイムで送信するのが非常に難しい場合がある。例えば、通信チャネル１６は、チャネル１６における物理的制約事項、又は通信チャネル１６の提供者によって課せられたサービスの質（ＱｏＳ）上の制限事項又は帯域幅割当て上の制約事項に起因する制限された帯域幅を有する無線通信リンクである場合がある。

従って、追加の符号化ビットをＲＯＩに選択的に割り当てること、より強力な誤り保護、又はその他の優先的符号化ステップは、全体的な符号化効率を維持しながら映像の一部分の画質を向上させることができる。優先的符号化に関しては、追加のビットをＲＯＩに割り当てることができ、その一方で減らされた数のビットを非ＲＯＩ領域、例えば映像シーン内の背景、に割り当てることができる。非ＲＯＩエリアは、「背景」エリアと呼ばれるが、非ＲＯＩエリアは、より一般的には、ＲＯＩの一部を形成しない映像シーンのあらゆるエリアを包含する。従って、本開示においては、非ＲＯＩ及び背景という表現は、指定されたＲＯＩ内にないエリアを指すために互換的に用いることができる。

一般的には、システム１０は、ビデオテレフォニー（ＶＴ）用途に関する関心領域（ＲＯＩ）を処理するための技術を採用する。しかしながら、前記技術は、上述されるように、映像ストリーミング用途に対しても応用可能である。例示することを目的として、各映像通信デバイス１２、１４は、映像情報の送信者及び受信者の両方として動作し、それによってＶＴセッションへの完全な参加者として動作することができると仮定される。映像通信デバイス１２から映像通信デバイス１４に送信される映像情報に関しては、映像通信デバイス１２が送信者デバイスであり、映像通信デバイス１４が受信者デバイスである。

逆に、映像通信デバイスか１４から映像通信デバイス１２に送信される映像情報に関しては、映像通信デバイス１２が受信者デバイスであり、映像通信デバイス１４が送信者デバイスである。本明細書において説明される技術は、前記映像を送信するだけ又は受信するだけのデバイスに対しても応用可能である。ローカル映像通信デバイス１２、１４によって符号化及び送信される映像情報について論じるときには、前記映像情報は、上述されるように、「ニアエンド」映像と呼ぶことができる。遠隔映像通信デバイス１２、１４によって符号化されて遠隔映像通信デバイス１２、１４から受信される映像情報について論じるときには、前記映像情報は、「ファーエンド」映像と呼ぶことができる。

開示される技術により、映像通信デバイス１２又は１４は、受信者デバイスとして動作時には、送信者デバイスから受信されるファーエンド情報に関するＲＯＩ情報を定義する。繰り返しになるが、送信者デバイスから受信される映像情報は、通信チャネルの遠端部に位置する他方の（送信者）デバイスから受信されるという意味で「ファーエンド」映像情報と呼ばれる。

同様に、送信者デバイスから受信される映像情報に関して定義されたＲＯＩ情報は、「ファーエンド」ＲＯＩ情報と呼ばれる。ファーエンドＲＯＩは、一般的には、ファーエンド映像の受信者にとっても最も関心のあるファーエンド映像内の領域を指す。受信者デバイスは、ファーエンド映像情報を復号し、復号されたファーエンド映像を表示デバイスを介してユーザーに提示する。ユーザーは、ファーエンド映像によって提示された映像シーン内のＲＯＩを選択する。代替として、ＲＯＩは、自動的に定義することができる。

受信者デバイスは、受信者デバイスにおいてユーザーによって選択されたＲＯＩに基づいてファーエンドＲＯＩ情報を生成し、送信者デバイスがファーエンドＲＯＩ情報を使用できるようにするために該情報を送信者デバイスに送信する。ファーエンドＲＯＩ情報は、ＲＯＩ内に常駐するＲＯＩマクロブロック（ＭＢ）に基づいてＲＯＩを定義するＲＯＩマクロブロック（ＭＢ）マップの形態をとることができる。ＲＯＩ ＭＢマップは、ＲＯＩに含まれているＭＢ（１）及びＲＯＩから除外されているＭＢ（０）を簡単に識別するために、ＲＯＩ内のＭＢに１のフラグを付け、ＲＯＩ外のＭＢに０のフラグを付けることができる。

送信者デバイスは、受信者デバイスによって送信されたファーエンドＲＯＩ情報を用いることによって、映像シーン内の対応するＲＯＩに対して優先的符号化を適用する。特に、ＲＯＩに対して追加の符号化ビットを割り当てて減らされた数のビットを非ＲＯＩ領域に割り当て、それによってＲＯＩの画質を向上させることができる。この方法により、受信者デバイスは、送信者デバイスによるファーエンド映像情報のＲＯＩ符号化を遠隔制御することができる。

優先的符号化は、例えばＲＯＩエリア内における優先的ビット割当て又は優先的量子化によって、映像シーンの非ＲＯＩエリアに対してよりも高い品質の符号化をＲＯＩエリアに対して適用する。優先的に符号化されたＲＯＩは、受信者デバイスのユーザーがオブジェクト又は領域をより鮮明に観るのを可能にする。例えば、受信者デバイスのユーザーは、顔又はその他の何らかのオブジェクトを映像シーンの背景領域よりも鮮明に観るのを希望することができる。

映像通信デバイス１２又は１４は、送信者デバイスとして動作時には、送信者デバイスによって送信される映像情報に関するＲＯＩ情報を定義することもできる。繰り返しになるが、送信者デバイスにおいて生成される映像情報は、通信チャネルの近端部において生成されるという意味で「ニアエンド」映像と呼ばれる。送信者デバイスによって生成されたＲＯＩ情報は、「ニアエンド」ＲＯＩ情報と呼ばれる。

ニアエンドＲＯＩは、一般的には、送信者が受信者に対して強調することを希望するニアエンド映像の領域を指す。従って、ＲＯＩは、受信者デバイスユーザーの場合はファーエンドＲＯＩ情報として、送信者デバイスユーザーの場合はニアエンドＲＯＩ情報として指定することができる。送信者デバイスは、表示デバイスを通じてユーザーにニアエンド映像を提示する。送信者デバイスと関連するユーザーは、ニアエンド映像によって提示された映像シーン内のＲＯＩを選択する。送信者デバイスは、ニアエンド映像内のＲＯＩが非ＲＯＩエリアよりも高い品質の符号化を用いて優先的に符号化されるようにするために、ユーザーによって選択されたＲＯＩを用いてニアエンド映像を符号化する。

送信者デバイスにおいてローカルユーザーによって選択または定義されたニアエンドＲＯＩは、送信者デバイスのユーザーが映像シーン内の領域又はオブジェクトを強調し、それによって前記領域又はオブジェクトに受信者デバイスユーザーの注意を向けさせることを可能にする。顕著なことに、送信者デバイスユーザーによって選択されたニアエンドＲＯＩは、受信者デバイスに送信する必要がない。その代わりに、送信者デバイスは、ニアエンド映像が受信者デバイスに送信される前に、選択されたニアエンドＲＯＩ情報を用いてニアエンド映像をローカルで符号化する。しかしながら、幾つかの実施形態においては、送信者デバイスは、優先的符号化技術、例えばより高い品質の誤り訂正又は後処理、の適用を可能にするためにＲＯＩ情報を受信者デバイスに送信することができる。

ＲＯＩ情報が送信者デバイス及び受信者デバイスの両方によって提供される場合は、送信者デバイスは、ニアエンド映像を符号化するために、受信者デバイスからの受信されたファーエンドＲＯＩ情報又はローカルで生成されたニアエンドＲＯＩ情報を利用する。送信者デバイス及び受信者デバイスによって提供されたニアエンドＲＯＩの選択とファーエンドＲＯＩの選択との間においてＲＯＩの衝突が生じることがある。該衝突は、解決、例えば、ローカルユーザーによる能動的解決又は指定されたアクセス権及びレベルに従った解決、等を要求する。どちらの場合においても、送信者デバイスは、送信者デバイスによってローカルで又は受信者デバイスによって遠隔で提供されたニアエンドＲＯＩ情報に基づいて優先的にＲＯＩを符号化する。

本開示は、ローカルユーザー又は遠隔ユーザーによって指定されるＲＯＩを考慮し、一般的には映像フレームの非ＲＯＩエリアをコンテンツに応じてスキップする技術に焦点を合わせている。コンテンツ適応型スキップ技術は、様々な追加のＲＯＩ符号化技術とともに利用することができ、本明細書では例示目的でこれらのＲＯＩ符号化技術の多くが説明される。

例えば、本開示は、映像シーン内のＲＯＩエリアと非ＲＯＩエリアとの間におけるビット割当てに基づいて、ＲＯＩを優先的に符号化する方法についても対応する。幾つかの実施形態においては、ＲＯＩエリアと非ＲＯＩエリアとの間における重み付きビット割当てを偏らせるためにＲＯＩ映像品質測定基準を利用することができる。映像品質測定基準は、符号化された映像シーケンスの品質を評価する際にユーザーの優先度（preference）、すなわち、ＲＯＩへの関心、ＲＯＩ映像忠実度、及びＲＯＩの知覚上の品質を考慮に入れる。

重み付きビット割当ては、ロー（ρ）領域内で適用することができ、フレームレベル速度コントローラによって提供されるρ領域フレームバジェット（frame budget）に依存する。一般的には、非ＲＯＩスキップ技術は、ＲＯＩ及び非ＲＯＩの両方における受け入れ可能な視覚上の品質を維持しつつＲＯＩに割り当てるための符号化ビットを保存するために、単独で又は本明細書において説明されるその他の技術とともに用いることができる。

図２は、無線通信デバイス３６と関連するディスプレイ３４上に提示された映像シーン３２内におけるＲＯＩの定義を示す図である。図２の例においては、ＲＯＩは、長方形のＲＯＩ３８又は非長方形のＲＯＩ４０として描かれている。非長方形のＲＯＩ４０は、丸い又は不規則な形状を有することができる。各場合において、ＲＯＩ３８及びＲＯＩ４０は、映像シーン３２において表示された人の顔４２を含む。図３Ａ及び３Ｂは、図２において描かれている映像シーン３２のＲＯＩ３８及び非ＲＯＩエリア４３を表す図である。非ＲＯＩエリア４３、すなわち背景は、図３Ｂでは陰影によって強調されている。

ＲＯＩ３８又は４０は、ユーザーが手作業で、デバイス３６によって自動的に、又はユーザーによる手作業でのＲＯＩ描写とデバイス３６による自動的なＲＯＩ定義の組合せを用いて、定義することができる。長方形のＲＯＩ３８は、ユーザーによって選択することができる。非長方形のＲＯＩ４０は、ユーザーが例えばスタイラス及びタッチ画面を用いて描くか又はデバイス３６が様々なオブジェクト検出又はセグメンテーション技術のうちのいずれかを用いて自動的に選択することができる。ＶＴ用途の場合は、ＲＯＩ３８又は４０は、映像シーン３２のうちでテレビ会議への参加者の顔４２を含む部分を包含することができる。ＲＯＩ３８又は４０の大きさ、形状及び位置は、固定又は調整可能であり、様々な方法で定義すること、描くこと又は調整することが可能である。

ＲＯＩ３８又は４０は、映像送信者が送信された映像シーン３２内の個々のオブジェクト、例えば人の顔４２、を強調するのを可能にする。逆に、ＲＯＩ３８又は４０は、映像受信者が受信された映像シーン３２内の希望されるオブジェクトをより鮮明に観ることを可能にする。どちらの場合においても、ＲＯＩ３８又は４０内の顔４２は、映像シーン３２の背景領域等の非ＲＯＩエリアよりも高い画質で符号化される。この方法により、ユーザーは、顔の表情、唇の動き、目の動き、等をより鮮明に観ることができる。

しかしながら、ＲＯＩ３８又は４０は、顔以外のオブジェクトを指定するために用いることができる。概して、ＶＴ用途におけるＲＯＩは非常に主観的であることが可能であり、ユーザーごとに異なる可能性がある。希望されるＲＯＩも、ＶＴがどのように用いられるかに依存する。幾つかの事例においては、ＶＴは、テレビ会議とは対照的に、オブジェクトを観るため及び評価するために用いることができる。例えば、ユーザーは、特にプレゼンターがカメラに背を向けて黒板の方を向いている時には、該プレゼンターの顔ではなく方程式又は描かれた物を含む黒板部分に集中することを希望することができる。幾つかの場合においては、映像シーンは、優先的符号化用に指定される２つ以上のＲＯＩを含むことができる。

図４は、映像通信デバイス１２において用いるためのＲＯＩイネーブルド映像符号化システム４４を示すブロック図である。図４に示されるように、システム４４は、ＲＯＩ重み計算器４６と、ＲＯＩρ領域ビット割当てモジュール４８と、コンテンツ適応型非ＲＯＩスキップモジュール５０と、ＲＯＩマクロブロック（ＭＢ）マッパー５２と、フレームレベル速度コントローラ５４と、ρ−量子化パラメータ（ＱＰ）マッパー５６と、映像符号器５８と、フレームアナライザ６０と、バジェット調整モジュール６１と、を含む。後述されるように、コンテンツ適応型非ＲＯＩスキップモジュール５０は、フレームアナライザ６０によって提供されるフレーム情報を用いて、検討中のフレームの非ＲＯＩエリアをスキップするかどうかの動的な決定を行うことができる。フレーム情報は、映像コンテンツの活動、例えば、ＲＯＩ形状の変形、ＲＯＩの動き、非ＲＯＩの動き、及び非ＲＯＩのテクスチャの複雑さ、及び非ＲＯＩのスキップに起因する累積歪みを含むことができる。

図４に描かれた様々な構成要素は、個別の機能モジュールとして又は各モジュールに属する機能を包含するモノリシックモジュールとして様々な方法で形成することができる。いずれの場合においても、映像符号化システム４４の様々な構成要素は、ハードウェア内において、ソフトウェア内において、又はその組合せ内において実現させることができる。例えば、該構成要素は、１つ以上のマイクロプロセッサ又はデジタル信号プロセッサ（ＤＳＰ）、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はその他の同等の集積回路又は個別論理回路において実行するソフトウェアプロセスとして動作することができる。図４においては、例示を容易にするためにＭＵＸ−ＤＥＭＵＸ及び音声構成要素は省かれている。

図４の例において、ＲＯＩ重み計算器４６は、映像通信デバイス１２のローカルユーザー又は映像通信デバイス１４の遠隔ユーザーによって入力されたユーザー優先度係数αを受信することができる。ユーザー優先度係数αは、ＲＯＩに関する知覚上の重要度係数であり、ＲＯＩの視覚上の品質の重要性を実際のユーザーの観点から表す。ユーザー優先度係数αは、ユーザーがＲＯＩ内における視覚上の品質を評価する度合いを定量化する。ユーザーがＲＯＩの視覚上の品質を強く評価する場合は、αは高くなる。ＲＯＩの視覚上の品質の重要度が低いほどαは低くなる。ＲＯＩ重み計算器４６は、優先度αに基づき、映像符号器５８によって符号化中の映像フレームの非ＲＯＩエリアとＲＯＩエリアとの間における重み付きビット割当てを偏らせるためにＲＯＩρ領域ビット割当てモジュール４８に適用される一組の重みw_iを生成する。重みw_iは、映像フレーム内の個々の映像ブロック、例えばマクロブロック（ＭＢ）、に関して指定することができる。ＲＯＩ重み計算器４６は、ＲＯＩ ＭＢマップをＲＯＩ ＭＢマッパー５２から受け取り、ＲＯＩ ＭＢマッパー５２によって識別されたＲＯＩ及び非ＲＯＩ ＭＢに各々の重みwiを割り当てる。より高い重みwiを有するマクロブロックは、より多い数の符号化ビットを受信する。

ρ領域ビット割当てモジュール４８は、ＲＯＩ重み計算器４６から重み入力wiを、コンテンツ適応型非ＲＯＩスキップモジュール５０からスキップ指示（ＳＫＩＰ ＯＮ／ＯＦＦ）を、ＲＯＩ ＭＢマッパー５２からＲＯＩ ＭＡＰマップを、フレームレベル速度コントローラ５４からρ領域速度バジェットR_BUDGETを、映像符号器５８から符号化されたＭＢに関する標準偏差σを受け取る。フレームレベル速度バジェットR_BUDGETは、例えば、Ｚ.ホー及びＳ．Ｋ．マイトラ"A linear source model and a unified rate control algorithm for DCT video coding"（ＤＣＴ映像符号化に関する線形ソースモデル及び統一速度制御アルゴリズム）、IEEE Trans. Circuits and System for Video Technology, Vol. 12, No. 11, Nov. 2002. pp. 970-982において説明されるように、検討中のフレームに関するρ領域バジェットであることができる。標準偏差σは、動き推定後に得られた実際の残りの標準偏差であることができ、前の複数のフレームからの格納された残り統計値とすることが可能である。

ＲＯＩ ＭＢマッパー５２によって提供されるＲＯＩ ＭＢマップは、所定の映像フレーム内において、指定されたＲＯＩ内にあるＭＢを識別する。ρ領域ビット割当てモジュール４８は、ＲＯＩ ＭＢマップを用いて、すなわちＲＯＩ重み計算器４６によって提供される重みw_iを用いて、ＲＯＩ ＭＢへの優先的ビット割当てを目的としてＲＯＩ ＭＢを非ＲＯＩ ＭＢと区別する。ビット割当てモジュール４８は、各ＭＢに関するρパラメータを生成する。ρパラメータは、ＭＢ内におけるゼロ以外のＡＣ係数の数を表す。ＭＢレベル及びフレームレベルでのρ領域における速度制御は、ＱＰ領域における速度制御よりも正確になる傾向がある。

本開示の目的上、適切なＲＯＩ ＭＢマップ生成プロセスを利用可能であることが仮定されている。例えば、ＲＯＩマッピングプロセスは、ＲＯＩを定義するユーザーによる手動入力、又は従来の技術、例えば、顔の検出、顔のセグメンテーション、及び受け入れ可能な精度を有するターゲット追跡、等、を用いた自動的なＲＯＩの定義又は検出に基づくことができる。本開示においては、例示を目的として、頭又は頭と肩の映像シーケンスが検討されるが、本明細書において説明される技術は、人に加えて又は人の代替として様々なオブジェクトを含むその他の型の映像シーケンスに対しても応用可能である。

フレームレベル速度コントローラ５４は、映像シーケンス内の個々のフレームへのビット割当てを生成する。特に、フレームレベル速度コントローラ５４は、現在のフレーム内のすべてのＭＢ、すなわちＲＯＩ ＭＢと非ＲＯＩ ＭＢの両方を符号化するために利用可能なビット数を示すρ領域値R_BUDGETを生成する。図４においてさらに示されるように、ρ領域ビット割当てモジュール４８は、現在のフレーム内の非ＲＯＩエリアが符号化されるか又はスキップされるかを示すスキップ指示（ＳＫＩＰ ＯＮ／ＯＦＦ）を非ＲＯＩ背景スキップモジュール５０から受け取る。

背景がスキップされる場合は、ρ領域ビット割当てモジュール４８は、実際には、本来であれば非ＲＯＩに対して割り当てられることになっていたビットを再取得し、現在のフレーム又は将来のフレームのＲＯＩを符号化するために利用可能なビットプールにこれらのビットを再度割り当てる。従って、スキップが特定のフレームにおいてＯＮである場合は、ρ領域ビット割当てモジュール４８は、ＲＯＩに割り当てるためのビットをR_BUDGET内により多く有する。従って、バジェット調整モジュール６１は、非ＲＯＩのスキップによって再取得された符号化ビット数に比例してフレームレベル値R_BUDGETを調整することができる。非ＲＯＩの符号化が特定のフレームにおいてスキップされる場合は、前に符号化されたフレームからの非ＲＯＩエリアをその代わりに用いることができる。代替として、スキップされた非ＲＯＩエリアは、内挿によって生成することが可能である。

ρ領域ビット割当てモジュール４８は、重みw_i、ＲＯＩ ＭＢマップ、R_BUDGET、ＳＫＩＰ ＯＮ／ＯＦＦ指示、及び標準偏差σを用いて、各ＭＢに関するρバジェットを示すρ領域出力を生成する。ρ領域出力は、ρ−ＱＰマッパー５６に加えられ、ρ−ＱＰマッパー５６は、各ＭＢに関する対応するＱＰ値にρ値をマッピングする。映像符号器５８は、フレーム内のＭＢに関するＱＰ値を用いて、入力映像を符号化して符号化映像を生成する。さらに、スキップモジュール５０は、フレームのＲＯＩエリアを符号化しさらにスキップがＯＮのときにはフレームの非ＲＯＩエリアの符号化をスキップするように映像符号器５８に指示するスキップ指示（ＳＫＩＰ ＯＮ／ＯＦＦ）を該映像符号器に提供することができる。スキップは、スキップモジュール５０が選択されたフレームに関する非ＲＯＩエリアの符号化をフレームアナライザ６０によって得られたフレーム情報に基づいてスキップするように映像符号器５８に指示できるという意味で適応型である。この方法により、スキップモジュール５０は、視覚上の品質を維持するために適応型スキップを動的に適用することができる。

入力映像は、映像キャプチャデバイス、例えば、映像通信デバイス１２と一体化されるか又は映像通信デバイス１２に動作可能な形で結合されたビデオカメラ、から得ることができる。幾つかの実施形態においては、例えば、映像キャプチャデバイスは、携帯電話と一体化していわゆるカメラフォン又はビデオフォンを形成することができる。この方法により、映像キャプチャデバイス４０は、モバイルＶＴ用途をサポートすることができる。映像は、映像通信デバイス１２においてローカルで提示すること、及び、送信時に、映像通信デバイス１２又は１４と一体化すること又は動作可能な形で結合することができる表示デバイス、例えば液晶ディスプレイ（ＬＣＤ）、プラズマ画面、等、を介して映像通信デバイス１４において提示することができる。

図４のＲＯＩ重み計算器４６は、ＲＯＩ品質測定基準計算器の一部を成すことができる。従って、該ＲＯＩ品質測定基準計算器の１つの産物は、ユーザーの優先度係数αに基づくことができる一組の重みw_i、さらには映像忠実度、空間的品質、及び／又は時間的品質値である。ＲＯＩ品質測定基準計算器は、ユーザー優先度値α及び１つ以上の映像歪み値を受信する。映像歪み値は、ＲＯＩ値及び非ＲＯＩ値に分割することができ、映像忠実度値D_RF、D_NF、空間的品質値D_RS、D_NS、及び時間的品質値D_RT、D_NTを含むことができる。D_RFは、ＲＯＩ内の映像忠実度を表し、D_NFは、非ＲＯＩ領域内の映像忠実度を表す。D_RSは、ＲＯＩエリア内の空間的品質を表し、D_NSは、非ＲＯＩエリア内の空間的品質を表す。D_RTは、ＲＯＩエリア内の時間的品質を表し、D_NTは、非ＲＯＩエリア内の時間的品質を表す。ＲＯＩ品質測定基準は、符号化された映像シーケンスの品質を評価する際には、ユーザーの関心、映像忠実度及び知覚上の品質（空間的、時間的又は両方）を考慮する。幾つかの実施形態においては、前記測定基準は、ρ領域ビット割当てモジュール４８によって用いられるビット割当てアルゴリズムを偏向させてより良い主観的な視覚上の品質を達成させるために用いることができる。

ＲＯＩ映像符号化は幅広く研究されているが、ＲＯＩ映像に関する品質測定は十分に詳細には取り組まれていない。ほとんどの品質測定技術は、ピーク信号−雑音比（ＰＳＮＲ）を歪み測定として使用し、映像フレームのＲＯＩ部分及び非ＲＯＩ部分の品質を評価する。ＲＯＩ映像品質測定基準は、解析目的上だけでなく（図４のビット割当てモジュール４８によって適用された）重み付きビット割当て技術を主観的な視覚上好ましい解決方法に偏向させるための入力としても有用である。一般的には、上述されるように、ＲＯＩ映像品質の評価は、少なくとも次の３つの側面、すなわち、ＲＯＩの視覚上の品質に対するユーザーの関心又は優先度係数α、再構築された映像データの映像忠実度、及び再構築された映像データの知覚上の品質（空間的、時間的又は両方）を考慮する。

ユーザーの優先度αは、ＲＯＩ部分と非ＲＯＩ部分への映像フレームの分類及びその関連する知覚上の重要度率を直接決定する。優先度は、ニアエンド又はファーエンドのユーザーによって指定することができる。ビデオテレフォニー用途においては、人間の顔の表情は非常に複雑で小さい変化が大量の情報を伝達する可能性があるため、発言者の顔領域が典型的なＲＯＩである。映像忠実度係数に関しては、原フレームと比較した場合における再構築された映像フレームの総歪み量を示すＰＳＮＲが優れた測定基準である。再構築されたフレームは、符号化された映像フレームを復号することによって生成され、原フレームは、符号化前の映像フレームである。

多くの場合は、映像忠実度が映像符号化にとっての最も重要な考慮事項になり、どのような向上もより良い主観的な視覚上の品質をもたらすことができる。しかしながら、このことが常に当てはまるわけではなく、従って、幾つかの事例においては知覚上の品質要因も考慮に入れるべきである。知覚上の品質は、空間的誤差及び時間的誤差の両方を考慮する。空間的誤差は、ブロッキング（すなわち「ブロック性」）の存在、リンギングアーティファクト、又は両方を含む。時間的誤差は、時間的ちらつきの存在、すなわち、映像フレームの視覚上の品質が時間軸に沿って不均一に変化するときを含む。時間的誤差は、望ましくない映像シーケンス内の動きの細切れが結果的に生じる可能性がある。

D_R及びD_NRは、ＲＯＩ及び非ＲＯＩの正規化された画素当たりの歪みを表し、αは、ＲＯＩの知覚上の重要度率である。映像品質評価において上述される側面間の関係を線形関数に単純化することができると仮定すると、映像シーケンスの全体的な歪みは以下の式で表すことができる。

ここで、ｆ_i及び

は、映像シーケンスにおけるＭのフレーム内のｉ番目の原フレーム及び再構築フレームであり、β及びγは、重み付け係数であり、D_R及びD_NRは、ＲＯＩ及び非ＲＯＩに関する総歪みであり、D_RF、D_RS及びD_RTは、忠実度、空間的知覚品質及び時間的知覚品質におけるＲＯＩの正規化誤差であり、D_NF、D_NS及びD_NTは、非ＲＯＩエリアに関する前記の正規化誤差である。α、β及びγの値は、０乃至１の実数値を割り当てるべきである。その結果得られる品質測定基準は、重み付きビット割当てにおけるロー（ρ）パラメータに関する最適化問題を公式化するためのコスト関数として用いること、又はＲＯＩ処理におけるその他の問題に関して用いることができる。

無線ビデオテレフォニー、等の低ビットレート映像用途においては、ブロッキング（すなわち、ブロック性）アーティファクトが空間的知覚品質に関する重要な懸念事項である。この種のアーティファクトは、高頻度係数のほとんどが除去される、すなわちゼロに設定される量子化に起因する。結果的に生じる影響は、平滑化された画像ブロックがブロック境界を非常に著しくすることである。極端な低ビットレート事例においては、ＤＣ係数のみが符号化され、復号された画像ごとの一定のブロックを作る。本開示においては、ＲＯＩ空間的品質値D_RS（D_NSの場合と類似）は、正規化ブロック性歪みとして定義され、以下の式で表すことができる。

ここで、知覚可能な不連続部が存在するかどうかを確認するためにブロック間の境界が検査される。ブロック境界全体における強度傾きの平均二乗差の和を検査する適切な不連続部検出手法が、ミナミ及びＡ．ザクホー、"An optimization approach for removing blocking effects in transform coding"（変換符号化におけるブロッキングの影響を除去するための最適化手法）、IEEE Trans. Circuits Systems for Video Technology, Vol. 5, No. 2, pp.74-82, April 1995において説明されており、該文献の全内容は、本明細書において参照されることによって本明細書に組み入れられている。この手法では、ブロック境界の両側における傾きが同一であり、さらに突然の傾きの変化は量子化に起因すると仮定している。

方程式（１）において、D_RT（又はD_NT）値は、映像シーケンス内の全フレームに関するD_RS（又はD_NS）の分散に基づく［０，１］の範囲内の割り当てられた点数であると定義される。この方法により、映像忠実度、空間的知覚品質、及び時間的知覚品質に関する項が正規化され、制御可能な映像品質測定値を形成するために重み付けパラメータα、β及びγによってブリッジすることができる。これらの重み付けパラメータの選択は、ユーザーに依存し、これらのユーザーの要求及び期待に基づく。繰り返しになるが、この測定値は、ビット割当てプロセスを好ましい主観的知覚の方向に偏らせるための入力として役立つことができる。従って、ユーザーは、ＲＯＩ符号化において視覚的により感じの良い結果を達成させることができる。

ビット割当てモジュール４８は、フレームに関するＲＯＩ定義及び速度バジェットの両方を得る。ＲＯＩ定義は、ＲＯＩ内にあるＭＢ又はその他の映像ブロックを識別するＲＯＩ ＭＢマップの形をとることができる。速度バジェットは、ＲＯＩエリア及び非ＲＯＩエリアを含むフレーム全体を符号化するために利用可能なビット数を提供する。さらに、ビット割当てモジュール４８は、ＲＯＩと非ＲＯＩとの間でのビット割当てを偏らせるＲＯＩ重みw_iをＲＯＩ重み計算器４６から得る。スキップモードを指示することで、ビット割当てモジュール４８は、すべての利用可能なビットをＲＯＩ専用にする（非ＲＯＩフレームのスキップをＯＮにする）ことが可能であるかどうか又はＲＯＩと非ＲＯＩとの間でビットを分配（非ＲＯＩフレームのスキップをＯＦＦに）しなければならないかどうかを決定することができる。

ビット割当てモジュール４８は、ＲＯＩの定義、フレーム速度バジェット、重みw_i、及び非ＲＯＩスキップモードを用いて、ＲＯＩ ＭＢと非ＲＯＩ ＭＢとの間におけるビットの重み付きρ領域割当てを生成する。ρ領域ビット割当てが決定された時点で、マッパー５６は、映像符号器５８に適用するためのＭＢ ＱＰ値を提供するためにＱＰへのρのマッピングを行う。マッパー５６は、ＱＰマッピングテーブルに対して、又は特定のρに関するＱＰを生成する方程式又は関数に対してρを適用することができる。映像符号器５８は、ビット割当てモジュール４８及びマッパー５６によって提供されたＱＰ値を用いて、該当する映像フレーム内の個々のＲＯＩ及び非ＲＯＩ ＭＢを符号化する。その結果得られたビット割当ては、該当する映像フレームだけでなく、非ＲＯＩのスキップの利用可能性及び映像シーケンス内の先行フレームと関連する品質測定基準も考慮に入れることができる。以下ではビット割当てモジュール４８の動作がさらに詳細に説明される。

本開示において説明されるビット割当て技術は、一般的には、十分なＲＯＩの検出又は定義を利用可能であること、及び受け入れ可能なフレームレベル速度制御を利用可能であることを想定している。この想定に基づいて、ビット割当て技術は、一般的には、ＲＯＩ ＭＢと非ＲＯＩ ＭＢとの間におけるＭＢレベルの速度制御に焦点を合わせている。ほとんどの従来のＲＯＩビット割当てアルゴリズムは、ＩＴＵ Ｈ．２６３＋ＴＭＮ８モデルの重み付きバージョンに基づいており、コスト関数が生成され、一組の予め設定された重みを用いることによって前記関数内の様々な領域に関する歪み成分が別々に処理される。ＴＭＮ８は、その他の映像基準のほとんどと同様に、ＱＰの関数を用いて速度と歪みのモデルを作成するＱＰ領域速度制御方式を用いる。しかしながら、本開示において説明されるビット割当て技術は、ρ領域速度制御モジュールを利用し、ここでρは、映像符号化におけるＭＢ内のゼロ以外の量子化されたＡＣ係数の数を表す。本明細書において説明されるように、ρ領域ビット割当てを使用することは、ＱＰ領域速度制御よりも正確になる傾向があり、速度変動を有効に低減させることができる。

映像符号化用途において、典型的問題は、映像シーケンスに関する所定のビットバジェットを用いて歪み値D_sequenceを最小にすることである。この複雑な問題に関する最適な解決方法は、最適なフレームレベル速度制御アルゴリズム及び最適なマクロブロックレベルビット割当て方式に依存する。しかしながら、現在のフレームを符号化時に利用可能な将来のフレームに関する情報が非常に限定されているリアルタイム用途、例えばビデオテレフォニー、に関しては、最適なフレームレベル速度制御を追求するのは現実的でなく実行可能でもない。典型的には、人気のある速度制御アルゴリズム（「貪欲」アルゴリズム）が適用される。貪欲アルゴリズムは、映像コンテンツの複雑さが映像シーケンス内のフレーム全体にわたって一様に分散されていると仮定する。この仮定に基づき、貪欲アルゴリズムは、利用可能なビットの一部分を映像シーケンス内のフレームの各々に割り当てる。リアルタイム用途においては、将来のフレーム情報の利用可能性が限定されていることは、速度制御において時間的品質を考慮することを困難にする。

本開示においては、実践的な解決方法を見つけ出すため及びビット割当て問題を単純化するため、一般的には、良好なフレームレベル制御を利用可能であることが仮定されている。この仮定は、ビット割当て問題をマクロブロックレベルのビット割当てにまで縮小する。同時に、ビット割当て方式は、非ＲＯＩスキップ手法を利用することができる。非ＲＯＩスキップは、スキップされた領域が前のフレームのスキップされた領域と同じ知覚上の品質を呈するため、時間的歪み項D_NT(ｆ^~ ₁,…,ｆ^~ _M)の値を小さくする機会を増大させる。従って、非ＲＯＩエリアのスキップは、連続するフレーム間における知覚上の品質の変動を小さくすることができる。

例示する目的上、方程式（１）に従って映像フレームの画質が評価される。しかしながら、説明を単純化するため、β及びγは、β+γ=1になるように設定される。所定のフレームｆに関する総ビットバジェットをR_budget、フレームを符号化するためのビットレートをＲで表すと、問題は以下の関数によって表すことができる。

従って、R ≦ R_budget
上記の最適化問題は、ラグランジュ緩和及び動的プログラミングによって解決することが可能である。しかしながら、該手法の演算上の複雑さは、リアルタイムシステムが耐えることが可能な複雑さよりもはるかに複雑になる可能性がある。従って、本開示により、複雑さが小さくほぼ最適な解決方法が好まれる。特に、本開示においては、ρ領域内における２段階式ビット割当てアルゴリズムが適用される。第１の段階は、以下の最適化問題を含む。

方程式（４）に関する最適な符号化パラメータが得られた後は、第２の段階は、符号化パラメータを繰り返し調整し、ローカル最低値に達するまで項αD_RS(ｆ^~) + (1−α)D_NS(ｆ^~)を約分する。この２段階式アルゴリズムの結果は、βが相対的に大きい数であるときに最適な解法に非常に近い解法になることができる。β = 1であるときには、問題（３）及び（４）は同一である。本開示においては、第１の段階及び問題（４）の解法に焦点が合わせられる。

ＲＯＩ映像符号化においては、Ｎは、フレーム内のＭＢ数であり、{ρ_i}、{σ_i}、{R_i}及び{D_i}は、ｉ番目のマクロブロックに関するρ、標準偏差、速度および歪み（二乗誤差の和）の組である。従って、

である。フレーム内の全ＭＢに関して一組の重み{w_i}が以下のように定義される。

ここで、Ｋは、ＲＯＩ内のＭＢ数である。方程式（５）は、例えばＲＯＩ重み計算器４６によって実装することができる。従って、フレームの重み付き歪みは以下の式になる。

ゆえに、問題（４）は以下のように書き換えることができる。

方程式（７）は、モデル作成に基づくビット割当て手法を用いて解かれる。自然画像のＡＣ係数の分布は、ラプラシアン分布

によって最良の概算値を求めることができる。従って、ｉ番目のマクロブロックの速度および歪みは、以下の方程式（８）及び（９）においてρの関数としてモデル化することができる。

例えば、速度は以下の式で表すことができる。

ここで、Ａ及びＢは、一定のモデル作成パラメータであり、Ａは、ゼロ以外の係数を符号化するために必要な平均ビット数であると考えることができ、Ｂは、非テクスチャ情報に起因するビットであると考えることができる。

さらに、歪みは以下の式で表すことができる。

ここで、θは、未知の定数であり、σは、残存データの標準偏差である。ここで、選択されたρ_iから受け入れ可能な量子化器を生成するために利用可能な十分に正確なρ−QΡテーブルが存在すると仮定されているため、ビット割当て技術は、量子化器の代わりにρiを最適化する。一般的には、方程式（７）は、制約された問題が以下の式に従って制約されていない問題に変換されるラグランジュ緩和を用いることによって解くことができる。

ここで、λ*は、

を可能にする解である。方程式（１０）において偏導関数をゼロに設定することによって、最適化されたρ_iに関する以下の式が得られる。

すなわち、

ゆえに、

及び、

他方、

であるため、以下の関係が成り立つ。

方程式（１４）及び（１６）から、ビット割当てモデルＩが以下の式に従って得られる。

結果的に得られたρは、対応するＱＰにマッピングされ、該当する符号化ビット数を各々のＲＯＩまたは非ＲＯＩ ＭＢに割り当てるために用いられる。

代替の歪みモデルを用いて他のビット割当てモデル（ビット割当てモデルＩＩ）を得ることができる。代替の歪みモデルにより、ステップサイズqを有する一様な量子化器を利用可能であると仮定すると、量子化に起因する歪みは、以下の式によって与えられ、

ゼロの割合は以下の式によって与えられる。

ゆえに、

シャノンの情報源符号化定理により、Ｔ．Ｍ．カバー及びＪ．Ａ．トーマス"Elements of information theory"（情報要素理論）, Wiley, New York, NY, 1991において説明されるように、ラプラシアンソースに関しては、シンボルを表すために必要な最小ビット数は以下の式によって与えられる。

従って、

であり、ここで３８４は、４：２：０映像に関するｉ番目のマクロブロックにおける係数の総数であるため、方程式（２１）は、テイラー展開を用いることによって展開することができ、ビットレートとρの間の関係は、以下の式によって概算することができる。

ここで、Ａ及びＢは、一定のモデル作成パラメータであり、Ａは、ゼロ以外の係数を符号化するために必要な平均ビット数であると考えることができ、Ｂは、非テクスチャ情報に起因するビットであると考えることができる。

さらに、係数の分散は以下の式のよって表される。

その結果、ｉ番目のマクロブロックの歪みは、以下の式によって表すことができる。

ビット割当てモデルＩの導出における場合のように、最適なビット割当て方式は、最適化問題（７）、すなわち以下の問題、を解くことによって達成させることができる。

一般的には、方程式（２５）は、制約問題が以下の式に従って非制約問題に変換されるラグランジュ緩和を用いて解くことができる。

ここで、λ*は、

を可能にする解である。方程式（２６）において偏導関数をゼロに設定することによって最適化されたρ_iに関する以下の式が得られる。

すなわち、

ゆえに、

他方、次式であるため、

ゆえに、

方程式（２８）及び（３０）から、以下の式が得られる。

ここで、ρ_budgetは、フレームに関する総ρバジェットである。

歪みは、方程式（３２）において別々にモデル化されるが、該モデルに基づき、以下のビット割当てモデルＩＩが得られる。

方程式（３３）は、例えばビット割当てモジュール４８によって実装することができる。

映像フレームの非ＲＯＩエリアの符号化をスキップできることは、ビット割当ての有意な節約を行うことが可能になる。非ＲＯＩエリアが符号化されない、すなわちスキップされる場合は、スキップされない場合に非ＲＯＩに対して割り当てられるビットは、現在のフレームまたは将来のフレームのＲＯＩを符号化するために割り当てることによってＲＯＩ内のＭＢの視覚上の品質を向上させることができる。所定のフレームに関して非ＲＯＩがスキップされる場合は、先行フレームに関して符号化された非ＲＯＩが繰り返されるか又は現在のフレーム内の内挿された非ＲＯＩエリアに代えられる。非ＲＯＩエリアのスキップは、ＲＯＩ符号化のためにビットを保存することに加えて、現在のフレームの時間上の品質を向上させることができる。特に、２つ以上の連続するフレームにおいて同じ非ＲＯＩエリアを提示することは、非ＲＯＩエリア内における時間的ちらつきを低減させる傾向がある。

非常に低いビットレート、例えば３２ｋｂｐｓにおいては、非ＲＯＩ領域は、ビットがＭＢ間で一様に分布されている場合でさえも通常は粗く符号化され、ちらつき等の時間的な視覚上の品質問題が顕著になる。他方、背景が非ＲＯＩであるビデオテレフォニー用途のほとんどの場合においては、背景における動きは非常に限定されている。従って、映像忠実度を大幅に低下させない限りにおいて、背景をスキップすることが、ＲＯＩ領域及び符号化された非ＲＯＩ領域の品質を向上させるためにビットを再割り当てする上での解決方法となる。

超低ビットレート用途においては、符号化ビットを保存するためにフレームをスキップすることが非常に一般的な手法である。非ＲＯＩのスキップとフレームのスキップとの間の相違点は、非ＲＯＩスキップ手法ではＲＯＩの良好な視覚上の品質を保証するために各フレームに関するＲＯＩが符号化されることである。フレームのスキップは、多くの用途において非常に有用である。しかしながら、ＲＯＩ映像符号化においては、ＲＯＩの歪みが大きな影響を受けて全体的な性能を低下させる可能性があるため、特に方程式（１）においてαが大きい値に設定されているときには、フレームのスキップは顔の表情等の重要情報を失わせる危険性がある。従って、通常の映像フレームにおいては背景ＭＢの数が圧倒的であるため、非ＲＯＩをスキップするほうがより良い選択肢であり、一般的にはＲＯＩの品質を向上させるための有意な数のビットを節約することができる。

本開示は、コンテンツ適応型非ＲＯＩスキップ技術を企図している。さらに、本開示は、代替の「ユニットに基づく」非ＲＯＩスキップ技術を企図しており、以下ではコンテンツ適応型非ＲＯＩスキップ技術との比較を目的として該技術が詳細に説明される。ユニットに基づく非ＲＯＩスキップ技術は、連続するフレームを、該フレームに関するＲＯＩエリアと該フレーム間で共有される共通の非ＲＯＩエリアを含むユニットにグループ分けすることを含む。特に、２つの連続するフレームが１つのグループに分けられる。非ＲＯＩ背景スキップモジュール５０は、ユニットに基づく非ＲＯＩスキップ技術を用いるように構成されているときには、フレームｉ及びｉ＋１をフレームユニットにグループ分けし、非ＲＯＩエリアがスキップされるフレームを映像符号器５８に通知する。映像符号器５８は、前記通知に応じて、ビット割当てモジュール４８によって提供された重み付きビット割当てを用いて、フレームｉ及びｉ＋１の各々のＲＯＩエリアを符号化する。さらに、映像符号器５８は、重み付きビット割当てを用いてフレームｉの非ＲＯＩエリアを符号化する。しかしながら、映像符号器５８は、フレームｉ＋１の非ＲＯＩエリアは符号化しない。代わりに、フレームｉ＋１の非ＲＯＩエリアはスキップされ、先行フレームｉの非ＲＯＩエリアがその代わりに提供される。スキップされた非ＲＯＩを定義するためにその他の技術、例えば前フレーム及び後続フレームの非ＲＯＩ間における内挿、を用いることができる。

ユニットに基づく非ＲＯＩスキップ技術は、常時で提供することができる。例えば、交互方式で非ＲＯＩを連続的に常時スキップするために２つのフレームずつを１つのユニットにグループ分けすることができる。換言すると、第２のフレームごとの非ＲＯＩを常時でスキップすることができる。代替として、ユニットに基づくスキップは、適応方式で起動及び停止させることができる。スキップは、前フレームによって生み出された非ＲＯＩ歪みが歪みしきい値を超えるときに停止させることができる。例えば、前フレームの非ＲＯＩエリア内の歪みがしきい値よりも小さい場合は、フレームｉ＋１に関する非ＲＯＩがスキップされ、プロセスは、フレーム増分１＝ｉ＋２によって表される次の２つの連続するフレームのグループに進む。この場合は、非ＲＯＩの歪みのレベルは受け入れ可能であり、スキップが起動される。しかしながら、非ＲＯＩ歪みが歪みしきい値よりも大きい場合は、フレームｉ＋１の非ＲＯＩエリアが重み付きビット割当てを用いて符号化される。この場合は、非ＲＯＩの過度の歪み、すなわち、該当する映像シーンの非ＲＯＩエリア内における過度の歪み、に起因してスキップが停止される。

ユニットに基づく非ＲＯＩスキップの一例として、フレーム０、１、２及び３は、映像シーケンス内の連続するフレームを表す。この例においては、フレーム０及びフレーム１は、ユニット１にグループ分けされ、フレーム２及び３は、ユニット２にグループ分けされる。各ユニットは、共通の非ＲＯＩエリアを共有する。特に、常時スキップ又は受入可能な歪みによる適応型スキップの場合は、フレーム０の非ＲＯＩエリアがフレーム１に関して繰り返される。フレーム０の非ＲＯＩエリアはフレーム１に関して繰り返されるため、フレーム１の非ＲＯＩエリアは符号化する必要がない。フレームをユニットにグループ分けすることは、映像シーケンス全体を通じて適用することができる。例えば、２つのフレームが１つのユニットにグループ分けされる。しかしながら、幾つかの用途においては、２つ以上のフレームを１つのユニットにグループ分けすることができ、非ＲＯＩはユニット内のフレームのうちの１つ以外のすべてにおいてスキップされる。

連続するフレーム０及び１をユニットにグループ分けした時点で、フレーム０及び１内のＲＯＩエリアが各々符号化される。しかしながら、フレーム０の非ＲＯＩエリアはフレーム０及びフレーム１の両方に関して繰り返され、このためフレーム１に関する非ＲＯＩがスキップされる。この方法により、本来であればフレーム１の非ＲＯＩを符号化するために要求されるビット消費を回避することができる。この例においては、非ＲＯＩエリアは「背景」と呼ばれるが、人の肩、等の前景の造作を含むことができる。従って、背景は、本開示においてはＲＯＩ外のあらゆるエリアを指すことを目的として一般的用いられており、映像シーン内の背景画像に厳密に限定されるとはみなすべきでない。以下において非ＲＯＩのスキップがさらに詳細に説明される。

今度は、ユニットに基づく非ＲＯＩスキップ技術を実装するための典型的原型システムが説明される。原型システムにおいては、上述されるように２つのフレームごとに１つのユニットにグループ分けされる。各ユニットにおいては、例えばゼロの動きベクトルを有する予測ＭＢを用いて、第１の非ＲＯＩエリアが符号化され、第２の非ＲＯＩエリアがスキップされる。各ユニットに関するビット割当ては、シーケンス内の映像フレームのコンテンツの複雑さがフレーム全体にわたって一様に分散されていると仮定し、「貪欲な」フレームレベルのビット割当てと同じ論理に基づくことができる。この仮定により、以下の式のように２つのフレームユニット間で均一にビットを割り当てるべきである。

ここで、ρ_sequenceは、映像シーケンス内のＭの連続フレームのグループに関する総ρバジェットであり、ρ_{unit i}は、ｉ番目のユニットに関するρ割当てであり、ρ_usedは、第１の(i−1)/2のユニットのρ消費である。ユニット内においては、ＲＯＩエリア及び非ＲＯＩエリア内のＭＢにビットを割り当てるためにどちらかのビット割当てモデル（Ｉ又はＩＩ）を用いることができる。

ユニットに基づく非ＲＯＩスキップを用いる場合と用いない場合における重み付きビット割当てによって生み出された歪みは、以下に示されるように、明示で比較することができる。

ここで、D_{Skip_on}は、非ＲＯＩスキップモードがオンのときのユニット総歪みであり、D_{Skip_off}は、背景スキップがオフのときのユニット総歪みであり、D_{NonROI_skip}は、ユニットの第２のフレーム内の非ＲＯＩをスキップすることに起因する歪みであり、方程式（３５）内のρ₁及びρ₂及び方程式（３６）内のρ₁'、ρ₂'及びρ₃'は、ＲＯＩ及び非ＲＯＩに対して割り当てられたＡＣ係数の数である。

方程式（３５）及び（３６）から、一般的には以下の式が成り立つため、

である場合のみに

が成り立つことがわかる。

上記の観察結果に基づき、ユニットに基づく非ＲＯＩスキップモードをオン及びオフにするための基準を追求する作業は、D_{NonROI_skip}の歪みに関するしきい値を探す作業に変換される。映像シーケンス内のユニット歪みは平滑な形で変化し、このことは一般的に当てはまると仮定され、従って、直近に処理されたユニット歪みの平均値を、歪みしきい値を導き出すために用いることができる。直近のｎのユニットの平均歪みを

とした場合、（３５）及び（３６）に基づき、

が成り立つ場合は、

にすることが非常に可能である。換言すると、ユニットに基づく非ＲＯＩスキップをオフにする判定基準は、

として指定することができる。この判定基準は、適応型非ＲＯＩスキップアルゴリズムの基礎とすることができる。

適応型のユニットに基づく非ＲＯＩスキップアルゴリズムは、さらに以下のように説明することができる。

ステップ０： データを初期設定し、D⁻ _n = 0、スキップモード = ONに設定する。

ステップ１： 方程式（３３）を用いて現在のユニット（２つの連続するフレームF_n及びF_n+1のグループ）に関するρバジェットを割り当てる。

ステップ２： 現在のユニット内において、方程式（３３）によって各マクロブロックに関するビットを割り当てる。スキップモードがＯＮの場合は、ユニット内の第２のフレームに関する非ＲＯＩに関してはビットが割り当てられない。

ステップ３： 現在のユニットに関する歪みが得られた後に、

を更新する。ここで、ηは、学習係数であり、[0, 1]の範囲内にある。

ステップ４： 次のユニットに関するデータを入手する。このユニットが最後のユニットである場合は、ステップ６に進む。

ステップ５： 新しいユニット（次の２つのフレームF_n+2及びF_n+3のグループ）に関するD_{NonROI_skip}の歪みを計算する。

である場合は、スキップモードをＯＦＦにする。その他の場合は、スキップモードをＯＮにする。ステップ１に戻る。
ステップ６： 適応型のユニットに基づくスキップアルゴリズムを終了させる。

この場合も、適応型のユニットに基づく非ＲＯＩスキップアルゴリズムは、本明細書において説明されるコンテンツ適応型非ＲＯＩスキップ技術に関する比較点を提供する。以下では、コンテンツ適応型非ＲＯＩスキップ技術がさらに詳細に説明される。コンテンツ適応型非ＲＯＩスキップ技術は、ρ領域フレームレベル速度制御アルゴリズムとともに、フレームごとの処理シーケンスにおいて用いることができる。パラメータρは、映像符号化におけるマクロブロック内のゼロ以外の量子化されたＡＣ係数の数を表す。コンテンツ適応型非ＲＯＩスキップ技術は、本明細書において説明されるように、重み付きマクロブロックレベルビット割当てアルゴリズムとともに用いることができる。

フレームがフェッチされたときに、フレームレベル速度コントローラ５４（図４）は、速度制御ウィンドー内の残りのビット及びフレーム数に基づき、貪欲フレームレベル速度制御アルゴリズムを用いてフレームに関する目標ρバジェットを割り当てる。貪欲モデルは、速度制御ウィンドー内の映像フレームのコンテンツの複雑さが一様に分散されているという仮定に基づいており、従って、残りのフレームで均一にビットを割り当てるべきである。目標ρバジェットがフレームに関して確立された後は、ＲＯＩ ＭＢマッパー５２は、フレームのＲＯＩを検出又は追跡し、フレーム内のＭＢをＲＯＩマクロブロック及び非ＲＯＩマクロブロックに分類する。

映像符号器５８は、現在のフレーム内の全ＭＢに関する動き推定を行う。得られた動き情報は、コンテンツ適応型非ＲＯＩスキップモード決定におけるコンテンツキューの一部として用いることができる。非ＲＯＩスキップモード決定が行われた時点で、バジェット調整モジュール６１は、現在のフレームに関するρ領域バジェットR_BUDGETを調整する。次に、ビット割当てモジュール４８は、調整されたバジェットを用いて優先的ＲＯＩ符号化に関するＭＢレベルビット割当てを提供する。これで、ＤＣＴ変換、量子化及びエントロピー符号化を行うことができる。

ユニットに基づく非ＲＯＩスキップに関しては、非ＲＯＩスキップのモードは、スキップされた非ＲＯＩエリアに起因する累積歪みによって決定される。対照的に、コンテンツ適応型非ＲＯＩスキップに関しては、背景活動及び前景活動等のコンテンツ情報が考慮に入れられる。コンテンツ適応型非ＲＯＩスキップに関しては、２つのフィルタF({x_n}, M, Th)及びG({x_n}, M, Th)が定義され、ここで、{x_n}は、一組の実数であり、x_nはn番目の項、Mは整数、Thは[0, 1]の範囲内のしきい値である。

及び

フィルタ（３７）は、現在値x_nが最上位置（Th*100%の項目よりも上方）にある場合にローカルウィンドー（固定長Ｍ）内において検出する。フィルタ（３８）は、x_n−Mからx_nまでの増加がTh*100%超である場合に検出する。コンテンツ適応型非ＲＯＩスキップモジュール５０は、スキップモード決定に対して間接的な影響を与える映像コンテンツ状態又は状態の変化を検出するためにフィルタ（３７）及び（３８）を適用するように構成される。

フレーム（又は最近のフレーム）内の合計された及び平均された動きベクトルの値は、フレームの動きを表すために用いることができる。動きがそれよりも高いときには、可能性があるコンテンツ遷移情報を保護するために非ＲＯＩ符号化のスキップがより低い頻度で起動されるべきである。ＲＯＩ映像符号化においては、ＲＯＩ及び非ＲＯＩ（背景）の両活動を考慮することができる。非ＲＯＩエリアにおいて大量の活動が生じるときには、上述されるように、非ＲＯＩスキップ頻度を下げるべきである。他方、ＲＯＩが大量の活動を含むときには、非ＲＯＩエリアをスキップすることは、ＲＯＩを符号化するためにより多くのビットを再度割り当てる上で有用である。

「活動」という表現は、動きのローカルな活動、及び形状のグローバルな活動を指す。動き活動は、結果的に目及び唇等の顔の要素の相対的動きとなる、フレームごとに変化する顔の表情である。形状活動は、結果的に形状の変化が生じることになる、フレーム間における人の頭又は他のオブジェクトの傾きであり、考慮すべき該当活動は、ＲＯＩ内においては形状の変形又は動きとして、非ＲＯＩ内においてはテクスチャの動きの複雑さとして生じる。非ＲＯＩスキップ決定においては、非ＲＯＩスキップに起因する累積歪みが考慮される。

非ＲＯＩ活動量を値{X_n}とし、フレームシーケンスに関するＲＯＩ活動量を{ζ_n}とすると以下の式のようになる。

ここで、MVxi及びMVyiは、ｎ番目のフレーム内のｉ番目のマクロブロックの動きベクトルのｘ成分及びｙ成分であり、さらに以下の式のようになる。

ここで、{μ_n}は、ＲＯＩ形状変形率であり、{k_n}はＲＯＩローカル動き率である。

μ_n = (n−1)番目及びn番目のフレームのROIの非重複領域における画素数
n番目のフレームのＲＯＩ内画素数

及び

{μ_n}はオブジェクトの動き／回転及び形状の変形等のグローバルな活動度を表し、{k_n}は顔の表情の変化等のローカルな活動を表すため、値{ζ_n}はＲＯＩ活動度を表すことができる。

図５は、映像シーンのＲＯＩ内において示されるオブジェクトに関するオブジェクトの動き／回転及び形状変形の変化を示す。特に、図５のフレーム０及び１内に描かれた人の頭は、その位置を有意な量だけ変化させる。図６は、映像シーンのＲＯＩ内の人に関する顔の表情の変化を示す。特に、フレーム０及び１において描かれた人の口が実質的に閉じた位置から大きく開いた位置に移行する。従って、図５及び６は、映像シーンのＲＯＩ内における大きな活動の事例を表す。

値{σ² _Bn}は、フレームシーケンスに関するフレーム当たりの非ＲＯＩの残りの総エネルギーを表す。この値は、スキップされた非ＲＯＩに起因する歪みでもある。スキップモード決定は以下の式に従って表すことが可能である。

ここで、Th_σ、M₁、Th_x1、Th_x2、M₂及びTh_ζ1は、ユーザーによって定義されたしきい値及びローカルウィンドーの大きさであり、p−1は、背景をスキップした現在のフレームの連続する先行フレームの数である。換言すると、(n−p)番目のフレームが非ＲＯＩエリアを符号化したが、(n−p+1)番目、(n−p+2)番目、…及び(n−1)番目のフレームは、非ＲＯＩエリアの符号化をスキップした。値S_n = 1のときは、現在のフレームの非ＲＯＩエリアの符号化がスキップされ、その他の場合は非ＲＯＩエリアが符号化される。方程式（４３）から、非ＲＯＩスキップモジュール５０は、ＲＯＩ活動量が急増時又はＲＯＩが大量の動きを含むときに背景をスキップするのを選択することがわかる。他方、非ＲＯＩが大量の動きを含むか又はその他のフレーム内におけるスキップされた非ＲＯＩエリアに起因する累積歪みがかなり大きい場合は、非ＲＯＩエリアが符号化される。

図７は、コンテンツ適応型非ＲＯＩスキップに関する技術を例示する流れ図である。図７において示されるように、非ＲＯＩスキッププロセスが初期設定された時点で（６２）、フレームレベル速度コントローラ５４は、フレームレベルρバジェットを推定する（６４）。次のフレームをフェッチした時点で（６６）、ＲＯＩ ＭＢマッパー５２は、フレームに関して指定されたＲＯＩを検出又は追跡する（６８）。次に、映像符号器５８は、フレーム内の全ＭＢに関する動きを推定する（７０）。フェッチされたフレームがシーケンス内の最初の２つのフレームのうちの１つである場合は、ビット割当てモジュール４８は、ＭＢレベルのビット割当てを適用する（７８）。フェッチされたフレームが最初の２つのフレームのうちの１つでない場合は（７２）、非ＲＯＩスキップモジュール５０は、フレームの非ＲＯＩに関するスキップモードを決定する（７４）。次に、バジェット調整モジュール６１は、非ＲＯＩスキップモジュール５０によって決定されたスキップモードに基づいてフレームレベルρバジェットを調整する（７６）。

非ＲＯＩがスキップされる場合は、フレーム又は後続フレーム内のＲＯＩが追加の符号化ビットを利用できるようにフレームレベルρバジェットを調整することができる。フレームレベルρバジェットを調整した時点で（７６）、ビット割当てモジュール４８は、フレームのＲＯＩを優先的に符号化するためにＭＢレベルのビット割当てを適用する（７８）。次に、映像符号器５８は、ビット割当てを用いてフレーム内のＭＢを符号化する（８０）。フレーム内の最後のＭＢに達していない場合は（８２）、プロセスは、ブロック８２のＮＯ分岐による指示に従って繰り返す。最後のＭＢに達している（８２）が映像シーケンス又はフレームレベル速度制御ウィンドー内の最後のフレームに達していない場合は（８４）、新しいフレームレベルρバジェットが推定され（６４）、次のフレームがフェッチされる（６６）。最後のフレーム（８４）の最後のＭＢ（８２）に達している場合は、プロセスは終了する（８６）。

図７の例においては、フレームレベルρバジェット推定（６４）は、フレーム全体が符号化されるという仮定に基づいて行うことができる。しかしながら、映像フレームのシーケンス内の幾つかの非ＲＯＩエリアがスキップされるため、フレームレベルρ領域バジェットの調整（７６）が必要である。本開示においては、３つの異なるフレームレベルρバジェット調整戦略、すなわち、（１）「貪欲な」戦略、（２）「銀行家」戦略、及び（３）「投資家」戦略が考慮される。

「貪欲な」フレームレベル速度制御戦略は、単に、非ＲＯＩスキップモードがＯＮのときにフレーム内のＲＯＩエリア及び非ＲＯＩエリアのテクスチャの複雑さに基づいてフレームレベルρバジェットを減らし、非ＲＯＩスキップモードがＯＦＦの場合、すなわち、フレームに関する非ＲＯＩエリアが符号化される場合は何もしない。

「銀行家」フレームレベル速度制御戦略は、非ＲＯＩスキップモードがＯＮのときにρバジェッを減らすが、これらの節約されたρを将来のフレームのために保存する。フレームの非ＲＯＩエリアが符号化される場合は、フレームは、非ＲＯＩエリアがスキップされた以前のフレームから節約されたすべてのρを得る。

「投資家」戦略は、映像シーケンス内の以前のフレームに関する前の非ＲＯＩスキップ歴の統計値及びパターンに基づいて将来のスキップイベントを推定し、次に該推定に基づいてρバジェットを決定する。以上のように、バジェットは、現在のフレーム及びその他のフレームに関する来歴的及び予測的なスキップ統計値に基づく。

フレームレベル速度制御戦略の各々は、フレームレベル速度制御コントローラ５４によって生成されたρ領域値R_BUDGETを調整するためにバジェット調整モジュール６１内に実装することができる。ビット割当てモジュール４８は、調整されたR_BUDGET値を用いて、ＲＯＩと非ＲＯＩエリアとの間で符号化ビットを割り当てる（該当フレームに関してスキップがＯＦＦの場合）。

値{ρ_n ^budget}は、フレームレベル速度コントローラから得られたρバジェットを表し、{ρ_n ^adjusted}は、調整されたρバジェットを表し、ｎは、現在のフレームのインデックスを表す。貪欲な戦略、銀行家戦略及び投資家戦略のさらなる詳細が以下において説明される。

１．貪欲な戦略 この戦略を用いたρ_n ^adjustedは、以下の式によって計算することができる。

ここで、σ_iは、現在のフレーム内のｉ番目のマクロブロックのＤＣＴ係数の標準偏差を表し、w_iは、ビット割当てモジュール４８によって行われるマクロブロックレベルの重み付きビット割当てにおけるマクロブロックに関する関連する重みである。

方程式（４４）は、方程式（３３）の拡張である。方程式（３３）において、ＲＯＩ知覚的重要度係数αは、ＲＯＩエリア及び非ＲＯＩエリアの歪みをブリッジしてフレームに関する重み付き歪み測定値を形成するように定義される。従って、知覚的ピーク信号・雑音比（ＰＳＮＲ）は、以下のように定義される。

ここで、ｆ及びｆ^~は、原フレーム及び再構築されたフレームであり、D_R及びD_NRは、ＲＯＩエリア及び非ＲＯＩエリアの正規化された画素当たりの歪みである。上記の方程式（５）において上述されるように、ρ領域ビット割当てに従った重みw_iは以下のように定義される。

ここで、Ｋは、ＲＯＩ内のマクロブロック数であり、Ｎは、フレーム内のマクロブロック数である。

２．銀行家戦略 この戦略は、伝統的な銀行業務に類似する控え目な手法であり、顧客は、自己の口座の総預金額のうちの最高額を引き出すことができる。この場合、非ＲＯＩをスキップすることによってフレーム内のρを節約することは、非ＲＯＩエリアを符号化する最も近い将来のフレームのために資源を預託することに類似する。この場合は、調整されたρバジェットR_BUDGETに関する計算は以下の式によって行うことができる。

ここで、p−1は、非ＲＯＩエリアをスキップした現在のフレームの連続する先行フレーム数であり、(n−p)番目のフレームはその非ＲＯＩエリアを符号化する。

３．投資家戦略 投資家戦略は、将来起こりうるスキップイベントが予測されてその予測に基づいて資源が割り当てられるより積極的な手法である。この場合は、非ＲＯＩスキップがＯＮである将来のフレームが現在のフレームと同じＲＯＩの複雑さを有すると仮定される。従って、現在のフレームの後にはスキップされた非ＲＯＩエリアを有するqのフレームが続くと推定された時点で、調整されたρバジェットを以下の式によって計算することができる。

方程式（４７）において、投資家戦略は、一連の最初のフレーム、例えば映像シーケンス内の最初の５０フレーム、に関しては銀行家戦略とまったく同じに機能する。この期間においては、将来のq推定のための統計値が収集される。n>50及びS_n=0である場合は、前回のρの節約及び非ＲＯＩのスキップに起因する予測される将来の節約を考慮した平均値がρに割り当てられる。

ｑ値は、様々な予測法によって決定することができる。一例として、ベイジアンモデルを用いてｑ値予測問題をマルチクラス分類問題に変換することができる。この場合は、クラスは、ｑのすべての可能性によって表され、例えば、ｑが６未満に限定される場合はクラス０、１、２、３、４、５である。分類決定を行う際に用いられる機能ベクトルは、x_n = (X_n, ζ_n, σ_Bn ²)である。前述されるように、値{σ_Bn ²}は、フレームシーケンスに関する１つのフレーム当たりの非ＲＯＩの残りの総エネルギーを表す。ベイジアンモデルは、最初のフレームから得られた統計値から学習し、スキップする／スキップしない決定を利用して後続フレームに関してより良いρ割当てを行う。X_n, ζ_n,及びσ_Bn ²に関するしきい値を定義することによって、{x_n}のスペースを８つのクラス{y_n}(y_n=0, 1,…, 又は7)にマッピングすることができる。従って、検討対象となっている現在のフレームに関しては、ｑに関する最良の選択は、以下の確率を最大にする選択である。

方程式（４８）により、ｑに関する最良の選択は、P(y_n|q)P(q)を最大にするｑ値である。P(y_n|q)及びP(q)の確率は、以前に処理されたフレームの統計値に基づいてヒストグラム法によって得ることができる。H_q(y)の値が、機能ベクトルｙを有するスキップされた背景を持つｑのフレームに後続する符号化された背景を有するフレームカウント数を表すとすると、以下の式のようになり、

P(q)は、類似の手法によって得ることができる。

図８は、コンテンツ適応型非ＲＯＩスキップに関する技術をより詳細に示した流れ図である。特に、図８は、投資家戦略を用いた場合における非ＲＯＩスキップモジュール５０及びρバジェット調整モジュール６１の動作を示す。図８に示されるように、フレームアナライザ６０からフレーム情報を検索することで、非ＲＯＩスキップモジュール５０は、フレームのＲＯＩ内におけるコンテンツの活動が適用しきい値を超えるかどうかを決定する（９０）。繰り返しになるが、「活動」という表現は、一般的には、動き等のローカル活動、及び形状変形等のグローバル活動を指す。ＲＯＩコンテンツ活動がしきい値を超えている場合は、バジェット調整モジュール６１は、フレームに関する非ＲＯＩ符号化をスキップし（９１）、例えば非ＲＯＩスキップの結果として再取得された符号化ビット数に比例してρ領域フレームレベルバジェットR_BUDGETを再計算する（１００）。ＲＯＩコンテンツ活動がしきい値を超える場合は（９０）、ＲＯＩ内での活動は活発であり、ＲＯＩ内における受け入れ可能な視覚上の品質を保証するための符号化ビットの再割り当てを行うために非ＲＯＩのスキップを要求する。

ＲＯＩコンテンツ活動がしきい値を超えていない場合は（９０）、非ＲＯＩスキップモジュール５０は、フレームの非ＲＯＩエリア内におけるコンテンツ活動が該当するしきい値を超えているかどうかを決定する（９２）。非ＲＯＩエリア内におけるコンテンツ活動は、動き及びテクスチャの複雑さを含む。非ＲＯＩエリア内におけるコンテンツ活動が該当するしきい値を超えていない場合は、非ＲＯＩ符号化をスキップし（９１）、フレームレベルバジェットR_BUDGETの調整を後続させることができる。この場合は、非ＲＯＩ活動は相対的に鈍い。従って、非ＲＯＩの符号化をスキップすることは、非ＲＯＩエリア内の視覚上の品質を大きく損なうことはない。しかしながら、同時に、非ＲＯＩのスキップは、ＲＯＩ符号化を大きく援助することができる。

非ＲＯＩコンテンツ活動が活発で、該当するしきい値を超えている場合でも、映像シーケンス中において非ＲＯＩのスキップによって生じた総累積歪みが高くない場合は依然として非ＲＯＩエリアをスキップすることができる。従って、累積されたスキップ歪みが該当するしきい値を超えない場合は（９４）、非ＲＯＩ符号化は非ＲＯＩスキップモジュール５０によってスキップされ（９１）、バジェット調整モジュール６１によるフレームレベルバジェットR_BUDGETの再計算が後続される（１００）。非ＲＯＩスキップモジュールは、映像フレームの非ＲＯＩエリアの符号化をスキップするかどうかを、ＲＯＩのコンテンツ活動、非ＲＯＩエリアのコンテンツ活動、及び１つ以上のその他のフレーム内の非ＲＯＩエリアの符号化のスキップに起因する累積歪みに基づいて決定する。

累積されたスキップ歪みが高く（９４）、該当するしきい値を超えている場合は、非ＲＯＩスキップモジュール５０は、フレーム統計値を更新し（９６）、映像シーケンス内の将来のスキップされるフレーム数を予測する（９８）。この場合は、ＲＯＩと非ＲＯＩとの間のビット割当ては、非ＲＯＩのスキップを考慮せずに通常どおりに行われる。フレーム統計値は、例えば方程式（４７）乃至（４９）に関して投資家戦略について前述されるように、映像シーケンス内におけるスキップされたフレームの数及びパターンを表すことができる。バジェット調整モジュール６１は、例えばベイジアン分類を用いて、フレーム統計値に基づいて将来のスキップされるフレーム数を予測する（９８）。次に、バジェット調整モジュール６１は、該予測に基づいてフレームバジェットR_BUDGETを調整する（１００）。

図８に示されるように、非ＲＯＩスキップモードの決定は、動き又は形状変形等のＲＯＩコンテンツ活動、動き又はテクスチャの複雑さ等の非ＲＯＩコンテンツ活動、及び１つ以上のその他のフレーム内での非ＲＯＩのスキップに起因する累積歪みの解析を含むことができる。スキップモード決定は、図８においてはしきい値に基づく決定として描かれているが、ＲＯＩ活動対非ＲＯＩ活動対スキップに起因する累積歪みの均衡化に基づくことも可能である。さらに、フレームレベル速度制御は、ρ領域内において起きるとして説明されているが、本明細書において説明されるコンテンツ適応型非ＲＯＩスキップ技術は、ＱＰに基づく速度制御とともに採用することも可能である。従って、図８に示されるプロセスは典型例である。

図９は、異なるビット割当て戦略を用いた符号化技術の総合的な知覚上の品質を比較したグラフである。特に、図９は、ビット割当てに関する貪欲な戦略（１０２）、銀行家戦略（１０４）及び投資家戦略（１０６）を、標準的なカーフォンＱＣＩＦ映像試験シーケンスに関する単位がキロビット／秒（ｋｂｐｓ）の１つの範囲の符号化速度における単位がデシベル（ｄＢ）の知覚上のピーク信号・雑音比（ＰＳＮＲ）に基づいて比較する。図９の例においては、マクロブロックレベルビット割当てを目的とするユーザー優先度値αは、０．９である。図１０乃至１２に対しても同じα値が適用される。図９に示されるように、「投資家」戦略は、高い方のビットレートの最後の部分においては「銀行家」戦略よりもわずかに優れている。投資家戦略は、ｑを推定するためにさらなる計算上の複雑さを要求するが、繰り返しパターン又は自己相似性特性を有する映像シーケンスに関してより優れている。

毎秒１５フレーム（ｆｐｓ）のカーフォン及びフォアマンＱＣＩＦ映像試験シーケンスを用いた４つの異なる速度制御手法に関する実験結果が得られている。カーフォンシーケンス及びフォアマンシーケンスは、映像符号化技術の当業者によって用いられる標準的な試験シーケンスである。これらの４つの異なる速度制御手法は以下のとおりである。

１．貪欲 マクロブロックレベルの貪欲アルゴリズムであり、ビットが一様に分散された形でマクロブロックに割り当てられる。

２． フレームスキップ フレームスキップアルゴリズムであり、符号化中に１つおきにフレームをスキップする。

３． ユニットに基づく 本明細書において説明されるユニットに基づく非ＲＯＩスキップアルゴリズムであり、２つのフレームごとに１つのユニットにグループ分けし、各ユニット内の第２のフレームの背景をスキップする。

４．コンテンツ適応型 本明細書において説明されるコンテンツ適応型非ＲＯＩスキップアルゴリズムであり、非ＲＯＩをフレームごとにスキップすべきかどうかをフレームのコンテンツ及び累積歪みに基づいて動的に決定する。ビット割当てに関する「投資家」戦略が用いられた。

第１の実験は、標準的なカーフォン映像試験シーケンスに関して行われ、その結果が図１０及び１１に示されている。図１０は、カーフォン映像試験シーケンスに関してフレーム及び非ＲＯＩのスキップがある場合とない場合の異なるビット割当て戦略を用いて符号化技術の全体的な知覚上の品質を比較したグラフである。図１０においては、フレームスキップ、ユニットに基づく背景スキップ、貪欲な戦略、及びコンテンツ適応型（「提案手法」）に関する結果が、参照番号１０８、１１０、１１２、及び１１４によって各々特定されている。図１１は、４８Ｋｂｐｓの速度におけるカーフォン映像シーケンスに関する非ＲＯＩスキップ及びその他の技術に起因する歪みを示したグラフである。図１１において、貪欲な、ユニットに基づく背景スキップ、及び投資家戦略を用いたコンテンツ適応型（「提案手法」）が参照番号１１６、１１８及び１２０によって指定されている。図１０及び１１に示されるように、提案される手法、すなわち投資家戦略を用いたコンテンツ適応型非ＲＯＩスキップは、ビットレート範囲全体においてその他のすべての手法よりも優れていた。顕著なことに、性能利得は最高２ｄＢであった。

図１２は、他の典型的な映像シーケンス、すなわちα値が０．９の場合におけるフォアマンＱＣＩＦ映像試験シーケンスの最初の１８０フレームに関するフレーム及び非ＲＯＩのスキップがある場合とない場合の異なるビット割当て戦略を用いた符号化技術の全体的な知覚上の品質を比較したグラフである。図１２においては、フレームスキップ、ユニットに基づく背景スキップ、貪欲な戦略、及びコンテンツ適応型（「提案手法」）に関する結果が、参照番号１２２、１２４、１２６、及び１２８によって各々識別されている。図１２は、投資家戦略ビット割当てを伴ったコンテンツ適応型非ＲＯＩスキップ案がその他のアルゴリズムよりも有利であることを示す。

図１３は、α値が０．７の場合におけるカーフォン映像試験シーケンスに関するユニットに基づいた及びコンテンツに基づいた非ＲＯＩスキップを用いた符号化技術の全体的な知覚上の品質を比較したグラフである。図１４は、α値が０．７の場合におけるフォアマン映像シーケンスに関するユニットに基づいた及びコンテンツに基づいた非ＲＯＩスキップを用いた符号化技術の全体的な知覚上の品質を比較したグラフである。図１３及び１４においては、ユニットに基づく非ＲＯＩスキップ手法は参照番号１３０によって示され、コンテンツに基づく非ＲＯＩスキップ手法は参照番号１３２によって示されている。図示されるように、コンテンツに基づく非ＲＯＩスキップ手法は、ユニットに基づく手法よりも優れている。

本開示においては、例えば無線ビデオテレフォニーにおいて超低ビットレートが要求されるときにビデオテレフォニー又は映像ストリーミング用途に関するＲＯＩ符号化をサポートするための様々な技術が説明されている。本開示は、ＲＯＩ映像符号化がより良い性能を達成させるために例えばρ領域において異なる最適化された重み付きビット割当て方式とともに採用することができるコンテンツ適応型非ＲＯＩスキップ技術を提示する。コンテンツ適応型非ＲＯＩスキップ方式は、現在のフレームのコンテンツ情報、例えばＲＯＩエリア及び非ＲＯＩエリアのコンテンツ活動、及び以前に処理されたフレームの統計値、例えば１つ以上の以前のフレームにおける非ＲＯＩスキップに起因する累積歪み、に基づいて非ＲＯＩスキップモードを動的に決定する。さらに、様々なフレームの異なる領域におけるより良いビット割り当てに関する幾つかの戦略が説明されている。

本明細書において説明される技術は、ハードウェア内、ソフトウェア内、又はその組合せ内に実装することができる。ソフトウェア内に実装する場合は、これらの技術は、部分的には、実行された時に上述される方法のうちの１つ以上を実施する命令を含むプログラムコードを具備するコンピュータ読み取り可能媒体によって実現させることができる。この場合、コンピュータ読み取り可能媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）等のランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気式又は光学式データ記憶媒体、等を具備することができる。

プログラムコードは、１つ以上のプロセッサ、例えば１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はその他の同等の集積回路又は個別論理回路、等であることができる。幾つかの実施形態においては、本明細書において説明される機能は、符号化及び復号のために構成される専用ソフトウェアモジュール又はハードウェア装置内において提供すること、又は結合された映像符号器−復号器（ＣＯＤＥＣ）内に組み入れることができる。

様々な実施形態が説明されている。これらの及びその他の実施形態は、上記の請求項の適用範囲内である。

ＲＯＩイネーブルド映像符号器−復号器（ＣＯＤＥＣ）を組み入れた映像符号化及び復号システムを示すブロック図である。 無線通信デバイスと関連するディスプレイ上に示される映像シーン内におけるＲＯＩの定義を示す図である。 図２において描かれる映像シーンのＲＯＩエリア及び非ＲＯＩエリアを示す図である。 図２において描かれる映像シーンのＲＯＩエリア及び非ＲＯＩエリアを示す図である。 コンテンツ適応型非ＲＯＩスキップモジュールを有するＲＯＩイネーブルド符号器を組み入れた映像通信デバイスを示すブロック図である。 映像シーンのＲＯＩ内において示されるオブジェクトに関するオブジェクトの移動／回転及び形状の変形の変化を示す図である。 映像シーンのＲＯＩ内における人の顔の表情の変化を示す図である。 コンテンツ適応型非ＲＯＩスキップ技術を示す流れ図である。 コンテンツ適応型非ＲＯＩスキップ技術をより詳細に示す流れ図である。 異なるビット割当て戦略を用いた符号化技術の全体的な知覚上の品質を比較したグラフである。 典型的映像シーケンスに関するフレーム及び非ＲＯＩのスキップ有り及び無しの場合における異なるビット割当て戦略を用いた符号化技術の全体的な知覚上の品質を比較したグラフである。 典型的映像シーケンスにおける非ＲＯＩのスキップ及びその他の技術によって生じる歪みを示すグラフである。 他の典型的映像シーケンスに関するフレーム及び非ＲＯＩのスキップ有り及び無しの場合における異なるビット割当て戦略を用いる符号化技術の全体的な知覚上の品質を比較したグラフである。 典型的映像シーケンスに関するユニットに基づく及びコンテンツに基づく非ＲＯＩスキップを用いる符号化技術の全体的な知覚上の品質を比較したグラフである。 他の典型的映像シーケンスに関するユニットに基づく及びコンテンツに基づく非ＲＯＩスキップを用いる符号化技術の全体的な知覚上の品質を比較したグラフである。

Claims (24)

1. 映像取得手段が、映像フレームを得ることと、
   映像符号器が、前記映像フレーム内の関心領域（ＲＯＩ）を符号化することと、
   スキップモジュールが、前記映像フレームの非ＲＯＩエリアの符号化をスキップするかどうかを、前記ＲＯＩ及び前記非ＲＯＩエリアの活動及び１つ以上のその他のフレーム内の非ＲＯＩエリアの符号化のスキップに起因する累積歪みに基づいて決定することと、を具備する、方法。
2. 前記活動は、前記ＲＯＩ内における形状の変形、前記ＲＯＩにおける動き、前記非ＲＯＩエリアにおける動き、前記非ＲＯＩエリアにおけるテクスチャの複雑さ、の少なくとも１つである請求項１に記載の方法。
3. 前記非ＲＯＩエリアの符号化がスキップされないときに、ビット割り当てモジュールが、前記ＲＯＩと前記非ＲＯＩエリアとの間において符号化ビットを割り当てることをさらに具備する請求項１に記載の方法。
4. 前記ビット割り当てモジュールが、符号化ビットを割り当てることは、前記フレーム内の前記ＲＯＩ及び非ＲＯＩエリアのテクスチャの複雑さに対応するビット割当て方式を実行することを含む請求項３に記載の方法。
5. 前記ビット割り当てモジュールが、符号化ビットを割り当てることは、前記ＲＯＩ及び非ＲＯＩエリアの前記テクスチャの複雑さ、及び以前のフレームからのρの平均に対応するビット割当て方式を実行することを含む請求項３に記載の方法。
6. 前記スキップモジュールが、前記映像フレームの非ＲＯＩエリアの符号化をスキップするかどうかを決定することは、前記ＲＯＩ内の前記活動がしきい値を上回る場合に前記非ＲＯＩエリアの符号化をスキップすることを具備する請求項１に記載の方法。
7. 前記スキップモジュールが、前記映像フレームの非ＲＯＩエリアの符号化をスキップするかどうかを決定することは、
   前記ＲＯＩ内の前記活動が第１のしきい値を超える場合は前記非ＲＯＩエリアの符号化をスキップすることと、
   前記ＲＯＩ内の前記活動が前記第１のしきい値を超えないが前記非ＲＯＩエリア内の前記活動が第２のしきい値を超えない場合は前記非ＲＯＩエリアの符号化をスキップすること、とを具備する請求項１に記載の方法。
8. 前記スキップモジュールが、前記映像フレームの非ＲＯＩエリアの符号化をスキップするかどうかを決定することは、
   前記ＲＯＩ内の前記活動が第１のしきい値を超える場合は前記非ＲＯＩエリアの符号化をスキップすることと、
   前記ＲＯＩ内の前記活動が前記第１のしきい値を超えないが前記非ＲＯＩエリア内の前記活動が第２のしきい値を超えず、その他の映像フレームの符号化のスキップに起因する累積歪みが第３のしきい値を超えない場合は前記非ＲＯＩエリアの符号化をスキップすること、とを具備する請求項１に記載の方法。
9. 映像フレーム内の関心領域（ＲＯＩ）の定義を生成する関心領域マッパーと、
   前記映像フレーム内の前記ＲＯＩを符号化する映像符号器と、
   前記符号器が前記映像フレームの非ＲＯＩエリアの符号化をスキップするかどうかを前記ＲＯＩ及び前記非ＲＯＩエリアの活動及び１つ以上のその他のフレーム内の非ＲＯＩエリアの符号化のスキップに起因する累積歪みに基づいて決定するスキップモジュールと、を具備するデバイス。
10. 前記活動は、前記ＲＯＩ内における形状の変形、前記ＲＯＩにおける動き、前記非ＲＯＩエリアにおける動き、前記非ＲＯＩエリアにおけるテクスチャの複雑さ、の少なくとも１つである請求項９に記載の方法。
11. 前記非ＲＯＩエリアの符号化がスキップされないときに前記ＲＯＩと前記非ＲＯＩエリアとの間において符号化ビットを割り当てるビット割当てモジュールをさらに具備する請求項９に記載のデバイス。
12. 前記ビット割当てモジュールは、前記フレーム内の前記ＲＯＩ及び非ＲＯＩエリアの前記テクスチャの複雑さに対応するビット割当て方式を実行する請求項１１に記載のデバイス。
13. 前記ビット割当てモジュールは、前記ＲＯＩ及び非ＲＯＩエリアの前記テクスチャの複雑さ、及び以前のフレームからのρの平均に対応するビット割当て方式を実行する請求項１１に記載のデバイス。
14. 前記スキップモジュールは、前記ＲＯＩ内における前記活動がしきい値を上回る場合は前記ＲＯＩエリアの符号化をスキップするように前記映像符号器に指示する請求項９に記載のデバイス。
15. 前記スキップモジュールは、前記ＲＯＩ内における前記活動が第１のしきい値を上回る場合は前記非ＲＯＩエリアの符号化をスキップし、前記ＲＯＩ内の前記活動が前記第１のしきい値を下回るが前記非ＲＯＩエリア内における前記活動が第２のしきい値を下回る場合は前記非ＲＯＩエリアの符号化をスキップするように前記映像符号器に指示する請求項９に記載のデバイス。
16. 前記スキップモジュールは、前記ＲＯＩ内における前記活動が第１のしきい値を上回る場合は前記非ＲＯＩエリアの符号化をスキップし、前記ＲＯＩ内における前記活動が前記第１のしきい値を下回るが前記非ＲＯＩエリア内における前記活動が第２のしきい値を下回りさらにその他の映像フレームの符号化のスキップに起因する累積歪みが第３のしきい値を下回る場合は前記非ＲＯＩエリアの符号化をスキップするように前記映像符号器に指示する請求項９に記載のデバイス。
17. 映像フレームを得ること、前記映像フレーム内の関心領域（ＲＯＩ）を符号化すること、及び前記映像フレームの非ＲＯＩエリアの符号化をスキップするかどうかを前記ＲＯＩ及び前記非ＲＯＩエリアの活動及び１つ以上のその他のフレーム内の非ＲＯＩエリアの符号化のスキップに起因する累積歪みに基づいて決定することをプロセッサに行わせるための命令を具備するコンピュータ読取可能な記録媒体。
18. 前記活動は、前記ＲＯＩ内における形状の変形、前記ＲＯＩにおける動き、前記非ＲＯＩエリアにおける動き、前記非ＲＯＩエリアにおけるテクスチャの複雑さ、の少なくとも１つである請求項１７記載のコンピュータ読取可能な記録媒体。
19. 前記命令は、前記非ＲＯＩエリアの符号化がスキップされないときに前記ＲＯＩと前記非ＲＯＩエリアとの間において符号化ビットを割り当てることを前記プロセッサに行わせる請求項１７に記載のコンピュータ読取可能な記録媒体。
20. 前記命令は、前記フレーム内の前記ＲＯＩ及び非ＲＯＩエリアの前記テクスチャの複雑さに対応するビット割当て方式を実行することを前記プロセッサに行わせる請求項１９に記載のコンピュータ読取可能な記録媒体。
21. 前記命令は、前記ＲＯＩ及び非ＲＯＩエリアの前記テクスチャの複雑さ、及び以前のフレームからのρの平均に対応するビット割当て方式を実行することを前記プロセッサに行わせる請求項１９に記載のコンピュータ読取可能な記録媒体。
22. 前記命令は、前記ＲＯＩ内における前記活動がしきい値を上回る場合に前記非ＲＯＩエリアの符号化をスキップすることを前記プロセッサに行わせる請求項１７に記載のコンピュータ読取可能な記録媒体。
23. 前記命令は、前記ＲＯＩ内における前記活動が第１のしきい値を上回る場合は前記非ＲＯＩエリアの符号化をスキップし、前記ＲＯＩ内における前記活動が前記第１のしきい値を下回るが前記非ＲＯＩエリア内における前記活動が第２のしきい値を下回る場合は前記非ＲＯＩエリアの符号化をスキップすることを前記プロセッサに行わせる請求項１７に記載のコンピュータ読取可能な記録媒体。
24. 前記命令は、前記ＲＯＩ内における前記活動が第１のしきい値を上回る場合は前記非ＲＯＩエリアの符号化をスキップし、前記ＲＯＩ内における前記活動が前記第１のしきい値を下回るが前記非ＲＯＩエリア内における前記活動が第２のしきい値を下回りさらにその他の映像フレームの符号化のスキップに起因する累積歪みが第３のしきい値を下回る場合は前記非ＲＯＩエリアの符号化をスキップすることを前記プロセッサに行わせる請求項１７に記載のコンピュータ読取可能な記録媒体。

Images