JP5301645B2 - テレビ電話のための背景のスキッピングを用いた関心領域の符号化 - Google Patents

Description

優先権の主張

本出願は、２００５年３月１日に出願された米国仮出願第６０／６５８，００８号の恩恵に対して権利を主張している。

本開示は、ディジタルビデオの符号化、より具体的には、テレビ電話（video telephony, VT）の応用のための関心領域(region-of-interest, ROI)情報を符号化する技術に関する。

多数の異なるビデオ符号化標準が、ディジタルビデオ系列を符号化するために制定された。例えば、ＭＰＥＧ（Moving Picture Experts Group）は、ＭＰＥＧ−１、ＭＰＥＧ−２、およびＭＰＥＧ−４を含む多数の標準を開発した。他の例は、国際電気通信連合(International Telecommunication Union, ITU)のＨ．２６３標準および新しいＩＴＵ Ｈ．２６４標準を含む。これらのビデオ符号化標準は、概して、データを圧縮して符号化することによって、ビデオ系列の向上した伝送効率を支援する。

テレビ電話(ＶＴ)は、ユーザがビデオおよびオーディオ情報を共有し、テレビ会議のような応用を支援することを可能にしている。例示的なテレビ電話の標準は、セッション開始プロトコル(Session Initiation Protocol, SIP)、ＩＴＵ Ｈ．３２３標準、およびＩＴＵ Ｈ．３２４標準によって定められた標準を含む。ＶＴシステムにおいて、ユーザは、ビデオ情報を送信および受信するか、ビデオ情報を受信のみするか、またはビデオ情報を送信のみし得る。受信者は、通常、受信したビデオ情報を、それが送信者から送信された形式で見る。

ビデオ情報の選択された部分の優先的な符号化(preferential encoding)が提案された。例えば、送信者は、より高い品質で符号化される関心領域(region-of-interest, ROI)を指定して、受信者へ送信することができる。送信者は、ＲＯＩを遠隔の受信者に強調することを望み得る。ＲＯＩの典型的な例は人間の顔であるが、送信者は、ビデオシーン内の他のオブジェクトに焦点を合わせることを望み得る。ＲＯＩの優先的な符号化により、受信者は、ＲＯＩを非ＲＯＩ領域よりもはっきりと見ることができる。

本開示は、テレビ電話(ＶＴ)のための関心領域(ＲＯＩ)符号化技術に関する。開示された技術は、ビデオフレームの非ＲＯＩ区域を適応的にスキップして（adaptive skipping）、ＲＯＩへ割り振る符号化ビットを残す技術を含む。開示された技術は、ρ領域内においてマクロブロック(macroblock, MB)レベルの重み付けビット割り振りモデル(weighted bit allocation model)を使用して、ＲＯＩへビットを割り振る技術も含む。さらに加えて、開示された技術は、ＲＯＩのビデオの品質メトリックを生成する技術を含む。これは、符号化されたビデオ系列の品質を評価するときのＲＯＩの知覚品質、ＲＯＩのビデオ忠実度、およびＲＯＩへのユーザの関心度を一緒に考慮する。

非ＲＯＩスキッピング技術は、非ＲＯＩ領域の画像品質をあまり劣化することなく、ＲＯＩの画像品質を向上する役割を果たす。具体的には、非ＲＯＩスキッピング技術は、非ＲＯＩのビットを残して（conserve）、ＲＯＩへ割り振る追加のビットを与えることができる。品質メトリックは、ビット割り振り技術にバイアスをかけ、符号化されたビデオシーンにおける主観的な画像品質を向上するのに適用され得る。ρ領域におけるビットの割り振りは、向上した視覚品質のために、ＲＯＩの量子化のより正確で一貫した制御を与えることができる。非ＲＯＩのスキッピング、ρ領域のビット割り振り、および品質メトリックを一緒にまたは別々に使用して、ＲＯＩおよび非ＲＯＩの符号化の効率的な制御を達成することができる。

１つの実施形態において、開示は、前のフレームのビデオ忠実度、前のフレームの知覚品質、および関心領域におけるユーザ選好（user preference）に基づいて、関心領域を含む符号化されるビデオフレームの品質メトリックを生成することを含む方法を提供する。

別の実施形態において、開示は、関心領域を含むビデオフレームを符号化するビデオ符号化器と、前のフレームのビデオ忠実度、前のフレームの知覚品質、および関心領域におけるユーザ選好に基づいて、ビデオフレームの品質メトリックを生成する品質メトリック計算器とを含むデバイスを提供する。

他の実施形態において、開示は、ビデオフレーム内の関心領域の定義を得ることと、そのフレームに使用可能な符号化ビット数を定義するフレーム割り当て量（frame budget）を得ることと、フレーム割り当て量と、関心領域内のマクロブロックと関心領域外のビデオフレームの区域内のマクロブロックとの間における重み付けとに基づいて、フレーム内のマクロブロックにロー（rho）領域の値を割り振ることとを含む方法を提供する。

追加の実施形態において、開示は、ビデオフレーム内の関心領域の定義を生成する関心領域マッパと、そのフレームに使用可能な符号化ビット数を定義するフレーム割り当て量を生成するフレームレベル レート制御装置と、フレーム割り当て量と、関心領域内のマクロブロックと関心領域外のビデオフレームの区域内のマクロブロックとの間における重み付けとに基づいて、フレーム内のマクロブロックにロー領域の値を割り振るビット割り振りモジュールとを含むデバイスを提供する。

別の実施形態において、開示は、連続フレームをフレームユニットへグループ化することと、フレームユニット中のそれぞれのフレーム内の関心領域を符号化することと、フレームユニット中のフレームの少なくとも１つにおけるそれぞれの関心領域外の区域の符号化をスキップすることとを含む方法を提供する。

他の実施形態において、開示は、ビデオフレーム内の関心領域の定義を生成する関心領域マッパと、ビデオフレームを符号化するビデオ符号器と、連続フレームをフレームユニットへグループ化し、フレームユニット中のそれぞれのフレーム内の関心領域を符号化するようにビデオ符号器に指示し、フレームユニット中のフレームの少なくとも１つにおけるそれぞれの関心領域外の区域の符号化をスキップするようにビデオ符号器に指示するスキッピングモジュールとを含むデバイスを提供する。

本明細書に記載されている技術は、ハードウェア、ソフトウェア、ファームウェア、またはその任意の組合せで実施され得る。この技術は、ソフトウェアにおいて実施されるときは、実行時に、本明細書に記載されている方法の１つ以上を行う命令を含むプログラムコードを含むコンピュータ読み出し可能媒体によって部分的に実現され得る。

１つ以上の実施形態の詳細は、添付の図面および以下の記述に示されている。他の特徴、目的、および長所は、その記述、図面、および特許請求項から明らかになるであろう。

ＲＯＩを可能にする（ROI-enabled）ビデオ符号器−復号器(encoder-decoder, CODEC)を組込んだビデオ符号化および復号システムを示すブロック図。 無線通信デバイスと関係付けられたディスプレイ上で提示されるビデオシーン内のＲＯＩの定義を示す図。 図２に示されているビデオシーンのＲＯＩ区域を示す図。 図２に示されているビデオシーンの非ＲＯＩ区域を示す図。 非ＲＯＩスキッピングモジュール、ＲＯＩのρ領域ビット割り振りモジュール、およびＲＯＩ重み計算器をもつＲＯＩを可能にする符号器を組み込んだビデオ通信デバイスを示すブロック図。 ＲＯＩ品質メトリック計算器を示すブロック図。 ＲＯＩ品質メトリックの計算のためのＲＯＩユーザ選好入力デバイスを組み込んだ無線通信デバイスをさらに示す図。 ＲＯＩ品質メトリック計算器を使用し、ビデオ系列を解析し、ビデオ符号器によって適用される符号化パラメータを最適化することを示すブロック図。 ＲＯＩ品質メトリック計算器を使用し、符号化されたビデオを解析し、ビデオ符号器によって適用される符号化パラメータを調整することを示すブロック図。 符号化されたビデオのＲＯＩ品質メトリックの計算を示すフローチャート。 ビデオ系列のＲＯＩ品質メトリックの計算を示すフローチャート。 ＲＯＩのρ領域のビット割り振りを示すフローチャート。 重み付けビット割り振りモデルおよび最適解を使用して、符号化技術の全体的な知覚品質を比較するグラフ。 非ＲＯＩスキッピング技術を示すフローチャート。 連続フレームをフレームユニットへグループ化して、非ＲＯＩのスキッピングを支援することを示す図。 共通の非ＲＯＩ区域をもつ連続ＲＯＩ区域を符号化して、非ＲＯＩのスキッピングを支援することを示す図。 ユーザ選好因子α＝０．９の標準のビット割り振り、重み付けビット割り振り、および背景のスキッピングを使用して、ＲＯＩ符号化技術の全体的な知覚品質を比較するグラフ。 ユーザ選好因子α＝０．９の標準のビット割り振り、重み付けビット割り振り、および背景のスキッピングを使用して、ＲＯＩ符号化技術の全体的なビデオ忠実度を比較するグラフ。 ユーザ選好因子α＝０．９の標準のビット割り振り、重み付けビット割り振り、および背景のスキッピングを使用して、ＲＯＩ符号化技術のＲＯＩのビデオ忠実度を比較するグラフ。 ユーザ選好因子α＝０．９の標準のビット割り振り、重み付けビット割り振り、および背景のスキッピングを使用して、ＲＯＩ符号化技術の非ＲＯＩのビデオ忠実度を比較するグラフ。 ユーザ選好因子α＝０．７の標準のビット割り振り、重み付けビット割り振り、および背景のスキッピングを使用して、ＲＯＩ符号化技術の全体的な知覚品質を比較するグラフ。 ユーザ選好因子α＝０．７の標準のビット割り振り、重み付けビット割り振り、および背景のスキッピングを使用して、ＲＯＩ符号化技術の全体的なビデオ忠実度を比較するグラフ。 ユーザ選好因子α＝０．５の標準のビット割り振り、重み付けビット割り振り、および背景のスキッピングを使用して、ＲＯＩ符号化技術の全体的な知覚品質を比較するグラフ。 ユーザ選好因子α＝０．５の標準のビット割り振り、重み付けビット割り振り、および背景のスキッピングを使用して、ＲＯＩ符号化技術の全体的なビデオ忠実度を比較するグラフ。 種々のユーザ選好因子の値の標準のフレームスキッピングおよび非ＲＯＩスキッピングを使用して、ＲＯＩ符号化技術の知覚品質を比較するグラフ。 非ＲＯＩスキッピングがオンおよびオフであるときのＲＯＩ符号化技術の知覚品質を比較するグラフ。 例示的なビデオ系列における非ＲＯＩスキッピングによって生じる歪みを示すグラフ。 非ＲＯＩのスキッピング、非ＲＯＩのスキッピングのオフ、および適応非ＲＯＩスキッピングを使用して、ＲＯＩ符号化技術の全体的な知覚品質を比較するグラフ。 一定の範囲の符号化レートで、例示的なビデオ系列に種々のビット割り振り技術を使用して、ＲＯＩ符号化技術の全体的な知覚品質を比較するグラフ。 ４０キロビット／秒(kilobits per second, kps)の符号化レートで、種々のビット割り振り技術を使用して、ＲＯＩ符号化技術の全体的な知覚品質を比較するグラフ。 ４０キロビット／秒(ｋｐｓ)の符号化レートで、種々のビット割り振り技術を使用して、ＲＯＩ符号化技術の全体的なビデオ忠実度を比較するグラフ。 ４０キロビット／秒(ｋｐｓ)の符号化レートで、種々のビット割り振り技術を使用して、ＲＯＩ符号化技術のＲＯＩのビデオ忠実度を比較するグラフ。 ４０キロビット／秒(ｋｐｓ)の符号化レートで、種々のビット割り振り技術を使用して、ＲＯＩ符号化技術の非ＲＯＩのビデオ忠実度を比較するグラフ。 一定の範囲の符号化レートで、別の例示的なビデオ系列に対して種々のビット割り振り技術を使用して、ＲＯＩ符号化技術の全体的な知覚品質を比較するグラフ。

図１は、ＲＯＩを可能にする（ROI-enabled）ビデオ符号器−復号器(encoder-decoder, CODEC)を組込んだビデオ符号化および復号システム10を示すブロック図である。図１に示されているように、システム10は、第１のビデオ通信デバイス12と、第２のビデオ通信デバイス14とを含んでいる。通信デバイス12、14は、送信チャネル16によって接続されている。送信チャネル16は、有線または無線通信媒体であり得る。システム10は、テレビ電話のためにビデオ通信デバイス12、14間の双方向のビデオ送信を支援している。デバイス12、14は、実質的に対称に動作し得る。しかしながら、幾つかの実施形態では、一方または両方のビデオ通信デバイス12、14は、一方向のみの通信のために構成され、ＲＯＩを可能にするビデオストリーミングを支援することができる。

本明細書に記載されているように、ビデオ通信デバイス12、14の一方または両方は、テレビ電話(ＶＴ)のためのＲＯＩ符号化技術を適用するように構成され得る。ＲＯＩ符号化技術は、非ＲＯＩ領域を適応的にスキップして（adaptive skipping）、ＲＯＩへ割り振る符号化ビットを残すことと、ρ領域内におけるビデオブロックのレベル、例えば、マクロブロック(macroblock, MB)のレベルで重み付けビット割り振りモデル(weighted bit allocation model)を使用して、ＲＯＩへビットを割り振ることと、符号化されたビデオ系列の品質を評価するときにＲＯＩの知覚品質、ＲＯＩのビデオ忠実度、およびＲＯＩへのユーザの関心度を一緒に考慮して、ＲＯＩのビデオのためのＲＯＩビデオ品質メトリックを生成することとを含む。ρ(rho)パラメータは、ビデオブロック、例えば、ＭＢにおける非ゼロのＡＣ係数の個数を表わす。ρ領域におけるレート制御は、ＱＰ領域におけるレート制御よりも正確である傾向がある。非ＲＯＩスキッピング、ρ領域のビット割り振り、および品質メトリックを一緒にまたは別々に使用して、ＲＯＩおよび非ＲＯＩの符号化の効果的な制御を達成することができる。

マクロブロックは、フレームの一部を形成しているビデオブロックである。ＭＢのサイズは、１６×１６画素であり得る。しかしながら、他のＭＢサイズが可能である。マクロブロックは、本明細書において説明のために記載されており、マクロブロックまたは他のビデオブロックが種々の異なるサイズを持ち得ると理解される。

双方向の応用では、相互の符号化、復号、多重化(multiplexing, MUX)、およびデマルチプレクシング(demultiplexing, DEMUX)の構成要素が、チャネル16の両端部に与えられ得る。図１の例において、ビデオ通信デバイス12は、ＭＵＸ／ＤＥＭＵＸ構成要素18、ＲＯＩを可能にするビデオＣＯＤＥＣ20、およびオーディオＣＯＤＥＣ22を含んでいる。同様に、ビデオ通信デバイス14は、ＭＵＸ／ＤＥＭＵＸ構成要素26、ＲＯＩを可能にするビデオＣＯＤＥＣ28、およびオーディオＣＯＤＥＣ30を含んでいる。

システム10は、セッション開始プロトコル(Session Initiated Protocol, SIP)、ＩＴＵ Ｈ．３２３標準、ＩＴＵ Ｈ．３２４標準、または他の標準にしたがって、テレビ電話を支援し得る。各ビデオＣＯＤＥＣ20、28は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ Ｈ．２６３、またはＩＴＵ Ｈ．２６４のようなビデオ圧縮標準にしたがって、符号化されたビデオデータを生成する。図１にさらに示されているように、ビデオＣＯＤＥＣ20、28は、それぞれのオーディオＣＯＤＥＣ22、30と統合され、適切なＭＵＸ／ＤＥＭＵＸ構成要素18、26を含み、データストリームのオーディオ部分およびビデオ部分を処理し得る。オーディオ部分は、音声または他のオーディオコンテンツを保持し得る。ＭＵＸ／ＤＥＭＵＸユニット18、26は、ＩＴＵ Ｈ．２２３のマルチプレクサプロトコル、または他のプロトコル、例えば、ユーザ データグラム プロトコル(user datagram protocol, UDP)に準拠し得る。

各ＲＯＩを可能にするビデオＣＯＤＥＣ20、28は、それぞれのビデオ通信デバイス12、14のローカルユーザによってローカルに供給されるＲＯＩ情報、または他方のビデオ通信デバイス12、14の遠隔ユーザから遠隔から（remotely）供給されるＲＯＩ情報を処理することができ得る。例えば、ビデオ通信デバイス12のローカルユーザは、ビデオ通信デバイス12によってローカルに生成された“近端（near-end）”のビデオ内のＲＯＩを指定し、デバイス14の遠隔ユーザへの送信ビデオ領域を強調し得る。逆に、ビデオ通信デバイス12のローカルユーザは、ビデオ通信デバイス14によって遠隔で（remotely）生成された“遠端(far-end)”のビデオ内のＲＯＩを指定し、そのＲＯＩを遠隔のビデオ通信デバイスに送り得る。この場合に、ビデオ通信デバイス12のユーザは、ビデオ通信デバイス14によるＲＯＩの優先的な符号化（preferential coding）を遠隔制御して、例えば、ビデオ通信デバイス14から受信したビデオ内のＲＯＩをより明らかに見る。

ビデオ通信デバイス12、14は、ビデオストリーミング、テレビ電話、またはこの両者のために装備された無線移動端末または有線端末として実施され得る。そのために、ビデオ通信デバイス12、14は、適切な無線送信機、受信機、モデム、および処理電子機器（processing electronics）をさらに含み、無線通信を支援し得る。無線移動端末の例は、移動無線電話、移動パーソナル ディジタル アシスタント(personal digital assistant, PDA)、移動コンピュータ、あるいは無線通信能力およびビデオ符号化および／または復号能力を備えた他の移動デバイスを含む。有線端末の例は、デスクトップコンピュータ、テレビ電話、ネットワーク アプライアンス、セットトップ ボックス、インタラクティブ テレビジョン、等を含む。ビデオ通信デバイス12、14は、ビデオ情報を送信する、ビデオ情報を受信する、またはビデオ情報を送受信するように構成され得る。

テレビ電話の応用において、デバイス12は、一般に、ビデオ送信能力およびビデオ受信能力の両者を支援することが望ましい。しかしながら、ストリーミングビデオの応用も意図される。テレビ電話、とくに、無線通信による移動テレビ電話では、非常に低いビットレートが要求されることが多いので、帯域幅は重要な問題である。とくに、通信チャネル16は限られた帯域幅をもち、チャネル16上での高品質のビデオ系列の効率的な実時間送信を非常に難しくし得る。例えば、通信チャネル16は、チャネル16の物理的な制約のために限られた帯域幅をもつか、または、恐らくは、通信チャネル16のプロバイダによって課されたサービス品質(quality-of-service, QoS)の制限または帯域幅の割り振りの制約をもつ無線通信リンクであり得る。

したがって、ＲＯＩへの追加の符号化ビットの選択的な割り振り、より強力なエラー保護、または他の優先的な符号化のステップが、ビデオの一部の画像品質を向上し、一方で、全体的な符号化効率を維持することができる。優先的な符号化において、追加のビットがＲＯＩに割り振られ、一方で、低減した数のビットが非ＲＯＩ領域、例えば、ビデオシーン内の背景に割り振られ得る。非ＲＯＩ区域は、“背景”区域と呼ばれるが、非ＲＯＩ区域は、より広く、ＲＯＩ部分を形成していないビデオシーンのあらゆる区域を含む。したがって、非ＲＯＩという用語と、背景という用語は、本開示の全体にわたって交換可能に使用され、指定されたＲＯＩの外側の区域を指し得る。

概して、システム10は、テレビ電話(ＶＴ)の応用に関心領域(ＲＯＩ)の処理技術を採用している。しかしながら、既に記載したように、このような技術は、ビデオストリーミングの応用にも適用可能であり得る。説明のために、各ビデオ通信デバイス12、14は、ビデオ情報の送信者および受信者の両者として動作することができ、それによって、ＶＴセッションにおける完全な参加者として動作することができると仮定する。ビデオ通信デバイス12からビデオ通信デバイス14へ送信されるビデオ情報において、ビデオ通信デバイス12は、送信者デバイスであり、ビデオ通信デバイス14は、受信者デバイスである。逆に、ビデオ通信デバイス14からビデオ通信デバイス12へ送信されるビデオ情報において、ビデオ通信デバイス12は、受信者デバイスであり、ビデオ通信デバイス14は、送信者デバイスである。本明細書に記載されている技術は、そのようなビデオを送信のみ、または受信のみするデバイスに応用可能であり得る。ローカルのビデオ通信デバイス12、14によって符号化され、送信されたビデオ情報について記載するとき、そのビデオ情報は、既に記載したように、“近端”のビデオと呼ばれ得る。遠隔のビデオ通信デバイス12、14によって符号化され、そこから受信されたビデオ情報について記載するとき、そのビデオ情報は、“遠端”のビデオと呼ばれ得る。

開示されている技術にしたがうと、ビデオ通信デバイス12または14は、受信者デバイスとして動作するとき、送信者デバイスから受信した遠端のビデオ情報のＲＯＩ情報を定義する。繰り返すが、送信者デバイスから受信したビデオ情報は、それが、通信チャネルの遠端に位置する他方(送信者)のデバイスから受信したという意味で、“遠端”のビデオ情報と呼ばれる。同様に、送信者デバイスから受信したビデオ情報に対して定義されたＲＯＩ情報は、“遠端”のＲＯＩ情報と呼ばれる。遠端のＲＯＩとは、通常、遠端のビデオの受信者が最も関心をもっている遠端のビデオ内の領域を指す。受信者デバイスは、遠端のビデオ情報を復号し、復号された遠端のビデオを、ディスプレイデバイスを介してユーザに提示する。ユーザは、遠端のビデオによって提示されたビデオシーン内でＲＯＩを選択する。その代わりに、ＲＯＩは、自動的に定義されることができる。

受信者デバイスが、受信者デバイスにおいてユーザが選択したＲＯＩに基づいて、遠端のＲＯＩ情報を生成し、遠端のＲＯＩ情報を送信者デバイスへ送ると、送信者デバイスは、その情報を使用することができる。遠端のＲＯＩ情報は、ＲＯＩマクロブロック(ＭＢ)マップの形をとり、ＲＯＩを、ＲＯＩ内に存在するＭＢで定義し得る。ＲＯＩ ＭＢマップは、ＲＯＩ内のＭＢに１のフラグを立て、ＲＯＩ外のＭＢに０のフラグを立て、ＲＯＩ内に含まれるＭＢ（１）と、ＲＯＩから除外されるＭＢ（０）とを容易に識別し得る。

送信者デバイスは、受信者デバイスによって送信された遠端のＲＯＩ情報を使用して、ビデオシーン内の対応するＲＯＩに対して、優先的な符号化を適用する。具体的には、追加の符号化ビットをＲＯＩに割り振り、一方で、低減した量の符号化ビットを非ＲＯＩ領域に割り振り、それによって、ＲＯＩの画像品質を向上し得る。このように、受信者デバイスは、送信者デバイスによる遠端のビデオ情報のＲＯＩの符号化を遠隔制御することができる。

優先的な符号化は、例えば、ＲＯＩ区域の優先的なビット割り振りまたは優先的な量子化によって、ビデオシーンの非ＲＯＩ区域よりも、ＲＯＩ区域に、より高品質の符号化を適用する。優先的に符号化されたＲＯＩは、受信者デバイスのユーザが、オブジェクトまたは領域をよりはっきりと見ることを可能にする。例えば、受信者デバイスのユーザは、顔、または何か他のオブジェクトを、ビデオシーンの背景領域よりもはっきりと見ることを希望することができる。

ビデオ通信デバイス12または14は、送信者デバイスとして動作するとき、送信者デバイスによって送信されるビデオ情報のＲＯＩ情報も定義し得る。繰り返すが、送信者デバイスにおいて生成されたビデオ情報は、それが、通信チャネルの近端において生成されたという意味で、“近端”のビデオ情報と呼ばれる。送信者デバイスによって生成されたＲＯＩ情報は、“近端”のＲＯＩ情報と呼ばれる。

近端のＲＯＩは、一般に、送信者が受信者に強調したい近端のビデオ領域を指す。したがって、ＲＯＩは、受信者デバイスのユーザによって遠端のＲＯＩ情報として、または送信者デバイスのユーザによって近端のＲＯＩ情報として指定され得る。送信者デバイスは、近端のビデオを、ディスプレイデバイスを介してユーザに提示する。送信者デバイスに関連するユーザは、近端のビデオによって提示されたビデオシーン内でＲＯＩを選択する。送信者デバイスは、ユーザが選択したＲＯＩを使用して、近端のビデオを符号化し、近端のビデオ内のＲＯＩが、非ＲＯＩ区域に対して、例えば、より高品質の符号化で、優先的に符号化されるようにする。

送信者デバイスのローカルユーザによって選択または定義された近端のＲＯＩは、送信者デバイスのユーザが、ビデオシーン内の領域またはオブジェクトを強調し、それによって、その領域またはオブジェクトに受信者デバイスのユーザの注意を向けさせることを可能にする。送信者デバイスのユーザによって選択された近端のＲＯＩは、受信者デバイスへ送信されなくてもよいことに注意すべきである。その代わりに、送信者デバイスは、選択された近端のＲＯＩ情報が受信者デバイスに送信される前に、それを使用して、近端のビデオをローカルに符号化する。しかしながら、幾つかの実施形態では、送信者デバイスは、ＲＯＩ情報を受信者デバイスに送って、優先的な復号技術、例えば、より高品質の誤り訂正または事後処理の応用を可能にし得る。

ＲＯＩ情報が、送信者デバイスおよび受信者デバイスの両者によって与えられるとき、送信者デバイスは、受信者デバイスから受信した遠端のＲＯＩ情報か、またはローカルに生成された近端のＲＯＩ情報を適用して、近端のビデオを符号化する。送信者デバイスによって与えられた近端のＲＯＩか、受信者デバイスによって与えられた遠端のＲＯＩかの選択において、ＲＯＩの競合（conflict）が生じ得る。そのような競合は、ローカルユーザによるアクティブな解決か、または指定のアクセス権およびレベルにしたがう解決のような解決を必要とし得る。何れの場合も、送信者デバイスは、送信者デバイスによってローカルに与えられた近端のＲＯＩ情報か、または受信者デバイスによって遠隔から与えられたものに基づいて、ＲＯＩを優先的に符号化する。

ＲＯＩがローカルユーザまたは遠隔ユーザの何れかによって指定されると仮定し、本開示は、全体的に、ＲＯＩ符号化技術に焦点を当てる。具体的には、本開示は、ビデオシーン内のＲＯＩおよび非ＲＯＩ区域間のビット割り振りに関して、ＲＯＩを優先的に符号化するやり方を扱う。ＲＯＩのビデオ品質メトリックは、ＲＯＩ区域および非ＲＯＩ区域間における重み付けビット割り振りにバイアスをかけるために適用され得る。ビデオ品質メトリックは、符号化されたビデオ系列の品質を評価するときのＲＯＩの知覚品質、ＲＯＩのビデオ忠実度、およびＲＯＩへのユーザの選好（preference）、すなわち、関心の度合いを考慮に入れる。重み付けビット割り振りは、ρ領域内で適用される。さらに加えて、非ＲＯＩまたは“背景”スキッピングアルゴリズムを適用し、ＲＯＩへ割り振る符号化ビットを残すことができる。

図２は、無線通信デバイス36と関係付けられたディスプレイ34上で提示されるビデオシーン32内のＲＯＩの定義を示す図である。図２の例では、ＲＯＩは、長方形のＲＯＩ38または非長方形のＲＯＩ40の何れかとして示されている。非長方形のＲＯＩ40は、丸い形、または不定形であり得る。各場合において、ＲＯＩ38またはＲＯＩ40は、ビデオシーン32内に提示されている人の顔42を含んでいる。図３Ａおよび３Ｂは、図２に示されているビデオシーン32のＲＯＩ区域38および非ＲＯＩ区域43を示す図である。非ＲＯＩ区域43、すなわち、背景は、図３Ｂではシェーディング（shading）によって強調されている。

ＲＯＩ38または40は、ユーザによって手入力で、デバイス36によって自動的に、またはユーザによる手入力のＲＯＩの書き込みとデバイス36による自動的なＲＯＩの定義との組み合わせを使用して定義され得る。長方形のＲＯＩ38は、ユーザによって選択され得る。非長方形のＲＯＩ40は、ユーザによって、例えば、スタイラスおよびタッチスクリーンを使用して描かれるか、またはデバイス36によって、種々のオブジェクト検出またはセグメント化技術の何れかを使用して自動的に選択され得る。ＶＴの応用において、ＲＯＩ38または40は、テレビ会議の参加者の顔42を含むビデオシーン32の一部を含み得る。ＲＯＩ38または40のサイズ、形状、および位置は、一定であることも、または調整可能であることもでき、種々のやり方で定義され、記載され、調整され得る。

ＲＯＩ38または40は、ビデオの送信者が、送信されるビデオシーン32内の個々のオブジェクト、例えば、人の顔42を強調することを可能にする。逆に、ＲＯＩ38または40は、ビデオの受信者が、受信したビデオシーン32内の希望のオブジェクトをよりはっきりと見ることを可能にする。何れの場合においても、ＲＯＩ38または40内の顔42は、非ＲＯＩ区域、例えば、ビデオシーン32の背景領域に比べて、より高い画像品質で符号化される。このようにして、ユーザは、顔の表情、唇の動き、目の動き、等をよりはっきりと見ることができる。

しかしながら、ＲＯＩ38または40は、顔以外のオブジェクトを指定するのに使用され得る。一般に、ＶＴの応用におけるＲＯＩは、非常に主観的であり、ユーザごとに異なり得る。希望のＲＯＩは、ＶＴの使われ方によって決まる。ある場合には、ＶＴは、テレビ会議とは異なり、オブジェクトを見て、評価するために使用され得る。例えば、とくに、発表者の顔がカメラに背を向け、ホワイトボードに向いているとき、ユーザは、発表者の顔ではなく、式または図を含んでいるホワイトボードの一部に焦点を合わせることを望み得る。幾つかの場合において、ビデオシーンは、優先的な符号化として指定される２つ以上のＲＯＩを含み得る。

図４は、ビデオ通信デバイス12において使用されるＲＯＩを可能にするビデオ符号化システム44を示すブロック図である。図４に示されているように、システム44は、ＲＯＩ重み計算器46、ＲＯＩのρ領域ビット割り振りモジュール48、非ＲＯＩ(すなわち、背景)スキッピングモジュール50、ＲＯＩマクロブロック(ＭＢ)マッパ52、フレームレベル レート制御装置54、ρ対量子化パラメータ(ρ-to-quantization parameter, QP)マッパ56、ビデオ符号器58、および歪み解析器60を含む。図４において、ＭＵＸ／ＤＥＭＵＸおよびオーディオの構成要素は、説明を容易にするために省かれている。

図４に示されている種々の構成要素は、ディスクリートな機能モジュールとして、または各モジュールに割り当てられた機能を含むモノリシックモジュールとして、種々のやり方で形成され得る。何れにしても、ビデオ符号化システム44の種々の構成要素は、ハードウェア、ソフトウェア、ファームウェア、またはその組合せで実現され得る。例えば、そのような構成要素は、１つ以上のマイクロプロセッサまたはディジタル信号プロセッサ(digital signal processor, DSP)、１つ以上の特定用途向け集積回路(application specific integrated circuits, ASIC)、１つ以上のフィールドプログラマブル ゲート アレイ(field programmable gate array, FPGA)、または他の同等の集積論理回路またはディスクリートな論理回路上で実行するソフトウェアプロセスとして動作し得る。

図４の例では、ＲＯＩ重み計算器46は、ビデオ通信デバイス12のローカルユーザまたはビデオ通信デバイス14の遠隔ユーザによって入力されたユーザ選好因子（user preference factor）αを受信する。ユーザ選好αは、ＲＯＩの知覚重要度の因子であり、ＲＯＩの視覚品質の重要度を実際のユーザの観点から表現している。ユーザ選好αは、ユーザがＲＯＩ内の視覚品質を評価する度合いを量子化している。ユーザが、ＲＯＩの視覚品質を強く評価するときは、αはより大きくなる。ＲＯＩの視覚品質が、比較的に重要でないときは、αはより小さくなる。選好αに基づいて、ＲＯＩ重み計算器46は、１組の重みｗ_ｉを生成する。重みｗ_ｉは、ＲＯＩのρ領域ビット割り振りモジュール48に適用され、ビデオ符号器58によって符号化されるビデオフレームの非ＲＯＩ区域とＲＯＩ区域との間における重み付けビット割り振りにバイアスをかける。重みｗ_ｉは、ビデオフレーム内の個々のビデオブロック、例えば、マクロブロック(ＭＢ)ごとに指定され得る。ＲＯＩ重み計算器46は、ＲＯＩ ＭＢマッパ52からＲＯＩ ＭＢマップを受信し、それぞれの重みｗ_ｉを、ＲＯＩ ＭＢマッパ52によって識別されたＲＯＩおよび非ＲＯＩのＭＢに割り当てる。より大きい重みｗ_ｉをもつマクロブロックは、より多数の符号化ビットを受信することになる。

ρ領域ビット割り振りモジュール48は、ＲＯＩ重み計算器46から重み入力ｗ_ｉ、非ＲＯＩ背景スキッピングモジュール50からスキッピングの指示(スキップのオン／オフ)、ＲＯＩ ＭＢマッパ52からＲＯＩ ＭＢマップ、フレームレベル レート制御装置54からレート割り当て量(rate budget)Ｒ_{ＢＵＤＧＥＴ}、およびビデオ符号器58から符号化されたＭＢの標準偏差σを受信する。標準偏差σは、動きの推定後に得られる実残差（actual residue）の標準偏差であるか、または前のフレームからの記憶された残差統計量（residual statistics）であり得る。ＲＯＩ ＭＢマッパ52によって与えられるＲＯＩ ＭＢマップは、所与のビデオフレーム内の、指定されたＲＯＩ内に含まれているＭＢを識別する。ρ領域ビット割り振りモジュール48は、ＲＯＩ ＭＢマップを使用して、ＲＯＩのＭＢと非ＲＯＩのＭＢとを区別し、ＲＯＩのＭＢへ優先的にビットを割り振るために、ＲＯＩ重み計算器46によって与えられた重みｗ_ｉを使用する。ビット割り振りモジュール48は、各ＭＢに対するρパラメータを生成する。ρパラメータは、ＭＢにおける非ゼロのＡＣ係数の数を表わす。ρ領域のレート制御は、ＱＰ領域のレート制御よりも正確である傾向がある。

この開示の目的のために、ＲＯＩ ＭＢマップを生成するための適切なプロセスが使用可能であると仮定される。例えば、ＲＯＩマッピングプロセスは、ＲＯＩを定義するユーザからの手入力か、またはＲＯＩの自動定義または検出に基づき得る。ＲＯＩの自動定義または検出は、例えば、顔の検出、顔のセグメント化、およびターゲット追跡のような従来の技術を許容精度で使用する。この開示では、説明のために、頭、または頭および肩のビデオ系列を検討するが、本明細書に記載されている技術は、種々のオブジェクトを含んだ他のタイプのビデオ系列を、付加的にまたは代わりに人物に適用することができ得る。

フレームレベル レート制御装置54は、ビデオ系列内の個々のフレームへのビットの割り振りを生成する。具体的には、フレームレベル レート制御装置54は、現在のフレーム内のＭＢの全て、すなわち、ＲＯＩのＭＢおよび非ＲＯＩのＭＢの両者を符号化するのに使用可能なビット数を示す値Ｒ_{ＢＵＤＧＥＴ}を生成する。図４にさらに示されているように、ρ領域ビット割り振りモジュール48は、非ＲＯＩ背景スキッピングモジュール50からスキップの指示(スキップのオン／オフ)を受信する。これは、現在のフレームにおける背景が符号化されるか、またはスキップされるかを示す。背景がスキップされると、ρ領域ビット割り振りモジュール48は、そうでなければ非ＲＯＩに割り振られていたであろうビットを、実際において、取り返し（recapture）、ＲＯＩを符号化するのに使用可能なビットのプールにそれらを再割り当てすることができる。したがって、スキッピングが特定のフレームにおいてオンであるとき、ρ領域ビット割り振りモジュール48は、ＲＯＩに割り振るためのより多くのビットをＲ_{ＢＵＤＧＥＴ}内にもつ。背景が特定のフレームにおいてスキップされるとき、前に符号化されたフレームからの背景が、その場所において代わりに使われ得る。その代わりに、スキップされた背景は、補間によって生成されることができる。

ρ領域ビット割り振りモジュール48は、重みｗ_ｉ、ＲＯＩ ＭＢマップ、Ｒ_{ＢＵＤＧＥＴ}、スキップのオン／オフの指示、および標準偏差σを使用して、各ＭＢに対するρの割り当て量（budget）を示すρ領域の出力を生成する。ρ領域の出力は、ρ対ＱＰマッパ56に適用され、これは、各ＭＢごとに、ρ値を対応するＱＰ値にマップする。ビデオ符号器58は、フレーム内のＭＢのＱＰ値を使用して、入力ビデオを符号化して、符号化されたビデオを生成する。さらに加えて、スキッピングモジュール50は、スキップの指示(スキップのオン／オフ)をビデオ符号器58に与え、連続フレームをフレームユニットへグループ化し、フレームのＲＯＩ区域を符号化し、フレームユニット内のフレームの１つにおける非ＲＯＩ区域の符号化をスキップするように、ビデオ符号器に指示する。前のフレームユニットに関連する歪み値が閾値未満であるときは、スキッピングモジュール50が、フレームユニット内のフレームの１つにおける非ＲＯＩ区域の符号化をスキップするように、ビデオ符号器58に指示し得るという意味で、スキッピングは適応性（adaptive）であり得る。このように、スキッピングモジュール50は、視覚品質を維持するために、歪みのレベルに基づく適応スキッピング（adaptive skipping）を適用し得る。

入力ビデオは、ビデオ通信デバイス12と統合された、または動作可能に連結されたビデオ取り込みデバイス（video capture device）、例えば、ビデオカメラから得られ得る。幾つかの実施形態では、例えば、ビデオ取り込みデバイスは、移動電話に統合され、いわゆるカメラ付き電話またはテレビ電話を形成し得る。このように、ビデオ取り込みデバイス40は、移動ＶＴの応用を支援し得る。ビデオは、ビデオ通信デバイス12上でローカルに、送信されるときはビデオ通信デバイス14上で、ディスプレイデバイスを介して提示される。このディスプレイデバイスは、例えば、液晶ディスプレイ(liquid crystal display, LCD)、プラズマスクリーン、等であり、ビデオ通信デバイス12または14と、統合されるか、または動作可能に連結され得るものである。

歪み解析器60は、符号化されたビデオを、元の入力ビデオに対して解析する。例えば、歪み解析器60は、元の入力ビデオフレームＦを、再構成されたビデオフレームＦ'と比較する。歪み解析器60は、非ＲＯＩ背景スキッピングモジュール50へ適用される歪み値Ｄ_{ＮＯＮＲＯＩ ＳＫＩＰ}を生成する。歪み値Ｄ_{ＮＯＮＲＯＩ ＳＫＩＰ}は、次のビデオフレームの非ＲＯＩ区域がスキップされるべきかどうか示す。したがって、現在のフレームにおける適応非ＲＯＩスキッピングのために、非ＲＯＩスキッピングモジュール50は、通常、前のフレームか、または２つ以上のフレームを含むフレームユニットに関係する歪み情報に依存し得る。

歪み値Ｄ_{ＮＯＮＲＯＩ ＳＫＩＰ}が希望の閾値を越えると、非ＲＯＩ背景スキッピングモジュール50は、次のフレーム内の非ＲＯＩがスキップされるべきではないことを示す。この場合に、ＲＯＩおよび非ＲＯＩ区域は、両者とも符号化される。しかしながら、歪み値が希望の閾値未満であるときは、過剰なレベルの歪みがなければ、非ＲＯＩ区域をスキップすることができる。この場合は、前のフレームのために符号化された非ＲＯＩ区域が、現在のフレームにおいて使用される。後述するように、非ＲＯＩスキッピングモジュール50は、連続フレームをフレームユニットにグループ化し、前のフレームユニット、すなわち、現在符号化されているフレームよりも前のフレームを含んでいるフレームユニットに対する歪み値Ｄ_{ＮＯＮＲＯＩ ＳＫＩＰ}に応じて、フレームの1つにおける非ＲＯＩの符号化をスキップするように、ビデオ符号器58に指示し得る。

図５は、この開示の別の実施形態にしたがって、ＲＯＩ品質メトリック計算器61を示すブロック図である。図４のＲＯＩ重み計算器46は、ＲＯＩ品質メトリック計算器61の一部を形成し得る。したがって、ＲＯＩ品質メトリック計算器46の１つの生成物は、ユーザ選好因子αと、ビデオ忠実度、空間品質、および／または時間品質の値とに基づき得る1組の重みｗ_ｉであり得る。図５に示されているように、ＲＯＩ品質メトリック計算器61は、ユーザ選好値αおよび１つ以上のビデオの歪み値を受信する。ビデオの歪み値は、ＲＯＩ値と非ＲＯＩ値とに分けられ、ビデオ忠実度値Ｄ_ＲＦ、Ｄ_ＮＦ、空間品質値Ｄ_ＲＳ、Ｄ_ＮＳ、および時間品質値Ｄ_ＲＴ、Ｄ_ＮＴを含み得る。Ｄ_ＲＦは、ＲＯＩ内のビデオ忠実度を表わし、一方で、Ｄ_ＮＦは、非ＲＯＩ領域内のビデオ忠実度を表わす。Ｄ_ＲＳは、ＲＯＩ区域内の空間品質を表わし、一方で、Ｄ_ＮＳは、非ＲＯＩ区域内の空間品質を表わす。Ｄ_ＲＴは、ＲＯＩ区域内の時間品質を表わし、一方で、Ｄ_ＮＴは、非ＲＯＩ区域内の時間品質を表わす。ＲＯＩ品質メトリックは、符号化されたビデオ系列の品質を評価するときの知覚品質(空間、時間、または両者)、ビデオ忠実度、およびユーザの関心を一緒に考慮する。幾つかの実施形態において、メトリックは、ρ領域ビット割り振りモジュール48によって適用されるビット割り振りアルゴリズムにバイアスをかけ、より良い主観的な視覚品質を達成するのに使用され得る。

ＲＯＩのビデオの符号化は、広く研究されてきたが、ＲＯＩのビデオの品質測定値は十分に詳しく扱われなかった。ほとんどの品質測定技術では、ピーク信号対雑音比(peak signal to noise ratio, PSNR)を歪み測定値として使用し、ビデオフレームのＲＯＩおよび非ＲＯＩ部分の品質を評価している。ＲＯＩのビデオの品質メトリックは、解析のためだけでなく、主観的な視覚上の好ましい解のために、(例えば、図４のビット割り振りモジュール48によって適用される)重み付けビット割り振り技術にバイアスをかける入力としても有益である。一般に、既に記載したように、ＲＯＩのビデオ品質の評価は、少なくとも３つの観点、すなわち、ユーザのＲＯＩの視覚品質への関心または選好α、再構成されたビデオデータのビデオ忠実度、および再構成されたビデオデータの知覚品質(空間、時間、または両者)を考慮する。

ユーザ選好αは、ＲＯＩ部分および非ＲＯＩ部分へのビデオフレームの分類と、それらの関連する知覚重要度因子とを直接的に決める。テレビ電話の応用では、人間の顔の表情は非常に複雑であり、小さな変化が大量の情報を伝えることができるので、話者の顔領域は、典型的なＲＯＩである。ビデオ忠実度因子に関して、ＰＳＮＲは、良い測定値であり、これは、元のフレームと比較される、再構成されたビデオフレームの歪みの総量を示す。再構成されたフレームは、符号化されたビデオフレームを復号することによって生成される。一方で、元のフレームは、符号化前のビデオフレームである。

多くの場合において、ビデオ忠実度は、ビデオの符号化のための最も重要な検討事項（consideration）であり、あらゆる改善が、より良い主観的な視覚品質を生み得る。しかしながら、場合によっては、知覚品質因子も考慮に入れるべきであるので、これは必ずしも当てはまるわけではない。知覚品質は、空間の誤差および時間の誤差の両者を考慮に入れる。空間の誤差は、ブロッキング(すなわち、ブロッキネス（blockiness）)、リンギング（ringing）のアーチファクト、またはこの両者の存在を含み得る。時間の誤差は、時間的フリッカ（temporal flicker）の存在（すなわち、ビデオフレームの視覚品質が時間軸に沿って非一様に変化するとき）を含み得る。時間の誤差は、ビデオ系列における不規則に変化する動き（choppy motion）をもたらすことがあり、これは望ましくない。

Ｄ_ＲおよびＤ_ＮＲは、ＲＯＩおよび非ＲＯＩの画素当たりの正規化された歪みを示し、αは、ＲＯＩの知覚重要度因子を示す。上述の観点の関係性が、ビデオ品質の評価において、線形関数に簡素化できると仮定すると、ビデオ系列の全体的な歪みは、次のように表わすことができる。

βおよびγは、重み付け因子であり、Ｄ_ＲおよびＤ_ＮＲは、ＲＯＩおよび非ＲＯＩの全体的な歪みであり、Ｄ_ＲＦ、Ｄ_ＲＳ、およびＤ_ＲＴは、忠実度、空間の知覚品質、および時間の知覚品質におけるＲＯＩの正規化された誤差であり、Ｄ_ＮＦ、Ｄ_ＮＳ、およびＤ_ＮＴは、非ＲＯＩ区域の対応するものである。値α、β、およびγは、０ないし１の実数値を割り当てられる。結果の品質メトリックは、重み付けビット割り振りにおけるロー（rho）パラメータの最適化問題を式にする費用関数（cost function）として使用されるか、またはＲＯＩの処理における他の問題に使用されることができる。

無線テレビ電話のような、低ビットレートのビデオの応用において、ブロッキング(すなわち、ブロッキネス)のアーチファクトは、空間知覚品質の主要な問題である。この種のアーチファクトは、高周波係数のほとんどが取り除かれる、すなわち、ゼロに設定される場合の、量子化によって生じる。結果の影響は、滑らかにされた画像ブロックがブロックの境界を相当に目立たせる。極端に低いビットレートの場合、ＤＣ係数のみが符号化され、復号された画像を、区分的に一定のブロック（piece-wise constant block）にする。この開示において、ＲＯＩの空間品質の値Ｄ_ＲＳ(Ｄ_ＮＳも同様)は、正規化されたブロッキネスの歪みとして定義される。これは、次のように表わされ得る。

なお、ブロック間の境界は、知覚可能な不連続性が存在するかどうかを確かめるために検査される。適切な不連続性の検出アプローチでは、ブロック境界を横切る強度勾配の平均平方差の和を検査する。これは、文献（S. Minami, A. Zakhor, “An optimization approach for removing blocking effects in transform coding”, IEEE Trans. Circuits Systems for Video Technology, Vol. 5, No. 2, pp. 74-82, April 1995）に記載されており、その全内容は、参照によって本明細書に取り入れられる。このアプローチは、ブロック境界の両側部の勾配が同一であり、勾配の急な変化が量子化による可能性が高いと仮定している。

式（１）において、Ｄ_ＲＴ(または、Ｄ_ＮＴ)の値は、ビデオ系列の全フレームのＤ_ＲＳ（または、Ｄ_ＮＳ）の分散に基づく〔０，１〕の範囲内の割り当てられたスコア（assigned score）として定義される。このように、ビデオ忠実度、空間知覚品質、および時間知覚品質に関する項は正規化され、重み付けパラメータα、β、およびγによってブリッジされ（bridge）、制御可能なビデオ品質測定値を形成することができる。これらの重み付けパラメータの選択は、要件および期待に基づいて、ユーザが行う。繰り返すが、この測定値は、好ましい主観的な知覚のために、ビット割り振りプロセスにバイアスをかける入力として役立ち得る。その結果、ユーザは、ＲＯＩの符号化において、より視覚的に好ましい結果を達成し得る。

図６は、ＲＯＩの品質メトリックの計算のために、ＲＯＩユーザ選好入力デバイス62を組み込んだ無線通信デバイス36を示す図である。図６では、無線通信デバイス36は、ほぼ図２にしたがうが、さらに、ユーザ選好αを取り込むために、入力デバイス62を組み込んでいる。ユーザ選好αは、ビデオシーン32のＲＯＩおよび非ＲＯＩ部分に割り当てられた相対的重要度を指定する。図６の例において、入力デバイス62は、スライダ64を備えたスライダバーの形で示されており、スライダ64は、スライダバーの長さに沿って動かされ、ユーザ選好αの度合いを示すことができる。

ユーザは、入力デバイス62を使用して、ユーザ選好αを選択的に調整し、例えば、品質メトリック計算器61によるＲＯＩのビット割り振りに動的に影響を与えることができる。ユーザ選好αが変わると、ビデオフレームのＲＯＩ部分と非ＲＯＩ部分との間におけるビット割り振りが変わり得る。水平方向のスライダバーが、図６に示されているが、入力デバイス62は、種々の同等の入力媒体の任意のもの、例えば、垂直方向のスライダバー、ボタン、ダイヤル、ドロップダウン パーセンテージ メニュー（drop-down percentage menu）、等によっても実現され得る。そのような入力媒体は、タッチスクリーン、または種々のハードキー、ソフトキー、ポインティングデバイス、等の任意のものを介して操作され得る。

図７は、ＲＯＩ品質メトリック計算器61を使用して、ビデオ系列を解析し、ＲＯＩを可能にするビデオ符号器63によって適用される符号化パラメータを最適化するブロック図である。図７に示されているように、ＲＯＩを可能にするビデオ符号器63が、入力ビデオ系列を符号化する前に、ＲＯＩ品質メトリック計算器61が、その入力ビデオ系列の歪み値を解析するのに適用される。したがって、ＲＯＩ品質メトリック計算器は、例えば、図５を参照して記載したように、ビデオのビットストリームの歪み値を解析する。ＲＯＩ品質メトリック計算器は、歪み値およびユーザ選好値αに基づいて、１組の最適化されたパラメータを生成する。これは、ビデオ符号器63によって、入力ビデオ系列を符号化するときに使用される。最適化されたパラメータは、ビデオフレームのＲＯＩおよび非ＲＯＩ区域間で符号化ビットを割り振るためにビット割り振りモジュールによって使用される重みか、またはビット割り振りに使用される他のパラメータ、例えば、重み付け因子βおよびγの値を含み得る。ある意味で、図７は、ＲＯＩ品質メトリック計算器61が、入力ビデオ系列を符号化前に解析するが、符号化されたビデオを解析しない開ループの実施を表わしている。品質メトリックは、符号器63によって使用される最適符号化パラメータの生成をもたらす。

図８は、ＲＯＩ品質メトリック計算器61を使用して、符号化されたビデオを解析し、ＲＯＩを可能にするビデオ符号器63によって適用される符号化パラメータを調整することを示すブロック図である。図８の例において、ＲＯＩ品質メトリック計算器61は、符号化されたビデオに関連する歪み値と、ユーザ選好値αとを解析して、ＲＯＩを可能にするビデオ符号器63によって使用される符号化パラメータを調整する。したがって、ビデオが、ＲＯＩを可能にするビデオ符号器63によって符号化された後で、ＲＯＩ品質メトリック計算器61はそのビデオを解析し、閉ループベースで調整し、例えば、ビデオ符号器の性能および符号化されたビデオの品質を向上する。符号化パラメータの調整は、ビデオフレームのＲＯＩ区域と非ＲＯＩ区域との間で符号化ビットを割り振るためにビット割り振りモジュールによって使用される重みか、またはビット割り振りにおいて使用される他のパラメータの値、例えば、重み付け因子βおよびγの調整を含み得る。図８の例では、品質メトリックと閾値との比較が満たされるまで、品質メトリックを使用して、品質をループ内で反復的に符号化し、評価する。各反復において、品質メトリック計算器61は、符号化パラメータの向上した組を送る。最終的に、品質メトリックの閾値が満たされるか、または結果が収束することにより、反復は止まる。

図９は、ＲＯＩ品質メトリックの計算を示すフローチャートである。図９に示されているように、ＲＯＩ品質メトリック計算器46は、適用可能なＲＯＩ ＭＢマップを与えられ、ＲＯＩのユーザ選好αを得て（68）、ビデオフレームのＲＯＩおよび非ＲＯＩ部分を符号化する（70）。符号化されたビデオフレームを再構成するとき、歪み解析器60は、前に符号化されたビデオフレームと元のビデオフレームとを解析し、前のビデオフレームのＲＯＩおよび非ＲＯＩ部分のビデオ忠実度Ｄ_ＲＦおよびＤ_ＮＦをそれぞれ判断する。さらに加えて、歪み解析器60は、ＲＯＩおよび非ＲＯＩの知覚時間品質の値Ｄ_ＲＴ、Ｄ_ＮＴ、並びにＲＯＩおよび非ＲＯＩの知覚空間品質の値Ｄ_ＲＳ、Ｄ_ＮＳをそれぞれ生成する。ＲＯＩ品質メトリック計算器46は、歪み解析器60からビデオ忠実度の値（72)、ＲＯＩおよび非ＲＯＩの時間品質の値（74)、およびＲＯＩおよび非ＲＯＩの空間品質の値（76)を得る。

ユーザ選好α、ビデオ忠実度、空間品質、および時間品質に基づいて、ＲＯＩ品質メトリック計算器46は、ＲＯＩ品質メトリックを決める（78)。ビデオ忠実度は、元のフレームに対する再構成されたビデオフレームにおける、例えば、画素ごとの色の強さの値に関するビデオの誤差を測定する。空間品質は、元のフレームに対する再構成されたフレームにおける空間の誤差、例えば、ブロッキングおよびリンギングのアーチファクトを測定する。時間品質は、フレームの視覚品質が時間軸に沿って非一様に変化する時間的フリッカのような誤差を測定する。

ユーザ選好αは、ユーザによって適用される現在の値であり、一方で、ビデオ忠実度、空間品質、および時間品質は、ビット割り振りモジュール48によって処理される現在のフレームよりも前の１つ以上のフレームから得られることに注意すべきである。ユーザ選好αは、ユーザがその値を変更するときまで、フレームごとに一定であり得る。ユーザが値を指定しなかったときは、デフォルト値が、ユーザ選好因子αに割り当てられ得る。図５を参照して既に記載したように、ＲＯＩの品質メトリックは、現在のビデオフレームのＲＯＩおよび非ＲＯＩ間のビットの割り振りにバイアスをかけるために適用され得る（80）。例えば、品質メトリックは、ＲＯＩのビット割り振りの重みを調整するために使用され得る。幾つかの実施形態において、図９に示されている機能は、図８の“閉ループ”の例におけるＲＯＩ品質メトリック計算器61によって行われる動作を表わし得る。

図１０は、ビデオ系列のＲＯＩ品質メトリックの計算を示すフローチャートである。図１０は、図９に実質的に対応しているが、品質メトリックの計算が、ビデオストリームが符号化される前のビデオストリームに対して行われる実施形態を表わしている。したがって、図１０のプロセスは、ビデオストリームを得ること（67）をさらに含む。さらに加えて、図９とは対照的に、ビデオの符号化（70）は、ＲＯＩ／非ＲＯＩのビット割り振りにバイアスをかけた（80）後で行われる。幾つかの実施形態において、図１０に示されている機能は、図７の“開ループ”の例におけるＲＯＩ品質メトリック計算器61によって行われる動作を表わし得る。

図１１は、ＲＯＩのρ領域のビット割り振りを示すフローチャートである。図１１に示されているように、ビット割り振りモジュール48は、ＲＯＩの定義（82)と、フレームに対するレート割り当て量（rate budget）（84)との両者を得る。ＲＯＩの定義は、ＲＯＩ内に含まれるＭＢまたは他のビデオブロックを識別するＲＯＩ ＭＢマップの形をとり得る。レート割り当て量は、ＲＯＩおよび非ＲＯＩ区域を含むフレーム全体を符号化するのに使用可能なビット数を与える。さらに加えて、ビット割り振りモジュール48は、ＲＯＩ重み計算器46からＲＯＩの重みｗ_ｉを得る（86）。重みｗ_ｉは、ＲＯＩと非ＲＯＩとの間におけるビット割り振りにバイアスをかける。フレームに対して非ＲＯＩスキップモードを決めるとき（88）、すなわち、フレームに対してスキッピングがオンか、またはオフかを決めるとき、ビット割り振りモジュール48は、現在のフレームの統計値を得る（89）。次に、現在のフレームの統計値（89）を使用して、後の（１つ以上の）フレームに対してスキッピングモードを決めることができる。フレームの統計値は、例えば、動き推定後のフレームの残差（residue）の標準偏差を含み得る。その代わりに、フレームの統計値は、前の（１つ以上の）フレームに対して得られることができる。スキップモードの指示（88)により、ビット割り振りモジュール48は、全ての使用可能なビットをＲＯＩに宛てることができる(非ＲＯＩフレームのスキッピングはオンである)か、またはビットをＲＯＩと非ＲＯＩとの間で共有しなければならない(非ＲＯＩフレームのスキッピングはオフである)か、を決めることができる。

ＲＯＩの定義、フレームのレート割り当て量、品質メトリックのバイアス、非ＲＯＩスキップモードを使用して、ビット割り振りモジュール48は、ＲＯＩのＭＢと非ＲＯＩのＭＢとの間におけるビットの重み付けされたρ領域の割り振りを生成する（90）。ρ領域のビットの割り振りを決めると、マッパ56は、ρ対ＱＰのマッピングを行い、ＭＢのＱＰ値を与え（92）、ビデオ符号器58に適用する（94）。マッパ56は、ρ対ＱＰのマッピングテーブルか、あるいは特定のρに対するＱＰを生成する式または関数を適用し得る。ビデオ符号器58は、ビット割り振りモジュール48およびマッパ56によって与えられたＱＰ値を使用し、適用可能なビデオフレーム内の個々のＲＯＩおよび非ＲＯＩのＭＢを符号化する。結果のビット割り振りは、適用可能なフレーム割り当て量だけでなく、非ＲＯＩスキッピングの使用可能性、およびビデオ系列内の前の（１つ以上の）フレームに関連する品質メトリックも考慮に入れ得る。ビット割り振りモジュール48の動作は、さらに詳しく別途記載される。

この開示に記載されているビット割り振り技術は、全体的に、十分なＲＯＩの検出または定義の使用可能性、および許容可能なフレームレベルのレート制御の使用可能性を仮定している。これに基づいて、ビット割り振り技術は、全体的に、ＲＯＩのＭＢと非ＲＯＩのＭＢとの間におけるＭＢレベルのレート制御に焦点を当てる。最も一般的なＲＯＩビット割り振りアルゴリズムは、ＩＴＵ Ｈ．２６３＋ ＴＭＮ８モデルの重み付けバージョンに基づく。ここでは、費用関数が生成され、この関数における種々の領域上の歪み成分は、１組の予め設定された重みを使用することによって、別々に処分（punish）される。他のビデオ標準のほとんどのように、ＴＭＮ８は、ＱＰの関数でレートおよび歪みをモデル化したＱ領域のレート制御方式を使用する。しかしながら、この開示に記載されているビット割り振り技術は、ρ領域のレート制御モジュールを使用する。なお、ρは、ビデオ符号化においてＭＢ内の非ゼロの量子化されたＡＣ係数の数を表わす。本明細書に記載されているように、ρ領域のビット割り振りを使用すると、ＱＰ領域のレート制御よりも正確である傾向があり、レート変動を効果的に低減し得る。

ビデオの符号化の応用において、典型的な問題は、ビデオ系列の所与のビット割り当て量に関する歪み値Ｄ_{ｓｅｑｕｅｎｃｅ}を最小化することである。この複雑な問題に対する最適解は、最適なフレームレベルのレート制御のアルゴリズム、および最適なマクロブロックレベルのビット割り振り方式に依存する。しかしながら、テレビ電話のような実時間の応用では、現在のフレームを符号化しているとき、将来のフレームに関する使用可能な情報は非常に限られており、最適なフレームレベルのレート制御を追跡することは実際的または実現可能ではない。通常は、一般的なアルゴリズム(“グリーディ（greedy）”アルゴリズム)が適用される。グリーディアルゴリズムは、ビデオ内容の複雑さが、ビデオ系列内のフレームに沿って一様に分散していると仮定する。これに基づいて、グリーディアルゴリズムは、使用可能なビットの一部を、系列内のフレームの各々に割り振る。実時間の応用では、将来のフレーム情報の使用可能性が限られていることが、レート制御において時間品質を考慮することを困難にしている。

この開示において、実用解（practical solution）を見付けて、ビット割り振り問題を単純化するために、全体的に、良いフレームレベルのレート制御が使用可能であると仮定する。この仮定は、ビット割り振り問題をマクロブロックレベルのビット割り振りに還元する。同時に、ビット割り振り方式は、非ＲＯＩスキッピングのアプローチを利用し得る。非ＲＯＩスキッピングは、スキップされた領域が、前のフレームの知覚品質と同じ知覚品質を示すので、時間の歪みの項

の値を約す機会を増やす。したがって、非ＲＯＩ区域のスキッピングは、連続フレーム間の知覚品質の変動を低減し得る。

説明のために、ビデオフレームの画像品質は、式（１）にしたがって評価される。しかしながら、単純化のために、βおよびγは、β＋γ＝１になるように設定される。Ｒ_{ｂｕｄｇｅｔ}を、所与のフレームｆに対する総ビット割り当て量とし、Ｒを、フレームを符号化するためのビットレートとして示すと、問題は次の関数によって表わすことができる。

上述の最適化問題は、ラグランジュ緩和（Lagrangian relaxation）、および動的なプログラミングによって解くことができる。しかしながら、そのようなアプローチの計算上の複雑さは、実時間システムが負い得る複雑さよりも相当に高いであろう。このため、この開示にしたがって、低複雑度のほぼ最適解（near-optimal solution）が好ましい。具体的には、この開示において、ρ領域における２段のビット割り振りアルゴリズムが適用される。第１段は、次の最適化問題に関わる。

βが比較的に大きい数であるとき、この２段のアルゴリズムの結果は、最適解に非常に近くなり得る。β＝１であるとき、問題（３）および（４）は同一である。この開示では、焦点を、第１段と、問題（４）に対する解とに当てる。

ＲＯＩのビデオ符号化において、Ｎは、フレーム中のＭＢの数であり、{ρ_ｉ}、{σ_ｉ}、{Ｒ_ｉ}、および{Ｄ_ｉ}は、それぞれ、ｉ番目のマクロブロックにおけるρ、標準偏差、レート、および歪み(平方誤差の和）の組である。

なお、Ｋは、ＲＯＩ内のＭＢ数である。式（５）は、例えば、ＲＯＩ重み計算器46によって実施され得る。したがって、フレームの重み付けされた歪みは、式（６）である。

したがって、問題（４）は次のように書き直すことができる。

Minimize Ｄ （７）
その結果、Ｒ≦Ｒ_{ｂｕｄｇｅｔ}
式（７）は、モデリングに基づくビット割り振りアプローチを使用することによって解かれる。自然画像（nature image）のＡＣ係数の分布は、ラプラシアン分布(Laplacian distribution)

によって最も良く見積もることができる。したがって、ｉ番目のマクロブロックのレートおよび歪みは、次の式（８）および（９）において、ρの関数としてモデル化することができる。

例えば、レートは、次のように表わすことができる。

Ｒ_ｉ＝Ａρ_ｉ＋Ｂ （８）
なお、ＡおよびＢは、定数のモデル化パラメータであり、Ａは、非ゼロ係数を符号化するのに必要とされるビットの平均数として考えることができ、Ｂは、非テキスト情報によるビットとして考えることができる。

さらに加えて、歪みは、次のように表わすことができる。

なお、θは、未知の定数であり、σは、残差データ（residual data）の標準偏差である。なお、任意の選択されたρ_ｉから許容量子化器（acceptable quantizer）を生成するのに使用可能な十分に正確なρ−ＱＰのテーブルがあると仮定されているので、ビット割り振り技術では、量子化器の代わりに、ρ_ｉを最適化する。一般に、式（７）は、次のように、制約付き問題を制約なし問題に変換するラグランジュ緩和を使用することによって解くことができる。

式（１４）および（１６）から、次のような、ビット割り振りモデルＩが得られる。

次に、結果のρは、対応するＱＰにマップされ、適切な数の符号化ビットを、それぞれのＲＯＩまたは非ＲＯＩのＭＢに割り振るのに使用される。

別のビット割り振りモデル(ビット割り振りモデルＩＩ)は、別の歪みモデルを使用して得られ得る。別の歪みモデルにしたがって、ステップサイズｑの一様量子化器（uniform quantizer）の使用可能性を仮定すると、量子化によって生じる歪みは、次の式によって与えられる。

文献（T. M. Cover, J. A. Thomas, “Elements of information theory”, Wiley, New York, NY, 1991）に記載されているように、シャノンのソース符号化定理にしたがって、ラプラシアンのソースについて、シンボルを表わすのに必要とされる最少数のビットは、次の式によって与えられる。

（なお、３８４は、４：２：０のビデオのｉ番目のマクロブロックにおける係数の総数である）、式（２１）は、テーラー展開を使用することによって展開することができ、ビットレートとρとの関係性は、次の式によって見積もることができる。

Ｒ_ｉ＝Ａρ_ｉ＋Ｂ （２２）
なお、ＡおよびＢは、定数のモデル化パラメータであり、Ａは、非ゼロ係数を符号化するのに必要な平均ビット数として考えることができ、Ｂは、非テキスト情報によるビットとして考えることができる。

さらに加えて、係数の分散は、式（２３）によって表わされる。

その結果、ｉ番目のマクロブロックの歪みは、式（２４）によって表わすことができる。

ビット割り振りモデルＩの導関数におけるように、最適ビット割り振り方式は、最適化問題（７）、すなわち、次の問題を解くことによって達成することができる。

概して、式（２５）は、次のように、制約付き問題を制約なし問題に変換するラグランジュ緩和を使用することによって解くことができる。

式（２６）において、偏導関数をゼロにすることによって、最適化されたρ_ｉに対する次の式が得られる。

式（２８）および（３０）から、次の式が得られる。

なお、ρ_{ｂｕｄｇｅｔ}は、フレームに対する全てのρの割り当て量である。

歪みは、式（３２）において、別々にモデル化されているが、そのモデルに基づいて、次のビット割り振りモデルＩＩが得られる。

式（３３）は、例えば、ビット割り振りモジュール48によって実施され得る。

図１２は、重み付けビット割り振りモデルＩおよびＩＩと、最適解とを使用して、符号化技術の全体的な知覚品質を比較したグラフである。最適解は、ラグランジュ緩和によって達成され、一方で、ビット割り振りモデルＩおよびＩＩは、既に記載したように実施される。図１２は、標準のフォアマン（Foreman）のビデオ試験系列の最初の１００フレームのＲＯＩ符号化中における、ＰＳＮＲ（デシベル）対フレームナンバーを示している。図１２において、最適解、ビット割り振りモデルＩ、およびビット割り振りモデルＩＩは、参照番号91、93、および95によってそれぞれ識別されている。ビット割り振りモデルＩおよびＩＩでは、ビット割り振りに重み付けする式（５）の目的において、αの値は０．９である。図１２に示されているように、ビット割り振りモデルＩおよびＩＩの両者は、最適解と比較して、非常によく働く。

図１３は、非ＲＯＩ(“背景”)のスキッピングのための技術を示すフローチャートである。ビデオフレームの非ＲＯＩ区域の符号化をスキップする能力は、ビットの割り振りにおいて相当な節約をもたらすことができる。非ＲＯＩが符号化されない、すなわち、スキップされるとき、さもなければ非ＲＯＩに割り振られたであろうビットは、その代りに、ＲＯＩを符号化するために再び割り振られ、ＲＯＩ内のＭＢの視覚品質を向上することができる。非ＲＯＩが所与のフレームにおいてスキップされるとき、前のフレームにおいて符号化された非ＲＯＩが繰り返されるか、または現在のフレームにおいて補間された非ＲＯＩ区域によって置換される。非ＲＯＩ区域のスキッピングは、ＲＯＩの符号化のためのビットを残しておくことに加えて、現在のフレームの時間品質を向上し得る。具体的には、２つ以上の連続フレームにおいて同じ非ＲＯＩ区域を提示すると、非ＲＯＩ区域における時間的フリッカを低減する傾向がある。

非常に低いビットレート、例えば、３２ｋｂｐｓにおいて、フリッカリングが著しくなるような時間の視覚品質が生成されるときは、ビットがＭＢ間で一様に分散していても、非ＲＯＩ領域は、通常、粗く符号化される。他方で、背景が非ＲＯＩであるテレビ電話の応用のほとんどの場合において、背景の動きは非常に限られている。したがって、背景のスキッピングは、そのスキッピングがビデオ忠実度を著しく劣化しないならば、ビットを再割り振りし、ＲＯＩおよび符号化された非ＲＯＩの領域の品質を向上する解決案である。

フレームのスキッピングは、非常に低いビットレートの応用において、符号化ビットを残しておくのに使用される一般的なアプローチである。非ＲＯＩのスキッピングとフレームのスキッピングとの違いは、非ＲＯＩのスキッピングのアプローチでは、各フレームのＲＯＩが符号化され、ＲＯＩの良い視覚品質を保証することである。フレームのスキッピングは、多くの応用に非常に役立つ。しかしながら、ＲＯＩのビデオ符号化において、フレームのスキッピングは、とくに、式（１）においてαが大きい値に設定されるときは、ＲＯＩのあらゆる歪みがひどく処分され（punish）、全体的な性能を劣化し得るので、顔の表情のような重要な情報を損失する危険がある。したがって、標準のビデオフレームでは、背景のＭＢの数が支配的であるので、非ＲＯＩのスキッピングがより良い選択であり、相当な数のビットを残し、ＲＯＩ品質を向上することができる。

図１３に示されているように、非ＲＯＩスキッピング技術は、連続フレームを、フレームのＲＯＩ区域と、フレーム間で共有される共通の非ＲＯＩ区域とを含むユニットへグループ化することを含む。図１３の例では、２つの連続フレームがグループ化される。非ＲＯＩ背景スキッピングモジュール50は、フレームｉおよびｉ＋１をフレームユニットへグループ化し(96)、非ＲＯＩ区域がスキップされるフレームをビデオ符号器58に知らせる。応答して、ビデオ符号器58は、ビット割り振りモジュール48によって与えられた重み付けビット割り振りを使用して、フレームｉおよびｉ＋１のそれぞれのＲＯＩ区域を符号化する（98）。さらに加えて、ビデオ符号器58は、重み付け割り振りを使用して、フレームｉの非ＲＯＩ区域を符号化する（100）。しかしながら、ビデオ符号器58は、フレームｉ＋１の非ＲＯＩ区域を符号化しない。その代わりに、フレームｉ＋１の非ＲＯＩ区域をスキップし、前のフレームｉの非ＲＯＩ区域をその場所に与える。

非ＲＯＩスキッピングは、フルタイムで行われ得る。例えば、１つおきのフレームにおいて非ＲＯＩを連続的にフルタイムでスキップするために、２つごとのフレームがユニットへグループ化され得る。言い換えると、１つおきのフレーム内の非ＲＯＩが、フルタイムでスキップされ得る。その代わりに、スキッピングは、適応するように、アクティブおよび非アクティブにされることができる。直前のフレームによって生成された非ＲＯＩの歪みが、歪み閾値を越えると、スキッピングは非アクティブにされ得る。図１３に示されているように、例えば、前のフレームの非ＲＯＩ区域内の歪みが、閾値未満であるとき(102)、フレームｉ＋１の非ＲＯＩがスキップされ(104)、プロセスは、２つの連続フレームを含む次のグループに進み、これは、フレームのインクリメントｉ＝ｉ＋２によって表わされる(106)。この場合は、非ＲＯＩの歪みのレベルは許容可能であり、スキッピングはアクティブにされる。しかしながら、非ＲＯＩの歪みが歪み閾値より大きいときは(102)、フレームｉ＋１の非ＲＯＩ区域は、重み付けビット割り振りを使用して符号化される(108)。この場合は、スキッピングは、過剰な非ＲＯＩの歪み、すなわち、該当するビデオシーンの非ＲＯＩ区域内の過剰な歪みのために、非アクティブにされる。

図１４は、ユニット中の連続フレームをグループ化して、非ＲＯＩのスキッピングを支援することを示す図である。図１４に示されているように、フレーム０、１、２、および３は、ビデオ系列内の連続フレームを表わす。この例において、フレーム０およびフレーム１は、ユニット１へグループ化され、フレーム２およびフレーム３は、ユニット２へグループ化される。各ユニットは、共通の非ＲＯＩ区域を共有している。具体的には、フルタイムのスキッピング、または許容可能な歪みに対して適応スキッピングをする場合において、フレーム０の非ＲＯＩ区域はフレーム１に対して繰り返される。フレーム０の非ＲＯＩ区域がフレーム１に対して繰り返されるので、フレーム１の非ＲＯＩ区域を符号化する必要はない。フレームのユニットへのグループ化は、ビデオ系列全体にわたって適用され得る。図１４の例では、２つのフレームが、ユニットへグループ化される。しかしながら、幾つかの応用では、２つ以上のフレームが、ユニットへグループ化され、非ＲＯＩは、ユニット内のフレームの１つを除く全てでスキップされ得る。

図１５は、共通の非ＲＯＩ区域をもつ連続ＲＯＩ区域の符号化を示す図である。具体的には、連続フレーム０および１をユニットへグループ化するとき、フレーム０および１内のＲＯＩ区域110および112は、それぞれ符号化される。しかしながら、フレーム０の非ＲＯＩ区域114は、フレーム０およびフレーム１の両者において繰り返され、したがって、フレーム１の非ＲＯＩ区域(図示されていない)はスキップされる。このように、そうでなければフレーム１の非ＲＯＩを符号化するために必要とされたであろうビットの消費を避けることができる。図１５の例では、非ＲＯＩ区域114は、“背景”と呼ばれるが、人の肩のような前景の特徴（feature）を含み得ることに注意すべきである。したがって、この開示において、背景は、全体的に、ＲＯＩの外側のあらゆる区域を指し、ビデオシーン内の背景画像に厳密に制限されると見なすべきではない。非ＲＯＩスキッピングは、さらに詳しく別途記載される。

図４の非ＲＯＩスキッピングモジュール50を実施する例示的なプロトタイプのシステムをここで記載する。プロトタイプのシステムでは、図１３ないし１５を参照して既に記載したように、２つごとのフレームがユニットへグループ化される。各ユニットでは、第１の非ＲＯＩ区域を符号化し、例えば、ゼロの動きベクトルをもつ予測ＭＢを使用して、第２の非ＲＯＩ区域をスキップする。系列内のビデオフレームの内容の複雑さが、フレーム全体にわたって一様に分布していると仮定すると、各ユニットに対するビットの割り振りは、‘グリーディ’なフレームレベルのビット割り振りと同じ論理に基づき得る。この仮定を使用するとき、ビットは、２フレームのユニット間で一様に割り振られるべきである。

なお、ρ_{ｓｅｑｕｅｎｃｅ}は、ビデオ系列内のＭ個の連続フレームのグループに対する全てのρの割り当て量であり、ρ_{ｕｎｉｔ ｉ}は、ｉ番目のユニットに対するρの割り振りであり、ρ_ｕｓｅｄは、第１の（ｉ−１）／２ユニットのρの消費量である。ユニット内では、ビット割り振りモデル(ＩまたはＩＩ)が、ＲＯＩおよび非ＲＯＩ区域内のＭＢにビットを割り振るために使用され得る。

本明細書に記載されているように、非ＲＯＩスキッピングの結果を評価するために、幾つかの試験が行われた。試験では、次のビット割り振り技術が比較された。すなわち、（ａ）モデルＩＩに基づく、フルタイムの非ＲＯＩスキッピングを用いた、重み付けビット割り振りアルゴリズム、（ｂ）モデルＩＩに基づく、非ＲＯＩスキッピングを用いない、重み付けビット割り振りアルゴリズム、および（ｃ）ビット割り振りにおいて、ＲＯＩおよび非ＲＯＩのＭＢを等しく扱う“グリーディ”アルゴリズムである。試験は、１５フレーム／秒（frames per second, fps)のレートで、標準の“自動車電話（Carphone）”のＱＣＩＦのビデオ系列の最初の１５０フレームに対して行われた。比較の結果は、図１６ないし２３に示されている。

図１６は、上述の符号化技術（ａ）、（ｂ）、および（ｃ）の全体的な（overall）知覚品質を比較するグラフである。具体的には、図１６は、一定の範囲の符号化レート（キロビット／秒（kilobits per second, kbps)）に対する、知覚のＰＳＮＲ（デシベル(decibel, dB)）をプロットしている。図１７は、上述の符号化技術（ａ）、（ｂ）、および（ｃ）の全体的なビデオ忠実度を比較するグラフである。“全体的な（overall）”ビデオ忠実度という用語は、ＲＯＩおよび非ＲＯＩ区域の両者の結合、すなわち、フレーム全体のビデオ忠実度を指し、その代わりに、“フレーム”のビデオ忠実度と呼ばれることができる。図１７は、一定の範囲の符号化レート（キロビット／秒（ｋｂｐｓ)）に対する、 “フレーム”のＰＳＮＲ（デシベル(ｄＢ)）をプロットしている。

図１８および１９は、上述の符号化技術（ａ）、（ｂ）、および（ｃ）のＲＯＩのビデオ忠実度と非ＲＯＩのビデオ忠実度とをそれぞれ比較するグラフである。具体的には、図１８および１９は、一定の範囲の符号化レート（キロビット／秒（ｋｂｐｓ)）に対する、ＰＳＮＲ（デシベル(ｄＢ)）をプロットしている。図１８におけるＲＯＩのビデオ忠実度は、ビデオフレームのＲＯＩ区域内のビデオ忠実度を指す。図１９における非ＲＯＩのビデオは、ビデオフレームの非ＲＯＩ区域内のビデオ忠実度を指す。図１６ないし１９は、重み付けビット割り振りアルゴリズムにおいて、ユーザ選好因子α＝０．９の適用を表わしている。図１６ないし１９の各々において、（ａ）フルタイムの非ＲＯＩスキッピングを用いた重み付けビット割り振りの曲線、（ｂ）スキッピングを用いない重み付けビット割り振りの曲線、および（ｃ）グリーディアルゴリズムの曲線が、参照番号116、118、120によってそれぞれ識別されている。

図２０および２１は、それぞれ、上述の符号化技術（ａ）、（ｂ）、（ｃ）の全体的な知覚品質および全体的なビデオ忠実度を比較したグラフである。具体的には、図２０は、一定の範囲の符号化レート（キロビット／秒(ｋｂｐｓ)）に対する、知覚のＰＳＮＲ（デシベル(ｄＢ)）をプロットしている。図２１は、一定の範囲の符号化レート（キロビット／秒(ｋｂｐｓ)）に対する、ＰＳＮＲ（デシベル(ｄＢ)）をプロットしている。図２０および２１は、重み付けビット割り振りアルゴリズムにおいて、ユーザ選好因子α＝０．７の適用を表わしている。図２２および２３は、それぞれ、符号化技術（ａ）（ｂ）、および（ｃ）の全体的な知覚品質および全体的なビデオ忠実度を比較するグラフである。図２２および２３は、重み付けビット割り振りアルゴリズムにおいて、ユーザ選好因子α＝０．５の適用を表わしている。図２０ないし２３において、（ａ）フルタイムの非ＲＯＩスキッピングを用いた重み付けビット割り振りの曲線、（ｂ）スキッピングを用いない重み付けビット割り振りの曲線、および（ｃ）グリーディアルゴリズムの曲線が、参照番号116、118、120によってそれぞれ識別されている。

図１６ないし２３に示されている試験結果において、ビデオ品質の測定値の４つの組、すなわち、知覚のＰＳＮＲ、フレームのＰＳＮＲ、ＲＯＩのＰＳＮＲ、および非ＲＯＩのＰＳＮＲの４つの組は、次のように定義される。

上述の式において、Ｄ_{Ｆｒａｍｅ}は、フレームの全体的な時間および空間の歪みであり、Ｄ_Ｆは、元のフレームと再構成されたフレームとの間におけるビデオ忠実度であり、Ｄ_ＲＦは、元のフレームのＲＯＩ区域と再構成されたフレームのＲＯＩ区域との間におけるビデオ忠実度であり、Ｄ_ＮＦは、元のフレームの非ＲＯＩ区域と再構成されたフレームの非ＲＯＩ区域との間におけるビデオ忠実度である。知覚のＰＳＮＲは、図１６、２０、および２２に示されている。フレームのＰＳＮＲは、図１７、２１、および２３に示されている。ＲＯＩのＰＳＮＲは、図１８に示されており、非ＲＯＩのＰＳＮＲは、図１９に示されている。図１６ないし２３に示されている結果は、全試験において、提案された非ＲＯＩスキッピングアプローチが、他のアプローチと比較して、知覚のＰＳＮＲ(perceptual PSNR, PPSNR)において１ｄＢよりも大きい利得をもっていることを示している。図１８および１９に示されているように、利得は、主として、フレームを符号化するときに、非ＲＯＩからＲＯＩへビットを再割り振りすることによって、ＲＯＩの品質が向上することから得られる。

興味深い観測結果は、図１７、２１、および２３に示されているように、フレームのＰＳＮＲに関しても、非ＲＯＩ（背景）スキッピングアプローチが、他のアプローチよりも、低ビットレートで性能が優れていることである。さらに加えて、グラフは、ユーザ選好因子αが小さくなるのに伴って、フレームのＰＳＮＲにおける利得が大きくなることを示している。これらの観測結果は、非ＲＯＩスキッピングアプローチが、ビデオ忠実度だけでなく、視覚品質に関しても、他のアプローチよりも性能が優れているので、無線ＶＴのような非常に低いビットレートの応用にとって非常に魅力的であることを示している。αに、より大きい値、例えば、図１６のα＝０．９を割り当てるとき、重み付けビット割り振りのアプローチが、グリーディアルゴリズムよりも性能が優れると期待される。しかしながら、図２０および２２に示されているように、αが小さくなるのに伴って、この効果は低減する。

フレームスキッピングに依存する重み付けビット割り振り技術、すなわち、非ＲＯＩ区域のみをスキップするのではなくフレーム全体をスキップする技術の性能に対して、非ＲＯＩのスキッピングを取り入れたビット割り振り技術の性能を評価するために、追加の試験が行われた。図２４は、標準のフレームのスキッピングと背景のスキッピングとを使用して、ＲＯＩの符号化技術の知覚品質を比較するグラフである。各場合において、本明細書に記載した重み付けビット割り振りを適用した。１つの場合において、非ＲＯＩ(背景)のスキッピングを適用した。他の場合において、フルタイムのフレームのスキッピングを適用し、１つおきのフレームを交互にスキップした。図２４は、知覚のＰＳＮＲ（デシベル）対レート（キロビット／秒(ｋｂｐｓ)）をプロットしている。図２４において、参照番号122、124、および126は、それぞれ、フレームのスキッピングを用い、ユーザ選好因子がα＝０．９、０．７、および０．５の、重み付けビット割り振りの曲線を識別している。参照番号128、130、132は、非ＲＯＩのスキッピングを用い、ユーザ選好因子がα＝０．９、０．７、および０．５の、重み付けビット割り振りの曲線を識別している。図２４に示されているように、非ＲＯＩのスキッピングを用いた重み付けビット割り振りは、αの全ての設定において、フレームのスキッピングを用いた重み付けビット割り振りよりも性能が優れている。αの値が大きくなるのに伴って、非ＲＯＩスキッッピングによって与えられる性能の利得は大きくなる。αが大きくなるのに伴って、フレームのスキッピングにおけるＲＯＩに対する処分（punishment）がより重くなるので、この結果は理にかなっている。

図１６ないし２４によって示されているように、とくに、非ＲＯＩが比較的に少ない動きを維持するときは、非ＲＯＩ背景スキッピングアプローチは、良い性能になる。しかしながら、大きい動きを含む非ＲＯＩ区域をもつビデオ系列では、性能の利得は低減し得る。同時に、重要な背景情報がスキップされ、システムの性能を劣化することになり得る。したがって、スキッピングがビデオ忠実度をひどく劣化するとき、例えば、背景の内容が重要な情報を含んでいるときは、背景のスキッピングをオフにすることが望ましい。一例として、背景が迅速に動く標準の自動車電話のビデオ試験系列の１８０ないし２０９番目のフレームに対して、非ＲＯＩのスキッピングをオンにした、およびオフにした重み付けビット割り振りによるＲＯＩの符号化を適用した。図２５は、この解析の結果を示している。より具体的には、図２５は、非ＲＯＩのスキッピングをオンにした、およびオフにしたときの、本明細書に記載されている重み付けビット割り振りのＲＯＩ符号化技術の知覚品質を比較するグラフである。

図２５は、知覚のＰＳＮＲ（デシベル）対レート（キロビット／秒）をグラフにしている。図２５において、参照番号134および136は、非ＲＯＩのスキッピングをオンにし、ユーザ選好因子がそれぞれα＝０．９および０．５である重み付けビット割り振りの適用を表わす曲線を識別している。参照番号138、140は、非ＲＯＩのスキッピングをオフにし、ユーザ選好因子がそれぞれα＝０．９および０．５である重み付けビット割り振りの適用を表わす曲線を識別している。図２５の結果は、αが、例えば、０．９から０．５に下がるのに伴って、比較される非ＲＯＩのスキッピングの効果が低減することを示している。この結果は、ビデオ系列の内容、およびユーザ選好因子αによって表わされるユーザの関心レベルに基づいて、非ＲＯＩのスキッピングの動的な制御を可能にする適応非ＲＯＩスキッピングのアプローチを展開する値も示している。

非ＲＯＩのスキッピングを用いた重み付けビット割り振りによって生じる歪みと、非ＲＯＩのスキッピングを用いない重み付けビット割り振りによって生じる歪みとは、次に示されているように、はっきりと比較することができる。

なお、Ｄ_{Ｓｋｉｐ ｏｎ}は、非ＲＯＩのスキッピングモードがオンであるときのユニットの全歪みであり、Ｄ_{Ｓｋｉｐ ｏｆｆ}は、背景のスキッピングモードがオフであるときのユニットの全歪みであり、Ｄ_{ＮｏｎＲＯＩ ｓｋｉｐ}は、ユニットの第２のフレームにおいて非ＲＯＩのスキッピングにより生じる歪みであり、式（３５）のρ_１、ρ_２、および式（３６）のρ_１’、ρ_２’、ρ_３’は、ＲＯＩおよび非ＲＯＩに割り振られたＡＣ係数の個数(ρ)である。

図２６に示されているように、自動車電話のビデオ試験系列のＤ_{ＮｏｎＲＯＩ ｓｋｉｐ}の統計値から、この観測結果が真であることが確認された。図２６は、例示的なビデオ系列における背景のスキッピングによって生じる歪みを示すグラフである。具体的には、図２６は、自動車電話のビデオ試験系列の最初の２４０フレームにおける、平均の非ＲＯＩ領域の残差エネルギ（reside energy）Ｄ_{ＮｏｎＲＯＩ Ｓｋｉｐ}対フレームナンバーをプロットしている。図２６から、フレーム１８０ないし２０９、すなわち、大きい度合いの動きによって特徴付けられるフレーム中において、Ｄ_{ＮｏｎＲＯＩ Ｓｋｉｐ}値が他よりも相当に大きいことは明らかである。したがって、非ＲＯＩのスキッピングは、概ね、好ましいが、フレーム１８０ないし２０９によって示されている大きく動く部分の間は、好ましくない。

上述の観測結果に基づいて、背景のスキッピングモードをオンおよびオフにする基準を求めるタスクは、Ｄ_{ＮｏｎＲＯＩ Ｓｋｉｐ}の歪みに対する閾値を求めるタスクに転換される。ビデオ系列におけるユニットの歪みが滑らかに変化すると仮定すると（これは、ほぼ真である）、一番最近処理されたユニットの歪みの平均値を、歪み閾値を求めるのに使用することができる。

適応非ＲＯＩスキッピングアルゴリズムは、実質的に、図１３に示されているプロセスに実質的に一致し、次のようにも記載することができる。

図２７は、非ＲＯＩスキッピング、非ＲＯＩのスキッピングのオフ、および適応非ＲＯＩスキッピングを使用して、ＲＯＩ符号化技術の全体的な知覚品質を比較するグラフである。各場合において、本明細書に記載されている重み付けビット割り振りアルゴリズムを適用した。図２７は、標準の自動車電話のビデオ試験系列のフレーム１８０ないし２０９のＲＯＩのビデオ符号化における、知覚のＰＳＮＲ（デシベル）対レート（キロビット／秒）をプロットしている。参照番号142および144は、非ＲＯＩスキッピングがオンであり、ユーザ選好因子がそれぞれα＝０．９および０．５である重み付けビット割り振りを表わす曲線を識別している。参照番号146および148は、非ＲＯＩスキッピングがオフであり、ユーザ選好因子がそれぞれα＝０．９および０．５である重み付けビット割り振りを表わす曲線を識別している。参照番号150および152は、適応非ＲＯＩスキッピングであり、ユーザ選好因子がそれぞれα＝０．９および０．５である重み付けビット割り振りを表わす曲線を識別している。この評価において、値ηは、η＝０．２５に設定された。図２７の結果は、適応非ＲＯＩスキッピングアプローチの結果が、αの種々の値に対する最良の解(best solution)に最も近いことを示している。

図２８ないし３３は、この開示に記載されている重み付けビット割り振り技術を適用したＲＯＩ符号化技術の追加の実験結果を示している。図２８ないし３２は、標準の自動車電話のビデオ試験系列への種々のＲＯＩ符号化技術の適用を表わしている。図２８ないし３２において、重み付けビット割り振りのアプローチ(“提案されたアプローチ”、および“重み付けビット割り振り”)に使用されるユーザ選好因子αは、０．９に設定された。“提案されたアプローチ”の表示は、非ＲＯＩスキッピングを用いた重み付けビット割り振りを指す。“重み付けビット割り振り”の表示は、非ＲＯＩスキッピングを用いない重み付けビット割り振りを指す。

図２８は、種々のビット割り振り技術を使用して、ＲＯＩ符号化技術の全体的な知覚品質を比較するグラフであり、知覚のＰＳＮＲ対レートをプロットしている。図２８において、参照番号154、156、158、160、および162は、それぞれ、フレームスキッピングのアプローチ、非ＲＯＩスキッピングを用いた重み付けビット割り振りのアプローチ、グリーディアルゴリズム、一定のＱＰのアルゴリズム、および非ＲＯＩスキッピングを用いない重み付けビット割り振りのアプローチの適用を表わす曲線を識別している。

図２９は、４０キロビット／秒(ｋｂｐｓ)の符号化レートで、種々のビット割り振り技術を使用して、ＲＯＩ符号化技術の全体的な知覚品質を比較するグラフである。具体的には、図２９は、非ＲＯＩスキッピングを用いた重み付けビット割り振り、グリーディアルゴリズム、および一定のＱＰのアルゴリズムを用いた、知覚のＰＳＮＲ対フレームナンバーをプロットしている。

図３０は、４０キロビット／秒(ｋｂｐｓ)の符号化レートで、種々のビット割り振り技術を使用して、ＲＯＩ符号化技術の全体的なビデオ忠実度を比較するグラフであり、ＰＳＮＲ対フレームナンバーをプロットしている。図３１は、４０キロビット／秒(ｋｐｓ)の符号化レートで、種々のビット割り振り技術を使用して、ＲＯＩ符号化技術のＲＯＩのビデオ忠実度を比較するグラフであり、ＲＯＩのＰＳＮＲ対フレームナンバーをプロットしている。図３２は、４０キロビット／秒(ｋｐｓ)の符号化レートで、種々のビット割り振り技術を使用して、ＲＯＩ符号化技術の非ＲＯＩのビデオ忠実度を比較するグラフであり、非ＲＯＩのＰＳＮＲ対フレームナンバーをプロットしている。

図２９ないし３２において、非ＲＯＩスキッピングを用いた重み付けビット割り振りは、参照番号164によって示され、グリーディアルゴリズムは、参照番号166によって示され、一定のＱＰのアルゴリズムは、参照番号168によって示されている。一定のＱＰのアルゴリズムは、フレーム内の全ＭＢが同一の量子化器（quantizer）を割り当てられるフレームレベルのみのレート制御アルゴリズムである。グリーディアルゴリズムは、既に記載されており、ＭＢレベルで動作する。フレームスキッピングのアルゴリズムは、１つおきのフレームの内容の符号化を交互に避ける標準のフレームのスキッピングを適用し、ＲＯＩ区域および非ＲＯＩ区域の両者をスキップする。非ＲＯＩスキッピングを用いない重み付けビット割り振り、および適応フレームスキッピングを用いた重み付けビット割り振り (“提案されたアプローチ”)は、上述で記載した。

図２８は、提案されたアプローチが、ビットレートの範囲全体において、他の全てのアプローチよりも、性能が優れており、性能の利得が、２ｄＢ以内であることを示している。図２９ないし３２は、提案されたアプローチ、グリーディアルゴリズム、および一定のＱＰのアルゴリズムのフレームレベルの詳細が示されている。

図３３は、一定の範囲の符号化レートで、別の例示的なビデオ系列に対して種々のビット割り振り技術を使用して、ＲＯＩ符号化技術の全体的な知覚品質を比較するグラフである。具体的には、図３３は、標準のフォアマン（Foreman）のビデオ試験系列の最初の１８０フレームにおける、知覚のＰＳＮＲ対レートをプロットしている。図３３において、参照番号154、156、158、160、および162は、それぞれ、フレームスキッピングのアプローチ、非ＲＯＩスキッピングを用いた重み付けビット割り振りのアプローチ、グリーディアルゴリズム、一定のＱＰのアルゴリズム、および非ＲＯＩスキッピングを用いない重み付けビット割り振りのアプローチの適用を表わす曲線を識別している。

図３３に示されているように、フォアマンの系列の顔は、自動車電話の系列と比較して、相当により大きい動きを含んでいるので、フレームスキッピングのアプローチは、自動車電話の系列のときと同様に働かない。その結果、フレームスキッピングは、フォアマンの系列では過剰な量のＲＯＩ情報を失い、不満足な性能になる。図３３によって示されているように、適応非ＲＯＩスキッピングを用いた重み付けビット割り振りの提案されたアプローチは、フォアマンの系列において非常に良く働くことに注意すべきである。

この開示では、テレビ電話またはビデオストリーミングの応用のための、とくに、非常に低いビットレートの要件を提示されたときの、例えば、無線テレビ電話における、ＲＯＩの符号化を支援する種々の技術が記載された。この開示は、ＲＯＩのビデオ符号化のために、ρ領域における２つの異なる最適化された重み付けビット割り振り方式を提示している。この開示は、適応非ＲＯＩ(“背景”)スキッピングのアプローチも提示し、これは、重み付けビット割り振りモデルと一緒に働いて、より良い性能を達成することができる。さらに加えて、この開示は、ＲＯＩのビデオの品質を測定するためのビデオ品質メトリックを提示している。ＲＯＩの品質メトリックは、ＲＯＩにおけるユーザ選好、ビデオ忠実度、空間知覚品質、および時間知覚品質を一緒に考慮することによって、より良い主観的な視覚品質を生成する最適化されたビット割り振り技術を導くのに使用することができる。ＲＯＩの品質メトリックは、ユーザのインタラクション（interaction）が、符号化パラメータにバイアスをかけ、主観的な知覚品質要件を満たすことを可能にする。

本明細書に記載されている技術は、ハードウェア、ソフトウェア、ファームウェア、またはその任意の組合せで実施され得る。この技術は、ソフトウェアにおいて実施されるときは、実行されたときに、上述の方法の１つ以上を行わせる命令を含むプログラムコードを含むコンピュータ読み出し可能媒体によって部分的に実現され得る。この場合に、コンピュータ読み出し可能媒体は、ランダム アクセス メモリ（random access memory, RAM）、例えば、同期ダイナミック ランダム アクセス メモリ（synchronous dynamic random access memory, SDRAM）、読み出し専用メモリ（read-only memory, ROM)、不揮発性ランダム アクセス メモリ（non-volatile random access memory, NVRAM)、電気的消去可能プログラム可能読み出し専用メモリ（electrically erasable programmable read-only memory, EEPROM）、フラッシュメモリ、磁気または光学データ記憶媒体、等を含み得る。

プログラムコードは、１つ以上のプロセッサ、例えば、１つ以上のディジタル信号プロセッサ（digital signal processor, DSP）、汎用マイクロプロセッサ、特定用途向け集積回路（application specific integrated circuit, ASIC）、フィールドプログラム可能論理アレイ（field programmable logic array, FPGA）、または他の同等の集積またはディスクリートな論理回路によって実行され得る。幾つかの実施形態において、本明細書に記載されている機能は、符号化および復号のために構成された専用ソフトウェアモジュールまたはハードウェアユニット内に与えられるか、または結合されたビデオ符号器−復号器（encoder-decoder, CODEC)において組み込まれ得る。

種々の実施形態が記載された。これらの実施形態および他の実施形態は、特許請求項の範囲内である。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］連続ビデオフレームをフレームユニットへグループ化することと、
前記フレームユニット中のそれぞれのフレーム内の関心領域を符号化することと、
前記フレームユニット中の前記フレームの少なくとも１つにおけるそれぞれの関心領域外の区域の符号化をスキップすることと、
を含む方法。
［２］ 前記フレームユニット中のフレームの少なくとも１つにおけるそれぞれの関心領域外の区域を符号化することと、前記符号化された区域を、符号化がスキップされた他のフレーム中の区域の代わりに使うこととをさらに含む［１］記載の方法。
［３］ 区域の符号化をスキップすることが、前のフレームユニットに関連する歪み値が閾値未満であるときは、符号化をスキップすることを含む［１］記載の方法。
［４］ 前のフレームユニットの歪み値に基づいて、スキッピングを選択的にオンおよびオフにすることをさらに含む［１］記載の方法。
［５］ 符号化が、フレーム割り当て量と、前記関心領域内のマクロブロックと前記関心領域外の前記ビデオフレームの区域内のマクロブロックとの間における重み付けとに基づいて、前記フレーム内のマクロブロックにロー領域値を割り振ることを含む［１］記載の方法。
［６］ 前記ロー領域値を、対応する量子化パラメータ(QP)値にマップし、符号化ビットの数を前記マクロブロックの各々に割り振ることをさらに含む［５］記載の方法。
［７］ 前記割り振られた符号化ビットを使用して、前記ビデオフレームの前記マクロブロックを符号化することをさらに含む［６］記載の方法。
［８］ 前記割り振られたビットの数が、前記フレーム割り当て量によって指定されたビットの数以下である［７］記載の方法。
［９］ 前記重み付けが、前のフレームの歪みに少なくとも部分的に基づく［５］記載の方法。
［１０］ 前記重み付けが、前のフレームのビデオ忠実度、前記前のフレームの知覚品質、および前記関心領域のユーザ選好に少なくとも部分的に基づく［５］記載の方法。
［１１］ 前記知覚品質が、前記前のフレームに関する時間品質値と空間品質値とを含む［１０］記載の方法。
［１２］ 前記時間品質値が、前記関心領域に関する第１の時間品質値と、前記関心領域外の前記ビデオフレームの区域に関する第２の時間品質値とを含む［１１］記載の方法。
［１３］ 前記空間品質値が、前記関心領域に関する第１の空間品質値と、前記関心領域外の前記ビデオフレームの区域に関する第２の空間品質値とを含む［１１］記載の方法。
［１４］ 前記空間品質値が、前記前のフレームにおけるブロッキングアーチファクトの存在に少なくとも部分的に基づき、前記時間品質値が、前記前のフレームにおける時間的フリッカアーチファクトの存在に少なくとも部分的に基づく［１１］記載の方法。
［１５］ ロー領域値を割り振ることが、前記関心領域外の前記区域の符号化がスキップされるかどうかの指示に基づいて、前記ロー領域値を割り振ることを含む［５］記載の方法。
［１６］ ビデオフレーム内の関心領域の定義を生成する関心領域マッパと、
前記ビデオフレームを符号化するビデオ符号器と、
連続フレームをフレームユニットへグループ化し、前記フレームユニット中のそれぞれのフレーム内の関心領域を符号化するように前記ビデオ符号器に指示し、前記フレームユニット中の前記フレームの少なくとも１つにおけるそれぞれの関心領域外の区域の符号化をスキップするように前記ビデオ符号器に指示するスキッピングモジュールとを含むデバイス。
［１７］ 前記スキッピングモジュールが、前記フレームユニット中の前記フレームの少なくとも１つにおけるそれぞれの関心領域外の区域を符号化するように前記ビデオ符号器に指示し、前記符号化された区域を、符号化がスキップされる他のフレーム中の区域の代わりに使うように前記ビデオ符号器に指示する［１６］記載のデバイス。
［１８］ 前記スキッピングモジュールが、前のフレームユニットに関連する歪み値が閾値未満であるときは、スキッピングを指示する［１６］記載のデバイス。
［１９］ 前記スキッピングモジュールが、前のフレームユニットの歪み値に基づいて、スキッピングを選択的にオンおよびオフにする［１６］記載のデバイス。
［２０］ フレーム割り当て量と、前記関心領域内のマクロブロックと前記関心領域外の前記ビデオフレームの区域内のマクロブロックとの間における重み付けとに基づいて、前記フレーム内のマクロブロックにロー領域値を割り振るビット割り振りモジュールをさらに含み、前記ビデオ符号器が、前記ロー領域値に基づいて前記ビデオフレーム内のマクロブロックを符号化する［１６］記載のデバイス。
［２１］ 前記ロー領域値を、対応する量子化パラメータ(ＱＰ)値にマップし、符号化ビットの数を前記マクロブロックの各々に割り振るマッパをさらに含み、前記ビデオ符号器が、前記割り振られた符号化ビットに基づいて、前記ビデオフレーム内のマクロブロックを符号化する［２０］記載のデバイス。
［２２］ 前記割り振られたビットの数が、前記フレーム割り当て量によって指定されたビットの数以下である［２１］記載のデバイス。
［２３］ 前記重み付けが、前のフレームの歪みに少なくとも部分的に基づく［２０］記載のデバイス。
［２４］ 前記重み付けが、前のフレームのビデオ忠実度、前記前のフレームの知覚品質、および前記関心領域へのユーザ関心に少なくとも部分的に基づく［２０］記載のデバイス。
［２５］前記知覚品質が、前記前のフレームに関する時間品質値と空間品質値とを含む［２４］記載のデバイス。
［２６］前記時間品質値が、前記関心領域に関する第１の時間品質値と、前記関心領域外の前記ビデオフレームの区域に関する第２の時間品質値とを含む［２５］記載のデバイス。
［２７］前記空間品質値が、前記関心領域に関する第１の空間品質値と、前記関心領域外の前記ビデオフレームの区域に関する第２の空間品質値とを含む［２５］記載のデバイス。
［２８］前記空間品質値が、前記前のフレーム中のブロッキングアーチファクトの存在に少なくとも部分的に基づき、前記時間品質値が、前記前のフレーム中の時間的フリッカアーチファクトの存在に少なくとも部分的に基づく［２５］記載のデバイス。
［２９］前記関心領域外の区域の符号化をスキップするかどうかの指示に基づいて、前記フレーム内のマクロブロックにロー領域値を割り振るビット割り振りモジュールをさらに含む［２６］記載のデバイス。
［３０］無線通信チャネルを介して前記符号化されたビデオフレームを送信する無線送信機をさらに含み、デバイスが、移動テレビ電話を支援するように構成されている［２６］記載のデバイス。
［３１］連続ビデオフレームをフレームユニットへグループ化することと、
前記フレームユニット中のそれぞれのフレーム内の関心領域を符号化することと、
前記フレームユニット中の前記フレームの少なくとも１つにおけるそれぞれの関心領域外の区域の符号化をスキップすることと、をプロセッサにさせる命令を含むコンピュータ読み出し可能媒体。
［３２］前記フレームユニット中の前記フレームの少なくとも１つにおけるそれぞれの関心領域外の区域を符号化することと、前記符号化された区域を、符号化がスキップされる他のフレーム中の区域の代わりに使うこととを、前記プロセッサにさせる命令をさらに含む［３１］記載のコンピュータ読み出し可能媒体。
［３３］前のフレームユニットに関連する歪み値が、閾値未満であるときは、符号化をスキップすることを、前記プロセッサにさせる命令をさらに含む［３１］記載のコンピュータ読み出し可能媒体。
［３４］前のフレームユニットの歪み値に基づいて、スキッピングを選択的にオンおよびオフにすることを、前記プロセッサにさせる命令をさらに含む［３１］記載のコンピュータ読み出し可能媒体。
［３５］フレーム割り当て量と、前記関心領域内のマクロブロックと前記関心領域外の前記ビデオフレームの区域内のマクロブロックとの間における重み付けとに基づいて、前記フレーム内のマクロブロックにロー領域値を割り振ることを、前記プロセッサにさせる命令をさらに含む［３１］記載のコンピュータ読み出し可能媒体。
［３６］前記ロー領域値を、対応する量子化パラメータ(ＱＰ)値にマップして、符号化ビットの数を前記マクロブロックの各々に割り振ることを、前記プロセッサにさせる命令をさらに含む［３５］記載のコンピュータ読み出し可能媒体。
［３７］前記割り振られた符号化ビットを使用して、前記ビデオフレームの前記マクロブロックを符号化することを、前記プロセッサにさせる命令をさらに含む［３５］記載のコンピュータ読み出し可能媒体。
［３８］前記割り振られたビットの数が、前記フレーム割り当て量によって指定されたビットの数以下である［３７］記載のコンピュータ読み出し可能媒体。
［３９］前記重み付けが、前のフレームの歪みに少なくとも部分的に基づく［３５］記載のコンピュータ読み出し可能媒体。
［４０］前記重み付けが、前のフレームのビデオ忠実度、前記前のフレームの知覚品質、および前記関心領域へのユーザ関心に少なくとも部分的に基づく
［３５］記載のコンピュータ読み出し可能媒体。
［４１］前記知覚品質が、前記前のフレームに関する時間品質値および空間品質値を含む［４０］記載のコンピュータ読み出し可能媒体。
［４２］前記時間品質値が、前記関心領域に関する第１の時間品質値と、前記関心領域外の前記ビデオフレームの区域に関する第２の時間品質値とを含む［４１］記載のコンピュータ読み出し可能媒体。
［４３］前記空間品質値が、前記関心領域に関する第１の空間品質値と、前記関心領域外の前記ビデオフレームの区域に関する第２の空間品質値とを含む［４１］記載のコンピュータ読み出し可能媒体。
［４４］前記空間品質値が、前記前のフレーム中のブロッキングアーチファクトの存在に少なくとも部分的に基づき、前記時間品質値が、前記前のフレーム中の時間的フリッカアーチファクトの存在に少なくとも部分的に基づく［４１］記載のコンピュータ読み出し可能媒体。
［４５］前記関心領域外の区域の符号化がスキップされるかどうかの指示に基づいて、前記ロー領域値を割り振ることを、前記プロセッサにさせる命令をさらに含む［３５］記載のコンピュータ読み出し可能媒体。

Claims (34)

1. ビデオ符号化システムに適用される方法であって、
   前記ビデオ符号化システムが、関心領域を含む符号化されるビデオフレームの品質メトリックを、前のフレームについてのピーク信号対雑音比に基づいた歪み値を含むビデオ忠実度、前記前のフレームにおける時間的フリッカのアーチファクトの存在に基づく時間品質値、前記前のフレームにおけるブロッキングのアーチファクトの存在に基づく空間品質値および前記関心領域についてのユーザ選好に基づいて生成すること、ここで、前記ユーザ選好は、ユーザによって入力された、前記ユーザの観点からの前記関心領域に対する重要度を示し、
   前記ビデオ符号化システムが、前記品質メトリックに少なくとも部分的に基づいて、ビデオフレーム内の関心領域（ＲＯＩ）と前記ビデオフレーム内の前記関心領域外の区域（非関心領域）との間で、符号化ビットを割り振ること、
   を含み、前記符号化ビットを割り振ることは、
   前記ビデオフレームのレート割り当て量と、前記関心領域内のマクロブロックと前記非関心領域内のマクロブロックとの間における重み付けとに基づいて、フレーム内の各マクロブロックに対し、非ゼロの量子化されるＡＣ係数の数を計算すること、
   各マクロブロックの前記非ゼロの量子化されるＡＣ係数の数に基づき、前記関心領域と、前記非関心領域との間で、符号化ビットを割り振ること、
   現在のビデオフレームにおける前記非関心領域の符号化をスキップする場合には、スキップされなければ前記現在のビデオフレームにおける前記非関心領域に割り振られていたであろう符号化ビットを前記現在のビデオフレームにおける前記関心領域に再割り当てすること、
   を含む、方法。
2. 前記時間品質値は、前記関心領域に対する第１の時間品質値と、前記非関心領域に対する第２の時間品質値とを含む請求項１記載の方法。
3. 前記空間品質値は、前記関心領域に対する第１の空間品質値と、前記非関心領域に対する第２の空間品質値とを含む請求項１記載の方法。
4. 符号化ビットを割り振ることは、さらに、前記非ゼロの量子化されるＡＣ係数の数を、対応する量子化パラメータ(QP)の値にマップすること、
   を含む請求項１記載の方法。
5. 前記品質メトリックは、前記ビデオフレームについて使用可能な符号化ビットの数を規定するレート割り当て量と、前記非関心領域の符号化がスキップされるかどうかの表示と、を含む請求項１記載の方法。
6. 前記ビデオ符号化システムが、連続フレームをフレームユニットへグループ化することと、
   前記ビデオ符号化システムが、前記それぞれのフレームに関連する関心領域を符号化することと、
   前記ビデオ符号化システムが、前記フレームユニット中のフレームの少なくとも１つにおけるそれぞれの非関心領域の符号化をスキップすることと、
   をさらに含む請求項１記載の方法。
7. 前のフレームユニットに関連する歪み値が閾値未満であるとき、前記フレームの少なくとも１つにおけるそれぞれの非関心領域の符号化を選択的にスキップすること、
   をさらに含む請求項６記載の方法。
8. 前記符号化されたビデオフレームは第１のビデオフレームであり、
   前記方法は、さらに、前記ビデオ符号化システムが、前記符号化ビットの割り振りに基づいて、第２のビデオフレームを符号化すること、を含む請求項１記載の方法。
9. 関心領域を含むビデオフレームを符号化するビデオ符号化器と、
   前記ビデオフレームの品質メトリックを、前のフレームについてのピーク信号対雑音比に基づいた歪み値を含むビデオ忠実度、前記前のフレームにおける時間的フリッカのアーチファクトの存在に基づく時間品質値、前記前のフレームにおけるブロッキングのアーチファクトの存在に基づく空間品質値、および前記関心領域についてのユーザ選好に基づいて生成する品質メトリック計算器、ここで、前記ユーザ選好は、ユーザによって入力された、前記ユーザの観点からの前記関心領域に対する重要度を示し、
   前記品質メトリックに少なくとも部分的に基づいて、ビデオフレーム内の関心領域と、前記ビデオフレーム内の前記関心領域外のビデオフレームの区域（非関心領域）との間で、符号化ビットを割り振るビット割り振りモジュール、
   を備え、
   前記ビット割り振りモジュールは、
   前記ビデオフレームのレート割り当て量と、前記関心領域内のマクロブロックと前記非関心領域内のマクロブロックとの間における重み付けとに基づいて、フレーム内の各マクロブロックに対し、非ゼロの量子化されるＡＣ係数の数を計算し、
   各マクロブロックの前記非ゼロの量子化されるＡＣ係数の数に基づき、前記関心領域と前記非関心領域との間で、符号化ビットを割り振り、
   現在のビデオフレームにおける前記非関心領域の符号化をスキップする場合には、スキップされなければ前記現在のビデオフレームにおける前記非関心領域に割り振られていたであろう符号化ビットを前記現在のビデオフレームにおける前記関心領域に再割り当てする、
   デバイス。
10. 前記時間品質値は、前記関心領域に対する第１の時間品質値と、前記非関心領域に対する第２の時間品質値とを含む請求項９記載のデバイス。
11. 前記空間品質値は、前記関心領域に対する第１の空間品質値と、前記非関心領域に対する第２の空間品質値とを含む請求項９記載のデバイス。
12. 前記ビット割り振りモジュールは、
    前記非ゼロの量子化されるＡＣ係数の数を、対応する量子化パラメータ(QP)の値にマップする、
    請求項９記載のデバイス。
13. 前記品質メトリックは、前記ビデオフレームについて使用可能な符号化ビットの数を規定するレート割り当て量と、前記非関心領域の符号化がスキップされるかどうかの表示と、を含む請求項９記載のデバイス。
14. ビデオ符号化器に、連続フレームをフレームユニットへグループ化し、前記それぞれのフレームに関連する関心領域を符号化し、前記フレームユニット内のフレームの少なくとも１つにおけるそれぞれの非関心領域の符号化をスキップするように指示するスキッピングモジュールを、をさらに含む請求項９に記載のデバイス。
15. スキッピングモジュールは、前記ビデオ符号化器に、前のフレームユニットに関連する歪み値が閾値未満であるときは、前記フレームの少なくとも1つにおけるそれぞれの非関心領域の前記ビデオフレームの区域の符号化を選択的にスキップするように指示する、請求項１４記載のデバイス。
16. 無線通信チャネルを介して符号化されたビデオフレームを送信する無線送信機をさらに含み、前記デバイスは、移動テレビ電話を支援するように構成されている請求項９記載のデバイス。
17. 前記デバイスは、集積回路デバイスを備える、請求項９に記載のデバイス。
18. 前記符号化されたビデオフレームは第1のビデオフレームであり、前記ビデオ符号化器は、前記符号化ビットの割り振りに基づいて第2のビデオフレームを符号化する、請求項９記載のデバイス。
19. プロセッサに、関心領域を含む符号化されるビデオフレームの品質メトリックを、前のフレームについてのピーク信号対雑音比に基づいた歪み値を含むビデオ忠実度、前記前のフレームにおける時間的フリッカのアーチファクトの存在に基づく時間品質値、前記前のフレームにおけるブロッキングのアーチファクトの存在に基づく空間品質値、および前記関心領域についてのユーザ選好に基づいて生成させる命令と、ここで前記ユーザ選好は、ユーザによって入力された、前記ユーザの観点からの前記関心領域に対する重要度を示し、
    前記プロセッサに、前記品質メトリックに少なくとも部分的に基づいて、ビデオフレーム内の前記関心領域と、前記ビデオフレーム内の前記関心領域外の区域（非関心領域）との間で、符号化ビットを割り振らせる命令と、
    を含み、
    前記符号化ビットを割り振らせる命令は、
    前記プロセッサに、前記ビデオフレームのレート割り当て量と、前記関心領域内のマクロブロックと前記非関心領域内のマクロブロックとの間における重み付けとに基づいて、前記フレーム内の各マクロブロックに対し、非ゼロの量子化されるＡＣ係数の数を計算させる命令と、
    前記プロセッサに、各マクロブロックの前記非ゼロの量子化されるＡＣ係数の数に基づき、前記関心領域と前記非関心領域外のビデオフレームの区域との間で、符号化ビットを割り振らせる命令と、
    前記プロセッサに、現在のビデオフレームにおける前記非関心領域の符号化をスキップする場合には、スキップされなければ前記現在のビデオフレームにおける前記非関心領域に割り振られていたであろう符号化ビットを前記現在のビデオフレームにおける前記関心領域に再割り当てさせる命令と、
    を含む、コンピュータ読み出し可能記憶媒体。
20. 前記時間品質値は、前記関心領域に対する第１の時間品質値と、前記非関心領域に対する第２の時間品質値とを含む請求項１９記載のコンピュータ読み出し可能記憶媒体。
21. 前記空間品質値は、前記関心領域に対する第１の空間品質値と、前記非関心領域に対する第２の空間品質値とを含む請求項１９記載のコンピュータ読み出し可能記憶媒体。
22. 前記非ゼロの量子化されるＡＣ係数の数を、対応する量子化パラメータ(quantization parameter, QP)の値にマップさせる命令をさらに含む請求項１９記載のコンピュータ読み出し可能記憶媒体。
23. 前記品質メトリックは、前記ビデオフレームについて使用可能な符号化ビットの数を規定するレート割り当て量と、前記非関心領域の符号化がスキップされるかどうかの表示と、を含む請求項１９記載のコンピュータ読み出し可能記憶媒体。
24. 前記プロセッサに、
    連続フレームをフレームユニットへグループ化させ、
    前記それぞれのフレームに関連する関心領域を符号化させ、
    前記フレームユニットの少なくとも1つにおけるそれぞれの非関心領域の符号化をスキップさせる命令をさらに含む請求項１９記載のコンピュータ読み出し可能記憶媒体。
25. 前記プロセッサに、
    前のフレームユニットに関連する歪み値が閾値未満であるときは、前記フレームの少なくとも1つにおけるそれぞれの非関心領域の符号化を選択的にスキップさせる命令を、さらに含む請求項２４記載のコンピュータ読み出し可能記憶媒体。
26. 前記符号化されたビデオフレームは第1のビデオフレームであり、
    前記コンピュータ読み出し可能媒体は、前記プロセッサに、前記の符号化ビットの割り振りに基づいて第2のビデオフレームを符号化させる命令をさらに含む、
    請求項１９記載のコンピュータ読み出し可能記憶媒体。
27. 符号化されたビデオフレームについての関心領域を定義するための手段と、
    関心領域を含む前記符号化されるビデオフレームの品質メトリックを、前のフレームについてのピーク信号対雑音比に基づいた歪み値を含むビデオ忠実度、前記前のフレームにおける時間的フリッカのアーチファクトの存在に基づく時間品質値、前記前のフレームにおけるブロッキングのアーチファクトの存在に基づく空間品質値、および前記関心領域についてのユーザ選好に基づいて生成するための手段と、
    ユーザからユーザ選好値として前記ユーザ選好を得るための手段と、ここで前記ユーザ選好値は、前記ユーザの観点からの前記関心領域に対する重要度を示し、
    前記品質メトリックに少なくとも部分的に基づいて、ビデオフレーム内の関心領域と、前記ビデオフレーム内の前記関心領域外のビデオフレームの区域（非関心領域）との間で、符号化ビットを割り振るための手段と、
    を備え、
    前記符号化ビットを割り振るための手段は、
    前記ビデオフレームのレート割り当て量と、前記関心領域内のマクロブロックと前記非関心領域内のマクロブロックとの間における重み付けとに基づいて、前記フレーム内の各マクロブロックに対し、非ゼロの量子化されるＡＣ係数の数を計算する手段と、
    各マクロブロックの前記非ゼロの量子化されるＡＣ係数の数に基づき、前記関心領域と、前記非関心領域との間で、符号化ビットを割り振る手段と、
    現在のビデオフレームにおける前記非関心領域の符号化をスキップする場合には、スキップされなければ前記現在のビデオフレームにおける前記非関心領域に割り振られていたであろう符号化ビットを前記現在のビデオフレームにおける前記関心領域に再割り当てする手段と、
    を含む、デバイス。
28. 前記時間品質値は、前記関心領域に対する第１の時間品質値と、前記非関心領域に対する第２の時間品質値とを含む請求項２７記載のデバイス。
29. 前記空間品質値は、前記関心領域に対する第１の空間品質値と、前記非関心領域に対する第２の空間品質値とを含む請求項２７記載のデバイス。
30. 前記符号化されたビデオフレームは第1のビデオフレームであり、前記デバイスは、前記割り振られたビットに基づいて第2のビデオフレームを符号化するための手段、をさらに備える請求項２７記載のデバイス。
31. 前記非ゼロの量子化されるＡＣ係数の個数を、対応する量子化パラメータ(QP)の値にマップする手段、をさらに備える請求項２７記載のデバイス。
32. 前記品質メトリックは、前記ビデオフレームについて使用可能な符号化ビットの数を規定するレート割り当て量と、前記非関心領域の符号化がスキップされるかどうかの表示と、を含む請求項２７記載のデバイス。
33. 連続フレームをフレームユニットへグループ化し、それぞれのフレームに関連する関心領域を符号化し、前記フレームユニット中のフレームの少なくとも１つにおけるそれぞれの非関心領域の符号化をスキップする手段、をさらに備える請求項２７記載のデバイス。
34. 前のフレームユニットに関連する歪み値が閾値未満であるときは、前記フレームの少なくとも１つにおけるそれぞれの非関心領域の符号化を選択的にスキップする手段、をさらに備える請求項２７記載のデバイス。

Images