JP6908797B1 - 高効率、低遅延ビデオコーディングのためのモーション適応型イントラリフレッシュ - Google Patents

Abstract

【課題】グローバルモーション推定値に応じて、適応的にイントラリフレッシュ符号化をする方法を提供する。【解決手段】方法は、ビデオ符号化システムにおいて、ピクチャの第１セットに関連するグローバルモーション推定値が特定の閾値を超えないと決定したことに応じて、ピクチャのリフレッシュ領域の位置がピクチャの第１セット内の前のピクチャのリフレッシュ領域の位置に対して空間的にシフトするように、第１セット内の各ピクチャをイントラリフレッシュ符号化することと、ピクチャの第２セットに関連するグローバルモーション推定値が特定の閾値を超えていると決定したことに応じて、第２セット内の各ピクチャのリフレッシュ領域の位置が、第２セットに関連するグローバルモーション推定値の方向にあるピクチャエッジに隣接して固定されるように、第２セット内の各ピクチャをイントラリフレッシュ符号化することと、を含む。【選択図】図１

Description

（関連出願の相互参照）
本願は、２０１６年４月２９日に出願された米国仮特許出願第６２／３２９，６０２号、及び、２０１６年６月２１日に出願された米国特許出願第１５／１８８，０６７号に基づく優先権を主張し、その内容の全体が本明細書に参考として援用される。

ブロックベースのビデオコーディングは、連続するピクチャのビデオブロック間の空間的及び時間的冗長性を使用して、ビデオの効率的な符号化を提供する。通常、ピクチャのストリームは、例えば順方向予測ピクチャ（Ｐピクチャ）及び双方向予測ピクチャ（Ｂピクチャ）等のように、全体がイントラコーディングされたピクチャ（Ｉピクチャ）、及び、インターコーディング又は予測されたピクチャのセットとしてコーディングされる。Ｉピクチャは全体がイントラコーディングされるが、Ｐピクチャ及びＢピクチャは少なくとも部分的に予測的にインターコーディングされるので、Ｉピクチャの符号化には、Ｐピクチャ及びＢピクチャよりも大幅に多くの数のビットを要する。したがって、これらのコーディングされたピクチャを含む送信ビットストリームのビットレート、ジッタ及びレイテンシに悪影響を及ぼす可能性がある。レイテンシ及びジッタを改善する１つのアプローチは、ピクチャの残りの領域が予測的にインターコーディングされている間に、ピクチャのセットの各ピクチャの領域をイントラコーディング又は「リフレッシュ」する、イントラリフレッシュモードの実行である。イントラリフレッシュモードでは、ピクチャ間のモーション予測は、既にリフレッシュされたセットの前のピクチャの領域（この領域は、通常、「クリーン」領域と呼ばれる）に制限され、未だリフレッシュされていない前のピクチャの領域（この領域は、通常、「ダーティ」領域と呼ばれる）の使用が抑制される。従来のイントラリフレッシュモードでは、全体がイントラコーディングされた領域（すなわち、「リフレッシュ」領域）は固定サイズであり、イントラリフレッシュセットのピクチャの連続するピクチャ間で位置が移動する。イントラリフレッシュ技術の目的は、結果として得られる符号化ビットストリームのビットレートを平滑化することであるが、従来のイントラリフレッシュ技術におけるリフレッシュ領域の位置の移動は、レンダリングされたピクチャの透視図を表す「カメラ」の実質的な動き（モーション）を伴う仮想現実（ＶＲ）アプリケーション又は他のアプリケーションにおいてよく発生するように、表示されたコンテンツのグローバルモーションの存在下で、大幅なビットレート変動又はジッタがよく発生する可能性がある。

本開示は、添付図面を参照することによってより良く理解され、その多数の特徴及び利点が当業者に明らかになる。異なる図面における同じ参照記号の使用は、類似又は同一のアイテムを示す。

いくつかの実施形態によるモーション適応型イントラリフレッシュ符号化技術、及び、この技術と従来のイントラリフレッシュ符号化技術との比較を示す図である。 いくつかの実施形態による、ピクチャに関連するグローバルモーション推定に基づいて、コーディングされるピクチャのリフレッシュ領域の幅を動的に設定する技術を示す図である。 いくつかの実施形態による、モーション適応型イントラリフレッシュコーディングを利用するビデオ処理システムを示すブロック図である。 いくつかの実施形態による、ビデオストリームのデュアルモードイントラリフレッシュコーディングの方法を示すフロー図である。

仮想現実（ＶＲ）及び拡張現実（ＡＲ）システムは、通常、ヘッドマウントディスプレイ（ＨＭＤ）装置を介してＶＲ又はＡＲコンテンツをユーザに表示する場合に、「臨場感」に依拠する。この臨場感を提供する上での重要な要素の１つは、ＶＲ又はＡＲコンテンツを含むピクチャのコーディング（符号化）、送信、デコーディング（復号化）及び表示に伴うレイテンシ又はジッタである。したがって、符号化されたビデオストリームを表すビットストリームの送信におけるレイテンシ又はジッタを低減することにより、ビデオ処理パイプラインにおける全体的なレイテンシ及びジッタの対応する低減がもたらされ、ＶＲ及びＡＲアプリケーションにおける「臨場感」が向上し得る。この目的のために、例えば、ピクチャがレンダリングされた透視図を表す仮想カメラのコンテンツ又は他のモーションを表示するのに用いられるＨＭＤ装置のモーション等に起因する、表示コンテンツに存在するグローバルモーションの要因となる「モーション適応型イントラリフレッシュモード」を使用するビデオ処理システムについて以下に説明する。少なくとも１つの実施形態では、ビデオ処理システムは、ピクチャ又はピクチャのセットに対するグローバルモーションの推定値を算出する。このグローバルモーションの推定値は、例えば、ＨＭＤ装置自体のモーションセンサデータから算出されてもよいし、ピクチャ内のコンテンツのモーションや連続するピクチャ間のコンテンツのモーションの分析から算出されてもよい。

グローバルモーションの推定値が十分なグローバルモーションを表さない場合、ビデオ処理システムは、イントラリフレッシュセットのピクチャのうち連続するピクチャ間でリフレッシュ領域の位置が移動する従来のイントラリフレッシュモードを使用する。しかし、グローバルモーション推定が十分なグローバルモーションを表す場合、ビデオ処理システムは、平滑化されたビットレートを有しており、これにより送信レイテンシを低減するビットストリームの結果として得られる部分を提供するように、このグローバルモーションの原因となるイントラリフレッシュモードを実行する。このモーション適応型イントラリフレッシュモードにおいて、ビデオ処理システムは、モーション適応型イントラリフレッシュモードが基本方向（すなわち、０、９０、１８０及び２７０度）のみに制限され、イントラリフレッシュ符号化の際に、ピクチャが、リフレッシュ領域（すなわち、イントラ符号化された領域）を、固定又はピクチャの特定されたエッジに隣接する表示領域とする実施形態における、グローバルモーション推定方向にあるピクチャのエッジ（又はその主運動成分（primary motion component））を識別する。より詳細に説明するように、符号化されたピクチャのリフレッシュ領域を、新たなコンテンツが導入される可能性が最も高いピクチャのエッジ領域に固定することにより、イントラリフレッシュセットにおける後続のピクチャのモーションベクトル探索プロセスは、より効率的になり、したがって、平均ビットレートが改善され、ビットレートの平滑化が改善される。

説明を容易にするために、ピクチャが水平に配置された領域に分割されたイントラリフレッシュモードの実行について以下に示す。さらに、ユーザがＨＭＤ装置又は他のＶＲ関連ディスプレイを使用するときのグローバルモーションは、通常、垂直面よりも水平面において頻繁に見られるため、以下の例における水平に配置された領域は、視点運動（perspective motion）とよく一致する。しかし、本明細書に記載されているものと同じ技術を、ピクチャ内で垂直に配置された領域を使用する実施態様においても適用することができ、さらに、ピクチャを領域に論理的に分割することによって、状況によっては、ピクチャの水平配置領域と、他の画像の垂直配置領域と、を切り替えることができる。

図１は、いくつかの実施形態によるビデオ処理システム１００においてイントラリフレッシュ符号化を行うためのデュアルモードアプローチを示す図である。示された例において、ビデオ処理システム１００は、ユーザの頭部１０４に装着されるヘッドマウントディスプレイ（ＨＭＤ）装置１０２によって部分的に実装される。ビデオ処理システム１００は、ピクチャをＶＲ又はＡＲビデオストリームにレンダリング及び符号化するビデオ符号化サブシステム（図１には示されていない）を含み、得られた符号化ビットストリームがＨＭＤ装置１０２に送信される。ＨＭＤ装置１０２は、符号化されたビットストリームを復号化して、ＨＭＤ装置１０２で表示されるピクチャの表現を復元する。

ＨＭＤ装置１０２がユーザの頭部１０４に装着されると、ＨＭＤ装置１０２は、Ｘ軸、Ｙ軸又はＺ軸（すなわち、ロール、ヨー、ピッチ）のうち１つ以上の周囲の回転と、Ｘ方向、Ｙ方向又はＺ方向のうち１つ以上の平行移動とを含む頻繁且つ大幅なモーションを受ける可能性がある。通常、ビデオ処理システム１００は、ＨＭＤ装置１０２の現在の姿勢を表す仮想カメラの視点からピクチャコンテンツを含むようにピクチャをレンダリングし、ユーザが動き回るのに伴ってＨＭＤ装置１０２の姿勢が変化するのにつれて仮想カメラの視点を更新することによって、この動き（モーション）を、ユーザに提示されるビデオコンテンツに組み込む。ＨＭＤ装置１０２のモーションと、レンダリングされた表示コンテンツへのこのモーションの対応する組み込みとは、カメラ運動（この場合、「仮想」カメラの運動は、ユーザの頭部１０４の姿勢、したがってユーザの視点を表す）によって引き起こされるコンテンツ内に存在する広域の運動又はモーションである、一般に「グローバルモーション」と呼ばれるものをもたらす。このグローバルモーションの結果は、連続したピクチャに亘って、「新たな」コンテンツ（すなわち、前のピクチャに存在しないコンテンツ）が表示パネルの一方の端部又は側面に出現しやすくなり、「古い」コンテンツが他方の端部又は側面において表示パネルから離れるように動く可能性がある。説明のために、ユーザの頭部１０４が左から右へ回転する場合、この動作中に提示されるピクチャのシーケンスは、（ユーザの視点が右に移動するにつれて）右から入る新たなコンテンツと、左側の視野外にスライドする、既に表示されているコンテンツと、を示している。逆に、ユーザの頭部が右から左に回転する場合、この動作中に提示されるピクチャのシーケンスは、（ユーザの視点が左に移動するにつれて）左から入る新たなコンテンツと、右側の視野外にスライドする、既に表示されているコンテンツと、を示している。ユーザの頭部１０４を上下に回転させることも同様に、（ユーザが上を向いているか又は下を向いているかによって）上端又は下端における新たなコンテンツのシフト又はスライドを示し、反対側の端部における古いコンテンツの外部へのシフト又はスライドを示す。

従来のイントラリフレッシュ符号化スキームにおいて、グローバルモーションを組み込むピクチャのレンダリングは、通常、得られた符号化ビットストリームの送信において、符号化の効率の低下、したがってレイテンシの増加につながる。説明のために、図１は、４つのピクチャのシーケンスに関する２つの従来のイントラリフレッシュ符号化シナリオ、すなわち、最悪の場合のシナリオ１１２と、最良の場合のシナリオ１１４と、を示している。両方のシナリオについて、４つのピクチャのセットに対するグローバルモーション推定が、左から右への水平方向の（すなわち、ユーザの視点に対して右方向を有する）グローバルモーションベクトル１０６（「ＭＶ_Ｇ」とも呼ばれる）として表されると想定する。なお、ビデオコーデックのコンテキストにおける「モーションベクトル」という用語は、一般に、現在のピクチャ内のブロックから参照ピクチャ内の一致するブロックを向くベクトルを指すが、「グローバルモーションベクトル」という用語は、本明細書で使用されるように、グローバルモーションにおいて表される仮想カメラのモーションの方向を指している。図１について、最悪の場合のシナリオ１１２は、ピクチャ間のリフレッシュ領域のシフトパターンがグローバルモーションベクトルＭＶ_Ｇの方向と同じであるシナリオを表しており、最良の場合のシナリオ１１４は、リフレッシュ領域のシフト方向がグローバルモーションベクトルＭＶ_Ｇの方向と反対であるシナリオを表している。

上述したように、従来のイントラリフレッシュ符号化処理では、イントラリフレッシュセットの連続したピクチャの各々に対するリフレッシュ領域の位置は、イントラリフレッシュセットの前の画像内のリフレッシュ領域の位置に対して特定のシフト方向又はパターンで空間的にシフトする。すなわち、従来のイントラリフレッシュモードでは、ピクチャ内のリフレッシュ領域の位置は、イントラリフレッシュセット又はサイクル内のそのピクチャの位置のみに基づいている。説明のために、４つのピクチャのイントラリフレッシュセットの場合、第１ピクチャのリフレッシュ領域は、一方の端部（エッジ）に隣接しており、シフト方向において第１ピクチャを４分割したうちの１番目を占めることができ、当該セットの第２ピクチャのリフレッシュ領域は、シフト方向において第２ピクチャを４分割したうちの２番目を占めることができ、当該セットの第３ピクチャのリフレッシュ領域は、シフト方向において第３ピクチャを４分割したうちの３番目を占めることができ、当該セットの第４ピクチャのリフレッシュ領域は、シフト方向において第４ピクチャを４分割したうちの最後（４番目）を占めることができる。各ピクチャの他の領域は、「クリーン」又は「ダーティ」の何れかに分類される。符号化ピクチャの各領域の、リフレッシュ（Ｒ）領域、クリーン（Ｃ）領域又はダーティ（Ｄ）領域としての分類は、領域を符号化及び復号化することができる方法を表す。イントラ符号化されているリフレッシュ領域は、復号化される他のピクチャ又は領域を参照する必要がない。しかしながら、リフレッシュ領域の符号化には最も多くのビットが必要になるため、リフレッシュ領域の送信には、３つの領域のうち最大のビットレートが必要になる。ピクチャのクリーン領域を符号化するときのモーションベクトル探索範囲は、イントラリフレッシュされた領域へのインターピクチャエラーの伝搬を回避するために、前のピクチャのリフレッシュ領域及びクリーン領域(もしあれば）のみに制限される。対照的に、ピクチャのダーティ領域を符号化するときのモーションベクトル探索範囲は制限されず（フリー）、前のピクチャの全ての領域を包含することができる。したがって、前のピクチャ内の一致するブロックは、前のピクチャのダーティ領域にあり、したがって、現在のピクチャのクリーン領域の評価対象であるブロックのモーションベクトル探索範囲外になる可能性があるので、評価対象であるブロックは、その後イントラ符号化又はインター符号化されるが、ブロックマッチングが失敗又は最適ではないので、イントラ符号化された場合と同様のビット数を有する。しかし、この同じブロックが現在のピクチャのダーティ領域に位置する場合、一致するブロックを参照することは、前のピクチャにおいて制限又は限定もなく、したがって、モーションベクトル及び残差としてインター符号化される。このように、ピクチャのダーティ領域を符号化するためのビットレートは、通常、クリーン領域を符号化するためのビットレート以下である。すなわち、リフレッシュ領域を符号化するために必要なビットレベル（すなわち、ビット数）を「Ｉ」とし、クリーン又は「制限された」領域を符号化するために必要なビットレベルを「Ｐｒ」とし、ダーティ又は「フリー」領域を符号化するために必要なビットレベルを「Ｐｆ」として用いると、これらのビットレベル間の関係は、概して、Ｉ＞＞Ｐｒ＞＝Ｐｆとして要約される。

（初期サイクル以外の典型的なイントラリフレッシュのサイクル全体を表す）最悪の場合のシナリオ１１２において、イントラリフレッシュセットは、ピクチャ１〜４で示された４つのピクチャを備える。このセットには４つのピクチャが存在するため、各ピクチャは、図１の例において水平に配置された領域として示されている４つの領域に論理的に区分される。上述したように、最悪の場合のシナリオ１１２では、（文字「Ｒ」で示される）リフレッシュ領域のシフトパターンがピクチャ間で左から右になるように、イントラリフレッシュ符号化モードが設定される。したがって、ピクチャ１を符号化する場合、左端の領域は、リフレッシュ領域として完全にイントラ符号化される。ピクチャ１の残りの３つの領域は、現在リフレッシュされておらず、以前リフレッシュされたイントラリフレッシュセットの前のピクチャ内の領域に空間的に対応してもいない領域を表しているので、ピクチャ１の残りの領域は、（文字「Ｄ」で示される）ダーティ領域とみなされ、したがって、このようにインター符号化される。ピクチャ２を符号化する場合、イントラリフレッシュの位置が中央左側の領域まで右にシフトし、これにより、中央左側の領域は、リフレッシュ領域として完全にイントラ符号化される。ピクチャ２の左端の領域は、ピクチャ１のリフレッシュ領域に対応する（すなわち、ピクチャ２の左端の領域は、リフレッシュされた前のピクチャの領域に対応する）ため、（文字「Ｃ」で示される）クリーン領域として識別され、インター符号化されるが、ピクチャ２の中央右側の領域及び右端の領域は、ピクチャ１内のリフレッシュされた領域へのブロック検索に限定されないため、ダーティ領域として識別され、インター符号化される。ピクチャ３を符号化する場合、ピクチャ１及びピクチャ２に対してリフレッシュ領域が再び右にシフトするので、ピクチャ３の中央右側の領域がピクチャ３のリフレッシュ領域として完全にイントラ符号化されるが、左端の領域及び中央左側の領域がクリーン領域としてインター符号化され、右端の領域はダーティ領域としてインター符号化される。リフレッシュ領域がピクチャ１、２、３に対して再び右にシフトすることによって、ピクチャ４の右端の領域がリフレッシュ領域として完全にイントラ符号化される。ピクチャ４の左端、中央左側及び中央右側の領域は、ピクチャ１〜３においてリフレッシュされた領域に対応しており、したがってクリーン領域としてインター符号化され、マークされる。

最悪の場合のシナリオ１１２のピクチャ１〜４にも示されるように、ピクチャ１〜４に対応する時間ピクチャに対するＨＭＤ装置１０２のグローバルモーションは、（図１において跳躍するジャガーのアイコンによって表される）新たなコンテンツがピクチャの右端からシフトインされ、古いコンテンツがピクチャの左端からシフトアウトされる。この新たなコンテンツの右から左への方向（左から右へのグローバルモーションから得られる）は、ピクチャ１〜４におけるリフレッシュ領域のシフト方向と反対であり、したがって、非効率的な符号化をもたらす。説明のために、ピクチャ１の場合、リフレッシュ領域Ｒはイントラ符号化される。しかしながら、ピクチャ１の右端の領域は、全て新たなコンテンツを有するので、その符号化効率は、完全にイントラ符号化された場合と基本的に同じであり、イントラ符号化される２つの領域がビットレベルＩを有し、２つのダーティ領域がビットレベルＰｆを有することになる。ピクチャ２において、中央左側の領域は、リフレッシュ領域としてイントラ符号化される。しかし、全て新たなコンテンツが右端の領域に再び取り込まれたため、ピクチャ２の右端の領域もイントラ符号化され、２つの領域がビットレベルＩでイントラ符号化され、クリーン領域がビットレベルＰｒでイントラ符号化され、ダーティ領域がビットレベルＰｆでイントラ符号化される。ピクチャ３を符号化すると、状況がさらに悪化する。このピクチャでは、中央右側の領域はリフレッシュ領域として符号化され、したがってビットレベルＩを必要とする。ピクチャ１及びピクチャ２と同様に、グローバルモーション（ＭＶ_Ｇ）によって新たなコンテンツが右側にシフトしているため、ピクチャ３の右端の領域もビットレベルＩでイントラ符号でなければならない。さらに、ピクチャ３の中央左側の領域は、ピクチャ２のリフレッシュ領域ピクチャ及びクリーン領域には存在しないコンテンツから実質的に構成されているため、ピクチャ３の中央左側の領域は、同様に、ビットレベルＩで主にイントラ符号化されなければならない。ピクチャ３の左端の領域は、前のピクチャのダーティ領域からの新たなコンテンツを含まないので、ビットレベルＰｒでインター符号化される。ピクチャ４の場合、ピクチャ４のリフレッシュ領域は、グローバルモーションによって全て新たなコンテンツが取り込まれている領域に一致し、他の領域は、前の画像のクリーン領域に既に存在するコンテンツを含むので、ピクチャ４のリフレッシュ領域を除く全てがビットレベルＰｒでインター符号化されるのが可能になることから、符号化に必要なビット数が軽くなる。このように、最悪の場合のシナリオ１１２においてピクチャ１〜４を符号化すると、２つのピクチャの各々が、ビットレベルＩ領域で符号化される２つの領域を有し、１つのピクチャがビットレベルＩで符号化される３つの領域を有することになり、したがって、大幅に変化するビットレートで符号化されたビットストリーム部がもたらされる。

最良の場合のシナリオ１１４のためのイントラリフレッシュセットは、同様に４つの水平に配置された領域に論理的に区分された、ピクチャ１、ピクチャ２、ピクチャ３及びピクチャ４として表される４つのピクチャを含む。さらに、最良の場合のシナリオ１１４では、従来のイントラリフレッシュ符号化モードは、リフレッシュ領域がピクチャ間で右から左にシフトするように設定される。したがって、ピクチャ１を符号化する場合、右端の領域がリフレッシュ領域としてイントラ符号化され、ピクチャ２を符号化する場合、中央右側の領域がリフレッシュ領域としてイントラ符号化され、ピクチャ３を符号化する場合、中央左側の領域がリフレッシュ領域としてイントラ符号化され、ピクチャ４を符号化する場合、左端の領域がリフレッシュ領域としてイントラ符号化される。しかし、最悪の場合のシナリオ１１２とは異なり、最良の場合のシナリオ１１４では、リフレッシュ領域のシフト方向は、新たなコンテンツが表示されるために取り込まれる方向に従う。ピクチャ１〜４の各々の領域を符号化するために結果として得られるビットレベルが図１に示されている。したがって、図示するように、最良の場合のシナリオ１１４は、ビットレベルＩで符号化された２つの領域をそれぞれ有する３つのピクチャと、ビットレベルＩで符号化された１つの領域を有する１つのピクチャと、を必要とする。したがって、最良の場合のシナリオ１１４は、最悪の場合のシナリオ１１２と比較して、４つのピクチャの符号化された表現の送信に関していくらか平滑なビットレートを示しているが、最良の場合のシナリオ１１４のビットレートは、かなりジッタなままであり、結果として得られる符号化された表示ストリームのレイテンシ又はジッタに悪影響を及ぼし得る。

本明細書で説明するモーション適応型イントラリフレッシュ符号化技術については、例示的なシナリオ１１６は、このプロセスを、シナリオ１１２，１１４に示されたのと同様の４つのピクチャセットに適用することを示している。しかしながら、リフレッシュ領域の位置がイントラリフレッシュセットの各ピクチャ間で特定の方向にシフトするシナリオ１１２，１１４によって表される従来のイントラリフレッシュ符号化処理と異なり、モーション適応型イントラリフレッシュ符号化処理は、ピクチャのリフレッシュ領域を、ピクチャに関連するグローバルモーションの方向にあるピクチャエッジに直接隣接する領域に選択する。上述したように、図１の例において、グローバルモーションは左から右であり、したがって、右端は、グローバルモーションの方向における表示の端部として識別される。さらに、この例の目的として、グローバルモーションベクトルＭＶ_Ｇの大きさ及び方向は、４つのピクチャ全てに亘って一定である、すなわち、ピクチャ１〜４の各々が、同じグローバルモーション推定値を有すると想定される。このような想定は、グローバルモーションがビデオシーケンス内では孤立して現れ難いが、ピクチャグループ間で継続するという事実に基づいている。

右端がグローバルモーションの方向のエッジとして識別されるため、ピクチャ１〜４の各々の右端の領域（すなわち、右端に隣接する領域）が、ピクチャ毎にリフレッシュされる領域として選択される。このように、ピクチャ１〜４の各々の右端の領域には、グローバルモーションによって新たなコンテンツが取り込まれ、また、グローバルモーションを考慮して右端の領域がピクチャ１〜４の各々のリフレッシュ領域として選択されるので、ビットレベルＩのリフレッシュ領域としてのピクチャ１〜４の各々の右端の領域のイントラ符号化は、リフレッシュイントラ符号化要件と、新たに取り込まれたコンテンツをイントラ符号化する必要性と、の両方を満たすように作用する。さらに、リフレッシュ領域がピクチャ間の固定位置にあり、この固定位置は新たなコンテンツが生じる場所であるため、クリーン領域は、従来のイントラリフレッシュ技術を表すシナリオ１１２，１１４におけるクリーン領域の一部をイントラ符号化する必要性と比較して、新たなコンテンツと同じ方向にピクチャを横切ってシフトし、各ピクチャのクリーン領域をインター符号化することが可能になる。得られたビットレート符号化プロファイルは、シナリオ１１６のピクチャ１〜４の下に示されている。示されているように、ピクチャ１〜４は、モーション適応型イントラリフレッシュ技術を使用してイントラ符号化される２つ以上の領域を必要とせず、したがって、従来の方法と比較して、結果として得られる符号化ビットストリームに対してより平滑なビットレートがもたらされる。

シナリオ１１６の例は、所定のピクチャの領域が等しい幅であり、特定の領域タイプのサイズがピクチャに亘って一定であると想定されているが、通常、１つ以上の要因に基づいてリフレッシュ領域のサイズを動的に調整し、次に同じイントラリフレッシュセット内の連続するピクチャのクリーン領域及びダーティ領域のサイズが変化することが有益である。特に、ピクチャのリフレッシュ領域の幅を、グローバルモーションによって当該ピクチャの対応するエッジから取り込まれた新たなコンテンツの「幅」と一致させるように選択することは、リフレッシュ領域の最適な設定をもたらし得る。例示すると、取り込まれた新たなコンテンツの幅がリフレッシュ領域の幅よりも大きい場合、その新たなコンテンツの一部は、リフレッシュ領域のイントラ符号化によってカバーされず、このため、新たなコンテンツの一部をカバーするように隣接領域の少なくとも一部がイントラ符号化される必要があることから、狭いリフレッシュ領域には利点がない。逆に、リフレッシュ領域が、グローバルモーションによってピクチャ内に取り込まれた新たなコンテンツの幅よりも広い場合、完全にイントラ符号化されたピクチャコンテンツの量は、不必要に大きくなる。さらに、１つのピクチャ内のＣ領域が前のピクチャ内のＤ領域の一部をカバーするように、Ｃ領域が拡張されてもよい。これは、前のピクチャのＤ領域をモーションベクトル検索に使用することができないため、Ｃ領域の符号化効率に影響を与える。このように、リフレッシュ領域の幅は、リフレッシュ領域が固定されたピクチャのエッジから新たなコンテンツが取り込まれるレートを表すグローバルモーション推定値に一致する場合に、符号化効率の最適化又は向上をもたらし得る。

図２は、ピクチャストリームのモーション適応型イントラリフレッシュ符号化の間におけるリフレッシュ領域の動的構成の一例を示す図である。図示した例において、ビデオストリームは、ピクチャ１〜６で表される６つのピクチャを有するイントラリフレッシュセットを含む。符号２０２は、各ピクチャに対応するグローバルモーションベクトルＭＶ_Ｇの大きさを示している。各ピクチャに対する特定のグローバルモーションベクトルＭＶ_Ｇは、例えば、ピクチャに対応する時間におけるＨＭＤ装置１０２のモーションから決定される。さらに、この例では、各ピクチャ１〜６のグローバルモーションベクトルＭＶ_Ｇは、左から右へのモーションとなるように決定される。したがって、本明細書に記載のモーション適応型イントラリフレッシュ技術を使用して、各ピクチャ１〜６のリフレッシュ領域が、右端に隣接する領域に固定される。

ピクチャ１を符号化する場合、このピクチャの右端のリフレッシュ領域Ｒ１は、このピクチャに対して決定されたグローバルモーションの大きさに基づいて、幅がＷ１に設定される。さらに、ピクチャ１がこのイントラリフレッシュセットにおける第１ピクチャであるため、ピクチャ１の残りの領域はダーティ領域Ｄ１である。ピクチャ２を符号化する場合、このピクチャの右端のリフレッシュ領域Ｒ２は、このピクチャ画像に対して決定されたグローバルモーションの大きさに基づいて、幅がＷ２に設定される。また、ピクチャ１のリフレッシュ領域Ｒ１は、グローバルモーションにより左方向にシフトして、ピクチャ２のクリーン領域Ｃ１となる。したがって、ピクチャ２の残りは、ダーティ領域Ｄ２である。ピクチャ３については、リフレッシュ領域Ｒ３は、対応するグローバルモーションの大きさに基づいて、幅がＷ３に設定される。ピクチャ２のリフレッシュ領域Ｒ２及びクリーン領域Ｃ１は、グローバルモーションによって左方向にシフトしてクリーン領域Ｃ２となり、ピクチャ３の残りはダーティ領域Ｄ３となる。同様の処理により、ピクチャ４については、幅Ｗ４を有する例示されたリフレッシュ領域Ｒ４と、クリーン領域Ｃ２及びリフレッシュ領域Ｒ３から得られるクリーン領域Ｃ３と、ダーティ領域Ｄ４と、が得られる。ピクチャ５については、幅Ｗ５を有する例示されたリフレッシュ領域Ｒ５と、クリーン領域Ｃ３及びリフレッシュ領域Ｒ４から得られるクリーン領域Ｃ４と、ダーティ領域Ｄ５と、が得られる。ピクチャ６については、幅Ｗ６を有する例示されたリフレッシュ領域Ｒ６と、クリーン領域Ｃ４及びリフレッシュ領域Ｒ５から得られるクリーン領域Ｃ５と、が得られる。

図３は、本開示の少なくとも１つの実施形態によるビデオ処理システム１００の例示的な実装例を示す図である。図示した例において、ビデオ処理システム１００は、ビデオ生成サブシステム３０２と、ＨＭＤ装置３０４（ＨＭＤ装置１０２の一実施形態）と、を含み、これらは、例えば有線通信リンク、無線リンク又はこれらの組み合わせを含む送信リンク３０６を介して接続されている。有線通信リンクの例には、イーサネット（登録商標）リンク、ユニバーサルシリアルバス（ＵＳＢ）リンク、高解像度マルチメディアインタフェース（ＨＤＭＩ(登録商標））リンク等が含まれる。無線通信リンクの例には、ＩＥＥＥ８０２.１１ローカルエリアネットワーク、Ｂｌｕｅｔｏｏｔｈ(登録商標）パーソナルエリアネットワーク等が含まれる。ビデオ生成サブシステム３０２は、ビデオソース３０８と、グローバルモーション推定モジュール３１０と、モード制御モジュール３１２と、エンコーダ３１４と、リンクインタフェース３１６と、を含む。ＨＭＤ装置３０４は、リンクインタフェース３１８と、デコーダ３２０と、ディスプレイ制御装置３２２と、１つ以上のディスプレイパネル（例えば、左目用ディスプレイパネル３２４及び右目用ディスプレイパネル３２６等）と、を含む。さらに、いくつかの実施形態では、ＨＭＤ装置３０４は、１つ以上のモーションベースのセンサ（例えば、ジャイロスコープ３３０、加速度計３３２及び磁力計３３４等）を有する慣性計測装置（ＩＭＵ）３２８を含む。他の例には、構造化光センサ、レーザセンサ等が含まれる。

全体的な概要として、ビデオ生成サブシステム３０２は、ＶＲ／ＡＲコンテンツを表すピクチャストリームをレンダリングし、ピクチャストリーム３４０を符号化ビットストリーム３４２に符号化し、符号化ビットストリームをＨＭＤ装置３０４に送信するように動作する。そして、ＨＭＤ装置３０４のデコーダ３２０は、符号化ビットストリーム３４２を復号化して、ディスプレイ制御装置３２２及びディスプレイパネル３２４，３２６を介してユーザに表示するために提供されるピクチャストリーム３４０（又はその損失のある表現）を取得するように動作する。このために、ビデオソース３０８は、ピクチャストリームをレンダリングするよう動作する。このように、ビデオソース３０８は、例えば、ＩＭＵ３２８によって又は他の頭部追跡機構を用いて計測されるＨＭＤ装置３０４のモーション又は姿勢に少なくとも部分的に基づいて、ＶＲ／ＡＲコンテンツを表すピクチャをレンダリングするＶＲ／ＡＲアプリケーションを実行する１つ以上のプロセッサを備える。エンコーダ３１４は、符号化ビットストリーム３４２を生成するためにピクチャを符号化するように動作し、符号化ビットストリーム３４２は、送信リンク３０６を介した送信のためにリンクインタフェース３１６に提供される。

符号化処理の間、エンコーダ３１４は、デュアルモードエンコーダを含むことができ、エンコーダ３１４は、リフレッシュ領域の位置がイントラリフレッシュセットのピクチャ間でシフトする従来のイントラリフレッシュ符号化モード、又は、本明細書で説明するモーション適応型イントラリフレッシュモードで動作するように構成されている。それに応じてエンコーダ３１４を構成するために、グローバルモーション推定モジュール３１０は、更新されたグローバルモーション推定値を繰り返し取得し、更新されたグローバルモーション推定値の各々をモード制御モジュール３１２に提供する。次いで、モード制御モジュール３１２は、グローバルモーション推定値から、従来のイントラリフレッシュモード又はモーション適応型イントラリフレッシュモードの何れを実行するかを決定し、それに応じて、モード構成信号３４４を介してエンコーダ３１４を構成する。さらに、モーション適応型イントラリフレッシュモードが実行される場合、モード制御モジュール３１２は、エンコーダ３１４によって符号化される現在のピクチャについてのリフレッシュ領域の特性（リフレッシュ領域がピクチャのどのエッジに隣接しているか、及び、リフレッシュ領域の幅を含む）をさらに決定し、これらのパラメータを、リフレッシュ領域構成信号３４６を介してエンコーダ３１４に通知することができる。

図４は、グローバルモーション推定モジュール３１０、モード制御モジュール３１２、及びエンコーダ３１４の動作の方法４００をより詳細に示すフロー図である。ピクチャの符号化を開始する前に、ブロック４０２において、エンコーダ３１４、モード制御モジュール３１２及びグローバルモーション推定モジュール３１０は、関連するパラメータで初期化される。例示のために、いくつかの実施形態では、エンコーダ３１４は、特定の数Ｎのピクチャをイントラリフレッシュセットに実装するように構成されており、モード制御モジュール３１２は、グローバルモーション推定に適用される特定の閾値と、テンポラリ変数Ｘと、を１に設定するように構成されている。初期化後、ビデオソース３０８は、ストリーム３４０用のピクチャのレンダリングを開始し、レンダリングされた各ピクチャは、ブロック４０４の繰り返しにおいてエンコーダ３１４に受信される。

ピクチャのレンダリング及び受信と同時に、ブロック４０６において、グローバルモーション推定モジュール３１０は、現在のピクチャの繰り返しｉに対するグローバルモーション推定値ＭＶ_Ｇ（ｉ）を決定する。ブロック４０５で表されるように、一実施形態において、グローバルモーション推定モジュール３１０は、ＩＭＵ３２８の１つ以上のモーションベースのセンサからのセンサデータに基づいて、グローバルモーション推定値ＭＶ_Ｇ（ｉ）を決定する。例示のために、ＩＭＵ３２８は、ＨＭＤ装置３０４の現在の姿勢、及び、ＨＭＤ装置３０４の姿勢の現在の変化を決定するために、ジャイロスコープ３３０、加速度計３３２又は磁力計３３４の１つ以上を周期的にサンプリングし、グローバルモーション推定モジュール３１０は、この情報からグローバルモーション推定値ＭＶ_Ｇ（ｉ）（例えば、ディスプレイパネル３２４，３２６の表示空間に対する任意の回転運動の対応する並進移動への変換を含む）を決定する。或いは、ブロック４０７で表されるように、グローバルモーション推定モジュール３１０は、現在のピクチャ及び１つ以上の前のピクチャを用いて符号化される現在のピクチャのモーションに基づく分析を採用した様々なグローバルモーション技術を用いて、グローバルモーション推定値ＭＶ_Ｇ（ｉ）を決定する。

本明細書で説明するように、モーション適応型イントラリフレッシュモードは、イントラリフレッシュ符号化ピクチャのリフレッシュ領域を、そのピクチャのグローバルモーションの方向にあるピクチャエッジに隣接する領域に「固定」する。しかし、グローバルモーションは、ピクチャの４つのエッジを表す４つの基本方位と平行でない方向を有し得ることが理解されるであろう。例示のために、図１を簡単に参照すると、グローバルモーション推定値ＭＶ_Ｇ（ｉ）は、（ユーザの視点に対して）右方向及び下方向の両方向を有するモーションベクトル１２０によって表される。このような状況では、グローバルモーション推定モジュール３１０は、グローバルモーション推定値ＭＶ_Ｇ（ｉ）の主方向成分（すなわち、４つの基本軸のうち１つと平行であり、最大の大きさを有するグローバルモーション推定値ＭＶ_Ｇ（ｉ）の方向成分）を使用する。例示のために、モーションベクトル１２０は水平方向成分１２２及び垂直方向成分１２４の両方を有し、水平方向成分１２２の方が大きいため、水平方向成分１２２がグローバルモーション推定値ＭＶ_Ｇ（ｉ）として使用される。或いは、垂直方向のモーションよりも水平方向のモーションに起因して取り込まれるコンテンツに対してユーザが敏感である可能性が高いことから、グローバルモーション推定値の水平方向成分がデフォルトでＭＶ_Ｇ（ｉ）として使用される。

ブロック４０８において、モード制御モジュール３１２は、グローバルモーション推定値ＭＶ_Ｇ（ｉ）を受信し、このグローバルモーションの大きさを、モードをモーション適応型イントラリフレッシュ符号化モードに切り替えるのに十分であるとみなされる最小のグローバルモーションを表す特定の閾値と比較する。この閾値は、モデリング、実験等によって決定され、場合によっては、閾値に対する様々な値の影響のフィードバック又は他の分析に基づいて経時的に変更される。グローバルモーション推定値ＭＶ_Ｇ（ｉ）の大きさがこの閾値を超えない場合、モード制御モジュール３１２は、モード構成信号３４４を介してエンコーダ３１４を構成して、ブロック４０４において受信されたピクチャを符号化するために従来のイントラリフレッシュモードを使用する。このように構成されたことに応じて、エンコーダ３１４は、ブロック４１０において、現在のイントラリフレッシュセット内のピクチャの位置を表す変数Ｘによって特定されたピクチャ内のリフレッシュ領域の位置によって、ピクチャをイントラリフレッシュ符号化する。ブロック４１２において、変数Ｘは、セットの次のリフレッシュ位置にシフトされる（すなわち、Ｘは、（Ｘ＋１）ＭＯＤ Ｎに設定される）。

ブロック４０８に戻ると、グローバルモーション推定値ＭＶ_Ｇ（ｉ）の大きさが閾値を超える場合、モード制御モジュール３１２は、モード構成信号３４４を介してエンコーダ３１４を構成し、モーション適応型イントラリフレッシュモードをピクチャに対して使用する。この目的のために、ブロック４１４において、モード制御モジュール３１２は、グローバルモーション推定値ＭＶ_Ｇ（ｉ）の方向（又は、グローバルモーション推定値ＭＶ_Ｇ（ｉ）の主成分の方向）にあるピクチャエッジを識別する。例示のために、左から右へのグローバルモーションはピクチャの右端の選択をもたらし、右から左へのグローバルモーションはピクチャの左端の選択をもたらす。同様に、垂直に配置されたリフレッシュ領域を実装することができ、上方向のグローバルモーションはピクチャの上端の選択をもたらし、下方向のグローバルモーションはピクチャの下端の選択をもたらす。さらに、このモーション適応型イントラリフレッシュ技術は、基本方向（すなわち、純粋に右左又は上下）のモーションに限定されない。例示のために、例えば、左上から右下、右下から左上、右上から左下、左下から右上等のモーションに対して、同じアプローチを使用することができる。ブロック４１６において、モード制御モジュール３１２は、グローバルモーション推定値ＭＶ_Ｇ（ｉ）（又はその主方向成分）の大きさに基づいて、ピクチャに対して符号化されるリフレッシュ領域の幅を決定する。特に、リフレッシュ領域の幅は、グローバルモーション推定値の大きさ、ピクチャレート、ピクチャの解像度等の関数としてのピクセル数に関して計算される。ピクチャエッジ及びリフレッシュ領域の幅が決定されると、モード制御モジュール３１２は、これらのパラメータを、リフレッシュ領域構成信号３４６を介してエンコーダ３１４に通知する。

ブロック４１８において、エンコーダ３１４は、リフレッシュ領域構成パラメータを用いてピクチャをイントラリフレッシュ符号化して、結果として得られる符号化ストリームを表すビットストリーム部を生成し、このビットストリーム部を、ＨＭＤ装置３０４に送信される符号化ビットストリーム３４２に組み込む。この符号化処理において、エンコーダ３１４は、識別されたピクチャエッジ及び識別されたリフレッシュ領域の幅を使用して、識別されたピクチャエッジに隣接する領域であって、示されたリフレッシュ領域に対応する幅を有する領域をイントラ符号化する。ピクチャの残りの部分は、上述したように、ダーティ領域又はクリーン領域の一方又は両方として符号化される。

方法４００は、イントラリフレッシュモードが各ピクチャ間で切り替えられる１つの実施形態を示しているが、他の実施形態では、モード間の切り替えは、イントラリフレッシュセットの完了にリンクされる。すなわち、モード間の切り替えは、１つのイントラリフレッシュセット／サイクルの完了と、次のイントラリフレッシュセット／サイクルの開始と、の間にのみ生じるように制限することができ、これにより、イントラリフレッシュセット用に選択されたモードは、当該セット内の各ピクチャに適用される。

いくつかの実施形態では、上述した技術の特定の態様は、ソフトウェアを実行する処理システムの１つ以上の処理装置によって実施される。ソフトウェアは、格納されるか、または非一時的なコンピュータ可読記憶媒体に記憶され、又は、当該記憶媒体上で有形に実施される実行可能命令の１つ以上のセット含む。ソフトウェアは、１つ以上の処理装置によって実行されると、１つ以上のプロセッサを操作して、上述した技術の１つ以上の態様を実行させるための命令又は特定のデータを含むことができる。非一時的なコンピュータ可読記憶媒体には、例えば、磁気若しくは光学ディスク記憶装置、フラッシュメモリ等のソリッドステート記憶装置、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、又は、他の不揮発性メモリ装置等が含まれる。実行可能命令は、非一時的なコンピュータ可読記憶媒体に、ソースコード、アセンブリ言語コード、オブジェクトコード、又は、１つ以上のプロセッサによって解釈されるか他の方法で実行可能な他の命令フォーマットで記憶されている。

概要において上述した活動又は要素の全てが必要なわけではなく、特定の活動又は装置の一部を不要としてもよいこと、１つ以上のさらなる活動を実行することができること、又は、上述したものに加えて他の要素を含んでもよいことに留意されたい。さらに、活動が列挙されている順序は、必ずしもこれらが実行される順序ではない。また、これらの概念は、特定の実施形態を参照して説明されている。しかし、当業者であれば、以下の特許請求の範囲に記載された本発明の範囲から逸脱することなく、様々な修正及び変更を行うことができるのを理解するであろう。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味で考慮されるべきであり、このような変更の全ては、本発明の範囲内に含まれることが意図される。

利益、他の利点、及び、問題の解決手段について、特定の実施形態に関して上述されている。しかし、利益、利点又は解決手段を発生させるか、より顕著になる可能性のある機能は、何れか又は全ての請求項の重要な、必須の、不可欠な特徴と解釈されるべきではない。さらに、開示された発明は、本明細書の教示の利益を有する当業者には明らかであるが、異なる方法であるが同等の方法で修正及び実行することができるため、上記に開示された特定の実施形態は例示に過ぎない。以下の特許請求の範囲に記載されるもの以外の、本明細書に示された構造又は設計の詳細に制限はない。したがって、上述した特定の実施形態について変更又は修正を加えることが可能であり、このような変形例の全てが、開示された発明の範囲内にあると考えられることは明白である。したがって、本明細書にて求められる保護は、以下の特許請求の範囲に記載されている。

Claims (6)

1. ビデオ符号化システムにおいて、
   ピクチャの第１セットに関連するグローバルモーション推定値が特定の閾値を超えないと決定したことに応じて、前記ピクチャのリフレッシュ領域の位置が前記ピクチャの第１セット内の前のピクチャのリフレッシュ領域の位置に対して空間的にシフトするように、前記第１セット内の各ピクチャをイントラリフレッシュ符号化することと、
   ピクチャの第２セットに関連するグローバルモーション推定値が前記特定の閾値を超えていると決定したことに応じて、前記第２セット内の各ピクチャのリフレッシュ領域の位置が、前記第２セットに関連するグローバルモーション推定値の方向にあるピクチャエッジに隣接して固定されるように、前記第２セット内の各ピクチャをイントラリフレッシュ符号化することと、を含む、
   方法。
2. 前記ピクチャの第１セットのリフレッシュ領域が同じ幅を有し、
   前記ピクチャの第２セットに関連する前記グローバルモーション推定値が複数のグローバルモーション推定値を含み、各グローバルモーション推定値は、前記第２セットの対応するピクチャに関連しており、
   前記第２セットのピクチャのリフレッシュ領域は、そのピクチャに関連する前記グローバルモーション推定値に基づいている、
   請求項１の方法。
3. 前記第１セット及び前記第２セットのピクチャのイントラリフレッシュ符号化された表現を含む符号化ビットストリームを、ヘッドマウントディスプレイ（ＨＭＤ）装置（３０４）に送信すること、をさらに含む、
   請求項１の方法。
4. 前記ＨＭＤ装置において、レンダリングされたピクチャのセットを生成するために、前記符号化ビットストリームを復号化することと、
   前記ＨＭＤ装置のディスプレイパネルにおいて、前記レンダリングされたピクチャのセットを表示することと、をさらに含む、
   請求項３の方法。
5. 第１時間での前記ＨＭＤ装置のモーションに基づいて、前記ピクチャの第１セットに関連する前記グローバルモーション推定値を決定することと、
   第２時間での前記ＨＭＤ装置のモーションに基づいて、前記ピクチャの第２セットに関連する前記グローバルモーション推定値を決定することと、をさらに含む、
   請求項４の方法。
6. 前記第１セットのピクチャのコンテンツのモーション分析に基づいて、前記第１セットに関連する前記グローバルモーション推定値を決定することと、
   前記第２セットのピクチャのコンテンツのモーション分析に基づいて、前記第２セットに関連する前記グローバルモーション推定値を決定することと、をさらに含む、
   請求項１の方法。

Images