JP6690061B2

JP6690061B2 - 動き補償予測方法およびデバイス

Info

Publication number: JP6690061B2
Application number: JP2019531518A
Authority: JP
Inventors: 祥 ▲馬▼; ▲海▼涛 ▲楊▼; 礼李; 厚▲強▼ 李
Original assignee: University of Science and Technology of China USTC; Huawei Technologies Co Ltd
Current assignee: University of Science and Technology of China USTC; Huawei Technologies Co Ltd
Priority date: 2016-08-30
Filing date: 2017-08-24
Publication date: 2020-04-28
Anticipated expiration: 2037-08-24
Also published as: CN107801039A; US20190268608A1; JP2019531674A; EP3499894A4; KR20190041005A; CN107801039B; US11128874B2; EP3499894A1; KR102210609B1

Description

本発明は、画像処理分野に関し、より詳細には、動き補償予測方法およびデバイスに関する。

球面パノラマ画像（以下、球面画像と呼ぶ）に対して実行される処理の間、通常、多面体形式の2次元平面パノラマ画像（以下、2次元画像と呼ぶ）を取得するために、球面画像が最初に投影され、次いで、多面体形式の2次元画像に対して符号化および復号動作が実行される。

多面体形式の2次元画像に対して動き補償予測が実行されるとき、通常、現在ピクセルの参照ピクセルの位置が最初に決定され、次いで、参照ピクセルのピクセル値に基づいて、現在ピクセルのピクセル値が予測される。従来技術の動き補償予測処理では、現在ピクセルが位置する面に参照ピクセルが位置しているかどうかにかかわらず、参照ピクセルの位置におけるピクセル値に基づいて、現在ピクセルのピクセル値が予測される。現在ピクセルが位置する面に参照ピクセルが位置していないとき、多面体形式の2次元画像内の面が同じ投影面に位置せず、面の接合領域に変形が存在するので、参照ピクセルの位置におけるピクセル値に基づいて現在ピクセルのピクセル値を予測する効果は、比較的不十分である。

本発明は、動き補償予測効果を改善するために、動き補償予測方法および動き補償予測装置を提供する。

第1の態様によれば、動き補償予測方法が提供され、方法は、参照画像内の現在ピクセルの初期参照ピクセルの位置を決定するステップであって、現在ピクセルが現在画像の第1のサブ画像内に位置する、ステップと、初期参照ピクセルが、参照画像内にあり、かつ第1のサブ画像に対応する位置にある第2のサブ画像の外側に位置するとき、初期参照ピクセルの位置に基づいて参照画像内の現在ピクセルのターゲット参照ピクセルの位置を決定するステップであって、参照画像に対応する多面体の表面上のターゲット参照ピクセルの位置と、第1の平面上の初期参照ピクセルの位置との間の接続線が、多面体の中心点を通り、多面体の表面上のターゲット参照ピクセルの位置が、初期参照ピクセルの位置および参照画像に対応する多面体のレイアウト情報に基づいて決定され、第1の平面が、第2のサブ画像に対応する多面体の面が位置する平面である、ステップと、ターゲット参照ピクセルのピクセル値および／またはターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、現在ピクセルのピクセル値の予測値を決定するステップとを含む。

初期参照ピクセルが第2のサブ画像の外側に位置するとき、初期参照ピクセルに直接基づく現在ピクセルの予測は、2次元画像のサブ画像境界の幾何学的変形の影響により不正確である。したがって、この場合、本発明によれば、初期参照ピクセルの位置に基づいて、参照機能を実際に実現することができるターゲット参照ピクセルが見つかり、次いで、ターゲット参照ピクセルに基づいて現在ピクセルのピクセル値が予測される。これにより、動き補償予測の精度が向上する。

第2のサブ画像は、参照画像内にあり、かつ現在画像内の第1のサブ画像に対応する位置にあるサブ画像である。たとえば、現在画像および参照画像に対応する多面体は両方とも正六面体であり、現在画像および参照画像の形式は両方とも4×3である。現在画像の第1のサブ画像は、現在画像に対応する正六面体のBottom（底）面に対応すると仮定する。この場合、参照画像の第2のサブ画像も、参照画像に対応する正六面体のBottom面に対応する。

参照画像に対応する多面体は、参照画像上に配置されてもよい。この場合、多面体のアンカー面は、参照画像内の第2のサブ画像の領域が位置する面である。アンカー面は、多面体が展開されるときの基準として使用される面である。たとえば、多面体が展開されるとき、多面体のBottom面が平面上に配置され、次いで、多面体の他の面が平面上に展開される。この場合、平面上のBottom面の位置は変わらず、多面体の他の面は平面の別の領域に展開される。この場合、Bottom面は多面体のアンカー面である。

第1の態様を参照して、第1の態様の第1の実装形態では、方法は、参照画像のレイアウト情報および初期参照ピクセルの位置に基づいて、初期参照ピクセルが参照画像内の第2のサブ画像の外側に位置するかどうかを判定するステップをさらに含む。

初期参照ピクセルが参照画像内の第2のサブ画像の外側にあるかどうかが判定され、その結果、初期参照ピクセルが第2のサブ画像内にないとき、現在ピクセルのピクセル値は初期値に直接基づいて予測することができ、初期参照ピクセルに基づいてターゲット参照ピクセルを決定する必要はない。

第1の態様または第1の態様の第1の実装形態を参照して、第1の態様の第2の実装形態では、初期参照ピクセルの位置に基づいて参照画像内の現在ピクセルのターゲット参照ピクセルの位置を決定するステップは、初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて多面体の表面上のターゲット参照ピクセルの位置を決定するステップであって、多面体の表面上のターゲット参照ピクセルの位置が、多面体の表面と、初期参照ピクセルと多面体の中心点との間の接続線との交点にある、ステップと、多面体の表面上のターゲット参照ピクセルの位置および参照画像のレイアウト情報に基づいて参照画像内のターゲット参照ピクセルの位置を決定するステップとを含む。

第1の態様の第2の実装形態を参照して、第1の態様の第3の実装形態では、初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて多面体の表面上のターゲット参照ピクセルの位置を決定するステップは、初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて第1の平面上の初期参照ピクセルの位置を決定するステップと、第1の平面上の初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて多面体の表面上のターゲット参照ピクセルの位置を決定するステップとを含む。

第1の態様または第1の態様の第1から第3の実装形態のうちのいずれか1つを参照して、第1の態様の第4の実装形態では、レイアウト情報は、多面体の面数情報、参照画像のサブ画像配置方式情報、参照画像のサブ画像配置順序情報、および参照画像のサブ画像回転情報のうちの少なくとも1つを含む。

第1の態様または第1の態様の第1から第4の実装形態のうちのいずれか1つを参照して、第1の態様の第5の実装形態では、ターゲット参照ピクセルのピクセル値および／またはターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、現在ピクセルのピクセル値の予測値を決定するステップは、ターゲット参照ピクセルのピクセル値を現在ピクセルのピクセル値の予測値として決定するステップを含む。

第1の態様または第1の態様の第1から第4の実装形態のうちのいずれか1つを参照して、第1の態様の第6の実装形態では、ターゲット参照ピクセルのピクセル値および／またはターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、現在ピクセルのピクセル値の予測値を決定するステップは、ターゲット参照ピクセルのピクセル値およびターゲット参照ピクセルの近くのピクセルのピクセル値に対して重み付け処理を実行するステップと、重み付け処理を介して取得された、ターゲット参照ピクセルの位置におけるピクセル値を現在ピクセルのピクセル値の予測値として決定するステップとを含む。

第1の態様または第1の態様の第1から第4の実装形態のうちのいずれか1つを参照して、第1の態様の第7の実装形態では、ターゲット参照ピクセルのピクセル値および／またはターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、現在ピクセルのピクセル値の予測値を決定するステップは、ターゲット参照ピクセルの近くのピクセルのピクセル値に基づいてターゲット参照ピクセルの位置において補間処理を実行するステップと、補間処理を介して取得されたピクセル値を現在ピクセルのピクセル値の予測値として決定するステップとを含む。

いくつかの実装形態では、現在画像と参照画像の両方は2次元画像である。

いくつかの実装形態では、参照画像のレイアウト情報および初期参照ピクセルの位置に基づいて、初期参照ピクセルが参照画像内の第2のサブ画像の外側に位置するかどうかを判定するステップは、初期参照ピクセルの位置および参照画像の第2のサブ画像が位置する領域に基づいて、初期参照ピクセルが参照画像内の第2のサブ画像の外側に位置するかどうかを判定するステップであって、参照画像の第2のサブ画像が位置する領域が、参照画像のレイアウト情報に基づいて決定される、ステップを含む。

いくつかの実装形態では、2次元画像に対応する多面体は正多面体である。正多面体には、正四面体、正六面体、正八面体、正十二面体、および正二十面体が含まれてもよい。

いくつかの実装形態では、初期参照ピクセルが、参照画像内にあり、かつ第1のサブ画像に対応する位置にある第2のサブ画像内に位置するとき、現在ピクセルのピクセル値の予測値は、初期参照ピクセルのピクセル値に基づいて決定される。

初期参照ピクセルが第2のサブ画像内に位置するとき、初期参照ピクセルに基づいてターゲット参照ピクセルを探索する必要はなく、代わりに、現在ピクセルのピクセル値は、初期参照ピクセルのピクセル値に基づいて直接予測されてもよい。初期参照ピクセルが第2のサブ画像内に位置していないときにのみ、初期参照ピクセルの位置に基づいてターゲット参照ピクセルを探索する必要がある（この場合、2次元画像内のサブ画像の隣接領域内に変形が存在するので、現在ピクセルのピクセル値は、初期参照ピクセルに基づいて直接予測することはできない）。

第2の態様によれば、動き補償予測方法が提供され、方法は、参照画像内の現在ピクセルの初期参照ピクセルの位置を決定するステップであって、現在ピクセルが現在画像の第1のサブ画像内に位置する、ステップと、初期参照ピクセルが、参照画像内にあり、かつ第1のサブ画像に対応する位置にある第2のサブ画像の外側に位置するとき、第2のサブ画像の拡張領域内の現在ピクセルのターゲット参照ピクセルの位置を決定するステップであって、第2のサブ画像の拡張領域が第2のサブ画像の外側に位置し、拡張領域が複数のピクセルを含み、拡張領域内の任意の第1のピクセルのピクセル値が、参照画像内の第2のピクセルのピクセル値に基づいて決定され、参照画像によって形成された多面体の表面上の第2のピクセルの位置と、第1の平面上の第1のピクセルの位置との間の接続線が、多面体の中心点を通り、多面体の表面上の第2のピクセルの位置が、第1のピクセルの位置および参照画像に対応する多面体のレイアウト情報に基づいて決定され、第1の平面が、第2のサブ画像に対応する多面体の面が位置する平面である、ステップと、ターゲット参照ピクセルのピクセル値および／またはターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、現在ピクセルのピクセル値の予測値を決定するステップとを含む。

初期参照ピクセルが第2のサブ画像の外側に位置するとき、初期参照ピクセルに直接基づく現在ピクセルの予測は、2次元画像のサブ画像境界の幾何学的変形の影響により不正確である。したがって、この場合、本発明によれば、参照機能を実際に実現することができるターゲット参照ピクセルが、現在ピクセルおよび現在ピクセルの動き情報に基づいて拡張領域内で直接探索され、次いで、ターゲット参照ピクセルに基づいて現在ピクセルのピクセル値が予測される。このようにして、ターゲット参照ピクセルを迅速に見つけることができ、さらに、動き補償予測の精度を向上させることができる。

第2のサブ画像の拡張領域は、第1の態様における方法に従ってあらかじめ決定されてもよいことを理解されたい。

第2の態様を参照して、第2の態様の第1の実装形態では、方法は、第1のピクセルの位置および参照画像のレイアウト情報に基づいて多面体の表面上の第2のピクセルの位置を決定するステップであって、多面体の表面上の第2のピクセルの位置が、多面体の表面と、第1のピクセルと多面体の中心点との間の接続線との交点にある、ステップと、多面体の表面上の第2のピクセルの位置および参照画像のレイアウト情報に基づいて参照画像内の第2のピクセルの位置を決定するステップとをさらに含む。

第2の態様または第2の態様の第1の実装形態を参照して、第2の態様の第2の実装形態では、方法は、参照画像のレイアウト情報および初期参照ピクセルの位置に基づいて、初期参照ピクセルが参照画像内の第2のサブ画像の外側に位置するかどうかを判定するステップをさらに含む。

第3の態様によれば、動き補償予測方法が提供され、方法は、参照画像内の現在ピクセルの初期参照ピクセルの位置を決定するステップであって、現在ピクセルが現在画像の第1のサブ画像内に位置する、ステップと、初期参照ピクセルが、参照画像内にあり、かつ第1のサブ画像に対応する位置にある第2のサブ画像の外側に位置するとき、初期参照ピクセルの位置に基づいて、参照画像に対応する多面体の表面上の現在ピクセルのターゲット参照ピクセルの位置を決定するステップであって、多面体の表面上のターゲット参照ピクセルの位置と、第1の平面上の初期参照ピクセルの位置との間の接続線が、多面体の中心点を通り、第1の平面が、第2のサブ画像に対応する多面体の面が位置する平面である、ステップと、多面体の表面上のターゲット参照ピクセルの位置に基づいて、参照画像内のターゲット参照ピクセルの位置を決定するステップと、参照画像内のターゲット参照ピクセルのピクセル値および／またはターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、現在ピクセルのピクセル値の予測値を決定するステップとを含む。

第3の態様を参照して、第3の態様の第1の実装形態では、初期参照ピクセルの位置に基づいて、参照画像に対応する多面体の表面上の現在ピクセルのターゲット参照ピクセルの位置を決定するステップは、初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて第1の平面上の初期参照ピクセルの位置を決定するステップと、第1の平面上の初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて多面体の表面上のターゲット参照ピクセルの位置を決定するステップとを含む。

第3の態様または第3の態様の第1の実装形態を参照して、第3の態様の第2の実装形態では、多面体の表面上のターゲット参照ピクセルの位置に基づいて、参照画像内のターゲット参照ピクセルの位置を決定するステップは、初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて参照画像内のターゲット参照ピクセルの位置を決定するステップであって、多面体の表面上のターゲット参照ピクセルの位置が、多面体の表面と、初期参照ピクセルと多面体の中心点との間の接続線との交点にある、ステップを含む。

第4の態様によれば、動き補償予測装置が提供され、動き補償予測装置は、第1の態様の方法を実行するように構成されたモジュールを含む。

第5の態様によれば、動き補償予測装置が提供され、動き補償予測装置は、第2の態様の方法を実行するように構成されたモジュールを含む。

第6の態様によれば、動き補償予測装置が提供され、動き補償予測装置は、第3の態様の方法を実行するように構成されたモジュールを含む。

第7の態様によれば、コーデックが提供される。コーデックは、不揮発性記憶媒体および中央処理装置を含む。不揮発性記憶媒体は実行可能プログラムを記憶する。中央処理装置は不揮発性記憶媒体に接続され、実行可能プログラムを実行して、本発明の第1の態様およびその拡張内容で提供される動き補償予測方法を実現する。

第8の態様によれば、コーデックが提供される。コーデックは、不揮発性記憶媒体および中央処理装置を含む。不揮発性記憶媒体は実行可能プログラムを記憶する。中央処理装置は不揮発性記憶媒体に接続され、実行可能プログラムを実行して、本発明の第2の態様およびその拡張内容で提供される動き補償予測方法を実現する。

第9の態様によれば、コーデックが提供される。コーデックは、不揮発性記憶媒体および中央処理装置を含む。不揮発性記憶媒体は実行可能プログラムを記憶する。中央処理装置は不揮発性記憶媒体に接続され、実行可能プログラムを実行して、本発明の第3の態様およびその拡張内容で提供される動き補償予測方法を実現する。

第10の態様によれば、コンピュータ可読媒体が提供される。コンピュータ可読媒体は、画像処理デバイスによる実行用のプログラムコードを記憶し、プログラムコードは、第1の態様の方法を実行するために使用される命令を含む。

第11の態様によれば、コンピュータ可読媒体が提供される。コンピュータ可読媒体は、画像処理デバイスによる実行用のプログラムコードを記憶し、プログラムコードは、第2の態様の方法を実行するために使用される命令を含む。

第12の態様によれば、コンピュータ可読媒体が提供される。コンピュータ可読媒体は、画像処理デバイスによる実行用のプログラムコードを記憶し、プログラムコードは、第3の態様の方法を実行するために使用される命令を含む。

本発明では、初期参照ピクセルが第2のサブ画像の外側に位置するとき、初期参照ピクセルの位置に基づいて、参照機能を実際に実現することができるターゲット参照ピクセルが見つかり、次いで、ターゲット参照ピクセルに基づいて現在ピクセルのピクセル値が予測される。これにより、動き補償予測の精度が向上する。

本発明の実施形態における技術的解決策をより明確に記載するために、以下で、本発明の実施形態を記載するために必要とされる添付図面を簡単に記載する。当然ながら、以下の説明における添付図面は本発明のいくつかの実施形態を示すにすぎず、当業者は、創造的な努力なしに、これらの添付図面から他の図面をさらに導出することができる。

球面画像の経緯度図である。多面体形式の2次元画像を示す図である。正六面体に投影された球面画像の概略図である。正六面体、および正六面体を展開して取得された2次元画像の概略図である。本発明の一実施形態による、動き補償予測方法の概略フローチャートである。現在画像および参照画像の概略図である。異なるレイアウトパターンにおける参照画像の概略図である。現在画像および参照画像の概略図である。参照画像に対応する正六面体の概略図である。参照画像に対応する正六面体の概略図である。参照画像に対応する別の多面体の概略図である。異なるレイアウトパターンにおける参照画像を示す図である。ターゲット参照ピクセルのまわりの近傍ピクセルの概略図である。本発明の一実施形態による、動き補償予測方法の概略フローチャートである。拡張領域の概略図である。本発明の一実施形態による、動き補償予測方法の概略フローチャートである。本発明の一実施形態による、動き補償予測装置の概略ブロック図である。本発明の一実施形態による、動き補償予測装置の概略ブロック図である。本発明の一実施形態による、動き補償予測装置の概略ブロック図である。パノラマビデオデコーダの復号プロセスの概略フローチャートである。パノラマビデオエンコーダの符号化プロセスの概略フローチャートである。本発明の一実施形態による、画像エンコーダの概略ブロック図である。

以下で、本発明の実施形態における添付図面を参照して、本発明の実施形態における技術的解決策を明確かつ完全に説明する。当然ながら、記載される実施形態は、本発明の実施形態のすべてではなく、一部である。創造的な努力なしに本発明の実施形態に基づいて当業者によって取得されるすべての他の実施形態は、本発明の保護範囲内に入るべきである。

本発明の実施形態における動き補償予測方法をよりよく理解するために、以下で、最初に図1から図3を参照して、本発明の実施形態における動き補償予測方法が適用されるシナリオを簡単に記載する。

全方向のビデオ画像コンテンツの提示をサポートするために、VRビデオ画像は、通常、3次元空間内の360度全方向視覚情報を含む。VRビデオ画像は、地球内部の中心位置の視点からの地球の眺めを提供する地図として想像されてもよい。通常、VRビデオ画像は（単に球面画像と呼ばれる場合がある）パノラマビデオ画像とも呼ばれる。

球面画像は、都合よく表現、記憶、およびインデックス付けすることができない。したがって、球面画像を処理する前に、球面画像は、通常、2次元画像を取得するために展開される必要があり、次いで、2次元画像に対して圧縮、処理、記憶、および送信などの動作が実行される。2次元画像を取得するために球面画像を展開するプロセスは投影と呼ばれる。

図1に示されたように、一般的な2次元画像は経緯度図と呼ばれる。図1では、南極点および北極点に隣接する領域の画像は比較的大きく引き伸ばされており、したがって相当な歪みおよびデータ冗長性を有する。

経緯度図の欠点を克服するために、球面画像を多面体形式の2次元画像に変換するために、球面画像が正多面体に投影されてもよい。図2に示されたように、球面画像は、正四面体（図2（a））、正六面体（図2（b））、正八面体（図2（c））、正十二面体（図2（d））、および正二十面体（図2（e））に投影されてもよい。上記の多面体のすべてに球面画像を投影することによって取得された2次元平面像が、それぞれ、図2（f）〜図2（k）に示されている。

多面体に球面画像を投影する具体的なプロセスは以下の通りである：球面画像が多面体に配置され、その結果、球面画像は多面体の内接球になる。球の中心または多面体の中心が線を使用して球の表面上の点に接続され、線が多面体と交差するように延長される。多面体上の交点の位置にあるピクセルが、球面画像上の対応する点のピクセルである。

以下では、図3を参照して、一例として、正六面体に球面画像を投影する処理が使用される。球の表面は正六面体ABCDEFGHに内接している。正六面体上の点M’におけるピクセル値を取得するために、球の中心Oが線を使用してM’に接続され、その線は球の表面上の点Mにおいて球と交差する。この場合、点Mにあるピクセルは点M’にあるピクセルである。同様に、平面A’B’C’D’上の領域ABCD内のすべてのピクセルは、同じ方法に従って取得されてもよい。領域ABCD内のピクセルは面（face）ABCDを構成する。平面A’B’C’D’は、面ABCDの投影面（projection plane）である。

球面画像が正多面体に投影され、次いで、多面体の表面が2次元画像を取得するために展開された後、多面体の表面上の各面の画像は、2次元画像内の領域の画像または球面画像のサブ画像になる。たとえば、図4（a）の正六面体の表面は図4（b）の画像を取得するために展開され、その六面体の表面のTop面の面画像は、図4（b）の左上隅のサブ画像になる。サブ画像は、球面画像のTop面の面画像と呼ばれ、球面画像のTop面は、Top面の面画像によって覆われた領域を表す。Top面上の任意のピクセルに対して、Top面はそのピクセルが位置する面と呼ばれる。

本発明の実施形態では、面はサブ画像に対応することを理解されたい。たとえば、Bottom面は2次元画像の面であり、Bottom面上の画像は第1のサブ画像である。この場合、bottom面は第1のサブ画像に対応する面であり、第1のサブ画像はBottom面に対応するサブ画像である。図2（h）に示されたように、各々の小さい矩形領域は2次元画像の面であり、各矩形領域内のピクセルを含む画像は2次元画像のサブ画像である。言い換えれば、面は領域の概念であり、サブ画像は画像である。

加えて、2次元画像に対して符号化、復号、または圧縮などの動作が実行されるとき、図2（f）〜図2（k）に示された画像をそのまま処理してもよく、または画像を包含する最小面積の矩形領域内の画像が処理されるべき対象として選択されてもよく、2次元画像のいずれの面も除いた矩形領域のすべての部分は、デフォルトのコンテンツなど、たとえば、すべて灰色、すべて黒、またはすべて白で埋められる。

画像の符号化および復号の間に、画像は、通常、等しいサイズを有する複数の画像ブロックに分割され、次いで、画像ブロックごとに参照ブロックが探索されることを理解されたい。現在画像ブロック用の参照ブロックを探索するプロセスでは、異なる参照ケースが存在してもよい。参照方向に基づいて、予測は、単方向予測および双方向予測に分類されてもよい。単方向予測は、現在ブロックに対して1つの参照画像セットが存在し（そのセット内の要素は復元画像から選択された参照画像である）、そのセット内の任意の参照画像がコードブロック用に選択され得ることを意味する。双方向予測は、現在ブロックに対して2つの参照画像セットが存在し（2つのセットの各々の中の要素は復元画像から別々に選択された画像であり、2つのセット内の参照画像の一部またはすべては同じであってもよい）、コードブロック用に2つのセットの各々から参照画像が選択され得ることを意味する。具体的には、双方向予測を実行するべきか単方向予測を実行するべきか、および参照画像セットの構築方法は、エンコーダ側およびデコーダ側によって相互に合意されている。あるいは、エンコーダ側がデコーダ側に使用された方法を送信し、デコーダ側は復号結果に基づいて使用された方法を特定する。双方向予測方法が使用されるとき、現在のコードブロックに対して2つの参照ブロックが存在し、各参照ブロックは動き情報指示を必要とする。デコーダ側は、復号を介して取得された2組の動き情報に基づいて2つの参照ブロックを決定する必要がある。現在ブロック内のピクセルのピクセル値の予測値は、2つの参照ブロック内のピクセルのピクセル値に基づいて決定される。

実際には、現在ブロックの参照ブロックが決定され、その参照ブロックに基づいて現在ブロックに対して予測が実行されると、参照ブロック内の参照ピクセルは、実際には、現在ブロック内の現在ピクセル用に決定され、現在ピクセルのピクセル値の予測値は、参照ピクセルのピクセル値に基づいて予測される。以下、本発明の実施形態における動き補償予測方法を詳細に記載する。

図5は、本発明の一実施形態による、動き補償予測方法の概略フローチャートである。方法は以下のステップを含む。

110：参照画像内の現在ピクセルの初期参照ピクセルの位置を決定し、現在ピクセルは現在画像の第1のサブ画像内に位置する。

現在画像と参照画像の両方は、球面画像が変換される多面体形式の2次元画像であることを理解されたい。

現在画像の予測処理中に、現在画像が複数の画像ブロックに分割されてもよく、次いで、各画像ブロックが処理されることを理解されたい。現在ピクセルは、現在画像内の画像ブロック内のピクセルであってもよい。具体的には、処理されるべき現在ピクセルは、第1のサブ画像内の画像ブロック内に位置してもよい。

具体的には、デコーダは、現在ピクセルの位置、および動き情報コードストリームを復号することによって取得される現在ピクセル動き情報に基づいて、参照画像内の初期参照ピクセルの位置を決定することができる。たとえば、参照画像は動き情報内の参照画像指示情報に基づいて決定され、参照画像内の初期参照ピクセルの位置は、動き情報内の動きベクトル情報および現在ピクセルの位置に基づいて決定される。動き探索プロセスでは、エンコーダが現在ブロック用の参照ブロックのための参照画像を探索するか、または現在ピクセル用の参照ピクセルを探索するとき、現在参照ピクセルの位置は初期参照ピクセルの位置である。

現在画像および参照画像に対応する多面体は正六角形であると仮定する。図6（a）は現在画像（現在ピクセルは現在画像内にある）であり、図6（b）は参照画像（初期参照ピクセルは参照画像内にある）である。現在画像と参照画像の両方は6つのサブ画像を含む。6つのサブ画像は、Top（上）、Front（前）、Right（右）、Rear（後）、Left（左）、およびBottom（下）である。本明細書におけるサブ画像は、いくつかのピクセルを含むアレイと見なされてもよく、球の表面が多面体に投影されるとき、これらのピクセルは同じ投影面上に位置する。多面体が2次元画像を取得するために展開された後、多面体の各面は2次元画像の一部になる。現在ピクセルはPであり、Pは現在画像内のBottomサブ画像内にあると仮定する。初期参照ピクセルはTであり、Tは参照画像内のFrontサブ画像内にあると仮定する。換言すれば、Tは参照画像内のBottomサブ画像内にない。図6（a）では、第1のサブ画像がBottomサブ画像であり、図6（b）では、第2のサブ画像がBottomサブ画像であることを理解されたい。第1のサブ画像および第2のサブ画像は、それぞれ、現在画像および参照画像内の対応する位置にあるサブ画像である。

120：初期参照ピクセルが、参照画像内にあり、かつ第1のサブ画像に対応する位置にある第2のサブ画像の外側に位置するとき、初期参照ピクセルの位置に基づいて参照画像内の現在ピクセルのターゲット参照ピクセルの位置を決定し、参照画像に対応する多面体の表面上のターゲット参照ピクセルの位置と、第1の平面上の初期参照ピクセルの位置との間の接続線は、多面体の中心点を通り、多面体の表面上のターゲット参照ピクセルの位置は、初期参照ピクセルの位置および参照画像に対応する多面体のレイアウト情報に基づいて決定され、第1の平面は、第2のサブ画像に対応する多面体の面が位置する平面である。

初期参照ピクセルが、参照画像内にあり、かつ第1のサブ画像に対応する位置にある第2のサブ画像内に位置するとき、予測は、初期参照ピクセルに基づいて直接現在ピクセルに対して実行されてもよく、ターゲット参照ピクセルを探索する必要がないことを理解されたい。

参照画像に対応する多面体は、参照画像によって形成された多面体、換言すれば、具体的な規則に従って参照画像のすべてのサブ画像を折り重ねて形成された多面体であってもよい。

場合によっては、方法は、参照画像のレイアウト情報および初期参照ピクセルの位置に基づいて、初期参照ピクセルが参照画像内の第2のサブ画像の外側に位置するかどうかを判定するステップをさらに含む。

初期参照ピクセルが第2のサブ画像の外側に位置するかどうかを判定する間に、参照画像内の初期参照ピクセルの位置が最初に決定される必要がある。初期参照ピクセルの位置を決定する間に、デコーダおよびエンコーダは、具体的に、以下の決定のプロセスを実行する。

デコーダは、現在ピクセルの位置、および動き情報コードストリームを復号することによって取得された現在ピクセル動き情報に基づいて、参照画像内の初期参照ピクセルの位置を決定することができる。たとえば、デコーダは、動き情報内の参照画像指示情報に基づいて参照画像を決定し、動き情報内の動きベクトル情報および現在ピクセルの位置に基づいて、参照画像内の初期参照ピクセルの位置を決定することができる。

エンコーダが現在ブロック用の参照ブロックを探索するか、または現在ピクセル用の参照ピクセルを探索するとき、現在参照ピクセルの位置は初期参照ピクセルの位置である。

場合によっては、参照画像に対応する多面体のレイアウト情報は、参照画像に対応する多面体の面数情報、参照画像のサブ画像配置方式情報、参照画像のサブ画像配置順序情報、および参照画像のサブ画像回転情報のうちの少なくとも1つを含む。

具体的には、参照画像に対応する多面体の面数情報は、具体的に、参照画像がどの多面体に対応しているかであってもよい。具体的には、多面体の面数情報は、参照画像が正六角形に対応していることを示すことができる。

参照画像のサブ画像配置方式情報は、参照画像内のすべてのサブ画像の配置方式である。図7に示されたように、参照画像は正六面体に対応している。この場合、参照画像は6つのサブ画像を含み、6つのサブ画像の配置は、4×3パターン（図7（b））、3×2パターン（図7（c）および図7（d））、または6×1パターン（図7（e）および図7（f））であってもよい。

参照画像のサブ画像配置順序情報は、参照画像内のすべてのサブ画像の配置順序である。たとえば、図7（c）と図7（d）の両方は3×2パターンの画像である。図7（c）では、Front面に対応するサブ画像が画像の左下隅に配置されている。図7（d）では、Front面に対応するサブ画像が1行目の中央に配置されている。

参照画像のサブ画像回転情報は、参照画像のサブ画像の回転角度であってもよい。図7（c）の各サブ画像の配置位置が基準として使用されると仮定すると、図7（d）では、Front面に対応するサブ画像の回転角度は−90度である。

130：ターゲット参照ピクセルのピクセル値および／またはターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、現在ピクセルのピクセル値の予測値を決定する。

本発明のこの実施形態では、初期参照ピクセルが第2のサブ画像の外側に位置するとき、初期参照ピクセルの位置に基づいて、参照機能を実際に実現することができるターゲット参照ピクセルが見つかり、次いで、ターゲット参照ピクセルに基づいて現在ピクセルのピクセル値が予測される。これにより、動き補償予測の精度が向上する。

場合によっては、一実施形態では、初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて参照画像内の現在ピクセルのターゲット参照ピクセルの位置を決定するステップは、初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて多面体の表面上のターゲット参照ピクセルの位置を決定するステップであって、多面体の表面上のターゲット参照ピクセルの位置が、多面体の表面と、初期参照ピクセルと多面体の中心点との間の接続線との交点にある、ステップと、多面体の表面上のターゲット参照ピクセルの位置および参照画像のレイアウト情報に基づいて参照画像内のターゲット参照ピクセルの位置を決定するステップとを含む。

以下で、インスタンス1およびインスタンス2を参照して、初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて多面体の表面上のターゲット参照ピクセルの位置を決定するプロセスを詳細に記載する。

インスタンス1：
図8において、図8（a）は現在画像であり、図8（b）は参照画像である。Pは現在画像内の現在ピクセルであり、Pは現在画像のBottom面に位置する。P’は参照画像内のPと同じ位置にあるピクセルであり、P’は参照画像のBottom面に位置する。T₁、T₂、およびT₃は現在ピクセルのすべての初期参照ピクセルであり、すべて参照画像のBottom面の外側に位置する。

図9の正六面体は、参照画像に対応し、かつBottom面として参照画像のBottom面を使用して構築された多面体である。図9は、図8（b）の3つの現在参照ピクセルT₁、T₂、およびT₃を示す。3つのターゲット参照ピクセルに対応し、かつ正六面体上にあるピクセルはH₁、H₂、およびH₃であることが、図9から分かる。H₁、H₂、およびH₃は、それぞれ、正六角形と、T₁とOとの間、T₂とOとの間、およびT₃とOとの間の接続線の交点に位置する。このようにして、T₁、T₂、およびT₃の位置に基づいて、H₁、H₂、およびH₃の位置を決定することができる。図9では、T₁、T₂、およびT₃は、異なる位置にある初期参照ピクセルの場合を単に表しているにすぎないことを理解されたい。実際には、一度に1つの参照ピクセルしか存在しない。

以下では、初期参照ピクセルの位置に基づいて、ターゲット参照ピクセルに対応し、かつ多面体上にあるピクセルの位置をどのように決定するかを詳細に記載するために、一例として図10を使用する。

具体的には、T₁は、T₁の位置に基づいて、多面体の表面上のターゲット参照ピクセルの投影ピクセルの投影位置をどのように決定するかを詳細に記載するために、一例として使用される。

図10の正六面体は、参照画像に対応し、かつ底面として参照画像のBottom面を使用して構築された多面体である。具体的には、正六面体のアンカー面（アンカー面は、多面体を構成するための底面として理解され得るし、たとえば、参照画像の面は、構築された多面体の底面として使用され、底面は多面体のアンカー面である）は、参照画像のBottom面である。正六面体の辺の長さはaであり、Oは正六面体の中心である。Tの位置は初期参照ピクセルの位置である。平面ABCDは、参照画像内の現在ピクセルと同じ位置にあるピクセルが位置する平面である。ここでは、O’は、現在ピクセルが位置する平面ABCDが位置する投影面上の平面法線方向における平面ABCD上のOの直立投影であり、Jは辺BCの中点であり、Kは延長線O’J上のTの直立投影であり、OTは点Hで平面BCGFと交差する（点Hの位置は初期参照ピクセルの投影ピクセルの位置である）。BC上の点Hの直立投影はSであり、Iは辺BC上のTの直立投影である。正六面体の辺の長さはaなので、OO’とO’Jの長さは両方とも
である。線分JKの長さがxであり、線分KTの長さがyであると仮定する。この場合、同様の三角形に基づいて以下の式が取得され得る。

L_SJはSJの長さであり、L_SHはSHの長さである。式（1）および式（2）に基づいてSJの長さおよびSHの長さが取得された後、正六面体の表面上の点Hの位置が決定され得る。SJの長さおよびSHの長さは、正六面体の表面上の点Hの位置をさらに取得するために、初期参照ピクセルの位置座標に基づいて決定され得ることを理解されたい。式（2）はまた、相似三角形の関係に基づいて以下の形に単純化されてもよい。

上記の式（2a）は、図10に示された相似三角形間の幾何学的関係に基づいて取得されてもよい。具体的なプロセスは以下の通りである。

三角形OO’Tでは、
である。

三角形O’KTでは、
である。

上記の式（a）と式（b）を組み合わせて
を取得する。

OO’の長さは
であり、JKの長さはxであり、O’Kの長さは
である。式（2a）は、上記の式（c）に上記の値を代入することによって取得される。

インスタンス2：
図11に示されたように、参照画像に対応する多面体は、2つの面ACBおよびDBCを含む（多面体は、本明細書に列挙されていない別の面をさらに含んでもよい）。面ACBは、参照画像内の現在ピクセルと同じ位置にあるピクセルが位置する面である。ここでは、Oは多面体の中心であり、O’は面ABC上のOの直立投影である。Tの位置は初期参照ピクセルの位置であり、O’Tは点Sで辺BCと交差し、OTは点Hで面BCDと交差し、H’’はO’K上のHの直立投影であり、LはO’K上のH’’の直立投影であり、IはBC上のTの直立投影である。

図11（a）に示されたように、OO’の長さはL_OOであり、O’Jの長さはL_O’Jであり、JKの長さはL_JKであり、KTの長さはL_KTであり、面ACBと面BCDとの間の挟角はα（αは90°より大きい）であり、∠O’SH＝θである。

この場合、以下の式を取得することができる。

多面体の隣接する面の間の挟角が90°より大きいとき、上記の式（4）および式（13）に基づいて、最終的に
を取得することができる。L_SJおよびL_H’’Jが取得された後、多面体の表面上のターゲット参照ピクセルの投影位置がさらに決定され得る。

図11（b）では、面ACBと面BCDとの間の挟角αは90°より小さい。この場合：

多面体の隣接する面の間の挟角が90°より小さいとき、上記の式（4）および式（18）に基づいて、最終的に
を取得することができる。L_SJおよびL_H’’Jが取得された後、多面体の表面上のターゲット参照ピクセルの投影位置がさらに決定され得る。

一般的な正多面体では、四面体の隣接する面の間の挟角は90°より小さく、正六面体の隣接する面の間の挟角は90°であり、正八面体またはより複雑な多面体の隣接する面の間の挟角は90°より大きい。別の多面体形式の画像の場合、最終的にL_SJおよびL_H’’Jを取得するために、同様の方法に従って対応するパラメータが取得されてもよく、それにより、多面体の表面上のターゲット参照ピクセルの投影ピクセルの位置が決定される。本明細書における投影ピクセルの位置は、多面体の表面と、初期参照ピクセルと多面体の中心との間の接続線との交点の位置であることを理解されたい。

場合によっては、一実装形態では、初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて多面体の面上のターゲット参照ピクセルの位置を特定するステップは、初期参照ピクセルの位置および参照画像のレイアウト情報とに基づいて第1の平面上の初期参照ピクセルの位置を特定するステップと、第1の平面上の初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて多面体の面上のターゲット参照ピクセルの位置を特定するステップとを含む。

場合によっては、多面体の表面上のターゲット参照ピクセルの位置における点は、ターゲット参照ピクセルの投影ピクセルとして理解されてもよい。この場合、初期参照ピクセルの位置に基づいて参照画像内の現在ピクセルのターゲット参照ピクセルの位置を決定するステップは、具体的に、初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて多面体の表面上のターゲット参照ピクセルの投影ピクセルの位置を決定するステップであって、多面体の表面上の投影ピクセルの位置が、多面体の表面と、初期参照ピクセルと多面体の中心点との間の接続線との交点にある、ステップと、多面体の表面上の投影ピクセルの位置および参照画像のレイアウト情報に基づいて参照画像内のターゲット参照ピクセルの位置を決定するステップとを含む。

以下では、図12を参照して、正六面体形式の2次元画像を一例として使用することにより、参照画像内のターゲット参照ピクセルの位置をどのように決定するかを具体的に記載する。図12（a）に示されたように、参照画像に対応する正六面体の辺の長さがaであり、参照画像のレイアウトパターンが4×3であり、現在ピクセルのターゲット参照ピクセルが正六面体のfront面上の点H₁に投影され、H1とFront面の左上隅の頂点との間の水平距離および垂直距離が、それぞれ、△xおよび△yであると仮定する。以下では、異なるレイアウトパターンで2次元画像内のターゲット参照ピクセルの参照画像内の位置をどのように決定するかを記載する。

図12（b）では、画像の幅は4aであり、画像の高さは3aであり、Front面は左下隅に位置し、回転していない。この場合、参照画像の左上隅の頂点Qに対する参照画像内のH₁の位置は、（△x，a＋△y）である。

図12（c）では、Front面は依然として左下隅の図12（b）と同じ位置にあるが、時計回りに90度回転している。この場合、参照画像の左上隅の頂点Qに対する参照画像内のH₁の位置は、（a−△y，2a＋△x）である。

場合によっては、一実施形態では、ターゲット参照ピクセルのピクセル値および／またはターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、現在ピクセルのピクセル値の予測値を決定するステップは、ターゲット参照ピクセルのピクセル値を現在ピクセルのピクセル値の予測値として決定するステップを含む。

ターゲット参照ピクセルのピクセル値は、ターゲット参照ピクセルの位置におけるピクセル値であってもよい。ターゲット参照ピクセルのピクセル値を現在ピクセルの予測値としてそのまま決定することにより、演算プロセスを簡略化することができる。

場合によっては、一実施形態では、ターゲット参照ピクセルのピクセル値および／またはターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、現在ピクセルのピクセル値の予測値を決定するステップは、
ターゲット参照ピクセルのピクセル値およびターゲット参照ピクセルの近くのピクセルのピクセル値に対して重み付け処理を実行するステップと、重み付け処理を介して取得された、ターゲット参照ピクセルの位置におけるピクセル値を現在ピクセルのピクセル値の予測値として決定するステップと
を含む。

重み付け処理は、ターゲット参照ピクセルおよびターゲット参照ピクセルのまわりのピクセルに対して実行される平滑化フィルタリング処理であってもよい。具体的には、ターゲット参照ピクセルを含む複数のピクセルのピクセル値に対して平均処理が実行され、ピクセル値の取得された平均値が現在ピクセルのピクセル値の予測値として使用される。

現在ピクセルのピクセル値の予測中に、ターゲット参照ピクセルのピクセル値は、現在ピクセルのピクセル値の予測値としてそのまま使用されてもよい。あるいは、ターゲット参照ピクセルのピクセル値のみを使用して現在ピクセルのピクセル値を予測する代わりに、ターゲット参照ピクセルおよびターゲット参照ピクセルの近くのピクセルに基づいて、現在ピクセルのピクセル値が予測される。

場合によっては、一実施形態では、ターゲット参照ピクセルのピクセル値および／またはターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、現在ピクセルのピクセル値の予測値を決定するステップは、ターゲット参照ピクセルの近くのピクセルのピクセル値に基づいてターゲット参照ピクセルの位置において補間処理を実行するステップと、補間処理を介して取得されたピクセル値を現在ピクセルのピクセル値の予測値として決定するステップとを含む。

ターゲット参照ピクセルのピクセル値が決定された後、最初にターゲット参照ピクセルのピクセル値の精度が決定されてもよい。ターゲット参照ピクセルのピクセル値の精度が現在ピクセルの動きベクトル精度より小さいとき、補間アルゴリズムを使用することにより、ターゲット参照ピクセルのまわりのピクセルのピクセル値が計算される必要があり、計算を介して取得されたピクセル値がターゲット参照ピクセルのピクセル値として使用される。具体的には、ターゲット参照ピクセルのピクセル値の精度が1／2ピクセル精度であり、かつ、現在ピクセルの動きベクトル精度が1／4ピクセル精度であるとき、ターゲット参照ピクセルのピクセル値の精度は、現在ピクセルの動きベクトル精度より小さい。したがって、ターゲット参照ピクセルのピクセル値は、補間アルゴリズムを使用して再計算される必要がある。

具体的には、図13に示されたように、投影点Hの座標は（i＋u，j＋v）であり、ここで、iとjの両方は負でない整数であり、uとvの両方は［0，1］の範囲の浮動小数点数である。Hに近い4つの整数ピクセルの位置座標は、P_（i，j）、P_{（i，j＋1）}、P_{（i，j＋1）}、P_{（i＋1，j＋1）}である。

バイリニア補間アルゴリズムが使用される場合、Hにおけるピクセル値は以下のように取得することができる。

バイキュービック補間アルゴリズムが使用される場合、投影点Hの座標は依然として（i＋u、j＋v）であり、点Hのまわりの16個の隣接点の座標は、それぞれ、P_{（i−1，j−1）}、P_{（i−1，j＋0）}、P_{（i−1，j＋1）}、P_{（i−1，j＋2）}、P_{（i＋0，j−1）}、P_{（i＋0，j＋0）}、P_{（i＋0，j＋1）}、P_{（i＋0，j＋2）}、P_{（i＋1，j−1）}、P_{（i＋1，j＋0）}、P_{（i＋1，j＋1）}、P_{（i＋1，j＋2）}、P_{（i＋2，j−1）}、P_{（i＋2，j＋0）}、P_{（i＋2，j＋1）}、およびP_{（i＋2，j＋2）}である。

バイキュービック補間アルゴリズムが使用されるとき、Hにおけるピクセル値は以下のように取得される。

上記は、単にバイリニア補間アルゴリズムおよびバイキュービック補間アルゴリズムを例として使用して、本発明のこの実施形態における補間アルゴリズムを使用することにより、投影ピクセルの位置におけるピクセル値をどのように決定するかを詳細に記載する。実際には、Lanczos補間アルゴリズム、最近傍補間アルゴリズム、画像構造などの情報に基づくいくつかの非解像度補間方法なども使用されてもよい。

ターゲット参照ピクセルのピクセル値が決定された後、ターゲット参照ピクセルのピクセル値が対応する要件を満たすかどうかを考慮せずに、現在ピクセルのピクセル値として、ターゲット参照ピクセルのピクセル値がそのまま決定されてもよい。加えて、ターゲット参照ピクセルのピクセル値が事前設定された要件を満たすかどうかは、代替として、ターゲット参照ピクセルのピクセル値が決定された後に判定されてもよい。ターゲット参照ピクセルのピクセル値が要件を満たさないとき、ターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、ターゲット参照ピクセルに対して補間演算が実行されてもよく、取得されたピクセル値が現在ピクセルのピクセル値の予測値として使用される。あるいは、ターゲット参照ピクセルのピクセル値およびターゲット参照ピクセルの近くのピクセルのピクセル値に対して重み付け処理が実行されてもよく、重み付け処理を介して取得された結果が、現在ピクセルのピクセル値の予測値として使用される。

図14は、本発明の一実施形態による、動き補償予測方法の概略フローチャートである。図14に示された方法は以下のステップを含む。

210：参照画像内の現在ピクセルの初期参照ピクセルの位置を決定し、現在ピクセルは現在画像の第1のサブ画像内に位置する。

220：初期参照ピクセルが、参照画像内にあり、かつ第1のサブ画像に対応する位置にある第2のサブ画像の外側に位置するとき、第2のサブ画像の拡張領域内の現在ピクセルのターゲット参照ピクセルの位置を決定し、第2のサブ画像の拡張領域は第2のサブ画像の外側に位置し、拡張領域は複数のピクセルを含み、拡張領域内の任意の第1のピクセルのピクセル値は、参照画像内の第2のピクセルのピクセル値に基づいて決定され、参照画像によって形成された多面体の表面上の第2のピクセルの位置と、第1の平面上の第1のピクセルの位置との間の接続線は、多面体の中心点を通り、多面体の表面上の第2のピクセルの位置は、第1のピクセルの位置および参照画像に対応する多面体のレイアウト情報に基づいて決定され、第1の平面は、第2のサブ画像に対応する多面体の面が位置する平面である。

230：ターゲット参照ピクセルのピクセル値および／またはターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、現在ピクセルのピクセル値の予測値を決定する。

本発明のこの実施形態では、初期参照ピクセルが第2のサブ画像の外側に位置するとき、現在ピクセルおよび現在ピクセルの動き情報に基づいて、参照機能を実際に実現することができるターゲット参照ピクセルが拡張領域内で直接探索され、次いで、ターゲット参照ピクセルに基づいて現在ピクセルのピクセル値が予測される。このようにして、ターゲット参照ピクセルを迅速に見つけることができ、さらに、動き予測推定の精度を向上させることができる。

拡張領域内のピクセルのピクセル値は、図5に示された上記の方法に従って計算されてもよいことを理解されたい。このようにして、現在ピクセルのピクセル値の予測中に、ターゲット参照ピクセルを拡張領域内で直接見つけることができ、現在ピクセルのピクセル値を迅速に予測することができる。

場合によっては、一実施形態では、図14に示された方法は、第1のピクセルの位置および参照画像のレイアウト情報に基づいて多面体の表面上の第2のピクセルの位置を決定するステップであって、多面体の表面上の第2のピクセルの位置が、多面体の表面と、第1のピクセルと多面体の中心点との間の接続線との交点にある、ステップと、多面体の表面上の第2のピクセルの位置および参照画像のレイアウト情報に基づいて参照画像内の第2のピクセルの位置を決定するステップとをさらに含む。

場合によっては、一実施形態では、図14に示された方法は以下をさらに含む。

具体的には、図14に示された動き補償予測方法は、最初に、参照画像のサブ画像の拡張領域を決定し、次いで、拡張領域内の参照ピクセルの位置を決定することである。このようにして、現在ピクセルの予測中に、参照ピクセルを拡張領域内で直接見つけることができ、参照ピクセルのピクセル値に基づいて、現在ピクセルに対して予測が実行される。以下では、図15を参照して詳細に上記の処理を記載する。具体的なステップは以下の通りである。

201：参照画像内で、現在ピクセルに対応する位置にある面のための拡張領域を構築する。

現在ピクセルが位置する面は、参照画像に対応する多面体のレイアウト情報（通常、参照画像に対応する多面体のレイアウト情報は、現在画像のレイアウト情報と同じであり、したがって、現在画像内のピクセルが位置する面を決定するために使用されてもよい）および現在ピクセルの位置に基づいて決定される。現在ピクセルに対応し、かつ参照画像内にある面が見つかり、拡張領域が対応する面のために構築され、拡張領域内のピクセルのピクセル値が決定される。拡張領域の具体的な効果は、面のまわりに面を拡大またはパッチすることに類似する。図15（a）に示されたように、現在ピクセルPはBottom面に位置する。この場合、拡張領域は参照画像内のBottom面のために構築される必要がある。拡張領域の範囲が、図15（b）のBottom面の外側の破線領域で示されている。拡張領域内のピクセルのピクセル値の計算中に、図15（c）に示され、かつ参照画像に対応する多面体が、Bottom面として参照画像の底部を使用して構築されてもよい。多面体が展開されている場合、拡張領域内の多面体のRear面、Front面、Left面、およびRight面などの面の位置が図15（d）に示されている。拡張領域内の任意の第1のピクセルの場合、参照画像内の第1のピクセルに対応する第2のピクセルの位置は、図5に示された本発明の実施形態における前記の動き補償予測方法に従って、第1のピクセルの位置、第1のピクセルに対応する現在ピクセルが位置する面、および参照画像に対応する多面体のレイアウト情報に基づいて最終的に決定されてもよい。次いで、第2のピクセルの位置におけるピクセル値が決定され、最後に、第2のピクセルの位置におけるピクセル値が第1のピクセルのピクセル値として使用される。本明細書では、第1のピクセルは、図5に示された本発明の実施形態における動き補償予測方法における初期参照ピクセルと同様であり、第2のピクセルは、図5に示された本発明の実施形態における動き補償予測方法におけるターゲット参照ピクセルと同様である。

202：拡張領域内の現在ピクセルのターゲット参照ピクセルの位置を決定する。

最初に、現在ピクセルの参照ピクセルが決定され、現在ピクセルが位置する面および参照ピクセルの位置に基づいて、現在ピクセルが位置する面に参照ピクセルが位置するかどうかが判定される。現在ピクセルが位置する面に参照ピクセルが位置する場合、参照ピクセルの位置におけるピクセル値は、現在ピクセルのピクセル値の予測値としてそのまま使用されてもよい。そうでない場合、以下の動作が実行される必要がある。参照ピクセルと現在ピクセルとの間の相対位置オフセットに基づいて、拡張領域内の参照ピクセルの対応する位置が最初に決定される。図15（b）に示されたように、参照ピクセルTは現在ピクセルPが位置する面に位置しない。参照ピクセルと現在ピクセルとの間の相対位置オフセットに基づいて、参照ピクセルTは拡張領域内のRear面に対応する領域に位置するべきであることが分かる。図15（d）に示されたように、拡張領域が実際の相対空間位置に基づいて配置される場合、拡張領域内の参照ピクセルの位置は相対位置オフセットに基づいて決定される。そうでない場合、拡張領域内の参照ピクセルの位置は、具体的な拡張領域配置方法に応じて決定される必要がある。

203：現在ピクセルのピクセル値の予測値を決定する。

拡張領域内の参照ピクセルの対応する位置が決定された後、その位置におけるピクセル値が現在ピクセルのピクセル値の予測値として使用される。

拡張領域内のピクセルは整数ピクセルであってもよく、分数ピクセルであってもよいことを理解されたい。ピクセルが分数ピクセルである場合、具体的なピクセル値は、1／2精度、1／4精度、1／8精度などであってもよい。

加えて、拡張領域内の参照ピクセルの位置が決定された後、その位置にピクセル値が存在しない場合、参照ピクセルに対して補間演算が実行される必要がある。具体的な補間演算方法として、DCT補間、バイリニア補間、または別の補間方法が使用されてもよい。

図14に示された方法と図5に示された方法との間の違いは、図14では、拡張領域内の現在ピクセルの位置が最初に計算されることであり、その結果、より好都合なことに、現在ピクセルの予測中にターゲット参照ピクセルを見つけることができることを理解されたい。これにより、初期参照ピクセルの位置に基づいてターゲット参照ピクセルの位置を決定する計算プロセスが省略される。図5に示され方法によれば、現在ピクセルのピクセル値の予測中に、初期参照ピクセルの位置に基づいてターゲット参照ピクセルの位置がさらに決定され、したがって、図14に示された方法と比較して、もう1つの計算プロセスが必要である。図14に示された方法の他のステップは、図5に示された方法の他のステップと基本的に同じである。簡潔にするために、繰返しの説明は適切に省略される。

図16は、本発明の一実施形態による、動き補償予測方法の概略フローチャートである。図16に示された方法は以下のステップを含む。

310：参照画像内の現在ピクセルの初期参照ピクセルの位置を決定し、現在ピクセルは現在画像の第1のサブ画像内に位置する。

320：初期参照ピクセルが、参照画像内にあり、かつ第1のサブ画像に対応する位置にある第2のサブ画像の外側に位置するとき、初期参照ピクセルの位置に基づいて、参照画像に対応する多面体の表面上のターゲット参照ピクセルの位置を決定し、多面体の表面上のターゲット参照ピクセルの位置と、第1の平面上の初期参照ピクセルの位置との間の接続線は、多面体の中心点を通り、第1の平面は、第2のサブ画像に対応する多面体の面が位置する平面である。

330：多面体の表面上のターゲット参照ピクセルの位置に基づいて、参照画像内のターゲット参照ピクセルの位置を決定する。

340：参照画像内のターゲット参照ピクセルのピクセル値および／またはターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、現在ピクセルのピクセル値の予測値を決定する。

本発明のこの実施形態では、図5に示された動き補償予測方法と図16に示された動き補償予測方法との間の違いは、図5では、参照画像内のターゲット参照ピクセルの位置が初期参照ピクセルの位置に基づいて直接決定され、図16では、参照画像に対応する多面体の表面上のターゲット参照ピクセルの位置が、初期参照ピクセルの位置に基づいて最初に決定され、次いで、参照画像内のターゲット参照ピクセルの位置が、多面体の表面上のターゲット参照ピクセルの位置に基づいて決定されることであることを理解されたい。図5に示された動き補償予測方法の説明および記述は、図16に示された動き補償予測方法にも適用可能である。したがって、簡潔にするために、ここでは繰返しの説明は適切に省略される。

場合によっては、一実施形態では、初期参照ピクセルの位置に基づいて、参照画像に対応する多面体の表面上の現在ピクセルのターゲット参照ピクセルの位置を決定するステップは、初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて第1の平面上の初期参照ピクセルの位置を決定するステップと、第1の平面上の初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて多面体の表面上のターゲット参照ピクセルの位置を決定するステップとを含む。

場合によっては、一実施形態では、多面体の表面上のターゲット参照ピクセルの位置に基づいて、参照画像内のターゲット参照ピクセルの位置を決定するステップは、初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて参照画像内のターゲット参照ピクセルの位置を決定するステップであって、多面体の表面上のターゲット参照ピクセルの位置が、多面体の表面と、初期参照ピクセルと多面体の中心点との間の接続線との交点にある、ステップを含む。

本発明のこの実施形態における動き補償予測方法は、様々な多面体形式の2次元画像に適用可能であることを理解されたい。その上、本発明のこの実施形態における動き補償予測方法は、多面体形式の2次元画像の面が回転し、面の配置順序が変わり、面の空間レイアウトパターンが変わる場合にも適用可能であることを理解されたい。

本発明のこの実施形態では、ターゲット参照ピクセルの位置におけるピクセル値は、現在ピクセルのピクセル値の予測中に計算されてもよいことを理解されたい。あるいは、処理されるべきピクセルのターゲット参照ピクセルのピクセル値が事前に計算されていてもよい。このようにして、処理されるべきピクセルの処理中に、処理されるべきピクセルのターゲット参照ピクセルのピクセル値が直接取得されてもよく、それにより、画像処理継続時間が短縮される。

上記は一例として六面体形式の2次元画像を使用しているが、この方法は四面体形式、八面体形式、および他の多面体形式を含む他の多面体形式の2次元画像にも適用可能であることを理解されたい。

上記は、4×3形式の2次元画像を使用することにより、本発明のこの実施形態における動き補償予測方法を詳細に記載しているが、本発明のこの実施形態における動き補償予測方法は、他のパターン形式の2次元多面体画像にも適用可能であることを理解されたい。本発明のこの実施形態における動き補償予測方法は、2次元画像内の面の一部またはすべてが回転し、面の配置順序が異なり、面の配置方法が異なるなどの場合にも適用可能である。

この実施形態では、参照画像内の参照ピクセルのピクセル値が現在ピクセルのピクセル値の予測値としてそのまま使用されもよく、参照ピクセルのピクセル値および参照ピクセルのまわりのピクセルのピクセル値に重み付けを実行して取得されたピクセル値、または別の演算を実行して取得されたピクセル値が、現在ピクセルのピクセル値の予測値として使用されてもよいことを理解されたい。

上記は、図1から図16を参照して、本発明の実施形態における動き補償予測方法を詳細に記載している。以下で、図17から図22を参照して、本発明の実施形態における動き補償予測装置を詳細に記載する。図17から図22の動き補償予測装置は、図1から図16の動き補償予測方法のステップを実行できることを理解されたい。繰返しを避けるために、繰返しの説明は適切に省略される。

図17は、本発明の一実施形態による、動き補償予測装置の概略ブロック図である。動き補償予測装置400は、
参照画像内の現在ピクセルの初期参照ピクセルの位置を決定するように構成された第1の決定ユニット410であって、現在ピクセルが現在画像の第1のサブ画像内に位置する、第1の決定ユニット410と、
初期参照ピクセルが、参照画像内にあり、かつ第1のサブ画像に対応する位置にある第2のサブ画像の外側に位置するとき、初期参照ピクセルの位置に基づいて参照画像内の現在ピクセルのターゲット参照ピクセルの位置を決定するように構成された第2の決定ユニット420であって、参照画像に対応する多面体の表面上のターゲット参照ピクセルの位置と、第1の平面上の初期参照ピクセルの位置との間の接続線が、多面体の中心点を通り、多面体の表面上のターゲット参照ピクセルの位置が、初期参照ピクセルの位置および参照画像に対応する多面体のレイアウト情報に基づいて決定され、第1の平面が、第2のサブ画像に対応する多面体の面が位置する平面である、第2の決定ユニット420と、
ターゲット参照ピクセルのピクセル値および／またはターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、現在ピクセルのピクセル値の予測値を決定するように構成された予測ユニット430と
を含む。

本発明のこの実施形態では、初期参照ピクセルが第2のサブ画像の外側に位置するとき、初期参照ピクセルに直接基づく現在ピクセルの予測は、2次元画像のサブ画像境界の幾何学的変形の影響により不正確である。したがって、この場合、本発明によれば、初期参照ピクセルの位置に基づいて、参照機能を実際に実現することができるターゲット参照ピクセルが見つかり、次いで、ターゲット参照ピクセルに基づいて現在ピクセルのピクセル値が予測される。これにより、動き補償予測の精度が向上する。

場合によっては、動き補償予測装置400は、
参照画像のレイアウト情報および初期参照ピクセルの位置に基づいて、初期参照ピクセルが参照画像内の第2のサブ画像の外側に位置するかどうかを判定するように構成された判定ユニット440
をさらに含む。

場合によっては、一実施形態では、第2の決定ユニット420は、具体的に、
初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて多面体の表面上のターゲット参照ピクセルの位置を決定することであって、多面体の表面上のターゲット参照ピクセルの位置が、多面体の表面と、初期参照ピクセルと多面体の中心点との間の接続線との交点にある、決定することと、
多面体の表面上のターゲット参照ピクセルの位置および参照画像のレイアウト情報に基づいて参照画像内のターゲット参照ピクセルの位置を決定することと
を行うように構成される。

場合によっては、一実施形態では、第2の決定ユニット420は、具体的に、
初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて第1の平面上の初期参照ピクセルの位置を決定することと、
第1の平面上の初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて多面体の表面上のターゲット参照ピクセルの位置を決定することと
を行うように構成される。

場合によっては、一実施形態では、レイアウト情報は、多面体の面数情報、参照画像のサブ画像配置方式情報、参照画像のサブ画像配置順序情報、および参照画像のサブ画像回転情報のうちの少なくとも1つを含む。

場合によっては、一実施形態では、予測ユニット430は、具体的に、
ターゲット参照ピクセルのピクセル値を現在ピクセルのピクセル値の予測値として決定する
ように構成される。

場合によっては、一実施形態では、予測ユニット430は、具体的に、
ターゲット参照ピクセルのピクセル値およびターゲット参照ピクセルの近くのピクセルのピクセル値に対して重み付け処理を実行することと、
重み付け処理を介して取得された、ターゲット参照ピクセルの位置におけるピクセル値を現在ピクセルのピクセル値の予測値として決定することと
を行うように構成される。

場合によっては、一実施形態では、予測ユニット430は、具体的に、
ターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、ターゲット参照ピクセルの位置において補間演算を実行することと、
補間演算を介して取得されたピクセル値を現在ピクセルのピクセル値の予測値として決定することと
を行うように構成される。

図18は、本発明の一実施形態による、動き補償予測装置の概略ブロック図である。動き補償予測装置500は、
参照画像内の現在ピクセルの初期参照ピクセルの位置を決定するように構成された第1の決定ユニット510であって、現在ピクセルが現在画像の第1のサブ画像内に位置する、第1の決定ユニット510と、
初期参照ピクセルが、参照画像内にあり、かつ第1のサブ画像に対応する位置にある第2のサブ画像の外側に位置するとき、第2のサブ画像の拡張領域内の現在ピクセルのターゲット参照ピクセルの位置を決定するように構成された第2の決定ユニット520であって、
第2のサブ画像の拡張領域が第2のサブ画像の外側に位置し、拡張領域が複数のピクセルを含み、拡張領域内の任意の第1のピクセルのピクセル値が、参照画像内の第2のピクセルのピクセル値に基づいて決定され、参照画像によって形成された多面体の表面上の第2のピクセルの位置と、第1の平面上の第1のピクセルの位置との間の接続線が、多面体の中心点を通り、多面体の表面上の第2のピクセルの位置が、第1のピクセルの位置および参照画像に対応する多面体のレイアウト情報に基づいて決定され、第1の平面が、第2のサブ画像に対応する多面体の面が位置する平面である、
第2の決定ユニット520と、
ターゲット参照ピクセルのピクセル値および／またはターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、現在ピクセルのピクセル値の予測値を決定するように構成された予測ユニット530と
を含む。

本発明のこの実施形態では、初期参照ピクセルが第2のサブ画像の外側に位置するとき、初期参照ピクセルに直接基づく現在ピクセルの予測は、2次元画像のサブ画像境界の幾何学的変形の影響により不正確である。したがって、この場合、本発明によれば、参照機能を実際に実現することができるターゲット参照ピクセルが、現在ピクセルおよび現在ピクセルの動き情報に基づいて拡張領域内で直接探索され、次いで、ターゲット参照ピクセルに基づいて現在ピクセルのピクセル値が予測される。このようにして、ターゲット参照ピクセルを迅速に見つけることができ、さらに、動き補償予測の精度を向上させることができる。

場合によっては、一実施形態では、動き補償予測装置は、
第3の決定ユニット540をさらに含み、第3の決定ユニット540は、具体的に、
第1のピクセルの位置および参照画像のレイアウト情報に基づいて多面体の表面上の第2のピクセルの位置を決定することであって、多面体の表面上の第2のピクセルの位置が、多面体の表面と、第1のピクセルと多面体の中心点との間の接続線との交点にある、決定することと、
多面体の表面上の第2のピクセルの位置および参照画像のレイアウト情報に基づいて参照画像内の第2のピクセルの位置を決定することと
を行うように構成される。

場合によっては、動き補償予測装置は、
参照画像のレイアウト情報および初期参照ピクセルの位置に基づいて、初期参照ピクセルが参照画像内の第2のサブ画像の外側に位置するかどうかを判定するように構成された判定ユニット550
をさらに含む。

図19は、本発明の一実施形態による、動き補償予測装置の概略ブロック図である。動き補償予測装置600は、
参照画像内の現在ピクセルの初期参照ピクセルの位置を決定するように構成された第1の決定ユニット610であって、現在ピクセルが現在画像の第1のサブ画像内に位置する、第1の決定ユニット610と、
初期参照ピクセルが、参照画像内にあり、かつ第1のサブ画像に対応する位置にある第2のサブ画像の外側に位置するとき、初期参照ピクセルの位置に基づいて、参照画像に対応する多面体の表面上の現在ピクセルのターゲット参照ピクセルの位置を決定するように構成された第2の決定ユニット620であって、多面体の表面上のターゲット参照ピクセルの位置と、第1の平面上の初期参照ピクセルの位置との間の接続線が、多面体の中心点を通り、第1の平面が、第2のサブ画像に対応する多面体の面が位置する平面である、第2の決定ユニット620と、
多面体の表面上のターゲット参照ピクセルの位置に基づいて、参照画像内のターゲット参照ピクセルの位置を決定するように構成された第3の決定ユニット630と、
参照画像内のターゲット参照ピクセルのピクセル値および／またはターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、現在ピクセルのピクセル値の予測値を決定するように構成された予測ユニット640と
を含む。

場合によっては、一実施形態では、第2の決定ユニット620は、具体的に、
初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて第1の平面上の初期参照ピクセルの位置を決定することと、
第1の平面上の初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて多面体の表面上のターゲット参照ピクセルの位置を決定することと
を行うように構成される。

場合によっては、一実施形態では、第3の決定ユニットは、具体的に、
初期参照ピクセルの位置および参照画像のレイアウト情報に基づいて参照画像内のターゲット参照ピクセルの位置を決定することであって、多面体の表面上のターゲット参照ピクセルの位置が、多面体の表面と、初期参照ピクセルと多面体の中心点との間の接続線との交点にある、決定すること
を行うように構成される。

上記は、図1から図19を参照して、本発明の実施形態における動き補償予測方法および動き補償予測装置を詳細に記載している。実際には、本発明の実施形態における動き補償予測方法は、符号化プロセスまたは復号プロセスにおける中間プロセスまたは中間ステップとして見なされてもよい。パノラマビデオエンコーダまたはパノラマビデオデコーダは、本発明の実施形態における動き補償予測方法を実現することができる。以下で、それぞれ、図20および図21を参照して、パノラマビデオデコーダの復号処理およびパノラマビデオエンコーダの符号化処理を詳細に記載する。

図20を参照してパノラマビデオデコーダの復号プロセスが記載される前に、エンコーダによる画像符号化およびデコーダによる画像復号のために使用されるいくつかのメカニズムが最初に簡単に記載される。

現在画像を符号化する前に、現在画像は、通常、等しいサイズを有するブロックに分割され、次いで、各ブロックに対して符号化動作が実行される。現在画像を符号化するプロセスでは、現在画像のレイアウト情報は、通常、ヘッダ情報としてデコーダ側に送信される。ヘッダ情報はプリアンブル情報である。符号化コードストリームを受信した後、デコーダは、最初にヘッダ情報を復号し、次いで、ヘッダ情報に基づいて後続のコードストリームを復号する。符号化中に、現在画像が複数の画像ブロックに分割されて順次符号化され、復号中に、同じ順序で復号が実行されると想定される。現在ブロックの場合、現在ブロック向けにフレーム間符号化方式が決定された場合、現在ブロックの復元情報を取得するために、現在ブロック内のピクセルのピクセル値の復元値が取得される必要がある。

図20は、パノラマビデオデコーダの復号プロセスの概略フローチャートである。プロセスは具体的に以下のステップを含む。

710：現在画像内の現在ブロックの動き情報を特定する。

具体的には、デコーダは、動き情報コードストリームを復号し、復号結果に基づいて現在ブロックの動き情報を特定することができる。

ステップ710では、現在ブロックの動き情報は、代替として、予測動き情報の指示情報、および予測動き情報と動き情報との間の差に関する情報を復号することによって特定されてもよいことを理解されたい。言い換えれば、現在ブロックの動き情報は、動き情報の符号化コードストリームを直接構文解析することなく決定されてもよい。たとえば、デコーダ側は、動き情報セットを構築することができる（たとえば、動き情報セットは、時間的または空間的に現在ブロックに隣接する復元ブロックの動き情報を含み、そのセットの構築方法は、エンコーダ側およびデコーダ側によって相互に合意されている）。この場合、デコーダ側は、予測動き情報の指示情報を構文解析し、次いで、そのセットから予測動き情報を特定し、予測動き情報、および予測動き情報と動き情報との間の差に関する情報に基づいて、現在ブロックの動き情報を取得することができる。加えて、デコーダ側は、代替として、現在ブロックの動き情報として、予測動き情報の指示情報に基づいて特定された予測動き情報を使用することを理解されたい。使用されるべき具体的な方法は、エンコーダ側およびデコーダ側によって合意されている。あるいは、エンコーダ側は、使用された方式に関する情報をデコーダ側に送信し、デコーダ側は、受信された方式情報に基づいて、現在ブロックの動き情報を特定するための方式を特定する。

加えて、ステップ710では、単方向参照の場合には1組の動き情報が構文解析される必要があり、または双方向参照の場合には2組の動き情報が構文解析される必要がある。構文解析されるべき動き情報のセットの具体的な数は、エンコーダ側およびデコーダ側によって相互に合意されている。あるいは、エンコーダ側は、使用されたセットの数に関する情報をデコーダ側に送信し、デコーダ側は、解析結果に基づいて数を特定する。

720：現在ブロック内のピクセルのピクセル値の予測値を決定する。

デコーダは、現在ブロックの動き情報に基づいて、現在ブロックが位置する現在画像の参照画像を決定し、参照画像内の参照ブロックの位置を決定する。実際には、現在ブロック内のピクセルのピクセル値の予測値を決定することは、現在ブロック内の各ピクセルのピクセル値の予測値を決定することである。ピクセルのピクセル値の予測値は、具体的に、本発明の実施形態における動き補償予測方法に従って決定されてもよい。

現在ブロック内の各ピクセルのピクセル値の予測値が取得された後、現在ブロックの予測ブロックは、各ピクセルのピクセル値の予測値に基づいて取得されてもよいことを理解されたい。予測ブロックは、現在ブロック内のすべてのピクセルのピクセル値の予測値を含む。

ステップ720では、単方向参照の場合、参照画像内のただ1つの参照ブロックの位置が決定される必要があり、現在ブロック内の1つのピクセルに対してただ1つの参照ピクセルの位置が決定される必要があり、次いで、本発明の実施形態における動き補償予測方法に従って、現在ブロック内のピクセルのピクセル値の予測値が決定されてもよい

双方向参照の場合、それぞれの参照画像内の現在ブロックの2つの参照ブロックの位置が決定される必要があり、現在ブロック内の1つのピクセルに対して2つの参照ブロック内の2つの参照ピクセルの位置が決定される必要がある。次いで、本発明の実施形態における動き補償予測方法に従って、現在ブロック内のピクセルのピクセル値の2つの予測値が決定されてもよい。次いで、現在ブロック内のピクセルのピクセル値の予測値を取得するために、2つの予測値に対して重み付けまたは別の演算が実行される。具体的な演算方式は、エンコーダ側およびデコーダ側によって相互に合意されている。あるいは、エンコーダ側が使用された方法をデコーダ側に送信し、デコーダ側は構文解析結果に基づいて使用された方法を特定する。

加えて、現在ブロック内のピクセルのピクセル値の予測値が取得された後、その予測値に対して別の演算が最初に実行されてもよく、その演算を介して取得された予測値が現在ピクセルのピクセル値の最終予測値として使用される。たとえば、取得された予測値に対して平滑化フィルタリングを実行して取得された予測値が、現在ピクセルのピクセル値の最終予測値として使用されてもよい。具体的には、別の演算を実行するべきかどうか、およびどの方式が使用されるべきかは、エンコーダ側およびデコーダ側によって相互に合意されている。あるいは、エンコーダ側が使用された方法をデコーダ側に送信し、デコーダ側は構文解析結果に基づいて使用された方法を特定する。加えて、現在ピクセルのピクセル値に対して双方向予測が代替として実行されてもよい。具体的には、現在ピクセルに対して2回予測が実行されてもよく、次いで、2つの取得された予測値に対して重み付けが実行されて、現在ピクセルのピクセル値の予測値が取得される。

730：現在ブロック内のピクセルのピクセル値の残差情報を特定する。

デコーダは、現在ブロック内のピクセルのピクセル値の残差情報の符号化コードストリームを復号し、逆量子化方法および逆変換方法を使用することにより、現在ブロック内のピクセルのピクセル値の残差情報を取得する。言い換えれば、デコーダは、現在ブロックの残差ブロックの符号化コードストリームを復号し、次いで、逆量子化方法および逆変換方法を使用することにより、現在ブロックの残差ブロックを取得する。

ステップ730では、現在ブロック内のピクセルのピクセル値の残差情報を特定するために、逆量子化方法のみまたは逆変換方法のみが代替として使用されてもよいことを理解されたい。使用されるべき具体的な方法は、エンコーダ側およびデコーダ側によって相互に合意されている。あるいは、エンコーダ側が使用された方法をデコーダ側に送信し、デコーダ側は構文解析結果に基づいて使用された方法を特定する。

740：現在ブロック内のピクセルのピクセル値の復元値を決定する。

現在ブロック内の各ピクセルのピクセル値の復元値は、ステップ720で取得された現在ブロック内のピクセルの予測ピクセル値、およびステップ730で取得された現在ブロック内のピクセルのピクセル値の残差情報に基づいて取得されてもよい。加えて、代替として、ステップ720に従って現在ブロックの予測ブロックが取得されてもよく、次いで、予測ブロックとステップ730で取得された残差ブロックを加算することにより、現在ブロックの復元ブロックが取得されてもよい。復元ブロックは、現在ブロック内の各ピクセルのピクセル値の復元値を含む。

ステップ740では、現在ブロック内のピクセルのピクセル値の復元値を取得するために、予測情報と残差情報が加算された後、デブロッキングフィルタリングなどの他のいくつかの演算も実行される必要があることを理解されたい。具体的には、他の演算が実行される必要があるかどうか、およびどのタイプの演算が実行されるべきかは、エンコーダ側およびデコーダ側によって相互に合意されている。あるいは、エンコーダ側が使用された方法をデコーダ側に送信し、デコーダ側は構文解析結果に基づいて使用された方法を特定する。

上記は、図20を参照してパノラマビデオデコーダの復号処理を詳細に記載している。実際には、復号処理は、通常、符号化を介して取得された符号化コードストリームに対して実行される。以下で、一例としてパノラマビデオエンコーダを使用することにより、図21を参照して符号化処理を詳細に記載する。

通常、球面画像のレイアウト情報は、球面画像が収集または生成された後に決定されてもよい。したがって、エンコーダがパノラマビデオを符号化する前に、エンコーダは、球面画像のレイアウト情報をすでに知っている。球面画像のレイアウト情報は、通常、ヘッダ情報として送信される。ヘッダ情報はプリアンブル情報である。この場合、符号化コードストリームを受信する前に、デコーダは、最初にヘッダ情報を復号し、ヘッダ情報に基づいて球面画像のレイアウト情報を取得した後に後続のコードストリームを復号することができる。

図21は、パノラマビデオエンコーダの符号化プロセスの概略フローチャートである。プロセスは具体的に以下のステップを含む。

810：現在ブロックの動き情報を決定する。

エンコーダは最初に現在ブロックの動き情報を決定し、次いで、動き情報を符号化する。具体的には、エンコーダは、復元画像内の現在画像のための参照画像を選択し、参照画像の指定された領域内で現在ブロックに対する一致ブロックを検索し、その一致ブロックを現在ブロックの参照ブロックとして使用し、動き情報として、上記のプロセスで使用された、参照画像、および参照ブロックと参照画像内の現在ブロックに対応する位置との間のオフセットを示す動きベクトルを使用し、動きベクトル情報を符号化する。

参照画像の指定された領域内で現在ブロック用の参照ブロックを探索するとき、エンコーダは、最初に現在ブロック用の複数のブロックを選択し、参照ブロックとして最終的に選択されたブロックは、レート歪み最適化規則を使用して決定されてもよい。たとえば、一致ブロックとして候補参照ブロックが使用されるときに符号化される必要がある動き情報のビット数が決定され、現在の候補参照ブロック内のピクセルの値を使用することにより、現在ブロック内のピクセルのピクセル値が予測されるときの歪み値が決定され、ラグランジュ最適化法を使用することにより、候補参照ブロックのコストが決定される。次いで、最小コストを有する候補参照ブロックが一致ブロックとして選択される。複数の参照画像が存在するとき、各画像に対して上記の演算が実行される必要がある。

ステップ810では、動き情報は直接符号化されなくてもよく、代わりに、予測動き情報の指示情報、または予測動き情報と動き情報との間の差に関する情報が符号化されることを理解されたい。たとえば、エンコーダ側は、動き情報セットを構築することができる（たとえば、動き情報セットは、時間的または空間的に現在ブロックに隣接する復元ブロックの動き情報を含み、そのセットの構築方法は、エンコーダ側およびデコーダ側によって相互に合意されている）。この場合、エンコーダ側は、予測動き情報としてセットから1つの動き情報を選択し、次いで、現在ブロックの動き情報と予測動き情報との間の差に関する情報を取得し、予測動き情報の指示情報および差分情報を符号化することができる。あるいは、予測動き情報の指示情報のみが符号化されてもよく、その結果、デコーダ側は、指示情報に基づいて構築された動き情報セットから動き情報を特定することができ、その動き情報を現在ブロックの動き情報として使用する。使用されるべき具体的な方法は、エンコーダ側およびデコーダ側によって相互に合意されている。あるいは、レート歪み法を使用して方法が選択されてもよく、選択された方法はデコーダ側に送信される。

ステップ810では、単方向参照の場合にはただ1組の動き情報が符号化される必要があり、または双方向参照の場合には2組の動き情報が符号化される必要がある。符号化されるべき1組の動き情報の具体的な量は、エンコーダ側およびデコーダ側によって相互に合意されている。あるいは、レート歪み法を使用して量が決定されてもよく、エンコーダ側は対応する情報をデコーダ側に送信する。

単方向参照の場合、参照画像内の1つの参照ブロックの位置が決定される必要があり、現在ブロック内の1つの現在ピクセルのために、1つの参照ピクセルの位置が決定される必要があり、次いで、本発明の実施形態における動き補償予測方法に従って、参照ピクセルのピクセル値の予測値が決定されてもよい双方向参照の場合、それぞれの参照画像内の現在ブロックの2つの参照ブロックの位置が決定される必要がある。具体的には、2つの参照ブロック内の2つの参照ピクセルの位置は、現在ブロック内の1つのピクセルに対して決定される必要がある。次いで、本発明の実施形態における動き補償予測方法に従って、現在ブロック内のピクセルのピクセル値の2つの予測値が決定されてもよい。次いで、現在ブロック内のピクセルのピクセル値の予測値を取得するために、2つの予測値に対して重み付けまたは別の演算が実行される。具体的な演算方式は、エンコーダ側およびデコーダ側によって相互に合意されている。あるいは、エンコーダ側が使用された方法をデコーダ側に送信し、デコーダ側は構文解析結果に基づいて使用された方法を特定する。

820：現在ブロック内のピクセルのピクセル値の予測値を決定する。

エンコーダは、現在ブロックの動き情報に基づいて、現在ブロックが位置する現在画像の参照画像を決定し、参照画像内の参照ブロックの位置を決定する。実際には、現在ブロック内のピクセルのピクセル値の予測値を決定することは、現在ブロック内の各ピクセルのピクセル値の予測値を決定することである。ピクセルのピクセル値の予測値は、具体的に、本発明の実施形態における動き補償予測方法に従って決定されてもよい。

830：現在ブロック内のピクセルのピクセル値の残差情報を決定する。

エンコーダは、現在ブロック内のピクセルのピクセル値から予測値を減算して、現在ブロック内のピクセルのピクセル値の残差情報を取得し、次いで、変換方法および量子化方法に従って現在ブロック内のピクセルのピクセル値の残差情報を処理し、処理後に取得された結果を符号化する。

現在ブロック内のピクセルのピクセル値の残差情報の符号化中に、変換方法のみまたは量子化方法のみが代替として使用されてもよいことを理解されたい。使用されるべき具体的な方法は、エンコーダ側およびデコーダ側によって相互に合意されている。あるいは、エンコーダ側は、レート歪み法を使用して方法を決定し、情報をデコーダ側に送信することができる。

図22は、本発明の一実施形態による、画像エンコーダ900の概略ブロック図である。画像エンコーダ900は、予測モジュール910、変換および量子化モジュール920、エントロピー符号化モジュール930、復元モジュール940、ならびにフィルタリングモジュール950を含む。各モジュールの具体的な機能は以下の通りである。

予測モジュール910は、予測データを生成するように構成される。予測モジュール910は、これ以上セグメント化されない各CUの1つまたは複数の予測ユニット（PU）を生成することができる。CUの各PUは、CUのピクセルブロック内の異なるピクセルブロックに関連付けられてもよい。予測モジュール910は、CUのPUごとに予測ピクセルブロックを生成することができる。予測モジュール910は、イントラフレーム予測またはインター予測を介してPU用の予測ピクセルブロックを生成することができる。予測モジュール910がイントラフレーム予測を介してPU用の予測ピクセルブロックを生成する場合、予測モジュール910は、PUに関連付けられたピクチャの復号を介して取得されたピクセルに基づいて、PU用の予測ピクセルブロックを生成することができる。予測モジュール910がインター予測を介してPU用の予測ピクセルブロックを生成する場合、予測モジュール910は、PUに関連付けられたピクチャとは異なる1つまたは複数のピクチャの復号を介して取得されたピクセルに基づいて、PU用の予測ピクセルブロックを生成することができる。予測モジュール910は、CUのPU用の予測ピクセルブロックに基づいて、CU用の残差ピクセルブロックを生成することができる。CU用の残差ピクセルブロックは、CUのPU用の予測ピクセルブロック内のサンプリング値と、CU用の初期ピクセルブロック内の対応するサンプリング値との間の差を示すことができる。

変換および量子化モジュール920は、予測を介して取得された残差データを処理するように構成される。画像エンコーダ900は、CU用の残差ピクセルブロックに対して再帰4分木セグメンテーションを実行して、CU用の残差ピクセルブロックを、CUの変換ユニット（TU）に関連付けられた1つまたは複数のより小さい残差ピクセルブロックにセグメント化することができる。TUに関連付けられたピクセルブロック内の各ピクセルは、1つのルミナンスサンプルおよび2つのクロミナンスサンプルに対応している。したがって、各TUは、ルミナンスの1つの残差サンプリングブロックおよびクロミナンスの2つの残差サンプリングブロックに関連付けられてもよい。画像エンコーダ900は、TUに関連付けられた残差サンプリングブロックに1つまたは複数の変換を適用して、係数ブロック（言い換えれば、係数のブロック）を生成することができる。変換はDCT変換またはその変形形態であってもよい。係数ブロックは、水平方向および垂直方向に1次元変換を適用して2次元変換を計算することにより、かつDCT変換行列を使用することによって取得される。画像エンコーダ900は、係数ブロック内の各係数に対して量子化プログラムを実行することができる。量子化は、通常、係数を表すために使用されるデータ量を削減するために係数を量子化することを意味し、それにより、さらなる圧縮のプロセスが提供される。

画像エンコーダ900は、量子化を介して取得された係数ブロック内の係数の構文要素を表すために使用されるセットを生成することができる。画像エンコーダ900は、エントロピー符号化モジュール930を使用することにより、エントロピー符号化演算（たとえば、コンテキスト適応型バイナリ算術符号化（CABAC）演算）をいくつかまたはすべての構文要素に適用することができる。CABAC符号化を構文要素に適用するために、エントロピー符号化モジュール930は、構文要素をバイナリ化して、1つまたは複数の（「バイナリビット」と呼ばれる）ビットを含むバイナリシーケンスを形成することができる。エントロピー符号化モジュール930は、通常の（regular）符号化を介してバイナリビットのいくつかを符号化することができ、バイパス（bypass）符号化を介してバイナリビットの他の部分を符号化することができる。

係数ブロックの構文要素に対してエントロピー符号化を実行することに加えて、画像エンコーダ900は、復元モジュール940を使用することにより、変換を介して取得された係数ブロックに逆量子化および逆変換を適用して、変換を介して取得された係数ブロックから残差サンプリングブロックを復元することができる。画像エンコーダ900は、復元残差サンプリングブロックを1つまたは複数の予測サンプリングブロックに対応するサンプリングブロックに加算して、復元サンプリングブロックを生成することができる。各色成分のサンプリングブロックを復元することにより、画像エンコーダ900は、TUに関連付けられたピクセルブロックを復元することができる。CUのTUごとのピクセルブロックは、CU用のピクセルブロック全体が復元されるまで、このようにして復元される。

画像エンコーダ900がCU用のピクセルブロックを復元した後、画像エンコーダ900は、フィルタリングモジュール950を使用することにより、デブロッキングフィルタリング演算を実行して、CUに関連付けられたピクセルブロックのブロッキングアーチファクトを低減する。画像エンコーダ900がデブロッキングフィルタリング演算を実行した後、画像エンコーダ900は、サンプル適応オフセット（SAO）を介してピクチャのCTBの復元ピクセルブロックを修正することができる。これらの演算を実行した後、画像エンコーダ900は、別のCU用の予測ピクセルブロックを生成するために、復号ピクチャバッファ内にCU用の復元ピクセルブロックを記憶することができる。

1つまたは複数の実施形態では、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せを使用して実装されてもよい。機能がソフトウェアを使用して実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体に記憶されるか、またはコンピュータ可読媒体を使用して送信され、ハードウェアベースの処理ユニットを使用して実行されてもよい。コンピュータ可読媒体は、（データ記憶媒体などの有形媒体に対応する）コンピュータ可読記憶媒体または通信媒体を含んでもよく、通信媒体は、（たとえば）通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を促進する任意の媒体を含む。このように、コンピュータ可読媒体は、概して、（1）非一時的有形コンピュータ可読記憶媒体、または（2）信号もしくは搬送波などの通信媒体に対応していてもよい。データ記憶媒体は、本発明に記載された技術を実装するための命令、コード、および／またはデータ構造を取り出すために、1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスできる任意の利用可能な媒体であってもよい。コンピュータプログラム製品はコンピュータ可読媒体を含んでもよい。

限定ではなく例として、いくつかのコンピュータ可読記憶媒体には、RAM、ROM、EEPROM、CD-ROMもしくは別の光ディスクストレージ、磁気ディスクストレージもしくは別の磁気記憶装置、フラッシュメモリ、または、命令もしくはデータ構造の形態で必要なプログラムコードを記憶することができ、コンピュータによってアクセスすることができる任意の他の媒体が含まれてもよい。加えて、いかなる接続もコンピュータ可読媒体として適切に呼ばれてもよい。たとえば、命令が、同軸ケーブル、光ケーブル、ツイストペア、デジタル加入者回線（DSL）、またはワイヤレス技術（たとえば、赤外線、無線、もしくはマイクロ波）を使用することにより、ウェブサイト、サーバ、または別のリモートソースから送信される場合、同軸ケーブル、光ケーブル、ツイストペア、DSL、またはワイヤレス技術（たとえば、赤外線、無線、もしくはマイクロ波）は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または別の一時的媒体を含まず、非一時的有形記憶媒体であることを理解されたい。本明細書で使用される磁気ディスクおよび光ディスクには、コンパクトディスク（CD）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（DVD）、フロッピーディスク、およびブルーレイディスクが含まれる。磁気ディスクは、通常、磁気的にデータをコピーし、光ディスクは、レーザーを使用して光学的にデータをコピーする。上記の物体の組合せはさらに、コンピュータ可読媒体の範囲に含まれるものとする。

命令は、1つもしくは複数のデジタル信号プロセッサ（DSP）、1つもしくは複数の汎用マイクロプロセッサ、1つもしくは複数の特定用途向け集積回路（ASIC）、1つもしくは複数のフィールドプログラマブルゲートアレイ（FPGA）、または1つもしくは複数の他の同等の集積回路もしくは個別論理回路などの、1つまたは複数のプロセッサによって実行されてもよい。したがって、本明細書で使用される「プロセッサ」という用語は、上記の構造のうちの任意の1つ、または本明細書に記載された技術の実装に適用可能な任意の他の構造を指すことができる。加えて、いくつかの態様では、本明細書に記載された機能は、符号化および復号のために構成された専用のハードウェアおよび／またはソフトウェアのモジュールで提供されてもよく、組み合わされたコーデックに組み込まれてもよい。加えて、本技術は、1つまたは複数の回路または論理素子内に実装されてもよい。

本発明における技術は、複数の装置またはデバイスによって広く実装されてもよい。装置またはデバイスは、無線ハンドセット、集積回路（IC）、またはICセット（たとえば、チップセット）を含む。本発明では、開示された技術を実装するように構成された装置の機能態様を強調するために、様々な構成要素、モジュール、またはユニットが記載されているが、機能は必ずしも異なるハードウェアユニットを使用して実装される必要はない。正確には、上述されたように、様々なユニットは、コーデックハードウェアユニット内に組み合わされてもよく、適切なソフトウェアおよび／またはファームウェアと組み合わせて（上述された1つまたは複数のプロセッサを含む）相互運用可能なハードウェアユニットの集合によって提供されてもよい。

本明細書全体で言及されている「実装形態」または「1つの実装形態」は、その実装形態に関する特定の特徴、構造、または特性が、本発明の少なくとも1つの実装形態に含まれることを意味することを理解されたい。したがって、本明細書全体にわたって現れる「実装形態では」または「1つの実装形態では」は、同じ実施形態でなくてもよい。加えて、これらの特定の特徴、構造、または特性は、任意の適切な方式で1つまたは複数の実装形態内で組み合わされてもよい。

本発明の様々な実装形態では、上記のプロセスのシーケンス番号は、実行順序を意味しないことを理解されたい。プロセスの実行順序は、プロセスの機能および内部ロジックに基づいて決定されるべきであるが、本発明の実装形態の実装プロセスに対するいかなる制限も構成するべきではない。

加えて、通常、「システム」および「ネットワーク」という用語は、本明細書において互換的に使用される場合がある。本明細書における「および／または」という用語は、関連するオブジェクトを記述するための単なる連想関係であり、3つの関係が存在してもよいことを示すことを理解されたい。たとえば、Aおよび／またはBは、以下の3つのケースを表すことができる：Aのみが存在する、AとBの両方が存在する、およびBのみが存在する。加えて、本明細書における文字「／」は、通常、前後の関連するオブジェクト間の「または」関係を示す。

本出願の実施形態では、「Aに対応するB」は、BがAに関連付けられ、BがAに基づいて決定されてもよいことを示すことを理解されたい。しかしながら、Aに基づいてBを決定することは、BがAのみに基づいて決定されることを意味せず、すなわち、BがAおよび／または他の情報に基づいて決定されてもよいことをさらに理解されたい。

本明細書で開示された実装形態を参照して記載された例におけるユニットおよびアルゴルズムステップは、電子ハードウェア、コンピュータソフトウェア、またはそれらの組合せによって実装されてもよいことを、当業者なら認識されよう。ハードウェアとソフトウェアとの間の互換性を明確に記載するために、上記は、機能に基づいて各例の構成物およびステップを全体的に記載している。機能がハードウェアによって実施されるか、またはソフトウェアによって実施されるかは、技術的解決策の具体的な用途および設計制約に依存する。当業者は、様々な方法を使用して、具体的な用途ごとに記載された機能を実装することができるが、そのような実装形態が本発明の範囲を超えると考えられるべきではない。

容易かつ簡潔な説明のために、上記のシステム、装置、およびユニットの詳細な動作プロセスについては、上記の方法実施形態における対応するプロセスに対して参照が行われてもよく、詳細は本明細書では再び記載されないことは、当業者なら明確に理解することができる。

本出願において提供されたいくつかの実施形態では、開示されたシステム、装置、および方法は他の方式で実装されてもよいことを理解されたい。たとえば、記載された装置実施形態は一例にすぎない。たとえば、ユニット分割は論理的な機能分割にすぎず、実際の実装形態では他の分割であってもよい。たとえば、複数のユニットまたは構成要素は組み合わされてもよく、もしくは別のシステムに統合されてもよく、または、いくつかの特徴は無視されるか、もしくは実行されなくてもよい加えて、表示または説明された相互結合、直接結合、または通信接続は、いくつかのインターフェースを使用して実装されてもよい。装置間またはユニット間の間接結合または通信接続は、電気、機械、または他の形態で実装されてもよい。

別々の部分として記載されたユニットは、物理的に分かれていても、分かれていなくてもよく、ユニットとして表示された部分は、物理ユニットであってもそうでなくてもよく、1つの場所に配置されてもよく、または複数のネットワークユニット上に分散されてもよい。ユニットの一部またはすべては、実施形態における解決策の目的を達成するために、実際の要件に応じて選択されてもよい。

加えて、本発明の実施形態における機能ユニットは1つの処理ユニットに統合されてもよく、またはユニットの各々は物理的に単独で存在してもよく、または2つ以上のユニットは1つのユニットに統合されてもよい。

機能がソフトウェア機能ユニットの形態で実装され、独立した製品として販売または使用されるとき、機能はコンピュータ可読記憶媒体に記憶されてもよい。そのような理解に基づいて、本発明の技術的解決策は本質的に、または従来技術に寄与する部分は、または技術的解決策のうちのいくつかは、ソフトウェア製品の形態で実装されてもよい。コンピュータソフトウェア製品は、記憶媒体に記憶され、本発明の実施形態に記載された方法のステップのうちのすべてまたはいくつかを実行するように、（パーソナルコンピュータ、サーバ、ネットワークデバイスなどであってもよい）コンピュータデバイスに命令するためのいくつかの命令を含む。上記の記憶媒体には、USBフラッシュドライブ、リムーバブルハードディスク、読取り専用メモリ（ROM、Read-Only Memory）、ランダムアクセスメモリ（RAM、Random Access Memory）、磁気ディスク、および光ディスクなどの、プログラムコードを記憶することができる様々な媒体が含まれる。

上記の説明は、本発明の特定の実装形態にすぎず、本発明の保護範囲を限定するものではない。本発明において開示された技術的範囲内で当業者が容易に考え付くいかなる変形または置換も、本発明の保護範囲内に入るべきである。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うべきである。

400 動き補償予測装置
410 第1の決定ユニット
420 第2の決定ユニット
430 予測ユニット
440 判定ユニット
500 動き補償予測装置
510 第1の決定ユニット
520 第2の決定ユニット
530 予測ユニット
540 第3の決定ユニット
550 判定ユニット
600 動き補償予測装置
610 第1の決定ユニット
620 第2の決定ユニット
630 第3の決定ユニット
640 予測ユニット
900 画像エンコーダ
910 予測モジュール
920 変換および量子化モジュール
930 エントロピー符号化モジュール
940 復元モジュール
950 フィルタリングモジュール

Claims

動き補償予測方法であって、
参照画像内の現在ピクセルの初期参照ピクセルの位置を決定するステップであって、前記現在ピクセルが現在画像の第1のサブ画像内に位置する、ステップと、
前記初期参照ピクセルが、前記参照画像内にあり、かつ前記第1のサブ画像に対応する位置にある第2のサブ画像の外側に位置するとき、前記初期参照ピクセルの前記位置に基づいて前記参照画像内の前記現在ピクセルのターゲット参照ピクセルの位置を決定するステップであって、前記参照画像に対応する多面体の表面上の前記ターゲット参照ピクセルの位置と、第1の平面上の前記初期参照ピクセルの位置との間の接続線が、前記多面体の中心点を通り、前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置が、前記初期参照ピクセルの前記位置および前記参照画像に対応する前記多面体のレイアウト情報に基づいて決定され、前記第1の平面が、前記第2のサブ画像に対応する前記多面体の面が位置する平面である、ステップと、
前記ターゲット参照ピクセルのピクセル値および／または前記ターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、前記現在ピクセルのピクセル値の予測値を決定するステップと
を有する方法。
前記参照画像のレイアウト情報および前記初期参照ピクセルの前記位置に基づいて、前記初期参照ピクセルが前記参照画像内の前記第2のサブ画像の外側に位置するかどうかを判定するステップ
をさらに有する、請求項1に記載の方法。
前記初期参照ピクセルの前記位置に基づいて前記参照画像内の前記現在ピクセルのターゲット参照ピクセルの位置を決定する前記ステップが、
前記初期参照ピクセルの前記位置および前記参照画像の前記レイアウト情報に基づいて前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置を決定するステップであって、前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置が、前記多面体の前記表面と、前記初期参照ピクセルと前記多面体の前記中心点との間の接続線との交点にある、ステップと、
前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置および前記参照画像の前記レイアウト情報に基づいて前記参照画像内の前記ターゲット参照ピクセルの前記位置を決定するステップと
を含む、請求項1または2に記載の方法。
前記初期参照ピクセルの前記位置および前記参照画像の前記レイアウト情報に基づいて前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置を決定する前記ステップが、
前記初期参照ピクセルの前記位置および前記参照画像の前記レイアウト情報に基づいて前記第1の平面上の前記初期参照ピクセルの前記位置を決定するステップと、
前記第1の平面上の前記初期参照ピクセルの前記位置および前記参照画像の前記レイアウト情報に基づいて前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置を決定するステップと
を含む、請求項3に記載の方法。
前記レイアウト情報が、前記多面体の面数情報、前記参照画像のサブ画像配置方式情報、前記参照画像のサブ画像配置順序情報、および前記参照画像のサブ画像回転情報のうちの少なくとも1つを含む、請求項1から4のいずれか一項に記載の方法。
前記ターゲット参照ピクセルのピクセル値および／または前記ターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、前記現在ピクセルのピクセル値の予測値を決定する前記ステップが、
前記ターゲット参照ピクセルの前記ピクセル値を前記現在ピクセルの前記ピクセル値の前記予測値として決定するステップ
を含む、請求項1から5のいずれか一項に記載の方法。
前記ターゲット参照ピクセルのピクセル値および／または前記ターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、前記現在ピクセルのピクセル値の予測値を決定する前記ステップが、
前記ターゲット参照ピクセルの前記ピクセル値および前記ターゲット参照ピクセルの近くの前記ピクセルの前記ピクセル値に対して重み付け処理を実行するステップと、
前記重み付け処理を介して取得された、前記ターゲット参照ピクセルの前記位置におけるピクセル値を前記現在ピクセルの前記ピクセル値の前記予測値として決定するステップと
を含む、請求項1から5のいずれか一項に記載の方法。
前記ターゲット参照ピクセルのピクセル値および／または前記ターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、前記現在ピクセルのピクセル値の予測値を決定する前記ステップが、
前記ターゲット参照ピクセルの近くの前記ピクセルの前記ピクセル値に基づいて前記ターゲット参照ピクセルの前記位置において補間処理を実行するステップと、
前記補間処理を介して取得されたピクセル値を前記現在ピクセルの前記ピクセル値の前記予測値として決定するステップと
を含む、請求項1から5のいずれか一項に記載の方法。
動き補償予測方法であって、
参照画像内の現在ピクセルの初期参照ピクセルの位置を決定するステップであって、前記現在ピクセルが現在画像の第1のサブ画像内に位置する、ステップと、
前記初期参照ピクセルが、前記参照画像内にあり、かつ前記第1のサブ画像に対応する位置にある第2のサブ画像の外側に位置するとき、前記第2のサブ画像の拡張領域内の前記現在ピクセルのターゲット参照ピクセルの位置を決定するステップであって、前記第2のサブ画像の前記拡張領域が前記第2のサブ画像の外側に位置し、前記拡張領域が複数のピクセルを含み、前記拡張領域内の任意の第1のピクセルのピクセル値が、前記参照画像内の第2のピクセルのピクセル値に基づいて決定され、前記参照画像によって形成された多面体の表面上の前記第2のピクセルの位置と、第1の平面上の前記第1のピクセルの位置との間の接続線が、前記多面体の中心点を通り、前記多面体の前記表面上の前記第2のピクセルの前記位置が、前記第1のピクセルの前記位置および前記参照画像に対応する前記多面体のレイアウト情報に基づいて決定され、前記第1の平面が、前記第2のサブ画像に対応する前記多面体の面が位置する平面である、ステップと、
前記ターゲット参照ピクセルのピクセル値および／または前記ターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、前記現在ピクセルのピクセル値の予測値を決定するステップと
を有する方法。
前記第1のピクセルの前記位置および前記参照画像のレイアウト情報に基づいて前記多面体の前記表面上の前記第2のピクセルの前記位置を決定するステップであって、前記多面体の前記表面上の前記第2のピクセルの前記位置が、前記多面体の前記表面と、前記第1のピクセルと前記多面体の前記中心点との間の接続線との交点にある、ステップと、
前記多面体の前記表面上の前記第2のピクセルの前記位置および前記参照画像の前記レイアウト情報に基づいて前記参照画像内の前記第2のピクセルの位置を決定するステップと
をさらに有する、請求項9に記載の方法。
前記参照画像の前記レイアウト情報および前記初期参照ピクセルの前記位置に基づいて、前記初期参照ピクセルが前記参照画像内の前記第2のサブ画像の外側に位置するかどうかを判定するステップ
をさらに有する、請求項9または10に記載の方法。
動き補償予測方法であって、
参照画像内の現在ピクセルの初期参照ピクセルの位置を決定するステップであって、前記現在ピクセルが現在画像の第1のサブ画像内に位置する、ステップと、
前記初期参照ピクセルが、前記参照画像内にあり、かつ前記第1のサブ画像に対応する位置にある第2のサブ画像の外側に位置するとき、前記初期参照ピクセルの前記位置に基づいて、前記参照画像に対応する多面体の表面上の前記現在ピクセルのターゲット参照ピクセルの位置を決定するステップであって、前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置と、第1の平面上の前記初期参照ピクセルの位置との間の接続線が、前記多面体の中心点を通り、前記第1の平面が、前記第2のサブ画像に対応する前記多面体の面が位置する平面である、ステップと、
前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置に基づいて、前記参照画像内の前記ターゲット参照ピクセルの位置を決定するステップと、
前記参照画像内の前記ターゲット参照ピクセルのピクセル値および／または前記ターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、前記現在ピクセルのピクセル値の予測値を決定するステップと
を有する方法。
前記初期参照ピクセルの前記位置に基づいて、前記参照画像に対応する多面体の表面上の前記現在ピクセルのターゲット参照ピクセルの位置を決定する前記ステップが、
前記初期参照ピクセルの前記位置および前記参照画像のレイアウト情報に基づいて前記第1の平面上の前記初期参照ピクセルの前記位置を決定するステップと、
前記第1の平面上の前記初期参照ピクセルの前記位置および前記参照画像の前記レイアウト情報に基づいて前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置を決定するステップと
を含む、請求項12に記載の方法。
前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置に基づいて、前記参照画像内の前記ターゲット参照ピクセルの位置を決定する前記ステップが、
前記初期参照ピクセルの前記位置および前記参照画像のレイアウト情報に基づいて前記参照画像内の前記ターゲット参照ピクセルの前記位置を決定するステップであって、前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置が、前記多面体の前記表面と、前記初期参照ピクセルと前記多面体の前記中心点との間の接続線との交点にある、ステップ
を含む、請求項12または13に記載の方法。
動き補償予測装置であって、
参照画像内の現在ピクセルの初期参照ピクセルの位置を決定するように構成された第1の決定ユニットであって、前記現在ピクセルが現在画像の第1のサブ画像内に位置する、第1の決定ユニットと、
前記初期参照ピクセルが、前記参照画像内にあり、かつ前記第1のサブ画像に対応する位置にある第2のサブ画像の外側に位置するとき、前記初期参照ピクセルの前記位置に基づいて前記参照画像内の前記現在ピクセルのターゲット参照ピクセルの位置を決定するように構成された第2の決定ユニットであって、前記参照画像に対応する多面体の表面上の前記ターゲット参照ピクセルの位置と、第1の平面上の前記初期参照ピクセルの位置との間の接続線が、前記多面体の中心点を通り、前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置が、前記初期参照ピクセルの前記位置および前記参照画像に対応する前記多面体のレイアウト情報に基づいて決定され、前記第1の平面が、前記第2のサブ画像に対応する前記多面体の面が位置する平面である、第2の決定ユニットと、
前記ターゲット参照ピクセルのピクセル値および／または前記ターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、前記現在ピクセルのピクセル値の予測値を決定するように構成された予測ユニットと
を備える動き補償予測装置。
前記参照画像のレイアウト情報および前記初期参照ピクセルの前記位置に基づいて、前記初期参照ピクセルが前記参照画像内の前記第2のサブ画像の外側に位置するかどうかを判定するように構成された判定ユニット
をさらに備える、請求項15に記載の動き補償予測装置。
前記第2の決定ユニットが、具体的に、
前記初期参照ピクセルの前記位置および前記参照画像の前記レイアウト情報に基づいて前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置を決定することであって、前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置が、前記多面体の前記表面と、前記初期参照ピクセルと前記多面体の前記中心点との間の接続線との交点にある、決定することと、
前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置および前記参照画像の前記レイアウト情報に基づいて前記参照画像内の前記ターゲット参照ピクセルの前記位置を決定することと
を行うように構成される、請求項15または16に記載の動き補償予測装置。
前記第2の決定ユニットが、具体的に、
前記初期参照ピクセルの前記位置および前記参照画像の前記レイアウト情報に基づいて前記第1の平面上の前記初期参照ピクセルの前記位置を決定することと、
前記第1の平面上の前記初期参照ピクセルの前記位置および前記参照画像の前記レイアウト情報に基づいて前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置を決定することと
を行うように構成される、請求項17に記載の動き補償予測装置。
前記レイアウト情報が、前記多面体の面数情報、前記参照画像のサブ画像配置方式情報、前記参照画像のサブ画像配置順序情報、および前記参照画像のサブ画像回転情報のうちの少なくとも1つを含む、請求項15から18のいずれか一項に記載の動き補償予測装置。
前記予測ユニットが、具体的に、
前記ターゲット参照ピクセルの前記ピクセル値を前記現在ピクセルの前記ピクセル値の前記予測値として決定する
ように構成される、請求項15から19のいずれか一項に記載の動き補償予測装置。
前記予測ユニットが、具体的に、
前記ターゲット参照ピクセルの前記ピクセル値および前記ターゲット参照ピクセルの近くの前記ピクセルの前記ピクセル値に対して重み付け処理を実行することと、
前記重み付け処理を介して取得された、前記ターゲット参照ピクセルの前記位置におけるピクセル値を前記現在ピクセルの前記ピクセル値の前記予測値として決定することと
を行うように構成される、請求項15から19のいずれか一項に記載の動き補償予測装置。
前記予測ユニットが、具体的に、
前記ターゲット参照ピクセルの近くの前記ピクセルの前記ピクセル値に基づいて前記ターゲット参照ピクセルの前記位置において補間処理を実行することと、
前記補間処理を介して取得されたピクセル値を前記現在ピクセルの前記ピクセル値の前記予測値として決定することと
を行うように構成される、請求項15から19のいずれか一項に記載の動き補償予測装置。
動き補償予測装置であって、
参照画像内の現在ピクセルの初期参照ピクセルの位置を決定するように構成された第1の決定ユニットであって、前記現在ピクセルが現在画像の第1のサブ画像内に位置する、第1の決定ユニットと、
前記初期参照ピクセルが、前記参照画像内にあり、かつ前記第1のサブ画像に対応する位置にある第2のサブ画像の外側に位置するとき、前記第2のサブ画像の拡張領域内の前記現在ピクセルのターゲット参照ピクセルの位置を決定するように構成された第2の決定ユニットであって、前記第2のサブ画像の前記拡張領域が前記第2のサブ画像の外側に位置し、前記拡張領域が複数のピクセルを含み、前記拡張領域内の任意の第1のピクセルのピクセル値が、前記参照画像内の第2のピクセルのピクセル値に基づいて決定され、前記参照画像によって形成された多面体の表面上の前記第2のピクセルの位置と、第1の平面上の前記第1のピクセルの位置との間の接続線が、前記多面体の中心点を通り、前記多面体の前記表面上の前記第2のピクセルの前記位置が、前記第1のピクセルの前記位置および前記参照画像に対応する前記多面体のレイアウト情報に基づいて決定され、前記第1の平面が、前記第2のサブ画像に対応する前記多面体の面が位置する平面である、第2の決定ユニットと、
前記ターゲット参照ピクセルのピクセル値および／または前記ターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、前記現在ピクセルのピクセル値の予測値を決定するように構成された予測ユニットと
を備える動き補償予測装置。
前記第1のピクセルの前記位置および前記参照画像のレイアウト情報に基づいて前記多面体の前記表面上の前記第2のピクセルの前記位置を決定するように構成された第3の決定ユニットであって、前記多面体の前記表面上の前記第2のピクセルの前記位置が、前記多面体の前記表面と、前記第1のピクセルと前記多面体の前記中心点との間の接続線との交点にある、第3の決定ユニット
をさらに備え、
前記第3の決定ユニットが、前記多面体の前記表面上の前記第2のピクセルの前記位置および前記参照画像の前記レイアウト情報に基づいて前記参照画像内の前記第2のピクセルの位置を決定するようにさらに構成される、請求項23に記載の動き補償予測装置。
前記参照画像の前記レイアウト情報および前記初期参照ピクセルの前記位置に基づいて、前記初期参照ピクセルが前記参照画像内の前記第2のサブ画像の外側に位置するかどうかを判定するように構成された判定ユニット
をさらに備える、請求項23または24に記載の動き補償予測装置。
動き補償予測装置であって、
参照画像内の現在ピクセルの初期参照ピクセルの位置を決定するように構成された第1の決定ユニットであって、前記現在ピクセルが現在画像の第1のサブ画像内に位置する、第1の決定ユニットと、
前記初期参照ピクセルが、前記参照画像内にあり、かつ前記第1のサブ画像に対応する位置にある第2のサブ画像の外側に位置するとき、前記初期参照ピクセルの前記位置に基づいて、前記参照画像に対応する多面体の表面上の前記現在ピクセルのターゲット参照ピクセルの位置を決定するように構成された第2の決定ユニットであって、前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置と、第1の平面上の前記初期参照ピクセルの位置との間の接続線が、前記多面体の中心点を通り、前記第1の平面が、前記第2のサブ画像に対応する前記多面体の面が位置する平面である、第2の決定ユニットと、
前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置に基づいて、前記参照画像内の前記ターゲット参照ピクセルの位置を決定するように構成された第3の決定ユニットと、
前記参照画像内の前記ターゲット参照ピクセルのピクセル値および／または前記ターゲット参照ピクセルの近くのピクセルのピクセル値に基づいて、前記現在ピクセルのピクセル値の予測値を決定するように構成された予測ユニットと
を備える動き補償予測装置。
前記第2の決定ユニットが、具体的に、
前記初期参照ピクセルの前記位置および前記参照画像のレイアウト情報に基づいて前記第1の平面上の前記初期参照ピクセルの前記位置を決定することと、
前記第1の平面上の前記初期参照ピクセルの前記位置および前記参照画像の前記レイアウト情報に基づいて前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置を決定することと
を行うように構成される、請求項26に記載の動き補償予測装置。
前記第3の決定ユニットが、具体的に、
前記初期参照ピクセルの前記位置および前記参照画像のレイアウト情報に基づいて前記参照画像内の前記ターゲット参照ピクセルの前記位置を決定することであって、前記多面体の前記表面上の前記ターゲット参照ピクセルの前記位置が、前記多面体の前記表面と、前記初期参照ピクセルと前記多面体の前記中心点との間の接続線との交点にある、決定すること
を行うように構成される、請求項26または27に記載の動き補償予測装置。