JP6922215B2

JP6922215B2 - 動画像符号化装置

Info

Publication number: JP6922215B2
Application number: JP2016253533A
Authority: JP
Inventors: 章弘屋森
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2016-12-27
Filing date: 2016-12-27
Publication date: 2021-08-18
Anticipated expiration: 2036-12-27
Also published as: US20180184112A1; US10893290B2; JP2018107683A

Description

本発明は、動画像符号化装置及び動画像復号装置に関する。

動画像符号化においては、矩形領域の画像をブロックに分割して、ブロック単位で動き補償及び周波数変換を行うことが多い。代表的な動画像符号化方式としては、ＩＳＯ／ＩＥＣ２３００８−２ High Efficiency Video Coding（ＨＥＶＣ）が挙げられる。

近年、映像を撮影するカメラの機能拡張が進み、矩形領域の撮影からより広角のパノラマ撮影に移行する傾向が見られる。さらに、魚眼レンズを用いた全周囲パノラマ映像の撮影、及び複数のカメラを用いた３６０°パノラマ映像の撮影も可能となりつつある（例えば、非特許文献１〜非特許文献３を参照）。

３６０°全方向映像情報を含むパノラマ映像の動き推定方法も知られている（例えば、特許文献１を参照）。画像間におけるグローバルベクトルを用いて動きベクトル探索エリアを決定する方法、及びパノラマ画像を分割して動体を監視しやすいパノラマ画像を生成する方法も知られている（例えば、特許文献２及び特許文献３を参照）。

特表２００８−５１０３５９号公報特開２０１０−１０９９１７号公報特開２０１３−２１８４３２号公報

"Entaniya Fisheyeサポートブログ"、［online］、［平成２８年１１月１６日検索］、インターネット＜ＵＲＬ：https://www.entapano.com/blog/360-degree-panoramic-video-camera/＞ "THETA"、［online］、［平成２８年１１月１６日検索］、インターネット＜ＵＲＬ：https://theta360.com/ja/about/theta/＞ "Professional Plug&Play 360o Video Camera"、［online］、［平成２８年１１月１６日検索］、インターネット＜ＵＲＬ：http://www.sphericam.com/sphericam2/＞

動きが大きいパノラマ映像を符号化する場合、多くの動きベクトルが発生して符号化効率（圧縮率）が低下することがある。
１つの側面において、本発明は、パノラマ映像の符号化効率を向上させることを目的とする。

１つの案では、動画像符号化装置は、記憶部、決定部、補正部、及び符号化部を含む。
記憶部は、符号化対象パノラマ画像を符号化するために用いられる参照パノラマ画像を記憶する。符号化対象パノラマ画像は、撮像装置が撮影したパノラマ映像に含まれるパノラマ画像を展開したパノラマ画像である。

決定部は、参照パノラマ画像に対する符号化対象パノラマ画像のずれ量を表すベクトルを決定する。補正部は、符号化対象パノラマ画像内における複数の符号化対象領域それぞれの位置を、ずれ量を表すベクトルに基づいて補正することで、補正された符号化対象パノラマ画像を生成する。

符号化部は、補正された符号化対象パノラマ画像内の複数の符号化対象領域それぞれの画像を、参照パノラマ画像を用いて符号化する。

実施形態によれば、パノラマ映像の符号化効率を向上させることができる。

第１の展開パノラマ画像を示す図である。第２の展開パノラマ画像を示す図である。第３の展開パノラマ画像を示す図である。第１の動画像符号化装置の機能的構成図である。第１の動画像符号化処理のフローチャートである。第２の動画像符号化装置の機能的構成図である。第２の動画像符号化処理のフローチャートである。動画像復号装置の機能的構成図である。動画像復号処理のフローチャートである。パノラマ映像符号化システムの構成図である。動画像符号化装置の具体例を示す機能的構成図である。補正処理を示す図である。全周囲パノラマ映像を示す図である。全周囲パノラマ映像に対する補正処理を示す図である。第１の動画像符号化処理の具体例を示すフローチャートである。動きベクトルの発生数に基づく補正処理のフローチャートである。ＭＥ効率に基づく補正処理のフローチャートである。符号化効率に基づく動画像符号化処理のフローチャートである。符号化効率に基づく補正処理のフローチャートである。動画像復号装置の具体例を示す機能的構成図である。動画像復号処理の具体例を示すフローチャートである。第２の動画像符号化処理の具体例を示すフローチャートである。情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
パノラマ映像に含まれる各時刻のパノラマ画像を符号化する場合、撮影されたパノラマ画像は歪んだ状態であるため、そのまま符号化すると符号化効率が低下する。そこで、パノラマ画像の歪みを補正して、矩形のパノラマ画像に展開した上で、展開されたパノラマ画像を符号化単位の所定領域に分割し、所定領域単位で符号化を行うのが効果的である。

各時刻における矩形のパノラマ画像は、フレーム又はピクチャと呼ばれることがあり、符号化単位の所定領域は、ブロックと呼ばれることがある。

矩形のパノラマ画像をブロックに分割する際の基準位置が、撮影されたパノラマ画像に対して固定された位置である場合、カメラのパニング、位置ずれ、又は移動によって、フレーム間で全ブロックが一定方向に移動したような映像が生成されることがある。基準位置を固定したままでこのようなパノラマ画像を符号化すると、不必要に多くの動きベクトルが発生して符号化効率が低下する。

特許文献１の動き推定方法では、３６０°全方向映像情報を含むパノラマ映像の相関性の高さを利用しており、画面右側境界のさらに右側の領域の画素として、画面左側境界部分の画素が読み込まれる。また、画面左側境界のさらに左側の領域の画素として、画面右側境界部分の画素が読み込まれる。これにより、画面の右側境界部分及び左側境界部分の画質を改善することができる。

この動き推定方法では、撮影される全方向のパノラマ映像について、カメラの位置が固定されており、大きく移動しないことが前提となっている。つまり、所定の点を中心として、周囲を３６０°見渡すパノラマ映像が対象となっている。

ところが、近年では、非特許文献１〜非特許文献３に示されるような、ハンディ型又は車載型の全周囲カメラが使用されるようになっている。

図１は、非特許文献１のカメラで撮影したパノラマ画像を展開することで生成される、第１の展開パノラマ画像の例を示している。このカメラは、単一の凸レンズ（魚眼レンズ）を用いて、円形のパノラマ画像１０１を撮影することができる。

例えば、屋外で凸レンズを真上に向けてパノラマ画像１０１を撮影した場合、パノラマ画像１０１の中央部分には空が写るため、その中央部分を除いた領域を利用して展開パノラマ画像１０３を生成することができる。この場合、パノラマ画像１０１を境界線１０２で切断して矩形状に変換することで、展開パノラマ画像１０３が生成される。

図２は、非特許文献２の３６０°カメラで撮影したパノラマ画像を展開することで生成される、第２の展開パノラマ画像の例を示している。この３６０°カメラは、背中合わせに配置された２台のカメラを用いて、円形のパノラマ画像２０１及びパノラマ画像２０２を撮影することができる。

例えば、車両に乗車しているユーザが一方のカメラを進行方向の前方に向けて撮影した場合、パノラマ画像２０１には前方の風景が写り、パノラマ画像２０２には後方の風景が写る。この場合、パノラマ画像２０１及びパノラマ画像２０２をそれぞれ矩形状に変換することで、前方の展開パノラマ画像２０３及び後方の展開パノラマ画像２０４が生成される。さらに、展開パノラマ画像２０３及び展開パノラマ画像２０４を繋ぎ合わせることで、全周囲パノラマ画像２０５を生成することも可能である。

図３は、非特許文献３の３６０°カメラで撮影したパノラマ画像を展開することで生成される、第３の展開パノラマ画像の例を示している。この３６０°カメラは、球状に配置された６台のカメラを用いて、水平全周囲だけでなく、天と地も含めた全空間のパノラマ画像３０１を撮影することができる。

例えば、この３６０°カメラを車両の屋根に搭載して撮影した場合、パノラマ画像３０１内の領域３１１には、進行方向の前方の風景が写り、領域３１２には左後方の風景が写り、領域３１３及び領域３１４には右後方の風景が写る。この場合、領域３１１及び領域３１２の画像をそれぞれ矩形状に変換することで、前方の展開パノラマ画像３２１及び左後方の展開パノラマ画像３２２が生成される。また、領域３１３及び領域３１４の画像を矩形状に変換することで、右後方の展開パノラマ画像３２３が生成される。

さらに、展開パノラマ画像３２１〜展開パノラマ画像３２３を含む複数の展開パノラマ画像を繋ぎ合わせることで、全周囲パノラマ画像を生成することも可能である。

図１のパノラマ画像１０１、図２のパノラマ画像２０１、パノラマ画像２０２、及び図３のパノラマ画像３０１は、広い視野を撮影した画像であるため、歪んでいることが多い。一方、展開パノラマ画像１０３、展開パノラマ画像２０３、展開パノラマ画像２０４、全周囲パノラマ画像２０５、及び展開パノラマ画像３２１〜展開パノラマ画像３２３は、矩形状に変換されており、歪みがない画像である。

動画像符号化においては、歪みのあるパノラマ映像よりも、歪みのないパノラマ映像を符号化する方が、動き推定（ＭＥ）等の効率が良くなる。したがって、パノラマ映像を符号化する際には、展開パノラマ画像を用いる機会が多くなると予想される。

ＭＥ効率は、例えば、符号化対象パノラマ画像内の各ブロックの画像と、動きベクトルによって決定される予測ブロックの画像との差分の絶対値で表される。この場合、差分の絶対値が小さいほど、ＭＥ効率が良くなる。

動画像符号化はブロック単位の動き補償及び周波数変換を含むため、生成される情報は、主として、動きベクトル情報と周波数変換された差分情報である。このため、ＭＥ効率がほぼ同等である場合は、動きベクトル情報の情報量が符号化効率に大きな影響を与える。また、動きがほとんどないパノラマ画像と動きが大きいパノラマ画像とでは、後者の方が多くの動きベクトル情報が発生する。つまり、動きが大きいパノラマ画像ほど発生する符号量が多くなり、符号化効率が低下する。

発生する符号量を抑えて符号化効率を一定に保つために、量子化スケールを大きくすることも可能であるが、その場合、符号化パノラマ画像から復元されたパノラマ画像の画質が劣化する。

上述したように、カメラのパニング、位置ずれ、又は移動によって、フレーム間で全ブロックが一定方向に移動したような映像が生成される場合、特許文献１の動き推定方法では、多くの動きベクトルが発生して符号化効率が低下する。

図４は、実施形態の第１の動画像符号化装置の機能的構成例を示している。図４の動画像符号化装置４０１は、記憶部４１１、決定部４１２、補正部４１３、及び符号化部４１４を含む。記憶部４１１は、符号化対象パノラマ画像を符号化するために用いられる参照パノラマ画像４２１を記憶する。符号化対象パノラマ画像は、撮像装置が撮影したパノラマ映像に含まれるパノラマ画像を展開したパノラマ画像である。決定部４１２、補正部４１３、及び符号化部４１４は、参照パノラマ画像４２１を用いて動画像符号化処理を行う。

図５は、図４の動画像符号化装置４０１が行う第１の動画像符号化処理の例を示すフローチャートである。まず、決定部４１２は、参照パノラマ画像４２１に対する符号化対象パノラマ画像のずれ量を表すベクトルを決定する（ステップ５０１）。

次に、補正部４１３は、符号化対象パノラマ画像内における複数の符号化対象領域それぞれの位置を、ずれ量を表すベクトルに基づいて補正することで、補正された符号化対象パノラマ画像を生成する（ステップ５０２）。そして、符号化部４１４は、補正された符号化対象パノラマ画像内の複数の符号化対象領域それぞれの画像を、参照パノラマ画像４２１を用いて符号化する（ステップ５０３）。

このような動画像符号化装置４０１によれば、パノラマ映像の符号化効率を向上させることができる。

図６は、実施形態の第２の動画像符号化装置の機能的構成例を示している。図６の動画像符号化装置６０１は、記憶部６１１、決定部６１２、補正部６１３、及び符号化部６１４を含む。記憶部６１１は、符号化対象パノラマ画像を符号化するために用いられる参照画像６２１を記憶する。符号化対象パノラマ画像は、複数の撮像装置が撮影した複数の映像を組み合わせたパノラマ映像に含まれるパノラマ画像である。決定部６１２、補正部６１３、及び符号化部６１４は、参照画像６２１を用いて動画像符号化処理を行う。

図７は、図６の動画像符号化装置６０１が行う第２の動画像符号化処理の例を示すフローチャートである。まず、決定部６１２は、複数の映像それぞれの撮影範囲が移動することによって、符号化対象パノラマ画像内の符号化対象領域が参照画像６２１に対してずれた場合、参照画像６２１に対する符号化対象領域のずれ量を表すベクトルを決定する（ステップ７０１）。

次に、補正部６１３は、符号化対象パノラマ画像内における符号化対象領域の位置を、ずれ量を表すベクトルに基づいて補正することで、補正された符号化対象領域を生成する（ステップ７０２）。そして、符号化部６１４は、補正された符号化対象領域の画像を、参照画像６２１を用いて符号化する（ステップ７０３）。

このような動画像符号化装置６０１によれば、パノラマ映像の符号化効率を向上させることができる。

図８は、実施形態の動画像復号装置の機能的構成例を示している。図８の動画像復号装置８０１は、記憶部８１１、抽出部８１２、復号部８１３、及び補正部８１４を含む。図４の動画像符号化装置４０１は、符号化対象パノラマ画像を符号化することで、符号化パノラマ画像を生成する。動画像復号装置８０１は、動画像符号化装置４０１が生成する符号化パノラマ画像を含む、符号化パノラマ映像を復号する。

記憶部８１１は、符号化パノラマ画像を復号するために用いられる参照パノラマ画像８２１を記憶する。抽出部８１２、復号部８１３、及び補正部８１４は、参照パノラマ画像８２１を用いて動画像復号処理を行う。

図９は、図８の動画像復号装置８０１が行う動画像復号処理の例を示すフローチャートである。まず、抽出部８１２は、参照パノラマ画像８２１に対する符号化対象パノラマ画像のずれ量を表すベクトルを、符号化パノラマ映像から抽出する（ステップ９０１）。

次に、復号部８１３は、符号化パノラマ画像内の複数の復号対象領域それぞれを参照パノラマ画像８２１を用いて復号して、復号パノラマ画像を生成する（ステップ９０２）。そして、補正部８１４は、復号パノラマ画像内における複数の復号対象領域それぞれの位置を、ずれ量を表すベクトルに基づいて補正することで、符号化対象パノラマ画像を復元する（ステップ９０３）。

このような動画像復号装置８０１によれば、パノラマ映像の符号化効率を向上させることができる。

図１０は、パノラマ映像符号化システムの構成例を示している。図１０のパノラマ映像符号化システム１００１は、撮影部１０１１、合成部１０１２、展開部１０１３、及び動画像符号化装置１０１４を含む。

撮影部１０１１は、１台又は複数台の撮像装置を含む。１台の撮像装置を含む撮影部１０１１としては、例えば、非特許文献１のカメラを用いることができる。また、複数台の撮像装置を含む撮影部１０１１としては、例えば、非特許文献２の３６０°カメラ又は非特許文献３の３６０°カメラを用いることができる。

撮影部１０１１が１台の撮像装置を含む場合、合成部１０１２は、その撮像装置が撮影したパノラマ映像に含まれる各時刻の全周囲パノラマ画像を出力する。展開部１０１３は、全周囲パノラマ画像を複数の領域に分割し、領域単位で平面射影変換を繰り返すことで、展開パノラマ画像を生成する。この場合、動画像符号化装置１０１４は、図４の動画像符号化装置４０１に対応し、各時刻の展開パノラマ画像を符号化して、符号化パノラマ映像のビットストリームを生成する。

一方、撮影部１０１１が複数台の撮像装置を含む場合、合成部１０１２は、それぞれの撮像装置が撮影した映像に含まれる画像を合成して、全周囲パノラマ画像を生成し、展開部１０１３は、全周囲パノラマ画像を変換して展開パノラマ画像を生成する。この場合、動画像符号化装置１０１４は、図６の動画像符号化装置６０１に対応し、各時刻の展開パノラマ画像を符号化して、符号化パノラマ映像のビットストリームを生成する。

撮影部１０１１が静止している場合、全周囲パノラマ画像全体としては、常に、撮影部１０１１を中心として周囲を３６０°見渡す同じ撮影範囲が撮影されている。ただし、撮影部１０１１のパニング等によって、各時刻における全周囲パノラマ画像の起点がずれることで、写っている被写体の位置がずれる可能性がある。一方、撮影部１０１１が移動している場合、時間の経過とともに撮影範囲が変化し、写っている被写体も変化することが想定される。

図１１は、図１０の動画像符号化装置１０１４の具体例を示している。図１１の動画像符号化装置１０１４は、変更部１１０１、判定部１１０２、決定部１１０３、変更部１１０４、減算部１１０５、変換及び量子化部（Ｔ／Ｑ）１１０６、及びエントロピー符号化部（ＥＮＴ）１１０７を含む。さらに、動画像符号化装置１０１４は、逆量子化及び逆変換部（ＩＱ／ＩＴ）１１０８、加算部１１０９、動き補償部１１１０、予測画像生成部１１１１、及びフレームメモリ１１１２を含む。

まず、動画像符号化装置１０１４が図４の動画像符号化装置４０１に対応する場合の動作について説明する。この場合、変更部１１０１及び判定部１１０２は、補正部４１３に対応し、決定部１１０３は、決定部４１２に対応する。減算部１１０５、Ｔ／Ｑ１１０６、ＥＮＴ１１０７、ＩＱ／ＩＴ１１０８、加算部１１０９、動き補償部１１１０、及び予測画像生成部１１１１は、符号化部４１４に対応し、フレームメモリ１１１２は、記憶部４１１に対応する。

展開部１０１３が生成する展開パノラマ画像は、符号化対象パノラマ画像として、動画像符号化装置１０１４に入力される。動画像符号化装置１０１４は、符号化対象パノラマ画像を符号化し、符号化パノラマ画像をビットストリームとして出力する。符号化対象パノラマ画像は、複数のブロックに分割され、各ブロックが符号化対象ブロックとして、減算部１１０５及び動き補償部１１１０に入力される。符号化対象ブロックは、符号化対象領域に対応する。

決定部１１０３は、動き補償部１１１０から出力される動きベクトルを用いて、フレームメモリ１１１２が記憶する参照パノラマ画像に対する、符号化対象パノラマ画像のずれ量を表すグローバルベクトルを決定する。そして、決定部１１０３は、決定したグローバルベクトルを判定部１１０２、変更部１１０４、及びＥＮＴ１１０７へ出力する。

決定部１１０３は、既に符号化済みのパノラマ画像のグローバルベクトルを、符号化対象パノラマ画像のグローバルベクトルとして用いてもよく、処理量の小さな縮小パノラマ画像を用いた動き推定の結果に基づいて、グローバルベクトルを決定してもよい。

判定部１１０２は、グローバルベクトルに基づいて、符号化対象パノラマ画像内の各符号化対象ブロックの位置を変更するか否かを判定し、グローバルベクトル及び判定結果を変更部１１０１へ出力する。

判定結果が各符号化対象ブロックの位置を変更することを示す場合、変更部１１０１は、グローバルベクトルに基づいて各符号化対象ブロックの位置を変更し、変更した符号化対象ブロックを減算部１１０５及び動き補償部１１１０へ出力する。一方、判定結果が各符号化対象ブロックの位置を変更しないことを示す場合、変更部１１０１は、各符号化対象ブロックをそのまま減算部１１０５及び動き補償部１１１０へ出力する。

減算部１１０５は、符号化対象ブロックと、予測画像生成部１１１１から出力される予測ブロック画像との差分を表す予測誤差信号を、Ｔ／Ｑ１１０６へ出力する。Ｔ／Ｑ１１０６は、直交変換によって予測誤差信号を周波数信号に変換し、周波数信号を量子化して係数情報を生成する。直交変換としては、例えば、離散コサイン変換、離散ウェーブレット変換等が用いられる。そして、Ｔ／Ｑ１１０６は、生成した係数情報をＥＮＴ１１０７及びＩＱ／ＩＴ１１０８へ出力する。

ＩＱ／ＩＴ１１０８は、Ｔ／Ｑ１１０６から出力される係数情報を逆量子化して、周波数信号を生成し、逆直交変換によって周波数信号を再構成予測誤差信号に変換する。そして、ＩＱ／ＩＴ１１０８は、再構成予測誤差信号を加算部１１０９へ出力する。

加算部１１０９は、予測画像生成部１１１１から出力される予測ブロック画像と、再構成予測誤差信号とを加算することで、復号ブロック画像を生成し、生成した復号ブロック画像をフレームメモリ１１１２へ出力する。符号化対象ブロックの位置が変更されている場合、変更部１１０４は、グローバルベクトルに基づいて、復号ブロック画像の位置を変更前の符号化対象ブロックの位置に戻す。

フレームメモリ１１１２は、復号ブロック画像を蓄積し、蓄積した復号ブロック画像を参照画像として、動き補償部１１１０及び予測画像生成部１１１１へ出力する。符号化対象パノラマ画像内の複数の符号化対象ブロックそれぞれから生成された複数の復号ブロック画像は、参照パノラマ画像に対応する。

動き補償部１１１０は、参照画像を用いて符号化対象ブロックに対する動き推定を行うことで、動きベクトルを生成し、生成した動きベクトルを決定部１１０３へ出力する。動き推定では、例えば、１枚の参照パノラマ画像を用いた片方向予測、又は２枚以上の参照パノラマ画像を用いた双方向予測が行われる。そして、動き補償部１１１０は、参照パノラマ画像から動きベクトルが示す参照画像を取得して、予測画像生成部１１１１へ出力する。

予測画像生成部１１１１は、参照画像を用いて、符号化対象パノラマ画像内の既に符号化された周辺画素の画素値から、符号化対象ブロックのイントラ予測ブロック画像を生成する。また、予測画像生成部１１１１は、動き補償部１１１０から出力される参照画像をインター予測ブロック画像として使用する。そして、予測画像生成部１１１１は、イントラ予測ブロック画像又はインター予測ブロック画像のいずれか一方を選択し、選択した予測ブロック画像を減算部１１０５及び加算部１１０９へ出力する。

ＥＮＴ１１０７は、Ｔ／Ｑ１１０６から出力される係数情報、イントラ予測又はインター予測の予測モードの情報、及び決定部１１０３から出力されるグローバルベクトルの情報をエントロピー符号化する。エントロピー符号化では、信号中の各シンボルの出現頻度に応じて、可変長符号が割り当てられる。そして、ＥＮＴ１１０７は、可変長符号を含むビットストリームを出力する。

図１２は、変更部１１０１が行う補正処理の例を示している。この例では、全周囲パノラマ画像内の複数の位置を区別するために、０〜９の番号が用いられている。全周囲パノラマ画像の場合、図１に示したように、左端の位置０の画像と右端の位置９の画像とが連続しているため、この連続性を利用して補正処理を行うことができる。

参照パノラマ画像１２０１内の各被写体の位置に対して、符号化対象パノラマ画像１２０２内の各被写体の位置が一斉に右へずれた場合、位置０〜位置７のブロックに対して同じ動きベクトル１２１１が生成される。しかし、このままでは、位置８及び位置９のブロックに対して、動きベクトル１２１１とは全く異なる動きベクトルが生成される。

そこで、決定部１１０３は、動きベクトル１２１１をグローバルベクトルに決定し、変更部１１０１は、符号化対象パノラマ画像１２０２内の各ブロックの位置を、動きベクトル１２１１に従って左へずらす。そして、変更部１１０１は、符号化対象パノラマ画像１２０２からはみ出した位置８及び位置９のブロックの画像を、符号化対象パノラマ画像１２０２の右端に付け加えることで、符号化対象パノラマ画像１２０３を生成する。この場合、符号化対象パノラマ画像１２０３の起点が位置８から位置０に変更され、参照パノラマ画像１２０１の起点に一致する。

これにより、参照パノラマ画像１２０１内の各被写体に対する、符号化対象パノラマ画像１２０３内の各被写体の動きがほぼ０になるため、生成される動きベクトルを最小限に抑えることが可能になる。

図１３は、人物を含む全周囲パノラマ映像の例を示している。パノラマ画像１３０１、パノラマ画像１３０２、及びパノラマ画像１３０３は、それぞれ、時刻Ｔ、時刻Ｔ＋１、及び時刻Ｔ＋２における符号化対象パノラマ画像を表す。これらの３枚のパノラマ画像に写っている人物の位置は変化しておらず、代わりに、背景の被写体の位置が時間の経過とともに右へずれている。この場合、動きのある背景の面積の方が静止している人物の面積よりも大きいため、背景が静止するように、各パノラマ画像の起点を左へずらすことが好ましい。

図１４は、図１３の全周囲パノラマ映像に対する補正処理の例を示している。パノラマ画像１３０２の動き推定において、パノラマ画像１３０１が参照パノラマ画像として用いられる場合、決定部１１０３は、パノラマ画像１３０１の背景に対するパノラマ画像１３０２の背景の動きを表わす動きベクトルを、グローバルベクトルに決定する。

そして、変更部１１０１は、パノラマ画像１３０２内の各ブロックの位置を、グローバルベクトルに従って左へずらし、パノラマ画像１３０２からはみ出したブロックの画像を右端に付け加えることで、パノラマ画像１４０１を生成する。パノラマ画像１３０２の代わりにパノラマ画像１４０１を符号化すれば、面積の大きな背景に対する動きベクトルはほとんど発生せず、面積の小さな人物に集中して動きベクトルが発生する。したがって、発生する動きベクトル情報を抑制することができ、符号化効率が向上する。

パノラマ画像１３０３の動き推定において、パノラマ画像１３０２が参照パノラマ画像として用いられる場合も、同様の補正処理が行われる。この場合、決定部１１０３は、パノラマ画像１３０２の背景に対するパノラマ画像１３０３の背景の動きを表わす動きベクトルを、グローバルベクトルに決定する。

そして、変更部１１０１は、パノラマ画像１３０３内の各ブロックの位置を、グローバルベクトルに従って左へずらし、パノラマ画像１３０３からはみ出したブロックの画像を右端に付け加えることで、パノラマ画像１４０２を生成する。パノラマ画像１３０３の代わりにパノラマ画像１４０１を符号化することで、符号化効率が向上する。

動画像符号化装置１０１４が生成した符号化パノラマ画像を復号する際は、グローバルベクトルに基づいて、符号化パノラマ画像内の各ブロックの位置を逆方向にずらすことで、パノラマ画像１３０２及びパノラマ画像１３０３を復元することができる。

このように、グローバルベクトルに基づいて符号化対象パノラマ画像の起点を変更することで、全周囲パノラマ画像を切断する境界線の位置を、画像の動きに合わせて適応的に変更することが可能になる。起点の変更は、前方向予測の動きに応じて実施することが好ましい。例えば、前方向予測ピクチャ（Ｐピクチャ）のみを対象として起点を変更してもよい。

ＥＮＴ１１０７は、グローバルベクトルの情報をヘッダ情報としてビットストリームに挿入することができる。この場合、ビットストリームを受信した動画像復号装置は、ヘッダ情報を参照することでグローバルベクトルを取得し、符号化パノラマ画像内の各ブロックの位置を元の位置に戻すことができる。

図１５は、図１１の動画像符号化装置１０１４が行う動画像符号化処理の具体例を示すフローチャートである。動画像符号化装置１０１４は、符号化対象映像に含まれる各時刻の画像を符号化対象画像として、符号化対象画像をブロック毎に符号化する。

まず、変更部１１０１は、符号化対象映像が全周囲パノラマ映像であるか否かをチェックする（ステップ１５０１）。

符号化対象映像が全周囲パノラマ映像ではない場合（ステップ１５０１，Ｎｏ）、変更部１１０１は、符号化対象ブロックの位置を変更することなく、そのまま減算部１１０５及び動き補償部１１１０へ出力する。そして、動画像符号化装置１０１４は、符号化対象ブロックを符号化する（ステップ１５０２）。

一方、符号化対象映像が全周囲パノラマ映像である場合（ステップ１５０１，Ｙｅｓ）、決定部１１０３は、符号化対象パノラマ画像のグローバルベクトルを決定する（ステップ１５０５）。

例えば、決定部１１０３は、符号化対象パノラマ画像内で発生する動きベクトルのうち、他の動きベクトルよりも多く発生する動きベクトルをグローバルベクトルに決定することができる。他の動きベクトルよりも多く発生する動きベクトルは、符号化対象パノラマ画像内で最も多く発生する動きベクトルであってもよい。この場合、動き補償部１１１０は、事前に符号化対象パノラマ画像内のすべてのブロックに対する動き推定を実施し、各ブロックの動きベクトルを求めて、決定部１１０３へ出力する。そして、決定部１１０３は、発生数が最も多い動きベクトルを選択して、グローバルベクトルに決定する。

発生数が最も多い動きベクトルを選択することで、符号化対象パノラマ画像全体の動きを表わすベクトルをグローバルベクトルに決定することができる。例えば、背景の面積が前景の面積よりも大きく、背景に一定の動きが見られる場合、背景の動きを表わすベクトルがグローバルベクトルとして採用される。また、前景がクローズアップされており、前景の面積が背景の面積よりも大きい場合は、前景の動きを表わすベクトルがグローバルベクトルとして採用される。

次に、変更部１１０１は、符号化対象ブロックが前方向予測ピクチャのブロックであるか否かをチェックする（ステップ１５０６）。符号化対象ブロックが前方向予測ピクチャのブロックではない場合（ステップ１５０６，Ｎｏ）、動画像符号化装置１０１４は、ステップ１５０２以降の処理を行う。

一方、符号化対象ブロックが前方向予測ピクチャのブロックである場合（ステップ１５０６，Ｙｅｓ）、変更部１１０１及び判定部１１０２は、グローバルベクトルに基づいて補正処理を行う（ステップ１５０７）。

この補正処理において、判定部１１０２が符号化対象ブロックを補正しないと判定した場合、動画像符号化装置１０１４は、ステップ１５０２以降の処理を行う。一方、判定部１１０２が符号化対象ブロックを補正すると判定した場合、変更部１１０１は、符号化対象ブロックの位置を、グローバルベクトルの向きにグローバルベクトルの大きさだけずらすことで、補正された符号化対象ブロックを生成する。

次に、ＥＮＴ１１０７は、グローバルベクトルの情報を含むヘッダ情報を生成し（ステップ１５０８）、動画像符号化装置１０１４は、補正された符号化対象ブロックを符号化する（ステップ１５０９）。そして、変更部１１０４は、グローバルベクトルに基づいて、復号ブロック画像の位置を元の位置に戻す（ステップ１５１０）。このとき、変更部１１０４は、復号ブロック画像の位置を、グローバルベクトルとは逆の向きにグローバルベクトルの大きさだけずらすことで、補正された復号ブロック画像を生成して、フレームメモリ１１１２に書き込む。

次に、変更部１１０１は、符号化対象画像内のすべてのブロックを符号化したか否かをチェックする（ステップ１５０３）。符号化していないブロックが残っている場合（ステップ１５０３，Ｎｏ）、動画像符号化装置１０１４は、次のブロックを符号化対象ブロックとして、ステップ１５０１以降の処理を繰り返す。

すべてのブロックを符号化した場合（ステップ１５０３，Ｙｅｓ）、変更部１１０１は、符号化対象映像に含まれるすべての画像を符号化したか否かをチェックする（ステップ１５０４）。符号化していない画像が残っている場合（ステップ１５０４，Ｎｏ）、動画像符号化装置１０１４は、次の画像を符号化対象画像として、ステップ１５０１以降の処理を繰り返す。そして、すべての画像を符号化した場合（ステップ１５０４，Ｙｅｓ）、動画像符号化装置１０１４は、処理を終了する。

例えば、動画像符号化方式がＨＥＶＣである場合、ステップ１５０８において、ＥＮＴ１１０７は、ヘッダ情報に含まれるユーザデータを用いて、グローバルベクトルの情報を送信することができる。

具体的には、Supplemental Enhancement Information（ＳＥＩ）のpayloadType=5のuser_data_unregistered(payloadSize)を用いることができる。この場合、グローバルベクトルのＸ成分及びＹ成分のビット数として、それぞれ、log2_max_mv_length_horizontal及びlog2_max_mv_length_verticalで示されるビット数を確保すればよい。あるいは、そのsyntax elementの最大値である１６ビットを確保してもよい。

ユーザデータが他の目的で使用されることを考慮して、グローバルベクトルを示す所定の識別情報をグローバルベクトルの前に挿入したＳＥＩ（ユーザデータ）を用いることも好ましい。所定の識別情報としては、例えば、グローバルベクトルを表わす所定の文字列に対応するAmerican Standard Code for Information Interchange（ＡＳＣＩＩ）コードを用いることができる。

図１５の動画像符号化処理によれば、全周囲パノラマ映像に含まれる前方向予測ピクチャを符号化する際に、符号化対象パノラマ画像全体の動きに応じて、その符号化対象パノラマ画像の起点を変更することができる。これにより、符号化対象ブロックに対して生成される動きベクトル情報を抑制することが可能になるとともに、符号化対象パノラマ画像内の全ブロックに対して適切な動き推定を行うことが可能になる。したがって、ＭＥ効率及び符号化効率が向上する。

図１６は、図１５のステップ１５０７において、符号化対象ブロックを補正するか否かを動きベクトルの発生数を用いて判定する補正処理の例を示すフローチャートである。まず、判定部１１０２は、符号化対象パノラマ画像内における動きベクトルの総数Ｎｕｍ＿ＡｌｌＭＶに対するグローバルベクトルの発生数Ｎｕｍ＿ＧＭＶの比率Ｒを、閾値ＴＨ１と比較する（ステップ１６０１）。

ＲがＴＨ１以上である場合（ステップ１６０１，Ｙｅｓ）、判定部１１０２は、符号化対象ブロックを補正すると判定する。そして、変更部１１０１は、グローバルベクトルを用いて符号化対象ブロックの位置をずらすことで、補正された符号化対象ブロックを生成し（ステップ１６０２）、動画像符号化装置１０１４は、ステップ１５０８以降の処理を行う。

一方、ＲがＴＨ１未満である場合（ステップ１６０１，Ｎｏ）、判定部１１０２は、符号化対象ブロックを補正しないと判定し、動画像符号化装置１０１４は、ステップ１５０２以降の処理を行う。

図１６の補正処理によれば、決定部１１０３が決定したグローバルベクトルが符号化対象パノラマ画像内において所定値以上の比率で発生している場合に、符号化対象ブロックの位置が変更される。これにより、符号化対象パノラマ画像全体に発生している一定の動きに応じて、符号化対象ブロックの位置をずらすことができる。

図１７は、図１５のステップ１５０７において、符号化対象ブロックを補正するか否かをＭＥ効率を用いて判定する補正処理の例を示すフローチャートである。

まず、判定部１１０２は、符号化対象パノラマ画像を補正しない場合の動き推定を、動き補償部１１１０に対して要求する（ステップ１７０１）。動き補償部１１１０は、符号化対象パノラマ画像内のすべてのブロックに対する動き推定を実施して、各ブロックの動きベクトルを求める。そして、動き補償部１１１０は、参照パノラマ画像と符号化対象パノラマ画像との間の差分絶対値和（ＳＡＤ）を計算し、計算したＳＡＤをＳＡＤ１として判定部１１０２へ出力する。

次に、判定部１１０２は、符号化対象パノラマ画像を補正した場合の動き推定を、動き補償部１１１０に対して要求する（ステップ１７０２）。動き補償部１１１０は、グローバルベクトルを用いて符号化対象ブロックの位置をずらすことで、補正された符号化対象ブロックを生成する。次に、動き補償部１１１０は、補正された符号化対象パノラマ画像内のすべてのブロックに対する動き推定を実施して、各ブロックの動きベクトルを求める。そして、動き補償部１１１０は、参照パノラマ画像と補正された符号化対象パノラマ画像との間のＳＡＤを計算し、計算したＳＡＤをＳＡＤ２として判定部１１０２へ出力する。

次に、判定部１１０２は、ＳＡＤ１とＳＡＤ２を比較する（ステップ１７０３）。ＳＡＤ２がＳＡＤ１よりも小さい場合（ステップ１７０３，Ｙｅｓ）、判定部１１０２は、符号化対象ブロックを補正すると判定する。そして、変更部１１０１は、グローバルベクトルを用いて符号化対象ブロックの位置をずらすことで、補正された符号化対象ブロックを生成し（ステップ１７０４）、動画像符号化装置１０１４は、ステップ１５０８以降の処理を行う。

一方、ＳＡＤ２がＳＡＤ１以上である場合（ステップ１７０３，Ｎｏ）、判定部１１０２は、符号化対象ブロックを補正しないと判定し、動画像符号化装置１０１４は、ステップ１５０２以降の処理を行う。

図１７の補正処理によれば、決定部１１０３が決定したグローバルベクトルに基づいて符号化対象ブロックの位置をずらすことで、ＭＥ効率が向上する場合に、符号化対象ブロックの位置が変更される。これにより、符号化対象パノラマ画像のＭＥ効率を向上させることができる。

図１８は、符号化対象パノラマ画像を補正するか否かを符号化効率を用いて判定する動画像符号化処理の例を示すフローチャートである。ステップ１８０１〜ステップ１８０６の処理は、図１５のステップ１５０１〜ステップ１５０６の処理と同様である。

符号化対象ブロックが前方向予測ピクチャのブロックである場合（ステップ１８０６，Ｙｅｓ）、動画像符号化装置１０１４は、ステップ１８０７の処理と、ステップ１８０８〜ステップ１８１１の処理とを行う。ステップ１８０７の処理は、符号化対象ブロックを補正しない場合のステップ１８０２の処理と同様である。

ステップ１８０８において、変更部１１０１は、グローバルベクトルを用いて符号化対象ブロックの位置をずらすことで、補正された符号化対象ブロックを生成する。ステップ１８０９〜ステップ１８１１の処理は、図１５において符号化対象ブロックを補正する場合のステップ１５０８〜ステップ１５１０の処理と同様である。

次に、変更部１１０１は、符号化対象画像内のすべてのブロックを符号化したか否かをチェックする（ステップ１８１２）。符号化していないブロックが残っている場合（ステップ１８１２，Ｎｏ）、動画像符号化装置１０１４は、次のブロックを符号化対象ブロックとして、ステップ１８０１以降の処理を繰り返す。

すべてのブロックを符号化した場合（ステップ１８１２，Ｙｅｓ）、変更部１１０１及び判定部１１０２は、符号化効率に基づく補正処理を行う（ステップ１８１３）。そして、動画像符号化装置１０１４は、ステップ１８０４以降の処理を行う。

図１９は、図１８のステップ１８１３における補正処理の例を示すフローチャートである。判定部１１０２は、Ｔ／Ｑ１１０６が周波数信号を量子化する際に用いる量子化スケールと、ＥＮＴ１１０７が生成するビットストリームの情報量とを用いて符号化効率を計算する。例えば、符号化対象パノラマ画像内のすべてのブロックに対する量子化スケールの平均値と、その符号化対象パノラマ画像から生成される符号の総ビット数との積を、その符号化対象パノラマ画像の符号化効率として用いることができる。

まず、判定部１１０２は、符号化対象パノラマ画像内のすべてのブロックに対するステップ１８０７の処理の結果から、符号化対象パノラマ画像を補正しない場合の符号化効率ＣＥ１を計算する（ステップ１９０１）。符号化効率ＣＥ１は、符号化対象パノラマ画像を補正しない場合の量子化スケールの平均値ＱＰ１と符号の総ビット数Ｉ１との積として求められる。

次に、判定部１１０２は、符号化対象パノラマ画像内のすべてのブロックに対するステップ１８０８〜ステップ１８１１の処理の結果から、符号化対象パノラマ画像を補正した場合の符号化効率ＣＥ２を計算する（ステップ１９０２）。符号化効率ＣＥ２は、符号化対象パノラマ画像を補正した場合の量子化スケールの平均値ＱＰ２と符号の総ビット数Ｉ２との積として求められる。

次に、判定部１１０２は、ＣＥ１とＣＥ２を比較する（ステップ１９０３）。ＣＥ２がＣＥ１よりも小さい場合（ステップ１９０３，Ｙｅｓ）、判定部１１０２は、符号化対象パノラマ画像を補正すると判定する。そして、動画像符号化装置１０１４は、ステップ１８０８〜ステップ１８１１の処理の結果を採用する（ステップ１９０５）。

一方、ＣＥ２がＣＥ１以上である場合（ステップ１９０３，Ｎｏ）、判定部１１０２は、符号化対象パノラマ画像を補正しないと判定し、動画像符号化装置１０１４は、ステップ１８０７の処理の結果を採用する（ステップ１９０４）。

図１９の補正処理によれば、決定部１１０３が決定したグローバルベクトルに基づいて符号化対象ブロックの位置をずらすことで、符号化効率が向上する場合に、符号化対象ブロックの位置が変更される。これにより、符号化対象パノラマ画像の符号化効率を向上させることができる。

図２０は、図８の動画像復号装置８０１の具体例を示している。図２０の動画像復号装置２００１は、抽出部２０１１、変更部２０１２、ブロック復号部２０１３、加算部２０１４、動き補償部２０１５、予測画像生成部２０１６、及びフレームメモリ２０１７を含む。

抽出部２０１１は、図８の抽出部８１２に対応し、変更部２０１２は、補正部８１４に対応し、ブロック復号部２０１３、加算部２０１４、動き補償部２０１５、及び予測画像生成部２０１６は、復号部８１３に対応し、フレームメモリ２０１７は、記憶部８１１に対応する。

図１１の動画像符号化装置１０１４が出力するビットストリームは、符号化パノラマ映像として、動画像復号装置２００１に入力される。動画像復号装置２００１は、符号化パノラマ映像に含まれる各時刻の符号化パノラマ画像を復号して、符号化対象パノラマ映像を復元する。

抽出部２０１１は、符号化パノラマ映像に含まれるヘッダ情報からグローバルベクトルの情報を抽出して、変更部２０１２へ出力する。

ブロック復号部２０１３は、符号化パノラマ画像内の各復号対象ブロックの係数情報を逆量子化して周波数信号を生成し、逆直交変換によって周波数信号を再構成予測誤差信号に変換する。そして、ブロック復号部２０１３は、再構成予測誤差信号を加算部２０１４へ出力する。

加算部２０１４は、予測画像生成部２０１６から出力される予測ブロック画像と、再構成予測誤差信号とを加算することで、復号ブロック画像を生成し、生成した復号ブロック画像をフレームメモリ２０１７へ出力する。抽出部２０１１から符号化パノラマ画像に対するグローバルベクトルが出力された場合、変更部２０１２は、グローバルベクトルに基づいて、復号ブロック画像の位置を変更前の符号化対象ブロックの位置に戻す。

フレームメモリ２０１７は、復号ブロック画像を蓄積し、蓄積した復号ブロック画像を参照画像として、動き補償部２０１５及び予測画像生成部２０１６へ出力する。符号化パノラマ画像内の複数の復号対象ブロックそれぞれから生成された複数の復号ブロック画像は、復号パノラマ画像に対応する。そして、変更部２０１２によって位置を変更された後の複数の復号ブロック画像は、復元された符号化対象パノラマ画像を表し、参照パノラマ画像に対応する。

動き補償部２０１５は、参照パノラマ画像から動きベクトルが示す参照画像を取得して、予測画像生成部２０１６へ出力する。

予測画像生成部２０１６は、参照画像を用いて、符号化パノラマ画像内の既に復号された周辺画素の画素値から、復号対象ブロックのイントラ予測ブロック画像を生成する。また、予測画像生成部２０１６は、動き補償部２０１５から出力される参照画像をインター予測ブロック画像として使用する。そして、予測画像生成部２０１６は、イントラ予測ブロック画像又はインター予測ブロック画像のいずれか一方を選択し、選択した予測ブロック画像を加算部２０１４へ出力する。

図２１は、図２０の動画像復号装置２００１が行う動画像復号処理の具体例を示すフローチャートである。動画像復号装置２００１は、符号化映像に含まれる各時刻の画像を復号対象画像として、復号対象画像をブロック毎に符号化する。

まず、動画像復号装置２００１は、復号対象映像が全周囲パノラマ映像であるか否かをチェックする（ステップ２１０１）。復号対象映像が全周囲パノラマ映像ではない場合（ステップ２１０１，Ｎｏ）、動画像復号装置２００１は、復号対象ブロックをそのまま復号する（ステップ２１０２）。

一方、復号対象映像が全周囲パノラマ映像である場合（ステップ２１０１，Ｙｅｓ）、抽出部２０１１は、ヘッダ情報からグローバルベクトルの情報を抽出する（ステップ２１０５）。

次に、動画像復号装置２００１は、復号対象ブロックが前方向予測ピクチャのブロックであるか否かをチェックする（ステップ２１０６）。復号対象ブロックが前方向予測ピクチャのブロックではない場合（ステップ２１０６，Ｎｏ）、動画像復号装置２００１は、ステップ２１０２以降の処理を行う。

一方、復号対象ブロックが前方向予測ピクチャのブロックである場合（ステップ２１０６，Ｙｅｓ）、動画像復号装置２００１は、復号対象ブロックを復号する（ステップ２１０７）。そして、変更部２０１２は、グローバルベクトルに基づいて、復号ブロック画像の位置を変更前の符号化対象ブロックの位置に戻す（ステップ２１０８）。このとき、変更部２０１２は、復号ブロック画像の位置を、グローバルベクトルとは逆の向きにグローバルベクトルの大きさだけずらすことで、補正された復号ブロック画像を生成して、フレームメモリ２０１７に書き込む。

次に、動画像復号装置２００１は、復号対象画像内のすべてのブロックを復号したか否かをチェックする（ステップ２１０３）。復号していないブロックが残っている場合（ステップ２１０３，Ｎｏ）、動画像復号装置２００１は、次のブロックを復号対象ブロックとして、ステップ２１０１以降の処理を繰り返す。

すべてのブロックを復号した場合（ステップ２１０３，Ｙｅｓ）、動画像復号装置２００１は、復号対象映像に含まれるすべての画像を復号したか否かをチェックする（ステップ２１０４）。復号していない画像が残っている場合（ステップ２１０４，Ｎｏ）、動画像復号装置２００１は、次の画像を復号対象画像として、ステップ２１０１以降の処理を繰り返す。そして、すべての画像を復号した場合（ステップ２１０４，Ｙｅｓ）、動画像復号装置２００１は、処理を終了する。

次に、図１１の動画像符号化装置１０１４が図６の動画像符号化装置６０１に対応する場合の動作について説明する。この場合、変更部１１０１及び判定部１１０２は、補正部６１３に対応し、決定部１１０３は、決定部６１２に対応する。減算部１１０５、Ｔ／Ｑ１１０６、ＥＮＴ１１０７、ＩＱ／ＩＴ１１０８、加算部１１０９、動き補償部１１１０、及び予測画像生成部１１１１は、符号化部６１４に対応し、フレームメモリ１１１２は、記憶部６１１に対応する。

図１０の撮影部１０１１が移動している場合、時間の経過とともに全周囲パノラマ映像の撮影範囲が変化し、写っている被写体も変化することが想定される。この場合、全周囲パノラマ映像に含まれる各パノラマ画像の全体を展開パノラマ画像に変換しても、１つの動画として捉えることは難しい。そこで、図３に示したように、各パノラマ画像から一部の領域を抽出して矩形状に変換することで、抽出した部分領域の動画を生成することが効果的である。

この場合、合成部１０１２は、撮影部１０１１に含まれる複数の撮像装置が撮影した複数の映像を組み合わせることで、符号化対象パノラマ映像を生成することができる。展開部１０１３が生成する展開パノラマ画像は、符号化対象パノラマ画像として、動画像符号化装置１０１４に入力される。

決定部１１０３は、動き補償部１１１０から出力される動きベクトルを用いて、フレームメモリ１１１２が記憶する参照画像に対する符号化対象ブロックのずれ量を表すグローバルベクトルを決定する。そして、決定部１１０３は、決定したグローバルベクトルを変更部１１０１へ出力する。

例えば、決定部１１０３は、符号化対象パノラマ画像内の特定のブロックの動きベクトルをグローバルベクトルに決定することができる。この場合、動き補償部１１１０は、事前に符号化対象パノラマ画像内のすべてのブロックに対する動き推定を実施し、各ブロックの動きベクトルを求めて、決定部１１０３へ出力する。そして、決定部１１０３は、特定のブロックの動きベクトルを選択して、グローバルベクトルに決定する。

特定のブロックの動きベクトルをグローバルベクトルとして用いることで、そのブロックの動きに合わせて、符号化対象パノラマ画像から抽出される部分領域の位置をずらすことができる。これにより、特定のブロックに写っている被写体が常に画面内の同じ位置に写るように、画面に表示される部分領域の画像が補正されるため、特定の被写体を追従する映像を生成することが可能になる。

例えば、動画像符号化装置１０１４がタッチパネルを搭載した表示装置を含む場合、決定部１１０３は、画面内でユーザがタッチした位置が属するブロックのアドレスを求め、そのアドレスを用いて特定のブロックを決定することができる。動画像符号化装置１０１４がタッチパネルを含まない場合は、画面内の位置を示す座標からブロックのアドレスを計算し、計算したアドレスを用いて特定のブロックを指定することができる。

例えば、ブロックサイズが１６×１６であり、画面内で指定する画素の座標が（ｘ，ｙ）である場合、ブロックのアドレスは［ｘ／１６，ｙ／１６］となる。また、ブロックサイズが６４×６４であり、画面内で指定する画素の座標が（ｘ，ｙ）である場合、ブロックのアドレスは［ｘ／６４，ｙ／６４］となる。

図２２は、動画像符号化装置１０１４が動画像符号化装置６０１に対応する場合の動画像符号化処理の具体例を示すフローチャートである。動画像符号化装置１０１４は、符号化対象映像に含まれる各時刻の画像を符号化対象画像として、符号化対象画像をブロック毎に符号化する。

符号化対象映像が全周囲パノラマ映像である場合、動画像符号化装置１０１４は、符号化対象パノラマ画像から抽出される１つ又は複数の部分領域を対象として、その部分領域の画像をブロック毎に符号化する。

まず、変更部１１０１は、符号化対象映像が全周囲パノラマ映像であるか否かをチェックする（ステップ２２０１）。

符号化対象映像が全周囲パノラマ映像ではない場合（ステップ２２０１，Ｎｏ）、変更部１１０１は、符号化対象ブロックをそのまま減算部１１０５及び動き補償部１１１０へ出力する。そして、動画像符号化装置１０１４は、符号化対象ブロックを符号化する（ステップ２２０２）。

一方、符号化対象映像が全周囲パノラマ映像である場合（ステップ２２０１，Ｙｅｓ）、決定部１１０３は、符号化対象パノラマ画像のグローバルベクトルを決定する（ステップ２２０５）。

次に、変更部１１０１は、符号化対象パノラマ画像内において、符号化対象ブロックの位置を、グローバルベクトルとは逆の向きにグローバルベクトルの大きさだけずらすことで、新たな符号化対象ブロックを設定する（ステップ２２０６）。そして、動画像符号化装置１０１４は、設定された新たな符号化対象ブロックを符号化する（ステップ２２０７）。部分領域内の各ブロックの位置をグローバルベクトルとは逆の向きにずらすことにより、部分領域の起点を変更して、補正された部分領域を生成することができる。

次に、変更部１１０１は、符号化対象画像又は部分領域内のすべてのブロックを符号化したか否かをチェックする（ステップ２２０３）。符号化していないブロックが残っている場合（ステップ２２０３，Ｎｏ）、動画像符号化装置１０１４は、次のブロックを符号化対象ブロックとして、ステップ２２０１以降の処理を繰り返す。

すべてのブロックを符号化した場合（ステップ２２０３，Ｙｅｓ）、変更部１１０１は、符号化対象映像に含まれるすべての画像を符号化したか否かをチェックする（ステップ２２０４）。符号化していない画像が残っている場合（ステップ２２０４，Ｎｏ）、動画像符号化装置１０１４は、次の画像を符号化対象画像として、ステップ２２０１以降の処理を繰り返す。そして、すべての画像を符号化した場合（ステップ２２０４，Ｙｅｓ）、動画像符号化装置１０１４は、処理を終了する。

図２２の動画像符号化処理では、図１５の動画像符号化処理とは異なり、グローバルベクトルに基づいて復号ブロック画像の位置を元の位置に戻す処理は行われない。また、動画像復号装置においても、復号ブロック画像の位置を元の位置に戻す処理は行われないため、動画像符号化装置１０１４は、グローバルベクトルの情報を動画像復号装置へ送信する必要はない。

図２２の動画像符号化処理によれば、撮影部１０１１が移動することで複数の撮像装置それぞれの映像の撮影範囲が変化した場合であっても、特定のブロックの動きに応じて、符号化対象パノラマ画像から抽出される部分領域の起点を変更することができる。これにより、部分領域内の各ブロックに対して生成される動きベクトル情報を抑制することが可能になるとともに、各ブロックに対して適切な動き推定を行うことが可能になる。したがって、ＭＥ効率及び符号化効率が向上する。

図４、図６、及び図１１の動画像符号化装置の構成は一例に過ぎず、動画像符号化装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図１１の動画像符号化装置１０１４において、エントロピー符号化を行わない場合、ＥＮＴ１１０７を省略することができる。

図８及び図２０の動画像復号装置の構成は一例に過ぎず、動画像復号装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。図１０のパノラマ映像符号化システムの構成は一例に過ぎず、パノラマ映像符号化システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、撮影部１０１１が１台の撮像装置のみを含む場合、合成部１０１２を省略することができる。

図５、図７、図９、図１５〜図１９、図２１、及び図２２に示したフローチャートは一例に過ぎず、動画像符号化装置又は動画像復号装置の構成又は条件に応じて、一部の処理を省略又は変更してもよい。例えば、図１５の動画像符号化処理において、入力される符号化対象映像が全周囲パノラマ映像に限られる場合、ステップ１５０１及びステップ１５０２の処理を省略することができる。決定部１１０３は、ステップ１５０５の処理をブロック毎に毎回行う必要はなく、１枚の符号化対象パノラマ画像に対して１回のみ、ステップ１５０５の処理を行ってもよい。

図１７の補正処理において、動き補償部１１１０は、ＳＡＤの代わりに、参照パノラマ画像と符号化対象パノラマ画像との差分を表す別の指標を計算し、判定部１１０２は、その指標を用いて符号化対象ブロックを補正するか否かを判定してもよい。

図１８の動画像符号化処理において、入力される符号化対象映像が全周囲パノラマ映像に限られる場合、ステップ１８０１及びステップ１８０２の処理を省略することができる。決定部１１０３は、ステップ１８０５の処理をブロック毎に毎回行う必要はなく、１枚の符号化対象パノラマ画像に対して１回のみ、ステップ１８０５の処理を行ってもよい。

図１９の補正処理において、判定部１１０２は、量子化スケールの平均値の代わりに、中央値、最大値等の別の統計値を用いて、符号化効率を計算してもよい。

図２１の動画像復号処理において、入力される復号対象映像が全周囲パノラマ映像に限られる場合、ステップ２１０１及びステップ２１０２の処理を省略することができる。抽出部２０１１は、ステップ２１０５の処理をブロック毎に毎回行う必要はなく、１枚の復号対象画像に対して１回のみ、ステップ２１０５の処理を行ってもよい。

図２２の動画像符号化処理において、入力される符号化対象映像が全周囲パノラマ映像に限られる場合、ステップ２２０１及びステップ２２０２の処理を省略することができる。決定部１１０３は、ステップ２２０５の処理をブロック毎に毎回行う必要はなく、１枚の符号化対象パノラマ画像に対して１回のみ、ステップ２２０５の処理を行ってもよい。

図１〜図３の展開パノラマ画像は一例に過ぎず、パノラマ映像符号化システムの構成又は条件に応じて、別の展開パノラマ画像を用いてもよい。

図１２〜図１４の全周囲パノラマ画像は一例に過ぎず、撮影範囲に存在する被写体に応じて全周囲パノラマ画像は変化する。符号化対象パノラマ画像に写った被写体の移動方向は、水平方向に限られず、垂直方向又は斜め方向である場合もある。符号化対象パノラマ画像全体の動きが垂直方向又は斜め方向であっても、図５、図７、図１５、図１８、及び図２２の動画像符号化処理と図９及び図２１の動画像復号処理を適用することができる。符号化対象パノラマ画像の直前の時刻における符号化済みのパノラマ画像の代わりに、別の時刻における符号化済みのパノラマ画像を、参照パノラマ画像として用いてもよい。

図２３は、図４、図６、又は図１１の動画像符号化装置、図８又は図２０の動画像復号装置として用いられる情報処理装置（コンピュータ）の構成例を示している。図２３の情報処理装置は、Central Processing Unit（ＣＰＵ）２３０１、メモリ２３０２、入力装置２３０３、出力装置２３０４、補助記憶装置２３０５、媒体駆動装置２３０６、及びネットワーク接続装置２３０７を備える。これらの構成要素はバス２３０８により互いに接続されている。

メモリ２３０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、動画像符号化処理又は動画像復号処理に用いられるプログラム及びデータを記憶する。メモリ２３０２は、図４の記憶部４１１、図６の記憶部６１１、図８の記憶部８１１、図１１のフレームメモリ１１１２、及び図２０のフレームメモリ２０１７として用いることができる。

ＣＰＵ２３０１（プロセッサ）は、例えば、メモリ２３０２を利用してプログラムを実行することにより、図４の決定部４１２、補正部４１３、及び符号化部４１４として動作する。ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、図６の決定部６１２、補正部６１３、及び符号化部６１４としても動作する。ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、図８の抽出部８１２、復号部８１３、及び補正部８１４としても動作する。

ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、図１１の変更部１１０１、判定部１１０２、決定部１１０３、変更部１１０４、減算部１１０５、Ｔ／Ｑ１１０６、及びＥＮＴ１１０７としても動作する。ＣＰＵ２３０１は、ＩＱ／ＩＴ１１０８、加算部１１０９、動き補償部１１１０、及び予測画像生成部１１１１としても動作する。

ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、図２０の抽出部２０１１、変更部２０１２、ブロック復号部２０１３、加算部２０１４、動き補償部２０１５、及び予測画像生成部２０１６としても動作する。

入力装置２３０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置２３０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。情報処理装置が動画像復号装置である場合、処理結果は、復元された符号化対象パノラマ映像であってもよい。

補助記憶装置２３０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置２３０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置２３０５にプログラム及びデータを格納しておき、それらをメモリ２３０２にロードして使用することができる。

媒体駆動装置２３０６は、可搬型記録媒体２３０９を駆動し、その記録内容にアクセスする。可搬型記録媒体２３０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体２３０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、又はUniversal Serial Bus（ＵＳＢ）メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体２３０９にプログラム及びデータを格納しておき、それらをメモリ２３０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体には、メモリ２３０２、補助記憶装置２３０５、及び可搬型記録媒体２３０９のような、物理的な（非一時的な）記録媒体が含まれる。

ネットワーク接続装置２３０７は、Local Area Network（ＬＡＮ）、インターネット等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置が動画像符号化装置である場合、ネットワーク接続装置２３０７は、符号化パノラマ映像のビットストリームを動画像復号装置へ送信することができる。情報処理装置が動画像復号装置である場合、ネットワーク接続装置２３０７は、符号化パノラマ映像のビットストリームを動画像符号化装置から受信することができる。

情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置２３０７を介して受け取り、それらをメモリ２３０２にロードして使用することもできる。

なお、情報処理装置が図２３のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要の場合は、入力装置２３０３及び出力装置２３０４を省略してもよい。また、情報処理装置が可搬型記録媒体２３０９にアクセスしない場合は、媒体駆動装置２３０６を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図１乃至図２３を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
撮像装置が撮影したパノラマ映像に含まれるパノラマ画像を展開した符号化対象パノラマ画像を符号化するために用いられる参照パノラマ画像を記憶する記憶部と、
前記参照パノラマ画像に対する前記符号化対象パノラマ画像のずれ量を表すベクトルを決定する決定部と、
前記符号化対象パノラマ画像内における複数の符号化対象領域それぞれの位置を前記ずれ量を表すベクトルに基づいて補正することで、補正された符号化対象パノラマ画像を生成する補正部と、
前記補正された符号化対象パノラマ画像内の前記複数の符号化対象領域それぞれの画像を、前記参照パノラマ画像を用いて符号化する符号化部と、
を備えることを特徴とする動画像符号化装置。
（付記２）
前記決定部は、補正前の前記複数の符号化対象領域それぞれの動きベクトルのうち、他の動きベクトルよりも多く発生する動きベクトルを、前記ずれ量を表すベクトルに決定することを特徴とする付記１記載の動画像符号化装置。
（付記３）
前記補正部は、補正前の前記符号化対象パノラマ画像内における動きベクトルの総数に対する前記ずれ量を表すベクトルの個数の比率が、所定値よりも大きい場合、前記補正前の前記複数の符号化対象領域それぞれの位置を前記ずれ量を表すベクトルに基づいて補正することを特徴とする付記２記載の動画像符号化装置。
（付記４）
前記補正部は、前記参照パノラマ画像と補正前の前記符号化対象パノラマ画像とを用いた第１動き推定に基づく第１差分を求め、前記参照パノラマ画像と前記補正された前記符号化対象パノラマ画像とを用いた第２動き推定に基づく第２差分を求め、前記第２差分が前記第１差分よりも小さい場合、前記補正前の前記複数の符号化対象領域それぞれの位置を前記ずれ量を表すベクトルに基づいて補正することを特徴とする付記２記載の動画像符号化装置。
（付記５）
前記補正部は、前記参照パノラマ画像と補正前の前記符号化対象パノラマ画像とを用いた第１動き推定に基づく量子化スケールと、前記第１動き推定に基づく符号の情報量とを求め、前記参照パノラマ画像と前記補正された前記前記符号化対象パノラマ画像とを用いた第２動き推定に基づく量子化スケールと、前記第２動き推定に基づく符号の情報量とを求め、前記第２動き推定に基づく量子化スケールと前記第２動き推定に基づく符号の情報量との積が、前記第１動き推定に基づく量子化スケールと前記第１動き推定に基づく符号の情報量との積よりも小さい場合、前記補正前の前記複数の符号化対象領域それぞれの位置を前記ずれ量を表すベクトルに基づいて補正することを特徴とする付記２記載の動画像符号化装置。
（付記６）
複数の撮像装置が撮影した複数の映像を組み合わせたパノラマ映像に含まれる符号化対象パノラマ画像を符号化するために用いられる参照画像を記憶する記憶部と、
前記複数の映像それぞれの撮影範囲が移動することによって、前記符号化対象パノラマ画像内の符号化対象領域が前記参照画像に対してずれた場合、前記参照画像に対する前記符号化対象領域のずれ量を表すベクトルを決定する決定部と、
前記符号化対象パノラマ画像内における前記符号化対象領域の位置を前記ずれ量を表すベクトルに基づいて補正することで、補正された符号化対象領域を生成する補正部と、
前記補正された符号化対象領域の画像を、前記参照画像を用いて符号化する符号化部と、
を備えることを特徴とする動画像符号化装置。
（付記７）
撮像装置が撮影したパノラマ映像に含まれるパノラマ画像を展開した符号化対象パノラマ画像を符号化することで生成される符号化パノラマ画像を含む、符号化パノラマ映像を復号する動画像復号装置であって、
前記符号化パノラマ画像を復号するために用いられる参照パノラマ画像を記憶する記憶部と、
前記参照パノラマ画像に対する前記符号化対象パノラマ画像のずれ量を表すベクトルを、前記符号化パノラマ映像から抽出する抽出部と、
前記符号化パノラマ画像内の複数の復号対象領域それぞれを前記参照パノラマ画像を用いて復号して、復号パノラマ画像を生成する復号部と、
前記復号パノラマ画像内における前記複数の復号対象領域それぞれの位置を前記ずれ量を表すベクトルに基づいて補正することで、前記符号化対象パノラマ画像を復元する補正部と、
を備えることを特徴とする動画像復号装置。
（付記８）
撮像装置が撮影したパノラマ映像に含まれるパノラマ画像を展開した符号化対象パノラマ画像を符号化するために用いられる参照パノラマ画像を用いて、前記参照パノラマ画像に対する前記符号化対象パノラマ画像のずれ量を表すベクトルを決定し、
前記符号化対象パノラマ画像内における複数の符号化対象領域それぞれの位置を前記ずれ量を表すベクトルに基づいて補正することで、補正された符号化対象パノラマ画像を生成し、
前記補正された符号化対象パノラマ画像内の前記複数の符号化対象領域それぞれの画像を、前記参照パノラマ画像を用いて符号化する、
処理をコンピュータに実行させる動画像符号化プログラム。
（付記９）
前記コンピュータは、補正前の前記複数の符号化対象領域それぞれの動きベクトルのうち、他の動きベクトルよりも多く発生する動きベクトルを、前記ずれ量を表すベクトルに決定することを特徴とする付記８記載の動画像符号化プログラム。
（付記１０）
複数の撮像装置が撮影した複数の映像それぞれの撮影範囲が移動することによって、前記複数の映像を組み合わせたパノラマ映像に含まれる符号化対象パノラマ画像を符号化するために用いられる参照画像に対して、前記符号化対象パノラマ画像内の符号化対象領域がずれた場合、前記参照画像に対する前記符号化対象領域のずれ量を表すベクトルを決定し、
前記符号化対象パノラマ画像内における前記符号化対象領域の位置を前記ずれ量を表すベクトルに基づいて補正することで、補正された符号化対象領域を生成し、
前記補正された符号化対象領域の画像を、前記参照画像を用いて符号化する、
処理をコンピュータに実行させる動画像符号化プログラム。
（付記１１）
撮像装置が撮影したパノラマ映像に含まれるパノラマ画像を展開した符号化対象パノラマ画像を符号化することで生成される符号化パノラマ画像を含む、符号化パノラマ映像を復号するコンピュータに、
前記符号化パノラマ画像を復号するために用いられる参照パノラマ画像に対する、前記符号化対象パノラマ画像のずれ量を表すベクトルを、前記符号化パノラマ映像から抽出し、
前記符号化パノラマ画像内の複数の復号対象領域それぞれを前記参照パノラマ画像を用いて復号して、復号パノラマ画像を生成し、
前記復号パノラマ画像内における前記複数の復号対象領域それぞれの位置を前記ずれ量を表すベクトルに基づいて補正することで、前記符号化対象パノラマ画像を復元する、
処理を実行させる動画像復号プログラム。
（付記１２）
コンピュータが、
撮像装置が撮影したパノラマ映像に含まれるパノラマ画像を展開した符号化対象パノラマ画像を符号化するために用いられる参照パノラマ画像を用いて、前記参照パノラマ画像に対する前記符号化対象パノラマ画像のずれ量を表すベクトルを決定し、
前記符号化対象パノラマ画像内における複数の符号化対象領域それぞれの位置を前記ずれ量を表すベクトルに基づいて補正することで、補正された符号化対象パノラマ画像を生成し、
前記補正された符号化対象パノラマ画像内の前記複数の符号化対象領域それぞれの画像を、前記参照パノラマ画像を用いて符号化する、
ことを特徴とする動画像符号化方法。
（付記１３）
前記コンピュータは、補正前の前記複数の符号化対象領域それぞれの動きベクトルのうち、他の動きベクトルよりも多く発生する動きベクトルを、前記ずれ量を表すベクトルに決定することを特徴とする付記１２記載の動画像符号化方法。
（付記１４）
コンピュータが、
複数の撮像装置が撮影した複数の映像それぞれの撮影範囲が移動することによって、前記複数の映像を組み合わせたパノラマ映像に含まれる符号化対象パノラマ画像を符号化するために用いられる参照画像に対して、前記符号化対象パノラマ画像内の符号化対象領域がずれた場合、前記参照画像に対する前記符号化対象領域のずれ量を表すベクトルを決定し、
前記符号化対象パノラマ画像内における前記符号化対象領域の位置を前記ずれ量を表すベクトルに基づいて補正することで、補正された符号化対象領域を生成し、
前記補正された符号化対象領域の画像を、前記参照画像を用いて符号化する、
ことを特徴とする動画像符号化方法。
（付記１５）
撮像装置が撮影したパノラマ映像に含まれるパノラマ画像を展開した符号化対象パノラマ画像を符号化することで生成される符号化パノラマ画像を含む、符号化パノラマ映像を復号するコンピュータが、
前記符号化パノラマ画像を復号するために用いられる参照パノラマ画像に対する、前記符号化対象パノラマ画像のずれ量を表すベクトルを、前記符号化パノラマ映像から抽出し、
前記符号化パノラマ画像内の複数の復号対象領域それぞれを前記参照パノラマ画像を用いて復号して、復号パノラマ画像を生成し、
前記復号パノラマ画像内における前記複数の復号対象領域それぞれの位置を前記ずれ量を表すベクトルに基づいて補正することで、前記符号化対象パノラマ画像を復元する、
ことを特徴とする動画像復号方法。

１０１、２０１、２０２、３０１、１３０１〜１３０３、１４０１、１４０２パノラマ画像
１０２境界線
１０３、２０３、２０４、３２１〜３２３展開パノラマ画像
２０５全周囲パノラマ画像
３１１〜３１４領域
４０１、６０１、１０１４動画像符号化装置
４１１、６１１、８１１記憶部
４１２、６１２、１１０３決定部
４１３、６１３、８１４補正部
４１４、６１４符号化部
４２１、８２１、１２０１参照パノラマ画像
６２１参照画像
８０１、２００１動画像復号装置
８１２、２０１１抽出部
８１３復号部
１００１パノラマ映像符号化システム
１０１１撮影部
１０１２合成部
１０１３展開部
１１０１、１１０４、２０１２変更部
１１０２判定部
１１０５減算部
１１０９、２０１４加算部
１１１０、２０１５動き補償部
１１１１、２０１６予測画像生成部
１１１２、２０１７フレームメモリ
１２０２、１２０３符号化対象パノラマ画像
１２１１動きベクトル
２０１３ブロック復号部
２３０１ＣＰＵ
２３０２メモリ
２３０３入力装置
２３０４出力装置
２３０５補助記憶装置
２３０６媒体駆動装置
２３０７ネットワーク接続装置
２３０８バス
２３０９可搬型記録媒体

Claims

撮像装置が撮影したパノラマ映像に含まれるパノラマ画像を展開した符号化対象パノラマ画像を符号化するために用いられる参照パノラマ画像を記憶する記憶部と、
前記参照パノラマ画像に対する前記符号化対象パノラマ画像のずれ量を表すベクトルを決定する決定部と、
前記符号化対象パノラマ画像内における複数の符号化対象領域それぞれの位置を前記ずれ量を表すベクトルに基づいて補正することで、補正された符号化対象パノラマ画像を生成する補正部と、
前記補正された符号化対象パノラマ画像内の前記複数の符号化対象領域それぞれの画像を、前記参照パノラマ画像を用いて符号化する符号化部と、
を備え、
前記決定部は、補正前の前記複数の符号化対象領域それぞれの動きベクトルのうち、他の動きベクトルよりも多く発生する動きベクトルを、前記ずれ量を表すベクトルに決定し、
前記補正部は、補正前の前記符号化対象パノラマ画像内における動きベクトルの総数に対する前記ずれ量を表すベクトルの個数の比率が、所定値よりも大きい場合、前記補正前の前記複数の符号化対象領域それぞれの位置を前記ずれ量を表すベクトルに基づいて補正することを特徴とする動画像符号化装置。
撮像装置が撮影したパノラマ映像に含まれるパノラマ画像を展開した符号化対象パノラマ画像を符号化するために用いられる参照パノラマ画像を記憶する記憶部と、
前記参照パノラマ画像に対する前記符号化対象パノラマ画像のずれ量を表すベクトルを決定する決定部と、
前記符号化対象パノラマ画像内における複数の符号化対象領域それぞれの位置を前記ずれ量を表すベクトルに基づいて補正することで、補正された符号化対象パノラマ画像を生成する補正部と、
前記補正された符号化対象パノラマ画像内の前記複数の符号化対象領域それぞれの画像を、前記参照パノラマ画像を用いて符号化する符号化部と、
を備え、
前記決定部は、補正前の前記複数の符号化対象領域それぞれの動きベクトルのうち、他の動きベクトルよりも多く発生する動きベクトルを、前記ずれ量を表すベクトルに決定し、
前記補正部は、前記参照パノラマ画像と前記補正された符号化対象パノラマ画像とを用いた第１動き推定に基づく第１差分を求め、前記参照パノラマ画像と補正前の前記符号化対象パノラマ画像とを用いた第２動き推定に基づく第２差分を求め、前記第１差分が前記第２差分よりも小さい場合、前記補正前の前記複数の符号化対象領域それぞれの位置を前記ずれ量を表すベクトルに基づいて補正することを特徴とする動画像符号化装置。
撮像装置が撮影したパノラマ映像に含まれるパノラマ画像を展開した符号化対象パノラマ画像を符号化するために用いられる参照パノラマ画像を記憶する記憶部と、
前記参照パノラマ画像に対する前記符号化対象パノラマ画像のずれ量を表すベクトルを決定する決定部と、
前記符号化対象パノラマ画像内における複数の符号化対象領域それぞれの位置を前記ずれ量を表すベクトルに基づいて補正することで、補正された符号化対象パノラマ画像を生成する補正部と、
前記補正された符号化対象パノラマ画像内の前記複数の符号化対象領域それぞれの画像を、前記参照パノラマ画像を用いて符号化する符号化部と、
を備え、
前記決定部は、補正前の前記複数の符号化対象領域それぞれの動きベクトルのうち、他の動きベクトルよりも多く発生する動きベクトルを、前記ずれ量を表すベクトルに決定し、
前記補正部は、前記参照パノラマ画像と前記補正された符号化対象パノラマ画像とを用いた第１動き推定が行われた場合について、前記補正された符号化対象パノラマ画像内における複数の符号化対象領域それぞれに対する量子化スケールの平均値と、前記第１動き推定に基づく符号の情報量とを求め、前記参照パノラマ画像と補正前の前記符号化対象パノラマ画像とを用いた第２動き推定が行われた場合について、補正前の前記符号化対象パノラマ画像内における複数の符号化対象領域それぞれに対する量子化スケールの平均値と、前記第２動き推定に基づく符号の情報量とを求め、前記第１動き推定が行われた場合の前記量子化スケールの平均値と前記第１動き推定に基づく符号の情報量との積が、前記第２動き推定が行われた場合の前記量子化スケールの平均値と前記第２動き推定に基づく符号の情報量との積よりも小さい場合、前記補正前の前記複数の符号化対象領域それぞれの位置を前記ずれ量を表すベクトルに基づいて補正することを特徴とする動画像符号化装置。