JPWO2019244439A1 - 画像処理装置と画像処理方法 - Google Patents

Abstract

ブロック位置算出部４１１は、魚眼情報によって入力画像が魚眼画像であることを判別した場合、魚眼中心に対する処理対象ブロックの位置を算出して、算出した位置を示す位置情報をテーブル選択部４１２へ出力する。テーブル選択部４１２は、魚眼情報によって入力画像が魚眼画像であることを判別した場合、複数のイントラ予測モードテーブルから、位置情報に基づき処理対象ブロックの位置に応じたイントラ予測モードテーブルを選択して予測画像生成部４１３へ出力する。予測画像生成部４１３は、テーブル選択部４１２から供給されたイントラ予測モードテーブルとフレームメモリ３６から選択部３７を介して読み出された参照画像データとを用いて方向性予測を行い、イントラ予測モードテーブルで示された予測モードの予測画像データを生成する。歪みを生じた画像の符号化または復号処理を効率よく行える。

Description

この技術は、画像処理装置と画像処理方法に関する。

魚眼レンズを用いて撮影を行うことにより得られた魚眼画像の符号化復号処理では、魚眼レンズよりも画角の狭い標準レンズ等を用いて撮影を行うことにより得られた画像（通常画像）と同様に符号化復号処理を行うことが可能である。しかし、魚眼画像は魚眼歪みすなわち物体が中心から遠ざかるほど中心方向に対して生じた歪みを有する。このため、特許文献１では、レンズの特性に応じて画像の特性を決定し、予め定められた第１のサイズで分割された第１のブロックの画像の特性に基づきブロックサイズを決定して、第１のブロックをさらに決定したブロックサイズで分割して、ブロック毎に予測符号化を行うことで符号化効率の向上がはかられている。

特開２０１５−０５０６６１号公報

ところで、特許文献１において、画像の特性に基づいたブロックサイズで分割されたブロックの予測符号化は、レンズの特性に応じて決定された画像の特性にかかわらず行われている。このため、分割されたブロックの予測符号化を効率よく行うことができないおそれがある。

そこで、この技術では歪みを生じた画像の符号化または復号処理を効率よく行うことができる画像処理装置と画像処理方法を提供することを目的とする。

この技術の第１の側面は、
魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い、予測画像を生成するイントラ予測部
を備える画像処理装置にある。

この技術においては、魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いる。処理対象ブロックの位置に応じたイントラ予測モードテーブルは、所定の複数の予測方向を魚眼画像の魚眼中心に対する処理対象ブロックの位置に応じて変更したテーブルでもよく、処理対象ブロックの位置で生じる魚眼歪みを補正する補正率に基づいて予測方向が変更したテーブルでもよい。また、処理対象ブロックの位置に応じたイントラ予測モードテーブルは、所定の複数の予測方向から魚眼画像の魚眼中心に対する処理対象ブロックの位置に応じて選択した予測方向を示すテーブルでもよく、魚眼中心に対する処理対象ブロックの方向に対して直交する円周方向を密集方向として、所定の複数の予測方向から選択した予測方向を示すテーブルでもよく、魚眼中心から処理対象ブロックまでの距離が長くなるに伴い密集度合いを高くして、所定の複数の予測方向から選択した予測方向を示すテーブルでもよい。

イントラ予測部は、処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い、予測画像を生成する。また、イントラ予測部は、魚眼画像の魚眼中心を基準として魚眼画像を径方向および周方向に複数の領域に区分して、領域毎にイントラ予測モードテーブルを設けて、イントラ予測部は、処理対象ブロックが含まれる領域に対応するイントラ予測モードテーブルを用いてイントラ予測を行ってもよい。区分された領域には、魚眼中心を対象点として点対称の領域に等しいイントラ予測モードテーブルを設ける。また、魚眼中心を含む領域のイントラ予測モードテーブルは、所定の複数の予測方向を示すテーブルとする。また、魚眼レンズのレンズ特性に応じて、径方向の領域区分数や径方向の領域区分間隔を設定する。

また、入力画像が魚眼画像である場合、入力画像の符号化ストリームに魚眼情報を含める可逆符号化部をさらに備える。魚眼情報は、少なくとも入力画像が魚眼画像であることと魚眼画像の魚眼中心を示す情報を含む。また、魚眼情報に、魚眼画像の取得に用いた魚眼レンズに関する情報を含めてもよい。

また、魚眼画像の符号化ストリームを復号する可逆復号部をさらに備え、可逆復号部は、符号化ストリームに含まれる魚眼情報と最適イントラ予測モードをパースして、イントラ予測部は、可逆復号部で得られた魚眼情報と最適イントラ予測モードに基づき処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いて予測画像を生成する。また、魚眼情報は、少なくとも入力画像が魚眼画像であることと魚眼画像の魚眼中心を示す情報を含み、イントラ予測部は、魚眼画像の魚眼中心に対する処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いる。また、魚眼情報は、魚眼画像の取得に用いた魚眼レンズに関する情報を含み、イントラ予測部は、魚眼レンズに関する情報と処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いる。

この技術の第２の側面は、
魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い、予測画像をイントラ予測部で生成すること
を含む画像処理方法にある。

この技術によれば、魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い、予測画像が生成される。したがって、歪みを生じた画像の符号化または復号処理を効率よく行うことができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

画像符号化装置の構成を例示した図である。 イントラ予測部の構成を例示した図である。 魚眼画像と通常画像の歪みの違いを説明するための図である。 魚眼レンズの射影方式を示した図である。 魚眼画像を通常画像に補正するための補正率を射影方式毎に示した図である。 補正率の導出を説明するための図である。 通常画像で用いられるイントラ予測モードテーブルを示す図である。 歪みを生じたイントラ予測モードテーブルを示す図である。 歪テーブルの生成について説明するため図である。 通常画像で用いるイントラ予測モードテーブル（基本テーブル）の予測モードと傾きの関係を示す図である。 イントラ予測の予測方向を説明するための図である。 魚眼画像で用いるイントラ予測モードテーブル（歪テーブル）の予測モードと傾きの関係（θ1＝π／４，Ｋm＝１．３の場合）を示す図である。 魚眼画像の領域区分を説明するための図である。 画像符号化装置の符号化処理動作を例示したフローチャートである。 イントラ予測処理を例示したフローチャートである。 層数＝４の場合の各層における補正率と間隔比率の関係を例示した図である。 画像復号装置の構成を例示した図である。 画像復号装置の動作を例示したフローチャートである。 イントラ予測の予測画像生成処理を示したフローチャートである。 魚眼中心に対する処理対象ブロックの方角に基づいて選択テーブルを生成する場合の動作を例示した図である。 魚眼中心に対する処理対象ブロックの方角と予測モードの選択結果を例示した図である。 魚眼中心に対する処理対象ブロックの方角と魚眼中心からの距離に基づいて選択テーブルを生成する場合の動作を例示した図である。 魚眼中心に対する処理対象ブロックの方角と魚眼中心から処理対象ブロックまでの距離に応じた予測モードの選択結果を例示した図である。 イントラ予測処理を示すフローチャートである。

以下、本技術を実施するための形態について説明する。本願で開示される範囲は、本明細書および図面に記載されている内容だけではなく、出願当時において公知となっている以下の文献に記載されている内容も含まれる。
文献１：AVC規格書("Advanced video coding for generic audiovisual services", ITU-T H.264(04/2017))
文献２：HEVC規格書("High efficiency video coding", ITU-T H.265(12/2016))
文献３：FVC アルゴリズム解説書(Algorithm description of Joint Exploration Test Model 7 (JEM7), 2017-08-19)

つまり、上述の文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、文献１に記載されているQuad-Tree Block Structure、文献３に記載されているQTBT（Quad Tree Plus Binary Tree）やBlock Structureが実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、許請求の範囲のサポート要件を満たす。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たす。

また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の文献１乃至３に記載のTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、または、スライス等、任意の部分領域（処理単位）が含まれる。

また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合がある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。

以下、本技術について以下の順序で説明を行う。
１．画像処理装置について
２．第１の実施の形態
２−１．画像符号化装置の構成
２−２．画像符号化装置の動作
２−２−１．イントラ予測テーブルについて
２−２−２．符号化処理動作について
２−３．画像復号装置の構成
２−４．画像復号装置の動作
３．第２の実施の形態
３−１．画像符号化装置の構成
３−２．画像符号化装置の動作
３−２−１．イントラ予測テーブルについて
３−２−２．符号化処理動作について
４．応用例

＜１．画像処理装置について＞
画像処理装置では、魚眼レンズを用いて撮像を行うことにより取得された動画像（以下「魚眼画像」ともいう）の符号化処理、またはこの符号化処理で生成された符号化ストリームの復号処理を行う。また、画像処理装置は、魚眼歪みを生じないレンズ（以下「通常レンズ」ともいう）を用いて撮像を行うことにより取得された動画像（以下「通常画像」ともいう）の符号化処理、またはこの符号化処理で生成された符号化ストリームの復号処理も行えるようにする。

＜２．第１の実施の形態＞
第１の実施の形態では、レンズ歪特性に応じてイントラ予測テーブルを切り替えることで、イントラ予測の符号化効率を向上させる。

＜２−１．画像符号化装置の構成＞
図１は、魚眼画像の符号化処理を行う画像符号化装置の構成を例示している。画像符号化装置１０は、予測処理を用いて画像データの符号化を行い、例えばＨ．２６５／ＨＥＶＣ規格に対応した符号化ストリームを生成する。

画像符号化装置１０は、画面並べ替えバッファ２１、演算部２２、直交変換部２３、量子化部２４、可逆符号化部２５、蓄積バッファ２６、レート制御部２７を有する。また、画像符号化装置１０は、逆量子化部３１、逆直交変換部３２、演算部３３、デブロッキングフィルタ３４、ＳＡＯ（Sample Adaptive Offset）フィルタ３５、フレームメモリ３６、選択部３７を有している。さらに、画像符号化装置１０は、イントラ予測部４１、インター予測部４２、予測選択部４３を有する。

魚眼画像は、入力画像として画面並べ替えバッファ２１に入力される。また、魚眼画像に関する魚眼情報は、イントラ予測部４１とインター予測部４２、可逆符号化部２５に入力される。魚眼情報では、少なくとも入力画像が魚眼画像であることと魚眼画像の魚眼中心を示す情報を含む。例えば入力画像が魚眼画像であることを示すフラグ情報や二次元画像における魚眼中心の位置、魚眼画像の半径等を示す情報を含む。また、魚眼情報には、魚眼画像の取得に用いたレンズに関する情報（例えば射影方式やレンズ名等）を含めてもよい。魚眼画像の取得に用いたレンズに関する情報を入力画像が魚眼画像であることを示す情報として用いてもよい。

画面並べ替えバッファ２１は、入力画像を記憶して、記憶した表示順序のフレーム画像を、ＧＯＰ（Group of Picture）構造に応じて、符号化のための順序（符号化順）に並べ替える。画面並べ替えバッファ２１は、符号化順とされたフレーム画像の画像データ（原画像データ）を、演算部２２へ出力する。また、画面並べ替えバッファ２１は、原画像データをＳＡＯフィルタ３５、イントラ予測部４１およびインター予測部４２へ出力する。

演算部２２は、画面並べ替えバッファ２１から供給された原画像データから、予測選択部４３を介してイントラ予測部４１若しくはインター予測部４２から供給される予測画像データを画素毎に減算して、予測残差を示す残差データを直交変換部２３へ出力する。

例えば、イントラ符号化が行われる画像の場合、演算部２２は原画像データからイントラ予測部４１で生成された予測画像データを減算する。また、例えば、インター符号化が行われる画像の場合、演算部２２は原画像データからインター予測部４２で生成された予測画像データを減算する。

直交変換部２３は、演算部２２から供給される残差データに対して直交変換処理を行う。例えば直交変換部２３は、各ＣＴＵ（Coding Tree Unit）内に設定される１つ以上のＴＵの各々について、離散コサイン変換または離散サイン変換あるいはカルーネン・レーベ変換等の直交変換を行う。直交変換部２３は、直交変換処理を行うことにより得られた周波数領域の変換係数を量子化部２４へ出力する。

量子化部２４は、直交変換部２３が出力する変換係数を量子化する。量子化部２４は、変換係数の量子化データを可逆符号化部２５へ出力する。また、量子化部２４は、生成した量子化データを逆量子化部３１にも出力する。

可逆符号化部２５は、各ＣＴＵについて量子化部２４から入力される量子化データの可逆符号化処理、例えばＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）の可逆符号化処理を行う。また、可逆符号化部２５は、予測選択部４３で選択された予測モードに関する情報、例えばイントラ予測情報やインター予測情報などを取得する。さらに、可逆符号化部２５は、後述するＳＡＯフィルタ３５からフィルタ処理に関するフィルタ情報を取得する。さらに、画像にＣＴＵ、ＣＵ、ＴＵおよびＰＵをどのように設定すべきかを示すブロック情報を取得する。可逆符号化部２５は、量子化データを符号化するとともに、取得した符号化処理に関するパラメータ情報をＨ．２６５／ＨＥＶＣ規格のシンタックス要素として、符号化ストリームのヘッダ情報の一部として蓄積バッファ２６に蓄積させる。また、可逆符号化部２５は、画像符号化装置１０に入力された魚眼情報を、符号化ストリームのシンタックス要素として、あるいは付加情報であるＳＥＩ(Supplemental Enhancement Information）として符号化ストリームに含める。

蓄積バッファ２６は、可逆符号化部２５から供給されたデータを一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば後段の図示せぬ記録装置や伝送路などに符号化ストリームとして出力する。

レート制御部２７は、蓄積バッファ２６に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２４の量子化動作のレートを制御する。

逆量子化部３１は、量子化部２４から供給された変換係数の量子化データを、量子化部２４で行われた量子化に対応する方法で逆量子化する。逆量子化部３１は、得られた逆量子化データを、逆直交変換部３２へ出力する。

逆直交変換部３２は、供給された逆量子化データを、直交変換部２３で行われた直交変換処理に対応する方法で逆直交変換する。逆直交変換部３２は、逆直交変換結果すなわち復元された残差データを、演算部３３へ出力する。

演算部３３は、逆直交変換部３２から供給された残差データに、予測選択部４３を介してイントラ予測部４１若しくはインター予測部４２から供給される予測画像データを加算し、局部的に復号された画像（復号画像）を得る。例えば、残差データが、イントラ符号化が行われる画像に対応する場合、演算部３３は、その残差データにイントラ予測部４１から供給される予測画像データを加算する。また、例えば、残差データが、インター符号化が行われる画像に対応する場合、演算部３３は、その残差データにインター予測部４２から供給される予測画像データを加算する。加算結果である復号画像データは、デブロッキングフィルタ３４へ出力される。また、復号画像データは参照画像データとしてフレームメモリ３６へ出力される。

デブロッキングフィルタ３４は、適宜デブロッキングフィルタ処理を行うことにより復号画像データのブロック歪を除去する。デブロッキングフィルタ３４は、そのフィルタ処理結果をＳＡＯフィルタ３５へ出力する。

ＳＡＯフィルタ３５は、デブロッキングフィルタ３４によるフィルタ後の復号画像データに対して、適応オフセットフィルタ処理（ＳＡＯ（Sample Adaptive Offset）処理ともいう）を行う。ＳＡＯフィルタ３５は、ＳＡＯ処理後の画像をフレームメモリ３６へ出力する。

フレームメモリ３６に蓄積されている参照画像データは、所定のタイミングで選択部３７を介してイントラ予測部４１またはインター予測部４２に出力される。例えば、イントラ符号化が行われる画像の場合、フレームメモリ３６からデブロッキングフィルタ３４等によるフィルタ処理が行われていない参照画像データが読み出されて、選択部３７を介してイントラ予測部４１へ出力される。また、例えば、インター符号化が行われる場合、フレームメモリ３６からデブロッキングフィルタ３４等によるフィルタ処理が行われている参照画像データが読み出されて、選択部３７を介してインター予測部４２へ出力される。

イントラ予測部４１は、入力画像が魚眼レンズを用いて撮像した魚眼画像である場合、魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行う。処理対象ブロックの位置は、処理対象ブロック内の左上画素の位置とする。また、入力画像が通常画像である場合、所定のイントラ予測モードテーブルを用いてイントラ予測を行う。

図２は、イントラ予測部４１の構成を例示している。イントラ予測部４１は、ブロック位置算出部４１１とテーブル選択部４１２と予測画像生成部４１３および最適モード決定部４１４を有している。

ブロック位置算出部４１１は、魚眼情報によって入力画像が魚眼画像であることを判別した場合、魚眼中心に対する処理対象ブロックの位置（処理対象ブロック内の左上画素の位置）を算出して、算出した位置を示す位置情報をテーブル選択部４１２へ出力する。

テーブル選択部４１２は、魚眼情報によって入力画像が魚眼画像であることを判別した場合、外部から供給されたあるいは予め記憶されている複数のイントラ予測モードテーブルから、位置情報に基づき処理対象ブロックの位置に応じたイントラ予測モードテーブルを選択して予測画像生成部４１３へ出力する。また、テーブル選択部４１２は、魚眼レンズのレンズ特性（例えば射影方式）毎にイントラ予測モードテーブルが設けられる場合、魚眼情報で示されたレンズ特性と処理対象ブロックの位置に応じたイントラ予測モードテーブルを選択して予測画像生成部４１３へ出力する。また、テーブル選択部４１２は、入力画像が通常画像である場合、所定の複数の予測方向を方向性予測の予測モードとするイントラ予測モードテーブル（以下「基本テーブル」ともいう）を予測画像生成部４１３へ出力する。

予測画像生成部４１３は、テーブル選択部４１２から供給されたイントラ予測モードテーブルとフレームメモリ３６から選択部３７を介して読み出された参照画像データとを用いて方向性予測を行い、イントラ予測モードテーブルで示された全ての予測モードの予測画像データを生成する。また、予測画像生成部４１３は、処理対象ブロックを予測ブロックサイズとして予測モード毎の予測画像データの生成を、予測ブロックサイズ毎に行う。予測画像生成部４１３は、生成した予測画像データを最適モード決定部４１４へ出力する。

最適モード決定部４１４は、画面並べ替えバッファ２１から供給された原画像データと、予測ブロックサイズ毎および予測モード毎の予測画像データを用いてコスト関数値を算出する。さらに、最適モード決定部４１４は、コスト関数値が最小となる即ち圧縮率が最も高くなるイントラ予測モードと予測ブロックサイズの組み合わせを最適イントラ予測モードおよび最適予測ブロックサイズとして、最適イントラ予測モード等を示すイントラ予測情報を生成する。最適モード決定部４１４は、最適イントラ予測モードおよび最適予測ブロックサイズで生成された予測画像データとコスト関数値、およびイントラ予測情報を予測選択部４３へ出力する。

図１に戻り、インター予測部４２は、原画像データおよび復号画像データに基づいて、各ＣＴＵ内に設定される１つ以上のＰＵの各々についてインター予測処理（動き検出および動き補償）を実行する。例えば、インター予測部４２は、例えばＨＥＶＣにより仕様化されている探索範囲に含まれる予測モード候補の各々について、予測誤差および発生する符号量に基づくコスト関数値を評価する。また、インター予測部は、入力画像が通常画像と異なる魚眼画像であることを魚眼情報に基づき判別した場合、魚眼画像に応じて例えばカレント予測ブロックに隣接する周辺ブロックの動きベクトルをスケーリング処理する。インター予測部４２は、周辺ブロックのスケーリング処理後の動きベクトルを用いて予測動きベクトルを生成する。また、インター予測部４２は、カレント予測ブロックの動きベクトルと予測動きベクトルとの差分ベクトルを生成して、コスト関数値の算出に用いる。次に、インター予測部４２は、コスト関数値が最小となる予測モード、すなわち圧縮率が最も高くなる予測モードを、最適インター予測モードとして選択する。また、インター予測部４２は、コスト関数値が最小となる差分ベクトルや予測動きベクトルを示す動き情報等を含むインター予測情報を生成する。インター予測部２は、最適インター予測モードと最適予測ブロックで生成された予測画像データとコスト関数値、およびインター予測情報を予測選択部４３へ出力する。

予測選択部４３は、イントラ予測部４１およびインター予測部４２から入力されるコスト関数値の比較に基づいて、ＣＴＵ又はＣＵ等毎に予測モードを設定する。予測選択部４３は、イントラ予測モードを設定したブロックについては、イントラ予測部４１により生成される予測画像データを演算部２２，３３へ出力すると共に、イントラ予測情報を可逆符号化部２５へ出力する。また、予測選択部４３は、インター予測モードを設定したブロックについては、インター予測部４２により生成される予測画像データを演算部２２，３３へ出力すると共に、インター予測情報を可逆符号化部２５へ出力する。

＜２−２．画像符号化装置の動作＞
＜２−２−１．イントラ予測テーブルについて＞
次に、イントラ予測部４１で用いるイントラ予測テーブルについて説明する。図３は、魚眼画像と通常画像の歪みの違いを説明するための図である。被写体ＯＢは、例えば半径が等間隔で相違する同心円であり、同心円の中心を中央位置として被写体ＯＢを通常レンズまたは魚眼レンズを用いて撮像する。図３の（ａ）は、通常レンズを用いて取得された通常画像、図３の（ｂ）は、魚眼レンズを用いて取得された魚眼画像を示している。

通常画像における被写体ＯＢの同心円は、半径が等間隔で相違した状態として示される。しかし、魚眼画像は、中心から距離が離れるほど中心に向かう歪みが大きくなるという特徴を有しており、被写体ＯＢの同心円は、中心から離れるに伴い半径の間隔が狭くなる。また、歪みは中心方向にのみ生じているため、円の中心とレンズの中心が一致している場合、形は真円のままである。こういった魚眼レンズの特徴は、どのような射影方式を採用している魚眼レンズでも変わらない。したがって、歪みの度合いに基づき魚眼画像を通常画像へ補正することが可能となる。ここで、魚眼レンズの中心からの距離に応じて変化する魚眼歪みを補正する補正率を「Ｋ」とすると、補正率Ｋは式（１）および式（２）の特徴を有する。なお、式（１）は補正率Ｋが魚眼の中心からの距離ｒの関数であることを示しており、式（２）は魚眼画像を通常画像に変換すると、絵柄が伸張されることを示している。
Ｋ＝Ｆ（ｒ） ・・・（１）
Ｋ＞１ ・・・（２）

補正率Ｋは、例えば魚眼画像と通常画像の特性式に基づき決定できる。図４は魚眼レンズの射影方式を示している。図４の（ａ）は正射影方式であり、入射角αで入射した光と入射された光が投影される位置ｙの関係（特性式）は、式（３）で示すことができる。なお、「ｆ」は魚眼レンズの焦点距離である。
ｒ＝ｆ・ｓｉｎα ・・・（３）

図４の（ｂ）は等距離射影方式であり、特性式を式（４）に示す。
ｒ＝ｆ・α ・・・（４）

図４の（ｃ）は立体射影方式であり、特性式を式（５）に示す。
ｒ＝２ｆ・ｔａｎ（α／２） ・・・（５）

図４の（ｄ）は等立体角射影方式であり、特性式を式（６）に示す。
ｒ＝２ｆ・ｓｉｎ（α／２） ・・・（６）

なお、魚眼歪みを生じないレンズ（以下「通常レンズ」という）の射影方式は、図４の（ｅ）に示す中心射影方式であり、特性式は式（７）である。
ｒ＝ｆ・ｔａｎα ・・・（７）

魚眼レンズによる被写体像の射影により生じた魚眼歪みを補正するための補正率は、魚眼レンズと通常レンズの特性式に基づいて算出できる。例えば、焦点距離や撮像条件が同一で、レンズだけを変更した場合、補正率Ｋを式（１）に示すように魚眼の中心からの距離ｒの関数とするため、αを媒介変数として、魚眼レンズの中心からの距離ｒ(α)と通常レンズの中心からの距離Ｒ（α）と補正率Ｋ（α）の対応付けを行う。すなわち、補正率Ｋ＝通常レンズの特性式／魚眼レンズの特性式とする。

図５は、魚眼画像を通常画像に補正するための補正率を射影方式毎に示している。例えば正射影方式の補正率は「１／ｃｏｓα」となる。また、等距離射影方式の補正率は「ｔａｎα／α」、立体射影方式の補正率は「ｔａｎα／（２・ｔａｎ（α／２））」、等立体角射影方式の補正率は「ｔａｎα／（２・ｓｉｎ（α／２））となる。

図６は、補正率の導出を説明するための図である。図６の（ａ）に示すように、入射角αを０≦α≦９０°の範囲で変化させ、その際の魚眼レンズと通常レンズの特性式の値（以下「特性値」という）を記録する。そして、補正前の特性値をｒ０とし、補正後の特性値をｒ１とすると、補正率（ｒ１／ｒ０）は、図６の（ｂ）に示す特性となる。なお、入射角が０°である場合の補正率は（０／０）となるため定義されないが、魚眼レンズの中心では通常レンズを用いた場合に対する歪みが小さいことから補正率を「１」とする。この図６の（ａ）と図６の（ｂ）の結果に基づき、特性値ｒ０を基準として補正率（ｒ１／ｒ０）を示すと、特性値ｒ０に対する補正率（ｒ１／ｒ０）の関係は図６の（ｃ）に示す特性となる。また、特性値は焦点距離ｆによって異なることから、特性値ｒ０の範囲を「０」から「１」までの範囲に正規化すれば、特性値ｒ０を正規化した補正率と焦点距離に基づき所望の特性値ｒ０に対する補正率（ｒ１／ｒ０）を取得できる。なお、補正率は上述の方法に限らず他の方法を用いて算出してもよい。

イントラ予測において、通常画像は特定の方向特性を持たないことから、図７のように、処理対象ブロックの位置がいずれの位置であっても、所定の複数の予測方向を方向性予測の予測モードとしたイントラ予測モードテーブル（基本テーブル）が用いられている。しかし、魚眼画像は上述のように歪みが存在するため方向特性を有する。したがって、歪特性を考慮して魚眼の中心からの方向と距離に応じて基本テーブルを歪ませる方向および強さ変更して、図８に示す歪みを生じさせたイントラ予測モードテーブル（以下「歪テーブル」ともいう）の予測モードを用いて魚眼画像の絵柄に忠実なイントラ予測を行い、基本テーブルを用いた場合に比べて符号化効率の向上を可能とする。なお、図８では、魚眼中心に向かって基本テーブルを圧縮されることで予測方向の粗密が発生する様子を例示しており、圧縮状態を容易に把握できるようにイントラ予測では必要とされていないベクトルの長さも圧縮に応じて調整している。

次に図９を用いて歪テーブルの生成について説明する。魚眼画像における処理対象ブロックの位置Ｐm（ｘ，ｙ）の歪テーブルを生成する場合、魚眼の中心Ｐg（ｘ_g,ｙ_g）からみた位置Ｐm（ｘ，ｙ）の方向を特定する。具体的には、図９に示すように、魚眼の中心Ｐg（ｘ_g,ｙ_g）からみた位置Ｐm（ｘ，ｙ）の方向を示す角度θを式（８）に基づいて算出する。
ｔａｎθ＝（ｙ−ｙ_g）／（ｘ−ｘ_g） ・・・（８）

図１０は、通常画像で用いるイントラ予測モードテーブル（基本テーブル）の予測モードと傾きの関係を示している。図１０の（ａ）は予測モード毎の参照方向を示しており、図１０の（ｂ）では予測モードの参照方向（傾き）を角度とtanβで予測モード毎に示している。

図１１はイントラ予測の予測方向を説明するための図である。図１１の（ａ）は、基本テーブルを用いた場合の予測方向を示している。予測方向ｔａｎβは、魚眼中心Ｐg（ｘg,ｙg）を基準とした位置Ｐm（ｘ，ｙ）の傾きθ1と、傾きθ1を基準とした差分θ2に分けることができる。すなわち「θ＝θ1＋θ2」となる。また、予測方向の傾きは線分ＣＭを基準にして、水平成分であるｃｏｓθ2と、垂直成分であるｓｉｎθ2に成分分解できる。

図１１の（ｂ）は、歪テーブルを用いる場合を示している。魚眼画像における位置Ｐm（ｘ，ｙ）を通常画像へ変化する場合の補正率を「Ｋm」とすると、歪テーブルの予測方向ｔａｎβdは、魚眼中心Ｐg（ｘ_g,ｙg）を基準とした位置Ｐm（ｘ，ｙ）の傾きθ1に、傾きθ1を基準とした差分φを加えればよい。ここで、傾きθ1を基準とした水平成分は、基本テーブルと比べて１／Ｋm倍に圧縮されていることから、ｔａｎφは式（９）となる。
ｔａｎφ＝Ｋm・ｓｉｎθ2／ｃｏｓθ2＝Ｋm・ｔａｎθ2 ・・・（９）

すなわち基本テーブルのｔａｎ（θ1＋θ2）からｔａｎ（θ1＋φ）を式（１０）に基づき算出することで、位置Ｐm（ｘ，ｙ）に対応する歪テーブルを生成できる。なお、式（１０）においてパラメータａは式（１１）で算出される値であり、パラメータｂは式（１２）で算出される値である。
ｔａｎ（θ1＋φ）＝（ｂａ^２＋（１−Ｋm）ａ＋Ｋmｂ）
／（Ｋmａ^２＋（１−Ｋm）ｂａ＋１）・・・（１０）
ａ＝ｔａｎθ1＝（ｙ−ｙ_g）／（ｘ−ｘ_g） ・・・（１１）
ｂ＝ｔａｎ（θ1＋θ2） ・・・（１２）

図１２は、魚眼画像で用いるイントラ予測モードテーブル（歪テーブル）の予測モードと傾きの関係（θ1＝π／４，Ｋm＝１．３の場合）を示している。図１２の歪テーブルでは、図１０に示す基本テーブルに対して、予測方向が１３５°に近づくに伴い密になるように変更されている。

以上のような処理を行えば、処理対象ブロックの位置に応じたイントラ予測モードテーブル（歪テーブル）を処理対象ブロックの位置における補正率と所定のイントラ予測モードテーブル（基準テーブル）に基づき生成できる。

ところで、イントラ予測を行う処理対象ブロックの位置（補正率）に基づいて歪テーブルを生成すると方向性予測の処理コストが大きくなってしまう。また、位置毎に歪テーブルを予め生成して記憶させておく場合、処理コストを抑えることができるが、歪テーブルを記憶するためのメモリ容量が大きくなってしまう。したがって、魚眼画像の領域分けを行い、領域毎に予め歪テーブルを用意して、イントラ予測部４１では、処理対象ブロックが属する領域に対応する歪テーブルを用いることで方向性予測の処理コストやメモリ容量を抑える。

図１３は、魚眼画像の領域区分を説明するための図である。魚眼画像の領域区分は補正率に基づいて行う。補正率は、魚眼画像の中心からの距離が等しければ等しくなる。したがって、魚眼画像は、魚眼画像の中心を基準として径方向に区分される。また、魚眼画像の区分数（層数ともいう）は、魚眼画像の中心から径方向の補正率の変化、すなわち、魚眼レンズのレンズ特性に応じて設定して、例えば径方向の所定距離に対する補正率変化の最大値が大きくなるに伴い層数を大きくする。

図１３の（ａ）（ｂ）は、補正率に応じて魚眼画像を複数領域に区分した場合を例示している。魚眼画像の中心から径方向の補正率の変化が緩やかである場合、層数を所定数（図１３の（ａ）では層数を「４」）とする。また、魚眼画像の中心から径方向の補正率の変化が急峻である場合、補正率の変化が緩やかである場合に比べて層数を増加する（図１３ の（ｂ）では層数を「５」）。

このように、魚眼画像の中心から径方向の補正率の変化に応じて径方向の領域区分数を調整すれば、領域内における補正率の変化が大きくなってしなうことを防ぐことが可能となる。

また、魚眼画像の中心を基準として点対称の位置（対角の位置）では歪みの強さが等しい。したがって、魚眼画像の領域区分では、魚眼画像の中心を通過する直線を領域の境界として、周方向に領域を区分する。なお、魚眼画像の中心を含む領域は歪みが少ないことから、周方向に領域を区分しなくともよく、イントラ予測モードテーブルとして基本テーブルを用いるようにしてもよい。

図１３の（ｃ）（ｄ）は、魚眼画像を径方向と周方向に領域区分した場合を例示している。なお、図１３の（ｃ）（ｄ）では周方向を８つに区分した場合を例示している。区分された領域については、対応する歪テーブルのインデックス（table_idx）をテーブル情報として付与することで、魚眼画像の画素位置がいずれの領域に属しているかに応じて、画素位置に対応するテーブル情報によって、対応する歪テーブルを選択可能とする。また、魚眼画像の中心を基準として点対称の位置では歪みの強さが等しいことから、魚眼画像の中心を基準として点対称の位置にある領域は同じインデックスを付与する。

各領域に対応する歪テーブルは、領域毎に傾きθ1と補正率Ｋmを設定して、図１１の（ｂ）を用いて説明したように生成する。例えばインデックスtable_idx＝１０である領域は周方向の中心が角度４５°であり、例えば径方向の中心の補正率が「１．３」である場合、傾きをθ1＝４５°として補正率をＫm＝１．３として算出した図１２に示す歪テーブルを、インデックスtable_idx＝１０である領域に対応する歪テーブルとする。

このように、魚眼画像の領域区分を行い、区分された領域毎に歪テーブルを設けて、イントラ予測では、処理対象ブロックが属する領域に対応するインデックスの歪テーブルを用いる。

さらに、魚眼レンズには図４に示すように複数の射影方式があり、射影方式によって図５のように補正率が異なる。したがって、魚眼レンズのレンズ特性（例えば射影方式）毎および領域毎に歪テーブルを設けて、魚眼情報で示された魚眼レンズのレンズ特性と処理対象ブロックの位置に応じた歪テーブルを選択するようにしてもよい。魚眼レンズ毎のレンズ特性毎および領域毎の歪テーブルは、予めイントラ予測部４１のテーブル選択部４１２に記憶させてもよく、魚眼情報等と共にテーブル選択部４１２へ供給してもよい。

＜２−２−２．符号化処理動作について＞
次に、符号化処理動作について説明する。図１４は、画像符号化装置の符号化処理動作を例示したフローチャートである。

ステップＳＴ１において画像符号化装置は画面並べ替え処理を行う。画像符号化装置１０の画面並べ替えバッファ２１は、表示順の入力画像を符号化順に並べ替えて、イントラ予測部４１とインター予測部４２およびＳＡＯフィルタ３５へ出力する。

ステップＳＴ２において画像符号化装置はイントラ予測処理を行う。図１５はイントラ予測処理を例示したフローチャートである。ステップＳＴ２１においてイントラ予測部は入力画像が魚眼画像であるか判別する。画像符号化装置１０のイントラ予測部４１は、魚眼情報によって入力画像が魚眼画像であることを判別した場合にステップＳＴ２２に進み、入力画像が魚眼画像でないと判別した場合、入力画像は通常画像であるとしてステップＳＴ２３に進む。

ステップＳＴ２２においてイントラ予測部は歪テーブルを取得する。イントラ予測部４１は、魚眼中心に対する処理対処ブロックの位置に応じた歪テーブルを取得する。また、魚眼画像を複数の領域に区分して領域毎に歪テーブルを設けた場合、イントラ予測部４１は、処理対処ブロックが属する領域に対応する歪ブロックを取得する。さらに、魚眼レンズのレンズ特性毎および領域毎に歪テーブルを設けた場合、イントラ予測部４１は、魚眼情報で示された魚眼レンズのレンズ特性と処理対象ブロックが属する領域に対応する歪テーブルを取得する。イントラ予測部４１は、歪テーブルを取得してステップＳＴ２４に進む。

ステップＳＴ２３においてイントラ予測部は基本テーブルを取得する。イントラ予測部４１は、入力画像が通常画像であることから基本テーブルを取得してステップＳＴ２４に進む。

ステップＳＴ２４においてイントラ予測部は最適イントラ予測モード選択処理を行う。イントラ予測部４１は、ステップＳＴ２２で取得した歪テーブルまたはステップＳＴ２３で取得した基本テーブルとフレームメモリ３６から読み出した参照画像データを用いて方向性予測を行い、歪テーブルまたは基本テーブルで示されたイントラ予測モードで処理対象ブロックの予測画像データを予測ブロックサイズ毎に生成する。イントラ予測部４１は、生成した予測画像データと原画像データを用いてコスト関数値を算出する。なお、参照画像データとしては、デブロッキングフィルタ３４等によりフィルタ処理されていない復号画像データが用いられる。イントラ予測部４１は、算出されたコスト関数値に基づいて、最適イントラ予測モードを選択して、最適イントラ予測モードのイントラ予測により生成された予測画像データとコスト関数値とイントラ予測情報を予測選択部４３に出力する。

図１４に戻り、ステップＳＴ３において画像符号化装置はインター予測処理を行う。インター予測部４２は、カレントピクチャに応じて参照ピクチャを取得して、カレントピクチャのカレント予測ブロックが参照ピクチャのいずれの領域に対応するか動き探索を全ての予測モードについて行う。また、インター予測部４２は最適インター予測モード選択処理を行い予測モード毎に算出されているコスト関数値を比較して、例えばコスト関数値が最小となる予測モードを最適なインター予測モードと選択する。また、インター予測部４２は、予測動きベクトルの算出に用いる動きベクトルを魚眼情報に基づいて調整して、調整後の動きベクトルを用いて予測動きベクトルを算出する。インター予測部４２は、選択された最適なインター予測モードで動き補償を行い予測画像データを生成する。さらに、インター予測部４２は、最適なインター予測モードで生成した予測画像データとコスト関数値、インター予測情報を予測選択部４３へ出力してＳＴ４に進む。

ステップＳＴ４において画像符号化装置は予測画像選択処理を行う。画像符号化装置１０の予測選択部４３は、ステップＳＴ２およびステップＳＴ３で算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測選択部４３は、決定した最適予測モードの予測画像データを選択して、演算部２２，３３へ出力する。なお、予測画像データは、後述するステップＳＴ５，ＳＴ１０の演算に利用される。また、予測選択部４３は、最適予測モードのイントラ予測情報またはインター予測情報を可逆符号化部２５へ出力する。

ステップＳＴ５において画像符号化装置は差分演算処理を行う。画像符号化装置１０の演算部２２は、ステップＳＴ２で並べ替えられた原画像データと、ステップＳＴ４で選択された予測画像データとの差分を算出して、差分結果である残差データを直交変換部２３へ出力する。

ステップＳＴ６において画像符号化装置は直交変換処理を行う。画像符号化装置１０の直交変換部２３は、演算部２２から供給された残差データを直交変換する。具体的には、離散コサイン変換等の直交変換を行い、得られた変換係数を量子化部２４へ出力する。

ステップＳＴ７において画像符号化装置は量子化処理を行う。画像符号化装置１０の量子化部２４は、直交変換部２３から供給された変換係数を量子化する。この量子化に際しては、後述するステップＳＴ１６の処理で説明されるように、レートが制御される。

以上のようにして生成された量子化情報は、次のようにして局部的に復号される。すなわち、ステップＳＴ８において画像符号化装置は逆量子化処理を行う。画像符号化装置１０の逆量子化部３１は、量子化部２４から出力された量子化データを量子化部２４に対応する特性で逆量子化する。

ステップＳＴ９において画像符号化装置は逆直交変換処理を行う。画像符号化装置１０の逆直交変換部３２は、逆量子化部３１で生成された逆量子化データを直交変換部２３に対応する特性で逆直交変換して残差データを生成して演算部３３へ出力する。

ステップＳＴ１０において画像符号化装置は画像加算処理を行う。画像符号化装置１０の演算部３３は、予測選択部４３から出力された予測画像データを局部的に復号された残差データに加算し、局部的に復号された（すなわち、ローカルデコードされた）画像を生成する。

ステップＳＴ１１において画像符号化装置はデブロッキングフィルタ処理を行う。画像符号化装置１０のデブロッキングフィルタ３４は、演算部３３から出力された画像データに対して、デブロッキングフィルタ処理を行い、ブロック歪みを除去してＳＡＯフィルタ３５とフレームメモリ３６へ出力する。

ステップＳＴ１２において画像符号化装置はＳＡＯ処理を行う。画像符号化装置１０のＳＡＯフィルタ３５は、デブロッキングフィルタ３４から出力された画像データに対してＳＡＯ処理を行う。このＳＡＯ処理により、最大の符号化単位であるＬＣＵ毎にＳＡＯ処理のタイプと係数が求められて、それらを用いてフィルタ処理が行われる。ＳＡＯフィルタ３５は、ＳＡＯ処理後の画像データをフレームメモリ３６に記憶させる。また、ＳＡＯフィルタ３５は、ＳＡＯ処理に関するパラメータを可逆符号化部２５へ出力して、後述するようにステップＳＴ１４で符号化する。

ステップＳＴ１３において画像符号化装置は記憶処理を行う。画像符号化装置１０のフレームメモリ３６は、デブロッキングフィルタ３４等でフィルタ処理が行われる前の画像と、デブロッキングフィルタ３４等でフィルタ処理が行われた後の画像を記憶する。

一方、上述したステップＳＴ７において量子化された変換係数は、可逆符号化部２５にも出力される。ステップＳＴ１４において画像符号化装置は可逆符号化処理を行う。画像符号化装置１０の可逆符号化部２５は、量子化部２４から出力された量子化後の変換係数と、供給された魚眼情報やイントラ予測情報およびインター予測情報等を符号化する。

ステップＳＴ１５において画像符号化装置は蓄積処理を行う。画像符号化装置１０の蓄積バッファ２６は、符号化データを蓄積する。蓄積バッファ２６に蓄積された符号化データは適宜読み出されて、伝送路等を介して復号側に伝送される。

ステップＳＴ１６において画像符号化装置はレート制御を行う。画像符号化装置１０のレート制御部２７は、蓄積バッファ２６に蓄積された符号化データがオーバーフローあるいはアンダーフローを生じないように量子化部２４の量子化動作のレートを制御する。

このような画像符号化装置によれば、入力画像が魚眼画像であるとき、処理対象ブロックの位置で生じる魚眼歪みに応じて予測方向の粗密が調整された歪テーブルを用いてイントラ予測が行われる。したがって、予測方向の粗密が調整されていない基本テーブルを用いてイントラ予測を行う場合に比べて符号化効率を向上させることができるようになる。また、入力画像が通常画像であるとき符号化ストリームに魚眼情報を含めることで、魚眼情報の有無あるいは魚眼情報に基づき入力画像が通常画像または魚眼画像のいずれであるか画像復号装置で判別できるようになる。また、入力画像が通常画像であるときは基本テーブルを用いたイントラ予測が行われて、入力画像が魚眼画像であるときは歪テーブルを用いてイントラ予測が行われていることを画像復号装置で判別できるようになる。魚眼情報は、例えばシンタックスとして符号化ストリームに含める。また、魚眼情報はシーケンスが切り替わるまで変化しないことから、シーケンスレイヤに魚眼情報を示すシンタックスを設ければよい。

また、魚眼情報に魚眼レンズのレンズ特性を含めれば、魚眼画像の取得に用いた魚眼レンズに対応した歪テーブルを画像符号化装置と画像復号装置で用いて符号化処理や復号処理を行うことができる。さらに、図１３に示す層数や分割位置を示す情報をシンタックスとしてシーケンスレイヤに設けてもよい。また、魚眼レンズのレンズ特性に応じて、径方向の領域区分間隔を設定してもよい。例えば、補正率と層数と間隔比率を関係付けてもよい。図１６は、層数＝４の場合の各層における補正率と間隔比率の関係を例示している。例えば第０層の補正率は「１．０」で、径方向の間隔比率は魚眼半径に対して「０．４」とされている。第１層の補正率は「１．１」で、径方向の間隔比率は魚眼半径に対して「０．３」、第２層の補正率は「１．２」で、径方向の間隔比率は魚眼半径に対して「０．２」、第３層の補正率は「１．３」で、径方向の間隔比率は魚眼半径に対して「０．１」とされている。したがって、層数や分割位置を示す情報に基づき、図１３の（ｃ）のように魚眼画像を領域分けすることが可能となり、画像符号化装置で用いた領域毎の歪テーブルを画像復号でも等しく利用できるようになる。

＜２−３．画像復号装置の構成＞
図１７は、魚眼画像の符号化ストリームの復号処理を行う画像復号装置の構成を例示しており、画像復号装置５０は、図１に示す画像符号化装置１０に対応する画像復号装置である。画像符号化装置１０で生成された符号化された符号化ストリームは、画像復号装置５０に供給されて復号される。

画像復号装置５０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、演算部６５、デブロッキングフィルタ６６、ＳＡＯフィルタ６７、画面並べ替えバッファ６８を有する。また、画像復号装置５０は、フレームメモリ７１、選択部７２、イントラ予測部７３、動き補償部７４を有する。

蓄積バッファ６１は、伝送されてきた符号化ストリームを受け取り蓄積する。この符号化ストリームは、所定のタイミングで読み出されて可逆復号部６２へ出力される。

可逆復号部６２は、パースを行う機能を有する。可逆復号部６２は、符号化ストリームの復号結果に含まれる情報、例えば魚眼情報やイントラ予測情報とインター予測情報およびフィルタ制御情報等をパースし、必要なブロックに供給する。例えば、イントラ予測情報と魚眼情報をイントラ予測部７３へ出力し、インター予測情報と魚眼情報を動き補償部７４へ出力し、フィルタ制御情報をＳＡＯフィルタ６７へ出力する。また、可逆復号部６２は、符号化ビットストリームの復号結果に含まれる符号化データとしての量子化係数を、逆量子化部６３へ出力する。

逆量子化部６３は、可逆復号部６２により復号されて得られた量子化データを、図１の量子化部２４の量子化方式に対応する方式で逆量子化する。逆量子化部６３は、逆量子化されたデータを逆直交変換部６４へ出力する。

逆直交変換部６４は、図１の直交変換部２３の直交変換方式に対応する方式で逆直交変換を行い、画像符号化装置１０における直交変換前の残差データに対応する復号残差データを得て演算部６５へ出力する。

演算部６５には、イントラ予測部７３若しくは動き補償部７４から予測画像データが供給される。演算部６５は、復号残差データと予測画像データとを加算して、画像符号化装置１０の演算部２２により予測画像データが減算される前の原画像データに対応する復号画像データを得る。演算部６５は、その復号画像データをデブロッキングフィルタ６６へ出力する。

デブロッキングフィルタ６６は、デブロッキングフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロッキングフィルタ６６は、フィルタ処理後の画像データをＳＡＯフィルタ６７へ出力する。

ＳＡＯフィルタ６７は、デブロッキングフィルタ６６によるフィルタ後の画像データに対してＳＡＯ処理を行う。ＳＡＯフィルタ６７は、可逆復号部６２から供給されるパラメータを用いて、ＬＣＵ毎に、デブロッキングフィルタ６６によるフィルタ後の画像データに対してフィルタ処理を行い、画面並べ替えバッファ６８へ出力する。

画面並べ替えバッファ６８は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ２１により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。

ＳＡＯフィルタ６７の出力は、さらに、フレームメモリ７１に供給される。選択部７２は、イントラ予測に用いられる画像データをフレームメモリ７１から読み出し、イントラ予測部７３へ出力する。また、選択部７２は、インター処理される画像データと参照される画像データをフレームメモリ７１から読み出し、動き補償部７４へ出力する。

イントラ予測部７３は、画像符号化装置１０の図２に示すイントラ予測部４１の構成から最適モード決定部４１４を除いた構成されており、画像復号装置５０では予測画像生成部４１３の動作が画像符号化装置１０と異なる。イントラ予測部７３は、可逆復号部６２から供給された魚眼情報と処理対象ブロックの位置に基づき符号化処理と等しいイントラ予測モードテーブルを選択して、予測画像生成部は、可逆復号部６２から供給された最適イントラ予測モードの復号処理をフレームメモリ７１から取得した復号画像データを用いて行い、予測画像データを生成して演算部６５へ出力する。

動き補償部７４は、可逆復号部６２符号化ビットストリームの復号結果に含まれる情報をパースして出力された魚眼情報やインター予測情報に基づいて、フレームメモリ７１から取得した画像データから予測画像データを生成して演算部６５へ出力する。また、動き補償部７４は、魚眼画像を復号する場合、画像符号化装置１０のインター予測部４２と同様に、カレント予測ブロックの予測動きベクトルの算出に用いる動きベクトルの調整を行う。動き補償部７４は、調整後の動きベクトルを用いて算出したカレント予測ブロックの動きベクトルを用いて動き補償を行い予測画像データを生成する。

＜２−４．画像復号装置の動作＞
次に、画像復号装置の実施の形態の動作について説明する、図１８は画像復号装置の動作を例示したフローチャートである。

復号処理が開始されると、ステップＳＴ３１において画像復号装置は蓄積処理を行う。画像復号装置５０の蓄積バッファ６１は、伝送されてきた符号化ストリームを受け取り蓄積する。

ステップＳＴ３２において画像復号装置は可逆復号処理を行う。画像復号装置５０の可逆復号部６２は、蓄積バッファ６１から供給される符号化ストリームを復号する。可逆復号部６２は、符号化ストリームの復号結果に含まれる情報をパースし、必要なブロックに供給する。可逆復号部６２は、魚眼情報やイントラ予測情報をイントラ予測部７３へ出力して、魚眼情報やインター予測情報を動き補償部７４へ出力する。

ステップＳＴ３３において画像復号装置は予測画像生成処理を行う。画像復号装置５０のイントラ予測部７３または動き補償部７４は、可逆復号部６２から供給されるイントラ予測情報やインター予測情報に対応して、それぞれ予測画像生成処理を行う。

すなわち、イントラ予測部７３は可逆復号部６２から魚眼情報とイントラ予測情報が供給された場合、符号化ストリームが魚眼画像を示すときは処理対象画素位置に応じた歪テーブルを用いて予測画像データの生成を行い、符号化ストリームが通常画像を示すときは基本テーブルを用いて最適イントラ予測モードで予測画像データの生成を行う。動き補償部７４は、可逆復号部６２から魚眼情報とインター予測情報が供給された場合、最適インター予測モードで動き補償処理を行い、予測画像データを生成する。図１９は、イントラ予測の予測画像生成処理を示したフローチャートである。

ステップＳＴ５１においてイントラ予測部７３は魚眼情報が含まれているか判別する。イントラ予測部７３は、符号化ストリームに魚眼情報が含まれている場合はステップＳＴ５２に進み、魚眼情報が含まれていない場合は通常画像の符号化ストリームと判別してステップＳＴ５４に進む。

ステップＳＴ５２においてイントラ予測部７３は魚眼画像であるか判別する。イントラ予測部７３は、符号化ストリームに含まれた魚眼情報によって魚眼画像であることが示されている場合にステップＳＴ５３に進み、魚眼画像でないすなわち通常画像であることが示された場合にステップＳＴ５４に進む。

ステップＳＴ５３において、イントラ予測部７３は、歪テーブルを取得する。イントラ予測部７３は、魚眼中心に対する処理対処ブロックの位置に応じた歪テーブルを取得してステップＳＴ５５に進む。

ステップＳＴ５４においてイントラ予測部は基本テーブルを取得する。イントラ予測部７３は、入力画像が通常画像であることから基本テーブルを取得してステップＳＴ５５に進む。

ステップＳＴ５５においてイントラ予測部は予測画像データ生成処理を行う。イントラ予測部７３は、フレームメモリ７１から読み出した参照画像データとステップＳＴ５３で取得した歪テーブルまたはステップＳＴ５４で取得した基本テーブルを用いて、イントラ予測情報で示された最適イントラ予測モードで予測画像データを生成する。イントラ予測部４１は、生成した予測画像データを演算部６５へ出力する。

図１８に戻り、ステップＳＴ３４において画像復号装置は逆量子化処理を行う。画像復号装置５０の逆量子化部６３は、可逆復号部６２で得られた量子化データを、図１の量子化部２４の量子化方式に対応する方式で逆量子化して、逆量子化データを逆直交変換部６４へ出力する。

ステップＳＴ３５において画像復号装置は逆直交変換処理を行う。画像復号装置５０の逆直交変換部６４は、図１の直交変換部２３の直交変換方式に対応する方式で逆直交変換を行い、画像符号化装置１０における直交変換前の残差データに対応する復号残差データを得て演算部６５へ出力する。

ステップＳＴ３６において画像復号装置は画像加算処理を行う。画像復号装置５０の演算部６５は、ステップＳＴ３３でイントラ予測部７３若しくは動き補償部７４で生成された予測画像データと、逆直交変換部６４から供給された復号残差データを加算して復号画像データを生成する。演算部６５は、生成した復号画像データをデブロッキングフィルタ６６とフレームメモリ７１へ出力する。

ステップＳＴ３７において画像復号装置はデブロッキングフィルタ処理を行う。画像復号装置５０のデブロッキングフィルタ６６は、演算部６５より出力された画像に対して、デブロッキングフィルタ処理を行う。これによりブロック歪みが除去される。デブロッキングフィルタ６６からの復号画像は、ＳＡＯフィルタ６７へ出力する。

ステップＳＴ３８において画像復号装置はＳＡＯ処理を行う。画像復号装置５０のＳＡＯフィルタ６７は、可逆復号部６２から供給されたＳＡＯ処理に関するパラメータを用いて、デブロッキングフィルタ６６によるフィルタ後の画像に対して、ＳＡＯ処理を行う。ＳＡＯフィルタ６７は、ＳＡＯ処理後の復号画像データを画面並べ替えバッファ６８およびフレームメモリ７１へ出力する。

ステップＳＴ３９において画像復号装置は記憶処理を行う。画像復号装置５０のフレームメモリ７１は、演算部６５から供給されたフィルタ処理前の復号画像データと、デブロッキングフィルタ６６とＳＡＯフィルタ６７によってフィルタ処理が行われた復号画像データを記憶する。

ステップＳＴ４０において画像復号装置は画面並べ替え処理を行う。画像復号装置５０の画面並べ替えバッファ６８は、ＳＡＯフィルタ６７から供給された復号画像データを蓄積して、蓄積した復号画像データを画像符号化装置１０の画面並べ替えバッファ２１で並べ替えられる前の表示順序に出力する。

このような復号処理を行えば、上述の画像符号化装置１０で生成された符号化ストリームの復号を行い、画像符号化装置１０された魚眼画像を画像復号装置５０から出力できる。

また、魚眼情報が含まれていない場合、基本テーブルを用いて予測画像データが生成されるので、従来の符号化ストリームの復号処理も行うことができる。

＜３．第２の実施の形態＞
第２の実施の形態では、イントラ予測において、方向性予測における予測モードを選択的に用いる。また、予測モードの選択では、魚眼画像の歪みに応じて選択する予測モードを決定する。

＜３−１．画像符号化装置の構成＞
第２の実施の形態の画像符号化装置は、図１に示す第１の実施の形態の画像符号化装置と同様に構成されており、可逆符号化部２５とイントラ予測部４１の動作が異なる。

可逆符号化部２５は、各ＣＴＵについて量子化部２４から入力される量子化データの可逆符号化処理、例えばＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）の可逆符号化処理を行う。また、可逆符号化部２５は、魚眼情報、予測選択部４３で選択された予測モードのパラメータ、例えばイントラ予測モードを示す情報、またはインター予測モードを示す情報と動き情報などを取得する。さらに、可逆符号化部２５は、後述するＳＡＯフィルタ３５からフィルタ処理に関するパラメータを取得する。さらに、画像にＣＴＵ、ＣＵ、ＴＵおよびＰＵをどのように設定すべきかを示すブロック情報を取得する。可逆符号化部２５は、量子化データを符号化するとともに、取得した符号化処理に関する各パラメータをＨ．２６５／ＨＥＶＣ規格のシンタックス要素として、符号化ストリームのヘッダ情報の一部として蓄積バッファ２６に蓄積させる。また、可逆符号化部２５は、画像符号化装置１０に入力された魚眼情報を、符号化ストリームのシンタックス要素として、あるいは付加情報であるＳＥＩ(Supplemental Enhancement Information）として符号化ストリームに含める。

イントラ予測部４１は、図２に示す第１の実施の形態のイントラ予測部と同様に構成されており、テーブル選択部で選択されるイントラ予測モードテーブルが第１の実施の形態と相違する。

ブロック位置算出部４１１は、入力画像が魚眼画像である場合、魚眼中心に対する処理対象ブロックの位置を算出して、算出した位置を示す位置情報をテーブル選択部４１２へ出力する。

テーブル選択部４１２は、入力画像が魚眼画像である場合、位置情報に基づいて魚眼中心に対する処理対象ブロックの位置に応じて予測モードが選択されたイントラ予測モードテーブルを予測画像生成部４１３へ出力する。また、テーブル選択部４１２は、入力画像が通常画像である場合、所定のイントラ予測モードテーブルを予測画像生成部４１３へ出力する。

予測画像生成部４１３は、フレームメモリ３６から選択部３７を介して読み出された参照画像データを用いて、テーブル選択部４１２から供給されたイントラ予測モードテーブルで示された全ての予測モードの予測画像データを生成する。また、予測画像生成部４１３は、処理対象ブロックを予測ブロックサイズとして各予測モードの予測画像データの生成を予測ブロックサイズ毎に行う。予測画像生成部４１３は、生成した予測画像データを最適モード決定部４１４へ出力する。

最適モード決定部４１４は、画面並べ替えバッファ２１から供給された原画像データと、各予測ブロックサイズおよび各予測モードの予測画像データを用いてコスト関数値を算出する。また、最適モード決定部４１４は、コスト関数値が最小となる即ち圧縮率が最も高くなるイントラ予測モードと予測ブロックサイズの組み合わせを最適イントラ予測モードと予測ブロックの最適サイズとして、最適イントラ予測モードと最適サイズおよび入力画像が魚眼画像である場合に選択したイントラ予測モードテーブルを示すテーブル情報を有するイントラ予測情報を生成する。最適モード決定部４１４は、最適イントラ予測モードで生成された予測画像データとイントラ予測情報、および最適イントラ予測モードと最適サイズにおけるコスト関数値を予測選択部４３へ出力する。

＜３−２．画像符号化装置の動作＞
＜３−２−１．イントラ予測テーブルについて＞
魚眼画像は、魚眼中心の方向に画像が歪むことから、上述の図８に示すように、周方向に予測方向が密集する特性を生じる。また、魚眼中心からの距離が長くなるに伴い、密集度合いが高くなる。そこで、第２の実施の形態では、基本テーブルの予測モードから、密集する方向や密集度合いに応じて予測モードを選択したイントラ予測モードテーブル（以下「選択テーブル」という）を予め生成しておき、処理対象ブロックの位置に応じた選択テーブルを用いてイントラ予測を行うことで、基本テーブルを用いた場合よりも効率よくイントラ予測を行う。

選択テーブルは、魚眼中心に対する処理対象ブロックの方角、または方角と魚眼中心から処理対象ブロックまでの距離に応じて生成する。

図２０は、魚眼中心に対する処理対象ブロックの方角に基づいて選択テーブルを生成する場合の動作を例示している。処理対象ブロックの位置Ｐａが魚眼中心Ｐｇに対して角度θである場合、角度θは上述したように式（８）で示される値となる。また、円周方向の角度θ_dは式（１３）となる。なお、θ＞１８０°の場合、円周方向の角度θ_dは、魚眼中心Ｐｇを基準として点対称となる。
θ_d＝（θ±９０°） ・・・（１３）

選択テーブルは、基本テーブルの予測モードから、角度θ_dの方向を密集方向としてイントラ予測モードを選択して生成する。

図２１は、魚眼中心に対する処理対象ブロックの方角と予測モードの選択結果を例示している。図２１の（ａ）は処理対象ブロックが、図２０の（ａ）に示すように位置Ｐａ1（θ＝１３５°）である場合を例示している。この場合、θ_d＝４５°，２２５°の方向を密集方向として予測モードの選択を行い、例えば方向性予測２，４，７，１２，１８，２４，２９，３２，３４を選択する。

図２１の（ｂ）は処理対象ブロックが位置Ｐａ2（θ＝９０°）である場合を例示している。この場合、θ_d＝１８０°の方向を密集方向として予測モードの選択を行い、例えば方向性予測２，６，８，１０，１２，１４，１８，２６，３４を選択する。

図２１の（ｃ）は処理対象ブロックが位置Ｐａ3（θ＝４５°）である場合を示している。この場合、θ_d＝１３５°の方向を密集方向として予測モードの選択を行い、方向性予測２，８，１３，１６，１８，２０，２３，２８，３４を選択する。

図２１の（ｄ）は処理対象ブロックが位置Ｐａ4（θ＝０°）である場合を示している。この場合、θ_d＝９０°の方向を密集方向として予測モードの選択を行い、例えば方向性予測２，１０，１８，２１，２４，２６，２８，３１，３４を選択する。

このように、魚眼中心に対する処理対象ブロックの方角に基づく円周方向を密集方向として予測モードを選択して選択テーブルを生成すれば、基準テーブルを用いる場合に比べてイントラ予測を効率よく行うことができるようになる。

次に、魚眼中心に対する処理対象ブロックの方角と魚眼中心から処理対象ブロックまでの距離に基づいて選択テーブルを生成する場合について説明する。上述の図８に示すように、処理対象ブロックが魚眼画像の中心から離れるに伴い、予測モードの円周方向の密度が高くなる、したがって、イントラ予測部４１は、処理対象ブロックが魚眼画像の中心から離れるに伴い、密集度合いが高くなるように予測モードが選択された選択テーブルを用いてイントラ予測を行う。

図２２は、魚眼中心に対する処理対象ブロックの方角と魚眼中心からの距離に基づいて選択テーブルを生成する場合の動作を例示している。処理対象ブロックの位置Ｐａが魚眼中心Ｐｇに対して距離ＧＡである場合、距離ＧＡは式（１４）で示される値となる。

選択テーブルは、基本テーブルの予測モードから、角度θ_dの方向を密集方向として距離ＧＡが長くなるに伴い密集度合いが高くなるようにイントラ予測モードテーブルを選択して生成する。

図２３は、魚眼中心に対する処理対象ブロックの方角と魚眼中心から処理対象ブロックまでの距離に応じた予測モードの選択結果を例示している。なお、図２２の（ａ）に示すように、魚眼中心からの処理対象ブロックの位置Ｐａ3-1までの距離ＧＡをＬ1とする。また、魚眼中心からの処理対象ブロックの位置Ｐａ3-2，Ｐａ3-3，Ｐａ3-4までの距離ＧＡをＬ2（＞Ｌ1），Ｌ3（＞Ｌ2），Ｌ4（＞Ｌ3）とする。

図２３の（ａ）は処理対象ブロックが位置Ｐａ3-1（θ＝４５°，ＧＡ＝Ｌ1）である場合を示している。この場合、Ｌ1が短い距離であることから、等間隔で予測モードの選択を行い例えば方向性予測２，６，１０，１４，１８，２２，２６，３０，３４を選択する。

図２３の（ｂ）は処理対象ブロックが位置Ｐａ3-2（θ＝４５°，ＧＡ＝Ｌ2）である場合を示している。この場合、θ_d＝１３５°の方向の密度が高く、位置Ｐａ3-1の場合よりも密集度合いが高くなるように予測モードの選択を行い、例えば方向性予測２，７，１１，１５，１８，２１，２５，２９，３４を選択する。

図２３の（ｃ）は処理対象ブロックが位置Ｐａ3-3（θ＝４５°，ＧＡ＝Ｌ3）である場合を示している。この場合、θ_d＝１３５°の方向の密度が高く、位置Ｐａ3-2の場合よりも密集度合いが高くなるように予測モードの選択を行い、例えば方向性予測２，８，１３，１６，１８，２０，２３，２８，３４を選択する。

図２３の（ｄ）は処理対象ブロックが位置Ｐａ3-4（θ＝４５°，ＧＡ＝Ｌ4）である場合を示している。この場合、θ_d＝１３５°の方向の密度が高く、位置Ｐａ3-3の場合よりも密集度合いが高くなるように予測モードの選択を行い、例えば方向性予測２，１１，１５，１７，１８，１９，２１，２５，３４を選択する。

このように、魚眼中心に対する処理対象ブロックの方角に基づく円周方向を密集方向として、処理対象ブロックの魚眼中心からの距離が長くなるに伴い密集度合いが高くなるように予測モードを選択して選択テーブルを生成すれば、基準テーブルを用いる場合に比べてイントラ予測を効率よく行うことができるようになる。また、魚眼中心に対する処理対象ブロックの方角に基づいて生成される選択テーブルよりも、魚眼画像に対応した予測モードの選択テーブルを生成できる。

ところで、魚眼中心に対する方角と魚眼中心からの距離に応じて基本テーブルから予測モードを選択して選択テーブルを場合、イントラ予測を行う処理対象ブロックの位置に応じて選択テーブルを生成するとイントラ予測の処理コストが大きくなってしまう。また、位置毎に選択テーブルを予め生成して記憶させておく場合、処理コストを抑えることができるが、選択テーブルを記憶するためのメモリ容量が大きくなってしまう。したがって、魚眼画像の領域分けを行い、領域毎に予め選択テーブルを用意して、処理対象ブロックが属する領域に対応する選択テーブルを用いることでイントラ予測の処理コストやメモリ容量を抑えるようにする。

魚眼画像の領域区分は、例えば第１の実施の形態と同様に、補正率に基づき魚眼画像の中心を基準として径方向に行う。また、魚眼画像の区分数（層数ともいう）は、魚眼画像の中心から径方向の補正率の変化に応じて設定して、例えば径方向の所定距離に対する補正率変化の最大値が大きくなるに伴い層数を大きくする。また、魚眼画像の中心を基準として点対称の位置では歪みの強さが等しいことから、魚眼画像の中心を通過する直線を領域の境界として、周方向に領域を区分する。なお、魚眼画像の中心を含む領域は歪みが少ないことから周方向に領域を区分しなくともよく、図２１の（ａ），図２３の（ａ）に示すように、基本テーブルから一定間隔で選択した所定の複数の予測モードを示すイントラ予測モードテーブルを用いるようにしてもよい。

区分された領域については対応するテーブルのインデックス（table_idx）を付与することで、魚眼画像の画素位置がいずれの領域に属しているかに応じて、画素位置に対応するインデックスの選択テーブルを利用できるようにする。また、魚眼画像の中心を基準として点対称の位置では歪みの強さが等しいことから、魚眼画像の中心を基準として点対称の位置にある領域は同じインデックスを付与する。

また、各領域に対応する選択テーブルからなる選択テーブル群を、魚眼画像の生成に用いる魚眼レンズ毎に設けてもよい。魚眼レンズ毎の選択テーブル群は、予め画像符号化装置に記憶させてもよく、魚眼情報等と共に画像符号化装置に供給してもよい。

＜３−２−２．符号化処理動作について＞
次に、符号化処理動作について説明する。第２の実施の形態の画像符号化装置の符号化処理動作は、図１４に示す第１の実施の形態の画像符号化装置の動作と同様であり、ステップＳＴ２のイントラ予測処理が異なる。

図２４はイントラ予測処理を示すフローチャートである。ステップＳＴ６１においてイントラ予測部は入力画像が魚眼画像であるか判別する。画像符号化装置１０のイントラ予測部４１は、魚眼情報によって入力画像が魚眼画像であることを判別した場合にステップＳＴ６２に進み、入力画像が魚眼画像でないと判別した場合、入力画像は通常画像であるとしてステップＳＴ６４に進む。

ステップＳＴ６２においてイントラ予測部はブロック位置を算出する。イントラ予測部４１は、魚眼中心に対する処理対象ブロックの方角、または方角と魚眼中心から処理対象ブロックまでの距離を算出してステップＳＴ６３に進む。

ステップＳＴ６３においてイントラ予測部はブロック位置に応じて選択テーブルを取得する。イントラ予測部４１は、ステップＳＴ６２で方角を算出した場合、方角に応じた選択テーブルを取得する。また、イントラ予測部４１は、ステップＳＴ６２で方角と距離を算出した場合、方角と距離に応じた選択テーブルを取得する。なお、魚眼中心に近接する位置では歪みがすくないことから、選択テーブルとして基準テーブルを選択してもよい。イントラ予測部４１は処理対象ブロックの位置に応じて選択テーブルを取得してステップＳＴ６５に進む。

ステップＳＴ６４においてイントラ予測部は基本テーブルを取得する。イントラ予測部４１は、入力画像が通常画像であることから基本テーブルを取得してステップＳＴ６５に進む。

ステップＳＴ６５においてイントラ予測部は最適イントラ予測モード選択処理を行う。イントラ予測部４１は、フレームメモリ３６から読み出した参照画像データとステップＳＴ６３で取得した選択テーブルまたはステップＳＴ６４で取得した基本テーブルで示された予測モードでイントラ予測を行い、予測画像データを生成する。イントラ予測部４１は、生成した予測画像データと原画像データを用いてコスト関数値を算出する。なお、参照画像データとしては、デブロッキングフィルタ３４等によりフィルタ処理されていない復号画像データが用いられる。イントラ予測部４１は、算出されたコスト関数値に基づいて、最適イントラ予測モードを選択して、最適イントラ予測モードのイントラ予測により生成された予測画像データとパラメータやコスト関数値を予測選択部４３に出力する。

なお、画像符号化装置では、上述のように基本テーブルから予測モードを選択して符号化処理を行っているため、画像復号装置では、入力画像が魚眼画像であっても、通常画像の場合と同様に符号化ストリームで示された予測モードでイントラ予測を行い予測画像データを生成すれば魚眼画像を再生できる。

このような第２の実施の形態によれば、イントラ予測において、方向性予測における予測モードを選択的に用いるので、全ての予測モードを用いる場合に比べて効率よくイントラ予測を行うことができるようになる。さらに、入力画像が魚眼画像である場合には、魚眼画像の歪みに応じて予測モードが選択されるので、魚眼画像の歪みを考慮することなく予測モードを選択した場合に比べて、符号化効率を高めることが可能となる。

＜４．応用例＞
次に、本技術の画像処理装置の応用例について説明する。本技術の画像処理装置は、例えば魚眼レンズを用いて動画像を撮影する撮像装置に適用できる。この場合、撮像装置に画像符号化装置１０を設ければ、魚眼画像を効率よく符号化して、符号化ストリームを記録媒体に記録あるいは外部機器に出力できる。また、撮像装置に画像復号装置５０を設ければ、符号化ストリームを復号して魚眼画像の記録再生を行うことができる。また、画像符号化装置１０を設けた撮像装置を、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載すれば、移動体の周囲全体の画像を効率よく記録あるいは外部機器に伝送することができるようになる。さらに、魚眼レンズを用いて動画像を撮影する機能を有した携帯型電子機器に本技術の画像処理装置を設ければ、記録媒体に魚眼画像を記録する際に、従来よりもデータ量を削減することが可能となる。また、復号処理を行う画像処理装置を画像再生装置に設ければ、全天球画像をヘッドマウントディスプレイ等で表示できるようになる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い、予測画像を生成するイントラ予測部を備える画像処理装置。
（２） 前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、所定の複数の予測方向を前記魚眼画像の魚眼中心に対する前記処理対象ブロックの位置に応じて変更したテーブルである（１）に記載の画像処理装置。
（３） 前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、前記処理対象ブロックの位置で生じる魚眼歪みを補正する補正率に基づいて前記予測方向が変更したテーブルである（２）に記載の画像処理装置。
（４） 前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、所定の複数の予測方向から前記魚眼画像の魚眼中心に対する前記処理対象ブロックの位置に応じて選択した予測方向を示すテーブルである（１）に記載の画像処理装置。
（５） 前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、前記魚眼中心に対する処理対象ブロックの方向に対して直交する円周方向を密集方向として、前記所定の複数の予測方向から選択した予測方向を示すテーブルである（４）に記載の画像処理装置。
（６） 前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、前記魚眼中心から処理対象ブロックまでの距離が長くなるに伴い密集度合いを高くして、前記所定の複数の予測方向から選択した予測方向を示すテーブルである（４）または（５）に記載の画像処理装置。
（７） 前記魚眼画像の魚眼中心を基準として前記魚眼画像を径方向および周方向に複数の領域に区分して、領域毎に前記イントラ予測モードテーブルを設けて、
前記イントラ予測部は、前記処理対象ブロックが含まれる領域に対応するイントラ予測モードテーブルを用いてイントラ予測を行う（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記魚眼中心を対象点として点対称の領域に、等しいイントラ予測モードテーブルを設けた（７）に記載の画像処理装置。
（９） 前記魚眼中心を含む領域のイントラ予測モードテーブルは、所定の複数の予測方向を示すテーブルである（７）または（８）に記載の画像処理装置。
（１０） 前記魚眼レンズのレンズ特性に応じて、前記径方向の領域区分数を設定した（７）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記魚眼レンズのレンズ特性に応じて、前記径方向の領域区分間隔を設定した（７）乃至（１０）に記載の画像処理装置。
（１２） 入力画像が魚眼画像である場合、前記入力画像の符号化ストリームに魚眼情報を含める可逆符号化部をさらに備える（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記魚眼情報は、少なくとも前記入力画像が魚眼画像であることと前記魚眼画像の魚眼中心を示す情報を含む（１２）に記載の画像処理装置。
（１４） 前記魚眼情報は、前記魚眼画像の取得に用いた魚眼レンズに関する情報を含む（１３）に記載の画像処理装置。
（１５） 前記魚眼画像の符号化ストリームを復号する可逆復号部をさらに備え、
前記可逆復号部は、前記符号化ストリームに含まれる魚眼情報と最適イントラ予測モードをパースして、
前記イントラ予測部は、前記可逆復号部で得られた魚眼情報と最適イントラ予測モードに基づき処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いて予測画像を生成する（１）乃至（１１）のいずれかに記載の画像処理装置。
（１６） 前記魚眼情報は、少なくとも前記入力画像が魚眼画像であることと前記魚眼画像の魚眼中心を示す情報を含み、
前記イントラ予測部は、前記魚眼画像の魚眼中心に対する前記処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いる（１５）に記載の画像処理装置。
（１７） 前記魚眼情報は、前記魚眼画像の取得に用いた魚眼レンズに関する情報を含み、
前記イントラ予測部は、前記魚眼レンズに関する情報と前記処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いる（１６）に記載の画像処理装置。

この技術の画像処理装置と画像処理方法によれば、魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い、予測画像が生成される。このため、歪みを生じた画像の符号化または復号処理を効率よく行うことができる。したがって、魚眼画像の記録や再生，伝送等を行う電子機器や移動体装置等に適している。

１０・・・画像符号化装置
２１，６８・・・画面並べ替えバッファ
２２，３３，６５・・・演算部
２３・・・直交変換部
２４・・・量子化部
２５・・・可逆符号化部
２６・・・蓄積バッファ
２７・・・レート制御部
３１，６３・・・逆量子化部
３２，６４・・・逆直交変換部
３４，６６・・・デブロッキングフィルタ
３５，６７・・・ＳＡＯフィルタ
３６，７１・・・フレームメモリ
３７，７２・・・選択部
４１・・・イントラ予測部
４２・・・インター予測部
４３・・・予測選択部
５０・・・画像復号装置
６１・・・蓄積バッファ
６２・・・可逆復号部
７３・・・イントラ予測部
７４・・・動き補償部
４１１・・・ブロック位置算出部
４１２・・・テーブル選択部
４１３・・・予測画像生成部
４１４・・・最適モード決定部

Claims (18)

1. 魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い、予測画像を生成するイントラ予測部
   を備える画像処理装置。
2. 前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、所定の複数の予測方向を前記魚眼画像の魚眼中心に対する前記処理対象ブロックの位置に応じて変更したテーブルである
   請求項１に記載の画像処理装置。
3. 前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、前記処理対象ブロックの位置で生じる魚眼歪みを補正する補正率に基づいて前記予測方向が変更したテーブルである
   請求項２に記載の画像処理装置。
4. 前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、所定の複数の予測方向から前記魚眼画像の魚眼中心に対する前記処理対象ブロックの位置に応じて選択した予測方向を示すテーブルである
   請求項１に記載の画像処理装置。
5. 前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、前記魚眼中心に対する処理対象ブロックの方向に対して直交する円周方向を密集方向として、前記所定の複数の予測方向から選択した予測方向を示すテーブルである
   請求項４に記載の画像処理装置。
6. 前記処理対象ブロックの位置に応じたイントラ予測モードテーブルは、前記魚眼中心から処理対象ブロックまでの距離が長くなるに伴い密集度合いを高くして、前記所定の複数の予測方向から選択した予測方向を示すテーブルである
   請求項４に記載の画像処理装置。
7. 前記魚眼画像の魚眼中心を基準として前記魚眼画像を径方向および周方向に複数の領域に区分して、領域毎に前記イントラ予測モードテーブルを設けて、
   前記イントラ予測部は、前記処理対象ブロックが含まれる領域に対応するイントラ予測モードテーブルを用いてイントラ予測を行う
   請求項１に記載の画像処理装置。
8. 前記魚眼中心を対象点として点対称の領域に、等しいイントラ予測モードテーブルを設けた
   請求項７に記載の画像処理装置。
9. 前記魚眼中心を含む領域のイントラ予測モードテーブルは、所定の複数の予測方向を示すテーブルである
   請求項７に記載の画像処理装置。
10. 前記魚眼レンズのレンズ特性に応じて、前記径方向の領域区分数を設定した
    請求項７に記載の画像処理装置。
11. 前記魚眼レンズのレンズ特性に応じて、前記径方向の領域区分間隔を設定した
    請求項７に記載の画像処理装置。
12. 入力画像が魚眼画像である場合、前記入力画像の符号化ストリームに魚眼情報を含める可逆符号化部をさらに備える
    請求項１に記載の画像処理装置。
13. 前記魚眼情報は、少なくとも前記入力画像が魚眼画像であることと前記魚眼画像の魚眼中心を示す情報を含む
    請求項１に記載の画像処理装置。
14. 前記魚眼情報は、前記魚眼画像の取得に用いた魚眼レンズに関する情報を含む
    請求項１３に記載の画像処理装置。
15. 前記魚眼画像の符号化ストリームを復号する可逆復号部をさらに備え、
    前記可逆復号部は、前記符号化ストリームに含まれる魚眼情報と最適イントラ予測モードをパースして、
    前記イントラ予測部は、前記可逆復号部で得られた魚眼情報と最適イントラ予測モードに基づき処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いて予測画像を生成する
    請求項１に記載の画像処理装置。
16. 前記魚眼情報は、少なくとも前記入力画像が魚眼画像であることと前記魚眼画像の魚眼中心を示す情報を含み、
    前記イントラ予測部は、前記魚眼画像の魚眼中心に対する前記処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いる
    請求項１５に記載の画像処理装置。
17. 前記魚眼情報は、前記魚眼画像の取得に用いた魚眼レンズに関する情報を含み、
    前記イントラ予測部は、前記魚眼レンズに関する情報と前記処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いる
    請求項１６に記載の画像処理装置。
18. 魚眼レンズを用いて撮像した魚眼画像における処理対象ブロックの位置に応じたイントラ予測モードテーブルを用いてイントラ予測を行い予測画像をイントラ予測部で生成すること
    を含む画像処理方法。

Images