JP7310794B2 - 画像処理装置と画像処理方法 - Google Patents

画像処理装置と画像処理方法 Download PDF

Info

Publication number
JP7310794B2
JP7310794B2 JP2020505588A JP2020505588A JP7310794B2 JP 7310794 B2 JP7310794 B2 JP 7310794B2 JP 2020505588 A JP2020505588 A JP 2020505588A JP 2020505588 A JP2020505588 A JP 2020505588A JP 7310794 B2 JP7310794 B2 JP 7310794B2
Authority
JP
Japan
Prior art keywords
fisheye
image
motion vector
unit
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020505588A
Other languages
English (en)
Other versions
JPWO2019176189A1 (ja
Inventor
潤一 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019176189A1 publication Critical patent/JPWO2019176189A1/ja
Application granted granted Critical
Publication of JP7310794B2 publication Critical patent/JP7310794B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

この技術は、画像処理装置と画像処理方法に関する。
魚眼レンズを用いて撮影を行うことにより得られた魚眼画像の符号化復号処理では、魚眼レンズよりも画角の狭い標準レンズ等を用いて撮影を行うことにより得られた画像（通常画像）と同様に符号化復号処理を行うことが可能である。しかし、魚眼画像は魚眼歪みすなわち物体が中心から遠ざかるほど中心方向に対して生じた歪みを有することから、例えばインター予測を行う場合、通常画像に比べて符号化効率が劣化してしまう。このため、特許文献１では、魚眼画像の歪みを補正情報生成部で補正してから、通常画像と同様に動きベクトルを検出することが行われている。
特開２０１７－１２０９８０号公報
ところで、特許文献１の補正情報生成部で行われる歪補正処理では、レンズ固有の特性式を考慮していない。このため、歪み補正に誤差が生じる場合がある。また、歪み補正の誤差によって動きベクトルの誤差が大きくなるおそれもある。また、画角が例えば１８０°である場合、魚眼画像を通常画像に補正すると無限大まで拡大してしまう。このため、魚眼画像における所定範囲を通常画像に変換して符号化すると、復号時には所定範囲外の画像を得られないことから魚眼画像を再現できない。
そこで、この技術では高い符号化効率で魚眼画像の符号化処理または復号処理を行える画像処理装置を提供することを目的とする。
この技術の第１の側面は、
魚眼レンズを用いて撮像した魚眼画像におけるカレント予測ブロックの予測動きベクトルの算出に用いる動きベクトルを、前記魚眼レンズおよび前記魚眼画像に関する魚眼情報に基づいてスケーリング処理する動きベクトル補正部を備える画像処理装置にある。
この技術において、動きベクトル補正部は、魚眼レンズを用いて撮像した魚眼画像におけるカレント予測ブロックの例えば周辺ブロックの動きベクトルを、魚眼情報例えば魚眼レンズの射影方式と魚眼画像の半径に基づきスケーリング処理して、周辺ブロックのスケーリング処理後の動きベクトルを用いて予測動きベクトルを算出する。スケーリング処理では、例えば、魚眼レンズの中心からの距離に応じて変化する魚眼歪みを補正する補正率と魚眼画像の半径を用いて、魚眼画像における周辺ブロックの動きベクトルを魚眼歪みのない画像における動きベクトルに変換してスケーリングを行い、スケーリング後の動きベクトルを魚眼画像における動きベクトルに変換する。補正率は、魚眼レンズの射影方式の特性式と、魚眼歪みのない画像を得る中心射影方式の特性式に基づいて算出する。算出した補正率は、魚眼レンズの射影方式毎に正規化して予めテーブル化して保持して、保持されている補正率テーブルから撮像に用いた魚眼レンズに対応する補正率テーブルを用いてスケーリング処理を行う。
魚眼画像の符号化を行う画像処理装置では、魚眼画像の符号化ストリームに魚眼情報を可逆符号化部で含めるようにする。また、可逆符号化部は、符号化ストリームにスケーリング処理を行うか否かを示す情報を含める。魚眼情報は、例えば魚眼レンズの射影方式と魚眼画像の半径を含むようにしてもよく、魚眼画像の半径に代えて、光学像の投影方式を示す情報を含むようにしてもよい。
魚眼画像の符号化ストリームを復号する画像処理装置では、可逆復号部で符号化ストリームを復号して得られた魚眼情報を用いて例えば周辺ブロックの動きベクトルに対するスケーリング処理を動きベクトル補正部で行う。また、動きベクトル補正部は、可逆復号部で符号化ストリームを復号して得られた情報で、スケーリング処理を行うことが示された場合、魚眼情報を用いてスケーリング処理を行う。
この技術の第２の側面は、
魚眼レンズを用いて撮像した魚眼画像におけるカレント予測ブロックの予測動きベクトルの算出に用いる動きベクトルを、前記魚眼レンズおよび前記魚眼画像に関する魚眼情報に基づいて動きベクトル補正部でスケーリング処理すること
を含む画像処理方法にある。
この技術によれば、魚眼レンズを用いて撮像した魚眼画像におけるカレント予測ブロックの予測動きベクトルの算出に用いる動きベクトルが、魚眼レンズおよび魚眼画像に関する魚眼情報に基づいてスケーリング処理される。このため、スケーリング処理が行われていない場合よりも高い符号化効率で魚眼画像の符号化処理または復号処理を行える。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
画像符号化装置の構成を示す図である。 魚眼レンズの射影方式を示す図である。 魚眼画像を通常画像に補正するための補正率を射影方式毎に示した図である。 補正率テーブルの導出を説明するための図である。 正規化した補正率テーブルを示した図である。 画像符号化装置の動作を例示したフローチャートである。 インター予測処理の動作を例示したフローチャートである。 最適インター予測モード選択処理を示すフローチャートである。 中心射影方式の撮像レンズを用いて得られた撮像画における被写体の動きを例示した図である。 動きベクトルの平行スケーリングを示した図である。 魚眼画像における被写体の動きを例示した図である。 円周魚眼と対角線魚眼を説明するための図である。 適応スケーリング手順を説明するための図である。 カレント予測ブロックと周辺ブロックを示した図である。 適応スケーリング手順を示すフローチャートである。 画像復号装置の構成を例示した図である。 画像復号装置の動作を例示したフローチャートである。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置について
２．画像符号化装置の構成
３．画像符号化装置の動作
３－１．補正率テーブルについて
３－２．符号化処理動作について
３－３．動きベクトルの適応スケーリングについて
４．画像復号装置の構成
５．画像復号装置の動作
６．画像処理装置の他の構成
７．応用例
＜１．画像処理装置について＞
画像処理装置では、魚眼レンズを用いて撮像を行うことにより取得された動画像（以下「魚眼画像」ともいう）の符号化処理、またはこの符号化処理で生成された符号化ストリームの復号処理を行う。符号化処理を行う画像符号化装置は、カレント予測ブロックの予測動きベクトルの算出に用いる動きベクトルを、魚眼画像の取得に用いた魚眼レンズおよび取得した魚眼画像に関する魚眼情報に基づいてスケーリング処理を行い、スケーリング処理が行われていない場合よりも、カレント予測ブロックの動きベクトルと予測動きベクトルとの差を少なくして、魚眼画像の符号化効率を向上させる。また、符号化ストリームの復号処理を行う画像復号装置は、符号化ストリームを復号して得られた魚眼情報を用いてスケーリング処理を行い、スケーリング処理後の動きベクトルを用いて復号処理を行うことで魚眼画像を生成する。
＜２．画像符号化装置の構成＞
図１は、魚眼画像の符号化処理を行う画像符号化装置の構成を例示している。画像符号化装置１０は、予測処理を用いて画像データの符号化を行い、例えばＨ．２６５／ＨＥＶＣ規格に対応した符号化ストリームを生成する。
画像符号化装置１０は、画面並べ替えバッファ２１、演算部２２、直交変換部２３、量子化部２４、可逆符号化部２５、蓄積バッファ２６、レート制御部２７を有する。また、画像符号化装置１０は、逆量子化部３１、逆直交変換部３２、演算部３３、デブロッキングフィルタ３４、ＳＡＯ（Sample Adaptive Offset）フィルタ３５、フレームメモリ３６、選択部３７を有している。さらに、画像符号化装置１０は、補正方式判別部４０、イントラ予測部４１、インター予測部４２、予測選択部４３を有する。
魚眼画像は、入力画像として画面並べ替えバッファ２１に入力される。また、魚眼画像の取得に用いた魚眼レンズと魚眼画像に関する魚眼情報は、補正方式判別部４０に入力される。魚眼情報では、例えば魚眼レンズの射影方式や魚眼画像の半径等を示す情報が含まれている。
画面並べ替えバッファ２１は、入力画像を記憶して、記憶した表示順序のフレーム画像を、ＧＯＰ（Group of Picture）構造に応じて、符号化のための順序（符号化順）に並べ替える。画面並べ替えバッファ２１は、符号化順とされたフレーム画像の画像データ（原画像データ）を、演算部２２へ出力する。また、画面並べ替えバッファ２１は、原画像データをＳＡＯフィルタ３５、イントラ予測部４１およびインター予測部４２へ出力する。
演算部２２は、画面並べ替えバッファ２１から供給された原画像データから、予測選択部４３を介してイントラ予測部４１若しくはインター予測部４２から供給される予測画像データを画素毎に減算して、予測残差を示す残差データを直交変換部２３へ出力する。
例えば、イントラ符号化が行われる画像の場合、演算部２２は原画像データからイントラ予測部４１で生成された予測画像データを減算する。また、例えば、インター符号化が行われる画像の場合、演算部２２は原画像データからインター予測部４２で生成された予測画像データを減算する。
直交変換部２３は、演算部２２から供給される残差データに対して直交変換処理を行う。例えば直交変換部２３は、各ＣＴＵ（Coding Tree Unit）内に設定される１つ以上のＴＵの各々について、離散コサイン変換または離散サイン変換あるいはカルーネン・レーベ変換等の直交変換を行う。直交変換部２３は、直交変換処理を行うことにより得られた周波数領域の変換係数を量子化部２４へ出力する。
量子化部２４は、直交変換部２３が出力する変換係数を量子化する。量子化部２４は、変換係数の量子化データを可逆符号化部２５へ出力する。また、量子化部２４は、生成した量子化データを逆量子化部３１にも出力する。
可逆符号化部２５は、各ＣＴＵについて量子化部２４から入力される量子化データの可逆符号化処理、例えばＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）の可逆符号化処理を行う。また、可逆符号化部２５は、予測選択部４３で選択された予測モードのパラメータ、例えばイントラ予測モードを示す情報、またはインター予測モードを示す情報と動き情報などを取得する。さらに、可逆符号化部２５は、後述するＳＡＯフィルタ３５からフィルタ処理に関するパラメータを取得する。さらに、画像にＣＴＵ、ＣＵ、ＴＵ及びＰＵをどのように設定すべきかを示すブロック情報を取得する。可逆符号化部２５は、量子化データを符号化するとともに、取得した符号化処理に関する各パラメータをＨ．２６５／ＨＥＶＣ規格のシンタックス要素として、符号化ストリームのヘッダ情報の一部として蓄積バッファ２６に蓄積させる。また、可逆符号化部２５は、画像符号化装置１０に入力された魚眼情報を、符号化ストリームのシンタックス要素として、あるいは付加情報であるＳＥＩ(Supplemental Enhancement Information）として符号化ストリームに含める。
蓄積バッファ２６は、可逆符号化部２５から供給されたデータを一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば後段の図示せぬ記録装置や伝送路などに符号化ストリームとして出力する。
レート制御部２７は、蓄積バッファ２６に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２４の量子化動作のレートを制御する。
逆量子化部３１は、量子化部２４から供給された変換係数の量子化データを、量子化部２４で行われた量子化に対応する方法で逆量子化する。逆量子化部３１は、得られた逆量子化データを、逆直交変換部３２へ出力する。
逆直交変換部３２は、供給された逆量子化データを、直交変換部２３で行われた直交変換処理に対応する方法で逆直交変換する。逆直交変換部３２は、逆直交変換結果すなわち復元された残差データを、演算部３３へ出力する。
演算部３３は、逆直交変換部３２から供給された残差データに、予測選択部４３を介してイントラ予測部４１若しくはインター予測部４２から供給される予測画像データを加算し、局部的に復号された画像（復号画像）を得る。例えば、残差データが、イントラ符号化が行われる画像に対応する場合、演算部３３は、その残差データにイントラ予測部４１から供給される予測画像データを加算する。また、例えば、残差データが、インター符号化が行われる画像に対応する場合、演算部３３は、その残差データにインター予測部４２から供給される予測画像データを加算する。加算結果である復号画像データは、デブロッキングフィルタ３４へ出力される。また、復号画像データは参照画像データとしてフレームメモリ３６へ出力される。
デブロッキングフィルタ３４は、適宜デブロッキングフィルタ処理を行うことにより復号画像データのブロック歪を除去する。デブロッキングフィルタ３４は、そのフィルタ処理結果をＳＡＯフィルタ３５へ出力する。
ＳＡＯフィルタ３５は、デブロッキングフィルタ３４によるフィルタ後の復号画像データに対して、適応オフセットフィルタ処理（ＳＡＯ（Sample Adaptive Offset）処理ともいう）を行う。ＳＡＯフィルタ３５は、ＳＡＯ処理後の画像をフレームメモリ３６へ出力する。
フレームメモリ３６に蓄積されている参照画像データは、所定のタイミングで選択部３７を介してイントラ予測部４１またはインター予測部４２に出力される。例えば、イントラ符号化が行われる画像の場合、フレームメモリ３６からデブロッキングフィルタ３４等によるフィルタ処理が行われていない参照画像データが読み出されて、選択部３７を介してイントラ予測部４１へ出力される。また、例えば、インター符号化が行われる場合、フレームメモリ３６からデブロッキングフィルタ３４等によるフィルタ処理が行われている参照画像データが読み出されて、選択部３７を介してインター予測部４２へ出力される。
補正方式判別部４０は、魚眼情報に基づき、魚眼画像の取得に用いた魚眼レンズに対応する補正率テーブルをインター予測部４２へ出力する。補正率テーブルは、カレント予測ブロックの予測動きベクトルの算出に用いる動きベクトルのスケーリング処理に用いられる。なお、補正率テーブルの詳細については後述する。また、補正方式判別部４０とインター予測部４２で動きベクトル補正部が構成される。
イントラ予測部４１は、原画像データ及び復号画像データに基づいて、各ＣＴＵ内に設定される１つ以上のＰＵの各々についてイントラ予測処理を実行する。ＰＵは、１つ以上のＴＵへと分割され得る。例えば、イントラ予測部４１は、ＨＥＶＣにより仕様化されている探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコスト関数値を評価する。次に、イントラ予測部４１は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部４１は、選択した最適な予測モードに従って予測画像データを生成して、最適な予測モードを示す予測モード情報を含むイントラ予測に関する情報、対応するコスト関数値、及び予測画像データを、予測選択部４３へ出力する。
インター予測部４２は、原画像データ及び復号画像データに基づいて、各ＣＴＵ内に設定される１つ以上のＰＵの各々についてインター予測処理（動き検出及び動き補償）を実行する。例えば、インター予測部４２は、例えばＨＥＶＣにより仕様化されている探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコスト関数値を評価する。また、インター予測部４２は、補正方式判別部４０で生成された補正率テーブルを用いて、例えばカレント予測ブロックに隣接する周辺ブロックの動きベクトルを、魚眼レンズの射影方式と魚眼画像の半径に基づいてスケーリング処理する。なお、スケーリング処理については後述する。インター予測部４２は、周辺ブロックのスケーリング処理後の動きベクトルを用いて予測動きベクトルを生成して、カレント予測ブロックの動きベクトルと予測動きベクトルとの差分ベクトルを生成して、コスト関数値の算出に用いる。次に、インター予測部４２は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部４２は、選択した最適な予測モードに従って予測画像データを生成して、インター予測に関する情報、対応するコスト関数値、差分ベクトルや予測動きベクトル等を示す動き情報、及び予測画像データを、予測選択部４３へ出力する。
予測選択部４３は、イントラ予測部４１及びインター予測部４２から入力されるコスト関数値の比較に基づいて、ＣＴＵ又はＣＵ毎に予測モードを設定する。予測選択部４３は、イントラ予測モードを設定したブロックについては、イントラ予測部４１により生成される予測画像データを演算部２２，３３へ出力すると共に、イントラ予測に関する情報を可逆符号化部２５へ出力する。また、予測選択部４３は、インター予測モードを設定したブロックについては、インター予測部４２により生成される予測画像データを演算部２２，３３へ出力すると共に、インター予測に関する情報や動き情報を可逆符号化部２５へ出力する。
＜３．画像符号化装置の動作＞
＜３－１．補正率テーブルについて＞
図２は魚眼レンズの射影方式を示している。図２の（ａ）は正射影方式であり、入射角θで入射した光と入射された光が投影される位置ｙの関係（特性式）は、式（１）で示すことができる。なお、「ｆ」は魚眼レンズの焦点距離である。
ｙ＝ｆ・ｓｉｎθ ・・・（１）
図２の（ｂ）は等距離射影方式であり、特性式を式（２）に示す。
ｙ＝ｆ・θ ・・・（２）
図２の（ｃ）は立体射影方式であり、特性式を式（３）に示す。
ｙ＝２ｆ・ｔａｎ（θ／２） ・・・（３）
図２の（ｄ）は等立体角射影方式であり、特性式を式（４）に示す。
ｙ＝２ｆ・ｓｉｎ（θ／２） ・・・（４）
なお、魚眼歪みを生じないレンズ（以下「通常レンズ」という）の射影方式は、図２の（ｅ）に示す中心射影方式であり、特性式は式（５）である。
ｙ＝ｆ・ｔａｎθ ・・・（５）
魚眼レンズによる被写体像の射影により生じた魚眼歪みを補正するための補正率は、魚眼レンズと通常レンズの特性式に基づいて算出できる。例えば、焦点距離や撮像条件が同一で、レンズだけを変更した場合、補正率は「補正率＝通常レンズの特性式／魚眼レンズの特性式」となる。
図３は、魚眼画像を通常画像に補正するための補正率を射影方式毎に示している。例えば正射影方式の補正率は「１／ｃｏｓθ」となる。また、等距離射影方式の補正率は「ｔａｎθ／θ」、立体射影方式の補正率は「ｔａｎθ／（２＊ｔａｎ（θ／２））」、等立体角射影方式の補正率は「ｔａｎθ／（２＊ｓｉｎ（θ／２））となる。
ところで、図３に示す補正率は、入射角θを媒介変数としているため、魚眼画像上の位置に対応する通常画像上の位置を容易に得ることができない。そこで、魚眼画像上の位置に対応する通常画像上の位置を取得できる補正率テーブルを補正率に基づき予め生成する。
図４は、補正率テーブルの導出を説明するための図である。図４の（ａ）に示すように、入射角θを０≦θ≦９０°の範囲で変化させ、その際の魚眼レンズと通常レンズの特性式の値（以下「特性値」という）を記録する。そして、補正前の特性値をｙ０とし、補正後の特性値をｙ１とすると、補正率（ｙ１／ｙ０）は、図４の（ｂ）に示す特性となる。なお、入射角が０°である場合の補正率は（０／０）となるため定義されないが、魚眼レンズの中心では通常レンズを用いた場合に対する歪みが小さいことから補正率を「１」とする。この図４（ａ）と図４（ｂ）の結果に基づき、特性値ｙ０を基準として補正率（ｙ１／ｙ０）を示すと、特性値ｙ０に対する補正率（ｙ１／ｙ０）の関係は図４の（ｃ）に示す特性となる。補正率テーブルは、図４の（ｃ）に示す特性とする。また、補正率テーブルのデータ量を削減するため、図４の（ｃ）に示す補正率を図４の（ｄ）に示すように一定間隔でサンプリングして、補正率テーブルはサンプリングされた特性値ｙ０に対する補正率を示すようにしてもよい。
通常レンズで用いられている中心射影方式は、入射角θが９０°に近づくにつれて特性値が大きくなり、入射角θが９０°となると特性値は無限大となる。また、実際の通常レンズは画角限界が例えば５７°付近となっており、画角範囲が画角限界までならば通常画像は自然画として扱うことができるが、画角限界を超えると通常画像は撮像領域の被写体との乖離が大きくなる。したがって、補正率テーブルで示される補正率（ｙ１／ｙ０）は、特性値ｙ０の範囲を画角限界の時の特性値ｙclpまでの範囲としてもよい。このように、補正率テーブルを生成すれば、符号化処理に影響することなく補正率テーブルのデータ量を削減できる。
また、特性値は焦点距離ｆによって異なることから、補正率テーブルは特性値ｙ０の範囲を「０」から「１」までの範囲に正規化する。このように、特性値ｙ０を正規化した補正率テーブルを用いるようにすれば、正規化した補正率テーブルと焦点距離に基づき所望の特性値ｙ０に対する補正率（ｙ１／ｙ０）を取得できる。したがって、焦点距離毎に補正率テーブルを用意する必要がない。
図５は、正規化した補正率テーブル、例えば正射影方式から中心射影方式への正規化した補正率テーブルを例示している。なお、図５では、サンプリング間隔が狭いため、特性値ｙ０に対する補正率（ｙ１／ｙ０）の変化は連続した状態で示されている。
さらに、正規化した補正率テーブルに対して魚眼半径Ｒを乗算すれば、魚眼半径Ｒである魚眼画像に対応した補正率テーブルを生成することができる。なお、正規化した補正率テーブルは、補正方式判別部４０および後述する画像復号装置５０の補正方式判別部７４に予め記憶させておく。
＜３－２．符号化処理動作について＞
次に、画像符号化装置の動作について説明する。図６は、画像符号化装置の動作を例示したフローチャートである。
ステップＳＴ１において画像符号化装置は画面並べ替え処理を行う。画像符号化装置１０の画面並べ替えバッファ２１は、表示順の入力画像を符号化順に並べ替えて、イントラ予測部４１とインター予測部４２およびＳＡＯフィルタ３５へ出力する。
ステップＳＴ２において画像符号化装置はイントラ予測処理を行う。画像符号化装置１０のイントラ予測部４１は、フレームメモリ３６から読み出した参照画像データを用いて、処理対象のブロックの画素を候補となる全てのイントラ予測モードでイントラ予測して予測画像データを生成する。また、イントラ予測部４１は、生成した予測画像データと原画像データを用いてコスト関数値を算出する。なお、参照画像データとしては、デブロッキングフィルタ３４等によりフィルタ処理されていない復号画像データが用いられる。イントラ予測部４１は、算出されたコスト関数値に基づいて、最適イントラ予測モードを選択して、最適イントラ予測モードのイントラ予測により生成された予測画像データとパラメータやコスト関数値を予測選択部４３に出力する。
ステップＳＴ３において画像符号化装置はインター予測処理を行う。図７はインター予測処理の動作を例示したフローチャートである。ステップＳＴ２１においてインター予測部４２はカレントピクチャに応じて参照ピクチャを決定する。インター予測部４２は、カレントピクチャがＰピクチャ(Predictive Picture)である場合にＩピクチャ(Intra Picture)を参照ピクチャに決定し、Ｂピクチャ(Bidirectionally Predictive Picture)である場合、ＰピクチャとＢピクチャを参照ピクチャに決定してステップＳＴ２２に進む。
ステップＳＴ２２においてインター予測部４２は参照ピクチャを取得する。インター予測部４２はフレームメモリ３６に記憶されている参照ピクチャを取得してステップＳＴ２３に進む。
ステップＳＴ２３においてインター予測部４２は動き探索を行う。インター予測部４２は、カレントピクチャのカレント予測ブロックが参照ピクチャの何れの領域に対応するか動き探索を全ての予測モードについて行いステップＳＴ２４に進む。
ステップＳＴ２４においてインター予測部４２は最適インター予測モード選択処理を行う。図８は、最適インター予測モード選択処理を示すフローチャートである。ステップＳＴ３１においてインター予測部４２は予測モードの候補を選択する。インター予測部４２は、ステップＳＴ２３の動き探索結果に基づき、複数の予測モードの候補例えば動きベクトルが算出された予測モードを候補としてステップＳＴ３２に進む。
ステップＳＴ３２においてインター予測部４２は予測モードを選択する。インター予測部４２は、ステップＳＴ３１で決定されたインター予測モードの候補から未選択であるインター予測モードを選択してステップＳＴ３３に進む。
ステップＳＴ３３においてインター予測部４２は予測動きベクトルを算出する。インター予測部４２は、予測動きベクトルの算出に用いる動きベクトルのスケーリング処理を行う。図９は、中心射影方式の撮像レンズを用いて得られた撮像画における被写体の動きを例示している。また、図１０は動きベクトルの平行スケーリングを示している。被写体ＯＢは図９の矢印ＦＡ方向に移動している。なお、図９では時点ｔ1と時点ｔ2と時点ｔ3で撮像された被写体ＯＢを示している。このように、撮像画において被写体ＯＢが例えば矢印ＦＡに移動する場合、参照ピクチャＲＰａに代えて参照ピクチャＲＰｂを参照先とするときは、カレントピクチャＣＰから参照ピクチャＲＰａ，ＲＰｂまでの距離（時間間隔）に応じて、参照ピクチャＲＰａを参照面としたときの動きベクトルＭＶａを動きベクトルＭＶｂにスケーリングすればよい。しかし、魚眼画像では、魚眼画像上の位置によって被写体ＯＢの歪の強度や向きが異なる。図１１は、魚眼画像における被写体の動きを例示した図であり、時点ｔ1と時点ｔ2と時点ｔ3で撮像された被写体ＯＢを示している。このように、魚眼画像では被写体が魚眼歪みを生じるため、中心射影方式の撮像レンズを用いた場合と同様に予測動きベクトルを算出すると、カレント予測ブロックで動き検出を行い算出された動きベクトルとの誤差が大きく符号化効率が低下するおそれがある。そこで、インター予測部４２は、予測動きベクトルの算出に用いる動きベクトルを魚眼画像における物体の軌跡に沿ってスケーリング（以下「適応スケーリング」ともいう）する。適応スケーリングは、魚眼画像の取得に用いた撮像レンズに対応する補正率テーブルを用いて行う。インター予測部４２は、スケーリング後の動きベクトルを用いて予測動きベクトルを算出してステップＳＴ３４に進む。
ステップＳＴ３４においてインター予測部４２はコスト関数値を算出する。インター予測部４２は、ステップＳＴ３２で選択したインター予測モードについてコスト関数値を算出してステップＳＴ３５に進む。
ステップＳＴ３５においてインター予測部４２は全ての候補を選択したか判別する。インター予測部４２は、全てのインター予測モードを選択した場合にはステップＳＴ３６に進み、選択されていないインター予測モードがある場合にはステップＳＴ３２に戻り、選択されていない新たなインター予測モードを選択する。
ステップＳＴ３６においてインター予測部４２は最適なインター予測モードを選択する。インター予測部４２は、予測モード毎に算出されているコスト関数値を比較して、例えばコスト関数値が最小となる予測モードを最適なインター予測モードと選択して図７のステップＳＴ２５に進む。なお、予測動きベクトルの算出で魚眼情報に基づいて動きベクトルのスケーリング処理を行って最適なインター予測モードが選択可能であれば、図８と異なる処理を行ってもよい。
ステップＳＴ２５においてインター予測部４２は動き補償を行う。インター予測部４２は、図８のステップＳＴ３６で選択された最適なインター予測モードで動き補償を行い、予測画像データを生成する。さらに、インター予測部４２は、生成した予測画像データと、最適なインター予測モードのコスト関数値、動き情報、および最適なインター予測モードに関するパラメータを予測選択部４３へ出力して図６のステップＳＴ４に進む。
ステップＳＴ４において画像符号化装置は予測画像選択処理を行う。画像符号化装置１０の予測選択部４３は、ステップＳＴ２およびステップＳＴ３で算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測選択部４３は、決定した最適予測モードの予測画像データを選択して、演算部２２，３３へ出力する。なお、予測画像データは、後述するステップＳＴ５，ＳＴ１０の演算に利用される。また、予測選択部４３は、最適予測モードに関するパラメータ等を可逆符号化部２５へ出力する。
ステップＳＴ５において画像符号化装置は差分演算処理を行う。画像符号化装置１０の演算部２２は、ステップＳＴ２で並べ替えられた原画像データと、ステップＳＴ４で選択された予測画像データとの差分を算出して、差分結果である残差データを直交変換部２３へ出力する。
ステップＳＴ６において画像符号化装置は直交変換処理を行う。画像符号化装置１０の直交変換部２３は、演算部２２から供給された残差データを直交変換する。具体的には、離散コサイン変換等の直交変換を行い、得られた変換係数を量子化部２４へ出力する。
ステップＳＴ７において画像符号化装置は量子化処理を行う。画像符号化装置１０の量子化部２４は、直交変換部２３から供給された変換係数を量子化する。この量子化に際しては、後述するステップＳＴ１６の処理で説明されるように、レートが制御される。
以上のようにして生成された量子化情報は、次のようにして局部的に復号される。すなわち、ステップＳＴ８において画像符号化装置は逆量子化処理を行う。画像符号化装置１０の逆量子化部３１は、量子化部２４から出力された量子化データを量子化部２４に対応する特性で逆量子化する。
ステップＳＴ９において画像符号化装置は逆直交変換処理を行う。画像符号化装置１０の逆直交変換部３２は、逆量子化部３１で生成された逆量子化データを直交変換部２３に対応する特性で逆直交変換して残差データを生成して演算部３３へ出力する。
ステップＳＴ１０において画像符号化装置は画像加算処理を行う。画像符号化装置１０の演算部３３は、予測選択部４３から出力された予測画像データを局部的に復号された残差データに加算し、局部的に復号された（すなわち、ローカルデコードされた）画像を生成する。
ステップＳＴ１１において画像符号化装置はデブロッキングフィルタ処理を行う。画像符号化装置１０のデブロッキングフィルタ３４は、演算部３３から出力された画像データに対して、デブロッキングフィルタ処理を行い、ブロック歪みを除去してＳＡＯフィルタ３５とフレームメモリ３６へ出力する。
ステップＳＴ１２において画像符号化装置はＳＡＯ処理を行う。画像符号化装置１０のＳＡＯフィルタ３５は、デブロッキングフィルタ３４から出力された画像データに対してＳＡＯ処理を行う。このＳＡＯ処理により、最大の符号化単位であるＬＣＵ毎にＳＡＯ処理のタイプと係数が求められて、それらを用いてフィルタ処理が行われる。ＳＡＯフィルタ３５は、ＳＡＯ処理後の画像データをフレームメモリ３６に記憶させる。また、ＳＡＯフィルタ３５は、ＳＡＯ処理に関するパラメータを可逆符号化部２５へ出力して、後述するようにステップＳＴ１４で符号化する。
ステップＳＴ１３において画像符号化装置は記憶処理を行う。画像符号化装置１０のフレームメモリ３６は、デブロッキングフィルタ３４等でフィルタ処理が行われる前の画像と、デブロッキングフィルタ３４等でフィルタ処理が行われた後の画像を記憶する。
一方、上述したステップＳＴ７において量子化された変換係数は、可逆符号化部２５にも出力される。ステップＳＴ１４において画像符号化装置は可逆符号化処理を行う。画像符号化装置１０の可逆符号化部２５は、量子化部２４から出力された量子化後の変換係数と、供給された各パラメータや魚眼情報を符号化する。
ステップＳＴ１５において画像符号化装置は蓄積処理を行う。画像符号化装置１０の蓄積バッファ２６は、符号化データを蓄積する。蓄積バッファ２６に蓄積された符号化データは適宜読み出されて、伝送路等を介して復号側に伝送される。
ステップＳＴ１６において画像符号化装置はレート制御を行う。画像符号化装置１０のレート制御部２７は、蓄積バッファ２６に蓄積された符号化データがオーバーフローあるいはアンダーフローを生じないように量子化部２４の量子化動作のレートを制御する。
＜３－３．動きベクトルの適応スケーリングについて＞
次に、インター予測で行われる動きベクトルの適応スケーリングについて説明する。なお、以下の説明で用いる座標は画素単位である。
インター予測部４２は、魚眼画像の中心座標（ｘｇ，ｙｇ）を求める。魚眼レンズでは、上述の射影方式だけでなく、イメージセンサのセンサ面に対する光学像の投影方式の違いによって円周魚眼と対角線魚眼に分類されている。図１２は、円周魚眼と対角線魚眼を説明するための図である。図１２の（ａ）は、円周魚眼レンズを用いた場合を示しており、魚眼レンズで撮影した魚眼画像は、イメージセンサのセンサ面内に全て含まれており、長方形のピクチャでは、魚眼画像の例えば左右の端にデータがない無効領域（斜線で示す領域）が生じている。図１２の（ｂ）は、対角線魚眼レンズを用いた場合を示しており、円形状の魚眼画像内にイメージセンサのセンサ面が含まれて、魚眼画像における斜線部分の領域は、ピクチャで表示されない領域となる。円周魚眼の中心座標と対角線魚眼の中心座標は一致しており、円周魚眼の場合と同様に対角線魚眼の適応スケーリングを行えばよい。
図１３は、適応スケーリング手順を説明するための図である。インター予測部４２は、式（６），（７）に基づき、魚眼画像の中心座標（ｘｇ，ｙｇ）となる。
ｘｇ ＝ 横方向画サイズ／２ ・・・（６）
ｙｇ ＝ 縦方向画サイズ／２ ・・・（７）
次に、カレント予測ブロックに対する周辺ブロックの座標を、魚眼の中心からのベクトルで表す。図１４は、カレント予測ブロックと周辺ブロックを示している。左上側の周辺ブロックの左上座標（ｘｎ，ｙｎ）を、ピクチャの左上角である基準（０，０）として割り振り、ここから式（６）（７）で求めた魚眼の中心座標（ｘｇ，ｙｇ）を減じることで、基準を魚眼の中心とすることができる。この場合、左上側に隣接する周辺ブロックの位置は、式（８）に示すように座標（ｘｎｇ，ｙｎｇ）となる。
（ｘｇｎ，ｙｇｎ）＝（ｘｎ－ｘｇ，ｙｎ－ｙｇ） ・・・（８）
また、周辺ブロックの座標に、周辺ブロックの動きベクトル（ｍｖｘｎ，ｍｖｙｎ）を加算することで、動きベクトルの指す座標（ｘｇｎ_ｍｖ，ｙｇｎ_ｍｖ）も、式（９）に示すように魚眼の中心が基準となる。
（ｘｇｎ_ｍｖ，ｙｇｎ_ｍｖ）＝（ｘｎ－ｘｇ＋ｍｖｘｎ，ｙｎ－ｙｇ＋ｍｖｙｎ） ・・・（９）
さらに、式（８），（９）に示す魚眼画像における座標を、補正率テーブルを用いて通常画像の座標に変換する。ここで、座標の変換に用いる補正率テーブルは、正規化した補正率テーブルに魚眼半径Ｒを乗算して生成する。
ここで、座標（ｘｎｇ，ｙｎｇ）に対応する補正率を補正率「Ｋ１」、座標（ｘｇｎ_ｍｖ，ｙｇｎ_ｍｖ）に対応する補正率を補正率「Ｋ２」とすると、座標（ｘｎｇ，ｙｎｇ）の補正後の座標（ＸＧＮ，ＹＧＮ）は、式（１０）に基づき算出でき、座標（ｘｇｎ_ｍｖ，ｙｇｎ_ｍｖ）の補正後の座標（ＸＧＮ_ＭＶ，ＹＧＮ_ＭＶ）は、式（１１）に基づき算出できる。
（ＸＧＮ，ＹＧＮ）＝（Ｋ１・ｘｇｎ， Ｋ１・ｙｇｎ） ・・・（１０）
（ＸＧＮ_ＭＶ，ＹＧＮ_ＭＶ）＝（Ｋ２・ｘｇｎ_ｍｖ，Ｋ２・ｙｇｎ_ｍｖ） ・・・（１１）
したがって、式（１２）に示すように、式（１１）で示された座標から式（１０）で示された座標を減算することで、補正後の周辺ブロックの動きベクトル（ＭＶＸＮ，ＭＶＹＮ）を算出できる。
（ＭＶＸＮ，ＭＶＹＮ）＝（ＸＧＮ_ＭＶ－ＸＧＮ，ＹＧＮ_ＭＶ－ＹＧＮ） ・・・（１２）
補正後の動きベクトル（ＭＶＸＮ，ＭＶＹＮ）は、通常画像に変換した場合の動きベクトルであることから、通常画像の動きベクトルと同様に補正後の動きベクトルのスケーリングを行う。図１４に示すカレント予測ブロックの参照面がピクチャＡであるのに対して、周辺ブロックの参照面がピクチャ「Ｂ」であると、動きベクトルのスケールが異なる。そのため、周辺ブロックの動きベクトルに対して通常画像と同様のスケーリング処理を行う。通常画像のスケーリングは既存コーデックあるいは、次世代コーデックの規格に従う。
スケーリング処理をＳｃａｌｅ（）とすると、式（１３）に基づき、スケーリング後の動きベクトル（ＭＶＸＮ_ｓｃｌ，ＭＶＹＮ_ｓｃｌ）を算出できる。
（ＭＶＸＮ_scl，ＭＶＹＮ_scl）＝（Ｓｃａｌｅ（ＭＶＸＮ），Ｓｃａｌｅ（ＭＶＹＮ）） ・・・（１３）
また、スケーリング後の動きベクトル（ＭＶＸＮ_scl，ＭＶＹＮ_scl）で示す座標（ＸＧＮ_ＭＶ_scl，ＹＧＮ_ＭＶ_scl）は、式（１４）に示すように式（１０）の座標を加算することで算出できる。
（ＸＧＮ_ＭＶ_scl，ＹＧＮ_ＭＶ_scl）＝（Ｓｃａｌｅ（ＭＶＸＮ）＋ＸＧＮ，Ｓｃａｌｅ（ＭＶＹＮ）＋ＹＧＮ） ・・・（１４）
また、式（１４）で算出された座標（ＸＧＮ_ＭＶ_scl，ＹＧＮ_ＭＶ_scl）に対して補正率テーブルを逆引きすることで、通常画像の座標を魚眼画像の座標に戻し、この魚眼画像の座標から式（１０）で算出した座標（ＸＧＮ，ＹＧＮ）を減じた結果が、適応スケーリング後の動きベクトルとなる。なお、補正率テーブルを逆引きする際に、逆引き前の座標が画角限界よりも外側にあった場合は画角限界値まで引き戻す処理を行う。
したがって、適応スケーリング後の動きベクトル（ｍｖｘｎ_scl，ｍｖｙｎ_scl）は、式（１５）に基づいて算出できる。
（ｍｖｘｎ_scl，ｍｖｙｎ_scl）＝（ＩｎｖＫ（ＸＧＮ_ＭＶ_scl）－ｘｇｎ，ＩｎｖＫ（ＹＧＮ_ＭＶ_scl）－ｙｇｎ） ・・・（１５）
その後は、既存コーデックあるいは次世代コーデックの規格に従ってカレント予測ブロックの算出や差分動きベクトルの算出を上述のように行う。
図１５は、適応スケーリング手順を示すフローチャートである。ステップＳＴ４１でインター予測部４２は魚眼の中心座標を基準とする。インター予測部４２は、上述の式（６）（７）の演算を行い魚眼の中心座標を算出する。さらに、インター予測部４２は、上述の式（８）（９）の演算を行い、周辺ブロックの位置や動きベクトルの基準を魚眼の中心座標としてステップＳＴ４２に進む。
ステップＳＴ４２でインター予測部４２は周辺ブロックの位置を補正する。インター予測部４２は、魚眼の中心座標を基準とする周辺ブロックの位置に対応する補正率を補正率テーブルから取得して、上述の式（１０）の演算を行い、魚眼画像における座標を通常画像における座標に補正してステップＳＴ４３に進む。
ステップＳＴ４３でインター予測部４２は周辺ブロックの動きベクトルが示す位置を補正する。インター予測部４２は、周辺ブロックにおける魚眼の中心座標を基準とした動きベクトルによって示される位置に対応する補正率を補正率テーブルから取得して、上述の式（１１）の演算を行い、魚眼画像における座標を通常画像における座標に補正してステップＳＴ４４に進む。
ステップＳＴ４４でインター予測部４２は周辺ブロックの補正後の動きベクトルを算出する。インター予測部４２は、ステップＳＴ４３で補正された動きベクトルが示す位置とステップＳＴ４２で補正された周辺ブロックの位置を用いて上述の式（１２）の演算を行い、補正後の周辺ブロックの動きベクトル、すなわち通常画像に変換した場合の動きベクトルを算出してステップＳＴ４５に進む。
ステップＳＴ４５でインター予測部４２は動きベクトルの平行スケーリングを行う。インター予測部４２は、ステップＳＴ４４で算出された補正後の動きベクトルが通常画像に変換した場合の動きベクトルであることから上述の式（１３）の演算を行い、通常画像の場合と同様に動きベクトルのスケーリングを行いステップＳＴ４６に進む。
ステップＳＴ４６でインター予測部４２はスケーリング後の動きベクトルが示す位置を算出する。インター予測部４２は、ステップＳＴ４２で算出された通常画像における周辺ブロックの位置と、ステップＳＴ４５で算出されたスケーリング後の動きベクトルを用いて上述の式（１４）の演算を行い、スケーリング後の動きベクトルが示す位置を算出してステップＳＴ４７に進む。
ステップＳＴ４７でインター予測部４２は算出された位置が画角限界を超えるか判別する。インター予測部４２は、ステップＳＴ４６で算出したスケーリング後の動きベクトルによって示される位置が魚眼画像の画角限界を超える場合にステップＳＴ４８に進み、画角限界を超えない場合にステップＳＴ４９に進む。
ステップＳＴ４８でインター予測部４２は位置の引き戻しを行う。インター予測部４２は、ステップＳＴ４６で算出したスケーリング後の動きベクトルによって示される位置が画角限界を超えていることから、ベクトル方向を保持した状態で画角限界まで位置を引き戻してステップＳＴ５０に進む。
ステップＳＴ４７からステップＳＴ４９に進むと、インター予測部４２は逆補正処理を行う。インター予測部４２は、ステップＳＴ４８で算出されたスケーリング後の動きベクトルが示す位置は通常画像における位置であることから、通常画像における位置を魚眼画像における位置に補正するための逆補正率を、補正率テーブルから通常画像における位置に基づいて取得して、取得した逆補正率をスケーリング後の動きベクトルが示す通常画像における位置に乗算することで、魚眼画像における位置に補正してステップＳＴ５０に進む。
ステップＳＴ５０でインター予測部４２は適応スケーリング後の動きベクトルを算出する。インター予測部４２は、魚眼の中心座標を基準とした周辺ブロックの位置とスケーリング後の動きベクトルが示す魚眼画像における位置を用いて上述の式（１５）の演算を行い、魚眼画像におけるスケーリング後の動きベクトルを算出する。
なお、上述の画像符号化装置は、Ｈ．２６５／ＨＥＶＣ規格に対応した符号化ストリームを生成する場合について説明したが、画像符号化装置は、Ｈ．２６４／ＡＶＣ規格等の他の動画像圧縮符号化規格に対応した符号化ストリームを生成する場合であってもよい。また、画像符号化装置では、周辺ブロックの動きベクトルに限らず他の動きベクトルについてスケーリング処理を行ってもよい。例えばＨ．２６４／ＡＶＣ規格のダイレクトモードにおける動きベクトルのスケーリングを行う際に、魚眼情報に基づいて動きベクトルのスケーリングを行うようにしてもよい。
このような画像符号化装置によれば、魚眼情報に基づいて動きベクトルのスケーリング処理を行うことで、符号化対象画像が魚眼画像であっても実際の絵柄に近い予測動きベクトルが作成可能となり、スケーリング処理を行わない場合に比べて効率よく符号化を行うことができる。また、画像符号化装置は、撮像に用いた魚眼レンズの射影方式の特性式と、魚眼歪みのない画像を得る中心射影方式の特性式に基づいて算出した補正率を利用して補正を行うことから、理論的に正しい補正が可能となり、補正を前提とした処理の正確性を増すことができる。また、画像符号化装置は、補正率テーブルを用いることで、補正率を射影方式や魚眼画像における位置等に基づいて算出する場合に比べて補正率の算出が容易となる。
さらに、画像符号化装置は、スケーリング処理は予測動きベクトルの算出に用いる動きベクトルに対して行うことから、カレント予測ブロックの動き情報として差分動きベクトルを用いる場合、カレント予測ブロックの動きベクトルの精度に影響を与えることがない。また、画像符号化装置は、魚眼画像を通常画像に変換する処理を行う必要がないので、復号処理で得られる魚眼画像で画像の欠損を生じることがない。
＜４．画像復号装置の構成＞
図１６は、魚眼画像の符号化ストリームの復号処理を行う画像復号装置の構成を例示しており、画像復号装置５０は、図１に示す画像符号化装置１０に対応する画像復号装置である。画像符号化装置１０で生成された符号化された符号化ストリームは、画像復号装置５０に供給されて復号される。
画像復号装置５０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、演算部６５、デブロッキングフィルタ６６、ＳＡＯフィルタ６７、画面並べ替えバッファ６８を有する。また、画像復号装置５０は、フレームメモリ７１、選択部７２、イントラ予測部７３、補正方式判別部７４、動き補償部７５を有する。
蓄積バッファ６１は、伝送されてきた符号化ストリームを受け取り蓄積する。この符号化ストリームは、所定のタイミングで読み出されて可逆復号部６２へ出力される。
可逆復号部６２は、符号化ストリームを可逆復号化して、得られたイントラ予測モードやインター予測モードを示す情報などのパラメータや魚眼情報をイントラ予測部７３へ出力し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き補償部７５へ出力する。また、可逆復号部６２は、符号化ストリームを可逆復号化して、得られた魚眼情報を補正方式判別部７４へ出力する。
逆量子化部６３は、可逆復号部６２により復号されて得られた量子化データを、図１の量子化部２４の量子化方式に対応する方式で逆量子化する。逆量子化部６３は、逆量子化されたデータを逆直交変換部６４へ出力する。
逆直交変換部６４は、図１の直交変換部２３の直交変換方式に対応する方式で逆直交変換を行い、画像符号化装置１０における直交変換前の残差データに対応する復号残差データを得て演算部６５へ出力する。
演算部６５には、イントラ予測部７３若しくは動き補償部７５から予測画像データが供給される。演算部６５は、復号残差データと予測画像データとを加算して、画像符号化装置１０の演算部２２により予測画像データが減算される前の原画像データに対応する復号画像データを得る。演算部６５は、その復号画像データをデブロッキングフィルタ６６へ出力する。
デブロッキングフィルタ６６は、デブロッキングフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロッキングフィルタ６６は、フィルタ処理後の画像データをＳＡＯフィルタ６７へ出力する。
ＳＡＯフィルタ６７は、デブロッキングフィルタ６６によるフィルタ後の画像データに対してＳＡＯ処理を行う。ＳＡＯフィルタ６７は、可逆復号部６２から供給されるパラメータを用いて、ＬＣＵ毎に、デブロッキングフィルタ６６によるフィルタ後の画像データに対してフィルタ処理を行い、画面並べ替えバッファ６８へ出力する。
画面並べ替えバッファ６８は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ２１により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。
ＳＡＯフィルタ６７の出力は、さらに、フレームメモリ７１に供給される。選択部７２は、イントラ予測に用いられる画像データをフレームメモリ７１から読み出し、イントラ予測部７３へ出力する。また、選択部７２は、インター処理される画像データと参照される画像データをフレームメモリ７１から読み出し、動き補償部７５へ出力する。
イントラ予測部７３には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報等が可逆復号部６２から供給される。イントラ予測部７３は、可逆復号部６２からの情報によって予測モードがイントラ予測であることが示された場合、予測モード情報等に基づいて、フレームメモリ７１から取得した画像データから予測画像データを生成して演算部６５へ出力する。
補正方式判別部７４は、可逆復号部６２から供給された魚眼情報に基づき、魚眼画像の取得に用いた魚眼レンズに対応する補正率テーブルを動き補償部７５へ出力する。なお、補正方式判別部７４と動き補償部７５で動きベクトル補正部が構成される。
動き補償部７５には、ヘッダ情報を復号して得られた情報が可逆復号部６２から供給される。動き補償部７５は、可逆復号部６２からの情報によって予測モードがインター予測であることが示された場合、予測モード情報や動き情報、参照フレーム情報等に基づいて、フレームメモリ７１から取得した画像データから予測画像データを生成して演算部６５へ出力する。また、動き補償部７５は、符号化された画像が魚眼画像で予測画像データを生成する場合、補正方式判別部７４で生成された補正率テーブルを用いて、画像符号化装置１０のインター予測部４２と同様に、カレント予測ブロックの予測動きベクトルの算出に用いる動きベクトルのスケーリング処理を行う。動き補償部７５は、スケーリング処理後の動きベクトルを用いて算出したカレント予測ブロックの動きベクトルを用いて動き補償を行い、予測画像データを生成する。
＜５．画像復号装置の動作＞
次に、画像復号装置の実施の形態の動作について説明する、図１７は画像復号装置の動作を例示したフローチャートである。
復号処理が開始されると、ステップＳＴ１０１において画像復号装置は蓄積処理を行う。画像復号装置５０の蓄積バッファ６１は、伝送されてきた符号化ストリームを受け取り蓄積する。
ステップＳＴ１０２において画像復号装置は可逆復号処理を行う。画像復号装置５０の可逆復号部６２は、蓄積バッファ６１から供給される符号化ストリームを復号する。可逆復号部６２は、ピクチャの復号に先立ち、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、魚眼情報などのパラメータ情報を復号する。予測モード情報がイントラ予測モード情報である場合、予測モード情報や魚眼画像情報は、イントラ予測部７３に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報等は動き補償部７５へ出力される。また、魚眼情報は、補正方式判別部７４へ出力される。
ステップＳＴ１０３において画像復号装置は予測画像生成処理を行う。画像復号装置５０のイントラ予測部７３または動き補償部７５は、可逆復号部６２から供給される予測モード情報に対応して、それぞれ予測画像生成処理を行う。
すなわち、可逆復号部６２からイントラ予測モード情報が供給された場合、イントラ予測部７３はイントラ予測モードのイントラ予測画像データを生成する。可逆復号部６２からインター予測モード情報が供給された場合、動き補償部７５は、インター予測モードの動き補償処理を行い、インター予測画像データを生成する。また、動き補償部７５は、補正方式判別部７４から供給された魚眼画像の取得に用いた魚眼レンズに対応する補正率テーブルを用いて動きベクトルのスケーリング処理等を行い、予測画像データを生成する。イントラ予測部７３により生成された予測画像データ、または動き補償部７５により生成された予測画像データは演算部６５へ出力される。
ステップＳＴ１０４において画像復号装置は逆量子化処理を行う。画像復号装置５０の逆量子化部６３は、可逆復号部６２で得られた量子化データを、図１の量子化部２４の量子化方式に対応する方式で逆量子化して、逆量子化データを逆直交変換部６４へ出力する。
ステップＳＴ１０５において画像復号装置は逆直交変換処理を行う。画像復号装置５０の逆直交変換部６４は、図１の直交変換部２３の直交変換方式に対応する方式で逆直交変換を行い、画像符号化装置１０における直交変換前の残差データに対応する復号残差データを得て演算部６５へ出力する。
ステップＳＴ１０６において画像復号装置は画像加算処理を行う。画像復号装置５０の演算部６５は、イントラ予測部７３若しくは動き補償部７５から供給された予測画像データと、逆直交変換部６４から供給された復号残差データを加算して復号画像データを生成する。演算部６５は、生成した復号画像データをデブロッキングフィルタ６６とフレームメモリ７１へ出力する。
ステップＳＴ１０７において画像復号装置はデブロッキングフィルタ処理を行う。画像復号装置５０のデブロッキングフィルタ６６は、演算部６５より出力された画像に対して、デブロッキングフィルタ処理を行う。これによりブロック歪みが除去される。デブロッキングフィルタ６６からの復号画像は、ＳＡＯフィルタ６７へ出力する。
ステップＳＴ１０８において画像復号装置はＳＡＯ処理を行う。画像復号装置５０のＳＡＯフィルタ６７は、可逆復号部６２から供給されたＳＡＯ処理に関するパラメータを用いて、デブロッキングフィルタ６６によるフィルタ後の画像に対して、ＳＡＯ処理を行う。ＳＡＯフィルタ６７は、ＳＡＯ処理後の復号画像データを画面並べ替えバッファ６８およびフレームメモリ７１へ出力する。
ステップＳＴ１０９において画像復号装置は記憶処理を行う。画像復号装置５０のフレームメモリ７１は、演算部６５から供給されたフィルタ処理前の復号画像データと、デブロッキングフィルタ６６とＳＡＯフィルタ６７によってフィルタ処理が行われた復号画像データを記憶する。
ステップＳＴ１１０において画像復号装置は画面並べ替え処理を行う。画像復号装置５０の画面並べ替えバッファ６８は、ＳＡＯフィルタ６７から供給された復号画像データを蓄積して、蓄積した復号画像データを画像符号化装置１０の画面並べ替えバッファ２１で並べ替えられる前の表示順序に出力する。
このような復号処理を行えば、上述の画像符号化装置１０で生成された符号化ストリームの復号を行い、画像符号化装置１０された魚眼画像を画像復号装置５０から出力できる。
＜６．画像処理装置の他の構成＞
画像処理装置は、従来と同様な通常画像の符号化復号処理と上述の魚眼画像の符号化復号処理を行うようにしてもよい。この場合、符号化復号処理の対象が通常画像と魚眼画像の何れであるかを示す識別情報、例えばフラグ（以下「魚眼フラグＦＥfg」という）を用いる。
魚眼フラグＦＥfgは、例えば「ＦＥfg＝１」の場合、補正率テーブルを用いて上述の符号化復号処理を行う。また、「ＦＥfg＝０」の場合、補正率テーブルを用いることなく従来の符号化復号処理を行う。さらに、魚眼フラグＦＥfgが設けられていない場合、「ＦＥfg＝０」の場合と同様に、補正率テーブルを用いることなく符号化復号処理を行う。
この場合、魚眼情報には、上述の射影方式を示す情報と魚眼半径を示す情報に加えて魚眼フラグＦＥfgを含める。また、射影方式を示す情報と魚眼半径を示す情報は、魚眼フラグＦＥfgが「ＦＥfg＝１」の場合に有効となる。
射影方式を示す情報は、図２に示す４つの射影方式を例えば「０」～「３」の値で識別可能とする。
魚眼半径を示す情報では、半径の長さが示される。このように、半径の長さを示すようにすれば、円形状の魚眼画像が画像端に接していない場合でも上述の処理を行うことができるので、円形状の魚眼画像が画像端に接するように写し方を規定する必要がないため、魚眼画像を取得する際の自由度を高くできる。
また、魚眼情報には、図１２に示す円周魚眼と対角線魚眼の何れのであるかを示すレンズタイプ情報を含めてもよい。例えば「０」「１」の値で円周魚眼と対角線魚眼を識別可能とする。このレンズタイプ情報は、魚眼フラグＦＥfgが「ＦＥfg＝１」の場合に有効となる。このレンズタイプ情報を魚眼情報に含めれば、ピクチャのサイズが決まった後で魚眼半径Ｒを算出できる。また、符号化時にレンズタイプ情報とピクチャサイズが決まれば、魚眼半径Ｒを算出できる。例えば、円周魚眼である場合、魚眼半径Ｒはピクチャの短辺の長さの１／２倍である。また、対角線魚眼である場合、魚眼半径Ｒはピクチャの対角線の長さの１／２倍となる。なお、復号時には魚眼半径を算出する必要がある。また、魚眼半径Ｒがピクチャの短辺の長さの１／２倍よりも小さい場合や、対角線の長さの１／２倍よりも大きい場合など、円形状の魚眼画像がピクチャの画像端と接していない場合は魚眼半径Ｒを算出できない。しかし、レンズタイプが円周魚眼と対角線魚眼の何れかに限定される場合、魚眼半径に代えてレンズタイプ情報を魚眼情報に含めるようにすれば、レンズタイプ情報は魚眼半径を示す情報よりもデータ量を削減できるので、符号化効率を高くすることが可能となる。
このような本技術の画像処理装置によれば、従来の画像処理装置すなわち中心射影方式の通常レンズを用いて取得した画像の符号化復号処理と、互換性を維持できる。
＜７．応用例＞
次に、本技術の画像処理装置の応用例について説明する。本技術の画像処理装置は、例えば魚眼レンズを用いて動画像を撮影する撮像装置に適用できる。この場合、撮像装置に画像符号化装置１０を設ければ、魚眼画像を効率よく符号化して、符号化ストリームを記録媒体に記録あるいは外部機器に出力できる。また、撮像装置に画像復号装置５０を設ければ、符号化ストリームを復号して魚眼画像の記録再生を行うことができる。また、画像符号化装置１０を設けた撮像装置を、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載すれば、移動体の周囲全体の画像を効率よく記録あるいは外部機器に伝送することができるようになる。さらに、魚眼レンズを用いて動画像を撮影する機能を有した携帯型電子機器に本技術の画像処理装置を設ければ、記録媒体に魚眼画像を記録する際に、従来よりもデータ量を削減することが可能となる。
また、復号処理を行う画像処理装置を画像再生装置に設ければ、全天球画像をヘッドマウントディスプレイ等で表示できるようになる。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 魚眼レンズを用いて撮像した魚眼画像におけるカレント予測ブロックの予測動きベクトルの算出に用いる動きベクトルを、前記魚眼レンズおよび前記魚眼画像に関する魚眼情報に基づいてスケーリング処理する動きベクトル補正部を備える画像処理装置。
（２） 前記動きベクトル補正部は、前記魚眼レンズの射影方式と魚眼画像の半径に基づいて前記動きベクトルのスケーリング処理を行う（１）に記載の画像処理装置。
（３） 前記動きベクトル補正部は、前記魚眼レンズの中心からの距離に応じて変化する魚眼歪みを補正する補正率を用いて前記動きベクトルのスケーリング処理を行う（２）に記載の画像処理装置。
（４） 前記動きベクトル補正部は、前記補正率と前記魚眼画像の半径を用いて、前記魚眼画像における前記動きベクトルを前記魚眼歪みのない画像における動きベクトルに変換してスケーリングを行い、スケーリング後の前記動きベクトルを前記魚眼画像における動きベクトルに変換する（３）に記載の画像処理装置。
（５） 前記動きベクトル補正部は、正規化された前記補正率を示す前記魚眼レンズの射影方式毎の補正率テーブルから、前記撮像に用いた魚眼レンズに対応する補正率テーブルを用いて前記スケーリング処理を行う（３）または（４）に記載の画像処理装置。
（６） 前記動きベクトル補正部は、前記射影方式毎の補正率テーブルを予め保持する（５）に記載の画像処理装置。
（７） 前記補正率は、前記魚眼レンズの射影方式の特性式と、前記魚眼歪みのない画像を得る中心射影方式の特性式に基づいて算出する（３）乃至（５）の何れかに記載の画像処理装置。
（８） 前記予測動きベクトルの算出に用いる動きベクトルは、前記カレント予測ブロックに対する周辺ブロックの動きベクトルである（１）乃至（７）の何れかに記載の画像処理装置。
（９） 前記魚眼画像の符号化ストリームに前記撮像に用いた魚眼レンズに関する魚眼情報を含める可逆符号化部をさらに備える（１）乃至（８）の何れかに記載の画像処理装置。
（１０） 前記可逆符号化部は、前記符号化ストリームに前記スケーリング処理を行うか否かを示す情報を含める（９）に記載の画像処理装置。
（１１） 前記魚眼情報は、前記魚眼レンズの射影方式を示す情報と前記魚眼画像の半径を示す情報を含む（９）または（１０）に記載の画像処理装置。
（１２） 前記魚眼情報は、前記魚眼画像の半径を示す情報に代えて、光学像の投影方式を示す情報を含む（１１）に記載の画像処理装置。
（１３） 前記魚眼画像の符号化ストリームを復号する可逆復号部をさらに備え、
前記動きベクトル補正部は、前記可逆復号部で前記符号化ストリームを復号して得られた前記撮像に用いた魚眼レンズに関する魚眼情報を用いて前記スケーリング処理を行う（１）乃至（８）の何れかに記載の画像処理装置。
（１４） 前記動きベクトル補正部は、前記可逆復号部で前記符号化ストリームを復号して得られた情報で、前記スケーリング処理を行うことが示された場合、前記魚眼情報を用いて前記スケーリング処理を行う（１３）に記載の画像処理装置。
この技術の画像処理装置と画像処理方法によれば、魚眼レンズを用いて撮像した魚眼画像におけるカレント予測ブロックの予測動きベクトルの算出に用いる動きベクトルが、魚眼レンズおよび魚眼画像に関する魚眼情報に基づいてスケーリング処理される。このため、スケーリング処理が行われていない場合よりも高い符号化効率で魚眼画像の符号化処理または復号処理を行える。したがって、魚眼画像の記録や再生，伝送等を行う電子機器や移動体装置等に適している。
１０・・・画像符号化装置
２１，６８・・・画面並べ替えバッファ
２２，３３，６５・・・演算部
２３・・・直交変換部
２４・・・量子化部
２５・・・可逆符号化部
２６・・・蓄積バッファ
２７・・・レート制御部
３１，６３・・・逆量子化部
３２，６４・・・逆直交変換部
３４，６６・・・デブロッキングフィルタ
３５，６７・・・ＳＡＯフィルタ
３６，７１・・・フレームメモリ
３７，７２・・・選択部
４０，７４・・・補正方式判別部
４１，７３・・・イントラ予測部
４２・・・インター予測部
４３・・・予測選択部
５０・・・画像復号装置
６１・・・蓄積バッファ
６２・・・可逆復号部
７５・・・動き補償部

Claims (11)

  1. 魚眼レンズを用いて撮像した魚眼画像におけるカレント予測ブロックの予測動きベクトルの算出に用いる動きベクトルを、前記魚眼レンズの中心からの距離に応じて変化する魚眼歪みを補正する補正率および前記魚眼画像の半径を示す魚眼情報に基づいて、前記魚眼歪みのない画像における動きベクトルに変換するスケーリング処理を実行し、前記スケーリング処理後の前記動きベクトルを前記魚眼画像における動きベクトルに変換する動きベクトル補正部
    を備える画像処理装置。
  2. 前記魚眼情報はさらに前記魚眼レンズの射影方式を示し、
    前記動きベクトル補正部は、正規化された前記補正率を示す前記魚眼レンズの射影方式毎の補正率テーブルから、前記撮像に用いた魚眼レンズに対応する補正率テーブルを用いて前記スケーリング処理を行う
    請求項１に記載の画像処理装置。
  3. 前記動きベクトル補正部は、前記射影方式毎の補正率テーブルを予め保持する
    請求項２に記載の画像処理装置。
  4. 前記予測動きベクトルの算出に用いる動きベクトルは、前記カレント予測ブロックに対する周辺ブロックの動きベクトルである
    請求項１に記載の画像処理装置。
  5. 前記魚眼画像の符号化ストリームに前記撮像に用いた魚眼レンズに関する魚眼情報を含める可逆符号化部をさらに備える
    請求項１に記載の画像処理装置。
  6. 前記可逆符号化部は、前記符号化ストリームに前記スケーリング処理を行うか否かを示す情報を含める
    請求項５に記載の画像処理装置。
  7. 前記魚眼画像の符号化ストリームを復号する可逆復号部をさらに備え、
    前記動きベクトル補正部は、前記可逆復号部で前記符号化ストリームを復号して得られた前記撮像に用いた魚眼レンズに関する魚眼情報を用いて前記スケーリング処理を行う
    請求項１に記載の画像処理装置。
  8. 前記動きベクトル補正部は、前記可逆復号部で前記符号化ストリームを復号して得られた情報で、前記スケーリング処理を行うことが示された場合、前記魚眼情報を用いて前記スケーリング処理を行う
    請求項７に記載の画像処理装置。
  9. 魚眼レンズを用いて撮像した魚眼画像におけるカレント予測ブロックの予測動きベクトルの算出に用いる動きベクトルを、前記魚眼レンズおよび前記魚眼画像に関する魚眼情報に基づいてスケーリング処理する動きベクトル補正部
    を備え、
    前記魚眼情報が、
    前記魚眼レンズの射影方式、
    魚眼画像の半径、および
    前記魚眼レンズの射影方式の特性式と、前記魚眼レンズの中心からの距離に応じて変化する魚眼歪みのない画像を得る中心射影方式の特性式に基づいて算出された、前記魚眼歪みを補正する補正率を示す、
    画像処理装置。
  10. 魚眼レンズを用いて撮像した魚眼画像におけるカレント予測ブロックの予測動きベクトルの算出に用いる動きベクトルを、前記魚眼レンズの中心からの距離に応じて変化する魚眼歪みを補正する補正率および前記魚眼画像の半径を示す魚眼情報に基づいて、前記魚眼歪みのない画像における動きベクトルに変換するスケーリング処理を実行するステップと、
    前記スケーリング処理後の前記動きベクトルを前記魚眼画像における動きベクトルに変換するステップと、
    を含む画像処理方法。
  11. 魚眼レンズを用いて撮像した魚眼画像におけるカレント予測ブロックの予測動きベクトルの算出に用いる動きベクトルを、前記魚眼レンズおよび前記魚眼画像に関する魚眼情報に基づいて動きベクトル補正部でスケーリング処理することを含み、
    前記魚眼情報が、
    前記魚眼レンズの射影方式、
    魚眼画像の半径、および
    前記魚眼レンズの射影方式の特性式と、前記魚眼レンズの中心からの距離に応じて変化する魚眼歪みのない画像を得る中心射影方式の特性式に基づいて算出された、前記魚眼歪みを補正する補正率を示す、
    画像処理方法。
JP2020505588A 2018-03-16 2018-12-04 画像処理装置と画像処理方法 Active JP7310794B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018049200 2018-03-16
JP2018049200 2018-03-16
PCT/JP2018/044524 WO2019176189A1 (ja) 2018-03-16 2018-12-04 画像処理装置と画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2019176189A1 JPWO2019176189A1 (ja) 2021-03-25
JP7310794B2 true JP7310794B2 (ja) 2023-07-19

Family

ID=67907557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020505588A Active JP7310794B2 (ja) 2018-03-16 2018-12-04 画像処理装置と画像処理方法

Country Status (5)

Country Link
US (1) US11245919B2 (ja)
JP (1) JP7310794B2 (ja)
KR (1) KR20200131231A (ja)
CN (1) CN111837394B (ja)
WO (1) WO2019176189A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114222136B (zh) * 2019-06-25 2024-10-01 Oppo广东移动通信有限公司 运动补偿的处理方法、编码器、解码器以及存储介质
US11720995B2 (en) 2021-06-04 2023-08-08 Ford Global Technologies, Llc Image rectification

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008193458A (ja) 2007-02-06 2008-08-21 Victor Co Of Japan Ltd カメラ画像圧縮処理装置及び圧縮処理方法
JP2009290889A (ja) 2009-08-07 2009-12-10 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
JP2011023885A (ja) 2009-07-14 2011-02-03 Canon Inc 映像符号化装置及び映像符号化方法
JP2017120980A (ja) 2015-12-28 2017-07-06 Kddi株式会社 インター予測装置、インター予測方法、動画像符号化装置、動画像復号装置及びコンピュータ可読記録媒体
JP2017536002A (ja) 2014-10-27 2017-11-30 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像予測方法および関連装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295626A (ja) * 2005-04-12 2006-10-26 Canon Inc 魚眼像処理装置及びその方法並びに魚眼像撮像装置
JP2008011079A (ja) * 2006-06-28 2008-01-17 Matsushita Electric Ind Co Ltd 動画像符号化装置、動画像復号化装置及び動画像伝送システム
JP4629131B2 (ja) * 2008-09-03 2011-02-09 大日本印刷株式会社 画像変換装置
JP5631229B2 (ja) * 2011-01-31 2014-11-26 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP2014176034A (ja) * 2013-03-12 2014-09-22 Ricoh Co Ltd 映像伝送装置
JP6614472B2 (ja) * 2013-09-30 2019-12-04 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
KR101904480B1 (ko) * 2014-12-26 2018-10-04 재단법인 다차원 스마트 아이티 융합시스템 연구단 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
JP2017208619A (ja) * 2016-05-16 2017-11-24 株式会社リコー 画像処理装置、画像処理方法、プログラム及び撮像システム
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
US10699389B2 (en) * 2016-05-24 2020-06-30 Qualcomm Incorporated Fisheye rendering with lens distortion correction for 360-degree video
KR102560029B1 (ko) * 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
US10330935B2 (en) * 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
KR102503342B1 (ko) * 2017-01-10 2023-02-28 삼성전자주식회사 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치
US10506255B2 (en) * 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008193458A (ja) 2007-02-06 2008-08-21 Victor Co Of Japan Ltd カメラ画像圧縮処理装置及び圧縮処理方法
JP2011023885A (ja) 2009-07-14 2011-02-03 Canon Inc 映像符号化装置及び映像符号化方法
JP2009290889A (ja) 2009-08-07 2009-12-10 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
JP2017536002A (ja) 2014-10-27 2017-11-30 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像予測方法および関連装置
JP2017120980A (ja) 2015-12-28 2017-07-06 Kddi株式会社 インター予測装置、インター予測方法、動画像符号化装置、動画像復号装置及びコンピュータ可読記録媒体

Also Published As

Publication number Publication date
CN111837394A (zh) 2020-10-27
WO2019176189A1 (ja) 2019-09-19
KR20200131231A (ko) 2020-11-23
US20200404318A1 (en) 2020-12-24
CN111837394B (zh) 2024-01-26
JPWO2019176189A1 (ja) 2021-03-25
US11245919B2 (en) 2022-02-08

Similar Documents

Publication Publication Date Title
JP5631229B2 (ja) 撮像装置、その制御方法及びプログラム
US11758179B2 (en) Image encoding method, image encoding device, image decoding method, and image decoding device
KR101482896B1 (ko) 최적화된 디블록킹 필터
JP2010016454A (ja) 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
RU2684193C1 (ru) Устройство и способ для компенсации движения в видеоизображении
KR102161888B1 (ko) 보조 프레임을 지원하는 비디오 코딩 포맷으로 비디오 스트림을 인코딩하기 위한 인코더 및 방법
JP2012257198A (ja) 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置
CN101032173A (zh) 编码装置、编码方法、编码方法的程序及其记录介质
JP7310794B2 (ja) 画像処理装置と画像処理方法
CN112352425B (zh) 图像处理装置和图像处理方法
US20140233645A1 (en) Moving image encoding apparatus, method of controlling the same, and program
JP5441812B2 (ja) 動画像符号化装置、及びその制御方法
WO2010035735A1 (ja) 画像処理装置および方法
US11202082B2 (en) Image processing apparatus and method
WO2020170554A1 (ja) 画像処理装置と画像処理方法
JP5171675B2 (ja) 画像処理装置、およびそれを搭載した撮像装置
US11317114B2 (en) Image processing apparatus and image processing method to increase encoding efficiency of two-dimensional image
JP4561701B2 (ja) 動画像符号化装置
JP2022158242A (ja) 符号化装置及び方法
JP2012222460A (ja) 動画像符号化装置、動画像符号化方法及びプログラム
JP5943757B2 (ja) 画像符号化装置及びその方法
CN117044196A (zh) 编码设备和方法
JPWO2009128208A1 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、および動画像復号化方法
JP2009005090A (ja) 符号化装置及び符号化の方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R151 Written notification of patent or utility model registration

Ref document number: 7310794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151