JP3648135B2 - 復号化装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばデジタル放送で利用される画像処理装置及び方法、画像符号化装置及び方法並びに画像復号化装置及び方法に関するものである。
【０００２】
【従来の技術】
画像をデジタルデータに符号化した後に伝送し及び／又は蓄積する技術は、デジタル放送やデジタルＶＴＲに利用されている。現在広く使用されているＭＰＥＧ−２規格の次の規格として標準化されたＭＰＥＧ−４規格は、画像を前景と背景とに分離して符号化するオブジェクトベース符号化と称されている。
【０００３】
オブジェクトベース符号化は、画像を前景と背景とに分離することによって符号化の効率を向上させる特徴を有する。特にＭＰＥＧ−４規格では、スプライト符号化という手法が取り入れられている。この場合、背景用の画像であるスプライトを符号化し、復号化の際にこの画像の一部を任意の位置から切り出して、復号化画像の背景とする。
【０００４】
スプライト手法では、背景用の画像及び復号化の際に切り出すための位置パラメータのみを符号化すればよいので、画像をフレームごとに符号化する必要がなく、画像の符号化効率を向上させることができる。
【０００５】
スプライトを動画像から作成する技術は、パノラマ画像処理やイメージモザイク処理と称される画像の張り合わせ技術である。その処理では、画像を張り合わせる位置を決定するために、カメラのパンやズームのようなカメラパラメータを画像信号から推定し又は直接カメラの雲台等から計測する。
【０００６】
また、カメラレンズの幾何学的な歪を補正し及び除去してから貼り合せが行われる。このようなレンズ歪を複数のパラメータによるモデルによって定式化できることは、例えば１９９８年に新技術コミュニケーションズから刊行された松山等による文献「コンピュータビジョン：技術評論と将来展望」の４２−４３頁に記載されている。
【０００７】
なお、スプライトから動画像を復元する際にレンズ歪を逆に付加することによって、元の動画像を再生することができる。
【０００８】
【発明が解決しようとする課題】
従来、動画像の背景用の画像を復号化するに当たり、動画像撮影時のレンズ歪値の逆補正を考慮していない。しかしながら、レンズ歪値の逆補正を考慮しない場合、符号化の際にレンズ歪を補正した精度の高い画像を作成したとしても、復号化の際に元の動画像を忠実に再現することができない。
【０００９】
その結果、レンズ歪を除去する補正を行った背景用の画像を、別に撮影したレンズ歪を有する前景用の画像と合成する際に、レンズ歪の有無によって画像に違和感が生じる。
【００１０】
本発明の目的は、再現された画像の違和感を軽減し又はなくす画像処理装置及び方法、画像符号化装置及び方法並びに画像復号化装置及び方法を提供することである。
【００１１】
【課題を解決するための手段】
本発明による復号化装置は、画像を前景画像と背景画像とに分離して符号化し、復号化処理の後に前景画像と背景画像とを合成するオブジェクトベース符号化技術に用いられる復号化装置において、
レンズ歪みが除去された静止画であるスプライトを表すデジタルデータ、スプライトから背景画像を切り出すためのパラメータを表すデジタルデータ、及び、表示すべき画像を正又は負に歪曲させるカメラレンズのレンズ歪み量を表すデジタルデータを符号化装置から受け取り、これらデジタルデータをそれぞれ復号化し、前記スプライトを表す背景画像復号化信号、前記スプライトから背景画像を切り出すためのパラメータを表すカメラパラメータ復号化信号、及び、前記カメラレンズのレンズ歪み量を表すレンズ歪み量復号化信号をそれぞれ出力する復号化手段と、
前記背景画像復号化信号及び前記カメラパラメータ復号化信号を受け取り、前記背景画像復号化信号から前記カメラパラメータ復号化信号に基づき背景画像を表す画像信号を切り出す手段と、
切り出された背景画像を表す前記画像信号及び前記レンズ歪み量復号化信号を受け取り、前記レンズ歪みが除去されている背景画像に前記レンズ歪み量復号化信号が表すレンズ歪み量を付加するレンズ歪み付加手段とを具えることを特徴とする。
【００１２】
本発明によれば、復号化の際に動画像にレンズ歪量を付加するので、違和感が軽減され又はなくなる動画像を生成することができる。
【００１３】
本発明を説明するための参考例である画像符号化装置は、
動画像中の背景用の画像を取得するためのパラメータを取得するパラメータ取得手段と、
そのパラメータを用いて前記背景用の画像を取得する静止画像取得手段と、
カメラのレンズ歪量を検出するレンズ歪量検出手段と、
前記パラメータ、背景用の画像及びレンズ歪量を符号化する符号化手段とを具えることを特徴とするものである。
【００１４】
本発明によれば、復号化の際に動画像にレンズ歪量を付加することができるので、違和感が軽減され又はなくなる動画像を生成することができる。
【００１５】
本発明を説明するための参考例である画像復号化装置は、
符号化されたパラメータ、背景用の画像及びレンズ歪量を復号化する復号化手段と、
復号化されたパラメータを用いて、復号化された背景用の画像から動画像を取得する動画像取得手段と、
取得した動画像に復号化されたレンズ歪量を付加するレンズ歪量付加手段とを具えることを特徴とするものである。
【００１６】
本発明によれば、復号化の際に動画像にレンズ歪量を付加するので、違和感が軽減され又はなくなる動画像を生成することができる。
【００１７】
本発明を説明するための参考例である画像処理方法は、
動画像中の背景用の画像を取得するためのパラメータを取得するパラメータ取得ステップと、
そのパラメータを用いて前記背景用の画像を取得する静止画像取得ステップと、
カメラのレンズ歪量を検出するレンズ歪量検出ステップと、
前記パラメータ、背景用の画像及びレンズ歪量を符号化する符号化ステップと、
符号化されたパラメータ、背景用の画像及びレンズ歪量を復号化する復号化ステップと、
復号化されたパラメータを用いて、復号化された背景用の画像から動画像を取得する動画像取得ステップと、
取得した動画像に復号化されたレンズ歪量を付加するレンズ歪量付加ステップとを具えることを特徴とするものである。
【００１８】
本発明によれば、復号化の際に動画像にレンズ歪量を付加するので、違和感が軽減され又はなくなる動画像を生成することができる。
【００１９】
本発明を説明するための参考例である画像符号化方法は、
動画像中の背景用の画像を取得するためのパラメータを取得するパラメータ取得ステップと、
そのパラメータを用いて前記背景用の画像を取得する静止画像取得ステップと、
カメラのレンズ歪量を検出するレンズ歪量検出ステップと、
前記パラメータ、背景用の画像及びレンズ歪量を符号化する符号化ステップとを具えることを特徴とするものである。
【００２０】
本発明によれば、復号化の際に動画像にレンズ歪量を付加することができるので、違和感が軽減され又はなくなる動画像を生成することができる。
【００２１】
本発明を説明するための参考例である画像復号化方法は、
符号化されたパラメータ、背景用の画像及びレンズ歪量を復号化する復号化ステップと、
復号化されたパラメータを用いて、復号化された背景用の画像から動画像を取得する動画像取得ステップと、
取得した動画像に復号化されたレンズ歪量を付加するレンズ歪量付加ステップとを具えることを特徴とするものである。
【００２２】
本発明によれば、復号化の際に動画像にレンズ歪量を付加するので、違和感が軽減され又はなくなる動画像を生成することができる。
【００２３】
【発明の実施の形態】
本発明による画像処理装置及び方法、画像符号化装置及び方法並びに画像復号化装置及び方法の実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による画像処理装置の実施の形態を示す図である。この画像処理装置は、レンズ歪補正回路１と、大画像生成回路２と、符号化回路３と、復号化回路４と、動画像切り出し回路５と、レンズ歪付加回路６とを具える。
【００２４】
レンズ歪補正回路１は、動画像信号Ａの各フレーム画像に対し、カメラレンズの歪量信号Ｂを用いて補正を行う。なお、レンズ歪とは、図２に示すように、レンズ７によって矩形の物体８を撮影した場合に、歪曲を有する像９ａ，９ｂが生じてしまう現象のことをいう。像９ａ（図２Ａ）のような糸巻き型の歪曲を正の歪曲といい、像９ｂ（図２Ｂ）のような樽型の歪曲を負の歪曲という。
【００２５】
上記文献に記載されているように、レンズ歪の補正を画面の座標に施すためのモデルが提案されており、その手順を以下説明する。
撮影されたレンズ歪を有する画像の座標を（Ｘｄ，Ｙｄ）とし、レンズ歪を補正した後の座標を（Ｘｕ，Ｙｕ）とすると、以下の関係が成立する。
【００２６】
【数１】

【００２７】
この場合、Ｄｘ，Ｄｙは、レンズの半径方向の歪であり、歪係数κ_１，κ_２を用いて次のように表される。
【００２８】
【数２】

【００２９】
ただし、κ_２を零とする場合が多い。補正された座標に対応して、輝度及び色度信号値を周辺画素からの内挿計算によって求め、レンズ歪補正動画像信号Ｃが出力される。
【００３０】
大画像生成回路２では、レンズ歪補正動画像信号Ｃの各フレーム画像を位置合わせを行いながら１枚の画像に貼り合せる。貼り合わせ位置は、動画像信号Ａから推定され又は直接カメラの雲台等から計測されたカメラのパンやズームのようなカメラパラメータ信号Ｄが入力されることによって決定される。その結果、全てのフレームに対して貼り合せた静止画像である背景用画像信号Ｅが出力される。
【００３１】
符号化回路３では、レンズ歪量信号Ｂ、カメラパラメータ信号Ｄ及び背景用画像信号Ｅが符号化され、デジタルデータ信号Ｆが生成される。復号化回路４では、符号化されたデジタルデータ信号Ｆを復号化して、背景用画像復号化信号Ｇ、カメラパラメータ復号化信号Ｈ及びレンズ歪量復号化信号Ｉを生成する。
【００３２】
動画像切り出し回路５では、カメラパラメータ復号化信号Ｈを用いて、復号化された背景用画像復号化信号Ｇから、画像生成回路２で行われた手順と逆の手順で各フレーム画像を切り出し、動画像復号化信号Ｊを生成する。
【００３３】
レンズ歪付加回路６では、動画像復号化信号Ｊに対して、レンズ歪量復号化信号Ｉを用いて、レンズ歪補正回路１で行われた手順と逆の手順で動画像の各フレーム画像にレンズ歪を付加し、すなわち、レンズ歪逆補正を行い、背景画像信号Ｋを生成する。
【００３４】
本実施の形態によれば、復号化の際にレンズ歪値の逆補正を考慮しているので、違和感が軽減し又はなくなる前景用画像との合成画像を取得することができる。
【００３５】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、上記実施の形態では動画像について説明したがレンズ歪補正回路１においてレンズ歪の補正を画面の座標に施す際に、他の方法を用いることができる。
【図面の簡単な説明】
【図１】 本発明による画像処理装置の実施の形態を示す図である。
【図２】 レンズ歪を説明するための図である。
【符号の説明】
１ レンズ歪補正回路
２ 大画像生成回路
３ 符号化回路
４ 復号化回路
５ 動画像切り出し回路
６ レンズ歪付加回路
７ レンズ
８ 物体
９ａ，９ｂ 像
Ａ，Ｋ 動画像信号
Ｂ 歪量信号
Ｃ レンズ歪補正動画像信号
Ｄ カメラパラメータ信号
Ｅ 背景用画像信号
Ｆ デジタルデータ信号
Ｇ 背景用画像復号化信号
Ｈ カメラパラメータ復号化信号
Ｉ レンズ歪量復号化信号
Ｊ 動画像復号化信号

Claims (1)

1. 画像を前景画像と背景画像とに分離して符号化し、復号化処理の後に前景画像と背景画像とを合成するオブジェクトベース符号化技術に用いられる復号化装置において、
   レンズ歪みが除去された静止画であるスプライトを表すデジタルデータ、スプライトから背景画像を切り出すためのパラメータを表すデジタルデータ、及び、表示すべき画像を正又は負に歪曲させるカメラレンズのレンズ歪み量を表すデジタルデータを符号化装置から受け取り、これらデジタルデータをそれぞれ復号化し、前記スプライトを表す背景画像復号化信号、前記スプライトから背景画像を切り出すためのパラメータを表すカメラパラメータ復号化信号、及び、前記カメラレンズのレンズ歪み量を表すレンズ歪み量復号化信号をそれぞれ出力する復号化手段と、
   前記背景画像復号化信号及び前記カメラパラメータ復号化信号を受け取り、前記背景画像復号化信号から前記カメラパラメータ復号化信号に基づき背景画像を表す画像信号を切り出す手段と、
   切り出された背景画像を表す前記画像信号及び前記レンズ歪み量復号化信号を受け取り、前記レンズ歪みが除去されている背景画像に前記レンズ歪み量復号化信号が表すレンズ歪み量を付加するレンズ歪み付加手段とを具えることを特徴とする復号化装置。

Images