JP7382186B2 - 符号化装置、復号装置、及びプログラム - Google Patents

Description

本発明は、符号化装置、復号装置、及びプログラムに関し、特に、インテグラル３Ｄ（３次元）映像の表示や自由視点映像の表示に必要となる多視点画像の符号化装置、復号装置、及びプログラムに関する。

インテグラル３Ｄ映像を表示する要素画像群を撮影することができるカメラとして、撮像素子のセンサーの手前にレンズアレイを配置するライトフィールドカメラが製品化されている。しかし、一般にライトフィールドカメラは撮影後のリフォーカス機能を目的としている。そのため、ライトフィールドカメラで撮影した画像を用いてインテグラル３Ｄ映像を表示すると、ライトフィールドカメラを構成するメインレンズの直径が、被写体までの距離に比べて小さな値となることから、運動視差が小さく、３次元映像の奥行を十分に再現することができない。この問題は、メインレンズの直径を大きくすることやカメラと被写体との距離を短くすることで理論上は解決することができるが、これらの対策による問題解決は実用的ではない。

そこで、通常のカメラを水平・垂直の２次元配列に並べたカメラアレイを用いて、多視点映像を撮影することが考えられている。この場合の要素画像群の生成は、カメラアレイで撮影された複数の映像から視点内挿処理を用いることでカメラ間の視点映像を生成、その後、カメラアレイで撮影した映像と視点内挿映像から要素画像群に変換する処理が行われる（特許文献１）。ここで、カメラアレイのカメラ間距離は、カメラから被写体までの距離や、視点内挿が実用的に可能な距離、表示装置で再現できる視域角によって設計できることが知られている。また、視点内挿処理ではカメラから被写体までの距離を相対的に表現するデプスマップ（奥行き画像）を用いることで高精度な内挿画像の生成が行われている。デプスマップは、画像処理技術による奥行き推定や赤外線を用いて光学的に距離を測定する方法で生成される。このデプスマップ生成の精度を上げると、視点内挿の精度も向上する。

インテグラル３Ｄ映像の表示について、３次元映像を再現できる奥行は隣接する多視点画像間の視差、レンズアレイの焦点距離、および要素画像の画素数に関係する。その中でも３次元映像を再現できる奥行きを広げるためには、要素画像の画素数を増やすことが有効であると知られている。この場合、要素画像の画素数は多視点画像の視点数と等しくなることから、奥行きのある３次元映像を生成するためには符号化対象となる多視点画像の視点数が多く必要になり、３次元映像を表示するための情報量は膨大となる。

インテグラル３Ｄ映像の伝送や記録では、３次元映像を表示するための膨大な情報量を符号化する。符号化では、要素画像群を多視点画像群に変換後に多視点映像符号化を行う方法や、変換後の多視点映像を符号化時に間引き、復号時に視点内挿する方法が知られている。

また将来的には、インテグラル３Ｄ映像のテレビ放送も想定されている。インテグラル３Ｄ映像のテレビ放送を行う際には、従来のテレビ放送（以下、２Ｄ（２次元）用放送映像という。）との互換性を確保することが要求される。

特開２０１６－１５８２１３号公報

しかしながら、従来の多視点映像符号化では、符号化の対象である多視点画像間の視差が大きくなると視点補償予測の精度が低下し、符号化効率が悪化する。また、多視点映像の視点数を増やして符号化する場合には、符号化を行う３次元映像の情報量が多くなってしまい高効率な圧縮ができない。

また、インテグラル３Ｄ映像のテレビ放送と、従来の２Ｄ用放送映像の同時配信に関しては、インターネット回線を利用した配信では、送信側は受信機からのそれぞれの表示端末に適した画像形式のデータの要求後に、要求されたデータを送信するため、同時配信は大きな問題にはならないが、放送波での伝送を想定した場合では、従来放送との互換性を確保するためにインテグラル３Ｄ映像と２Ｄ用放送映像とを表示する両方の情報を送信することが必要になる。したがって、インテグラル３Ｄ映像に２Ｄ用放送映像を加えた膨大なデータ量を符号化するため、高い符号化効率で符号化を行うことが求められる。

したがって、上記のような問題点に鑑みてなされた本発明の目的は、多視点映像を高い符号化効率で圧縮・符号化することができる符号化装置、復号装置、及びプログラムを提供することにある。

上記課題を解決するために、本発明は、符号化側では、多視点画像を要素画像群に変換して符号化処理を行う。要素画像群に対してイントラブロックコピー機能を持つ映像符号化方式で圧縮を行うことで情報量を削減する。また、復号側では、復号した要素画像群を多視点画像に変換し、視点内挿処理をした後に要素画像群への変換を行う。さらに、要素画像の一部に２Ｄ用放送映像のピクセルを導入する。なお、本明細書で「画像」とは、動画像を含み、いわゆる「映像」であってよい。

上記課題を解決するために本発明に係る符号化装置は、入力された多視点画像群に対して視点間引き処理を行う視点間引き部と、視点間引きされた多視点画像群を符号化用要素画像群に変換する多視点画像要素画像変換部と、前記符号化用要素画像群を符号化処理する符号化部とを備えることを特徴とする。

また、前記符号化装置は、前記符号化処理が、イントラブロックコピー機能を有する符号化ツールを用いることが望ましい。

また、前記符号化装置は、前記符号化用要素画像群の要素画像の画素サイズを符号化のブロック単位と等しくすることが望ましい。

また、前記符号化装置は、さらに２Ｄ（２次元）画像が入力され、前記多視点画像要素画像変換部は、前記符号化用要素画像群の各要素画像に前記２Ｄ画像の対応する画素又は画素ブロックを埋め込むことが望ましい。

上記課題を解決するために本発明に係る復号装置は、入力された画像符号化データを復号し、符号化用要素画像群を作成する復号部と、前記符号化用要素画像群を多視点画像群に変換する要素画像多視点画像変換部と、前記多視点画像群に基づいて各多視点画像の奥行き推定を行い、デプスマップを生成する奥行き推定部と、前記多視点画像群と生成された前記デプスマップに基づいて、前記多視点画像群の視点間の視点内挿を行う視点内挿処理部とを備えることを特徴とする。

また、前記復号装置は、視点内挿された多視点画像群を要素画像群に変換する多視点画像要素画像変換部をさらに備え、前記要素画像群を出力することが望ましい。

また、前記復号装置は、前記符号化用要素画像群は、２Ｄ（２次元）画像が埋め込まれており、前記要素画像多視点画像変換部は、前記符号化用要素画像群の各要素画像から前記２Ｄ画像の画素又は画素ブロックを抽出し、集積して２Ｄ画像を再生して出力することが望ましい。

上記課題を解決するために本発明に係るプログラムは、コンピュータを、前記符号化装置として機能させることを特徴とする。

上記課題を解決するために本発明に係るプログラムは、コンピュータを、前記復号装置として機能させることを特徴とする。

本発明における符号化装置、復号装置、及びプログラムによれば、多視点映像を高い符号化効率で圧縮・符号化することができる。

第１の実施形態の符号化装置及び復号装置のブロック図の例である。 多視点画像群から符号化用要素画像群への変換を説明する図である。 復号装置における多視点画像群から要素画像群への変換を説明する図である。 第２の実施形態の符号化装置及び復号装置のブロック図の例である。 多視点画像群から２Ｄ画像を埋め込んだ符号化用要素画像群への変換を説明する図である。

以下、本発明の実施の形態について説明する。

（第１の実施形態）
図１に、本発明の第１の実施形態の符号化装置及び復号装置のブロック図の例を示す。符号化装置１０と復号装置２０は、全体として符号化・復号システムを構成する。符号化装置１０と復号装置２０の間は、情報通信が可能な任意の伝送路で結ばれていてもよく、この場合は、両者は送信装置１０と受信装置２０として機能する。このときの送受信方法としては、放送システム、電波通信、有線・無線ネットワーク等を利用することができる。また、両者をそれぞれ独立した装置とし、記録媒体等を用いて符号化装置１０から復号装置２０へのデータの授受を行ってもよい。

以下、符号化装置１０、復号装置２０それぞれについて、詳細に説明する。

［符号化装置］
符号化装置１０は、視点間引き部１１、多視点画像要素画像変換部１２、及び符号化部１３を備えている。

入力画像は、例えば、カメラ（例えば、ＣＭＯＳセンサ）が縦横２２×２２個（＝４８４個）配列された多視点カメラで取得した多視点画像群である。１視点の画像のそれぞれは、カラーのテクスチャー画像である。入力画像は、視点間引き部１１に入力される。

視点間引き部１１は、入力された多視点画像群について、等間隔で視点を間引く視点間引き処理を行う。例えば、２２×２２の視点を間引いて８×８視点の画像に縮小する。間引きされた多視点画像群は、多視点画像要素画像変換部１２に出力される。

多視点画像要素画像変換部１２は、入力された（間引きされた）多視点画像群を符号化用要素画像群に変換する。ここで、符号化用要素画像群への変換について、図２を用いて説明する。

図２（Ａ）は、多視点画像群（単に、多視点画像ということもある。）であり、画像群の中央部の２つの視点の画像を上部に拡大して示す。多視点画像群は、例えば、カメラアレイで撮影された画像であり、上部の２つの画像は、対象物を隣接したカメラで撮影した画像に対応する。多視点画像群を構成する各画像が１つの視点の画像に対応し、各視点画像は対象物に対して互いに視差を生じる。なお、多視点画像群を構成する各視点画像は、実際に撮影された画像のみではなく、視点内挿等により作成された画像を含んでもよい。図２（Ａ）の全体（２２×２２＝４８４視点）の多視点画像群が入力画像であり、この内、丸印が付された画像が、符号化用要素画像群への変換で使用する多視点画像（この例では、８×８＝６４視点）である。丸印の付されていない視点の画像は、データ量を削減するため視点間引き部１１で間引かれ、その後の処理には使用されない。

図２（Ｂ）は、符号化用要素画像群であり、中央部の複数の要素画像を上部に拡大して示す。一般に、要素画像群は、多視点画像群から変換して作成することができる。すなわち、多視点画像群を構成する各視点画像から、互いに同じ座標位置にある１画素を抽出し、多視点画像群の全体の配置を保ったまま集積することで、１つの要素画像を生成する。例えば、図２（Ａ）の内の８×８個のカメラで撮影した多視点画像群の各視点画像の１画素から、８×８画素の要素画像（符号化用要素画像）が生成される。他の要素画像も同様に生成することにより、多視点画像群を、８×８画素の要素画像が視点画像の画素数集合した、符号化用要素画像群に変換することができる。

多視点画像要素画像変換部１２は、このような処理により、間引かれた多視点画像群（Ａ）から符号化用要素画像群（Ｂ）への変換を行い、符号化部１３へ出力する。

符号化部１３は、入力された符号化用要素画像群を符号化する。符号化処理は、従来の符号化ツールの内、イントラブロックコピー機能を有する符号化ツール（例えば、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）の拡張規格等）によって圧縮・符号化を行う。符号化対象のブロックを隣接ブロックから予測するイントラブロックコピー機能を用いることにより、符号化用要素画像群の要素画像間の相関の高さを利用した予測処理が可能となり、符号化データ量を大幅に削減できる。なお、イントラブロックコピーにより高効率なデータ圧縮を行うため、符号化用要素画像群の要素画像（符号化用要素画像）の画素サイズを符号化のブロック単位と等しくすることが望ましい。

符号化部１３で生成された画像符号化データは、符号化装置１０の出力として、出力される。

［復号装置］
復号装置２０は、復号部２１、要素画像多視点画像変換部２２、奥行き推定部２３、視点内挿処理部２４、及び多視点画像要素画像変換部２５を備えている。

符号化装置１０にて符号化された画像符号化データが、復号部２１に入力される。復号部２１は、入力された画像符号化データを、符号化に対応する復号方法により復号する。復号された画像データは、（符号化用）要素画像群である。復号された要素画像群は、要素画像多視点画像変換部２２に出力される。

要素画像多視点画像変換部２２は、入力された要素画像群を多視点画像群に変換する。入力された要素画像群は、実質的に、符号化の対象となった符号化用要素画像群（図２（Ｂ））であるから、前述した多視点画像群から要素画像群への変換と全く逆の変換を行うことにより、要素画像群は図２（Ａ）の８×８個の多視点画像（間引かれた多視点画像群）に変換される。要素画像多視点画像変換部２２は、変換した多視点画像群を奥行き推定部２３及び視点内挿処理部２４へ出力する。

奥行き推定部２３は、入力された多視点画像群から奥行き推定を行い多視点画像群のデプスマップを生成する。デプスマップには画像のデプス情報が反映される。生成したデプスマップを視点内挿処理部２４へ出力する。

視点内挿処理部２４は、復号後の多視点画像群と生成されたデプスマップを用いることで復号された視点（カメラ）間の視点画像を視点内挿によって生成する。すなわち、復号後の８×８個の多視点画像（図２（Ａ）の丸印の視点）から、視点内挿処理によって視点間の視点画像を予測・内挿し、間引き処理を行う前の２２×２２＝４８４視点の多視点画像群（図２（Ａ）の全体）を再生する。再生された多視点画像群を、多視点画像要素画像変換部２５へ出力する。

多視点画像要素画像変換部２５は、入力された多視点画像群を要素画像群に変換する。図３に、入力される多視点画像群（図３（Ａ））と要素画像群（図３（Ｂ））の例を示す。多視点画像要素画像変換部２５に入力される多視点画像群は、復号された多視点画像と生成されたカメラ間の内挿視点画像とからなる２２×２２＝４８４視点の多視点画像群であり、符号化装置１０に入力された入力画像を復元したものに相当する。これを要素画像群に変換することで、画素サイズの大きい要素画像（２２×２２画素）の要素画像群が生成され、これを復号装置２０の出力画像とする。この出力画像により、インテグラル３Ｄ映像を表示することができる。

出力画像の要素画像群においては、伝送された画像符号化データの要素画像群よりも、各要素画像の画素数を増やすことができ、奥行きがより広がったインテグラル３Ｄ映像を再現できる。

なお、本実施形態では、出力画像に基づいてインテグラル３Ｄ映像を表示させることを前提として、要素画像群を出力画像としたが、例えば、多視点映像を表示させるためには、多視点画像要素画像変換部２５を設けることなく、視点内挿後の多視点画像を復号装置の出力画像としてもよい。

本実施形態によれば、多視点画像群からの視点の間引きと、符号化用要素画像群の要素画像間の相関の高さを利用した符号化処理により、符号化データ量の大幅な削減ができる。また、復号装置では、デプスマップを利用して精度の高い視点内挿ができる。

（第２の実施形態）
図４に、本発明の第２の実施形態の符号化装置及び復号装置のブロック図の例を示す。第２の実施形態は、多視点画像群に加えて２Ｄ画像を一つのデータフォーマットとして符号化する例であり、インテグラル３Ｄ映像と２Ｄ用放送映像との両方の情報を送信する放送システムに応用が可能な符号化・復号システムである。符号化装置１０-1と復号装置２０-1は、情報通信が可能な任意の伝送路で結ばれていてもよく、この場合は、両者は送信装置１０-1と受信装置２０-1として機能する。このときの送受信方法としては、放送システム、電波通信、有線・無線ネットワーク等を利用することができる。また、両者をそれぞれ独立した装置とし、記録媒体等を用いてデータの授受を行ってもよい。

以下、符号化装置１０-1、復号装置２０-1それぞれについて、詳細に説明する。なお、図１と共通の部分は、説明を簡略化する。

［符号化装置］
符号化装置１０-1は、視点間引き部１１、多視点画像要素画像変換部１４、及び符号化部１３を備えており、多視点画像群と２Ｄ画像が入力される。

入力画像の一方は、例えば、多視点カメラで取得した多視点画像群であり、視点間引き部１１に入力される。この入力画像は、第１の実施形態と同じであってもよく、例えば、カメラが縦横２２×２２個（＝４８４個）配列された、インテグラル３Ｄ映像のための多視点画像群である。１視点の画像のそれぞれは、カラーのテクスチャー画像である。

入力画像の他方は、２Ｄ画像であり、例えば、２Ｄ用放送映像である。２Ｄ画像は、多視点画像要素画像変換部１４に入力される。本実施形態では、２Ｄ画像は、多視点画像群の１つの視点の画像よりも、縦横３倍の画素数を有する画像であるとする。

視点間引き部１１は、入力された多視点画像について、等間隔で視点を間引く視点間引き処理を行う。さらに、２Ｄ画像の埋め込みを行うために、所定領域の視点を予め間引いておく。例えば、２２×２２の視点を間引いて８×８視点の画像に縮小し、さらに、その８×８視点の画像のうち、所定領域（２Ｄ画像を埋め込む領域）にある３×３視点を除く。間引きされた多視点画像群は、多視点画像要素画像変換部１４に出力される。

多視点画像要素画像変換部１４は、間引きされた多視点画像群と、入力された２Ｄ画像とを組み合わせて、符号化用要素画像群に変換する。本実施形態における符号化用要素画像群への変換について、図５を用いて説明する。

図５（Ａ）は、上側の画像が、符号化装置に入力された２Ｄ画像であり、例えば、２Ｄ用放送映像である。本実施形態では、２Ｄ画像は、多視点画像群の１つの視点の画像よりも、縦横３倍の画素数を有する画像とする。ただし、図５では、２Ｄ画像の画面サイズを誇張して描いている。

図５（Ａ）の下側の画像全体が、符号化装置に入力された多視点画像群（単に、多視点画像ということもある。）であり、ここでは図２（Ａ）に記載の多視点画像群と同じものである。例えば、２２×２２＝４８４視点のカメラアレイで撮影された画像であり、多視点画像群を構成する各画像が１つの視点の画像に対応し、各視点画像は対象物に対して互いに視差を生じる。図５（Ａ）の多視点画像群の内、丸印が付された画像が、視点間引き部１１で間引かれた後の、符号化用要素画像群への変換で使用する多視点画像である。この例では、等間隔に８×８＝６４視点を抽出した後、さらに中央部の３×３＝９視点が除かれており、５５視点が符号化用要素画像群への変換で利用される。

図５（Ｂ）は、符号化用要素画像群であり、中央部の複数の要素画像を上部に拡大して示す。多視点画像群を構成する５５個の各視点画像から、互いに同じ座標位置にある１画素を抽出し、多視点画像群の全体の配置を保ったまま集積する。さらに、本実施形態では２Ｄ画像の画面解像度は多視点画像の画面解像度に比べて縦横どちらも３倍となっているから、多視点画像の１画素に対応する位置にある２Ｄ画像の３×３画素を１つの画素ブロックとして抽出し、符号化用要素画像の中央部の３×３画素の領域に配置することで、１つの要素画像を生成する。この結果、図５（Ｃ）に示されるように、５５個の多視点画像群の各１画素と、２Ｄ画像の３×３画素とを組み合わせて、８×８（＝６４）画素の要素画像（符号化用要素画像）が生成される。他の要素画像も同様に生成することにより、多視点画像群と２Ｄ画像を、８×８画素の要素画像が視点画像の画素数集合した、符号化用要素画像群（２Ｄ画像を埋め込んだ符号化用要素画像群）に変換することができる。

多視点画像要素画像変換部１４は、このような処理により、間引かれた多視点画像群と２Ｄ画像から符号化用要素画像群（Ｂ）への変換を行い、符号化部１３へ出力する。なお、この符号化用要素画像群（Ｂ）は一例であり、例えば、２Ｄ画像が、多視点画像群の１つの視点の画像よりも、縦横２倍の画素数を有する画像である場合には、要素画像へ埋め込む２Ｄ画像は２×２画素の画素ブロックとする。また、２Ｄ画像が、多視点画像群の１つの視点の画像と同じ画素数の画像である場合には、２Ｄ画像も１画素として要素画像へ埋め込む。なお、２Ｄ画像を埋め込む位置は、要素画像の中央に限らず、要素画像の任意の場所に埋め込んでよい。

符号化部１３は、入力された符号化用要素画像群を符号化する。符号化部１３は図１の符号化部１３と同一のものであり、符号化処理は、従来の符号化ツールの内、イントラブロックコピー機能を有する符号化ツールによって圧縮・符号化を行う。２Ｄ画像を埋め込んだ符号化用要素画像群についても、イントラブロックコピー機能を用いることにより、符号化データ量の大幅な削減ができる。なお、符号化用要素画像の画素サイズは、符号化のブロック単位と等しくすることが望ましい。

符号化部１３で生成された画像符号化データは、符号化装置１０-1の出力として、出力される。

［復号装置］
復号装置２０-1は、復号部２１、要素画像多視点画像変換部２６、奥行き推定部２３、視点内挿処理部２４、及び多視点画像要素画像変換部２５を備えている。

符号化装置１０-1にて符号化された画像符号化データが、復号部２１に入力される。復号部２１は、入力された画像符号化データを、符号化に対応する復号方法により復号する。復号された画像データは、２Ｄ画像を埋め込んだ符号化用要素画像群である。復号された符号化用要素画像群は、要素画像多視点画像変換部２６に出力される。

要素画像多視点画像変換部２６は、入力された符号化用要素画像群から、２Ｄ画像の画素を抽出するとともに、符号化用要素画像群を多視点画像群に変換する。すなわち、復号された符号化用要素画像群の各要素画像は、図５（Ｃ）の画素配置を有しているから、各要素画像から中央部の２Ｄ画像（３×３画素）を抽出し、これを符号化用要素画像群の中での各要素画像の位置に基づいて集積し、元の２Ｄ画像を復元する。また、各要素画像の他の画素（多視点画像に基づく画素）については、前述した多視点画像群から要素画像群への変換と全く逆の変換を行うことにより、符号化用要素画像群は図５（Ａ）の５５個の多視点画像群に変換される。要素画像多視点画像変換部２６は、復元した２Ｄ画像を復号装置２０-1の出力画像として出力するとともに、変換した多視点画像群を奥行き推定部２３及び視点内挿処理部２４へ出力する。

奥行き推定部２３は、入力された多視点画像群から奥行き推定を行い多視点画像群のデプスマップを作成し、作成したデプスマップを視点内挿処理部２４へ出力する。

視点内挿処理部２４は、復号後の多視点画像群と多視点画像群のデプスマップを用いることで間引かれた視点を視点内挿によって生成する。すなわち、復号後の５５個の多視点画像（図５（Ａ）の丸印の視点）から、視点内挿処理によって、間引き処理を行う前の２２×２２＝４８４視点の多視点画像群（図５（Ａ）の全体）を再生する。再生された多視点画像群を、多視点画像要素画像変換部２５へ出力する。

多視点画像要素画像変換部２５は、入力された多視点画像群を要素画像群に変換する。視点内挿された多視点画像群を要素画像群に変換することで、画素サイズの大きい要素画像（２２×２２画素、図３（Ｂ））の要素画像群が生成され、これを復号装置２０-1の出力画像とする。この出力画像により、インテグラル３Ｄ映像を表示する。

なお、本実施形態では、インテグラル３Ｄ映像を表示させることを前提として、要素画像群を復号装置２０-1の出力画像としたが、例えば、出力画像に基づいて多視点映像を表示させる場合には、多視点画像要素画像変換部２５を省略して、多視点画像を出力画像としてもよい。

本実施形態によれば、インテグラル３Ｄ映像と従来の２Ｄ用放送映像とを同時に圧縮・符号化して放送することができる。これにより、従来の２Ｄ用放送映像のみに対応した表示モニターの場合は、２Ｄ画像を利用して表示処理を行い、インテグラル３Ｄ映像に対応した表示モニターの場合は、要素画像群を利用して表示処理を行うことができる。

本実施形態によれば、符号化装置では、多視点画像群と２Ｄ画像を同時に符号化及び伝送できるとともに、従来の映像符号化方式を適用しつつインテグラル３Ｄ映像用の画像に対して高効率なデータ圧縮ができる。また、復号装置では、要素画像群と２Ｄ画像とを出力することができ、用途に応じて画像を選択することができる。

上記の実施の形態では、符号化装置１０、１０-1の構成と動作について説明したが、本発明はこれに限らず、多視点画像を符号化する符号化方法として構成されてもよい。すなわち、図１又は図４のデータの流れに従って、多視点画像から画像符号化データを生成する符号化方法、又は多視点画像と２Ｄ画像とから画像符号化データを生成する符号化方法として構成されてもよい。また、復号装置２０、２０-1の構成と動作について説明したが、本発明はこれに限らず、画像符号化データを復号する復号方法として構成されてもよい。すなわち、図１又は図４のデータの流れに従って、画像符号化データから、要素画像群の出力画像を生成する復号方法、又は、画像符号化データから、要素画像群と２Ｄ画像の出力画像を生成する復号方法として構成されてもよい。

なお、上述した符号化装置１０、１０-1又は復号装置２０、２０-1として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置１０、１０-1又は復号装置２０、２０-1の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１０ 符号化装置
１１ 視点間引き部
１２ 多視点画像要素画像変換部
１３ 符号化部
１４ 多視点画像要素画像変換部
２０ 復号装置
２１ 復号部
２２ 要素画像多視点画像変換部
２３ 奥行き推定部
２４ 視点内挿処理部
２５ 多視点画像要素画像変換部
２６ 要素画像多視点画像変換部

Claims (9)

1. 入力された多視点画像群に対して視点間引き処理を行う視点間引き部と、
   視点間引きされた多視点画像群を符号化用要素画像群に変換する多視点画像要素画像変換部と、
   前記符号化用要素画像群を符号化処理する符号化部と
   を備える符号化装置。
2. 請求項１に記載の符号化装置において、前記符号化処理は、イントラブロックコピー機能を有する符号化ツールを用いる、符号化装置。
3. 請求項１又は２に記載の符号化装置において、前記符号化用要素画像群の要素画像の画素サイズを符号化のブロック単位と等しくする、符号化装置。
4. 請求項１乃至３のいずれか一項に記載の符号化装置において、さらに２Ｄ（２次元）画像が入力され、前記多視点画像要素画像変換部は、前記符号化用要素画像群の各要素画像に前記２Ｄ画像の対応する画素又は画素ブロックを埋め込む、符号化装置。
5. 入力された画像符号化データを復号し、符号化用要素画像群を作成する復号部と、
   前記符号化用要素画像群を多視点画像群に変換する要素画像多視点画像変換部と、
   前記多視点画像群に基づいて各多視点画像の奥行き推定を行い、デプスマップを生成する奥行き推定部と、
   前記多視点画像群と生成された前記デプスマップに基づいて、前記多視点画像群の視点間の視点内挿を行う視点内挿処理部と
   を備える復号装置。
6. 請求項５に記載の復号装置において、視点内挿された多視点画像群を要素画像群に変換する多視点画像要素画像変換部をさらに備え、前記要素画像群を出力する、復号装置。
7. 請求項５又は６に記載の復号装置において、前記符号化用要素画像群は、２Ｄ（２次元）画像が埋め込まれており、前記要素画像多視点画像変換部は、前記符号化用要素画像群の各要素画像から前記２Ｄ画像の画素又は画素ブロックを抽出し、集積して２Ｄ画像を再生して出力する、復号装置。
8. コンピュータを、請求項１乃至４のいずれか一項に記載の符号化装置として機能させる、プログラム。
9. コンピュータを、請求項５乃至７のいずれか一項に記載の復号装置として機能させる、プログラム。
   

Images