JP6031260B2 - 画像符号化装置および画像復号装置 - Google Patents

Description

本発明は、画像符号化装置および画像復号装置に関する。

インテグラル・フォトグラフィ（Ｉｎｔｅｇｒａｌ Ｐｈｏｔｏｇｒａｐｈｙ）方式の撮影装置は、多数の要素レンズを配列したレンズアレイを通して得られる光束を撮影することにより、１フレームあたり、多数の要素画像を配列した画像（要素画像群）を生成する。この要素画像群の各要素画像は、レンズアレイの各要素レンズに対応する微小画像である。

通常の二次元映像は、時間方向および空間方向に相関（時空間相関）が強い確率が高い。一方、インテグラル・フォトグラフィ方式により生成された要素画像群では、要素画像の中央部付近での時空間相関は二次元映像と概ね同等であるが、要素画像間の境界部分での時空間相関は二次元映像に比べて弱い。つまり、通常の二次元映像と、要素画像群を時系列に並べた映像とでは、映像の統計的性質が大きく異なる。よって、二次元映像の統計的性質を利用して高能率符号化を実現するＭＰＥＧ−２ビデオ方式やＨ．２６４方式等を適用して要素画像群を圧縮符号化した場合、符号化の効率や画質が不十分となる可能性がある。

そこで、従来、インテグラル・フォトグラフィ信号（要素画像群）を効率的に圧縮符号化して符号化出力信号を出力する符号化装置と、その符号化出力信号を復号してインテグラル・フォトグラフィ信号を出力する復号化装置が知られている（例えば、特許文献１参照）。

特開２００２−３００６０７号公報

しかしながら、特許文献１に記載された符号化装置は、フレーム間符号化処理、フレーム内符号化処理、および要素画像間符号化処理を適応的に用いて符号化する、インテグラル・フォトグラフィ方式専用に構成された符号化処理装置である。すなわち、この文献に記載された符号化装置および復号装置は、ＭＰＥＧ−２ビデオやＨ．２６４等の規格化された符号化方式を利用して、効率的な圧縮符号化処理および復号処理を実現するものではない。

そこで、本発明は、上記事情を考慮してなされたものであり、インテグラル・フォトグラフィ方式により生成された要素画像群を、二次元画像用の符号化方式により効率よく圧縮符号化し、また、その圧縮符号化された符号化データを復号して要素画像群を得る、画像符号化装置および画像復号装置を提供することを目的とする。

［１］上記の課題を解決するため、本発明の一態様である画像符号化装置は、レンズアレイを構成する複数の要素レンズを通して得られる光束から得た複数の要素画像を、前記複数の要素画像それぞれにおける同一の位置および範囲の部分要素画像を要素とする部分画像の集合に変換する画像変換部と、前記画像変換部が取得した前記部分画像の集合を圧縮符号化する圧縮符号化部と、を備え、前記部分画像のうち前記要素レンズを通過する光線の当たらない部分画素をゼロ値で埋める、ことを特徴とする。
［２］上記の課題を解決するため、本発明の一態様である画像符号化装置は、デルタ配列のレンズアレイを構成する複数の要素レンズを通して得られる光束から得た複数の要素画像を、前記複数の要素画像それぞれにおける同一の位置および範囲の部分要素画像を要素とすることでデルタ状に画素が配列された部分画像であるデルタ画素配列部分画像の集合に変換し、正方格子状に画素が配列された正方画素配列部分画像の画素ごとに、当該画素の領域を占める前記デルタ画素配列部分画像の画素の面積比に応じた内挿処理を実行することにより、前記デルタ画素配列部分画像の集合を前記正方画素配列部分画像の集合に変換する画像変換部と、前記画像変換部が取得した前記正方画素配列部分画像の集合を圧縮符号化する圧縮符号化部と、を備えることを特徴とする。
［３］上記［１］または［２］いずれか記載の画像符号化装置において、前記複数の要素画像の画素ピッチが前記レンズアレイのレンズピッチの整数の逆数倍に等しくない場合に、前記複数の要素画像を、画素ピッチが前記レンズピッチの整数の逆数倍に等しくなる複数の正規化要素画像に変換する画像正規化部をさらに備え、前記画像変換部は、前記画像正規化部が取得した前記複数の正規化要素画像を、前記複数の正規化要素画像それぞれにおける同一の位置および範囲の部分要素画像を要素とする部分画像の集合に変換することを特徴とする。
［４］上記［１］から［３］いずれか記載の画像符号化装置において、前記画像変換部は、前記部分画像の集合を配列した画像を生成し、前記圧縮符号化部は、前記画像変換部が生成した前記画像を圧縮符号化することを特徴とする。
［５］上記［１］から［４］いずれか記載の画像符号化装置において、前記圧縮符号化部は、前記画像変換部が取得した前記部分画像の集合を、部分画像ごとに圧縮符号化することを特徴とする。

［６］上記の課題を解決するため、本発明の一態様である画像復号装置は、レンズアレイを構成する複数の要素レンズを通して得られる光束から得た複数の要素画像それぞれにおける、同一の位置および範囲の部分要素画像を要素とし、前記要素レンズを通過する光線の当たらないゼロ値で埋められた部分画素が除かれた部分画像の集合を、圧縮符号化して得られた符号化データを復号し、前記部分画像の集合を取得する復号部と、前記復号部が取得した前記部分画像の集合を、各部分画像における同一の位置および範囲の部分要素画像を要素とする要素画像を配列した、前記複数の要素画像に変換する画像復元部と、を備えることを特徴とする。
［７］上記の課題を解決するため、本発明の一態様である画像復号装置は、デルタ配列のレンズアレイを構成する複数の要素レンズを通して得られる光束から得た複数の要素画像それぞれにおける、正方格子状に画素が配列された正方画素配列部分画像の集合を圧縮符号化して得られた符号化データを復号し、前記正方画素配列部分画像の集合を取得する復号部と、前記復号部が取得した前記正方画素配列部分画像の集合を、前記複数の要素画像それぞれにおける同一の位置および範囲の部分要素画像を要素とする部分画像であるデルタ状に画素が配列されたデルタ画素配列部分画像の画素ごとに、当該画素の領域を占める前記正方画素配列部分画像の画素の面積比に応じた内挿処理を実行することにより、前記デルタ画素配列部分画像の集合に変換し、前記デルタ画素配列部分画像の集合を前記複数の要素画像に変換する画像復元部と、を備えることを特徴とする。
［８］上記［６］または［７］いずれか記載の画像復号装置において、前記複数の要素画像の画素ピッチが前記レンズアレイのレンズピッチの整数の逆数倍に等しくない場合に、前記画像復元部が取得した前記複数の要素画像を、前記画素ピッチと同一の画素ピッチに等しくなるよう変換する画像逆正規化部をさらに備えることを特徴とする。
［９］上記［６］から［８］いずれか記載の画像復号装置において、前記復号部は、前記部分画像の集合が配列した画像を圧縮符号化して得られた符号化データを復号して前記画像を取得し、前記画像復元部は、前記復号部が取得した前記画像に配列された各部分画像における同一の位置および範囲の部分要素画像を要素とする要素画像を配列した、前記複数の要素画像に変換することを特徴とする。
［１０］上記［６］から［８］いずれか記載の画像復号装置において、前記復号部は、前記部分画像の集合を部分画像ごとに圧縮符号化して得られた複数の符号化データそれぞれを復号して前記部分画像の集合を取得することを特徴とする。

本発明によれば、インテグラル・フォトグラフィ方式により生成された要素画像群を、二次元画像用の符号化方式により効率よく圧縮符号化し、また、その圧縮符号化された符号化データを復号して要素画像群を得ることができる。

本発明の第１実施形態において、正方格子配列のレンズアレイと要素画像群との対応関係、および表示系を例として、要素画像群およびレンズアレイにより再現される光線群を模式的に示す図である。 図１の右側に示した、要素画像群と、３個の要素レンズと、要素画像群および３個の要素レンズにより再現される光線群のうち特定画素（ｖ＝−１）に対応する光線とを示した図である。 同実施形態において、画像符号化装置が要素画像群から生成する多視点画像の画素構成を模式的に示す図である。 同実施形態である画像符号化装置および画像復号装置を適用した画像符号化復号システムの概略のブロック図である。 レンズアレイの一部分である４個の要素レンズと、これら４個の要素レンズに対応する要素画像群とを対応付けて模式的に示した図である。 本発明の第２実施形態である画像符号化装置および画像復号装置を適用した画像符号化復号システムの概略のブロック図である。 レンズアレイの一部分である３個のデルタ状に配列した要素レンズと、これら３個の要素レンズに対応する要素画像群とを対応付けて模式的に示した図である。 本発明の第３実施形態において、デルタ配列のレンズアレイと正規化要素画像群との対応関係を模式的に示す図である。 同実施形態において、画像符号化装置が正規化要素画像群から生成する多視点画像における部分画像の画素構成を模式的に示す図である。 同実施形態において、画像符号化装置が正規化要素画像群から生成する多視点画像の画素構成を模式的に示す図である。 同実施形態である画像符号化装置および画像復号装置を適用した画像符号化復号システムの概略のブロック図である。 本発明の第４実施形態である画像符号化装置および画像復号装置を適用した画像符号化復号システムの概略のブロック図である。

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
本発明の第１実施形態である画像符号化装置は、インテグラル・フォトグラフィ（Ｉｎｔｅｇｒａｌ Ｐｈｏｔｏｇｒａｐｈｙ）方式の画像生成装置が生成した要素画像群データ（要素画像群とも呼ぶ）を取り込む。画像生成装置は、例えば、インテグラル・フォトグラフィ方式の撮影装置やコンピュータ・グラフィックス作成装置である。また、要素画像群は、複数の要素画像を二次元配列した画像である。

画像符号化装置は、画像生成装置から取り込んだ要素画像群を、各要素画像における同一の位置および範囲の部分要素画像を要素とする部分画像を配列した画像（部分画像の集合）に変換する。言い換えると、画像符号化装置は、要素画像群を、視点または視線方向に応じた部分画像群に変換する。よって、この変換後の画像（部分画像の集合、部分画像群）を、多視点画像とも呼ぶ。

画像符号化装置は、例えば、ＭＰＥＧ−２ビデオ、Ｈ．２６４、ＪＰＥＧ等の規格化された符号化方式により、その変換後の画像を圧縮符号化して符号化データを生成し、この符号化データを出力する。つまり、画像符号化装置は、二次元映像の圧縮符号化処理に好適な圧縮符号化方式を適用することができる。

また、第１実施形態である画像復号装置は、第１実施形態である画像符号化装置が生成した符号化データを取り込み、この符号化データを復号して多視点画像を生成し、この多視点画像を要素画像群に逆変換して要素画像群データを出力する。

具体的に、画像復号装置は、要素画像群の各要素画像における同一の位置および範囲の部分要素画像を要素とする部分画像を配列した画像（つまり、部分画像の集合、部分画像群、多視点画像）を圧縮符号化して得られた符号化データを取り込んで復号し、前記の画像を取得する。言い換えると、画像復号装置は、要素画像群を視点または視線方向に応じて変換した部分画像群を圧縮符号化して得られた符号化データを取り込んで復号し、前記の画像を取得する。そして、画像復号装置は、前記の画像を、各部分画像における同一の位置および範囲の部分要素画像を要素とする要素画像を配列した要素画像群に逆変換し、この要素画像群データを出力する。

第１実施形態は、要素画像群を得るためのレンズアレイが正方格子状に円形の要素レンズを配列し、且つ要素画像群の水平方向および垂直方向の画素ピッチが、レンズアレイのレンズピッチの整数の逆数倍に等しい例である。要素画像群の画素ピッチは、要素画像群において所定方向（水平方向または垂直方向）に隣接する画素同士の画素中心間の距離である。画素同士が隙間なく配列する場合、画素ピッチは、画素の前記所定方向の幅に等しい。また、レンズピッチは、レンズアレイにおいて前記所定方向に隣接する要素レンズ同士のレンズ中心間の距離である。要素レンズ同士が隙間なく配列する場合、レンズピッチは、要素レンズの直径に等しい。

図１は、第１実施形態において、正方格子配列のレンズアレイと要素画像群との対応関係、および表示系を例として、要素画像群およびレンズアレイにより再現される光線群を模式的に示す図である。同図の左側には、水平方向に（Ｎ＋１）個、垂直方向に（Ｍ＋１）個の計（Ｎ＋１）×（Ｍ＋１）個の要素レンズを正方格子状に配列したレンズアレイの代表として４個の要素レンズと、これら４個の要素レンズに対応する４個の要素画像とを示している。各要素レンズには、例えば、同図における左上角の要素レンズを基準として二次元のレンズ座標（ｎ，ｍ）（ｎ＝０，１，２，・・・，Ｎ ｍ＝０，１，２，・・・，Ｍ）が設けられている。よって、各要素画像も、レンズ座標（ｎ，ｍ）によってその位置を特定できる。例えば、同図において左上角の要素レンズおよび要素画像は、レンズ座標（０，０）により特定される。

また、図１における各要素画像は、水平方向に８個、垂直方向に８個の計６４個の画素を有している。つまり、同図における要素画像の水平方向および垂直方向の画素ピッチは、レンズアレイのレンズピッチの１／８である。
なお、実際には、要素画像は同図のものよりもさらに高精細（例えば、１６画素×１６画素、３２画素×３２画素等）であるが、ここでは、図を簡略にして説明を簡単にするために、各要素画像が６４個の画素を含むものとして説明する。

各要素画像には、当該要素画像に対する要素レンズの光学中心または光学中心の近傍に対応する画素を基準として二次元の画像座標（ｕ，ｖ）（ｕ＝−４，−３，−２，・・・，１，２，３ ｖ＝−４，−３，−２，・・・，１，２，３）が設けられている。画像座標（ｕ，ｖ）を、ローカル座標とも呼ぶ。図１では、各要素画像の６４個の画素に、（−４，３），（−３，３），（−２，３），・・・，（１，−４），（２，−４），（３，−４）との画像座標が付されている。

図１において、各要素画像における画像座標（−４，３），（３，３），（−４，−４），（３，−４）に対応する４個の画素は、要素レンズを通過する光線が当たらない画素であり、有効な画素情報を有していない無効画素である。つまり、同図において、一要素画像あたりの有効画素は、４個の無効画素を除く６０個の画素である。

また、図１の右側には、表示系を例として、要素画像群と、レンズ座標が（０，０），（０，１），（０，Ｍ）である３個の要素レンズと、これら要素画像群および３個の要素レンズにより再現される光線群とを示している。同図において、Ｒは、レンズアレイの垂直方向のレンズピッチである。同図に示したレンズアレイは、要素レンズ同士が隙間なく配列されたものであるため、Ｒは要素レンズの直径と等しい。ｐは、要素画像群の垂直方向の画素ピッチである。ｆは、要素画像と要素レンズとの距離であり、要素レンズの焦点距離である。

図２は、図１の右側に示した、要素画像群と、レンズ座標が（０，０），（０，１），（０，Ｍ）である３個の要素レンズと、要素画像群および３個の要素レンズにより再現される光線群のうち、画像座標のｖが“−１”である画素に対応する光線とを示した図である。同図に示すとおり、３個の要素画像における同一の位置および範囲の部分要素画像（ここでは画素）と３個の要素レンズとで再現される光線は、互いに平行な光線とみなすことができる。

図３は、第１実施形態において、画像符号化装置が要素画像群から生成する多視点画像の画素構成を模式的に示す図である。同図に示すように、多視点画像は、図１に示した要素画像群を、例えば、各要素画像における同一の画像座標の画素を二次元に配列して得られる部分画像を、二次元に配列して得た画像である。すなわち、多視点画像の各部分画像には、全ての要素レンズにおける同一視点の画素の集合が形成される。言い換えると、各部分画像には、全ての要素レンズにおける平行光線に対応する画素の集合が形成される。

具体例として、図３に示した多視点画像は、水平方向に８個、垂直方向に８個の計６４個の部分画像で構成されている。これら部分画像の配列は、要素画像における画素配列と同一である。よって、各部分画像は、画像座標（ｕ，ｖ）により特定される。また、例えば、画像座標（−３，３）で示される部分画像は、（Ｎ＋１）×（Ｍ＋１）個の要素画像それぞれにおける画像座標（−３，３）の画素を、レンズ座標が示す並びにより配列する。

ただし、図３の多視点画像における画像座標（−４，３），（３，３），（−４，−４），（３，−４）に対応する４個の部分画像は、無効画素の画素集合であるため、符号化装置により例えば“０（ゼロ）”値で埋められている。

図４は、第１実施形態である画像符号化装置および画像復号装置を適用した画像符号化復号システムの概略のブロック図である。同図に示すとおり、画像符号化復号システム１は、画像符号化装置１０と、画像復号装置２０とを含んで構成される。
画像符号化装置１０は、例えばインテグラル・フォトグラフィ方式の撮影装置に接続されたり組み込まれたりする。また、画像復号装置２０は、例えばインテグラル・フォトグラフィ方式の画像表示装置やプロジェクタ装置に接続されたり組み込まれたりする。

画像符号化装置１０は、画像変換部１１と、圧縮符号化部１２とを備える。
画像変換部１１は、図示しないレンズアレイを構成する正方格子状に配列した複数の要素レンズを通して得られる光束から得た複数の要素画像（要素画像群データ）を取り込む。そして、画像変換部１１は、取り込んだ複数の要素画像を、各要素画像における同一の位置および範囲の部分要素画像を要素とする部分画像を、要素画像における画素配列にしたがって配列した多視点画像（部分画像の集合）に変換する。部分要素画像は一画素でもよいし、隣接する複数の画素でもよい。例えば、画像変換部１１は、要素画像における画素配列と同一の配列により、部分画像を配列する。または、画像変換部１１は、要素画像を回転した画像、要素画像の鏡像、または鏡像を回転した画像における画素配列と同一の配列により、部分画像を配列する。回転角度は、例えば、平面内で９０度、１８０度、２７０度である。このように、画像変換部１１が、要素画像における画素配列にしたがって部分画像を配列して多視点画像を得ることにより、多視点画像の統計的性質が、通常の二次元画像の統計的性質に類似するものとなる。
画像変換部１１は、多視点画像を圧縮符号化部１２に供給する。

圧縮符号化部１２は、画像変換部１１が供給する多視点画像を取り込み、この多視点画像を、二次元画像用の符号化方式により圧縮符号化して符号化データを生成し、この符号化データを出力する。二次元画像用の符号化方式として、例えば、ＭＰＥＧ−２ビデオ方式、Ｈ．２６４方式、ＪＰＥＧ方式等が適用できる。

画像符号化装置１０は、符号化データを図示しない記録装置に記録させてもよいし、伝送路を介して画像復号装置２０に供給してもよい。

画像復号装置２０は、復号部２１と、画像復元部２２とを備える。
復号部２１は、画像符号化装置１０が生成した符号化データを取り込んで、この符号化データを復号して多視点画像を取得し、この多視点画像を画像復元部２２に供給する。
具体的に、復号部２１は、レンズアレイを構成する複数の要素レンズを通して得られる光束から得た複数の要素画像それぞれにおける、同一の位置および範囲の部分要素画像を要素とする部分画像を配列した多視点画像（部分画像の集合）を圧縮符号化して得られた符号化データを取り込む。そして、復号部２１は、その符号化データを復号して多視点画像を取得し、この多視点画像を画像復元部２２に供給する。

画像復元部２２は、復号部２１が供給する多視点画像を取り込み、この多視点画像を複数の要素画像に逆変換し、要素画像群データとして出力する。
具体的に、画像復元部２２は、多視点画像における各部分画像から、同一の位置および範囲の部分要素画像を抽出し、これらの部分要素画像を、部分画像におけるレンズ座標で示される要素画像とすることにより、要素画像群を生成する。

［第２の実施の形態］
本発明の第２実施形態は、要素画像群を得るためのレンズアレイが正方格子状に円形の要素レンズを配列し、且つ要素画像群の水平方向および垂直方向の画素ピッチが、レンズアレイのレンズピッチの整数の逆数倍に等しくない例である。

図５（ａ），（ｂ）は、レンズアレイの一部分である４個の要素レンズと、これら４個の要素レンズに対応する要素画像群とを対応付けて模式的に示した図である。同図（ａ）は、要素画像群の水平方向および垂直方向それぞれの画素ピッチが、レンズアレイのレンズピッチの整数の逆数倍に等しくない例である。同図（ｂ）は、要素画像群の水平方向および垂直方向それぞれの画素ピッチがレンズピッチの整数の逆数倍に等しくなるように、第２実施形態である画像符号化装置が、同図（ａ）に示した要素画像群を正規化した後の正規化要素画像群の画素構造の例である。

図５（ａ）における画素、および同図（ｂ）における正規化画素とも、正方形の画素である。同図（ａ），（ｂ）におけるＲは、レンズアレイのレンズピッチである。同図（ａ）のＰは、要素画像群の画素ピッチ、同図（ｂ）のＰ_ｎは、正規化要素画像群の画素ピッチである。

正規化要素画像群の画素ピッチＰ_ｎは、レンズピッチＲ、および正規化前の要素画像群の画素ピッチＰを用いて、下記の式（１）により計算することができる。ただし、式（１）において、＜Ｘ＞は、実数Ｘの小数点以下を切り捨てることを意味する。

図６は、第２実施形態である画像符号化装置および画像復号装置を適用した画像符号化復号システムの概略のブロック図である。前述した第１実施形態と同一の構成については同一の符号を付して説明を省略する。同図に示すとおり、画像符号化復号システム１ａは、画像符号化装置１０ａと、画像復号装置２０ａとを含んで構成される。
画像符号化装置１０ａは、例えばインテグラル・フォトグラフィ方式の撮影装置に接続されたり組み込まれたりする。また、画像復号装置２０ａは、例えばインテグラル・フォトグラフィ方式の画像表示装置やプロジェクタ装置に接続されたり組み込まれたりする。

画像符号化装置１０ａは、画像正規化部１３と、画像変換部１１と、画像符号化部１２ａとを備える。
画像正規化１３は、図示しないレンズアレイを構成する正方格子状に配列した複数の要素レンズを通して得られる光束から得た複数の要素画像（要素画像群データ）を取り込む。また、画像正規化部１３は、レンズアレイのレンズピッチと、要素画像群の画素ピッチとを、あらかじめ記憶している。なお、画像正規化部１３は、要素画像群データとレンズピッチと画素ピッチとを別々に、または対応付けて取り込んでもよい。

画像正規化部１３は、水平方向および垂直方向それぞれの画素ピッチがレンズピッチの整数の逆数倍に等しくなるように、要素画像群を正規化して正規化要素画像群を生成する。
具体的に、画像正規化部１３は、正規化要素画像群の画素ピッチを、前記の式（１）により計算する。そして、画像正規化部１３は、正規化要素画像群の画素ごとに、当該画素の領域を占める正規化前の画素の面積比に応じた内挿処理を実行することにより、要素画像群から正規化要素画像群を生成する。

画像正規化部１３は、生成した正規化要素画像群を画像変換部１１に供給し、レンズピッチと、要素画像群の画素ピッチと、正規化要素画像群の画素ピッチとを、正規化パラメータとして圧縮符号化部１２ａに供給する。

圧縮符号化部１２ａは、画像変換部１１が供給する多視点画像を取り込み、この多視点画像を、二次元画像用の符号化方式により圧縮符号化して符号化データを生成する。また、圧縮符号化部１２ａは、画像正規化部１３が供給する正規化パラメータを取り込む。そして、圧縮符号化部１２ａは、生成した符号化データと正規化パラメータとを対応付けて出力する。

画像符号化装置１０ａは、符号化データおよび正規化パラメータを、図示しない記録装置に記録させてもよいし、伝送路を介して画像復号装置２０ａに供給してもよい。

画像復号装置２０ａは、復号部２１ａと、画像復元部２２と、画像逆正規化部２３とを備える。
復号部２１ａは、画像符号化装置１０ａが生成した符号化データおよび正規化パラメータを取り込む。そして、復号部２１ａは、符号化データを復号して多視点画像を取得し、この多視点画像を画像復元部２２に供給する。また、復号部２１ａは、正規化パラメータを画像逆正規化部２３に供給する。

画像逆正規化部２３は、画像復元部２２が供給する正規化要素画像群を取り込む。また、画像逆正規化部２３は、復号部２１ａが供給する正規化パラメータを取り込む。そして、画像逆正規化部２３は、要素画像群の画素ごとに、正規化パラメータに基づいて、当該画素の領域を占める正規化要素画像群の画素の面積比に応じた内挿処理を実行することにより、正規化要素画像群から要素画像群を生成する。
画像逆正規化部２３は、生成した要素画像群を要素画像群データとして出力する。

［第３の実施の形態］
本発明の第３実施形態は、要素画像群を得るためのレンズアレイがデルタ状に円形の要素レンズを配列し、且つ要素画像群の水平方向および垂直方向の画素ピッチが、レンズアレイのレンズピッチの整数の逆数倍に等しくない例である。

図７（ａ），（ｂ）は、レンズアレイの一部分である３個のデルタ状に配列した要素レンズと、これら３個の要素レンズに対応する要素画像群とを対応付けて模式的に示した図である。同図（ａ）は、要素画像群の水平方向および垂直方向それぞれの画素ピッチが、レンズアレイのレンズピッチの整数の逆数倍に等しくない例である。同図（ｂ）は、要素画像群の水平方向の画素ピッチがレンズピッチの整数の逆数倍に等しくなるように、第３実施形態である画像符号化装置が、同図（ａ）に示した要素画像群を水平方向のみ正規化した後の正規化要素画像群の画素構造の例である。

図７（ａ）における画素、および同図（ｂ）における画素とも、正方形の画素である。同図（ｂ）における画素は、水平方向のみ正規化された状態である。Ｒ_ｈは、レンズアレイの水平方向のレンズピッチである。Ｒ_ｖは、レンズアレイの垂直方向のレンズピッチである。同図（ａ）のＰは、要素画像群の画素ピッチ、同図（ｂ）のＰ_ｎ＿ｈは、正規化要素画像群の水平方向の画素ピッチ、Ｐ_ｎ＿ｖは、正規化要素画像群の垂直方向の画素ピッチである。

レンズアレイの垂直方向のレンズピッチＲｖは、水平方向のレンズピッチＲ_ｈを用いると下記の式（２）として表される。

正規化要素画像群の水平方向の画素ピッチＰ_ｎ＿ｈおよび垂直方向の画素ピッチＰ_ｎ＿ｖは、水平方向のレンズピッチＲｈ、垂直方向のレンズピッチＲｖ、および正規化前の要素画像群の画素ピッチＰを用いて、下記の式（３）により計算することができる。ただし、式（３）において、＜Ｘ＞は、実数Ｘの小数点以下を切り捨てることを意味する。

図８は、第３実施形態において、デルタ配列のレンズアレイと正規化要素画像群との対応関係を模式的に示す図である。各要素レンズには、例えば、同図における左上角の要素レンズを基準として二次元のレンズ座標（ｎ，ｍ）（ｎ＝０，０．５，１，１．５，２，２．５，・・・，Ｎ ｍ＝０，１，２，・・・，Ｍ）が設けられている。よって、各正規化要素画像も、レンズ座標（ｎ，ｍ）によってその位置を特定できる。例えば、同図において左上角の要素レンズおよび正規化要素画像は、レンズ座標（０，０）により特定される。

また、図８における各正規化要素画像は、水平方向に８個、垂直方向に９個の計７２個の画素を有している。つまり、同図における正規化要素画像の水平方向の画素ピッチは、レンズアレイのレンズピッチの１／８、垂直方向の画素ピッチは、レンズピッチの１／９である。

各正規化要素画像には、当該正規化要素画像に対する要素レンズの光学中心または光学中心の近傍に対応する画素を基準として二次元の画像座標（ｕ，ｖ）（ｕ＝−４，−３，−２，・・・，１，２，３ ｖ＝−４，−３，−２，・・・，２，３，４）が設けられている。画像座標（ｕ，ｖ）を、ローカル座標とも呼ぶ。図８では、各正規化要素画像の７２個の画素に、（−４，４），（−３，４），（−２，４），・・・，（１，−４），（２，−４），（３，−４）との画像座標が付されている。
ただし同図において、各正規化要素画像における画像座標（−４，４），（−３，４），（−４，３），（２，４），（３，４），（３，３），（−４，−３），（−４，−４），（−３，−４），（３，−３），（２，−４），（３，−４）に対応する１２個の正規化画素は、対応する要素レンズを通過する光線が当たらない画素であり、有効な画素情報を有していない無効画素である。つまり、同図において、一正規化要素画像あたりの有効画素は、１２個の無効画素を除く６０個の画素である。

図９（ａ），（ｂ）は、第３実施形態において、画像符号化装置が正規化要素画像群から生成する多視点画像における部分画像の画素構成を模式的に示す図である。同図（ａ）は、図８に示した正規化要素画像群を、例えば、各正規化要素画像における同一の画像座標の正規化画素を二次元に配列して得られる部分画像の一つである。同図（ａ）に示すように、部分画像における画素配列はデルタ配列となる。第３実施形態では、画像符号化装置が、同図（ａ）に示したデルタ状に画素が配列した部分画像（デルタ画素配列部分画像）を、同図（ｂ）に示すように、正方格子状に画素が配列した部分画像（正方画素配列部分画像）に変換する。

図１０は、第３実施形態において、画像符号化装置が正規化要素画像群から生成する多視点画像の画素構成を模式的に示す図である。同図に示すように、多視点画像は、図８に示した正規化要素画像群を、例えば、各正規化要素画像における同一の画像座標の正規化画素を二次元に配列して得られる正方画素配列部分画像を、二次元に配列して得た画像である。すなわち、多視点画像の各正方画素配列部分画像には、全ての要素レンズにおける同一視点の画素の集合が形成される。言い換えると、各正方画素配列部分画像には、全ての要素レンズにおける平行光線に対応する画素の集合が形成される。

具体例として、図１０に示した多視点画像は、水平方向に８個、垂直方向に９個の計７２個の正方画素配列部分画像で構成されている。これら正方画素配列部分画像の配列は、正規化要素画像における画素配列と同一である。よって、各正方画素配列部分画像は、画像座標（ｕ，ｖ）により特定される。また、例えば、画像座標（−３，３）で示される部分画像は、（Ｎ＋１）×（Ｍ＋１）個の要素画像それぞれにおける画像座標（−３，３）の正規化画素を、レンズ座標が示す並びにより配列する。

ただし、図１０の多視点画像における画像座標（−４，４），（−３，４），（−４，３），（２，４），（３，４），（３，３），（−４，−３），（−４，−４），（−３，−４），（３，−３），（２，−４），（３，−４）に対応する１２個の正方画素配列部分画像は、無効画素の画素集合であるため、符号化装置により例えば“０（ゼロ）”値で埋められている。

図１１は、第３実施形態である画像符号化装置および画像復号装置を適用した画像符号化復号システムの概略のブロック図である。同図に示すとおり、画像符号化復号システム１ｂは、画像符号化装置１０ｂと、画像復号装置２０ｂとを含んで構成される。
画像符号化装置１０ｂは、例えばインテグラル・フォトグラフィ方式の撮影装置に接続されたり組み込まれたりする。また、画像復号装置２０ｂは、例えばインテグラル・フォトグラフィ方式の画像表示装置やプロジェクタ装置に接続されたり組み込まれたりする。

画像符号化装置１０ｂは、画像正規化部１３ｂと、画像変換部１１ｂと、画像符号化部１２ｂとを備える。
画像正規化１３ｂは、図示しないレンズアレイを構成するデルタ状に配列した複数の要素レンズを通して得られる光束から得た複数の要素画像（要素画像群データ）を取り込む。また、画像正規化部１３ｂは、レンズアレイの水平方向のレンズピッチおよび垂直方向のレンズピッチまたはいずれかと、要素画像群の画素ピッチとを、あらかじめ記憶している。なお、画像正規化部１３は、要素画像群データとレンズピッチと画素ピッチとを別々に、または対応付けて取り込んでもよい。

画像正規化部１３ｂは、水平方向および垂直方向それぞれの画素ピッチがレンズピッチの整数の逆数倍に等しくなるように、要素画像群を正規化して正規化要素画像群を生成する。
具体的に、画像正規化部１３ｂは、正規化要素画像群の画素ピッチを、前記の式（２）および式（３）により計算する。そして、画像正規化部１３ｂは、正規化要素画像群の画素ごとに、当該画素の領域を占める正規化前の画素の面積比に応じた内挿処理を実行することにより、要素画像群から正規化要素画像群を生成する。

画像正規化部１３ｂは、生成した正規化要素画像群を画像変換部１１ｂに供給し、レンズピッチと、要素画像群の画素ピッチと、正規化要素画像群の画素ピッチとを、正規化パラメータとして圧縮符号化部１２ｂに供給する。

画像変換部１１ｂは、画像正規化部１３ｂが供給する正規化要素画像群を取り込む。そして、画像変換部１１ｂは、取り込んだ複数の正規化要素画像を、各正規化要素画像における同一の位置および範囲の部分要素画像を要素とする部分画像を配列した多視点画像（デルタ画素配列部分画像の集合）に変換する。部分要素画像は一画素でもよいし、隣接する複数の画素でもよい。例えば、画像変換部１１ｂは、正規化要素画像における画素配列と同一の配列により、デルタ画素配列部分画像を配列する。または、画像変換部１１ｂは、正規化要素画像を回転したが像、正規化要素画像の鏡像、または鏡像を回転したが像における画素配列と同一の配列により、デルタ画素配列部分画像を配列する。回転角度は、例えば、平面内で９０度、１８０度、２７０度である。このように、画像変換部１１が、正規化要素画像における画素配列にしたがってデルタ画素配列部分画像を配列して多視点画像を得ることにより、多視点画像の統計的性質が、通常の二次元画像の統計的性質に類似するものとなる。

そして、画像変換部１１ｂは、各デルタ画素配列部分画像を、正方画素配列部分画像に変換する。具体的に、画像変換部１１ｂは、正方画素配列部分画像の画素ごとに、当該画素の領域を占める変換前の画素の面積比に応じた内挿処理を実行することにより、デルタ画素配列部分画像の集合を、正方画素配列部分画像の集合に変換する。
画像変換部１１ｂは、多視点画像（正方画素配列部分画像の集合）を圧縮符号化部１２ｂに供給する。

圧縮符号化部１２ｂは、画像変換部１１ｂが供給する多視点画像を取り込み、この多視点画像を、二次元画像用の符号化方式により圧縮符号化して符号化データを生成する。また、圧縮符号化部１２ｂは、画像正規化部１３ｂが供給する正規化パラメータを取り込む。そして、圧縮符号化部１２ｂは、生成した符号化データと正規化パラメータとを対応付けて出力する。

画像符号化装置１０ｂは、符号化データおよび正規化パラメータを、図示しない記録装置に記録させてもよいし、伝送路を介して画像復号装置２０ｂに供給してもよい。

画像復号装置２０ｂは、復号部２１ｂと、画像復元部２２ｂと、画像逆正規化部２３ｂとを備える。
復号部２１ｂは、画像符号化装置１０ｂが生成した符号化データおよび正規化パラメータを取り込む。そして、復号部２１ｂは、符号化データを復号して多視点画像（正方画素配列部分画像の集合）を取得し、この多視点画像を画像復元部２２ｂに供給する。また、復号部２１ｂは、正規化パラメータを画像逆正規化部２３ｂに供給する。

画像復元部２２ｂは、復号部２１ｂが供給する多視点画像を取り込み、この多視点画像を複数の正規化要素画像に逆変換し、正規化要素画像群として画像逆正規化部２３ｂに供給する。
具体的に、画像復元部２２ｂは、各正方画素配列部分画像を、デルタ画素配列部分画像に変換する。具体的に、画像復元部２２ｂは、デルタ画素配列部分画像の画素ごとに、当該画素の領域を占める変換前の画素の面積比に応じた内挿処理を実行することにより、正方画素配列部分画像の集合を、デルタ画素配列部分画像の集合に変換する。

そして、画像復元部２２ｂは、各デルタ画素配列部分画像から、同一の位置および範囲の部分要素画像を抽出し、これらの部分要素画像を、デルタ画素配列部分画像におけるレンズ座標で示される要素画像とすることにより、正規化要素画像群を生成する。
画像復元部２２ｂは、正規化要素画像群を画像逆正規化部２３ｂに供給する。

画像逆正規化部２３ｂは、画像復元部２２ｂが供給する正規化要素画像群を取り込む。また、画像逆正規化部２３ｂは、復号部２１ｂが供給する正規化パラメータを取り込む。そして、画像逆正規化部２３ｂは、要素画像群の画素ごとに、正規化パラメータに基づいて、当該画素の領域を占める正規化要素画像群の正規化画素の面積比に応じた内挿処理を実行することにより、正規化要素画像群から要素画像群を生成する。
画像逆正規化部２３ｂは、生成した要素画像群を要素画像群データとして出力する。

［第４の実施の形態］
第１実施形態から第３実施形態における画像符号化復号システム１，１ａ，１ｂでは、画像符号化装置１０，１０ａ，１０ｂが、部分画像の集合を配列した画像である多視点画像を圧縮符号化し、画像復号装置２０，２０ａ，２０ｂが、符号化データを復号して多視点画像を得る例とした。
本発明の第４実施形態では、画像符号化装置が、部分画像の集合を部分画像ごとに圧縮符号化し多重化して符号化データを生成し、画像復号装置が、符号化データを分離し、分離後の各データを復号して部分画像の集合を得る例である。

図１２は、第４実施形態である画像符号化装置および画像復号装置を適用した画像符号化復号システムの概略のブロック図である。前述した第１実施形態と同一の構成については同一の符号を付して説明を省略する。同図に示すとおり、画像符号化復号システム１ｃは、画像符号化装置１０ｃと、画像復号装置２０ｃとを含んで構成される。
画像符号化装置１０ｃは、例えばインテグラル・フォトグラフィ方式の撮影装置に接続されたり組み込まれたりする。また、画像復号装置２０ｃは、例えばインテグラル・フォトグラフィ方式の画像表示装置やプロジェクタ装置に接続されたり組み込まれたりする。

画像符号化装置１０ｃは、画像変換部１１と、複数の圧縮符号化部１２と、多重化部１４とを備える。

各圧縮符号化部１２は、画像変換部１１が生成した部分画像の集合における各部分画像を取り込み、この部分画像を、二次元画像用の符号化方式により圧縮符号化して符号化データを生成し、この符号化データを多重化部１４に供給する。二次元画像用の符号化方式として、例えば、ＭＰＥＧ−２ビデオ方式、Ｈ．２６４方式、ＪＰＥＧ方式等が適用できる。

多重化部１４は、複数の圧縮符号化部１２それぞれが供給する符号化データを取り込んで多重化し出力する。

画像符号化装置１０ｃは、符号化データを図示しない記録装置に記録させてもよいし、伝送路を介して画像復号装置２０ｃに供給してもよい。

画像復号装置２０ｃは、分離部２４と、複数の復号部２１と、画像復元部２２とを備える。
分離部２４は、画像符号化装置１０が生成した符号化データを取り込んで、この符号化データを分離して複数の復号部２１に供給する。
各復号部２１は、分離部２４が供給する符号化データを取り込んで、この符号化データを復号して部分画像を取得し、この部分画像を画像復元部２２に供給する。

第４実施形態において、画像符号化装置１０ｃでは、複数の圧縮符号化部１２を、例えば、マルチビュー・ビデオ・コーディング（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；ＭＶＣ）方式の圧縮符号化装置により実現することができる。

以上、説明したとおり、本発明の第１実施形態から第４実施形態である画像符号化装置は、インテグラル・フォトグラフィ方式の画像生成装置が生成した要素画像群データ（要素画像群）を取り込み、この要素画像群を、各要素画像における同一の位置および範囲の部分要素画像を要素とする部分画像を配列した多視点画像（部分画像の集合）に変換する。言い換えると、画像符号化装置は、要素画像群を、視点または視線方向に応じた部分画像群に変換する。そして画像符号化装置は、二次元映像の圧縮符号化処理に好適な圧縮符号化方式を適用して符号化データを生成する。
画像符号化装置は、要素画像における画素配列にしたがって部分画像を配列して多視点画像を得る。このように構成することにより、多視点画像の統計的性質が、通常の二次元画像の統計的性質に類似するものとなり、圧縮符号化部を、二次元画像用の圧縮符号化方式を適用して構成することができる。

また、第１実施形態から第４実施形態である画像復号装置は、各実施形態における画像符号化装置が生成した符号化データを取り込み、この符号化データを復号して多視点画像を生成し、この多視点画像を要素画像群に逆変換して要素画像群データを出力する。

よって、各実施形態における画像符号化装置は、インテグラル・フォトグラフィ方式により生成された要素画像群を、二次元画像用の符号化方式により効率よく圧縮符号化することができる。
また、各実施形態における画像復号装置によれば、その圧縮符号化された符号化データを復号して要素画像群を得ることができる。

以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

１，１ａ，１ｂ，１ｃ 画像符号化復号システム
１０，１０ａ，１０ｂ，１０ｃ 画像符号化装置
１１，１１ｂ 画像変換部
１２，１２ａ，１２ｂ 圧縮符号化部
１３，１３ｂ 画像正規化部
１４ 多重化部
２０，２０ａ，２０ｂ，２０ｃ 画像復号装置
２１，２１ａ，２１ｂ 復号部
２２，２２ｂ 画像復元部
２３，２３ｂ 画像逆正規化部
２４ 分離部

Claims (10)

1. レンズアレイを構成する複数の要素レンズを通して得られる光束から得た複数の要素画像を、前記複数の要素画像それぞれにおける同一の位置および範囲の部分要素画像を要素とする部分画像の集合に変換する画像変換部と、
   前記画像変換部が取得した前記部分画像の集合を圧縮符号化する圧縮符号化部と、
   を備え、
   前記部分画像のうち前記要素レンズを通過する光線の当たらない部分画素をゼロ値で埋める、
   ことを特徴とする画像符号化装置。
2. デルタ配列のレンズアレイを構成する複数の要素レンズを通して得られる光束から得た複数の要素画像を、前記複数の要素画像それぞれにおける同一の位置および範囲の部分要素画像を要素とすることでデルタ状に画素が配列された部分画像であるデルタ画素配列部分画像の集合に変換し、正方格子状に画素が配列された正方画素配列部分画像の画素ごとに、当該画素の領域を占める前記デルタ画素配列部分画像の画素の面積比に応じた内挿処理を実行することにより、前記デルタ画素配列部分画像の集合を前記正方画素配列部分画像の集合に変換する画像変換部と、
   前記画像変換部が取得した前記正方画素配列部分画像の集合を圧縮符号化する圧縮符号化部と、
   を備えることを特徴とする画像符号化装置。
3. 前記複数の要素画像の画素ピッチが前記レンズアレイのレンズピッチの整数の逆数倍に等しくない場合に、前記複数の要素画像を、画素ピッチが前記レンズピッチの整数の逆数倍に等しくなる複数の正規化要素画像に変換する画像正規化部をさらに備え、
   前記画像変換部は、前記画像正規化部が取得した前記複数の正規化要素画像を、前記複数の正規化要素画像それぞれにおける同一の位置および範囲の部分要素画像を要素とする部分画像の集合に変換する
   ことを特徴とする請求項１または２いずれか記載の画像符号化装置。
4. 前記画像変換部は、前記部分画像の集合を配列した画像を生成し、
   前記圧縮符号化部は、前記画像変換部が生成した前記画像を圧縮符号化する
   ことを特徴とする請求項１から３いずれか記載の画像符号化装置。
5. 前記圧縮符号化部は、前記画像変換部が取得した前記部分画像の集合を、部分画像ごとに圧縮符号化する
   ことを特徴とする請求項１から４いずれか記載の画像符号化装置。
6. レンズアレイを構成する複数の要素レンズを通して得られる光束から得た複数の要素画像それぞれにおける、同一の位置および範囲の部分要素画像を要素とし、前記要素レンズを通過する光線の当たらないゼロ値で埋められた部分画素が除かれた部分画像の集合を、圧縮符号化して得られた符号化データを復号し、前記部分画像の集合を取得する復号部と、
   前記復号部が取得した前記部分画像の集合を、各部分画像における同一の位置および範囲の部分要素画像を要素とする要素画像を配列した、前記複数の要素画像に変換する画像復元部と、
   を備えることを特徴とする画像復号装置。
7. デルタ配列のレンズアレイを構成する複数の要素レンズを通して得られる光束から得た複数の要素画像それぞれにおける、正方格子状に画素が配列された正方画素配列部分画像の集合を圧縮符号化して得られた符号化データを復号し、前記正方画素配列部分画像の集合を取得する復号部と、
   前記復号部が取得した前記正方画素配列部分画像の集合を、前記複数の要素画像それぞれにおける同一の位置および範囲の部分要素画像を要素とする部分画像であるデルタ状に画素が配列されたデルタ画素配列部分画像の画素ごとに、当該画素の領域を占める前記正方画素配列部分画像の画素の面積比に応じた内挿処理を実行することにより、前記デルタ画素配列部分画像の集合に変換し、前記デルタ画素配列部分画像の集合を前記複数の要素画像に変換する画像復元部と、
   を備えることを特徴とする画像復号装置。
8. 前記複数の要素画像の画素ピッチが前記レンズアレイのレンズピッチの整数の逆数倍に等しくない場合に、前記画像復元部が取得した前記複数の要素画像を、前記画素ピッチと同一の画素ピッチに等しくなるよう変換する画像逆正規化部
   をさらに備えることを特徴とする請求項６または７のいずれか記載の画像復号装置。
9. 前記復号部は、前記部分画像の集合が配列した画像を圧縮符号化して得られた符号化データを復号して前記画像を取得し、
   前記画像復元部は、前記復号部が取得した前記画像に配列された各部分画像における同一の位置および範囲の部分要素画像を要素とする要素画像を配列した、前記複数の要素画像に変換する
   ことを特徴とする請求項６から８いずれか記載の画像復号装置。
10. 前記復号部は、前記部分画像の集合を部分画像ごとに圧縮符号化して得られた複数の符号化データそれぞれを復号して前記部分画像の集合を取得する
    ことを特徴とする請求項６から８いずれか記載の画像復号装置。

Images