JP6463900B2 - 画像符号化装置及びその制御方法 - Google Patents

Description

本発明は、プレノプティックカメラ（Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ）で撮像された画像データの符号化技術に関する。

プレノプティックカメラ（Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ）は、光線の位置と角度情報を表すライトフィールドデータ（多視点画像群）を取得する。ライトフィールドデータを用いることで、撮像後に合焦位置を調整したり、視点位置を変更したり、被写体までの距離を取得できる。このような技術はコンピュテーショナル・フォトグラフィー（Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｐｈｏｔｏｇｒａｐｈｙ）として知られている。プレノプティックカメラで撮像されたライトフィールドデータ（多視点画像群）を符号化、復号する手法としては、特定の視点をＪＰＥＧ符号化し、残りの視点をＬＺ符号化する手法が開示されている（特許文献１）。

特許第４９６９４７４号公報

プレノプティックカメラで撮像されたライトフィールドデータは、少ないデータ量で保持しておくことが望ましい。またリフォーカス処理（撮像後に合焦位置を調整する）、デプス推定処理、ステレオ立体視、裸眼立体視など、ユーザからの多様な処理要求に対応するため、データを効率的に保持しておくことが望ましい。従来方法では、ライトフィールドデータからリフォーカス画像やデプスマップを事前に生成しておき、ユーザからの処理要求に応じて生成データを出力する。しかし事前にデータ生成することから、保持しておくデータ量が増大してしまう。また別の方法では、ライトフィールドデータを符号化しておき、ユーザからの処理要求に応じてライトフィールドデータを復号してデータ生成する。しかしユーザからの処理要求毎に、ライトフィールドデータを復号してデータ生成を行うため、処理負荷が増大してしまう。つまりユーザからの多様な処理要求に迅速に対応できるライトフィールドデータの符号化方法が求められる。

本発明は、ライトフィールドデータをこれまで以上に効率的に記憶管理する符号化技術を提供するものである。また、ユーザからの多様な処理要求に迅速に対応できる符号化データを生成する技術を提供する。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
ライトフィールド撮像手段で撮像したＮ個（Ｎは２以上の整数）の視点画像を符号化する画像符号化装置であって、
前記Ｎ個の視点画像内の、所定の焦点位置に基づき決定された互いに対応するＮ個の対応画素の値の平均値を算出し、当該平均値を画素の値として有する、前記所定の焦点位置に合焦した画像を生成する第１の生成手段と、
前記Ｎ個の視点画像における対応画素の値を前記第１の生成手段で生成された画素の値から導出するための、Ｎ−１種類の差分値を生成する第２の生成手段と、
前記第１の生成手段で生成された画像、並びに、前記第２の生成手段で生成したＮ−１種類の差分値で構成される差分情報を符号化する符号化手段とを有する。

本発明によれば、ライトフィールドデータを、より効率的に記憶管理することが可能になる。

画像符号化装置の構成の一例を示す図。 第１の実施形態の画像復号装置の構成の一例を示す図。 画像復号装置の構成の一例を示す図。 情報処理部のハードウェア構成を示す図。 カメラの撮像部の構成の一例を示す図。 プレノプティックカメラによる光線の分離方法を示す図。 第１の実施形態のライトフィールドデータの一例を示す図。 第１の実施形態で行われる符号化処理の一例を示すフローチャート。 ライトフィールドデータからリフォーカス画像の生成方法を示す図。 ライトフィールドデータをウェーブレット変換する方法を示す図。 第１の実施形態で行われる復号処理の一例を示すフローチャート。 第１の実施形態で行われる復号処理の一例を示すフローチャート。 第２の実施形態で行われる符号化処理の一例を示すフローチャート。 第２の実施形態のライトフィールドＲＡＷデータの一例を示す図。 第２の実施形態の画像復号装置の構成の一例を示す図。 第２の実施形態で行われる復号処理の一例を示すフローチャート。 第３の実施形態のライトフィールドデータの一例を示す図。 ライトフィールドデータをウェーブレット変換する方法を示す図。 ライトフィールドデータからリフォーカス画像の生成方法を示す図。 第４の実施形態のライトフィールドＲＡＷデータの一例を示す図。 実施形態における符号化データファイルのデータ構造を示す図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の一つである。

［第１の実施形態］
第１の実施形態は、プレノプティックカメラにより取得されたライトフィールドデータを符号化する画像符号化装置、並びに、ユーザリクエストに応じて圧縮ライトフィールドデータの部分データを復号し、画像データを出力する画像復号装置に適用される。以下、本第１の実施形態における画像符号化装置について説明する。

詳細は以下から明らかになるが、本第１の実施形態では、ライトフィールド撮像手段から得られたライトフィールドデータ（各視点の画像であって、以下では視点画像という）を効率よく符号化するため、Ｎ個（Ｎは２以上の整数）の視点画像内の互いに対応する画素（以下、対応画素という）の値の平均値を求め、その平均値の画素で構成される、或る所定の焦点位置に合焦した１枚の画像を生成する。そして、その合焦した画像の画素値から、元の各視点画像の画素値を導出するためのＮ−１種類の差分値を算出する。平均値と、Ｎ−１個の計Ｎ種類のデータがあるので、元のＮ個の視点画像の各画素値が復元できることになる。そして、合焦画像、並びに、差分値で構成される差分情報を符号化する。この結果、もし、ユーザが望む画像が、符号化時に合焦させた合成画像である場合には、その差分情報は復号する必要はなく、合焦画像の符号化データのみを復号すれば良いことになる。ここで、合焦画像の画素を生成し、かつ、元の各視点画像を復元するための差分情報を生成するのに都合の良い変換として、発明者はＨａａｒ(ハール）ウェーブレット変換に着目した。通常、ハールウェーブレット変換は、画像そのものについて変換するものであるが、この技術を各視点画像の対応画素を変換対象としたわけである。なお、各視点画像に復元するために、各視点画像の平均値の画素値と、差分情報を生成できる変換であれば、特にＨａａｒウェーブレット変換にこだわるものではない。本実施形態では、更に、ユーザからの要望によっては、各視点画像からステレオ画像を生成したいなどの要望にも応えるため、必要最小限の復号処理でそれを実現するための符号化データを生成することもその特徴とする。本第１の実施形態では、ライトフィールドデータの視点数は２×２の例とするが、もちろん、この数によって本発明が限定されるものではない。では、本第１の実施形態を説明する。

図１は、第１の実施形態の画像符号化装置をカメラに適用した場合の構成の一例を示す図である。カメラ１００は、操作部１０１と、撮像部１０２と、情報処理部１０９と、記憶部１０７と、Ｉ／Ｏインターフェース１０８とを有している。

カメラ１００はプレノプティックカメラであり、プレノプティックカメラによって取得された画像は、１枚の画像中に多視点の情報を含んでいる。本実施形態では、プレノプティックカメラによって取得されたＲＡＷデータをライトフィールドＲＡＷデータと呼び、ライトフィールドＲＡＷデータをデモザイク処理して現像したデータをライトフィールドデータと呼ぶ。

図５（ａ）はカメラ１００の外観を示す図である。図５（ａ）に示すように、カメラ１００はライトフィールド撮像部１０２を備えている。図５（ｂ）は撮像部１０２の内部構成を示す図である。ライトフィールド撮像部１０２は、ズームレンズ５０１、フォーカスレンズ５０２、５０３、開口絞り（以下、単に絞りと呼ぶ）５０４、シャッター５０５を有している。また光学ローパスフィルタ５０６、ｉＲカットフィルタ５０７、カラーフィルタ５０８、撮像素子５０９およびＡ／Ｄ変換部５１０を有している。ユーザは絞り５０４を調整することにより、撮像部１０２に入射される入射光量を調節できる。撮像素子５０９は、ＣＭＯＳやＣＣＤなどの受光素子である。撮像素子５０９で被写体の光量を検知すると、検知された光量がＡ／Ｄ変換部５１０によってデジタル値に変換され、デジタルデータとして情報処理部１０９へと出力される。

さらに撮像部１０２は、複数の微小な凸レンズがアレイ状に並んだマイクロレンズアレイ５１１を有している。マイクロレンズアレイ５１１は、撮像レンズ５０１〜５０３を１枚のレンズであると仮想的にみなした時、その仮想レンズの像平面に配置されている。マイクロレンズアレイ５１１をこの仮想レンズの像平面に配置することで、撮像素子５０９に入力される光線の入射方向を分離できる。なお、１個のマイクロレンズは、撮像素子５０９内のｍ×ｎ個の光受光素子に対応する。

図６（ａ）および（ｂ）は、マイクロレンズアレイ５１１によって仮想レンズ６０１（撮像レンズ５０１乃至５０３で構成される）から入射される光線を分離する様子を示した図である。仮想レンズ６０１の上半分から入射された光線と、仮想レンズ６０１の下半分から入射された光線が、それぞれ撮像素子５０９の別の画素領域に照射される。この各画素領域の情報を選択的に抜き出すことで、ライトフィールドデータから多視点の情報を抽出できる。

図４は情報処理部１０９の内部構成を示す図である。情報処理部１０９は、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３を有し、各構成部はシステムバス４０４により相互に接続されている。

ＣＰＵ４０１はカメラ１００内の各部を統括的に制御するプロセッサである。ＲＡＭ４０２は、ＣＰＵ４０１の主メモリ、ワークエリア等として機能する。ＲＯＭ４０３は、後述する図８のフローチャートに示されるプログラムを格納している。情報処理部１０９は、ＲＯＭ４０３に格納されたプログラムを、ＣＰＵ４０１がプログラムコードとして読み込み実行することで、図１に示す各構成部としての役割を実現する。なお情報処理部１０９の構成は、上記に示すもの以外に、図１に示す各構成部の役割を果たす専用の処理回路などを備えたものであっても良い。

操作部１０１は、カメラ本体に備えられたボタンやダイヤル、タッチパネルなどの入力装置であり、ユーザが操作して、撮影の開始、停止および撮影条件の設定などの命令を行える。本実施形態においては、撮像後に合焦位置を調整するリフォーカスモードをユーザが設定可能である。

記憶部１０７は、撮像部１０２により取得されたライトフィールドＲＡＷデータ、および、ライトフィールドデータを保存することができる、メモリカードなどの不揮発性の記憶媒体である。

Ｉ／Ｏインターフェース１０８はユニバーサルシリアルバス（ＵＳＢ）によって実装されたシリアルバス接続を利用でき、対応するＵＳＢコネクタを有する。もちろん、光ファイバーによるＬＡＮ接続や、無線接続などを利用しても良い。

表示部４０５は、撮影画像や文字の表示を行う。表示部４０５には一般的に液晶ディスプレイが用いられる。またタッチパネル機能を有していても良く、その場合はタッチパネルを用いたユーザ指示を操作部１０１の入力として扱うことも可能である。

図７を用いてプレノプティックカメラで取得されるライトフィールドデータについて説明する。プレノプティックカメラでは、図７（ａ）に示すようにメインレンズを複数に分割したときの各分割領域を通る光線情報が抽出できる。メインレンズは撮像レンズ５０１〜５０３を１枚のレンズであると仮想的にみなしたときの仮想レンズ６０１である。本実施形態においては、そのメインレンズを水平２分割×垂直２分割（以下、２×２分割と呼ぶ）に多視点分割した光線情報を抽出する場合について説明する。

図７（ｂ）に示すように、メインレンズの領域ａを通過した光線はセンサ上の画素群７０１ａに入射し、メインレンズの領域ｂを通過した光線はセンサ上の画素群７０１ｂに入射する。つまり、画素群７０１ａからの出力はレンズ領域ａに対応する視点の情報を含み、画素群７０１ｂからの出力はレンズ領域ｂに対応する視点の情報を含む。本実施形態においては、センサは、図７（ｂ）に示すように２×２個のセンサを単位とする、ベイヤパターンのＲＧＢ配列で構成されている。つまり、ＲＧＢ各色が２×２分割の４個のセンサに分割されている。また、実施形態では、各センサが検出した信号を１４ビットにＡ／Ｄ変換されるものとする。つまり、各画素の１色成分が１４ビットで表現されている。もちろん、この分割形態に限られるものではなく、また、１色成分当たりのダイナミックレンジ圧縮により１０ビット、または、１２ビットなど他のビット数で表現しても良い。このようにプレノプティックカメラによって取得されたＲＡＷデータをライトフィールドＲＡＷデータと呼ぶ。

図７（ｂ）で示されるライトフィールドＲＡＷデータを、デモザイク処理して現像したデータをライトフィールドデータと呼ぶ。

例えば、図７（ｂ）におけるカラーフィルタ５０８を通過したＧ０，Ｒ０，Ｂ０，Ｇ１それぞれの素子“ａ”のデータを、ａ（Ｇ０）、ａ（Ｒ０）ａ（Ｂ０）、ａ（Ｇ１）と表したとき、その集合は図７（ｃ）のように表現できる。図７（ｃ）は、１カラーフィルタ＝１素子の関係を持つ、通常の撮像素子のベイヤ配列と同じであるので、これをデモザイク処理することで、１画素当たりＲＧＢの３つの成分（実施形態では各成分とも８ビットとする）で構成される画像“ａ”を生成できる。

同様に、カラーフィルタ５０８を通過したＧ０，Ｒ０，Ｂ０，Ｇ１それぞれの素子“ｂ”のデータを、ｂ（Ｇ０）、ｂ（Ｒ０）、ｂ（Ｂ０）、ｂ（Ｇ１）と表したとき、その集合は図７（ｄ）となり、これをデモザイク処理して画像“ｂ”を生成できる。また、カラーフィルタ５０８を通過したＧ０，Ｒ０，Ｂ０，Ｇ１それぞれの素子“ｃ”のデータを、ｃ（Ｇ０）、ｃ（Ｒ０）、ｃ（Ｂ０）、ｃ（Ｇ１）と表したとき、その集合は図７（ｅ）となり、これをデモザイク処理して画像“ｃ”を生成できる。そして、カラーフィルタ５０８を通過したＧ０，Ｒ０，Ｂ０，Ｇ１それぞれの素子“ｄ”のデータを、ｄ（Ｇ０）、ｄ（Ｒ０）、ｄ（Ｂ０）、ｄ（Ｇ１）と表したとき、その集合は図７（ｅ）となり、これをデモザイク処理して画像“ｄ”を生成できる。

上記のようにして、ライトフィールドＲＡＷデータをデモザイク処理することで、１画素当たり３成分で構成される４つの画像ａ、ｂ、ｃ、ｄ（視点ａ，ｂ，ｃ、ｄの画像と言い換えることもできる）で構成されるライトフィールドデータが生成されることになる。なお、ここで生成されるライトフィールドデータには、もはやベイヤ配列ではなくなっていて、画像ａ，ｂ，ｃ，ｄの各画素と、図７（ｂ）の右側に示すａ，ｂ，ｃ、ｄは直接には関係が無くなっていることに注意されたい。

さて、上記を踏まえ、本実施形態に示す情報処理部１０９の符号化処理の詳細を以下に説明する。図８は、プレノプティックカメラにより取得されたライトフィールドデータを符号化する場合に、カメラ１００内で行われる処理を示したフローチャートである。

まず取得部１０３は、撮像部１０２から出力されたライトフィールドＲＡＷデータを取得し、画像処理部１０４にライトフィールドＲＡＷデータを出力する（ステップＳ８０１）。

次に画像処理部１０４は、ライトフィールドＲＡＷデータを、デモザイク処理してライトフィールドデータ（４枚）を生成し、生成したライトフィールドデータをＬＦ（Ｌｉｇｈｔ Ｆｉｅｌｄ）符号化部１０５に出力する（ステップＳ８０２）。

次にＬＦ符号化部１０５は、ライトフィールドデータの符号化処理を行う。まずライトフィールドデータから視点間の冗長性を削減するため、視点間（視点ａ、ｂ、ｃ、ｄ）の画素の対応関係を決定する。対応関係はリフォーカス画像の合焦位置を指定することで決定される（ステップＳ８０３）。

操作部１０１が、撮影後に合焦位置を調整するリフォーカスモードに設定されているとき、撮像後にユーザから最適な合焦位置が入力される。例えば、表示部４０５の液晶ディスプレイに表示される画像に対して、ユーザが合焦位置をタッチパネル機能により指定することで操作部１０１の入力とする。もちろん合焦位置の指定は、複数の合焦位置の画像を提示し、ユーザが選択するなど他の方法を用いても構わない。また、リフォーカスモードに設定されていない場合には、デフォルトの合焦位置（実施形態では、後述する視差０の）が指定されているものとして処理を行う。

ここで、リフォーカス画像とは、ライトフィールドデータの視点間（視点ａ、ｂ、ｃ、ｄ）の対応画素を合成して、指定の位置に合焦した画像を示す。図９を用いて、ライトフィールドデータにおける視点間の対応画素の決定方法について説明する。図９では、オブジェクト９０１が奥に、オブジェクト９０２が手前に配置されている例を示している。以下、オブジェクト９０１に焦点を合わせて撮像したとして説明する。

まず合焦位置を変更せず、ライトフィールドデータからリフォーカス画像を生成するときの対応画素について、図９（ａ）を用いて説明する。即ちステップＳ８０３で合焦位置の変更指示がない場合を示す。

図９（ａ）の右側には、ライトフィールドデータを構成する４つの視点の画像ａ乃至ｄの同じ位置の画素を２×２に配列した様を示している。同図における符号９０３ａは、デモザイク処理後の画像ａ内の或る画素を示しており、３つの成分を有する。つまり、図９（ａ）の右側の図は、図７（ｂ）の右側と混同しないように注意されたい。

図９（ａ）における２×２分割した画素９０３ａ、９０３ｂ、９０３ｃ、９０３ｄの４画素が互いに対応する画素（対応画素）とし、その４画素の色値（ここではＲ，Ｇ、Ｂ）を平均してリフォーカス画像の１画素とする。視点ａ、ｂ、ｃ、ｄの全画素で同様の対応関係を用いて４画素の色値の平均を計算し、画素を配列することでリフォーカス画像が生成される。本実施形態では、図９（ａ）の対応画素を「視差０の対応画素」と呼び、リフォーカス画像を「視差０のリフォーカス画像」と呼ぶ。即ちステップＳ８０３で合焦位置の変更指示がないときは、デフォルトとして「視差０の対応画素」を設定することになる。操作部１０１が、リフォーカスモードに設定されていないなど、合焦位置の変更を行わない場合も「視差０の対応画素」を設定する。

次に合焦位置を変更してオブジェクト９０２に焦点を合わせたリフォーカス画像を生成するときについて図９（ｂ）を用いて説明する。これは、ステップＳ８０３で合焦位置の変更指示がある場合を示す。

この場合、各ライトフィールドデータは互いに視差を持つことになる。この視差を求める手法の一例としては、次のようものである。

まず、各視点の画像毎に、コントラストの大小を表す２値画像を生成する。そしてユーザが指定した位置に対応する被写体の２値画素が、２視点の２値画像のどの部分に位置するのかを判定するためのマッチング処理を行う。例えば、視点ａ、視点ｂの画像の場合、それらは互いに水平方向に視差があるものと見なせるので、水平方向の視差を求める。かかる処理を、視点ａ、ｂ、ｃ、ｄの画像に対しても行うことになる。

今、例えば、図９（ｂ）に示すように画像ａ内の画素９０４ａ、画像ｂ内の画素９０４ｂ、画像ｃ内の画素９０４ｃ、画像ｄ内の９０４ｄの４画素が対応画素となったと仮定する。この場合、４画素の色値を平均してリフォーカス画像の１画素とする。視点ａ、ｂ、ｃ、ｄの全画素で同様の対応関係を用いて４画素の色値の平均を計算し、画素を配列することでリフォーカス画像が生成される。

上記の処理は、各視点（視点ａ、ｂ、ｃ、ｄ）の画素群を指定の視差量分シフトして対応画素とすることを示している。視差０の対応点９０３ａ、９０３ｂ、９０３ｃ、９０３ｄを基準として考える。画素９０４ａは画素９０３ａの右下に、画素９０４ｂは画素９０３ｂの左下に、画素９０４ｃは画素９０３ｃの右上に、画素９０４ｄは画素９０３ｄの左上に、それぞれ１画素シフトしている。本実施形態では、図９（ｂ）の対応画素を「視差１の対応画素」と呼び、リフォーカス画像を「視差１のリフォーカス画像」と呼ぶ。

またオブジェクト９０２より奥に焦点を合わせたリフォーカス画像を生成するときは、各視点の画素群のシフト方向が逆方向となる。即ちステップＳ８０３で合焦位置が変更されるとき、焦点位置に応じた視差量をシフトした「視差Ｎの対応画素」（Ｎは整数）を設定する（ステップＳ８０４）。

実施形態では、上記の処理で設定された対応画素に対して、視点間の冗長性を削減するため、視点間ウェーブレット変換を行う（ステップＳ８０５）。視点間ウェーブレット変換とは、ライトフィールドデータにおける視点間の対応画素をウェーブレット変換することを示す。図９（ａ）を用いて説明すると、対応画素９０３ａ、９０３ｂ、９０３ｃ、９０３ｄに対してウェーブレット変換を行う。ここでは以下の式（１）（２）で示されるＨａａｒウェーブレット変換（ハールウェーブレット変換）を用いる。
Ｌ（低周波成分）＝（Ｘａ＋Ｘｂ）／２ …（１）
Ｈ（高周波成分）＝（Ｘａ―Ｘｂ）／２ …（２）
上記において、Ｘａ，Ｘｂは１次元方向に隣接する２つの画素を示している。実施形態では、上記式（１）、（２）を２×２個の２次元に配列させた対応画素９０３ａ乃至９０３ｄに拡張することになるので、水平方向、垂直方向にそれぞれについてＨａａｒウェーブレット変換を行う。

図１０（ａ）、（ｂ）を用いて、視点間Ｈａａｒウェーブレット変換を説明する。図１０（ａ）は、対応する４画素を隣接する２×２に再配置した例を示している。視差０のリフォーカス画像の場合は、図１０（ａ）は図９（ａ）と同じになる。視差１のリフォーカス画像の場合、図１０（ａ）の２×２の画素ａ、ｂ、ｃ、ｄは、図９（ｂ）の画素９０４ａ乃至９０４ｄに対応することになる点に注意されたい。さて、図１０（ａ）の配列における、実施形態の視点間Ｈａａｒウェーブレット変換は、以下の式で示される。
Ｒ成分 ＝（ａ＋ｂ＋ｃ＋ｄ）／４ …（３）
ｄ１成分＝（（ａ＋ｃ）―（ｂ＋ｄ））／４ …（４）
ｄ２成分＝（（ａ＋ｂ）−（ｃ＋ｄ））／４ …（５）
ｄ３成分＝（（ａ＋ｄ）−（ｂ＋ｃ））／４ …（６）
上記において「Ｒ成分」は、色成分の「Ｒ」ではなく、リフォーカス画像の画素（３つの色成分の平均値で構成される）を意味する。２次元のウェーブレット変換によって、４つの成分が生成されるので、便宜的に「成分」と表現していることに注意されたい。

視点間ウェーブレット変換後の分解成分は図１０（ｂ）で示される。画素値ａ、ｂ、ｃ、ｄがＲ成分（平均成分）、ｄ１成分（差分成分）、ｄ２成分（差分成分）、ｄ３成分（差分成分）に分解される。このときＲ成分は、「視差Ｎのリフォーカス画像」となり、図９（ａ）の例では「視差０のリフォーカス画像」となる。

本実施形態では視点数は４視点であり、平均成分の成分数は１となり、差分成分の成分数は３となり、合計の成分数は４となる。すなわち視点数と合計の成分数は４で一致する。またｄ１成分は水平視差を表し、ｄ２成分は垂直視差を表している。図９（ｂ）など視差を有する対応画素の視点間ウェーブレット変換も同様の処理で行われる。

ライトフィールドデータの符号データを、上記の特徴を利用して部分的に復号することで、リフォーカス処理、デプス推定処理、ステレオ立体視、裸眼立体視など、ユーザからの多様な処理要求に効果的に対応できる。復号処理の詳細は後述する。

次に視点間ウェーブレット変換後の分解成分に対して画面内のウェーブレット変換を行う。この場合のウェーブレット変換は、Ｈａａｒウェーブレットでなくても構わず、ＪＰＥＧ２０００等で採用されているウェーブレット変換で良い。即ちＲ成分、ｄ１成分、ｄ２成分、ｄ３成分の各成分に対してウェーブレット変換を行う。図１０を用いて説明すると、図１０（ｂ）は視点間ウェーブレット変換後の分解成分を示しており、図１０（ｃ）は分解成分毎に配置し直したものである。分解成分毎（Ｒ成分、ｄ１成分、ｄ２成分、ｄ３成分）に水平方向、垂直方向にウェーブレット変換を行うことで、図１０（ｄ）に示すように、各分解成分がウェーブレット係数（ＬＬ成分、ＨＬ成分、ＬＨ成分、ＨＨ成分）に分解される（ステップＳ８０６）。

次に図１０（ｄ）に示されるウェーブレット係数（ＬＬ成分、ＨＬ成分、ＬＨ成分、ＨＨ成分）を量子化し、エントロピー符号化する（ステップＳ８０７）。ここでは分解成分毎の変換にウェーブレット変換を用いたが、ＤＣＴ変換など他の空間周波数変換を用いても構わない。

ステップＳＳ８０６、および、ステップＳ８０７に関しては、ＪＰＥＧ２０００など標準符号化技術を用いても構わない。ＪＰＥＧ２０００を用いるときは、図１０（ｃ）に示されるように分解成分単位（Ｒ成分、ｄ１成分、ｄ２成分、ｄ３成分）をＪＰＥＧ２０００の入力とする。本実施形態では、エントロピー符号化されたライトフィールドデータを圧縮ライトフィールドデータを呼ぶ。

ＬＦ符号化部１０５は、圧縮ライトフィールドデータを出力部１０６に出力する（ステップ８０８）。

出力部１０６は、圧縮ライトフィールドデータを記憶部１０７に出力し、保存する。保存された圧縮ライトフィールドデータは、Ｉ／Ｏインターフェース１０８を介して、カメラ外のデバイスに符号化データファイルとして出力される。

図２１は、出力部１０６が出力する符号化データファイル２１００のデータ構造図である。図示に示すように、このファイルには、復号処理に必要なデータ（リフォーカス画像の水平、垂直画素数、色成分のビット数など）が格納される。その中には、図示の矢印２１０１，２１０２，２１０３で示す符号化データＬＬ(R)、ＬＬ（ｄ１）、ＬＬ（ｄ２）の格納位置のアドレスも含まれる。このアドレスは、該当する符号化データから復号処理を介することを可能にするためであるが、その理由は、後述する画像復号装置の説明にて明らかにする。なお、ファイルヘッダが固定長である場合には、符号化データＬＬ（R）はファイルヘッダの直後に位置することが約束されるので、符号化データＬＬ（R）の先頭アドレス２１０１をファイルヘッダに格納する必要はない。

以下、実施形態に示す画像復号装置について説明する。図２は、第１の実施形態の画像復号装置の構成の一例を示す図である。

画像復号装置２００は、Ｉ／Ｏインターフェース２０１と、操作部２０２と、記憶部２０３と、情報処理部２１０と、表示部２０９とを有している。ここで、画像復号装置２００は、コンピュータ、または、プレノプティックカメラである。本実施形態では、画像復号装置２００をコンピュータとして説明する。

Ｉ／Ｏインターフェース２０１は、Ｉ／Ｏインターフェース１０８と同様にＵＳＢコネクタを有する。デバイス２００はＩ／Ｏインターフェース２０１を介して、カメラ１００のＩ／Ｏインターフェース１０８から出力されるライトフィールドデータの符号化データファイル（図２１参照）を取得する。

記録部２０３は、Ｉ／Ｏインターフェース２０１から取得された符号化データファイルを保存することができる、メモリカードなどの不揮発性の記憶媒体である。操作部２０２は、コンピュータに備えられたキーボード、マウスなどの入力装置であり、ユーザが操作して、リフォーカス処理を行う、ステレオ立体視を行う、裸眼立体視を行う、デプス推定を行うなどの命令を行える。表示部２０９は、撮影画像や文字の表示を行う。通常の液晶ディスプレイの他に、ステレオ立体ディスプレイ、裸眼立体ディスプレイが用いられる。情報処理部２１０の内部構成は、図４に示す情報処理部１０９と同様であり、情報処理部２１０内のＲＯＭには図１１のフローチャートに示されるプログラムが格納されている。以下、本実施形態に示す情報処理部２１０の処理について説明する。

図１１は、圧縮ライトフィールドデータを復号する場合に、画像復号装置２００内で行われる処理を示したフローチャートである。

まず取得部２０４は、操作部２０２からユーザのリクエストを取得する。ユーザのリクエストとは、ライトフィールドデータからリフォーカス処理を行う、ステレオ立体視する、裸眼立体視する、デプス推定を行うなどの処理が挙げられる。もちろんライトフィールドデータを用いる画像処理であれば、被写界深度制御を行うなど他のリクエストであっても構わない。ユーザのリクエストは、符号選択部２０５に送出される（ステップＳ１１０１）。

次に取得部２０４は、記憶部２０３から出力された符号化データファイルを取得し、符号選択部２０５に圧縮ライトフィールドデータを出力する（ステップＳ１１０２）。本実施形態では、圧縮ライトフィールドデータにおけるＲ成分が「視差０のリフォーカス画像」である場合ついて説明する。

符号選択部２０５は、ユーザのリクエストに基づいて、符号化ライトフィールドから復号する部分符号データを選択する（ステップＳ１１０３）。この選択する際に利用するのは、図２１に示したアドレス２１０１乃至２１０３となる。

ライトフィールド復号部２０６は、選択された部分符号化データを復号する（ステップＳ１１０４）。そして、ユーザの指示に従い、画像処理部２０７による画像処理を行うべきか否かを判定し（ステップＳ１１０５）、必要な場合には画像処理部２０７にて画像処理を行う（ステップＳ１１０６）。そして、出力部２０８が復号結果もしくは復号結果に対する画像処理後の画像を、表示部２０９に出力又は記憶部２０３に記憶する処理を行う（ステップＳ１１０７）。

以下、ユーザのリクエストに対する部分符号データの選択処理（ステップＳ１１０３）を、図１０（ｃ）を用いて説明する。ユーザのリクエストに対して以下の処理１〜６のいずれかを選択することになる。
処理１：ユーザからのリクエストが、合焦位置の変更を行わないリフォーカス処理であった場合：
この場合、Ｒ成分の符号データを復号対象の部分符号化データとして選択する。他の成分ｄ１、ｄ２、ｄ３の符号化データは非復号対象となる。
処理２：ユーザからのリクエストが、合焦位置の変更を行うリフォーカス処理であった場合：
Ｒ成分、ｄ１成分、ｄ２成分、ｄ３成分の各符号データを復号対象の部分符号データとして選択する。
処理３：：ユーザからのリクエストがステレオ立体視である場合：
この場合、水平方向の異なる２視点位置の２枚の画像を生成しなければならない。換言すれば、垂直方向の視差は無視して良い。そのため、Ｒ成分、ｄ１成分の符号データを復号対象の部分符号データとして選択する。
処理４：ユーザからのリクエストが、裸眼立体視である場合：
この場合、Ｒ成分、ｄ１成分、ｄ２成分、ｄ３成分の符号データを部分符号データとして選択する。また視点が水平方向のみの場合、Ｒ成分、ｄ１成分の符号データを部分符号データとして選択する。
処理５：ユーザからのリクエストがデプス推定であり、水平方向の視差を推定する場合：
この場合、Ｒ成分、ｄ１成分の符号データを復号対象の部分符号データとして選択する。
処理６：ユーザからのリクエストがデプス推定であり、垂直方向の視差を推定する場合：
この場合、Ｒ成分、ｄ２成分の符号データを復号対象の部分符号データとして選択する。また、垂直方向の視差推定は、身長推定など垂直方向の視差量が有効な場合に用いる。

上記の処理により選択した符号化ライトフィールドデータの部分符号データは、ＬＦ（Ｌｉｇｈｔ Ｆｉｅｌｄ）復号部２０６に供給されることになる。

ＬＦ復号部２０６は、圧縮ライトフィールドデータの部分符号データを復号する（ステップ１１０４）。１次元方向のＨａａｒウェーブレット逆変換では、以下の式で表される。
ａ＝Ｌ＋Ｈ …（７）
ｂ＝Ｌ―Ｈ …（８）
上式（７）、（８）は１次元に対するものである。実施形態では、２次元における４画素の視点間ウェーブレット逆変換であるので、その変換式は、上式（７）、（８）の代わりに、次式（９）乃至（１３）となる。
ａ＝Ｒ成分＋ｄ１成分＋ｄ２成分＋ｄ３成分 …（９）
ｂ＝Ｒ成分−ｄ１成分＋ｄ２成分−ｄ３成分 …（１０）
ｃ＝Ｒ成分＋ｄ１成分−ｄ２成分−ｄ３成分 …（１１）
ｄ＝Ｒ成分−ｄ１成分−ｄ２成分＋ｄ３成分 …（１２）
上記の結果、ライトフィールドデータ（４視点の画像）が復元されることになる。ここで、ユーザのリクエストに対する圧縮ライトフィールドデータに対する、ＬＦ復号部２０６による部分復号処理と出力部２０８の出力よりについて、図１０（ｃ）を用いて説明する。

処理１：ユーザからのクエストが、合焦位置の変更を行わないリフォーカス処理であった場合：
この場合、Ｒ成分が符号データのみが復号対象の部分符号データとして選択される。よって、ＬＦ復号部２０６はＲ成分の符号化データのみを復号することになる。復号結果は、数式（３）に示すように「視差０のリフォーカス画像」でもあるので、出力部２０８はＬＦ復号部２０６の復号結果をそのまま出力することになる。

処理２：ユーザからのリクエストが合焦位置の変更を伴うリフォーカス処理であった場合：
Ｒ成分、ｄ１成分、ｄ２成分、ｄ３成分の全部分符号データが復号対象として選択される。従って、ＬＦ復号部２０６は、Ｒ成分、ｄ１成分、ｄ２成分、ｄ３成分を復号する。ＬＦ復号部２０６は、更に、復号したＲ成分、ｄ１成分、ｄ２成分、ｄ３成分の対応画素に対して、式（９）乃至（１２）の視点間ウェーブレット逆変換を行うことで、視点ａ、ｂ、ｃ、ｄの４つの画像（ライトフィールドデータ）を生成する。画像処理部２０７は、その視点ａ，ｂ，ｃ，ｄの画像から、ユーザが指定した合焦位置のリフォーカス画像を生成する。出力部２０８は画像処理部２０７が生成したリフォーカス画像を出力することになる。なお、リフォーカス画像の生成法は、ステップＳ８０４で説明したのと同様である。

処理３：ユーザからのリクエストがステレオ立体視である場合：
このとき、復号対象として選択されるのはＲ成分、ｄ１成分の部分符号データとなり、ｄ２成分、ｄ３成分の部分符号化データは復号対象とはならない。よって、ｄ２、ｄ３の成分の値が０であるものとみなして、視点間ウェーブレット逆変換を行えば良い。視点ａ、ｂ、ｃ、ｄの画像が生成される。このとき、視点ａ、ｃの画像は互いに同一となり、視点ｂ、ｄの画像は互いに同一となる。つまり、現実には、ＬＦ復号部２０６は、式（９）、（１０）による視点ａ，ｂの画像のみを生成すれば良く、式（１１）、（１２）は演算しなくてよい。なお、視点ｃ、ｄの画像を生成して出力しても構わない。

図７（ａ）を用いて説明すると、視点ａ、ｃの画像は、仮想レンズ６０１の領域ａと領域ｃを合わせた領域を通過した光線により生成した画像となる。また視点ｂ、ｄの画像は、仮想レンズ６０１の領域ｂと領域ｄを合わせた領域を通過した光線により生成した画像となる。即ち生成した画像ａ、ｂは、撮像時の画像ａ、ｂとは異なり、光量が多くノイズの少ないステレオ立体視に適した画像となる。出力部２０８は、生成した立体視画像（視点ａ，ｃの画像）を出力することになる。

処理４：ユーザからのリクエストが裸眼立体視である場合：
Ｒ成分、ｄ１成分、ｄ２成分、ｄ３成分の全部分符号データが復号対象として選択される。従って、ＬＦ復号部２０６は、これら全部分符号化データを復号する。また、ＬＦ復号部２０６は、更に、式（９）乃至（１２）の演算を行い、視点ａ，ｂ，ｃ，ｄの画像を得る。

画像処理部２０７は、生成された視点ａ、ｂ、ｃ、ｄの画像から裸眼立体ディスプレイの視点数に応じた視点を自由視点画像合成する。例えば垂直方向に８視点、水平方向に８視点の６４視点の裸眼立体ディスプレイの場合、視点ａ、ｂ、ｃ、ｄの画像を選択し、視点ａ、ｂ、ｃ、ｄの間の６０視点を自由視点画像合成で生成し、垂直方向に８視点、水平方向に８視点の６４視点の画像データを出力する。また視点が水平方向のみの場合、生成された視点ａ、ｂ、ｃ、ｄの画像から裸眼立体ディスプレイの視点数に応じた視点を自由視点画像合成する。例えば水平方向に８視点の裸眼立体ディスプレイの場合、視点ａ、ｂの画像を選択し、視点ａ、ｂの間の６視点を自由視点画像合成で生成し、水平方向に８視点の画像データを出力する。ここでは、自由視点画像合成の方法については説明を割愛する。出力部２０８は、上記のようにして生成された画像を出力することになる。

処理５：ユーザからのリクエストがデプス推定であり、水平方向の視差を推定する場合：
Ｒ成分、ｄ１成分の符号データが復号対象の部分符号データとして選択される。つまり、復号処理は、処理３と同じで良い。一方、画像処理部２０７は、復号して得られた水平軸の視差がある２つの画像のステレオマッチング処理によりデプスマップを生成し、出力部２０８は、それを出力する。もちろん、視点ｃ、ｄからデプスマップを生成しても同じことである。

処理６：ユーザからのリクエストがデプス推定であり、垂直方向の視差を推定する場合：
Ｒ成分、ｄ２成分の部分符号データが復号対象として選択される。よって、ＬＦ復号部２０６は、Ｒ成分、ｄ２成分の復号処理を行う。このときｄ１成分、ｄ３成分の値を０にセットする。Ｒ成分、ｄ１成分、ｄ２成分、ｄ３成分の対応画素に対して、視点間ウェーブレット逆変換を行うことで、視点ａ、ｂ、ｃ、ｄの画像が取得される。このときの視点ａ、ｂの画像は同一となり、視点ｃ、ｄの画像は同一となる。図７（ａ）を用いて説明すると、視点ａ、ｂの画像は、仮想レンズ６０１の領域ａと領域ｂを合わせた領域を通過した光線により生成した画像となる。また視点ｃ、ｄの画像は、仮想レンズ６０１の領域ｃと領域ｄを合わせた領域を通過した光線により生成した画像となる。即ち生成した画像ａ、ｃは、撮像時の画像ａ、ｃとは異なり、光量が多くノイズの少ない垂直方向の視差推定に適した画像となる。

画像処理部２０７は、復号して得られた垂直軸に視差がある２つの画像に対してステレオマッチングによりデプスマップを生成し、出力部２０８はそれを出力する。もちろん視点ｂ、ｄを選択しても構わない。ここでは、ステレオマッチングの方法については説明を割愛する。

上述の画像復号装置の例では、画像復号装置２００内の記憶部２０３に圧縮ライトフィールドデータが記録されている場合について説明した。画像復号装置の次の例として、サーバ上に圧縮ライトフィールドデータが記録されている場合について説明する。ユーザデバイスからのリクエストを入力して、圧縮ライトフィールドデータを復号し、生成した画像データをユーザデバイスに出力する例である。

図３は、第１の実施形態の画像復号装置の構成の一例を示す図である。ユーザデバイスであるコンピュータ３００は、操作部３０１と、Ｉ／Ｏインターフェース３０２と、記憶部３０３と、情報処理部３１０と、表示部３１１とを有している。一方、サーバ３１２は、Ｉ／Ｏインターフェース３１３と、記憶部３１４と、情報処理部３２２とを有している。ここで、Ｉ／Ｏインターフェース３０２、３１３は、ＬＡＮで接続されている。コンピュータ３００はＩ／Ｏインターフェース３０２を介して、サーバ３１２のＩ／Ｏインターフェース３１３から出力される符号化データを取得する。サーバ３１２は、Ｉ／Ｏインターフェース３１３を介してコンピュータ３００のＩ／Ｏインターフェース３０２から出力されるユーザのリクエストを取得する。

記録部３０３、３１４は、圧縮ライトフィールドデータを保存することができる、メモリカードなどの不揮発性の記憶媒体である。操作部３０１は、コンピュータに備えられたキーボード、マウスなどの入力装置であり、ユーザが操作して、リフォーカス処理を行う、ステレオ立体視を行う、裸眼立体視を行う、デプス推定を行うなどの命令を行える。表示部３１１は、撮影画像や文字の表示を行う。通常の液晶ディスプレイの他に、ステレオ立体ディスプレイ、裸眼立体ディスプレイが用いられる。情報処理部３１０、３２２の内部構成は、図４に示す情報処理部１０９と同様であり、情報処理部３１０、３２２内のＲＯＭには図１２のフローチャートに示されるプログラムが格納されている。

以下、本実施形態に示す情報処理部３１０、３２２の処理について説明する。以下は、ユーザがコンピュータ３００を操作して、サーバ３１２の記憶部３１２に記憶されたデータベース中の圧縮ライトフィールドデータの１つを選択しているものとして説明する。

図１２は、圧縮ライトフィールドデータを復号する場合に、コンピュータ３００、および、サーバ３１２内で行われる処理を示したフローチャートである。情報処理部３１０，３２２のいずれが行うかを明確にするため、図示では、該当する処理を囲む波線に、参照符号３１０，３２２を付した。

まず取得部３１５は、ユーザのリクエストを取得する。ユーザのリクエストとは、ライトフィールドデータからのリフォーカス処理を行う、ステレオ立体視する、裸眼立体視する、デプス推定を行うなどの処理が挙げられる。ユーザのリクエストは、操作部３０１から入力され、Ｉ／Ｏインターフェース３０２、３１３を介して取得部３１５が取得する。ユーザのリクエストは、符号選択部３１６に送出される（ステップＳ１２０１）。

次に取得部３１５は、記憶部３１４から出力された圧縮ライトフィールドデータを取得し、符号選択部３１６に圧縮ライトフィールドデータを出力する（ステップＳ１２０２）。

符号選択部３１６は、ユーザのリクエストに基づいて、圧縮ライトフィールドデータから復号する部分符号データを選択する（ステップＳ１２０３）。この選択処理は先に説明した符号選択部２０５における選択処理１乃至６と同様である。従って、ここでの詳述は省略する。

次に復号判定部３１７は、サーバ３１２で圧縮ライトフィールドデータを復号するか、圧縮ライトフィールドデータの部分符号データを出力するかを判定する（ステップＳ１２０４）。そして、復号判定部３１７は、サーバ３１２にて復号すると判定した場合には、選択した部分符号化データをＬＦ復号部３１８に出力し、復号させる。一方、復号しないと判定した場合には、復号判定部３１７は、選択した部分符号化データを出力部３２１に向けて出力する。出力部３２１は画像符号化部３２０又は復号判定部３１７から与えらえたデータを、ユーザのコンピュータ３００に送信する。

ここで、復号判定部３１７の判定は、ユーザのコンピュータ３００からのリクエストが以下のｉ乃至iiiのいずれかの場合、圧縮ライトフィールドデータをＬＦ（Ｌｉｇｈｔ Ｆｉｅｌｄ）復号部３１８に出力する。ＬＦ復号部３１８は圧縮ライトフィールドデータの部分符号データを復号する（ステップＳ１２０５）。
i).リクエストが合焦位置の変更を行うリフォーカス画像の場合
この場合、復号する部分符号化データは、全部分符号化データが選択され、ＬＦ復号部３１８で復号される。
ii).リクエストがデプス推定であり、水平方向の視差を推定する場合
この場合、復号する部分符号化データは、Ｒ成分、ｄ１成分の部分符号化データが選択され、ＬＦ復号部３１８で復号される。
iii).リクエストがデプス推定であり、垂直方向の視差を推定する場合
この場合、復号する部分符号化データは、Ｒ成分、ｄ２成分の部分符号化データが選択され、ＬＦ復号部３１８で復号される。

またユーザのコンピュータ３００からのリクエストが以下iv乃至viの場合、圧縮ライトフィールドデータの部分符号データを出力部３２１に出力する。
iv).リクエストが合焦位置の変更を行わないリフォーカス処理である場合
この場合、Ｒ成分の符号データが出力部３２１に出力される。
v).リクエストがステレオ立体視である場合
Ｒ成分、ｄ１成分の符号データが部分符号データとして選択され、出力部３２１に出力する。
vi).リクエストが裸眼立体視である場合
Ｒ成分、ｄ１成分、ｄ２成分、ｄ３成分の符号データが部分符号データとして選択され、出力部３２１に出力される。なお、視点が水平方向のみの場合には、Ｒ成分、ｄ１成分の符号データが部分符号データが選択され、出力部３２１に出力される。

さて、ＬＦ復号部３１８は入力した部分符号化データを復号し、ライトフィールドデータを生成し、それを画像処理部３１９に出力する。

画像処理部３１９は、与えられたライトフィールドデータに対して画像処理を行う（ステップＳ１２０６）。この処理内容は次の通りである。
i).リクエストが合焦位置の変更を行うリフォーカス処理である場合：
画像処理部３１９は、復号して得られた視点ａ、ｂ、ｃ、ｄの４つの画像（ライトフィールドデータ）から、ユーザが指定した合焦位置のリフォーカス画像を生成する。すなわち、視差Ｎのリフォーカス画像を生成する。
ii).リクエストがデプス推定であり、水平方向の視差を推定する場合：
ＬＦ画像復号部３１８は水平軸に沿って視差がある２つの画像を生成することになるので、画像処理部３１９はステレオマッチング処理によりデプスマップを生成し、そのデプスマップデータを画像データとして出力する。
iii).リクエストがデプス推定であり、垂直方向の視差を推定する場合：
ＬＦ画像復号部３１８は垂直軸に沿って視差がある２つの画像を生成することになるので、画像処理部３１９はステレオマッチング処理によりデプスマップを生成し、そのデプスマップデータを画像データとして出力する。

上記のようにして生成された画像データは、画像符号化部３２０に送出される。画像符号化部３２０は、生成された画像データを符号化する（ステップＳ１２０７）。ここで符号化処理は、従来のＪＰＥＧ、ＪＰＥＧ２０００、ＰＮＧなどの符号化処理で構わない。そして、最後に符号化された画像データを出力部３２１に出力する。

上記の処理によりサーバ３１２は、復号判定部３１７から直接出力された符号化ライトフィールドデータ、又は、画像符号化部３２０からの符号化画像データのいずれかを、ユーザのコンピュータ３００に送信することになる（ステップＳ１２０８）。

従来手法では、符号化したライトフィールドデータ、または、生成した画像データを伝送していた。本実施形態の方法では、リフォーカス処理、ステレオ立体視、裸眼立体視、デプス推定処理などユーザのリクエストに対して符号化したライトフィールドデータの部分データ、または、生成した画像データを伝送すれば良く。データ伝送の面では、部分データの伝送により高速に伝送が可能である。また画像生成の面では、部分復号からの画像処理により、少ない演算量で画像生成が行える。

次に、ユーザのコンピュータ３００における処理を説明する。取得部３０４は、サーバ３１２の出力部３２１から送信されてきた圧縮ライトフィールドデータの部分符号データ、または、符号化した画像データを取得する。出力部３２１から出力されたデータは、Ｉ／Ｏインターフェース３１３、３０２を介して取得部３０４が取得することになる（ステップＳ１２０９）。

次に取得部３０４は、圧縮ライトフィールドデータの部分符号データ、または、符号化した画像データを復号選択部３０５に出力する。

復号選択部３０５は、コンピュータ３００で圧縮ライトフィールドデータを復号するか、画像データを復号するかを判定し、その判定結果に基づき、受信した符号化データを画像復号部３０６、ＬＦ復号部３０７のいずれかに出力する（ステップＳ１２１０）。

これまでの説明から明らかなように、ユーザから要求が以下のi乃至iiiのいずれかの場合は、受信した符号化画像データは、それ単独で完結した画像であるので、画像復号部３０６に出力する。
i).合焦位置の変更を行うリフォーカス処理のリクエストに対する応答の場合：
この場合、画像復号部３０６は復号して得られた画像を「視差Ｎのリフォーカス画像」として出力部３０９に出力する（ステップＳ１２１１）。ここで復号処理は、従来のＪＰＥＧ、ＪＰＥＧ２０００、ＰＮＧなどの復号処理と同じである。
ii).デプス推定であり、水平郷校の視差を推定するリクエストに対する応答の場合：
この場合、画像復号部３０６は復号して得られた画像が、「デプスマップ」であるものとして出力部３０９に出力する。
iii).デプス推定であり、垂直方向の視差を推定するリクエストに対する応答の場合：
この場合、画像復号部３０６は復号して得られた画像が、「デプスマップ」であるものとして出力部３０９に出力する。

一方、ユーザからのリクエストが以下のiv乃至viの場合、復号選択部３０５は、受信した符号化画像データがライトフィールドデータの部分符号化データであるものとし、それをＬＦ復号部３０７に出力し、復号を行わせる（ステップＳ１２１２）。
iv).合焦位置の変更を行わないリフォーカス画像のリクエストに対する応答の場合：
この場合、受信した符号データはＲ成分の部分符号データとなる。ＬＦ復号部３０７は「視差０のリフォーカス画像」を復号することになる。
v).ステレオ立体視のリクエストに対する応答の場合：
受信した符号化データはＲ成分、ｄ１成分の部分符号データである。それゆえ、ｄ２、ｄ３は０であるものとみなしし、視点ａ、ｂ、ｃ、ｄの画像を生成する。
vi).裸眼立体視のリクエストに対する応答の場合：
この場合、受信した符号化データは、Ｒ成分、ｄ１成分、ｄ２成分、ｄ３成分の符号データである。よって、ＬＦ復号部３０７はこれら全てを復号し、視点ａ、ｂ、ｃ、ｄの画像データを生成する。

画像処理部３０８は、ＬＦ復号部３０７で復号されたライトフィールドデータに対して、画像処理を行う（ステップ１２１３）。ここでの画像処理は、次の通りである。
・合焦位置の変更を行わないリフォーカス処理の要求に対する応答の場合：
生成された「視差０のリフォーカス画像」を出力部３０９に出力する。
・ステレオ立体視のリクエストに対する応答の場合：
生成された視点ａ、ｂ、ｃ、ｄの画像から視点ａ、ｂの画像を選択してステレオ画像として出力部３０９に出力する。もちろん視点ｃ、ｄを選択しても構わない。
・裸眼立体視のリクエストに対する応答の場合：
生成された視点ａ、ｂ、ｃ、ｄの画像データから裸眼立体ディスプレイの視点数に応じた視点を自由視点画像合成する。自由視点画像合成に係る処理は既に説明したのと同じで良いので、ここでの説明は省略する。

出力部３０９は、上記のようにして生成されや画像データを記録部３０３、または、表示部３１１に出力する（ステップ１２１４）。

上述の符号化処理、復号処理により本実施形態によれば、リフォーカス画像、ステレオ立体視、裸眼立体視、デプス推定などの画像処理を、少ないデータ量、かつ、少ない演算量で実現することが可能となる。

［第２の実施形態］
第１の実施形態では、プレノプティックカメラにより取得されたライトフィールドＲＡＷデータを、デモザイク処理してライトフィールドデータを生成し、それを符号化する画像符号化装置を説明した。また、ユーザリクエストに応じて圧縮ライトフィールドデータの部分データを復号し、画像データを出力する画像復号装置について説明した。

第２の実施形態では、プレノプティックカメラにより取得されたライトフィールドＲＡＷデータを符号化する画像符号化装置、ユーザリクエストに応じて圧縮ライトフィールドＲＡＷデータの部分データを復号する画像復号装置について説明する。

本第２実施形態でも、画像符号化装置は図１に示すカメラ１００に搭載され、その構成は同じである。よって情報処理部１０９の内部構成も第１の実施形態と同様であり、情報処理部１０９内のＲＯＭに格納されているプログラムが異なるものである。すなわち、本第２の実施形態における符号化処理は、図８に代えて、図１３に示すフローチャートのようになる。以下、本第２の実施形態における情報処理部１０９の処理内容を図１３のフローチャートに従って説明する。同図は、プレノプティックカメラにより取得されたライトフィールドＲＡＷデータの符号化処理を示している。

まず取得部１０３は、撮像部１０２から出力されたライトフィールドＲＡＷデータを取得し、画像処理部１０４にその取得したライトフィールドＲＡＷデータを出力する（ステップ１３０１）。

次に画像処理部１０４は、ライトフィールドＲＡＷデータを色成分毎に分割して、ＬＦ（Ｌｉｇｈｔ Ｆｉｅｌｄ）符号化部１０５にライトフィールドＲＡＷデータを出力する（ステップ１３０２）。

図７（ｂ）に示すように撮像素子はベイヤパターンのＲＧＢ配列で構成されている。ＲＧＢ各色が２×２分割の４画素に分割されており、各画素１４ビットで表現されている。もちろん、ダイナミックレンジ圧縮により１０ビット、または、１２ビットなど他のビットで表現しても良い。

ここで、本第２の実施形態における、ライトフィールドＲＡＷデータの分割方法を図１４を参照して説明する。色成分の分割では、Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分毎に配列して、各成分毎の画像データを構築する。すなわち、図１４（ａ）乃至（ｄ）に示すように、色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）に２×２分割の多視点画像を生成する。

画像処理部１０４は、色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）に分割されたライトフィールドＲＡＷデータをＬＦ符号化部１０５に出力する。

ＬＦ符号化部１０５では、色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のライトフィールドＲＡＷデータにおける２×２個のデータ、例えば、図１４（ａ）のＧ０成分の画素１４０１ａ、１４０１ｂ、１４０１ｃ、１４０１ｄが、図１０（ａ）の２×２の画素ａ、ｂ、ｃ、ｄの対応画素する画素と見なし、Ｈａａｒウェーブレット変換を経て符号化する。なお、第１の実施形態における図１０（ａ）における画素ａ，ｂ，ｃ，ｄそれぞれは、３つの色成分が含まれていたが、本第の２実施形態における図１０（ａ）の画素ａ、ｂ、ｃ、ｄは１色成分のみを有することになる点に注意されたい。色成分は、Ｒ０、Ｇ０，Ｇ１，Ｂ０に既に分かれているからであり、それぞれの成分ごとに符号化することになる。

色成分毎の処理は第１の実施形態と共通のため、ステップ１３０３〜１３０８の説明は割愛する。出力部１０６は、圧縮ライトフィールドＲＡＷデータを記憶部１０７に出力し、保存する。保存された圧縮ライトフィールドＲＡＷデータは、Ｉ／Ｏインターフェース１０８を介して、カメラ外のデバイスに出力される。

以下、本第２の実施形態に示す画像復号装置について説明する。図１５は、第２の実施形態の画像復号装置の構成の一例を示す図である。

画像復号装置１５００は、Ｉ／Ｏインターフェース１５０１と、操作部１５０２と、記憶部１５０３と、情報処理部１５１０と、表示部１５０８を有している。ここで画像復号装置１５００と、Ｉ／Ｏインターフェース１５０１と、操作部１５０２と、記憶部１５０３と、表示部１５０８は、図２で示される第１の実施形態と共通するので、ここでの説明は省略する。

以下、本第２の実施形態に示す情報処理部１５１０の処理について説明する。図１６は、圧縮ライトフィールドＲＡＷデータを復号する場合に、画像復号装置１５００内で行われる処理を示したフローチャートである。

まず取得部１５０４は、操作部１５０２からユーザのリクエストを取得する。ユーザのリクエストとは、ライトフィールドＲＡＷデータからリフォーカス処理を行う、ステレオ立体視する、裸眼立体視するなどの処理が挙げられる。ユーザリクエストは、符号選択部１５０５に送出される（ステップ１６０１）。

次に取得部１５０４は、記憶部１５０３から出力された圧縮ライトフィールドＲＡＷデータを取得し、符号選択部１５０５に圧縮ライトフィールドＲＡＷデータを出力する（ステップ１６０２）。本第２の実施形態では、圧縮ライトフィールドＲＡＷデータの色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のＲ成分が「視差０のリフォーカス画像」である場合について説明する。

符号選択部１５０５は、ユーザのリクエストに基づいて、圧縮ライトフィールドＲＡＷデータから復号する部分データを選択する（ステップ１６０３）。以下、ユーザのリクエストの種類と、選択する部分符号データの関係を、図１０（ｃ）を用いて説明する。
i).リクエストがリフォーカス処理であり、かつ、合焦位置の変更を行わない場合：
色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のＲ成分（リフォーカス成分）の符号データを部分符号データとして選択する。
ii).リクエストがリフォーカス処理であり、かつ、合焦位置の変更を行う場合：
色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のＲ成分、ｄ１成分、ｄ２成分、ｄ３成分の符号データを部分符号データとして選択する。
iii).リクエストがステレオ立体視である場合
色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のＲ成分、ｄ１成分の符号データを部分符号データとして選択する。
iv).リクエストが裸眼立体視である場合
色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のＲ成分、ｄ１成分、ｄ２成分、ｄ３成分の符号データを部分符号データとして選択する。また視点が水平方向のみの場合、Ｒ成分、ｄ１成分の符号データを部分符号データとして選択する。

上記の処理により選択した圧縮ライトフィールドＲＡＷデータの部分符号データを、ＬＦ（Ｌｉｇｈｔ Ｆｉｅｌｄ）復号部１５０６に出力する。ＬＦ復号部１５０６は、圧縮ライトフィールドＲＡＷデータの部分符号データを復号する（ステップ１６０４）。

以下、ユーザのリクエストに対するステップ１６０４の処理を説明する。
i).リクエストが、合焦位置の変更を行わないリフォーカス処理であった場合：
色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のＲ成分の符号データが部分符号データとして選択される。色成分毎のＲ成分を復号することで、「視差０のリフォーカス画像」のＲＡＷデータが生成される。出力部１５０７に「視差０のリフォーカス画像」のＲＡＷデータを出力する。
ii).リクエストが、合焦位置の変更を行うリフォーカス処理であった場合：
色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のＲ成分、ｄ１成分、ｄ２成分、ｄ３成分の符号データが部分符号データとして選択される。色成分毎のＲ成分、ｄ１成分、ｄ２成分、ｄ３成分を復号し、視点間ウェーブレット逆変換を行うことで、視点ａ、ｂ、ｃ、ｄのＲＡＷデータが生成される。そして、出力部１５０７に視点ａ、ｂ、ｃ、ｄのＲＡＷデータを出力する。
iii).リクエストがステレオ立体視である場合
色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のＲ成分、ｄ１成分の符号データが部分符号データとして選択される。色成分毎のＲ成分、ｄ１成分を復号する。また、ｄ２成分、ｄ３成分の値を０にセットする。色成分毎のＲ成分、ｄ１成分、ｄ２成分、ｄ３成分の対応画素に対して、視点間ウェーブレット逆変換を行うことで、視点ａ、ｂ、ｃ、ｄのＲＡＷデータが生成される。このとき、視点ａ、ｃの画像は同一となる。また、視点ｂ、ｄの画像も同一となる。図７（ａ）を用いて説明すると、視点ａ、ｃの画像は、仮想レンズ６０１の領域ａと領域ｃを合わせた領域を通過した光線により生成した画像となる。また視点ｂ、ｄの画像は、仮想レンズ６０１の領域ｂと領域ｄを合わせた領域を通過した光線により生成した画像となる。即ち生成した画像ａ、ｂは、撮像時の画像ａ、ｂとは異なり、光量が多くノイズの少ないステレオ立体視に適した画像となる。出力部１５０７に視点ａ、ｂのＲＡＷデータを出力する。もちろん視点ｃ、ｄのＲＡＷデータでも構わない。
iv).リクエストが裸眼立体視である場合
色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のＲ成分、ｄ１成分、ｄ２成分、ｄ３成分の符号データが部分符号データとして選択される。色成分毎のＲ成分、ｄ１成分、ｄ２成分、ｄ３成分を復号し、視点間ウェーブレット逆変換を行うことで、視点ａ、ｂ、ｃ、ｄのＲＡＷデータが生成される。出力部１５０７に視点ａ、ｂ、ｃ、ｄのＲＡＷデータを出力する。また視点が水平方向のみの場合、Ｒ成分、ｄ１成分の符号データが部分符号データとして選択される。この場合の復号処理は、上記のiiiの処理と同様のため、ここでの説明は割愛する。そして、出力部１５０７に視点ａ、ｂのＲＡＷデータを出力する。もちろん、視点ｃ、ｄのＲＡＷデータでも構わない。

圧縮ライトフィールドＲＡＷデータを復号してから画像処理を行う従来の手法と比較して、本実施形態では、圧縮ライトフィールドＲＡＷデータの部分復号により、ユーザのリクエストに適した画像を少ない演算量で生成できる。

出力部１５０７は、ステップ１６０４で出力されたＲＡＷデータを記録部１５０３、または、表示部１５０８に出力する（ステップ１６０５）。

上述のライトフィールドＲＡＷデータ（垂直２分割×水平２分割）の符号化処理、復号処理により、リフォーカス画像、ステレオ立体視、裸眼立体視などの画像処理を、少ないデータ量、かつ、少ない演算量で実現することが可能となる。

［第３の実施形態］
第１の実施形態では、プレノプティックカメラの光線情報の分割数が、垂直２分割×水平２分割の場合のライトフィールドデータの画像符号化装置、画像復号装置について説明した。第３の実施形態では、プレノプティックカメラの光線情報の分割数が、垂直１分割×水平２分割のときのライトフィールドデータの画像符号化装置、画像復号装置について説明する。

以下、本第３の実施形態に示す画像符号化装置について説明する。符号化装置の構成は図１と同じである。ただし、本第３の実施形態におけるプレノプティックカメラでは、図１７（ａ）に示すようにメインレンズ６０１を複数に分割したときの各分割領域ａ，ｂを通る光線情報が抽出する点で第１、第２の実施形態と異なる。ここでも、メインレンズ６０１は撮像レンズ５０１〜５０３を１枚のレンズであると仮想的にみなしたときの仮想レンズ６０１である。

図１７（ｂ）に示すように、メインレンズ６０１の領域ａを通過した光線はセンサ上の画素群１７０１ａに入射し、メインレンズの領域ｂを通過した光線はセンサ上の画素群１７０１ｂに入射する。つまり、画素群１７０１ａからの出力はレンズ領域ａに対応する視点の情報を含み、画素群１７０１ｂからの出力はレンズ領域ｂに対応する視点の情報を含む。本実施形態においては、センサはベイヤパターンのＲＧＢ配列で構成されている。ＲＧＢ各色が１×２分割の２画素に分割されており、各画素１４ビットで表現されている。もちろん、ダイナミックレンジ圧縮により１０ビット、または、１２ビットなど他のビットで表現してもよい。

本第３の実施形態でも、図１７（ｂ）で示されるライトフィールドＲＡＷデータを、デモザイク処理して現像したデータをライトフィールドデータと呼ぶ。

例えば、図１７（ｂ）におけるカラーフィルタ５０８を通過したＧ０，Ｒ０，Ｂ０，Ｇ１それぞれの素子“ａ”のデータを、ａ（Ｇ０）、ａ（Ｒ０）、ａ（Ｂ０）、ａ（Ｇ１）と表したとき、その集合は図１７（ｃ）のように表現できる。図１７（ｃ）は、１カラーフィルタ＝１素子の関係を持つ、通常の撮像素子のベイヤ配列と同じであるので、これをデモザイク処理することで、１画素当たりＲＧＢの３つの成分（実施形態では各成分とも８ビットとする）で構成される画像“ａ”を生成できる。

同様に、 図１７（ｂ）におけるカラーフィルタ５０８を通過したＧ０，Ｒ０，Ｂ０，Ｇ１それぞれの素子“ｂ”のデータを、ｂ（Ｇ０）、ｂ（Ｒ０）、ｂ（Ｂ０）、ｂ（Ｇ１）と表したとき、その集合は図１７（ｄ）のように表現でき、これをデモザイク処理することで、１画素当たりＲＧＢの３つの成分で構成される画像“ｂ”を生成できる。

上記の結果、視点ａ，ｂの２つの画像で構成されるライトフィールドデータを得ることができる。

本第３の実施形態における情報処理部１０９の処理内容は、光線情報の分割数が垂直１分割×水平２分割（１×２分割）となる以外は、第１の実施形態で説明した図８と同じである。以下、図８に従って第３の実施形態における符号化処理手順を説明する。

まず取得部１０３は、撮像部１０２から出力されたライトフィールドＲＡＷデータを取得し、画像処理部１０４にライトフィールドＲＡＷデータを出力する（ステップＳ８０１）。

次に画像処理部１０４は、ライトフィールドＲＡＷデータを、デモザイク処理してライトフィールドデータ（視点ａ、ｂの２つの画像）を生成し、ＬＦ（Ｌｉｇｈｔ Ｆｉｅｌｄ）符号化部１０５にライトフィールドデータを出力する（ステップＳ８０２）。

次にＬＦ符号化部１０５は、ライトフィールドデータの符号化処理を行う。まずライトフィールドデータから視点間の冗長性を削減するため、視点ａ、ｂの画素の対応関係を決定する。対応関係はリフォーカス画像の合焦位置を指定することで決定される（ステップＳ８０３）。

操作部１０１が、撮影後に合焦位置を調整するリフォーカスモードに設定されている場合は、撮像後にユーザから最適な合焦位置が入力される。例えば、表示部４０５の液晶ディスプレイに表示される画像に対して、ユーザが合焦位置をタッチパネル機能により指定することで操作部１０１の入力とする。もちろん合焦位置の指定は、複数の合焦位置の画像を提示し、ユーザが選択するなど他の方法を用いても構わない。

リフォーカス画像とは、ライトフィールドデータの視点間（視点ａ、ｂ）の対応画素を合成して、指定の合焦位置となるように生成した画像を示す。図１９を用いて、ライトフィールドデータにおける視点間の対応画素の決定方法について説明する。図１９では、オブジェクト１９０１が奥に、オブジェクト１９０２が手前に配置されている。以下、オブジェクト１９０１に焦点を合わせて撮像したとして説明する。

まず合焦位置を変更せず、ライトフィールドデータからリフォーカス画像を生成するときの対応画素について、図１９（ａ）を用いて説明する。即ちステップＳ８０３で合焦位置の変更指示がない場合を示す。

１×２分割した画素１９０３ａ、１９０３ｂの２画素を対応画素とし、２画素の色値を平均してリフォーカス画像の１画素とする。視点ａ、ｂの全画素で同様の対応関係を用いて２画素の色値の平均を計算し、画素を配列することでリフォーカス画像が生成される。本実施形態では、図１９（ａ）の対応画素を「視差０の対応画素」と呼び、リフォーカス画像を「視差０のリフォーカス画像」と呼ぶ。即ちステップ８０３で合焦位置の変更指示がないとき、「視差０の対応画素」を設定することになる。操作部１０１が、リフォーカスモードに設定されていないなど、合焦位置の変更を行わない場合も「視差０の対応画素」を設定する。

次に合焦位置を変更してオブジェクト１９０２に焦点を合わせたリフォーカス画像を生成するときについて図１９（ｂ）を用いて説明する。ステップＳ８０３で合焦位置の変更指示がある場合を示す。

画素１９０４ａ、１９０４ｂの２画素を対応画素とし、２画素の色値を平均してリフォーカス画像の１画素とする。視点ａ、ｂの全画素で同様の対応関係を用いて２画素の色値の平均を計算し、画素を配列することでリフォーカス画像が生成される。

上記の処理は、各視点（視点ａ、ｂ）の画素群を指定の視差量分シフトして対応画素とすることを示している。視差０の対応点１９０３ａ、１９０３ｂを基準として考える。画素１９０４ａは画素１９０３ａの右に、画素１９０４ｂは画素１９０３ｂの左に、それぞれ１画素シフトしている。本実施形態では、図１９（ｂ）の対応画素を「視差１の対応画素」と呼び、リフォーカス画像を「視差１のリフォーカス画像」と呼ぶ。

またオブジェクト１９０２より奥に焦点を合わせたリフォーカス画像を生成するときは、各視点の画素群のシフト方向が逆方向となる。即ちステップＳ８０３で合焦位置が変更されるとき、焦点位置に応じた視差量をシフトした「視差Ｎの対応画素」（Ｎは整数）を設定する（ステップＳ８０４）。

上記の処理で設定された対応画素に対して、視点間の冗長性を削減するため、視点間ウェーブレット変換を行う（ステップＳ８０５）。視点間ウェーブレット変換とは、ライトフィールドデータにおける視点間の対応画素をウェーブレット変換することを示す。図１９（ａ）を用いて説明すると、対応画素１９０３ａ、１９０３ｂに対してウェーブレット変換を行う。ここでは数式１、数式２で示されるＨａａｒウェーブレット変換（ハールウェーブレット変換）を用いる。

対応画素である２画素（垂直１画素×水平２画素）に対して、水平方向にウェーブレット変換を行う。図１８（ａ）、（ｂ）を用いて視点間ウェーブレット変換を説明する。対応する２画素の画素値をａ、ｂとするとき、ライトフィールドデータは図１８（ａ）で示される。対応する２画素のウェーブレット変換は以下の式で示される。
Ｒ成分 ＝（ａ＋ｂ）／２ （数式１３）
ｄ成分 ＝（ａ―ｂ）／２ （数式１４）
ここで、Ｒ成分はリフォーカス成分であり、色のＲではない点に注意されたい。

視点間ウェーブレット変換後の分解成分は図１８（ｂ）で示される。画素値ａ、ｂがＲ成分（平均成分）、ｄ成分（差分成分）に分解される。このときＲ成分は、「視差Ｎのリフォーカス画像」となり、図１９（ａ）の例では「視差０のリフォーカス画像」となる。本実施形態では視点数は２視点であり、平均成分、差分成分の成分数は共に１であり、合計の成分数は２となる。すなわち視点数と合計の成分数は２で一致する。図１９（ｂ）など視差を有する対応画素の視点間ウェーブレット変換も同様の処理で行われる。

次に視点間ウェーブレット変換後の分解成分に対して画面内のウェーブレット変換を行う。即ちＲ成分、ｄ成分の各成分に対してウェーブレット変換を行う。図１８を用いて説明すると、図１８（ｂ）は視点間ウェーブレット変換後の分解成分を示しており、図１８（ｃ）は分解成分毎に配置し直したものである。分解成分毎（Ｒ成分、ｄ成分）に水平方向、垂直方向にウェーブレット変換を行うことで、図１８（ｄ）に示すように、各分解成分がウェーブレット係数（ＬＬ成分、ＨＬ成分、ＬＨ成分、ＨＨ成分）に分解される（ステップＳ８０６）。

次に図１８（ｄ）に示されるウェーブレット係数（ＬＬ成分、ＨＬ成分、ＬＨ成分、ＨＨ成分）を量子化し、エントロピー符号化する（ステップＳ８０７）。ステップＳ８０６、および、ステップＳ８０７に関しては、ＪＰＥＧ２０００など標準符号化技術を用いても構わない。ＪＰＥＧ２０００を用いるときは、図１８（ｃ）に示されるように分解成分単位（Ｒ成分、ｄ成分）をＪＰＥＧ２０００の入力とする。本実施形態では、エントロピー符号化されたライトフィールドデータを圧縮ライトフィールドデータを呼ぶ。

ＬＦ符号化部１０５は、圧縮ライトフィールドデータを出力部１０６に出力する（ステップ８０８）。出力部１０６は、圧縮ライトフィールドデータを記憶部１０７に出力し、保存する。保存された圧縮ライトフィールドデータは、Ｉ／Ｏインターフェース１０８を介して、カメラ外のデバイスに出力される。なお、出力される圧縮ライトフィールドデータのファイル構造は第１の実施形態と同様、図２１のようになる。

次に、本第３の実施形態における画像復号装置について説明する。本第３の実施形態における画像符号化装置の構成は、光線情報の分割数が垂直１分割×水平２分割（１×２分割）となる以外は、第１の実施形態と同じでり、図２の構造を有するものである。まら、復号処理も図１１のフローチャートに従う。

以下、本第３の実施形態に示す情報処理部２１０の処理について説明する。

まず取得部２０４は、操作部２０２からユーザのリクエストを取得する。ユーザのリクエストとは、ライトフィールドデータからリフォーカス処理を行う、ステレオ立体視する、裸眼立体視する、デプス推定を行うなどの処理が挙げられる。もちろんライトフィールドデータを用いる画像処理であれば、被写界深度制御を行うなど他のリクエストであっても構わない。ユーザのリクエストは、符号選択部２０５に送出される（ステップ１１０１）。

次に取得部２０４は、記憶部２０３から出力された圧縮ライトフィールドデータを取得し、符号選択部２０５に圧縮ライトフィールドデータを出力する（ステップ１１０２）。本実施形態では、圧縮ライトフィールドデータにおけるＲ成分が「視差０のリフォーカス画像」である場合ついて説明する。

符号選択部２０５は、ユーザのリクエストに基づいて、圧縮ライトフィールドから復号する部分符号データを選択する（ステップ１１０３）。ユーザによるリクエストと選択される部分符号化データとの対応関係は次の通りである。
i).リクエストが、合焦位置の変更を行わないリフォーカスの場合：
Ｒ成分の符号データを部分符号データとして選択する。つまり、ｄ成分の符号化データは選択しない。
ii).リクエストが、合焦位置の変更を行うリフォーカスの場合、又は、
iii),リクエストがステレオ立体視である場合、又は、
iv).リクエストが裸眼立体視である場合、又は、
v).リクエストがデプス推定である場合、
Ｒ成分、ｄ成分の符号データを部分符号データとして選択する。

上記の処理により選択した圧縮ライトフィールドデータの部分符号データが、ＬＦ（Ｌｉｇｈｔ Ｆｉｅｌｄ）復号部２０６に供給される。

ＬＦ復号部２０６は、圧縮ライトフィールドデータの部分符号データを復号する（ステップＳ１１０４）。Ｈａａｒウェーブレット逆変換は式（７）、（８）で示される。また、対応する２画素の視点間ウェーブレット逆変換は以下の式で示される。
ａ＝Ｒ成分＋ｄ成分 …（１５）
ｂ＝Ｒ成分−ｄ成分 …（１６）

以下、ユーザのリクエストに応じた、ＬＦ復号部２０６による圧縮ライトフィールドデータの部分復号処理（ステップＳ１１０４）について、図１８（ｃ）を用いて説明する。
i).リクエストが、合焦位置の変更を行わないリフォーカス処理の場合：
Ｒ成分の符号データが部分符号データとして選択される。Ｒ成分を復号することで、数式（１３）に示すように「視差０のリフォーカス画像」が生成される。
ii).リクエストが、合焦位置の変更を行うリフォーカスの場合、又は、
iii).リクエストがステレオ立体視である場合、又は、
iv).リクエストが裸眼立体視である場合、又は
v).リクエストがデプス推定である場足：
Ｒ成分、ｄ成分の符号データが部分符号データとして選択される。Ｒ成分、ｄ成分を復号し、Ｒ成分、ｄ成分の対応画素に対して、視点間ウェーブレット逆変換を行うことで、視点ａ、ｂの画像が生成される。

次に、ユーザからのリクエストに基づいて、生成された画像データに対して画像処理を行うか、画像データを出力するかを判断する（ステップ１１０５）。このとき、ユーザからのリクエストが以下のi,iiのいずれかの場合、復号したライトフィールドデータ（画像データ）を出力部２０８に出力する。
i).リクエストが、合焦位置の変更を行わないリフォーカスの場合：
生成された「視差０のリフォーカス画像」を出力する。
ii).リクエストがステレオ立体視である場合：
生成された視点ａ、ｂの画像をステレオ画像として出力する。

また、ユーザからのリクエストが以下の場合、復号したライトフィールドデータに対して画像処理を行う（ステップＳ１１０６）。
i).リクエストが、合焦位置の変更を行うリフォーカスの場合：
生成された視点ａ、ｂの画像から「視差Ｎのリフォーカス画像」（Ｎは整数）を生成し、「視差Ｎのリフォーカス画像」を出力する。
ii).リクエストが裸眼立体視である場合：
生成された視点ａ、ｂの画像から裸眼立体ディスプレイの視点数に応じた視点を自由視点画像合成する。例えば水平方向に８視点の裸眼立体ディスプレイの場合、視点ａ、ｂの画像を選択し、視点ａ、ｂの間の６視点を自由視点画像合成で生成し、水平方向に８視点の画像データを出力する。ここでは、自由視点画像合成の方法については説明を割愛する。
iii).リクエストがデプス推定である場合
生成された視点ａ、ｂの画像をステレオ画像としてステレオマッチングによりデプスマップを生成し。それを画像データとして出力する。ここでは、ステレオマッチングの方法については説明を割愛する。

出力部２０８は、上記のようにして生成されや画像データを記録部２０３、または、表示部２０９に出力する（ステップ１１０７）。

上述のライトフィールドデータ（垂直１分割×水平２分割）の符号化処理、復号処理により、リフォーカス画像、ステレオ立体視、裸眼立体視、デプス推定などの画像処理を、少ないデータ量、かつ、少ない演算量で実現することが可能となる。

［第４の実施形態」
第２の実施形態では、プレノプティックカメラの光線情報の分割数が、垂直２分割×水平２分割のときのライトフィールドＲＡＷデータの画像符号化装置、画像復号装置について説明した。

第４の実施形態では、プレノプティックカメラの光線情報の分割数が、垂直１分割×水平２分割のときのライトフィールドＲＡＷデータの画像符号化装置、画像復号装置について説明する。かかる点を除き、装置構成は第１の実施形態と同じである。

以下、本第４の実施形態における画像符号化装置の情報処理部１０９の処理を、図１３のフローチャート（対応するプログラムはＲＯＭに格納されている）に従って説明する。 まず取得部１０３は、撮像部１０２から出力されたライトフィールドＲＡＷデータを取得し、画像処理部１０４にライトフィールドＲＡＷデータを出力する（ステップ１３０１）。

次に画像処理部１０４は、ライトフィールドＲＡＷデータを色成分毎に分割して、ＬＦ（Ｌｉｇｈｔ Ｆｉｅｌｄ）符号化部１０５にライトフィールドＲＡＷデータを出力する（ステップ１３０２）。

図１７（ｂ）に示すように撮像素子はベイヤパターンのＲＧＢ配列で構成されている。ＲＧＢ各色が１×２分割の２画素に分割されており、各画素１４ビットで表現されている。もちろん、ダイナミックレンジ圧縮により１０ビット、または、１２ビットなど他のビットで表現しても良い。

図２０（ａ）乃至（ｄ）を用いて、ライトフィールドＲＡＷデータの分割方法について説明する。色成分の分割では、同図のように、Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分毎に配列して、各成分毎の画像データを構築する。すなわち、色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）に１×２分割の多視点画像が生成される。

画像処理部１０４は、色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）に分割されたライトフィールドＲＡＷデータをＬＦ符号化部１０５に出力する。

ＬＦ符号化部１０５では、色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のライトフィールドＲＡＷデータを、第３の実施形態のライトフィールドデータと同様に扱うことで、符号化処理が行える。すなわち、図２０（ａ）の場合はＧ０成分の水平方向に隣接する２画素２００１ａ、２００１ｂに対してＨａａｒウェーブレット変換し、Ｒ成分（リフォーカス成分）とｄ成分を得て、符号化処理を実行する。他の色成分Ｒ０，Ｂ０、Ｇ１についても同様である（ステップＳ１３０５乃至１３０７）。

出力部１０６は、圧縮符号化ライトフィールドＲＡＷデータを記憶部１０７に出力し、保存する（ステップＳ１３０８）。保存された圧縮ライトフィールドＲＡＷデータは、Ｉ／Ｏインターフェース１０８を介して、カメラ外のデバイスに出力される。

次に、第４の実施形態における画像復号装置について説明する。本復号装置の構成は図１５に示されるように、第２の実施形態と同じであるので、その説明は省略する。以下、本第４の実施形態に示す画像復号装置における情報処理部１５１０の処理を、図１６のフローチャートに従って説明する。

まず取得部１５０４は、操作部１５０２からユーザのリクエストを取得する。ユーザのリクエストとは、ライトフィールドＲＡＷデータからリフォーカス処理を行う、ステレオ立体視する、裸眼立体視するなどの処理が挙げられる。ユーザリクエストは、符号選択部１５０５に送出される（ステップ１６０１）。

次に取得部１５０４は、記憶部１５０３から出力された圧縮ライトフィールドＲＡＷデータを取得し、符号選択部１５０５に圧縮ライトフィールドＲＡＷデータを出力する（ステップ１６０２）。本実施形態では、圧縮ライトフィールドＲＡＷデータの色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のＲ成分（リフォーカス成分）が「視差０のリフォーカス画像」であるものとして説明する。

符号選択部１５０５は、ユーザのリクエストに基づいて、圧縮ライトフィールドＲＡＷデータから復号対象の部分符号化データを選択する（ステップ１６０３）。以下、ユーザのリクエストに対する部分符号データの選択処理を説明する。
i).リクエストが、合焦位置の変更を行わないときリフォーカス処理である場合：
色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のＲ成分の符号データを部分符号データとして選択する。
ii).リクエストが合焦位置の変更を行うリフォーカス処理の場合、又は、
iii).リクエストがステレオ立体視である場合、又は、
iv).リクエストが裸眼立体視である場合：
色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のＲ成分、ｄ成分の符号データを部分符号データとして選択する。

上記の処理により選択した圧縮ライトフィールドＲＡＷデータの部分符号データが、ＬＦ（Ｌｉｇｈｔ Ｆｉｅｌｄ）復号部１５０６に出力される。

ＬＦ復号部１５０６は、圧縮ライトフィールドＲＡＷデータの部分符号データを復号する（ステップＳ１６０４）。以下に、ユーザのリクエストに基づくこの復号処理内容を示す。
i).リクエストが、合焦位置の変更を行わないリフォーカス処理の場合：
色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のＲ成分の符号データが部分符号データとして選択される。色成分毎のＲ成分を復号することで、「視差０のリフォーカス画像」のＲＡＷデータが生成される。出力部１５０７に「視差０のリフォーカス画像」のＲＡＷデータを出力する。
ii).リクエストが、合焦位置の変更を行うリフォーカス処理の場合、又は、
iii).リクエストがステレオ立体視である場合、又は、
iv).リクエストが裸眼立体視である場合：
色成分毎（Ｒ０成分、Ｇ０成分、Ｇ１成分、Ｂ０成分）のＲ成分、ｄ成分の符号データが部分符号データとして選択される。色成分毎のＲ成分、ｄ成分を復号し、視点間ウェーブレット逆変換を行うことで、視点ａ、ｂのＲＡＷデータが生成される。出力部１５０７に視点ａ、ｂのＲＡＷデータを出力する。

圧縮ライトフィールドＲＡＷデータを復号してから画像処理を行う従来の手法と比較して、本第４の実施形態では、圧縮ライトフィールドＲＡＷデータの部分復号により、ユーザのリクエストに応じて、不必要な処理は省く、少ない演算量で画像を生成できる。

出力部１５０７は、上記i乃至ivで出力されたＲＡＷデータを記録部１５０３、または、表示部１５０８に出力する（ステップＳ１６０５）。

上述のライトフィールドＲＡＷデータ（垂直１分割×水平２分割）の符号化処理、復号処理により、リフォーカス画像、ステレオ立体視、裸眼立体視、デプス推定などの画像処理を、少ないデータ量、かつ、少ない演算量で実現することが可能となる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００…画像符号化装置、１０１…操作部、１０２…撮像部、１０３…取得部、１０４…画像処理部、１０５…ライトフィールド（ＬＦ）符号化部、１０６…出力部、１０７…記憶部

Claims (10)

1. ライトフィールド撮像手段で撮像したＮ個（Ｎは２以上の整数）の視点画像を符号化する画像符号化装置であって、
   前記Ｎ個の視点画像内の、所定の焦点位置に基づき決定された互いに対応するＮ個の対応画素の値の平均値を算出し、当該平均値を画素の値として有する、前記所定の焦点位置に合焦した画像を生成する第１の生成手段と、
   前記Ｎ個の視点画像における対応画素の値を前記第１の生成手段で生成された画素の値から導出するための、Ｎ−１種類の差分値を生成する第２の生成手段と、
   前記第１の生成手段で生成された画像、並びに、前記第２の生成手段で生成したＮ−１種類の差分値で構成される差分情報を符号化する符号化手段と
   を有することを特徴とする画像符号化装置。
2. 前記第１、第２の生成手段は、Ｈａａｒウェーブレット変換を用いて生成することを特徴とする請求項１に記載の画像符号化装置。
3. 前記第１の生成手段は、ユーザから指定された合焦位置に基づき、前記Ｎ個の視点画像内における前記対応画素となる画素の位置を決定する手段を含むことを特徴とする請求項１又は２に記載の画像符号化装置。
4. 前記符号化手段は、前記第１の生成手段で生成された画像から生成した符号化データ、前記第２の生成手段で生成したＮ−１種類の差分情報から生成したＮ−１個の符号化データそれぞれの格納位置を示す表す情報を、ファイルヘッダに格納したファイルを生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
5. 前記ライトフィールド撮像手段で撮像した、デモザイク処理する前の、ライトフィールドＲＡＷデータを入力する入力手段と、
   該入力手段で入力したライトフィールドＲＡＷデータから、各視点の画像を生成するデモザイク手段と
   を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
6. 前記ライトフィールド撮像手段で撮像した、デモザイク処理を行う前の、ライトフィールドＲＡＷデータを入力する入力手段と、
   前記ライトフィールド撮像手段が有するカラーフィルタごとのセンサがベイヤ配列である場合には、各カラーフィルタごとに、それぞれのセンサが検出した値を画素の値とする画像を生成する画像生成手段を更に有し、
   前記第１の生成手段、前記第２の生成手段は、前記画像生成手段で生成した各カラーフィルタそれぞれの画像を処理の対象とすることを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
7. 前記符号化手段は、前記第１の生成手段が生成した画像、並びに、前記第２の生成手段が生成したＮ−１個の差分情報それぞれを、空間周波数変換してエントロピー符号化することを特徴とする請求項１乃至６のいずれか１項に記載の画像符号化装置。
8. コンピュータが読み込み実行することで、前記コンピュータに、請求項１乃至７のいずれか１項に記載の画像符号化装置の各手段として機能させるためのプログラム。
9. 請求項８に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
10. ライトフィールド撮像手段で撮像したＮ個（Ｎは２以上の整数）の視点画像を符号化する画像符号化装置の制御方法であって、
    第１の生成手段が、前記Ｎ個の視点画像内の、所定の焦点位置に基づき決定された互いに対応するＮ個の対応画素の値の平均値を算出し、当該平均値を画素の値として有する、前記所定の焦点位置に合焦した画像を生成する第１の生成工程と、
    第２の生成手段が、前記Ｎ個の視点画像における対応画素の値を前記第１の生成工程で生成された画素の値から導出するための、Ｎ−１種類の差分値を生成する第２の生成工程と、
    符号化手段が、前記第１の生成工程で生成された画像、並びに、前記第２の生成工程で生成したＮ−１種類の差分値で構成される差分情報を符号化する符号化工程と
    を有することを特徴とする画像符号化装置の制御方法。

Images