JP6385241B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明はライトフィールドデータのデータ量の縮小を可能にする画像処理装置および画像処理方法に関する。

例えば、撮像素子の前面に複数画素に対し１つの割合で並ぶマイクロレンズ（以下ＭＬ）のアレイを配置することで、光の２次元強度分布だけでなく撮像素子に入射する光線の入射方向の情報をも取得し、被写体空間の３次元的な情報を得ることが可能である。

このような被写体空間の３次元的な情報を得ることが可能なカメラ（撮像装置）はライトフィールドカメラと呼ばれている。また、被写体空間の３次元的な情報はライトフィールドデータ（ＬＦデータ）と呼ばれている。ＬＦデータの取得と撮影後の画像再構成処理によって、ＬＦデータ取得時のフォーカス位置を中心として、画像のピント位置変更や、撮影視点の変更、被写界深度の調節などのリフォーカスと呼ばれる画像処理が可能となる。

このようなライトフィールドカメラにおいて、プレノプティク方式が広く知られている。プレノプティク方式とは、マイクロレンズアレイ（以下ＭＬＡ）の下に複数の撮像用光電変換素子（ＰＤ）が二次元状に配置されており、光学系の有するフォーカスレンズは、各ＭＬの射出瞳の役割を有する。このような構成の撮像装置において、各マイクロレンズの下に存在するＰＤにより被写体からの複数の光線情報を得られることが知られている。前記光線情報を利用して、ＭＬの下に存在する画素群の同一位置の画素のみで形成した二次元画像は、それとは異なる位置の画素のみで形成した二次元画像に対し視差を有している。このような視差を有した二次元画像同士の合成によって記録画像のフォーカス面を仮想的に移動させることとなる。

上述したプレノプティクカメラによる撮像画素の数は、撮像素子のＭＬの数をＮ、一つのＭＬにて分割される画像の分割数をＭとすると下記式（１）となる。
ＬＦデータ ＝ Ｎ×Ｍ …(1)
なお、このようなＬＦデータに基づいて合成される最終出力画素データの数はマイクロレンズの数であるＮと同一の数となる。

このように、ＬＦデータはマイクロレンズ下の分割されたＰＤの数に応じて増加し、リフォーカス機能を有する撮像装置では、最終出力である出力画素データの数に対して、各種信号処理を行う際、処理負荷が増大する。更に撮像画素データを各種画像信号処理手段に取り込む際、大容量のデータ格納手段が必要となる。その結果、データ処理の負荷増大に伴い消費電力が増加し、更に処理データ量の増加に伴うデータ格納手段の容量増加によるコストアップとなる。

このような課題に対して、特許文献１では被写体の存在する距離に応じて、リフォーカスを行う可能性があるかどうかを判定し、リフォーカスする可能性がある場合にはマイクロレンズ下の全画素の記録を行い、ない場合には加算記録を行う技術が開示されている。

特開２０１３−２４７５９０号公報

しかしながら、特許文献１のように特定の領域だけ全画素記録と加算記録を切り換えた場合、全画素記録している領域ではリフォーカスを行うことが可能ではあるが、加算記録している領域ではリフォーカスを行うことが出来ない。

このような状況において、全画素記録領域に対してリフォーカス処理を行った場合、全画素記録領域については適切にリフォーカスを行うことが可能だが、加算記録領域に対しては適切にリフォーカスすることは難しい。つまり、加算記録された画像からは、より合焦に近くなったとしてもシャープな像を生成することは困難であるし、合焦から離れたとしても自然なボケ形状を生成することも困難である。

本発明は、上記の課題を鑑みてなされたものであり、取得されたＬＦデータのデータ量削減を行いつつも、画像全体に対して適切に仮想焦点面の移動が可能なＬＦデータ生成する画像処理装置の提供を目的とする。

上記課題を解決するために、本発明によれば、画像処理装置は、複数の視差画像を含むライトフィールドデータを取得するデータ取得手段と、ライトフィールドデータの仮想焦点面を設定する設定手段と、ライトフィールドデータから、焦点面が仮想焦点面に移動されたライトフィールドデータを生成する再構成手段と、生成されたライトフィールドデータのデータ削減量を、生成されたライトフィールドデータのリフォーカス可能範囲に従って決定する決定手段と、データ削減量に従って生成されたライトフィールドデータのデータ量を削減する削減手段とを備える。

本発明によれば、ＬＦデータのデータ量削減を行いつつも、画像全体に対して適切に仮想焦点面の移動が可能なＬＦデータを取得することが可能となる。

本発明の第一の実施例に係わる画像処理装置の構成図である。 ＬＦデータを取得するための画素の配列およびＬＦデータで生成される再構成画像の例を説明するための図である。 本発明の第一の実施例に係わる画素加算における加算単位(分割単位）を示す図である。 画素の加算に応じて決定されるリフォーカス可能範囲を説明する図である。 分割画素を使用した測距方法を説明するための図である。 各被写体のデフォーカス量に基づいて合焦面に対して設定される仮想焦点面を説明するための図である。 本発明の第一の実施例に係わる画像処理装置におけるが画像処理動作のフローチャートを示す図である。

以下、添付の図面を用いて、本発明の好適な実施の形態を詳細に説明する。

図１は本発明の第一の実施例に係わる画像処理装置１００の構成を示すブロック図である。

同図において、データ取得部１０１は、ＳＤカードに代表されるメモリカード等の記録媒体から記録されているライトフィールドデータ（ＬＦデータ）を読み出し、被写体検出部１０２に出力する。この時、不図示のシステム制御部は、前記ＬＦデータとともに記録されているメタデータに基づいて焦点距離、分割画素数、画素ピッチ、変換係数Ｋ値を算出する。なお、変換係数Ｋ値は像ずれ量をデフォーカス量へ変換するための係数である。さらに、変換係数Ｋ値は後述の分割画素に応じて与えられている。つまり、分割画素が６×６の３６画素ある場合には、ある基準の分割画素との相対的な像ずれ量を求める組み合わせの数、つまり３６−１である３５個のＫ値がある。なお、Ｋ値は必ずしもメタ情報とする必要はなく、画素ピッチやＦ値から概略で算出しても良い。このメタデータは機種情報であって、機種情報に基づいてテーブルから該情報を読み出してもよいし、該情報が直接記述されていてもよい。

ここで、図２を使用して本発明で使用されるＬＦデータについて説明する。図２は、ＬＦデータを取得するためにＭＬ下に配置される画素の配列の一例と、ＬＦデータから生成される再構成画像の例を示す図である。

本発明で使用されるＬＦデータはプレノプティックカメラで撮影された画素データである。

プレノプティックカメラが有する撮像素子の単位画素セルは、ＭＬＡに含まれる１つのＭＬあたりの画素（以下、分割画素と記す）の数であって、本実施例では６×６の分割画素を有している。このような単位画素セルが二次元状にベイヤー配列で撮像素子上に配置されており、メモリカードは前記撮像素子から取得されたデータをＬＦデータとして記録している。

各ＭＬの同一の位置に存在する画素のみで構成された二次元画像は、それとは異なる同一位置に存在する画素のみで構成された二次元画像に対して視差を有する。つまり、図２の座標１Ａの画素のみで構成された画像と座標２Ａの画素のみで構成された画像は異なる視差を有し、６×６の分割画素の場合、分割数である３６の異なる視差の画像が得られる。

一般的にプレノプティックカメラでは、これらの分割画素の数に応じた異なる視差の画像を合成してリフォーカス画像を生成する。図２に示すリフォーカス画像を簡単に説明すると、花の位置に視差を有さないように合成した場合には、花の位置で合焦しており、葉の位置では視差を有している画像同士を加算して合成するためにボケた画像を得ることとなる。また葉の位置で視差を有さないように合成した場合には、葉の位置で合焦しており、花の位置ではボケた画像を得ることが可能となる。また、焦点面を移動させたいデフォーカス量があらかじめ決まっている際には、各分割画素間で定義されるＫ値と呼ばれる固定値に基づいて各分割画素をシフト加算することで、仮想的に焦点面を移動させた画像を得ることが可能である。

図１に戻り、被写体検出部１０２は、入力されたＬＦデータに含まれる被写体を検出する手段であり、例えば顔を検出する場合は、リフォーカスを行う可能性がある被写体の座標情報を被写体測距部１０３に出力する。例えば、ＬＦデータに３人の被写体が存在していた場合は、３つの被写体の座標情報を出力する。被写体の検出方法についてはパターンマッチングなど周知の技術で検出が可能であり、検出方法は本発明に直接関係がないためここでの説明を省略する。

なお、被写体検出部１０２では分割画素全てを加算して生成された画像を用いて検出を行っても良いし、マイクロレンズの下の同一の位置の分割画素群、もしくは一部加算した分割画素群から得られた画像を用いて検出を行ってもよい。加算して生成された画像に基づいて検出を行う場合、明るくＳ／Ｎ比の優れた像を得ることが可能となるため低照度時の認識が可能となる。また分割画素群から得られた画像に基づいて検出を行うと、被写界深度が深い像を得ることが可能となるため、ボケた領域に存在する被写体の認識が可能となる。これら２つの手段は照度や加算して生成された像の被写界深度に基づいて切り換えても良い。

また人の座標位置でなくても、不図示のタッチパネルなどによってユーザーから入力される座標情報を被写体測距部１０３に出力してもよいので、リフォーカスを行う画像の座標位置が検出できればよい。

また、単一の被写体であっても、奥行き方向に傾きのある被写体の場合、同一被写体であっても部位によってデフォーカス量が異なる場合がある。このような場合は、リフォーカスを行う被写体の範囲をブロックに分割し、ブロック単位の座標を被写体測距部１０３に通知する。このように処理を行うことで、より適切にリフォーカス可能な範囲を設定することが可能となる。

被写体測距部１０３は、被写体検出部から出力される複数の被写体座標に基づいて、被写体までのデフォーカス量を算出し、再構成部１０４、加算画素数判定部１０５に出力する。

ここで、デフォーカス量の算出方法について図５を用いて説明する。図５は、分割画素を使用した測距方法を説明するための図であり、撮像素子５００はひとつのＭＬ５０１の下に分割画素を有しており、ＭＬの下のａ，ｂは図２で説明を行った単位画素の座標１Ａ、６Ｆの分割画素とする。

測距時には、分割画素ａおよびｂからの画素出力を、各々列方向（もしくは行方向）に組み合わせ、同色単位画素セル群の出力として、Ａ像及びＢ像を生成・データ化し、各々の対応点のずれをＳＡＤ演算によって求める。ＳＡＤ演算の結果は下記式（２）によって求められる。

この時、ｎは水平方向のＭＬの数である。また、ＹＢｎに対して対応画素をずらした際の値をプロットし、最も値の小さいときのずれ量Ｎが合焦位置である。

（１）合焦のときには、撮像光学系が結像する位置がＰ７のＭＬ下のＰＤになるため、Ａ像用画素群とＢ像用画素群はほぼ一致する。この時、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量Ｎ（１）は０に近似することを表している。
（２）後ピンのときには、撮像光学系が結像する位置として、Ａ像用画素がＰ５、Ｂ像用画素がＰ９のＭＬ下の画素になる。この時、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量Ｎ（２）が発生する。
（３）前ピンのときには、撮像光学系と結像する位置として、Ａ像用画素がＰ９、Ｂ像用画素がＰ５のＭＬ下の画素になる。この時、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量はＮ（３）は、後ピンとは逆方向の像ずれ量が発生する。

これは、合焦時にはＡおよびＢ像用画素群は同一の被写体を見ているが、後ピンおよび前ピン時にはＡおよびＢ像用画素群は像ずれ量Ｎだけずれた被写体を見ているということである。この時、デフォーカス量ｄは公知の技術で求めることが可能であり、例えば像ずれ量Ｎとレンズの絞り値によって一意に決まるＫの関係とにより、式（３）によって求めることが可能である。
ｄ = Ｎ × Ｋ…（３）

なお、ここでいうＫはメタ情報から取得されたＫ値であって、座標１Ａと６Ｆの分割画素によりそれぞれ形成される像の相対的な像ずれ量をデフォーカス量に変換する変換係数のことを指しており、後述のＫ６Ｆと等価である。

再構成部１０４は被写体測距部１０３の出力の中で最も大きいデフォーカス量と最も小さいデフォーカス量の間にＬＦデータの焦点面を仮想的に移動させた再構成されたＬＦデータを生成し、画素加算部１０６に出力する。

ここで、上記仮想的な焦点面と検出された被写体のデフォーカス量について具体的に図６を用いて説明する。

図６は、フォーカスレンズに対して、被写界に存在する被写体と、被写体の結像する像面位置を表した図である。なお、説明の簡便さのために、フォーカスレンズの像高中心位置に複数の被写体が存在しているように記載さいているが、実際の撮像時には被写体は図６の上下方向に分散しているのが一般的である。

同図において、６００は撮像面であって、被写体６１０、６０２，６０３，６０４が被写界に存在し、撮像光学系６０５を介して被写体の結像面６１１、６０６，６０７，６０８に結像する。被写体６０２は撮像面６００と結像面が一致（合焦）している。結像面６０７、６０８、６１１は撮像面６００に対してそれぞれデフォーカス量ｄ１、ｄ２、ｄ３を有している。

再構成部１０４は、合焦面に対して正方向のデフォーカス量ｄ１、ｄ２、負方向のデフォーカス量ｄ３の中から、最も大きいデフォーカス量ｄ２と最も小さいデフォーカス量ｄ３を検出し、中間位置に存在する像面６０９に対するデフォーカス量ｄｃを算出する。次に、再構成部１０４はデフォーカス量ｄｃの位置にＬＦデータの焦点面が移動するように、各分割画素にシフトを行う。

次に、シフト量の算出方法について説明する。
Ｋ値は前述の通り、基準となる分割画素との相対的なずれ量を求める組み合わせの数だけ存在している。本実施例では基準となる分割画素を１Ａとすると、１Ａと、１Ａを除く３５画素の列１〜６と行Ａ〜Ｆで示される座標の分割画素の組み合わせだけ存在しており、それぞれをＫ２Ａ〜Ｋ６Ｆとする。

座標２Ａから６Ｆの分割画素のシフト数をＮ２Ａ〜Ｎ６Ｆとしたとき、代表例として２Ａの分割画素のシフト量Ｎ２Ａは式（４）のように表わすことが可能となる。
Ｎ２Ａ＝ｄｃ／Ｋ２Ａ…（４）

式（４）のように求めたシフト数Ｎ２ＡからＮ６Ｆに基づいて画素をシフトして（並び替えて）得られたＬＦデータを画素加算部１０６に出力する。

このように、デフォーカス量ｄｃに従って各分割画素のシフトを行うことで、ＬＦデータを撮像した際に実焦点面がリフォーカスを行いたい被写体間の最適な位置に存在しなかった場合においても、仮想的に焦点面を移動させることで同様の効果を得ることが可能となる。

なお、ここで得られたＬＦデータに対して、６×６の単位で画素加算を行うと仮想焦点面６０９での二次元の画像を得ることが可能となる。このような処理を本発明ではＬＦデータの仮想的な焦点面の移動と表現する。

加算画素数判定部１０５は仮想焦点面６０９を中心として、結像面６０８および６１１がリフォーカス可能な範囲に収まるように加算画素数を求める。

画素加算に起因するリフォーカス可能範囲の変化について、図３及び図４を用いて説明する。

図３（ａ）（ｂ）（ｃ）は図２で説明を行ったＬＦデータに記録されている撮像素子の単位画素セルであり、太線は画素加算を行うときの加算単位である。単位画素セルを加算単位で分割し、加算単位(分割単位)内の分割画素の加算を行うことで単位画素セルの分割数（ＬＦデータ量）が変更される。図３（ａ）は、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆと１，２，３，４，５，６で表される各行列の座標に対して加算しない場合を示す。図３（ｂ）は、１Ａ，２Ａ，１Ｂ，２Ｂを１単位として、他の位置の画素も同様にして単位画素セルを９分割するように画素加算する場合を示す。図３（ｃ）は、１Ａ，２Ａ，３Ａ，１Ｂ，２Ｂ，３Ｂ，１Ｃ，２Ｃ，３Ｃを１単位として、他の位置の画素も同様にして単位画素セルを４分割するように画素加算する場合を示す。このように画素加算された画素は、各ＭＬ下の同一の画素位置で画像を形成し、図３（ａ）では３６個、図３（ｂ）では９個、図３（ｃ）では４個の視差画像が得られる。

このような画素加算は、ＭＬの下に構成される分割画素の数を水平画素数をＮ、垂直画素数をＭとした際に、ＮおよびＭは加算数の整数倍が望ましい。例えば、ＮおよびＭが１６の分割数である場合、水平および垂直方向の加算画素数は１，２，４，８の４種類に加え、画素加算を行わない１６画素であることが望ましい。このように構成することで、リフォーカス処理を行う際に処理が容易となる。なお、本発明は水平及び垂直方向の加算画素数を同一とするものではなく、例えば水平加算画素数と垂直加算画素数は個別に設定することが可能である。

画素加算して得られた画素で構成される画像の被写界深度について図４を用いて説明する。図４は、撮像光学系の瞳分割数と被写界深度の関係を説明するための図である。図４（ａ）（ｂ）（ｃ）は、それぞれ図３（ａ）（ｂ）（ｃ）に対応している。

図４（ａ）では、許容錯乱円をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。これに対して、図３（ａ）のように６×６に分割されて狭くなった瞳部分領域４０１の水平及び垂直方向の実行絞り値をＦ_０１とするとＦ_０１＝６Ｆ（６は分割数）と暗くなる。各視差画像の実行的な被写界深度は±６Ｆδと６倍深くなり、合焦範囲が６倍に広がる。実行的な被写界深度±６Ｆδの範囲内では、各視差画像に合焦した被写体像が取得されている。ライトフィールドにおけるリフォーカス画像は各画素の合成によって得られる像であるため、各画素で構成される像は少なくとも合焦している必要がある。よって、撮影後のリフォーカス処理により、デフォーカス量ｄは式（５）の範囲で仮想的に移動することが可能となる。

なお、許容錯乱円δは、δ＝２ΔＸ（画素周期ΔＸのナイキスト周波数１／（２ΔＸ）の逆数）などで規定される。

同様に図４（ｂ）では、６×６の分割画素を２×２の単位で画素加算することで、瞳部分領域は４０２となり、デフォーカス量ｄは式（６）の範囲で仮想的に移動することが可能となる。

図４（ｃ）では、６×６の分割画素を３×３の単位で画素加算することで、瞳部分領域は４０３となり、デフォーカス量ｄは式（７）の範囲で仮想的に移動することが可能となる。

このように視差画像を使用したリフォーカスのリフォーカス可能範囲は射出瞳を共有する分割画素数に応じて決定される。これは、撮像素子から加算読み出しを行うと、加算読み出しされた画素で得られた画像はデータ量の削減には有効であるが、被写界深度が浅くなっているためにリフォーカス可能な範囲が狭くなることを表している。

加算画素数判定部１０５は、ｄ２―ｄｃ、もしくはｄ３＋ｄｃで得られるデフォーカス量と、加算画素数により決まるリフォーカス可能範囲を比較することで、被写体がリフォーカス可能範囲に入る最も加算画素数の大きな値を決定する。決定した加算画素数（データ削減量）は画素加算部１０６に出力される。

画素加算部１０６は図３で説明したように、加算画素数判定部１０５が決定した加算画素数に従って分割画素を加算してＬＦデータのデータ量の削減を行い、データ量削減によって生成されたＬＦデータをデータ取得部１０１に出力する。この時、ＬＦデータのプレビュー画像として６×６の単位で画素加算して得られるリフォーカス画像を付与しても良い。

このように記録されたＬＦデータの被写体間の距離に基づいて加算画素数を決定することで、被写体の存在する奥行き方向の範囲を生成後のＬＦデータのリフォーカス可能範囲に収めつつも、効率良くＬＦデータのデータ量の削減が可能となる。また、記録されたＬＦデータの焦点面を移動させることで、撮影時の焦点面がリフォーカスを行いたい被写体の間に存在しなかった場合においても適切にデータの削減を行うことが可能となる。

なお、本実施例では顔検出によって被写体検出を行ったが、リフォーカスを行う被写体部を推定する手段であれば良い。例えば、ポートレート写真を撮影する際には、鼻から耳の範囲でリフォーカスが可能であれば良いとし、鼻と耳の位置を選択し各々のデフォーカス量を求め、鼻と耳がリフォーカス可能範囲におさまるように加算画素数を切り換えればよい。また静物を撮影する際には撮影する静物を選択し、画像を分割して最もデフォーカス量が大きい領域がリフォーカス可能な範囲に含まれるように加算画素数を決定すればよい。

なお、本実施例では被写体の距離分布の遠端と近端の中央の位置をＬＦデータの仮想的な焦点面としたが中央位置に限定するものではなく、遠端と近端がリフォーカス可能範囲に含まれるように仮想的に焦点面を移動させればよい。例えば、３×３の分割画素となるように図３（ｂ）の方法で分割画素を加算した場合に定義されるデフォーカス量は±３Ｆδである。分割画素のシフト処理を行ってＬＦデータの仮想焦点面を移動させた上で分割画素加算を行った際に、±３Ｆδの範囲が元の±６Ｆδの範囲を超えてしまう場合が存在する。そのような場合は、リフォーカス可能範囲の端部が±６Ｆδの範囲の端部と重なるように仮想的な焦点面を移動させることで、より広いリフォーカス可能範囲を有したＬＦデータを生成することが可能となる。
上述した例では、撮影画像から被写体の位置を検出し、その検出結果から被写体のデフォーカス範囲を判定しているが、このような構成の代わりに被写体距離とリフォーカス可能範囲を直接設定する構成にしてもよい。例えば、４ｍ先の被写体のリフォーカス可能範囲を１ｍに設定する、あるいは５ｍの先の被写体のリフォーカス可能範囲を５０ｃｍに設定するなどのように設定できる種種のユーザー設定手段を設ける構成にしてもよい。設定された被写体距離とリフォーカス可能範囲から仮想焦点面の位置と加算画素数を決定することで、本発明のＬＦデータのデータ量の削減可能となる。

なお、本実施例では各分割画素を再構成部１０４でシフトさせ、ＬＦデータの仮想的な焦点面を移動させたがそれに限ったものではなく、加算組み合わせを表するものであれば良い。例えば、各分割画素を並び変えるのではなく、各分割画素別にシフトする数をメタデータとして持ち、画素加算する際にメタデータを参照して加算する組み合わせを選択しても良い。

なお、本実施例ではプレノプティックカメラで取得したＬＦデータを例として、視差を有するＬＦデータの画素を分割画素として表現したがそれに限るものではなく、視差像から仮想的に焦点面を移動させるＬＦデータであれば良い。例えば、多眼式のライトフィールドカメラで得たＬＦデータに適用しても良い。

なお、本実施例では記録済みのＬＦデータに対する処理を説明したが、フォーカスレンズの駆動機構の無い撮像装置において、ＬＦデータの削減を行いつつ記録を行う際の手段として使用しても良い。その場合は、被写体検出部１０２の入力として撮像した視差画像を入力すれば良い。駆動機構のある撮像装置では仮想焦点面を駆動せずに実焦点面を駆動した後に分割画素の加算を行うことで最適な画像データの削減を行うことが可能であるが、本発明と併用しても良い。

次に、上述した本実施例に係わる画像処理装置のＬＦデータのデータ量の削減処理動作を、図７を用いて説明する。図７は、第１の実施例に係わる画像処理装置のＬＦデータのデータ量の削減処理動作のフローチャートを示す図である。本フローチャートに従って処理動作は、不図示のメモリに格納されている制御プログラムを、同様に不図示の制御部のＣＰＵがロードして実行することで実現される。

同図において、ステップＳ７００で、メモリカードやハードディスクドライブに記録されているＬＦデータ、又は撮像素子から出力されたＬＦデータを取得し、ステップＳ７０１に進む。

ステップＳ７０１では、取得したＬＦデータから上述したメタデータを読み出し、撮影時の光学データ及び記録された分割画素数などを検出し、ステップＳ７０２に進む。

ステップＳ７０２では、リフォーカスを行いたい特定の被写体の座標を指定し、ステップＳ７０３に進む。この時、一定の大きさ以上の被写体であれば、同一被写体をブロック分割し、各分割ブロックの座標を算出する。ステップＳ７０３では、指定された座標位置の被写体測距を行い各座標別のデフォーカス量を算出し、ステップＳ７０４に進む。なお、上述したように、ステップＳ７０２、Ｓ７０３において、残したい被写体距離の範囲や、被写体距離とリフォーカス可能範囲をユーザーが操作手段を介して直接設定する構成にしてもよい。例えば、５ｍの先の被写体のリフォーカス可能範囲を５０ｃｍに設定するなどのように設定する。

ステップＳ７０４では、入力されたデフォーカス量の中から最も遠端と近端に存在するデフォーカス量の差分値を演算する。ステップＳ７０５では、得られた差分値のデフォーカス量が、分割画素を画素加算した際に狭くなるリフォーカス可能範囲に存在するかどうかを判定する。判定の結果、リフォーカス可能範囲に存在する場合は画素加算によって適切にデータ量を削減可能と判断してステップＳ７０６に進む。リフォーカス可能範囲に存在しなかった場合は、データ量削減不可としてユーザーに通知するとともに画像削減動作を終了する。なお、ステップＳ７０２、Ｓ７０３において被写体距離とリフォーカス可能範囲を直接設定した場合は、設定されたリフォーカス可能範囲を得られる画素加算後のＬＦデータがあるかどうかを判定する。

ステップＳ７０６では、上述した分割画素間のＫ値に基づいてＬＦデータの再構成処理を行い、Ｓ７０７に進む。ステップＳ７０７では、図３、４を使用して説明した各分割画素加算時のリフォーカス可能範囲であるデフォーカス量と、ステップＳ７０４で算出した差分値の比較を行い、最もデータ量が小さくなる加算方法を選択し、分割画素の加算処理を行う。

ステップＳ７０８では、加算された画像を外部記録装置に記録し、画像削減動作を完了する。

以上のように各ステップの処理を実行することで、上述した本実施例に係わる画像処理装置におけるＬＦデータのデータ量の削減をコンピュータプログラムで実現することによってもＬＦデータのデータ量削減が可能となる。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims (16)

1. 複数の視差画像を含むライトフィールドデータを取得するデータ取得手段と、
   前記ライトフィールドデータの仮想焦点面を設定する設定手段と、
   前記ライトフィールドデータから、焦点面が前記仮想焦点面に移動されたライトフィールドデータを生成する再構成手段と、
   前記生成されたライトフィールドデータのデータ削減量を、前記生成されたライトフィールドデータのリフォーカス可能範囲に従って決定する決定手段と、
   前記データ削減量に従って前記生成されたライトフィールドデータのデータ量を削減する削減手段と、を備えることを特徴とする画像処理装置。
2. 前記再構成手段による前記仮想焦点面におけるライトフィールドデータの生成は、前記取得されたライトフィールドデータの焦点面に対する前記仮想焦点面のデフォーカス量に基づいたシフト量に従った前記取得されたライトフィールドデータの並び替えであることを特徴とする請求項１に記載の画像処理装置。
3. 前記データ削減量はライトフィールドデータの複数の分割画素を含む単位画素セルの画素データの加算画素数であり、前記決定手段は、前記生成されたライトフィールドデータにおける前記リフォーカス可能範囲と前記加算画素数との関係に従って前記データ削減量を決定し、前記削減手段は、前記決定された加算画素数に従って、前記生成されたライトフィールドデータの前記単位画素セルの画素データを加算することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記加算画素数は、前記単位画素セルが、水平画素数をＮ、垂直画素数をＭとして分割数がＮ×Ｍの前記分割画素からなる場合、前記分割数を変更するための分割単位に含まれる前記分割画素の数であることを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段が決定する前記データ削減量は、前記生成されたライトフィールドデータのリフォーカス可能範囲が被写体の位置の遠端と近端を含むことができる最も大きい加算画素数であることを特徴とする請求項４に記載の画像処理装置。
6. 前記設定手段は、前記取得されたライトフィールドデータから被写体の位置を検出する被写体検出手段を有し、前記仮想焦点面は、前記被写体の位置に従って前記仮想焦点面を設定することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記設定手段は、前記仮想焦点面と前記生成されたライトフィールドデータのリフォーカス可能範囲を設定するユーザー設定手段を有することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
8. 複数の視差画像を含むライトフィールドデータを取得するデータ取得手段と、
   前記ライトフィールドデータのデータ量を削減したライトフィールドデータの生成を指示する指示手段と、
   前記ライトフィールドデータから、前記指示手段による指示に応じて、焦点面が仮想焦点面に移動されたライトフィールドデータを生成する再構成手段と、
   前記生成されたライトフィールドデータの複数の分割画素を含む単位画素セルの画素データの加算を行うことでデータ量を削減したライトフィールドデータを生成する削減手段と、を有し、
   前記再構成手段は、前記ライトフィールドデータを用いて検出された特定の被写体が生成後のライトフィールドデータのリフォーカス可能範囲に含まれるような仮想焦点面を設定し、
   前記削減手段は、前記特定の被写体が生成後のリフォーカス可能範囲に含まれるような加算方法でデータ量を削減したライトフィールドデータを生成することを特徴とする画像処理装置。
9. 複数の視差画像を含むライトフィールドデータを取得するデータ取得手段と、
   前記ライトフィールドデータのデータ量を削減したライトフィールドデータの生成を指示する指示手段と、
   前記ライトフィールドデータから、前記指示手段による指示に応じて、焦点面が仮想焦点面に移動されたライトフィールドデータを生成する再構成手段と、
   前記生成されたライトフィールドデータの複数の分割画素を含む単位画素セルの画素データの加算を行うことでデータ量を削減したライトフィールドデータを生成する削減手段と、を有し、
   前記再構成手段は、指定された被写体距離の範囲が生成後のライトフィールドデータのリフォーカス可能範囲に含まれるような仮想焦点面を設定し、
   前記削減手段は、前記指定された被写体距離の範囲が生成後のリフォーカス可能範囲に含まれるような加算方法でデータ量を削減したライトフィールドデータを生成することを特徴とする画像処理装置。
10. 複数の視差画像を含むライトフィールドデータを取得するデータ取得工程と、
    前記ライトフィールドデータの仮想焦点面を設定する設定工程と、
    前記ライトフィールドデータから、焦点面が前記仮想焦点面に移動されたライトフィールドデータを生成する再構成工程と、
    前記生成されたライトフィールドデータのデータ削減量を、前記生成されたライトフィールドデータのリフォーカス可能範囲に従って決定する決定工程と、
    前記データ削減量に従って前記生成されたライトフィールドデータのデータ量を削減する削減工程と、
    を備えることを特徴とする画像処理方法。
11. 複数の視差画像を含むライトフィールドデータを取得するデータ取得工程と、
    前記ライトフィールドデータのデータ量を削減したライトフィールドデータの生成を指示する指示工程と、
    前記ライトフィールドデータから、前記指示工程における指示に応じて、焦点面が仮想焦点面に移動されたライトフィールドデータを生成する再構成工程と、
    前記生成されたライトフィールドデータの複数の分割画素を含む単位画素セルの画素データの加算を行うことでデータ量を削減したライトフィールドデータを生成する削減工程と、を有し、
    前記再構成工程では、前記ライトフィールドデータを用いて検出された特定の被写体が生成後のライトフィールドデータのリフォーカス可能範囲に含まれるような仮想焦点面を設定し、
    前記削減工程では、前記特定の被写体が生成後のリフォーカス可能範囲に含まれるような加算方法でデータ量を削減したライトフィールドデータを生成することを特徴とする画像処理方法。
12. 複数の視差画像を含むライトフィールドデータを取得するデータ取得工程と、
    前記ライトフィールドデータのデータ量を削減したライトフィールドデータの生成を指示する指示工程と、
    前記ライトフィールドデータから、前記指示工程による指示に応じて、焦点面が仮想焦点面に移動されたライトフィールドデータを生成する再構成工程と、
    前記生成されたライトフィールドデータの複数の分割画素を含む単位画素セルの画素データの加算を行うことでデータ量を削減したライトフィールドデータを生成する削減工程と、を有し、
    前記再構成工程では、指定された被写体距離の範囲が生成後のライトフィールドデータのリフォーカス可能範囲に含まれるような仮想焦点面を設定し、
    前記削減工程では、前記指定された被写体距離の範囲が生成後のリフォーカス可能範囲に含まれるような加算方法でデータ量を削減したライトフィールドデータを生成することを特徴とする画像処理方法。
13. 画像処理装置を制御するプログラムであり、
    コンピュータを、
    複数の視差画像を含むライトフィールドデータを取得するデータ取得手段、
    前記ライトフィールドデータの仮想焦点面を設定する設定手段、
    前記ライトフィールドデータから、焦点面が前記仮想焦点面に移動されたライトフィールドデータを生成する再構成手段、
    前記生成されたライトフィールドデータのデータ削減量を、前記生成されたライトフィールドデータのリフォーカス可能範囲に従って決定する決定手段、
    前記データ削減量に従って前記生成されたライトフィールドデータのデータ量を削減する削減手段、
    として機能させることを特徴とするプログラム。
14. 画像処理装置を制御するプログラムであり、
    コンピュータを、
    複数の視差画像を含むライトフィールドデータを取得するデータ取得手段、
    前記ライトフィールドデータのデータ量を削減したライトフィールドデータの生成を指示する指示手段、
    前記ライトフィールドデータから、前記指示手段による指示に応じて、焦点面が仮想焦点面に移動されたライトフィールドデータを生成する再構成手段、
    前記生成されたライトフィールドデータの複数の分割画素を含む単位画素セルの画素データの加算を行うことでデータ量を削減したライトフィールドデータを生成する削減手段であって、
    前記再構成手段は、前記ライトフィールドデータを用いて検出された特定の被写体が生成後のライトフィールドデータのリフォーカス可能範囲に含まれるような仮想焦点面を設定し、
    前記削減手段は、前記特定の被写体が生成後のリフォーカス可能範囲に含まれるような加算方法でデータ量を削減したライトフィールドデータを生成するもの、
    として機能させることを特徴とするプログラム。
15. 画像処理装置を制御するプログラムであり、
    コンピュータを、
    複数の視差画像を含むライトフィールドデータを取得するデータ取得手段、
    前記ライトフィールドデータのデータ量を削減したライトフィールドデータの生成を指示する指示手段、
    前記ライトフィールドデータから、前記指示手段による指示に応じて、焦点面が仮想焦点面に移動されたライトフィールドデータを生成する再構成手段、
    前記生成されたライトフィールドデータの複数の分割画素を含む単位画素セルの画素データの加算を行うことでデータ量を削減したライトフィールドデータを生成する削減手段であって、前記再構成手段は、指定された被写体距離の範囲が生成後のライトフィールドデータのリフォーカス可能範囲に含まれるような仮想焦点面を設定し、
    前記削減手段は、前記指定された被写体距離の範囲が生成後のリフォーカス可能範囲に含まれるような加算方法でデータ量を削減したライトフィールドデータを生成するもの、
    として機能させることを特徴とするプログラム。
16. 請求項１４又は１５に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。