JP6278503B2 - 撮像装置、制御方法およびプログラム - Google Patents

Description

本発明は撮像装置に関し、特に被写体の光学像を撮像してライトフィールドデータを生成する撮像装置に関する。

例えば、撮像素子の複数画素の前面に、所定数の画素に対し１つの割合で並ぶマイクロレンズアレイ（ＭＬＡ）を配置することで、光の２次元強度分布だけでなく撮像素子に入射する光線の入射方向の情報も取得することが可能な撮像装置が知られている。このような被写体空間の３次元的な情報を得ることが可能な撮像装置は、ライトフィールドカメラ（以下、ＬＦカメラと記す）と呼ばれている。また、被写体空間の３次元的な情報はライトフィールドデータ（以下、ＬＦデータと記す）と呼ばれ、撮影後にＬＦデータを用いた画像再構成処理を行うことによって、画像のピント位置変更や、撮影視点の変更、被写界深度の調節などのリフォーカスと呼ばれる画像処理が可能となる。

このようなＬＦカメラにおいて、プレノプティク（ｐｌｅｎｏｐｔｉｃ）方式が広く知られている。プレノプティク方式では、瞳分割手段としてのＭＬＡの下に撮像用光電変換素子（ＰＤ）が二次元状に配置されており、光学系の有するフォーカスレンズは、各マイクロレンズ（ＭＬ）の射出瞳の役割を有する。このような構成の撮像装置において、各ＭＬの下に存在するＰＤ（以下、分割画素と称する）からは、被写体からの複数の光線情報が得られることが知られている。この光線情報を利用すると、各ＭＬの下に存在する画素群のうち同一位置の分割画素のみで形成した二次元画像は、異なる位置の分割画素のみで形成した二次元画像は視差を有している。このような視差を有した二次元画像同士の合成によって記録画像のフォーカス面を仮想的に移動させることとなる。

上述したプレノプティクカメラによる撮像画素の数ＬＦＤＡＴＡ（画素数）は、撮像素子のＭＬの数をＮ、一つのＭＬにて分割される画像の分割数をＭとすると、
ＬＦＤＡＴＡ ＝ Ｎ×Ｍ
となる。なお、このようなＬＦＤＡＴＡに基づいて合成される最終出力画像の画素データの数はマイクロレンズの数であるＮと同一の数となる。

このように、ＬＦＤＡＴＡはＭＬの下に存在する分割画素ＰＤの数に応じて増加し、リフォーカス機能を有する撮像装置では、出力画素データの数Ｎの最終画像に比べて、各種信号処理を行う際の処理負荷の増大を結果する。更に撮像画素データを各種画像信号処理手段に取り込む際、大容量のデータ格納手段が必要となる。その結果、データ処理の負荷増大に伴い消費電力が増加し、更に処理データ量増加に伴うデータ格納手段の容量増加によるコストも増大する。

データ量の削減については、撮像素子において画素出力を、ＭＬ下のＭ個の分割画素の中で加算して読み出すことにより、処理するＬＦデータを削減する方法が考えられている（例えば、特許文献１参照）。

特開２００９−３１２２号公報

しかし、ＬＦカメラのフォーカス機能を有する撮像装置において、撮像素子における画素の加算読み出しにより画素データ量を削減した場合、画素データ量の削減によりリフォーカスする際に必要な情報も失われてしまう。つまり、再生時において撮影した画像をリフォーカスする場合、リフォーカス範囲が浅くなってしまう。

本発明は上記問題に鑑み、撮影後のリフォーカス時のリフォーカス範囲を保持しつつ、各種画像信号処理手段にて処理するデータ量を削減でき、かつ該データを格納する手段の容量の削減も可能なＬＦカメラの提供を目的とする。

実施形態の一観点によれば、撮影光学系と撮像手段から取得される複数の視点画像の画素データを処理する画像処理装置であって、前記複数の視点画像の中で、所定の基線長に対応する視点画像対から所定の被写体に対応する被写体領域を検出する検出手段と、前記所定の基線長と前記検出手段によって検出された前記被写体領域とに基づいて、前記検出手段によって検出された前記被写体領域に含まれていない部分を含む前記複数の視点画像の画素データのうちから前記所定の被写体の存在する範囲を推定する推定手段と、を備えることを特徴とする画像処理装置が提供される。

本発明によれば、記録画像のリフォーカスに必要な被写体の情報を有する撮像素子上のマイクロレンズを特定することで、ＬＦデータを削減することが可能な撮像装置の提供が可能となる。

本発明の第１の実施例に係る撮像装置の構成を示すブロック図である。 本発明の第１の実施例に係る撮像装置で使用される撮像素子の単位画素セルとその各分割画素により得られる画像を説明するための図である。 被写体位置と被写体検出範囲を示す図である。 被写体位置と被写体推定を行った際のボケの影響を示す図である。 本発明の第１の実施例に係る被写体領域検出に用いる分割画素の位置を示す図である。 異なる位置の分割画素によって得られる画像の位置関係を示す図である。 本発明の第１の実施例に係る被写体範囲の推定方法を説明するための図である。 本発明の第１の実施例に係る被写体範囲の推定動作のフローチャートを示す図である。 本発明の第２の実施例に係る被写体検出に用いられる分割画素の位置の例を示す図である。 本発明の第３の実施例に係る撮像装置の構成を示すブロック図である。 本発明の第３の実施例に係る被写体範囲の推定動作のフローチャートを示す図である。

以下、本発明の好ましい実施の形態を、添付の図面を参照して詳細に説明する。

図１は本発明の第１の実施例に係る撮像装置１００の構成を示すブロック図である。なお、本撮像装置の各部は、図示しない制御のＣＰＵが図示しないメモリに記憶されているプログラムを実行することで制御される。

図において、１０１はフォーカスを調整するためのフォーカシングレンズを含む光学レンズ群、シャッター、絞り、レンズ制御部等で構成される光学系ユニットであり、不図示の駆動制御部の出力に基づいて駆動される。

撮像素子１０２は、その前面に瞳分割手段としてのＭＬＡが配置され、各ＭＬに対応する単位画素セルの二次元配列を有する撮像素子であり、撮影光学系を構成する光学系ユニット１０１に含まれるシャッターによって露光量の制御が行われる。撮像素子１０２は、光学系ユニット１０１によって結像された光学像を光電変換して撮像し、読み出し制御時において、単位画素中に構成される分割画素ＰＤに蓄積された電荷をそれぞれ順次Ａ／Ｄ変換部１０３に出力する。

ここで図２を使用して単位画素セルについて説明する。
図２において、単位画素セルは、瞳分割手段としてのＭＬＡに含まれる一つのＭＬを共有する６×６の分割画素を有している。このような単位画素セルが二次元状にベイヤー配列で撮像素子上に配置されている。なお、単位画素セル内の分割画素は、図２に示す符号を用いて、１Ａ，６Ｆ等で示す。

各単位画素セル内の同一画素位置に存在する分割画素のみで構成された二次元画像は、他の同一画素位置に存在する分割画素のみで構成された二次元画像に対して視差を有する。つまり、各単位画素セルの分割画素１Ａのみで構成された画像と、各単位画素セルの分割画素２Ａのみで構成された画像は異なる視差を有する。つまり、６×６の分割画素からは合計３６の異なる視差画像が得られることとなる。

一般的にＬＦカメラでは、これらの分割画素数に応じた異なる視差の画素を合成（再構成）してリフォーカス画像を得ることとなる。リフォーカス画像を得るための原理を、図２を用いて簡単に説明する。花の位置が視差を有さない画像となるように合成した場合には、花位置には合焦しているが、葉の位置では視差を有している画像同士が加算されて合成されるためにボケた画像となる。また、葉の位置が視差を有さない画像となるように合成した場合には、葉の位置に合焦しているが、花の位置ではボケた画像となる。

このようなリフォーカスの可能範囲は、分割画素数に応じて決定される。つまり、ライトフィールドにおけるリフォーカス画像は、各分割画素の合成によって得られる像であり、各分割画素で構成されるリフォーカス対象となる像は少なくとも合焦している必要がある。これは、撮像素子から加算読み出しを行うと、加算読み出しされた画素で得られた画像は被写界深度が浅くなっているために、それだけリフォーカス可能な範囲が狭くなることを表している。

図１に戻り、Ａ／Ｄ変換部１０３は、アナログ信号処理部でアナログ信号処理が行なわれた撮像素子１０２の出力であるアナログ電気信号(画素信号)をデジタル電気信号(画素データ)に変換してキャプチャー部１０４に出力する。なお、アナログ信号処理部は、伝送路上のノイズを除去するＣＤＳ回路や非線形増幅回路等を含む。

キャプチャー部１０４は、画素データの有効期間および種別を判定し、１Ａ〜６Ｆの分割画素群をＬＦデータとして被写体領域検出部１０８、表示用画素加算部１０９、ＬＦＤＡＴＡ画素加算部１１２に出力する。

表示用画素加算部１０９は、光学系ユニット１０１で実際にフォーカスレンズの焦点面に存在する位置の画像を生成する為、入力された単位画素セル内の分割画素を加算して、デジタル信号処理部１１０に出力する。このように、単位画素セル内の分割画素を加算することで、被写界深度が浅く、実際のフォーカスレンズ位置による焦点面の画像を得ることが可能である。

次に、デジタル信号処理部１１０は、ベイヤー配列で入力された画像に対して同時化処理、ガンマ処理やノイズリダクション処理に代表されるデジタル信号処理を行い、画像表示部１１１に出力する。同時化処理、ガンマ処理、ノイズリダクション等のデジタル信号処理については周知であり、ここでは詳細な説明を省略する。

画像表示部１１１は、液晶表示（ＬＣＤ）に代表される表示装置により、デジタル信号処理部１１０で生成された二次元画像をユーザーに表示する。

ＬＦデータ画素加算部１１２は、被写体領域検出部１０８の出力に応じて被写体が存在しない範囲に対して分割画素の加算を行ってＬＦデータ量のデータ量を圧縮し、外部記録装置１１３に出力する。また、ＬＦデータは、メモリ１１６等の内蔵のメモリに記録されてもよい。なお、画素加算としては、被写体が存在しない範囲に対して画素加算を行って１つの画素データにしてしまっても良いし、６×６の分割画素を２画素ずつ加算して３×３の分割画素にしてしまっても良い。また、領域別に画素加算を行って、ＬＦデータの各データがどの座標のＭＬのデータなのかをメタ情報として持たせてもよい。この場合、被写体が存在しない範囲の加算する画素数を、被写体が存在する範囲の加算する画素数より多くする。制御部１１５は例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、撮像装置１００内の各部から指示を受けて演算を行い、また制御信号によって各部を制御する。

被写体領域と、それ以外の領域での画素加算について図３を使用して説明する。
図３は撮像時の被写体とそれ以外の風景を含む撮影画像を示す図であり、（ａ）は撮影画像、（ｂ）は俯瞰図である。

同図において、３００は被写体よりも背景に存在する山(風景)であり、３０１は被写体、３０２は被写体よりも前面に存在する樹木である。３０４は被写体を認識(検出)して設定される被写体領域であり、被写体３０１の範囲を表している。一般的に、ユーザーは、被写体領域３０４についてリフォーカス可能であることを目的とするため、合焦している被写体領域３０４のみＬＦデータを全て保持していれば、それ以外の部分はＬＦデータの加算処理を行い、ＬＦデータ量の圧縮を行っても良い。

しかしながら図４のように合焦していない状態で被写体領域４００を検出した場合、ＬＦデータ上で被写体領域４００の範囲のみ非加算で保存した場合、被写体４００にリフォーカスするために必要な情報を削減してしまう可能性がある。

つまり、被写体領域４００の枠は被写体の大まかな顔位置をとらえてはいるが、被写体領域４００の範囲外にボケた顔がはみだしている部分が存在している。このボケて、はみだしている領域は、単位画素セルの中心位置付近に存在する分割画素には被写体３０１の情報を有していないが、分割画素の一部に被写体３０１の情報が存在していることを表している。これは被写体領域４００の範囲のみ非加算データでＬＦデータを保存した場合、被写体４００にリフォーカス処理を行う為の情報が欠落してしまうことを表している。そのため、被写体情報が存在する範囲を、撮像手段上(瞳分割手段上)でより正確に推定する必要がある。

被写体領域検出部１０８は同一機能を有する被写体検出部１０６、１１４を有し、２つの被写体検出部１０６の出力に基づいて被写体領域推定部１０７はＬＦデータ上に存在する被写体情報を有したデータ範囲を推定し、ＬＦデータ画素加算部１１２に出力する。

本実施例に係る被写体領域検出および画素加算における各ブロックの動作を、図８のフローチャートを用いて具体的に説明を行う。なお、図８のフローチャートに係る各ブロックの動作は、例えば、本実施例の撮像装置の制御部１１５がメモリ１１６に記憶されたプログラムを実行することで行われる。

同図において、被写体検出部１０６、１１４それぞれは、入力された視差画像に対して被写体の認識を行い、その結果得られた被写体に対して設定された被写体検出領域を被写体領域推定部１０７に出力する。なお、本実施例では、被写体認識方法として人物の顔を検出することとするが、被写体は人物でなくてもよく、例えば花やペットとしても良い。なお、被写体認識技術については公知であるため、本実施例では説明を行わない。

被写体検出部１０６、１１４への入力画像について、図５を使用して説明する。
図５は、図２と同様にＭＬの下に存在する単位画素セルを表し、斜線部は単位画素セル内で最も基線長の長くなる分割画素対の各分割画素を示す。

本実施例では、このような単位画素セル内の分割画素の中で最も基線長の長い位置にある分割画素対の各画素で構成される視差画像対を選択して被写体検出部１０６、１１４それぞれに入力する（ステップＳ８０１）。この選択は、基線長の長くなる分割画素対の内側に存在する分割画素による画像の被写体領域は、最長の基線長に対応する分割画素による画像から検出された被写体領域の内側にあることに基づく。これについて、図６を用いてされに詳しく説明する。

ボケた画像は、焦点のあった各分割画素で形成された画像同士の同一位置での加算であると考えることが可能である。その際、ボケた画像の端部は分割画素の最も端部に位置する画像によって得られた像である。図５の斜線部の画素位置から得た２つの二次元画像を図４で示したボケた図に重ね合わせると図６のようになる。図６の破線部は６Ｆの位置から成る分割画像の輪郭であり、実線部は１Ａの位置から成る分割画像の輪郭である。このように最長の基線長の画素の組み合わせを選択し、被写体検出部１０６，１１４に入力することで被写体のボケた画像の端部の領域を検出することが可能となる。

被写体検出部１０６および被写体検出部１１４は、入力された画像から被写体領域を検出して被写体領域推定部１０７に出力する（ステップＳ８０２）。図７に示すように、被写体検出部１０６が出力する被写体検出領域の座標を、左上座標が（ｌｘ１、ｌｙ１）、右上座標が（ｌｘ２、ｌｙ１）、左下座標が（ｌｘ１、ｌｙ２）、右下座標が（ｌｘ２、ｌｙ２）であるとする。また、被写体検出部１１４が出力する被写体検出領域の座標を、左上座標が（ｒｘ１、ｒｙ１）、右上座標が（ｒｘ２、ｒｙ１）、左下座標が（ｒｘ１、ｒｙ２）、右下座標が（ｒｘ２、ｒｙ２）であるとする。

被写体領域推定部１０７は、被写体検出部１０６、１１４が出力する被写体検出領域に対して、座標ｌｘ１及びｌｙ１と座標ｒｘ１及びｒｙ１を比較し、左側に存在する座標をｔｘ１、ｔｙ１として選択する。また、座標ｌｘ２及びｌｙ２と座標ｒｘ２及びｒｙ２を比較し、右側に存在する座標をｔｘ２及びｔｙ２として選択する（ステップＳ８０３）。選択された座標ｔｘ１、ｔｙ１、ｔｘ２、ｔｙ２から推定領域の左上座標（ｔｘ１、ｔｙ１）、右上座標（ｔｘ２、ｔｙ１）、左下座標（ｔｘ１、ｔｙ２）、右下座標（ｔｘ２、ｔｙ２）を決定し、ＬＦデータ画素加算部１１２に出力する（ステップＳ８０４）。

推定領域の座標の決定（ステップＳ８０３および８０４）について、図７を使用して具体的に説明する。

図７（ａ）は被写体検出部１０６から出力される分割画素１Ａからなる画像であり、（ｂ）は被写体検出部１０７から出力される分割画素６Ｆからなる画像である。各々の図に記載されている座標は上述した値である。このように、基線長の最も長い分割画素対の各画素からなる二次元画像から被写体を検出して座標の比較を行うことで被写体情報が含まれるＬＦデータの範囲を正確に推定することが可能となる。なお、本実施例での上記座標とは、センサー上のＭＬの座標、即ち単位画素セルの座標である。また、上記では最も効果的にデータが削減できる方法として、基線長の最も長い分割画素対（視差画像対）から被写体領域を推定しているが、これに限らず、所定の基線長の分割画素対（所定の視差の視差画像対）から被写体を検出し、被写体領域を推定する際に検出された被写体領域から周囲を広めに所定幅を取ることで、被写体領域が包含される領域を推定することもできる。このとき、同一マイクロレンズ下の複数の視差画像対の中で、所定の基線長と最も長い基線長との差を考慮して広めにとる被写体領域の幅を決めると、よりデータ削減の効率は上がる。

次に、ＬＦデータ画素加算部１１２は、被写体領域推定部９０５から出力された被写体の推定領域の座標に従って、被写体が存在しない範囲に対して分割画素の加算を行ってＬＦデータのデータ量を圧縮し、外部記録装置１１３に出力する（ステップＳ８０５）。

外部記録装置１１３は、ＬＦデータ画素加算部１１２の出力であるＬＦデータをＳＤカードに代表されるメモリカードに記録を行う（ステップＳ８０６）。

なお、リフォーカスによって画像を再構成する際に、再構成可能な画像範囲と、再構成を行うことが出来なかった画像範囲が存在することとなるが、これらの範囲の境界線が目立たないように境界付近にフィルタ処理を適応しても良い。

また、本実施例ではキャプチャデータを直接２つの被写体検出部１０６、１１４に入力しているが、単一の被写体検出部に入力する構成でも良い。その場合は、キャプチャデータを一度メモリに配置し、最も基線長が長くなる分割画素対の各画素で構成された画像を複数回に分けて単一の被写体検出部に入力すれば良い。そうすることで、よりコンパクトな構成で本実施例と同様の処理を行うことが可能となる。

また、本実施例では、基線長の長くなる分割画素対による２つの画像を用いる場合について説明したが、分割画素の数は２つよりも多くても良い。例えば、処理時間は長くなってしまうが、位置１Ａ、６Ｆの他に位置１Ｆと６Ａの４つの分割画素からなる４つの画像から被写体の存在する領域を推定しても良い。あるいは、行Ａから行Ｆまでと列１から列６に存在する全ての分割画素からなる３６個の画素からなる３６個の画像から被写体の存在する領域を推定しても良い。

つまり、基線長の長くなる分割画素の組み合わせがあって、その組み合わせの基線長の内側に存在する分割画素における被写体の領域は、基線長の長くなる分割画素において検出された被写体領域内であることを利用する被写体推定方法であれば良い。
また、本実施例では、推定された被写体領域に基づいて、ＬＦデータ量を削減（圧縮）する処理を行っているが、本発明の被写体領域の推定方法の活用例はこれに限られない。例えば、推定された被写体領域に対応する画素にマーキングしたり、被写体領域に基づいた被写体マップなどの被写体情報を生成することもできる。後の画像処理によって読出しを行う際に当該被写体情報に基づいて被写体領域以外を加算読出ししたり間引き読出ししたりすることで、処理スピードを早めることができる。また、推定された被写体領域とそれ以外の領域で階調処理を異ならせて、被写体領域の階調（例えば１４ｂｉｔ）を被写体領域以外の階調（例えば８ｂｉｔ）に比べて多く残すことで、データ量を削減することも出来る。さらには、被写体領域だけに所定の画像処理を施したり、領域ごとに処理を変えたいときなどに推定された被写体領域は利用できる。

なお、本実施例ではプレノプティック式のＬＦカメラについて説明を行ったが、多眼式カメラによるＬＦカメラに本実施例を適用することも可能である。その場合は、複数の視差画像のうち、最も基線長が大きくなる光学レンズによって得られた画像を選択して被写体検出を行えば良い。

なお、本実施例ではＬＦデータ画素加算部１１２が被写体領域検出部１０８の出力に応じて画素の加算を行っているが、これに限るものではない。加算処理の対象が撮像素子から読み出された後のデータである必要はなく、例えば撮像素子のフローティングディフュージョン（ＦＤ）上で画素加算を行って読み出す構成であっても良い。

［実施例１の変形例］
本発明の第１の実施例の変形例を、図９を用いて説明する。撮像装置の構成は第１の実施例と同様であり、その説明は省略する。第１の実施例と異なるのは、基線長の長くなる分割画素の組み合わせを選択する際に、ケラレの発生を考慮して選択することである。したがって、本変形例での被写体範囲の推定動作のフローチャートは、基本的に第１の実施例(図８)と同様である。以下、本変形例での分割画素対の選択について説明する。

第１の実施例ではレンズのケラレや像高によるシェーディングの影響を想定せず、分割画素の中で最も基線長の長くなる各分割画素を選択して被写体の検出領域を推定した。一般的に光学系ユニット１０１において、レンズのケラレによって撮像素子１０２上には減衰した光しか入射されない領域が存在する。例えば光学系ユニット１０１にケラレが発生した場合には射出瞳上のケラレを分割画素に投影することとなるため、図９の網掛け部以外の部分には入射光が存在しない場合がある。このような場合は、第１の実施例のように基線長が最も長い分割画素１Ａ、６Ｆ（斜線部）を使用したとしても、被写体の存在する領域を推定することが出来ない。

本変形例では、このような場合において、分割画素１Ｆ、６Ａ（点描部）のように、ケラレの影響のない範囲の中で（ケラレ形状に従って）基線長の長い分割画素対を選択して被写体検出を行って被写体領域の推定を行う。これにより、ケラレの影響を受けずに被写体領域の推定を行うことが可能となる。選択された分割画素対の各画素による画像からの被写体領域の検出、推定および画素加算の動作は、第１の実施例と同様に図８のフローチャートに従う。

次に、本発明の第２の実施例を、図１０及び１１を用いて説明する、第１およびその変形例では、基線長の長い複数の分割画像の各々による画像に対して被写体検出を行うことで被写体情報の存在する被写体領域を推定する方法を説明した。

しかしながら、第１およびその変形例の方法だと、少なくとも２回は被写体の検出を行う必要があり、そのために被写体検出部を複数にするか、もしくはＤＲＡＭから複数回に分けて分割画素を読みだす必要がある。これは、コストもしくは処理時間の増大を招くこととなる。

本実施例では、このような課題に鑑みて、単一の分割画素で生成された画像から被写体認識された領域だけを利用して、被写体情報の存在する撮像素子上の範囲を推定する構成について説明する。

図１０は、本実施例に係る撮像装置の構成図である。同図において、第１の実施例と同様の部分は、同じ符号を付し、ここでの説明は省略する。

本実施例に係る撮像装置９００は、被写体領域検出部９０３を有しており、その他の処理ブロックは第１の実施例で説明した撮像装置１００と同様である。被写体領域検出部９０３は、被写体検出部１０６と被写体領域推定部９０５と被写体距離計測部９０２と像ずれ量推定部９０４を備えている。

被写体領域検出部９０３の各ブロックの動作を具体的に説明する。

被写体検出部１０６は、図２の分割画素１Ａ、１Ｆ、６Ａ、６Ｆのようにマイクロレンズ下に存在する分割画素の中で基線長が最も長く取ることが可能な位置の画素を選択して入力する（ステップＳ１００１）。なお、第１の実施例の変形例で説明したようにケラレが発生する場合は、ケラレの影響の少ない範囲内で基線長の長く取ることが可能な画素位置の分割画素を選択して入力しても良い。

被写体検出部１０６は、入力された分割画素で構成される二次元画像に対して被写体の位置を検出し、その座標を被写体領域推定部９０５に出力する（ステップＳ１００２）。

被写体距離計測部９０２は、入力された画像に基づいて被写体までの距離Ｌを計測し、像ずれ量推定部９０４に出力する（ステップＳ１００３）。計測方法としては、分割画素間の視差に基づく位相差方式、通常のコンパクトデジタルカメラで使用されるコントラスト方式、外測センサーを使用した測距方法などの被写体距離の計測が可能な方法であればいずれであっても良い。

次に、像ずれ量推定部９０４は、得られた被写体への距離Ｌ、光学系ユニット１０１の焦点距離ｆ、被写体検出部１０６に入力された分割画素に対して基線長が最も長くなる画素位置までの基線長Ｂ、撮像素子１０２のＭＬのピッチｐの情報を取得する。基線長が最も長くなる分割画素対の画素位置とは、分割画素１Ａが被写体検出部１０６で使用されるのであれば、対角線上に存在する分割画素６Ｆであり、分割画素１Ｆであれば分割画素６Ａである。また逆も同様である。

像ずれ量推定部９０４は、入力された距離Ｌ、焦点距離ｆ、基線長Ｂ、ＭＬピットｐを用いて下式により像ずれ量Ｘを算出し、被写体領域推定部９０５に出力する（ステップＳ１００４）。

像ずれ量Ｘに基づいて、被写体領域推定部９０５は撮像素子上の被写体情報の存在する領域を推定し、その結果をＬＦデータ画素加算部１１２に出力する（ステップＳ１００５）。例えば、像ズレ量Ｘを用いて、図７（ａ）の被写体検出領域から同図(ｂ)の被写体検出領域を求め、それらの検出領域から第１の実施例と同様にして撮像素子上の被写体情報の存在する領域を推定する。

ＬＦデータ画素加算部１１２は、被写体領域推定部９０５から出力された被写体の推定領域の座標に従って、被写体が存在しない範囲に対して分割画素の加算を行ってＬＦデータ量を圧縮し、外部記録装置１１３に出力する（ステップＳ１００６）。

外部記録装置１１３は、ＬＦデータ画素加算部１１２の出力であるＬＦデータをＳＤカードに代表されるメモリカードに記録を行う（ステップＳ１００７）。

このように、像ずれ量Ｘを求めることで被写体検出部の規模および検出の回数を減らしつつも、撮像素子上の被写体情報が存在する領域をより正確に推定することが可能となる。
上述した本発明によれば、記録画像のリフォーカスに必要な被写体の情報を有する撮像素子上のマイクロレンズを特定することで、ＬＦデータを削減することが可能な撮像装置の提供が可能となる。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。

この場合、コンピュータ読み取り可能な記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するためのコンピュータ読み取り可能な記憶媒体として、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims (17)

1. 撮影光学系と撮像手段から取得される複数の視点画像の画素データを処理する画像処理装置であって、
   前記複数の視点画像の中で、所定の基線長に対応する視点画像対から所定の被写体に対応する被写体領域を検出する検出手段と、
   前記所定の基線長と前記検出手段によって検出された前記被写体領域とに基づいて、前記検出手段によって検出された前記被写体領域に含まれていない部分を含む前記複数の視点画像の画素データのうちから前記所定の被写体の存在する範囲を推定する推定手段と、
   を備えることを特徴とする画像処理装置。
2. 撮影光学系と撮像手段から取得される複数の視点画像の画素データを処理する画像処理装置であって、
   前記複数の視点画像の中で、所定の基線長に対応する視点画像対から被写体領域を検出する検出手段と、
   前記所定の基線長と前記検出手段によって検出された前記被写体領域とに基づいて、前記複数の視点画像の画素データにおいて被写体情報の存在する範囲を推定する推定手段と、
   を備え、
   前記検出手段は、前記所定の基線長として、前記複数の視点画像の中で、最長の基線長に対応する前記視点画像対から前記被写体領域を検出することを特徴とする画像処理装置。
3. 撮影光学系と撮像手段から取得される複数の視点画像の画素データを処理する画像処理装置であって、
   前記複数の視点画像の中で、所定の基線長に対応する視点画像対から被写体領域を検出する検出手段と、
   前記所定の基線長と前記検出手段によって検出された前記被写体領域とに基づいて、前記複数の視点画像の画素データにおいて被写体情報の存在する範囲を推定する推定手段と、
   を備え、
   前記推定手段は、少なくとも被写体との距離、前記撮影光学系の焦点距離、最長の基線長、前記撮像手段の前面に配置された瞳分割手段のピッチに基づいて像ずれ量を算出し、前記像ずれ量と前記検出手段によって検出された前記被写体領域とに基づいて前記被写体情報の存在する範囲を推定することを特徴とする画像処理装置。
4. 撮影光学系と撮像手段から取得される複数の視点画像の画素データを処理する画像処理装置であって、
   前記複数の視点画像の中で、所定の基線長に対応する視点画像対から被写体領域を検出する検出手段と、
   前記所定の基線長と前記検出手段によって検出された前記被写体領域とに基づいて、前記複数の視点画像の画素データにおいて被写体情報の存在する範囲を推定する推定手段と、
   を備え、
   前記撮影光学系のケラレ形状に従って、前記検出手段は、前記視点画像対を選択することを特徴とする画像処理装置。
5. 撮影光学系と撮像手段から取得される複数の視点画像の画素データを処理する画像処理装置であって、
   前記複数の視点画像の中で、所定の基線長に対応する視点画像対から被写体領域を検出する検出手段と、
   前記所定の基線長と前記検出手段によって検出された前記被写体領域とに基づいて、前記複数の視点画像の画素データにおいて被写体情報の存在する範囲を推定する推定手段と、
   を備え、
   前記推定手段により推定された被写体の範囲に従って、前記画素データのデータ量を削減する削減手段を有することを特徴とする画像処理装置。
6. 前記削減手段は、前記被写体情報の存在する撮像手段上の範囲においては、前記画素データの加算を行なわず、範囲外においては前記画素データの加算を行うことで前記画素データのデータ量を削減することを特徴とする請求項５に記載の画像処理装置。
7. 前記削減手段は、前記被写体情報の存在する撮像手段上の範囲において前記画素データの加算を行なうとともに、範囲外においても前記画素データの加算を行うことで前記画素データのデータ量を削減し、加算する前記画素データの数は、前記範囲外より範囲内のほうが少ないことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記推定手段により推定された被写体の範囲に従って、前記画素データのデータ量を削減する削減手段を有し、
   前記削減手段は、前記被写体情報の存在する撮像手段上の範囲においては、前記画素データの加算を行なわず、範囲外においては前記画素データの加算を行うことで前記画素データのデータ量を削減し、
   前記瞳分割手段はマイクロレンズの二次元配列であり、前記撮像手段は、前記マイクロレンズを共有する複数の分割画素の二次元配列を有し、前記削減手段は、前記画素データの加算を、前記マイクロレンズを共有する複数の分割画素の画素データに対して行うことを特徴とする請求項３に記載の画像処理装置。
9. 前記推定手段により推定された被写体の範囲に従って、前記画素データのデータ量を削減する削減手段を有し、
   前記削減手段は、前記被写体情報の存在する撮像手段上の範囲において前記画素データの加算を行なうとともに、範囲外においても前記画素データの加算を行うことで前記画素データのデータ量を削減し、加算する前記画素データの数は、前記範囲外より範囲内のほうが少なく、
   前記瞳分割手段はマイクロレンズの二次元配列であり、前記撮像手段は、前記マイクロレンズを共有する複数の分割画素の二次元配列を有し、前記削減手段は、前記画素データの加算を、前記マイクロレンズを共有する複数の分割画素の画素データに対して行うことを特徴とする請求項３に記載の画像処理装置。
10. 前記推定手段により推定された被写体の範囲に従って、前記画素データのデータ量を削減する削減手段を有し、
    前記削減手段は、前記被写体情報の存在する撮像手段上の範囲においては、前記画素データの加算を行なわず、範囲外においては前記画素データの加算を行うことで前記画素データのデータ量を削減し、
    前記瞳分割手段はマイクロレンズの二次元配列であり、前記撮像手段は、前記マイクロレンズを共有する複数の分割画素の二次元配列を有し、前記削減手段は、前記複数の分割画素の加算読み出しを行うことで前記画素データの加算を行うことを特徴とする請求項３に記載の画像処理装置。
11. 前記推定手段により推定された被写体の範囲に従って、前記画素データのデータ量を削減する削減手段を有し、
    前記削減手段は、前記被写体情報の存在する撮像手段上の範囲において前記画素データの加算を行なうとともに、範囲外においても前記画素データの加算を行うことで前記画素データのデータ量を削減し、加算する前記画素データの数は、前記範囲外より範囲内のほうが少なく、
    前記瞳分割手段はマイクロレンズの二次元配列であり、前記撮像手段は、前記マイクロレンズを共有する複数の分割画素の二次元配列を有し、前記削減手段は、前記複数の分割画素の加算読み出しを行うことで前記画素データの加算を行うことを特徴とする請求項３に記載の画像処理装置。
12. 前記画素データに対してリフォーカス処理を行う際に、前記画素データのデータ量が前記削減手段により削減された領域と削減されていない領域の境界付近にフィルタ処理を行うフィルタ手段を備えることを特徴とする請求項５乃至９のいずれか一項に記載の画像処理装置。
13. 前記検出手段は、人物の顔を認識することにより前記被写体領域を検出することを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
14. 撮影光学系と撮像手段から取得される複数の視点画像の画素データを処理する画像処理装置の制御方法であって、
    前記複数の視点画像の中で、所定の基線長に対応する視点画像対から所定の被写体に対応する被写体領域を検出する検出ステップと、
    前記所定の基線長と前記検出ステップにおいて検出された前記被写体領域とに基づいて、前記検出ステップにおいて検出された前記被写体領域に含まれていない部分を含む前記複数の視点画像の画素データのうちから前記所定の被写体の存在する範囲を推定する推定ステップと、
    を備えることを特徴とする画像処理装置の制御方法。
15. 請求項１４に記載された画像処理装置の制御方法をコンピュータに実行させるためのプログラムを記憶するコンピュータ読み取り可能な記憶媒体。
16. コンピュータを、請求項１乃至１３のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
17. コンピュータを、請求項１乃至１３のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体。