JP6335423B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は、距離算出装置などの情報処理装置、情報処理方法等に関し、特にデジタルカメラやデジタルビデオカメラなどの撮像装置等に用いられる距離算出装置などの情報処理装置に関する。

デジタルカメラやデジタルビデオカメラにおいて、撮影被写体までの距離を取得できるＤＦＤ（Ｄｅｐｔｈ−ｆｒｏｍ−Ｄｅｆｏｃｕｓ）方式が提案されている（特許文献１参照）。ＤＦＤ方式では、デジタルカメラ等に搭載されている撮影レンズの撮影条件（例えば絞り値や焦点距離）を変えて２回の撮影を行うことで、被写体距離に依存してボケの異なる２画像を取得する。そして、画素毎に画像間の相関値を算出した後に、ボケの相関量と被写体距離の関係を定めたルックアップテーブルを参照することで、画素毎に被写体までの距離である被写体距離を算出することができる。

ＤＦＤ方式では、画像及び各画素の被写体距離（以下、被写体距離情報とも称する）を取得することができる。画像内の被写体のボケ量は、被写体距離に依存する。取得した画像に対して、被写体距離情報に基づく処理を行うことで、撮影後の画像に対して任意のボケ付加処理やリフォーカス処理（任意の位置にピントを合わせる処理）等の画像処理などを適切に行うことができる。

特許第４４０３４７７号明細書

被写体距離に基づく画像処理を適切に行うためには、被写体距離を高精度に算出することが望ましい。ＤＦＤ方式では、撮影条件を変えた２回撮影により２画像を取得する必要がある。そのため、移動する被写体に対しては、同一の被写体が画像間で異なる画角に位置するため、画像間の相関値を高精度に算出できないことがある。また、画像間で被写体の移動速度が変化した場合にも、画像間で被写体ブレの量が異なるため、画像間の相関値を高精度に算出できないことがある。その結果、被写体によっては被写体距離を高精度に算出できない場合がある。この様に、従来のＤＦＤ方式の距離算出装置では、被写体距離の取得に複数回の撮影を必要としているため、被写体によっては被写体距離を誤って算出してしまうということがあった。

上記課題に鑑み、本発明の情報処理装置は、複数の画素が配列して構成された撮像手段により生成された、結像光学系の第１の瞳領域を通過した光束による第１の被写体像信号と結像光学系の第２の瞳領域を通過した光束による第２の被写体像信号とに基づき、被写体のデフォーカス情報を算出するために、算出手段を備える。前記複数の画素はそれぞれ、マイクロレンズと、前記マイクロレンズを通過した光束を受光する第１の光電変換部と、前記マイクロレンズを通過した光束を受光する第２の光電変換部を備え、前記第１の光電変換部からの信号を用いて前記第１の被写体像信号を生成が生成され、前記第２の光電変換部からの信号を用いて前記第２の被写体像信号が生成される。前記第１の瞳領域と前記第２の瞳領域の面積が異なることで前記第１の被写体像信号と前記第２の被写体像信号のボケを異ならせ、前記算出手段は、前記第１の被写体像信号と前記第２の被写体像信号のボケの差異に基づいて前記デフォーカス情報を算出する。
また、本発明の他の情報処理装置は、マイクロレンズと、結像光学系を介して前記マイクロレンズを通過した光束を受光する第１の光電変換部と、結像光学系を介して前記マイクロレンズを通過した光束を受光する第２の光電変換部と、をそれぞれ備えた複数の画素が配列された撮像素子から得られる信号に基づいて生成される、前記第１の光電変換部からの信号に対応する第１の被写体像信号と前記第２の光電変換部からの信号に対応する第２の被写体像信号とを取得する取得手段と、前記第１の被写体像信号と前記第２の被写体像信号のボケの差異に基づいて被写体のデフォーカス情報を算出する算出手段と、を有し、前記第１の光電変換部と前記第２の光電変換部は受光面の面積が異なることで前記第１の被写体像信号と前記第２の被写体像信号のボケを異ならせる。
また、本発明の他の情報処理装置は、マイクロレンズと、前記マイクロレンズに割当てられ結像光学系を介して前記マイクロレンズを通過した光束を受光する第１の光電変換部と第２の光電変換部とを含む複数の光電変換部と、をそれぞれ備えた複数の画素が配列された撮像素子から、１度の撮像で得られる信号に基づいて生成される、ボケの異なる第１の被写体像信号と第２の被写体像信号とを取得する取得手段と、前記第１の被写体像信号と前記第２の被写体像信号のボケの差異に基づいて被写体のデフォーカス情報を算出する算出手段と、を有し、前記複数の光電変換部において、前記第１の被写体像信号及び前記第２の被写体像信号に対応する光電変換部の受光面の面積が互いに異なることで、前記第１の被写体像信号と前記第２の被写体像信号のボケが異なる。
また、本発明の他の情報処理装置は、複数の画素が配列して構成された撮像素子を用いて生成された、結像光学系の第１の瞳領域を通過した光束による第１の被写体像信号と前記結像光学系の第２の瞳領域を通過した光束による第２の被写体像信号とに基づき、被写体のデフォーカス情報を算出する算出手段を備えた情報処理装置であって、前記複数の画素はそれぞれ、マイクロレンズと、前記マイクロレンズを通過した光束を受光する第１の光電変換部と、前記マイクロレンズを通過した光束を受光する第２の光電変換部を備え、前記第１の光電変換部は、前記第１の被写体像信号を生成し、前記第２の光電変換部は、前記第２の被写体像信号を生成し、前記マイクロレンズは前記画素の中心に対して偏心して配置されており、前記算出手段は、前記第１の被写体像信号と前記第２の被写体像信号のボケの差異に基づいて前記デフォーカス情報を算出する。
また、本発明の他の情報処理装置は、マイクロレンズと、結像光学系を介して前記マイクロレンズを通過した光束を受光する第１の光電変換部と、結像光学系を介して前記マイクロレンズを通過した光束を受光する第２の光電変換部と、をそれぞれ備えた複数の画素が配列された撮像素子から得られる信号に基づいて生成される、前記第１の光電変換部からの信号に対応する第１の被写体像信号と前記第２の光電変換部からの信号に対応する第２の被写体像信号とを取得する取得手段と、ボケの異なる前記第１の被写体像信号と前記第２の被写体像信号に基づいて被写体のデフォーカス情報を算出する算出手段と、を有し、前記マイクロレンズが前記画素の中心に対して偏心して配置される。
また、本発明の他の情報処理装置は、マイクロレンズと、前記マイクロレンズに割当てられ結像光学系を介して前記マイクロレンズを通過した光束を受光する第１の光電変換部と第２の光電変換部とを含む複数の光電変換部と、をそれぞれ備えた複数の画素が配列された撮像素子から、１度の撮像で得られる信号に基づいて生成される、ボケの異なる第１の被写体像信号と第２の被写体像信号とを取得する取得手段と、前記第１の被写体像信号と前記第２の被写体像信号に基づいて被写体のデフォーカス情報を算出する算出手段と、を有し、前記マイクロレンズが前記画素の中心に対して偏心して配置される。

本発明によれば、被写体によらず被写体距離を高精度に算出可能な距離算出装置などの情報処理装置、これを用いた撮像装置、距離算出方法などの情報処理方法等を実現することができる。

本発明の距離算出装置を備えたデジタルカメラを説明する図。 画素への入射光束について説明する図。 入射光束のボケ量について説明する図。 被写体距離と相関値の関係について説明する図。 距離算出手順について説明する図。 第一の実施形態における光電変換部の別の実施形態について説明する図。 第二の実施形態における撮像素子を説明する図。 第一の実施形態における撮像素子の別の実施形態について説明する図。

本発明の一例の特徴は、次のことにある。複数の画素が配列して構成された撮像素子を用いて生成された、結像光学系の第１の瞳領域を通過した光束による第１の被写体像信号と第２の瞳領域を通過した光束による第２の被写体像信号とに基づき、被写体までの距離を検出する。そのために、被写体距離算出部を備え、撮像素子は、第１の被写体像信号を生成するための第１の光電変換部と第２の被写体像信号を生成するための第２の光電変換部を備える。また、第１の瞳領域と第２の瞳領域が結像光学系の射出瞳内にて非対称な瞳形状を有するように装置が構成される。非対称な形状とは、第１の瞳領域と第２の瞳領域を相対的に移動して重ね合わせようとしても、決して重ね合わせることができない形状である。この時、単に外形的な形状のみでなく、光電変換部の感度などにより決まる画素感度を射出瞳に射影して得られる各瞳領域の瞳感度分布をも考慮に入れて、非対称な形状か否かが決定される。これにより、同時に得られる第１及び第２の被写体像信号による２画像が、被写体距離に依存してボケの異なる２画像となる。よって、撮影条件を変えた複数回の撮影を経ることなく、被写体距離算出部は、前記ボケの差異に基づくＤＦＤ方式にて被写体距離を検出することができる。

以下、図を参照しながら本発明の距離算出装置、これを用いた撮像装置、距離算出方法などの実施形態について説明する。以下の説明では、本発明の距離算出装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されない。例えば、デジタルビデオカメラやライブビューカメラ等の撮像装置、デジタル距離計測器等に適用することができる。尚、図を参照した説明においては、図番は異なっても、原則として同一部位を示す部位には同一の符号を付すこととし、なるべく重複した説明は省略する。

≪第一の実施形態≫
本発明の距離算出装置の第一の実施形態を備えたデジタルカメラを説明する。
＜デジタルカメラの構成＞
図１（Ａ）において、１００は本実施形態の距離算出装置を備えたデジタルカメラである。デジタルカメラ１００は、結像光学系１２０、撮像素子１０１、被写体距離算出部１０２、画像生成部（不図示）が、カメラの撮影筺体１３０の内部に配置され、構成される。本実施例では、距離算出装置１１０は、結像光学系１２０、撮像素子１０１、被写体距離算出部１０２を備えることが好適である。被写体距離算出部１０２は、論理回路を用いて構成することができる。被写体距離算出部１０２の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

結像光学系１２０は、デジタルカメラ１００の撮影レンズであり、被写体の像を、撮像面である撮像素子１０１に形成する機能を有する。結像光学系１２０は、複数のレンズ群（不図示）及び絞り（不図示）から構成され、撮像素子１０１から所定距離離れた位置に射出瞳１０４を有する。図１（Ａ）中の１４０は、結像光学系１２０の光軸であり、本明細書中では光軸はｚ軸と平行とする。さらに、ｘ軸とｙ軸は互いに垂直であり、且つ光軸と垂直な軸とする。

＜撮像素子の構成＞
撮像素子１０１は、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成される。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は、撮像素子１０１により光電変換され、電気信号に変換される。以下、本実施形態の撮像素子１０１について、図１（Ｂ）を用いてより詳細に説明する。

図１（Ｂ）は、撮像素子１０１のｘｙ断面図である。撮像素子１０１は、２行×２列の画素群１５０を行列状に複数配列することで構成される。画素群１５０は、対角方向に緑画素１５０Ｇ１及び１５０Ｇ２、他の対角方向の２画素に赤画素１５０Ｒ及び青画素１５０Ｂが配置され、構成されている。さらに、画素群１５０を構成する各画素では、画素中の受光層（図２中の２０３）に、ｘｙ断面にて非対称な断面形状を有する２つの光電変換部（光電変換部１６１と光電変換部１６２）が並置されている。本実施形態においては、光電変換部１６１と光電変換部１６２のｘｙ断面形状を非対称にするために、互いに大きさの異なる矩形形状としている。より詳細には、画素は、マイクロレンズ（図２中の２０２）と受光層を備え、受光層は、第１の光電変換部１６１と第２の光電変換部１６２を備え、第１の光電変換部と第２の光電変換部は、結像光学系１２０の光軸と垂直な断面にて非対称な断面形状を有する。

＜距離計測の原理説明＞
撮像素子１０１中に配置される画素に入射する光束について、図２を用いて説明する。図２は、結像光学系１２０の射出瞳１０４と、撮像素子１０１中に配置される画素の代表例として緑画素１５０Ｇ１についてのみ示した概略図である。緑画素１５０Ｇ１には、ｘｙ断面積の異なる光電変換部１６１と光電変換部１６２が並置されている。図２に示すように、射出瞳１０４の中心（より一般的に言えば重心であるが、本明細書では中心とも呼ぶ）を通過した光束２２０及び周辺を通過した光束２１０は光電変換部１６２に入射する。一方、射出瞳の周辺を通過した光束２３０は光電変換部１６１に入射する。すなわち、射出瞳１０４内の瞳領域２６１を通過した光束は光電変換部１６１に、瞳領域２６２を通過した光束は光電変換部１６２にそれぞれ入射する。光電変換部１６１と光電変換部１６２は、それぞれ、受光した光束を光電変換して第１の被写体像信号（光電変換部１６１にて生成される信号）と第２の被写体像信号（光電変換部１６２にて生成される信号）を生成する。第１の被写体像信号と第２の被写体像信号は、光電変換部１６１と光電変換部１６２のｘｙ断面形状が非対称であることに起因して非対称な領域形状を有する瞳領域２６１と瞳領域２６２を通過した光束を光電変換部が受光することで生成された信号となる。

図３（Ａ）は、光電変換部１６１に入射する光束３０１と光電変換部１６２に入射する光束３０２を説明する図である。本実施形態では、図１（Ｂ）に示すように、画素群１５０中の画素に並置される光電変換部１６２は光電変換部１６１よりも大きいｘｙ断面積を有する。したがって、光電変換部１６２にて受光する光束３０２の入射角度範囲３０４は、光電変換部１６１にて受光する光束３０１の入射角度範囲３０３よりも大きくなる。これは、光電変換部１６２が受光する光束３０２の方が、光電変換部１６１にて受光する光束３０１に比べて小さいＦ値を有することに相当する。

図３（Ｂ）は、図３（Ａ）とは異なり、デフォーカスした状態を説明する図である。図３（Ｂ）にて、幅３１１は光束３０１のボケ量を示し、幅３１２は光束３０２のボケ量を示している。光電変換部１６２にて受光する光束３０２の方が、光電変換部１６１にて受光する光束３０１に比べて小さいＦ値を有するため、デフォーカス時には光束３０２のボケ量３１２の方が、光束３０１のボケ量３１１に比べて大きくなる。デフォーカス量は被写体距離と対応するため、光束３０２のボケ量は被写体距離に大きく依存する。一方、光束３０１のボケ量は光束３０２に比べて被写体距離への依存性は低くなる。その結果、光束３０１に基づき生成される第１の被写体像信号と光束３０２に基づき生成される第２の被写体像信号の相関値は、合焦近傍では高く、デフォーカスするにつれて低くなる。

図４は、横軸に被写体距離、縦軸に相関値をとり、相関値と被写体距離の関係を示す図である。デジタルカメラ１００における距離算出装置１１０では、光電変換部１６１にて生成された第１の被写体像信号と光電変換部１６２にて生成された第２の被写体像信号を、被写体距離算出部１０２に伝送する。被写体距離算出部１０２において相関値σを算出した後、相関値と被写体距離の関係を示す図４の如きルックアップテーブルを参照することで、被写体距離Ｌを算出することができる。

＜距離算出フロー＞
以下、被写体距離の算出手順について、図５を参照しながらより詳細に説明する。ステップＳ１では、デジタルカメラ１００の機能により撮影パラメータ（絞り値、焦点距離など）を設定する。ステップＳ２では、撮像素子１０１にて第１の被写体像信号と第２の被写体像信号を取得し、被写体距離算出部１０２に伝送する。このとき撮像素子１０１がＮ行×Ｍ列の画素数を有する際には、Ｎ×Ｍ個のデータ点を有する像信号が被写体距離算出部１０２に伝送される。ステップＳ３では、相関値算出に用いる画素範囲を対象領域（測距範囲）として設定する。ｘ方向の対象領域をｘｍｉｎからｘｍａｘまでの範囲とし、ｙ方向の対象領域をｙｍｉｎからｙｍａｘまでの範囲とする。すなわち、被写体距離算出部１０２は、第１の被写体像信号に対して第１の対象領域を設定し、第２の被写体像信号に対して第１の対象領域と対応する位置に第１の対象領域と同じ領域サイズを有する第２の対象領域を設定する対象領域設定手段を有する。

ステップＳ４では、対象領域に含まれる第１の被写体像信号と第２の被写体像信号を抽出し、相関値を算出する。抽出された第１の被写体像信号を第１の部分被写体像信号とし、抽出された第２の被写体像信号を第２の部分被写体像信号とする。相関値としては公知の手法を用いることができ、例えば下記の（式１）を相関値として用いることができる。式１において、ｆ１は第１の部分被写体像信号、ｆ２は第２の部分被写体像信号、ｆ１ｂａｒは第１の部分被写体像信号の相加平均値、ｆ２ｂａｒは第２の部分被写体像信号の相加平均値である。また、σ１は第１の部分被写体像信号の標準偏差、σ２は第２の部分被写体像信号の標準偏差である。すなわち、被写体距離算出部１０２は、第１の対象領域から第１の部分被写体像信号を抽出し、第２の対象領域から第２の部分被写体像信号を抽出する部分信号抽出手段を有する。さらに、被写体距離算出部１０２は、第１の部分被写体像信号と第２の部分被写体像信号間の相関値を算出する相関値算出手段を有する。

本実施形態においては、相関値として（式１）を用いているが、対象領域内にて第１の部分被写体像信号と第２の部分被写体像信号をフーリエ変換し、比をとることで相関値を算出してもよい。ステップＳ５では、ステップＳ１における撮影パラメータに基づき、相関値と被写体距離の関係を定めたルックアップテーブルを選択する。さらに、ステップＳ４にて算出した相関値σに対応する被写体距離を算出する。すなわち、被写体距離算出部１０２は、相関値と被写体距離との関係を示すルックアップテーブルを参照することで被写体距離を算出する被写体距離算出手段を有する。また、図４に示す相関値と被写体距離の関係を関数近似し、関数の係数をメモリ部（不図示）に格納しておく。さらに、ステップＳ４にて算出した相関値を、関数に代入することで被写体距離を算出してもよい。関数としては例えば分数関数を用いることができる。ステップＳ６では、距離算出装置１１０に備えられるメモリ部（図１にて不図示）に、ステップＳ５にて算出した被写体距離を格納する。ステップＳ３からステップＳ６までの処理を撮像素子１０１内の全画素に対して行った後に、ステップＳ７にて被写体距離情報をデジタルカメラ１００のメモリ部（不図示）に格納する。

以上のステップＳ１からステップＳ７までの処理を行うことで、本実施例の距離算出装置１１０において被写体距離情報（被写体距離マップなど）を算出することができる。一方、画像は、第１の被写体像信号と第２の被写体像信号の和信号を画像生成部（不図示）にて算出することで生成することができる。

本実施形態のデジタルカメラ１００では、撮像素子１０１を構成する画素が形状非対称性を有する２つの光電変換部を備え、射出瞳１０４の異なる領域を通過した光束を各光電変換部にて受光している。そして、２つの光電変換部にて受光した光束による被写体像信号のボケが、それぞれ、被写体距離に対して異なる依存性を有することを利用して被写体距離を算出することができる。さらに各光電変換部にて生成される被写体像信号を用いることで、同時に画像を生成することができる。本実施形態のデジタルカメラ１００では、１回の撮影で被写体距離情報と画像を同時に生成することができるため、移動する被写体に対しても高精度に被写体距離を算出することができる。また、被写体の移動速度が不規則に変化する場合においても、１回の撮影で被写体距離情報と画像を取得できるために、第１の被写体像信号と第２の被写体像信号の間で、被写体ブレ量が略等しくなり、被写体距離情報を高精度に算出することができる。

図５の手順のステップＳ３では、第１の被写体像信号から第１の部分被写体像信号を抽出し、第２の被写体像信号から第２の部分被写体像信号を抽出した。しかし、第１の被写体像信号と第２の被写体像信号を足した第３の被写体像信号を生成し、第３の被写体像信号から第２の部分被写体像信号を抽出してもよい。２つの像信号を足した第３の被写体像信号が受光した光束は、射出瞳１０４の略全域を通過した光束であるため、第１の被写体像信号及び第２の被写体像信号に比べて光量の高い被写体像信号となる。そのため、撮像素子１０１にて付加されるノイズの影響を低減することができ、被写体の照度が低い場合にも高精度に被写体距離を算出することができる。ここでは、被写体距離算出部１０２は、第１の被写体像信号に第２の被写体像信号を加算した第３の被写体像信号を生成する像信号加算手段をさらに備え、前記対象領域設定手段において、前記第２の対象領域を第３の被写体像信号に対して設定する。

また、図５の手順のステップＳ２にて、撮像素子１０１から第１及び第２の被写体像信号を取得する際、本実施形態では光電変換部１６１からの出力として第１の被写体像信号を生成し、光電変換部１６２からの出力として第２の被写体像信号を生成している。しかし、光電変換部１６２近傍に配置される電荷蓄積部（不図示）から電荷を読み読み出す際に、光電変換部１６２における電荷をリセットすることなく第２の被写体像信号を生成する。さらに、光電変換部１６１と光電変換部１６２の電荷を合算し読み出すことで第３の被写体像信号を生成してもよい。すなわち、第３の被写体像信号が光電変換部１６１と光電変換部１６２の各光電変換部にて受光した光束に基づき生成された像信号であり、第２の被写体像信号が光電変換部１６２にて受光した光束に基づき生成された像信号となる。この場合、図５の手順のステップＳ３よりも前に、第３の被写体像信号と第２の被写体像信号の差分信号を算出し、算出された差分信号を第１の被写体像信号とする手順をさらに備えた被写体距離算出手順を用いる。一方、画像は、第３の被写体像信号に基づき公知の手法を用いて生成することができる。

本実施形態では、図５の手順に基づき被写体距離を算出したが、相関値を算出するステップＳ４を行う前に、第１の被写体像信号と第２の被写体像信号に対しハイパスフィルタを施してもよい。撮像素子１０１のサイズが小さいデジタルスチルカメラでは、被写界深度が深いために、大きな相関値の差を得にくい。ハイパスフィルタを施すことで、相関値の被写体距離依存性を高くすることができ、より高精度に被写体距離を算出することができる。ハイパスフィルタとしては、１次微分フィルタであるグラディエントフィルタや２次微分フィルタであるラプラシアンフィルタを用いることができる。

本実施形態の撮像素子１０１は、緑画素、赤画素、及び青画素にそれぞれ２つの光電変換部（光電変換部１６１と光電変換部１６２）が並置された構成となっている。しかし、例えば、緑画素（図１（Ｂ）中の１５０Ｇ１及び１５０Ｇ２）にのみ２つの光電変換部を配置し、他の赤画素と青画素は、光電変換部を１つのみ有する従来の画像取得用画素と同一構成にしてもよい。緑画素にのみ２つの光電変換部を配置しているため、被写体像信号の読み出し時間の短縮や被写体距離算出に要する処理時間の短縮が可能となる。緑画素にのみ２つの光電変換部を配置した場合には、緑画素から出力される第１の被写体像信号と第２の被写体像信号を用いて被写体距離の算出を行う。

距離算出装置１１０を構成する撮像素子１０１が備える光電変換部１６１と光電変換部１６２は、図１（Ｂ）に示すように矩形の断面形状を有するが、第１の被写体像信号と第２の被写体像信号の相関値が被写体距離によって異なる値となる形状であればよい。例えば、図６（Ａ）に示すように、光電変換部１６２をＬ字型の形状とし、光電変換部１６１を矩形の形状としてもよい。また、図６（Ｂ）に示すように、光電変換部１６２をＵ字型の形状とし、光電変換部１６１を矩形の形状とし、各光電変換部のｘｙ断面積が等しくなるようにしてもよい。図６（Ｂ）の光電変換部１６１と光電変換部１６２は略等しいｘｙ断面積を有するが、結像光学系１２０が波面収差を有することと、光束３０１と光束３０２の入射角度範囲が異なることに起因して、相関値が被写体距離によって異なる値となる。図６（Ｃ）は、図１（Ｂ）と同様に、撮像素子１０１の構成を説明する図である。結像光学系１２０のヴィネッティングや、撮像素子１０１の周辺領域では主光線角度が大きくなる。このことを考慮すると、図６（Ｃ）に示すように、光電変換部１６１と光電変換部１６２のｘｙ断面積を、光軸１４０との交点近くの撮像素子１０１の中央近傍と、撮像素子１０１の周辺領域とで変えてもよい。撮像素子１０１の中央と周辺とで光電変換部１６１と光電変換部１６２のｘｙ断面積を撮像素子１０１内の像高に応じて変えることで、次の様にできる。すなわち、結像光学系１２０のヴィネッティングや主光線角度が大きくなることに起因する周辺領域における第１の被写体像信号と第２の被写体像信号の光量比変化を低減でき、撮像素子１０１の全領域にて高精度に被写体距離の算出を行うことができる。

本実施形態の撮像素子１０１は、画素中に２つの光電変換部１６１と光電変換部１６２を備えているが、画素中に１つの光電変換部を備えてもよい。図８は、撮像素子１０１のｘｙ断面図である。撮像素子１０１は、画素中に光電変換部１６１のみを備える画素群８０１と光電変換部１６２のみを備える画素群８０２とが千鳥格子状に配列して構成される。画素群８０１は、２行×２列に行列状に画素を配列して構成され、対角方向に緑画素１５０Ｇ１を、他の画素に赤画素１５０Ｒ１と青画素１５０Ｂ１が配置される。一方、画素群８０２は、２行×２列に行列状に画素を配列して構成され、対角方向に緑画素１５０Ｇ２を、他の画素に赤画素１５０Ｒ２と青画素１５０Ｂ２が配置される。画素群８０１中の画素が備える光電変換部１６１と画素群８０２中の画素が備える光電変換部１６２は、異なるｘｙ断面積を有している。光電変換部１６１は、受光した光束を光電変換して第１の被写体像信号を生成し、光電変換部１６２は、受光した光束を光電変換して第２の被写体像信号を生成する。すなわち、撮像素子は、第１の光電変換部１６１を備えた第１の画素と第２の光電変換部１６２を備えた第２の画素を備え、第１の画素の第１の光電変換部と第２の画素の第２の光電変換部は、結像光学系の光軸と垂直な断面にて非対称な形状を有する。光電変換部１６１と光電変換部１６２のｘｙ断面積が異なることに起因して、第１の被写体像信号と第２の被写体像信号間の相関値は被写体距離に依存して変化するようになる。そのため、図５を用いて説明した距離算出手順に沿って被写体距離情報を算出することができる。光電変換部１６１は光電変換部１６２に比べてｘｙ断面積の小さい光電変換部となっているため、第１の被写体像信号は第２の被写体像信号に比べて信号強度が低くなる。そのため、画像生成を行うためには、光電変換部１６１と光電変換部１６２のｘｙ断面積の比に基づき算出されるゲイン値を第１の被写体像信号に乗じることで、第１の被写体像信号と第２の被写体像信号の信号強度を補正する必要がある。

≪第二の実施形態≫
次に、第一の実施形態とは撮像素子１０１の構成が異なる第二の実施形態について、図を用いて詳細に説明する。以下の説明では、第一の実施形態と同様に、本実施形態の距離算出装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、適用はこれに限定されない。例えば、デジタルビデオカメラやデジタル距離計測器等に適用することができる。

＜撮像素子の構成及び距離計測の原理＞
図７（Ａ）は、撮像素子１０１のｘｙ平面図である。撮像素子１０１は、２行×２列の画素群１５０を行列状に複数配列することで構成される。画素群１５０は、対角方向に緑画素１５０Ｇ１及び１５０Ｇ２、他の対角方向の２画素に赤画素１５０Ｒ及び青画素１５０Ｂが配置され、構成されている。さらに、画素群１５０を構成する各画素では、画素内の受光層（図７（Ｂ）中の２０３）にｘｙ断面積の等しい２つの光電変換部（光電変換部１６１と光電変換部１６２）が並置されている。さらに、画素群１５０には、マイクロレンズ２０２が配置されている。結像光学系１２０の光軸１４０より＋ｘ側に配置される画素群１５０中の画素では、画素の中心に対してマイクロレンズ２０２が−ｘ方向に偏心して配置されている。一方、結像光学系１２０の光軸１４０より−ｘ側に配置される画素群１５０中の画素では、画素の中心に対してマイクロレンズ２０２が＋ｘ方向に偏心して配置されている。すなわち、撮像素子を構成する複数の画素は、マイクロレンズと受光層を備え、受光層は、第１の光電変換部１６１と第２の光電変換部１６２を備え、第１の光電変換部と第２の光電変換部は、結像光学系の光軸と垂直な断面にて略同一形状を有する。そして、受光層の表層にあり且つ画素の中心にある位置とマイクロレンズの頂点を結ぶ直線と、結像光学系の射出瞳の重心とマイクロレンズの頂点を結ぶ直線が平行とならないようにマイクロレンズが画素の中心に対して偏心している。

撮像素子１０１中に配置される画素に入射する光束について、図７（Ｂ）を用いて説明する。図７（Ｂ）は、射出瞳１０４と、撮像素子１０１中にて光軸１４０より＋ｘ側に配置される画素の代表例として緑画素１５０Ｇ１とのみを示したｘｚ断面概略図である。図７（Ｂ）中の緑画素１５０Ｇ１には、ｘｙ断面積の等しい光電変換部１６１と光電変換部１６２が並置されている。さらに、マイクロレンズ２０２が緑画素１５０Ｇ１の中心から−ｘ方向に偏心して配置されている。図７（Ｂ）に示すように、マイクロレンズ２０２が偏心して配置されるため、射出瞳１０４の＋ｘ側の周辺領域を通過する光束２１０と中心領域を通過する光束２２０は、光電変換部１６２に入射する。一方、射出瞳１０４の−ｘ側の周辺領域を通過する光束２３０は、光電変換部１６１に入射する。すなわち、射出瞳１０４内の瞳領域２６１を通過した光束は光電変換部１６１に、瞳領域２６２を通過した光束は光電変換部１６２に入射する。光電変換部１６１と光電変換部１６２は、それぞれ、受光した光束を光電変換して第１の被写体像信号（光電変換部１６１にて生成される信号）と第２の被写体像信号（光電変換部１６２にて生成される信号）を生成する。第１の被写体像信号と第２の被写体像信号は、それぞれ、マイクロレンズ２０２が偏心して配置されていることにより面積の異なる瞳領域２６１と瞳領域２６２を通過した光束を２つの光電変換部が受光することで生成された信号となる。

第１及び第２の被写体像信号を生成する光束がそれぞれ通過した射出瞳１０４内の瞳領域２６１及び２６２は、撮像素子１０１中のマイクロレンズ２０２が偏心していることにより、ｘｙ面内にて異なる面積を有する形状となる。そのため、図３（Ａ）を用いて説明したように、第１の被写体像信号を生成する光束が光電変換部１６１に入射する角度範囲と、第２の被写体像信号を生成する光束が光電変換部１６２に入射する角度範囲はそれぞれ異なる角度範囲となる。すなわち、第２の被写体像信号を生成する光束は、第１の被写体像信号を生成する光束に比べて小さいＦ値を有することになる。Ｆ値が異なることにより、第１の被写体像信号と第２の被写体像信号の相関値は被写体距離依存性を有する。そのため、第１の被写体像信号と第２の被写体像信号の相関値を算出し、相関値と被写体距離の関係を定めたルックアップテーブルを参照することで、被写体距離を算出することができる。

より具体的には、図５の被写体距離算出手順を用いることで、被写体距離情報を算出することができる。また、第１の被写体像信号と第２の被写体像信号の和をとった被写体像信号を用いて画像を生成することができる。

（他の実施形態）
本発明の目的は、以下の実施形態によって達成することもできる。即ち、前述した実施形態の機能（被写体距離算出部などの機能）を実現するソフトウェアのプログラムコードを格納した記憶ないし記録媒体を、距離算出装置に供給する。そして、その算出部のコンピュータ（またはＣＰＵ、ＭＰＵなど）が記憶媒体に格納されたプログラムコードを読み出し上記機能を実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラム、これを格納した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明のデジタルカメラなどへの適用を考えると、本発明は、被写体像を撮像する撮像部とは別に距離検出を専用で行う距離算出装置（一眼レフカメラ等で用いられる）よりも、撮像部を用いて距離検出をも行う所謂撮像面測距に好適な装置と捉えることができる。上述した様に、本発明の距離算出装置における算出部は、半導体素子を集積化した集積回路を用いて構成することができ、ＩＣ、ＬＳＩ、システムＬＳＩ、マイクロ処理ユニット（ＭＰＵ）、中央演算装置（ＣＰＵ）等で構成することができる。算出部をマイクロ処理ユニットや中央演算装置（ＣＰＵ）等で構成する場合には、算出部は、コンピュータとして捉えることが可能である。本発明のプログラムは、所定の結像光学系と、所定の撮像部、コンピュータを備えた撮像装置のコンピュータにインストールすることによって、撮像装置を高精度の距離検出が可能なものとなすことができる。本発明のコンピュータは、記録媒体の他、インターネットを通じて頒布することも可能である。

本発明により検出される距離を用いて、撮像装置にて得られる画像と対応する距離分布（距離マップ）を生成することができる。また、画像内にある被写体のボケ量はデフォーカス量に依存するので、得られた画像に対して距離分布に基づく処理を行うことで、任意のボケ付加処理、撮影後のリフォーカス処理等の画像処理などを適切に行うことができる。

１００・・デジタルカメラ（撮像装置）、１０１・・撮像素子、１０２・・被写体距離算出部、１０４・・射出瞳、１１０・・距離算出装置、１２０・・結像光学系、１６１・・第１の光電変換部、１６２・・第２の光電変換部

Claims (22)

1. 複数の画素が配列して構成された撮像素子を用いて生成された、結像光学系の第１の瞳領域を通過した光束による第１の被写体像信号と前記結像光学系の第２の瞳領域を通過した光束による第２の被写体像信号とに基づき、被写体のデフォーカス情報を算出する算出手段を備えた情報処理装置であって、
   前記複数の画素はそれぞれ、マイクロレンズと、前記マイクロレンズを通過した光束を受光する第１の光電変換部と、前記マイクロレンズを通過した光束を受光する第２の光電変換部を備え、
   前記第１の光電変換部からの信号を用いて前記第１の被写体像信号が生成され、前記第２の光電変換部からの信号を用いて前記第２の被写体像信号が生成され、前記第１の瞳領域と前記第２の瞳領域の面積が異なることで前記第１の被写体像信号と前記第２の被写体像信号のボケを異ならせ、
   前記算出手段は、前記第１の被写体像信号と前記第２の被写体像信号のボケの差異に基づいて前記デフォーカス情報を算出することを特徴とする情報処理装置。
2. 前記第１の被写体像信号と前記第２の被写体像信号とは、対応する光束を受光する光電変換部の受光面の面積が異なることを特徴とする請求項１に記載の情報処理装置。
3. マイクロレンズと、結像光学系を介して前記マイクロレンズを通過した光束を受光する第１の光電変換部と、前記結像光学系を介して前記マイクロレンズを通過した光束を受光する第２の光電変換部と、をそれぞれ備えた複数の画素が配列された撮像素子から得られる信号に基づいて生成される、前記第１の光電変換部からの信号に対応する第１の被写体像信号と前記第２の光電変換部からの信号に対応する第２の被写体像信号とを取得する取得手段と、
   前記第１の被写体像信号と前記第２の被写体像信号のボケの差異に基づいて被写体のデフォーカス情報を算出する算出手段と、を有し、
   前記第１の光電変換部と前記第２の光電変換部は受光面の面積が異なることで前記第１の被写体像信号と前記第２の被写体像信号のボケを異ならせることを特徴とする情報処理装置。
4. マイクロレンズと、前記マイクロレンズに割当てられ結像光学系を介して前記マイクロレンズを通過した光束を受光する第１の光電変換部と第２の光電変換部とを含む複数の光電変換部と、をそれぞれ備えた複数の画素が配列された撮像素子から、１度の撮像で得られる信号に基づいて生成される、ボケの異なる第１の被写体像信号と第２の被写体像信号とを取得する取得手段と、
   前記第１の被写体像信号と前記第２の被写体像信号のボケの差異に基づいて被写体のデフォーカス情報を算出する算出手段と、を有し、
   前記複数の光電変換部において、前記第１の被写体像信号及び前記第２の被写体像信号に対応する光電変換部の受光面の面積が互いに異なることで、前記第１の被写体像信号と前記第２の被写体像信号のボケが異なることを特徴とする情報処理装置。
5. 前記第１の光電変換部と前記第２の光電変換部は、前記結像光学系の光軸と垂直な断面にて断面積の異なる矩形の断面形状を有することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記第１の光電変換部は、前記結像光学系の光軸と垂直な断面にて矩形の断面形状を有し、前記第２の光電変換部は、前記結像光学系の光軸と垂直な断面にてＵ字型またはＬ字型の断面形状を有することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
7. 複数の画素が配列して構成された撮像素子を用いて生成された、結像光学系の第１の瞳領域を通過した光束による第１の被写体像信号と前記結像光学系の第２の瞳領域を通過した光束による第２の被写体像信号とに基づき、被写体のデフォーカス情報を算出する算出手段を備えた情報処理装置であって、
   前記複数の画素はそれぞれ、マイクロレンズと、前記マイクロレンズを通過した光束を受光する第１の光電変換部と、前記マイクロレンズを通過した光束を受光する第２の光電変換部を備え、
   前記第１の光電変換部は、前記第１の被写体像信号を生成し、前記第２の光電変換部は、前記第２の被写体像信号を生成し、
   前記マイクロレンズは前記画素の中心に対して偏心して配置されており、
   前記算出手段は、前記第１の被写体像信号と前記第２の被写体像信号のボケの差異に基づいて前記デフォーカス情報を算出することを特徴とする情報処理装置。
8. マイクロレンズと、結像光学系を介して前記マイクロレンズを通過した光束を受光する第１の光電変換部と、結像光学系を介して前記マイクロレンズを通過した光束を受光する第２の光電変換部と、をそれぞれ備えた複数の画素が配列された撮像素子から得られる信号に基づいて生成される、前記第１の光電変換部からの信号に対応する第１の被写体像信号と前記第２の光電変換部からの信号に対応する第２の被写体像信号とを取得する取得手段と、
   ボケの異なる前記第１の被写体像信号と前記第２の被写体像信号に基づいて被写体のデフォーカス情報を算出する算出手段と、を有し、
   前記マイクロレンズが前記画素の中心に対して偏心して配置されることを特徴とする情報処理装置。
9. マイクロレンズと、前記マイクロレンズに割当てられ結像光学系を介して前記マイクロレンズを通過した光束を受光する第１の光電変換部と第２の光電変換部とを含む複数の光電変換部と、をそれぞれ備えた複数の画素が配列された撮像素子から、１度の撮像で得られる信号に基づいて生成される、ボケの異なる第１の被写体像信号と第２の被写体像信号とを取得する取得手段と、
   前記第１の被写体像信号と前記第２の被写体像信号に基づいて被写体のデフォーカス情報を算出する算出手段と、を有し、
   前記マイクロレンズが前記画素の中心に対して偏心して配置されることを特徴とする情報処理装置。
10. 前記算出手段は、前記第１及び第２の被写体像信号に対応する光束の絞り値が互いに異なることを利用して前記デフォーカス情報を算出することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
11. 前記算出手段は、前記第１の被写体像信号及び前記第２の被写体像信号の対応する領域において、該領域の信号間の相関値をデフォーカス情報として算出し、
    前記相関値と、予めメモリに記憶された相関値と距離情報との関係を示すルックアップテーブルとを参照することで、被写体の距離情報を算出する距離算出手段を備えることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記デフォーカス情報に基づいてDFD方式で被写体の距離情報を算出する距離算出手段を備えることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記第１の光電変換部と前記第２の光電変換部の、前記結像光学系の光軸と垂直な断面における断面積を、前記撮像素子の中央近傍と周辺領域とで変えていることを特徴とする請求項１から１２の何れか１項に記載の情報処理装置。
14. 請求項１から１３の何れか１項に記載の情報処理装置と、画像生成部と、複数の画素が配列して構成された撮像素子と、を備えた撮像装置であって、
    前記画像生成部は、前記第１の被写体像信号と前記第２の被写体像信号の少なくとも１つの被写体像信号に基づき画像を生成し、
    前記情報処理装置と前記画像生成部が撮影筺体の内部に格納されていることを特徴とする撮像装置。
15. 複数の画素が配列して構成された撮像素子を用いて生成された、結像光学系の第１の瞳領域を通過した光束による第１の被写体像信号と前記結像光学系の第２の瞳領域を通過した光束による第２の被写体像信号とに基づき、被写体のデフォーカス情報を算出する情報処理方法であって、
    前記第１の瞳領域と前記第２の瞳領域の面積が異なることでボケが異なる前記第１の被写体像信号と前記第２の被写体像信号を取得する工程と、
    前記第１の被写体像信号と前記第２の被写体像信号のボケの差異に基づいて前記デフォーカス情報を算出する工程と、
    を含むことを特徴とする情報処理方法。
16. マイクロレンズと、前記マイクロレンズを通過した光束を受光する第１の光電変換部と、前記マイクロレンズを通過した光束を受光する第２の光電変換部と、をそれぞれ備えた複数の画素が配列された撮像素子から得られる信号に基づき、被写体のデフォーカス情報を算出する情報処理方法であって、
    前記撮像素子から得られる信号に基づいて、前記第１の光電変換部からの信号に対応する第１の被写体像信号と、前記第１の光電変換部の受光面とは面積が互いに異なる受光面を有する前記第２の光電変換部からの信号に対応する第２の被写体像信号とを取得する工程と、
    前記第１の被写体像信号と前記第２の被写体像信号のボケの差異に基づいて被写体のデフォーカス情報を算出する工程と、
    を含むことを特徴とする情報処理方法。
17. マイクロレンズと、前記マイクロレンズに割当てられた複数の光電変換部と、をそれぞれ備えた複数の画素が配列された撮像素子から、１度の撮像で得られる信号に基づき、被写体のデフォーカス情報を算出する情報処理方法であって、
    前記複数の光電変換部において、第１の被写体像信号及び第２の被写体像信号に対応する光電変換部の受光面の面積が互いに異なることで、ボケの異なる前記第１の被写体像信号と前記第２の被写体像信号とを取得する工程と、
    前記第１の被写体像信号と前記第２の被写体像信号のボケの差異に基づいて被写体のデフォーカス情報を算出する算出工程と、
    を含むことを特徴とする情報処理方法。
18. 複数の画素が配列して構成された撮像素子を用いて生成された、結像光学系の第１の瞳領域を通過した光束による第１の被写体像信号と前記結像光学系の第２の瞳領域を通過した光束による第２の被写体像信号とに基づき、被写体のデフォーカス情報を算出する情報処理方法であって、
    前記画素の中心に対して偏心して配置された各画素のマイクロレンズを通過した光束を受光して、前記第１の被写体像信号と前記第２の被写体像信号を生成する工程と、前記第１の被写体像信号と前記第２の被写体像信号のボケの差異に基づいて前記デフォーカス情報を算出する工程と、
    を含むことを特徴とする情報処理方法。
19. マイクロレンズと、前記マイクロレンズを通過した光束を受光する第１の光電変換部と、前記マイクロレンズを通過した光束を受光する第２の光電変換部と、をそれぞれ備えた複数の画素が配列された撮像素子から得られる信号に基づき、被写体のデフォーカス情報を算出する情報処理方法であって、
    前記画素の中心に対して偏心して配置された各画素のマイクロレンズを通過した光束を受光して、前記第１の光電変換部からの信号に対応する第１の被写体像信号と前記第２の光電変換部からの信号に対応する第２の被写体像信号とを取得する工程と、
    ボケの異なる前記第１の被写体像信号と前記第２の被写体像信号に基づいて被写体のデフォーカス情報を算出する工程と、
    を含むことを特徴とする情報処理方法。
20. マイクロレンズと、前記マイクロレンズに割当てられた複数の光電変換部と、をそれぞれ備えた複数の画素が配列された撮像素子から、１度の撮像で得られる信号に基づき、被写体のデフォーカス情報を算出する情報処理方法であって、
    前記画素の中心に対して偏心して配置された各画素のマイクロレンズを通過した光束を前記光電変換部で受光して、ボケの異なる第１の被写体像信号と第２の被写体像信号とを取得する工程と、
    前記第１の被写体像信号と前記第２の被写体像信号に基づいて被写体のデフォーカス情報を算出する工程と、を有し、
    を含むことを特徴とする情報処理方法。
21. 請求項１５乃至２０のいずれか１項に記載の情報処理方法をコンピュータに実行させることを特徴とするプログラム。
22. 請求項２１に記載のプログラムを格納したことを特徴とする記憶媒体。