JP6137316B2 - 深さ位置検出装置、撮像素子、及び深さ位置検出方法 - Google Patents

Description

本開示は、深さ位置検出装置、撮像素子、及び深さ位置検出方法に関する。

ある３次元シーンの奥行き、即ち各被写体までの距離を非接触で計測するための様々な方法が提案されている。その一つがＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）方式（以降、単にＤＦＤともいう）である。ＤＦＤでは、被写体距離によって大きさ及び形状が変化するぼけの情報に基づいて距離を計測する。ＤＦＤは、複数のカメラを必要としないこと、少数の画像から距離計測が可能であること、などの特徴がある。ＤＦＤ方式を用いて被写体までの距離を計測する処理を、ＤＦＤ処理ともいう。

以下、ＤＦＤの原理について簡単に説明する。

ＤＦＤは、合焦位置の異なる複数枚の画像から、ぼけの情報に基づいて距離を計測する方法である。ぼけを含んだ撮影画像は、レンズによるぼけのない状態を表す全焦点画像（被写体テクスチャ情報）に、被写体距離の関数である点像分布関数を畳み込んだ画像となる。点像分布関数は被写体距離を変数とする関数であるので、ＤＦＤではぼけ画像からぼけを検出することによって、被写体距離を求めることができる。

このとき、全焦点画像と被写体距離とが未知数である。ぼけ画像１枚に対して、ぼけ画像、全焦点画像、及び、被写体距離に関する式が１つ成立する。合焦位置の異なるぼけ画像を同一視点から新たに撮影することで新たな式が得られるので、得られた複数の式を解くことで被写体距離を求める。式の獲得の方法、又は、式を解く方法等に関して、非特許文献１をはじめとして、ＤＦＤに対する様々な提案が存在する。

また、被写体までの距離を計測する別の方法として、位相差方式がある（例えば、特許文献１参照）。位相差方式では、撮像素子に含まれる第１画素群と第２画素群とで位相差を有する（異なる視点の）画像を撮像する。そして、２枚の画像における被写体の位相差（位置ズレ）に基づいて、当該被写体までの距離を検出する。

特開２０１２−１１８２６９号公報

Ｃ．Ｚｈｏｕ，Ｓ．Ｌｉｎ ａｎｄ Ｓ．Ｎａｙａｒ， "Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ Ｐａｉｒｓ ｆｏｒ Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ" Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２００９

本開示は、高速化及び精度の向上を実現できる深さ位置検出装置を提供する。

本開示における深さ位置検出装置は、同一の被写体が互いに位相差を有するように撮像された第１の画像信号及び第２の画像信号を生成する撮像素子と、画像における被写体のぼけ及び位相差と、当該被写体の深さ方向の位置との関係を規定したモデルデータを記憶している記憶部と、前記モデルデータを用いて、前記第１の画像信号及び前記第２の画像信号から被写体の深さ方向の位置を検出する検出部とを備える。

本開示における深さ位置検出装置は、高速化及び精度の向上を実現するのに有効である。

図１は、ＤＦＤ方式の動作を説明するための図である。 図２は、位相差方式の動作を説明するための図である。 図３は、位相差方式に用いられる画素の一例を示す図である。 図４は、位相差方式における画素への光の入射を示す図である。 図５は、位相差方式における画素への光の入射を示す図である。 図６は、実施の形態に係る深さ位置検出装置のブロック図である。 図７は、実施の形態に係る被写体距離とぼけ及び位相差の関係を示す図である。 図８は、実施の形態に係る通常時のぼけを示す図である。 図９は、実施の形態に係る偏心時のぼけを示す図である。 図１０は、実施の形態に係る深さ位置検出処理を説明するための図である。 図１１は、実施の形態に係るモデルデータの一例を示す図である。 図１２は、実施の形態に係る画素の構成の一例を示す図である。 図１３は、実施の形態に係る偏心された画素の一例を示す断面図である。 図１４は、実施の形態に係る偏心された画素の一例を示す断面図である。 図１５は、実施の形態に係る画素の構成の一例を示す図である。 図１６は、実施の形態に係る画素の構成の一例を示す図である。 図１７は、実施の形態に係る画素の構成の一例を示す図である。 図１８は、実施の形態に係る、基線長と透過率及び正解率との関係を示すグラフである。 図１９は、実施の形態に係る基線長を説明するための図である。 図２０は、実施の形態に係る基線長を説明するための図である。 図２１は、実施の形態に係る深さ位置検出処理のフローチャートである。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

まず、本開示により解決される課題の解決手段と、その効果について説明する。

最初にＤＦＤ方式及び位相差方式（像面位相差方式）の各々の長所及び短所を説明する。

まず、ＤＦＤ方式について説明する。図１は、ＤＦＤ方式の動作を模式的に示す図である。

図１に示すように、被写体からの光は光学系（絞り及びレンズ等）を介して撮像素子の撮像面に照射される。この時、像面側の合焦位置と、撮像面の位置とが一致していれば、ボケのない被写体像が得られる。合焦位置と、撮像面の位置とが一致していない場合、その差に応じたぼけが生じる。ＤＦＤではこのボケ量から、現在の合焦位置から被写体までの距離（デフォーカス量）を求める。

ここで、観測画像をＩｍ、被写体テクスチャ情報をＯｂｊ、被写体の距離をｄ、ぼけを表す点像分布関数をＰＳＦ（ｄ）とすると、下記式（１）の関係が成り立つ。

しかしながら、１枚の画像Ｉｍから、被写体テクスチャ情報Ｏｂｊと被写体距離（デフォーカス量）ｄの両方の値を求めることはできない。ＤＦＤでは、下記式（２）に示すように互いに合焦位置が異なる少なくとも２枚の画像を用いる必要がある。

上記式（２）を用いることで、被写体テクスチャ情報Ｏｂｊと距離ｄを算出することができる。

このように、ＤＦＤでは、合焦位置が異なる２枚の画像が必要であり、この２枚の画像を撮影するために時間がかかるため、デフォーカス量を検出するまでに遅延が生じるという課題がある。また、高速に合焦位置を変化させる必要があるので、高速にフォーカスを変更できる機構が必要なるという課題がある。さらに、動画像撮影を行う場合には、動画像撮影中にも合焦位置を周期的に変化させるウォブリング動作が必要なるという課題もある。

次に、位相差方式について説明する。図２〜図５は、位相差方式の動作を模式的に示す図である。

例えば、図３に示すように、各画素２５０は、２つの受光部（フォトダイオード）２５１及び２５２に分割されている。また、図４及び図５に示すように、各受光部２５１及び２５２に独立して光が取込まれる。ここで、図２に示すように、受光部２５１に入射する光は、光学系に入射した光のうち一方側を通る光であり、受光部２５２に入射する光は、光学系に入射した光のうち他方側を通る光である。よって、複数の受光部２５１で生成された画像と、複数の受光部２５２とで生成された画像とは、位相差（像ズレ）を有する。位相差方式では、この位相差を用いて、デフォーカス量を求める。

この位相差方式では、像ズレの方向から、被写体が合焦位置の手前側に存在するのか、奥側に存在するのかを判別できるので、例えば、同時に撮影された画像からデフォーカス量を検出できるので、ＤＦＤ方式に比べて高速化を実現できる。一方で、位相差方式では、通常の撮影画像を出力する際、２画素の画素値を加算する必要がある。そして、この２画素加算時に、通常の画素の場合よりも光量が大きく減らないようにする必要がある。これにより、位相差方式では、基線長ＤがＤＦＤよりも短くなり、精度が低いという課題がある。

具体的には、図１に示すＤＦＤ方式では、Ｄ：ｂ＝Δ：（ｂ−ｆ）の関係が成り立つ。ここで、１／ａ＋１／ｂ＝１／ｆなので、Δ＝Ｄ×（ｂ−ｆ）／ｂ＝Ｄ×ｆ／ａとなる。つまり、基線長Ｄが大きいほどボケ量Δが大きくなるので精度が向上する。なお、ａは、被写体とレンズとの距離であり、ｂは、像面側の合焦距離であり、ｆはレンズと撮像面との距離である。また、基線長Ｄは、撮像素子に入射する光の径であり、例えば、絞りの口径である。

上記の関係は、図２に示す位相差方式の場合も同様であり、基線長Ｄが大きいほど像ズレΔが大きくなるので精度が向上する。しかしながら、上述したように、位相差方式では、絞りを通る光の一部のみが、一つの画素群に入射する。この各画素群に入射する光束の絞りにおける中心（重心）位置の間隔が基線長Ｄに対応することになる。このように、同じ光学系を使用する前提で比較すると、位相差方式ではＤＦＤ方式と比べ、基線長Ｄが小さいので、位置検出の精度が低下する。

また位相差方式では、前述のとおり上記の構成により通常の撮像素子に比べて、受光量がやや減少するため、感度が低下するという課題もある。

さらに、図３に示すように、２つの画像を同時撮影するために画素を分割した場合、読み出し画素数が増加することで消費電力が増加するという課題もある。

以上のように、ＤＦＤ方式と位相差方式にはそれぞれ利点と課題がある。

そこで、本開示は、高速化及び精度の向上を実現できる深さ位置検出装置を提供することを目的とする。

本開示における深さ位置検出装置は、同一の被写体が互いに位相差を有するように撮像された第１の画像信号及び第２の画像信号を生成する撮像素子と、画像における被写体のぼけ及び位相差と、当該被写体の深さ方向の位置との関係を規定したモデルデータを記憶している記憶部と、前記モデルデータを用いて、前記第１の画像信号及び前記第２の画像信号から被写体の深さ方向の位置を検出する検出部とを備える。

これによれば、被写体の位相差を用いて、被写体が手前側に存在するのか、奥側に存在するのかを判別できるので、合焦位置の異なる複数の画像を用いる必要ない。よって、当該深さ位置検出装置は、高速化を実現できる。また、高速にフォーカスを変更できる機構が不要となり、かつ、動画像撮影時のウォブリング動作も不要となるので、低コスト化及び画質の向上を実現できる。さらに、被写体のボケを用いることで、精度を向上できる。このように、当該深さ位置検出装置は、高速化及び精度の向上を実現できる。

例えば、前記第１の画像信号及び前記第２の画像信号は同一時刻に撮像されてもよい。

これによれば、深さ位置検出装置は、同一時刻に撮影された２枚の画像を用いることで、位置検出処理の高速化を実現できる。

例えば、前記第１の画像信号と前記第２の画像信号とにおける前記位相差は、基線長換算で１５％以下の位相差であってもよい。

これによれば、当該深さ位置検出装置は、位相差を有する２枚の画像を撮影するために生じる受光量の低下を抑制できるので、感度の低下を抑制できる。

例えば、前記撮像素子は、複数の単位画素を含み、前記複数の単位画素の各々は、赤色光を受光する赤色画素と、緑色光を受光する第１の緑色画素及び第２の緑色画素と、青色光を受光する青色画素とを含み、前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち少なくとも一種類の画素である第１の画素は、第１の方向に偏心しており、前記複数の単位画素に含まれる複数の前記第１の画素は、前記第１の画像信号を生成し、前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち、前記第１の画素以外の少なくとも一種類の画素である第２の画素は、前記第１の方向とは逆の第２の方向に偏心しており、前記複数の単位画素に含まれる複数の前記第２画素は、前記第２の画像信号を生成してもよい。

これによれば、単一の撮像素子に含まれる各色の画素を用いて、位相差を有する２枚の画像を撮影できる。これにより、２枚の画像用にそれぞれ画素を設ける場合に比べて、消費電力を抑制できる。

例えば、前記第１の画素は前記第１の緑色画素であり、前記第２の画素は前記第２の緑色画素であってもよい。

これによれば、緑色画素のみを用いて、位相差を有する２枚の画像を撮影することで、色つきを抑制できる。

例えば、前記モデルデータは、前記被写体の深さ方向の複数の位置の各々と対応付けられている基準データを含み、各前記基準データは、対応付けられている位置における前記第１の画像信号を規定する第１の基準データと、対応付けられている位置における前記第２の画像信号における被写体のぼけを示す第２の基準データとを含み、前記第１の基準データと前記第２の基準データとにおける前記被写体の位置の差により前記被写体の位相差が規定され、前記検出部は、複数の前記基準データのうち、前記第１の画像信号及び前記第２の画像信号に最も合致する基準データに対応付けられている位置を、前記被写体の深さ方法の位置として検出してもよい。

これによれば、深さ位置検出装置は、モデルデータを用いて、被写体の位置を検出できる。

また、本開示における撮像素子は、複数の単位画素を含み、前記複数の単位画素の各々は、赤色光を受光する赤色画素と、緑色光を受光する第１の緑色画素及び第２の緑色画素と、青色光を受光する青色画素とを含み、前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち少なくとも一種類の画素である第１の画素は、第１の方向に偏心しており、前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち、前記第１の画素以外の少なくとも一種類の画素である第２の画素は、前記第１の方向とは逆の第２の方向に偏心している。

これによれば、単一の撮像素子に含まれる各色の画素を用いて、位相差を有する２枚の画像を撮影できる。これにより、２枚の画像用にそれぞれ画素を設ける場合に比べて、消費電力を抑制できる。

また、本開示における深さ位置検出方法は、同一の被写体が互いに位相差を有するように撮像された第１の画像信号及び第２の画像信号を生成する撮像ステップと、画像における被写体のぼけ及び位相差と、当該被写体の深さ方向の位置との関係を規定したモデルデータを用いて、前記第１の画像信号及び前記第２の画像信号から被写体の深さ方向の位置を検出する検出ステップとを含む。

これによれば、被写体の位相差を用いて、被写体が手前側に存在するのか、奥側に存在するのかを判別できるので、合焦位置の異なる複数の画像を用いる必要ない。よって、当該深さ位置検出方法は、高速化を実現できる。また、高速にフォーカスを変更できる機構が不要となり、かつ、動画像撮影時のウォブリング動作も不要となるので、低コスト化及び画質の向上を実現できる。さらに、被写体のボケを用いることで、精度を向上できる。このように、当該深さ位置検出方法は、高速化及び精度の向上を実現できる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

（実施の形態）
以下、図１〜図２１を用いて実施の形態を説明する。

（深さ位置検出装置の構成）
図１は、本実施の形態に係る深さ位置検出装置１００の構成を示すブロック図である。この深さ位置検出装置１００は、被写体を撮影し、撮影により得られた画像から被写体の深さ方向の位置を検出する。具体的には、深さ位置検出装置１００は、現在の合焦位置と被写体位置との距離を示すデフォーカス量を検出する。

例えば、この深さ位置検出装置１００は、デジタルスチルカメラ又はデジタルビデオカメラである撮像装置に搭載される。また、この深さ位置検出装置１００は、スマートフォン等に搭載されてもよい。また、深さ位置検出装置１００により検出されたデフォーカス量は、例えば、撮像装置においてオートフォーカスに利用される。

なお、深さ位置検出装置１００は、被写体と撮像装置との距離を検出してもよい。被写体と撮像装置との距離は、例えば、検出されたデフォーカス量と現在の合焦位置とから算出できる。

図１に示す深さ位置検出装置１００は、撮像素子１１０と、検出部１２０と、記憶部１３０とを備える。

撮像素子１１０は、被写体像を撮像することにより、同一の被写体が互いに位相差を有する第１の画像信号１１１及び第２の画像信号１１２を生成する。つまり、第１の画像信号１１１と第２の画像信号１１２は異なる視点から同一の被写体（シーン）が撮影された画像である。また、例えば、第１の画像信号１１１及び第２の画像信号１１２は同一時刻に撮像される。

また、深さ位置検出装置１００は、典型的には、単眼カメラに用いられる。つまり、第１の画像信号１１１及び第２の画像信号１１２は、例えば、単一の光学系を用いた単一の撮像素子１１０により生成される。

具体的には、撮像素子１１０は、第１の方向に偏心している複数の第１の画素と、第１の方向とは逆の第２の方向に偏心している複数の第２の画素とを含む。複数の第１の画素は、第１の画像信号１１１を生成し、複数の第２の画素は、第２の画像信号１１２を生成する。なお、この画素の構成の詳細は後述する。

図７〜図９は、通常の場合と偏心ありの場合とにおける、被写体像と被写体距離との関係を示す図である。通常（偏心なし）の場合には、被写体距離が変化しても被写体の位置は変化せず、ぼけのみが変化する。具体的には、合焦位置からの被写体までの距離が遠いほどぼけが大きくなる。一方、偏心ありの場合には、被写体距離が変化に応じて、ぼけに加え、被写体の位置が変化する。本実施の形態では、このように、ぼけに加え位置の変化を加味する。

図１０は、位相差方式と、ＤＦＤ方式と、本実施の形態の方式と説明するための図である。上述したように、位相差方式では、被写体距離の検出に、合焦時からの被写体の位置ズレが用いられており、ＤＦＤ方式では、被写体距離の検出に、被写体のぼけが用いられている。本実施の形態では、これらの両方を用いて被写体距離（デフォーカス量）を検出する。

ここで、ＤＦＤ方式は、位相差方式より精度が高い。よって、本実施の形態では、被写体距離の検出にぼけ（ＤＦＤ方式）を用いることで、高精度を実現できる。さらに、ＤＦＤの課題である、２枚の画像撮影による遅延時間増加ついては、ピント位置の異なる２枚の画像ではなく、１枚同時撮像ながらも下記式（３）のような２つの式で示す情報が得られるようにする。

具体的には、同時撮像でもＰＳＦ１及びＰＳＦ２のぼけの違いが必要である。少なくとも同じピント位置であれば、通常はぼけの違いが生じないが、本実施の形態ではここで、位相差方式の考え方を取り入れ、位置ズレを用いてぼけの違いが生じるようにする。すなわち、撮像した１枚の画像から、位相差の左右画像に相当する２画像を生成できるよう、撮像素子面上を工夫する。これにより、本実施の形態では、合焦位置の異なる２枚の画像を撮影する必要がないので、距離検出処理を高速化できる。

記憶部１３０は、モデルデータ１３１を記憶している。このモデルデータ１３１は、画像における被写体のぼけ及び位相差と、当該被写体の深さ方向の位置（デフォーカス量）との関係を規定するパラメータである。

検出部１２０は、記憶部１３０に記憶されているモデルデータ１３１を用いて、第１の画像信号１１１及び前記第２の画像信号１１２から被写体の深さ方向の位置（デフォーカス量）を検出する。そして、検出部１２０は、検出結果を示すデフォーカス情報１２１を生成する。

図１１は、モデルデータ１３１の一例を示す図である。図１１に示すようにモデルデータ１３１は、デフォーカス量の各々に対応付けられている基準データを含む。各基準データは、対応付けられているデフォーカス量における第１の画像信号及び前記第２の画像信号における被写体のぼけ及び位相差（位置ズレ）を規定する。具体的には、各基準データは、対応付けられているデフォーカス量における第１の画像信号を規定する第１の基準データ（図１１の上段）と、対応付けられている位置における第２の画像信号における被写体のぼけを示す第２の基準データ（図１１の下段）とを含む。また、この第１の基準データと第２の基準データとのにおける被写体の位置の差（相対的な位置ズレ）により被写体の位相差が規定されている。

例えば、検出部１２０は、複数の基準データから、入力された第１の画像信号１１１及び第２の画像信号１１２の組に最も合致（適合）する基準データを判別し、判別した基準データに対応付けられているデフォーカス量を被写体のデフォーカス量に決定する。

また、図１１に示すモデルデータ１３１を用いることで、一般にＤＦＤ方式で用いられていた手法を流用することができる。ＤＦＤ方式では、合焦位置の異なる２つの画像信号と、モデルデータとを用いてデフォーカス量が検出されるが、この２つの画像信号を、互いに位相差を有する第１の画像信号１１１及び第２の画像信号１１２に置き換え、モデルデータを上記モデルデータ１３１に置き換えることで、ＤＦＤ方式と同様のアルゴリズムで第１の画像信号１１１及び第２の画像信号１１２から被写体のデフォーカス量を検出できる。なお、ＤＦＤ方式における、２つの画像信号とモデルデータとを用いたデフォーカス量の検出処理に関しては、例えば、非特許文献１に詳しく記載されている。

また、第１の画像信号１１１及び第２の画像信号１１２からデフォーカス量を検出する方法として上記以外が用いられてもよい。例えば、第１の画像信号１１１及び第２の画像信号１１２の一方又は両方のぼけ量のみから、デフォーカス量の絶対値を検出し、位置ズレの方向から被写体が合焦位置の手前側又は奥側に存在するかを判定してもよい。

（撮像素子１１０の構成）
図１２は、撮像素子１１０の画素の構成例を示す図である。図１２に示すように複数の画素は所謂ベイヤー配列を有する。つまり、撮像素子１１０は、複数の単位画素を含む。複数の単位画素の各々は、赤色光を受光する赤色画素（Ｒ）と、緑色光を受光する第１の緑色画素（Ｇ１）及び第２の緑色画素（Ｇ２）と、青色光を受光する青色画素（Ｂ）とを含む。

また、上述したように、撮像素子１１０は、第１の方向に偏心している複数の第１の画素と、第１の方向とは逆の第２の方向に偏心している複数の第２の画素とを含む。図１２に示す例では、赤色画素（Ｒ）及び第１の緑色画素（Ｇ１）が左方向に偏心しており、青色画素（Ｂ）及び第２の緑色画素（Ｇ２）が右方向に偏心している。

また、各画素を偏心させる方法としては、図１３及び図１４に示すように光導波路を偏心させる方法を用いることができる。例えば、図１３に示すように、半導体基板２０４（例えばシリコン）に受光部（フォトダイオード）が形成されている。半導体基板２０４上には、遮光部２０３にはさまれた光導波路が形成され、その上にカラーフィルタ２０２が形成され、その上にマイクロレンズ２０１が形成されている。このような場合に、受光部の中心に対して、遮光部２０３、カラーフィルタ２０２及びマイクロレンズ２０１（オンチップレンズ）を偏心方向にずらして配置することにより、受光部で受光する光線に角度をつける（偏心させる）ことができる。

一方、図１２に示すように各画素を偏心させた場合、色つきが発生する場合がある。この色つきを低減するために、図１５に示す配置を用いてもよい。図１５に示す例では、第１の緑色画素（Ｇ１）が左方向に偏心しており、第２の緑色画素（Ｇ２）が右方向に偏心している。また、赤色画素（Ｒ）及び青色画素（Ｂ）は偏心していない。なお、この場合には、第１の画像信号１１１は第１の緑色画素（Ｇ１）で生成され、第２の画像信号１１２は第２の緑色画素（Ｇ２）で生成される。つまり、赤色画素（Ｒ）及び青色画素（Ｂ）は、距離検出のためには用いられない。なお、距離検出ではない通常の撮影時には、全ての画素が用いられる。

このように、緑色画素のみを偏心させることで、色つきの発生を抑制できる。よって、この構成は、高画質が要求される、例えば、ハイエンドデジタル一眼カメラ等の有用である。

また、図１３及び図１４では、遮光部２０３、カラーフィルタ２０２及びマイクロレンズ２０１の全てをずらして配置しているが、少なくとも一部をずらして配置すればよい。例えば、図１６及び図１７に示すように、マイクロレンズ２０１のみをずらして配置してもよい。なお、図１６は、図１２と同様に全ての画素が偏心している場合の例を示し、図１７は、図１５と同様に、緑色画素（Ｇ１、Ｇ２）のみが偏心している場合の例を示している。

このように、マイクロレンズ２０１のみをずらすことで、光導波路をずらす場合に比べて、迷光の発生を低減できる。一方で、マイクロレンズ２０１のみをずらした場合には、マイクロレンズ２０１のサイズを小さくする必要があるため受光量（感度）が低下するという短所がある。

なお、ここでは、マイクロレンズ２０１の位置をずらしているが、さらにマイクロレンズ２０１の重心をずらしてもよし、重心のみをずらしてもよい。

また、上記説明では、撮像素子内にて偏心を行う構成を説明したが、撮像装置が備える光学系（レンズ及び絞り等）を工夫することにより、第１の画素及び第２の画素に異なる光を入射させてもよい。

（偏心量の設定）
画素の偏心量を大きくすると、位相差がより顕著にあらわれるが、その一方で光量が低下するために感度が低下する。また、位相差方式ではズレを用いてデフォーカス量を検出するため、精度と感度とのトレードオフの関係を加味しつつ、精度を上げるために偏心量をある程度大きく設定する必要がある。

一方で、本実施の形態では、デフォーカス量の絶対値はぼけ量から高精度に算出できるため、位相差は、被写体が合焦位置より手前側に存在するか奥側に存在するかを判断できる最低限の差だけあればよい。つまり、本実施の形態では、位相差方式に比べ、偏心量を小さく設定する。これにより、位相差方式での課題である感度の低下を抑制できる。さらに、偏心量が小さければ、人の目にも位相差が検知され難くなるので、通常の静止画又は動画像の撮影時において、違和感のない画像を生成することができる。

図１８は、基線長に対する透過率（感度）及び正解率（距離検出精度）のシミュレーション結果を示す図である。ここで、基線長とは、図１９及び図２０に示すように、例えば、絞りにおける、第１の画素及び第２の画素の各々に入射する光の中心（重心）間の距離である。また、図１８では、基線長を口径を１とした場合の値で表している。また、口径とは撮像装置に入射する光の径であり、例えば、絞りの径である。また、この基線長は、各画素の位相差に対応する。つまり、基線長が長いほど位相差が大きくなるので、図１８に示すように、正解率（距離検出精度）が高くなる。ここで、正解率とは、テストパターンに対して正しく距離が検出された率である。

一方で、基線長が長いほど光量（透過率）が低下するため感度が低下する。この感度の低下を抑制するために、例えば、透過率を７０％以上に確保することが好ましく、例えば、基線長を０．１５以下に設定することが好ましい。つまり、第１の画像信号１１１と第２の画像信号１１２とにおける位相差は、基線長換算で１５％以下の位相差であることが好ましい。また、基線長が短くなりすぎると正解率が急激に減少する。よって、例えば、基線長を０．１０以上に設定することが好ましい。つまり、第１の画像信号１１１と第２の画像信号１１２とにおける位相差は、基線長換算で１０％以上の位相差であることが好ましい。

（処理の流れ）
以下、上述した深さ位置検出装置１００による処理の流れを、図２１を用いて説明する。

まず、撮像素子１１０は、同一の被写体が互いに位相差を有するように撮像された第１の画像信号１１１及び第２の画像信号１１２を生成する（Ｓ１０１）。次に、検出部１２０は、記憶部１３０に記憶されている、画像における被写体のぼけ及び位相差と、当該被写体の深さ方向の位置との関係を規定したモデルデータ１３１を用いて、第１の画像信号１１１及び第２の画像信号１１２から被写体の深さ方向の位置（デフォーカス量）を検出する（Ｓ１０２）。

（まとめ）
以上のように、本実施の形態に係る深さ位置検出装置１００は、被写体のぼけと位相差との両方を用いて、デフォーカス量を検出する。これにより、位相差を用いて、被写体が手前側に存在するのか、奥側に存在するのかを判別できるので、合焦位置の異なる複数の画像を用いる必要ない。よって、深さ位置検出装置１００は、位置検出処理の高速化を実現できる。さらに、被写体のボケを用いることで、位置検出の精度を向上できる。このように、深さ位置検出装置１００は、高速化及び精度の向上を実現できる。

さらに、画素の偏心量を、被写体が手前側に存在するのか、奥側に存在するのかを判別できる程度に小さく設定することで、受光量の低下を抑制できるので、感度の低下を抑制できる。さらに、位相差が小さいことにより、通常撮影時に違和感のない画像を生成できる。

また、通常の撮影に用いられる画素の一部が、第１の画像信号１１１の生成に用いられ、他の一部を第２の画像信号１１２の生成に用いられる。これにより、位相差を有する画像の撮影時の消費電力の増加を抑制できる。さらに、緑色画素のみを、位相差を有する画像の撮影に用いることで、色つきの発生を抑制できる。

（他の実施の形態）
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

また、上記実施の形態に係る深さ位置検出装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記断面図は、本開示に係る構成を模式的に示すものである。当該断面図において、各構成要素の角部及び辺を直線的に記載されているが、製造上の理由により、角部及び辺が丸みをおびたものも本開示に含まれる。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、上記フローチャートに示すステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

本開示は、ＤＦＤ処理を行う撮影装置に適用可能である。具体的には、デジタルビデオカメラ、デジタル一眼カメラなどに、本開示は適用可能である。

１００ 深さ位置検出装置
１１０ 撮像素子
１１１ 第１の画像信号
１１２ 第２の画像信号
１２０ 検出部
１２１ デフォーカス情報
１３０ 記憶部
１３１ モデルデータ
２０１ マイクロレンズ
２０２ カラーフィルタ
２０３ 遮光部
２０４ 半導体基板
２５０ 画素
２５１、２５２ 受光部

Claims (8)

1. 同一の被写体が互いに位相差を有するように撮像された第１の画像信号及び第２の画像信号を生成する撮像素子と、
   画像における被写体のぼけ及び位相差と、当該被写体の深さ方向の位置との関係を規定したモデルデータを記憶している記憶部と、
   前記モデルデータを用いて、前記第１の画像信号及び前記第２の画像信号から被写体の深さ方向の位置を検出する検出部とを備え、
   前記第１の画像信号と前記第２の画像信号とにおける前記位相差は、基線長換算で１０％以上かつ１５％以下の位相差である
   深さ位置検出装置。
2. 前記第１の画像信号及び前記第２の画像信号は同一時刻に撮像される
   請求項１記載の深さ位置検出装置。
3. 前記撮像素子は、
   第１の方向に偏心している複数の第１の画素と、
   前記第１の方向とは逆の第２の方向に偏心している複数の第２の画素とを含み、
   前記複数の第１の画素は、前記第１の画像信号を生成し、
   前記複数の第２画素は、前記第２の画像信号を生成し、
   前記複数の第１の画素及び前記複数の第２の画素は、前記第１の画像信号と前記第２の画像信号とにおける前記位相差が、基線長換算で１０％以上かつ１５％以下の位相差になるように偏心している
   請求項１又は２記載の深さ位置検出装置。
4. 前記撮像素子は、複数の単位画素を含み、
   前記複数の単位画素の各々は、
   赤色光を受光する赤色画素と、
   緑色光を受光する第１の緑色画素及び第２の緑色画素と、
   青色光を受光する青色画素とを含み、
   前記複数の第１の画素は、前記複数の単位画素に含まれる、前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち少なくとも一種類の画素であり、
   前記複数の第２の画素は、前記複数の単位画素に含まれる、前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち、前記第１の画素以外の少なくとも一種類の画素である
   請求項３記載の深さ位置検出装置。
5. 前記第１の画素は前記第１の緑色画素であり、
   前記第２の画素は前記第２の緑色画素である
   請求項４記載の深さ位置検出装置。
6. 前記モデルデータは、前記被写体の深さ方向の複数の位置の各々と対応付けられている基準データを含み、
   各前記基準データは、対応付けられている位置における前記第１の画像信号を規定する第１の基準データと、対応付けられている位置における前記第２の画像信号における被写体のぼけを示す第２の基準データとを含み、
   前記第１の基準データと前記第２の基準データとにおける前記被写体の位置の差により前記被写体の位相差が規定され、
   前記検出部は、複数の前記基準データのうち、前記第１の画像信号及び前記第２の画像信号に最も合致する基準データに対応付けられている位置を、前記被写体の深さ方法の位置として検出する
   請求項１〜５のいずれか１項に記載の深さ位置検出装置。
7. 複数の単位画素を含み、
   前記複数の単位画素の各々は、
   赤色光を受光する赤色画素と、
   緑色光を受光する第１の緑色画素及び第２の緑色画素と、
   青色光を受光する青色画素とを含み、
   前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち少なくとも一種類の画素である第１の画素は、第１の方向に偏心しており、
   前記赤色画素、前記第１の緑色画素、前記第２の緑色画素、及び前記青色画素のうち、前記第１の画素以外の少なくとも一種類の画素である第２の画素は、前記第１の方向とは逆の第２の方向に偏心しており、
   前記複数の第１の画素及び前記複数の第２の画素は、前記複数の第１の画素により生成される第１の画像信号と、前記複数の第２画素により生成される前記第２の画像信号とにおける位相差が、基線長換算で１０％以上かつ１５％以下の位相差になるように偏心している
   撮像素子。
8. 同一の被写体が互いに位相差を有するように撮像された第１の画像信号及び第２の画像信号を生成する撮像ステップと、
   画像における被写体のぼけ及び位相差と、当該被写体の深さ方向の位置との関係を規定したモデルデータを用いて、前記第１の画像信号及び前記第２の画像信号から被写体の深さ方向の位置を検出する検出ステップとを含み、
   前記第１の画像信号と前記第２の画像信号とにおける前記位相差は、基線長換算で１０％以上かつ１５％以下の位相差である
   深さ位置検出方法。

Images