JP6198590B2 - 画像処理装置、撮像装置および画像処理方法 - Google Patents

Description

本発明は、画像に対してボケ付加処理を行う画像処理装置に関するものである。

デジタルスチルカメラやビデオカメラにおいて、固体撮像素子の一部あるいは全部の画素に測距機能を有する距離測定用画素（以下、測距画素）を配置し、位相差方式で検出するようにした固体撮像素子が提案されている。測距画素は、複数の光電変換部を備え、カメラレンズの瞳上の異なる領域を通過した光束が、異なる光電変換部に導かれるように構成される。各測距画素に含まれる光電変換部で得た信号により、異なる瞳領域を通過した光束により生成される光像（それぞれＡ像、Ｂ像と呼び、両像をまとめてＡＢ像と呼ぶ）を取得する。このＡＢ像の相対的位置変化であるズレ量（以下、像ズレ量）を検出する。この像ズレ量を、デフォーカス量に変換することで、被写体までの距離を算出できる。これによると、従来のコントラスト方式とは異なり、距離を測定するためにレンズを動かす必要が無いため、高速高精度な測距が可能となる。また、測距画素において異なる光電変換部で検出された信号は、撮影画像を生成するための、測距画素の画素値として用いることもできる。

特許文献１では、像ズレ量から被写体までの距離を取得するとともに、Ａ像とＢ像の和から撮影画像を生成し、生成した撮影画像に被写体までの距離に応じたボケを付加する手法が開示されている。

特開２００８−１５７５４号公報

撮影画像に対して距離情報を用いてボケを付加する場合、特定の基準面（以下、リフォーカス面）を設定し、その基準面から距離が離れた被写体ほど、画像の解像度を低下させることでボケを付加した画像を生成する。そのため、設定できるリフォーカス面は、画像の解像度が十分高い撮影画像のピント面近傍に限られてしまう。従って、特許文献１の手法では、設定できるリフォーカス範囲が十分ではないという課題があった。

本発明は、上記課題を考慮してなされたものであり、その目的は、ボケ付加処理においてリフォーカス範囲を従来よりも広く設定可能な画像処理技術を提供することにある。

本発明の第一の態様は、
結像光学系の第１の瞳領域からの光束に基づく第１の画像と、前記結像光学系の第２の瞳領域からの光束に基づく第２の画像とに基づいて距離情報を算出する距離演算手段と、
前記第１の画像および前記第２の画像に基づく元画像に対して、前記距離演算手段によって算出した距離情報を用いてボケを付加しフォーカス面を所定のリフォーカス距離だけ移動させるボケ付加手段と、
を備える画像処理装置であって、
前記ボケ付加手段は、前記リフォーカス距離が閾値以下の場合は、第１の元画像に対してボケを付加し、前記リフォーカス距離が閾値より大きい場合は、前記第１の元画像よりも実効的なＦ値が大きい画像である第２の元画像に対してボケを付加する、
ことを特徴とする画像処理装置である。

本発明の第二の態様は、
画像処理装置における画像処理方法であって、
結像光学系の第１の瞳領域からの光束に基づく第１の画像と、前記結像光学系の第２の瞳領域からの光束に基づく第２の画像とに基づいて距離情報を算出する距離演算ステップと、
前記第１の画像および前記第２の画像に基づく元画像に対して、前記距離演算ステップにおいて算出した距離情報を用いてボケを付加しフォーカス面を所定のリフォーカス距離だけ移動させるボケ付加ステップと、
を含み、
前記ボケ付加ステップでは、前記リフォーカス距離が閾値以下の場合は、第１の元画像に対してボケを付加し、前記リフォーカス距離が閾値より大きい場合は、前記第１の元画像よりも実効的なＦ値が大きい画像である第２の元画像に対してボケを付加する、
ことを特徴とする画像処理方法である。

本発明によれば、ボケ付加処理において設定可能なリフォーカス範囲を従来よりも広くすることができる。

実施形態１に係る撮像装置および測距画素の構成図 実施形態１に係る演算フロー Ｆ値ごとの、解像力とピント面からの距離の関係 リフォーカス距離に応じたαとβの比の関係 αとβの比ごとの、解像力とピント面からの距離の関係 ピント面からの距離と、像の位置及び形状の関係 実施形態１の測距画素の変形例 実施形態２に係る演算フロー Ａ像およびＢ像についての解像力とピント面からの距離の関係 実施形態２の測距画素の変形例 実施形態２の測距画素の変形例 測距画素の感度と位置による受光光束の変化

以下、図を用いて、本発明の実施形態における撮像装置について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。

［実施形態１］
実施形態１は、距離演算機能とボケ付加機能を有する画像処理装置が組み込まれた撮像装置である。本実施形態にかかる撮像装置は、撮影された画像から距離を演算し、求められた距離に基づいてボケを付加して、フォーカス面を所定のリフォーカス距離だけ移動させる機能を有する。

本実施形態における撮像装置１００を図１（Ａ）に示す。図１（Ａ）において、撮像装置１００は、結像光学系１０１、固体撮像素子１０２、演算部１０３、表示部１０４から構成される。結像光学系１０１は固体撮像素子１０２上に被写体像を結像する。固体撮像素子１０２で取得された信号は、演算部１０３で処理され、表示部１０４に表示される。

＜測距画素の構成＞
固体撮像素子１０２は、図１（Ｂ）に示す測距画素１１０を複数備えている。測距画素１１０は、光束分離用のマイクロレンズ１１１と、基板１１２を有している。マイクロレンズ１１１は、検出する波長帯域で透明な材料であるＳｉＯ_２などで形成されており、基板１１２は、検出する波長帯域で吸収を有するＳｉなどの材料で形成されている。また、基板１１２内には、イオン打ち込みなどによって形成された二つの光電変換部１１３、１１４が形成されている。光電変換部で発生した電荷は、図示しない配線によって演算部１０３（画像処理装置）に転送される。

マイクロレンズ１１１は光電変換部１１３、１１４にまたがって配置されており、異なる瞳領域を透過した入射方向の異なる光束を、それぞれ異なる光電変換部に導く。結像光学系１０１の射出瞳１２２のうち、＋ｘ方向に偏心した瞳領域１２３から入射した光束を光電変換部１１３に導く。−ｘ方向に偏心した瞳領域１２４から入射した光束を光電変換部１１４に導く。瞳領域１２３の透過率分布の重心と瞳領域１２４の透過率分布の重心を結ぶ方向（ｘ方向）を瞳分割方向と呼ぶ。なお、結像光学系１０１の光軸がｚ方向である。

複数の測距画素１１０において、光電変換部１１３からの画素信号によりＡ像（第１の画像）、光電変換部１１４からの画素信号によりＢ像（第２の画像）を取得することができる。即ち、撮像装置１００は、第１の瞳領域１２３からの光束を受光する第１の撮像手段と、第１の瞳領域１２３とは異なる第２の瞳領域１２４からの光束を受光する第２の撮像手段を有している。Ａ像およびＢ像は、第１および第２の瞳領域の重心間距離だけの視差がある視点の異なる２つの画像といえる。

＜ボケ付加処理フロー＞
図２は、撮像装置１００における、リフォーカス面の移動を伴うボケ付加を行う際の演算フローを示したものである。

まず、ステップＳ１１において、前述の手法によって第１の撮像手段と第２の撮像手段により、複数の測距画素１１０にて、Ａ像（第１の画像）およびＢ像（第２の画像）を取得する。

次に、ステップＳ１２に示す距離演算処理によって、取得したＡ像（第１の画像）とＢ像（第２の画像）から、公知の手段によって被写体の距離分布を算出する。例えば、一対のＡＢ像の一部を切り出し、切り出したウィンドウ内の相関演算によって像ズレ量を求め、瞳領域１２３透過率分布の重心と瞳領域１２４の透過率分布の重心の間隔から、基線長を求める。求めた像ズレ量と基線長からデフォーカス量を求め、距離を算出することができる。ウィンドウをずらしながら相関演算を行えば、被写体の距離分布を取得することができる。

続いて、ステップＳ１３において、リフォーカス面と、付加するボケ量を設定する。この際、Ｓ１１で取得した画像や、Ｓ１２で求めた距離分布を表示部１０４に表示し、撮影者（ユーザ）がリフォーカス面やボケ量を手動で設定しても良い。また、Ｓ１１で取得した画像やＳ１２で取得した距離分布から、撮像装置１００が自動でリフォーカス面やボケ量を設定しても良い。例えば、Ｓ１１で取得した画像に対して、公知の顔認識技術を使って主要被写体を判断し、主要被写体に合わせたリフォーカス面を設定することができる。

最後のステップＳ１４に示すボケ付加処理では、設定したリフォーカス面と、撮影したＡＢ像のピント面との距離（以下、リフォーカス距離）によって場合分けを行う。

リフォーカス距離がＡ像とＢ像の和からなる像（以下、Ａ＋Ｂ像）の深度以下の場合、特許文献１と同様に、Ａ＋Ｂ像から元画像を生成し、生成した元画像に被写体までの距離に応じたボケを付加する（ステップＳ１４Ａ）。Ａ＋Ｂ像が本発明における第１の元画像に相当する。具体的なボケ付加の方法は、付加したいボケ像の設定Ｆ値と、リフォーカス面から被写体までの距離に応じて生成した点像分布関数を畳みこんで、ボケ付加画像を生成すればよい。

一方、リフォーカス距離がＡ＋Ｂ像の深度よりも大きい場合、Ａ像をα倍した像とＢ像をβ倍した像の和からなる像（以下、αＡ＋βＢ像）を元画像として使用する（ステップＳ１４Ｂ）。ステップＳ１４Ｂにおいて、αとβの比は１以外の値に設定する。以下、αＡ＋βＢ像と呼ぶ場合、αとβの比は１以外の値であるとする。

すなわち、リフォーカス距離がＡ＋Ｂ像の深度以下の場合は、Ａ像とＢ像を均等の割合で足し合わせたＡ＋Ｂ像を元画像（第１の元画像）として使用する。一方、ステップＳ１４Ｂでは、リフォーカス距離がＡ＋Ｂ像の深度よりも大きい倍は、Ａ像とＢ像とを１対１以外の比で足し合わせたαＡ＋βＢ像を元画像（第２の元画像）として使用する。

このような演算フローを用いることで、従来の手法を使用した場合よりも、設定可能なリフォーカス範囲を広くすることができる。以下で、その理由について説明を行う。

図３（Ａ）は、Ａ＋Ｂ像の解像力１３１と、αＡ＋βＢ像の解像力１３２を示した図である。一般に、結像光学系の解像力は、ピント面近傍が最も高く、ピント面から離れるに従って、物体が十分に遠い場合、ほぼピント面からの距離の逆数に比例して解像力が低下する。ピント面での解像力は、収差や回折の影響によって多少ずれるものの、おおまかには結像光学系の瞳透過率を考慮した実効的なＦ値に反比例する。また、解像力のピント面からの距離の逆数に対する比例係数は、収差や回折の影響によって多少ずれるものの、おおまかには結像光学系の実効的なＦ値の２乗に反比例する。

測距画素１１０において、Ａ＋Ｂ像は、結像光学系１０１の射出瞳のうち、瞳領域１２３からの光束と、瞳領域１２４からの光束の和によって生成される。一方、αＡ＋βＢ像は、瞳領域１２３からの光束の一部と瞳領域１２４からの光束の一部の和によって生成される。従って、αＡ＋βＢ像の実効的なＦ値は、Ａ＋Ｂ像の実効的なＦ値よりも大きい。

そのため、ピント面近傍における解像力はＡ＋Ｂ像のほうがαＡ＋βＢ像よりも高く（領域１４０）、ピント面から離れるに従って差が小さくなる。そして、ピント面から一定値以上離れた場合、αＡ＋βＢ像のほうがＡ＋Ｂ像よりも解像力が高くなる（領域１４１）。

特許文献１に開示されている従来の手法では、リフォーカス面によらず元画像としてＡ＋Ｂ像を用いていたため、設定できるリフォーカス面は図３（Ｂ）に示す領域１４２に限られていた。ここで、領域１４２の上限と下限は、Ａ＋Ｂ像の深度から決定される。Ａ＋Ｂ像の深度は、図３（Ｂ）において、許容錯乱円の大きさで決まる解像力の許容値と、Ａ＋Ｂ像の解像力の交点から求められる。許容錯乱円の大きさは、画像の１画素分の大きさや、画像を印刷した時の印刷倍率と眼の分解能（１分）を元に決定される。また、Ａ＋Ｂ像の解像力は、結像光学系の設計値を用いたシミュレーションで求めることができる。

一方、本実施形態では、リフォーカス距離がＡ＋Ｂ像の深度より大きい場合、αＡ＋βＢ像を元画像として使用する。前述したように、ピント面から一定値以上離れた場合、αＡ＋βＢ像のほうが、Ａ＋Ｂ像よりも解像力が高い。従って、αＡ＋βＢ像の深度から求められる領域１４３は、Ａ＋Ｂ像の深度から求められる領域１４２よりも広くなる（図３
（Ｃ））。即ち、従来の手法を用いた場合に設定できるリフォーカス距離より、本実施形態の手法を用いた場合に設定できるリフォーカス距離のほうが大きくなり、リフォーカスの自由度が向上する。

＜係数α，βの具体例＞
なお、リフォーカス距離がＡ＋Ｂ像の深度より大きい場合、αとβの比は１以外であれば、リフォーカスの設定可能範囲を広げることができる。例えば、図４（Ａ）のように、リフォーカス面がピント面よりも近い場合と遠い場合でαとβの比が等しくてもよいし、図４（Ｂ）のように、リフォーカス面が近い場合と遠い場合でαとβの大小関係を変えても良い。特に、αとβの比が０または無限大、即ち、Ａ像（第１の画像）またはＢ像（第２の画像）そのものを元画像として使用すれば、リフォーカスの自由度が更に向上するために好ましい。なぜならば、Ａ像（またはＢ像）は、瞳領域１２３（または瞳１２４）からの光束のみを受光するため、αとβの比が０や無限大ではない場合より、元画像のＦ値が大きくなるためである。

＜リフォーカス距離が閾値以下の場合＞
図２に示す演算フローでは、リフォーカス距離がＡ＋Ｂ像の深度以下の場合は元画像（第１の元画像）としてＡ＋Ｂ像を使用していた。即ち、リフォーカス距離がＡ＋Ｂ像の深度以下の場合は、Ａ像とＢ像とを均等に足し合わせた画像を元画像としているが、その他の比で足し合わせた画像を元画像としても良い。ただし、Ａ像とＢ像を均等に足し合わせる方が、その他の比率で足し合わせるよりも演算量が少ないため好ましい。

＜切り替え閾値＞
また、図２に示す演算フローでは、Ａ＋Ｂ像の深度を閾値として、リフォーカス距離とこの閾値の大小関係によって使用する元画像を切り替えている。しかし、リフォーカス距離がＡ＋Ｂ像の深度より大きい場合にαＡ＋βＢ像（第２の元画像）を用いるようにできれば、閾値はＡ＋Ｂ像の深度以外であっても良い。具体的には、閾値をＡ＋Ｂ像の深度よりも小さい値とすることができる。この閾値（第１の距離）としては、第１および第２の元画像の解像力が等しくなる距離（領域１４０と１４１の境界）にすることが好ましい。即ち、リフォーカス距離が閾値以下の場合に使用する元画像であるＡ＋Ｂ像と、閾値より大きい場合に使用する元画像であるαＡ＋βＢ像の解像力が等しくなる距離（第１の距離）を、閾値とすることが好ましい。このようにすることで、リフォーカス面近傍で高い解像力を有する画像を生成することができる（図５（Ａ））。第１の距離は、結像光学系１０１の設計値（ズーム、フォーカス、収差）と、固体撮像素子１０２の瞳分割特性を元に決定すればよい。

＜多段切り替え＞
更に、設定したリフォーカス距離に応じて、使用する元画像を３通り以上に切り替えても良い。この時、図４（Ｃ）のように、設定したリフォーカス距離が大きいほどβ／αの対数の絶対値が０から遠くなるようにすると、リフォーカス面近傍で高い解像力を有する画像を生成することができるため、好ましい。なぜならば、β／αの対数の絶対値が０から遠くなるようにするほど、αＡ＋βＢ像は、リフォーカス距離が大きい場合に高い解像力を有するためである（図５（Ｂ））。

使用する元画像の数を増やし、連続的にαとβの比を変化させれば、リフォーカス距離によらずに解像力の高い画像を得ることができるため、好ましい。一方、使用する元画像の数が少ない方が、演算量が少ないため好ましい。

＜像シフト＞
ステップＳ１４Ｂにて元画像として使用する画像は、ステップＳ１２で求められた距離
情報を使用して、αＡ＋βＢ像をシフトした画像であることが好ましい。図６のように、Ａ像１３３、Ｂ像１３４は、ピント面からの距離によって画像の重心位置がシフトするため、距離によって画像の重心位置をシフトしたほうが、より自然なリフォーカス画像が得られるためである。具体的には、ステップＳ１２で求めたＡ像およびＢ像をＡＢ像間の像ズレ量の半分だけ像ズレ方向と反対側にシフトし、シフト後の各像を各々α倍、β倍してから加算してαＡ＋βＢ像を生成する。このようにすれば、ピント面からの距離によらずに画像の重心位置が一定となる。

＜像修正＞
更に、ステップＳ１４Ｂにて元画像として使用する画像は、対応する瞳領域１２３または１２４の透過率分布に基づいて、αＡ＋βＢ像に像修正処理を施した画像であることが好ましい。図６のように、Ａ像１３３、Ｂ像１３４は、瞳領域１２３、１２４の透過率分布を反映して非対称なボケを有する画像となるため、ボケの形状を対称な形に修正したほうが、より自然なリフォーカス画像が得られるためである。例えば、像修正処理は、Ａ像およびＢ像に、対応する瞳領域１２３、１２４の透過率を反映した、結像光学系１０１の点像分布関数の逆関数を畳み込み積分する処理である。像修正後のＡ像およびＢ像を、各々α倍、β倍してから加算してボケ付加処理の元画像となるαＡ＋βＢ像を生成すればよい。

＜具体的な画素配置＞
本実施形態における撮像装置において、固体撮像素子１０２の一部の画素に測距画素１１０を配置し、他の画素には画像取得用の画素を配置してもよい。一部の画素１１０で測距を行い、残りの画素で被写体の画像を取得することができる。但し、測距画素１１０が全面に設けられていたほうが、ステップＳ１４における元画像の解像度が向上するため好ましい。

また、固体撮像素子１０２が、図７（Ａ）に示す画素１５１、１５２を複数備えた構成でもよい。画素１５１、画素１５２は近接して配置されており、画素１５１は、＋ｘ方向に偏心した瞳領域１２３からの光を受光し、画素１５２では、−ｘ方向に偏心した瞳領域１２４からの光を受光するように構成されている。具体的には、遮光膜１１５をマイクロレンズ１１１の光軸から偏心して配置し、入射光束の一部を吸収させることで瞳分割を行っている。画素１５１の画素信号からＡ像を取得し、画素１５２の画素信号からＢ像を取得することができる。

更に、図７（Ｂ）に示す画素１５０と、図７（Ａ）に示す画素１５１または１５２を複数備えた構成でもよい。画素１５０では、瞳の全領域からの光を受光するように構成されている。画素１５０と、画素１５１（１５２）の画素信号の差分を求めることで、Ｂ像（Ａ像）を取得することができる。例えば画素１５０と画素１５１を備えた固体撮像素子の場合、画素１５１の画素信号からＡ像を、画素１５０と画素１５１の信号の差分からＢ像を取得することができる。

図２に示す測距画素１１０では、入射方向分離手段としてマイクロレンズ１１１を用いたが、図７（Ｃ）のように導波路１１６を使用してもよい。入射方向に応じた導波モードに結合させることで、異なる瞳領域からの光を異なる光電変換部に導くことができる。

［実施形態２］
本発明の実施形態２に係る撮像装置における、リフォーカス面の移動を伴うボケ付加を行う際の演算フローを図８に示した。本実施形態における演算フローは、実施形態１における演算フロー（図２）に対し、リフォーカス面の移動を伴うボケ付加を行うステップＳ２４のみが異なる。本実施形態における演算フローでは、ステップＳ２４において、リフ
ォーカス距離に応じて、使用する元画像をＡ像とＢ像の間で切り替えている。

リフォーカス距離が閾値以下の場合、Ａ像とＢ像のうち、実効的なＦ値が小さい方の像を元画像としてボケを付加する（ステップＳ２４Ａ）。リフォーカス距離が閾値より大きい場合、Ａ像とＢ像のうち、実効的なＦ値が大きい方の像を元画像としてボケを付加する（ステップＳ２４Ｂ）。

このように、実効的なＦ値によって使用する元画像をＡＢ像間で切り替えることにより、更にリフォーカス範囲を広くすることができる。図９（Ａ）は、Ｂ像のほうがＡ像より実効的なＦ値が大きい場合の、Ａ像とＢ像の解像力を示したものである。前述したように、解像力は実効的なＦ値で決定され、Ｆ値が小さいほどピント面近傍の解像力は高いが、ピント面から離れた場合の解像力の劣化が大きい。そのため、ピント面近傍の領域２４０はＡ像の解像力が高く、瞳面から離れた領域２４１はＢ像の解像力が高い。従って、リフォーカス距離と閾値の大小関係によって、元画像をＦ値の小さいＡ像とＦ値の大きいＢ像で切り替えれば、設定できるリフォーカス面の自由度を更に向上させることができる。

ここで上記の閾値は、Ａ像（第１の画像）とＢ像（第２の画像）の解像力が等しくなる距離（領域２４０と領域２４１の境界）にするのが好ましい。このようにすることで、リフォーカス面近傍で高い解像力を有する画像を生成することができる。また、リフォーカス距離がＡ＋Ｂ像の深度以下の場合には、図２に示す演算フローと同様に、Ａ＋Ｂ像を使用しても良い（図９（Ｂ））。この時は、リフォーカス距離に応じて、領域２４２でＡ＋Ｂ像、領域２４０でＡ像、領域２４１でＢ像と３通りの元画像を使用することになる。

＜実効Ｆ値の制御方法＞
図１０に、Ａ像とＢ像の実効的なＦ値を制御する手法を示した。図１０（Ａ）、（Ｂ）では、固体撮像素子１０２中の測距画素１１０において、Ａ像を取得する光電変換部２１３の開口率を、Ｂ像を取得する光電変換部２１４の開口率よりも大きくしている。光電変換部２１３は、光電変換部２１４よりもより広い瞳領域からの光を検出するため、Ｂ像の実効的なＦ値をＡ像よりも大きくすることができる。開口率を制御するには、図１０（Ａ）のように光電変換部の面内方向の大きさを変えてもよいし、図１０（Ｂ）のように光電変換部の上部に遮光膜１１５を設け、入射する光束を制限しても良い。

Ａ像またはＢ像の実効的なＦ値を、設定したリフォーカス距離によって動的に制御しても良い。この場合、ステップＳ２２でリフォーカス距離を設定した後、ステップＳ２１に戻って、設定したリフォーカス距離に応じて実効的なＦ値を変えれば良い。

例えば、図１１（Ａ）に示すように、光電変換部の横に絶縁膜１１７を介して制御電極１１８（開口率制御手段）を設け、バイアスを印加することで半導体内部のポテンシャル分布を制御し、開口率を動的に変えればよい。リフォーカス量が大きいほど開口率を小さくすることで、リフォーカス面の自由度を更に向上させることができる。

また、図１１（Ｂ）に示すように、３つ以上の光電変換部を設置し、複数の光電変換部の信号を用いて画素信号を生成しても良い。元画像を生成する光電変換部の数を変えれば、実効的なＦ値を制御することができる。リフォーカス距離が大きいほど、元画像を生成する光電変換部の数を少なくすれば、リフォーカス面の自由度を更に向上させることができる。

［実施形態３］
実施形態３における撮像装置は、固体撮像素子１０２内の測距画素１１０の画素位置によって、用いる元画像を変える。即ち、リフォーカス距離が閾値以下の場合は、画素位置
ごとに、実効的なＦ値が小さい方の画素値からなる画像を元画像として用い、閾値よりも大きい場合は、実効的なＦ値が大きい方の画素値からなる画像を元画像として用いる。

一般に、結像光学系の瞳１２３と固体撮像素子との距離や、結像光学系１０１の口径食などによって、光電変換部１１３、１１４が受光する瞳領域１２３、１２４の透過率が変化する。

例えば、図１（Ｂ）に示すように、同一形状の光電変換部１１３、１１４を、マイクロレンズ１１１の光軸を中心軸として互いに対称な位置に配置した場合、測距画素の感度特性は光入射角０度を軸として対称な形状になる（図１２）。ここで、結像光学系の射出瞳１２２が固体撮像素子１０２から有限な距離にある場合、固体撮像素子の−ｘ方向の周辺領域では瞳領域１２３からの光束１５３の拡がり角の方が、瞳領域１２４からの光束１５４の拡がり角よりも大きい（図１２（Ｂ））。一方、固体撮像素子の＋ｘ方向の周辺領域では瞳領域１２４からの光束１５４の拡がり角の方が、瞳領域１２３からの光束１４３の拡がり角よりも大きい（図１２（Ｃ））。

したがって、固体撮像素子１０２の中心よりも−ｘ方向側の領域（第１の領域）では、瞳領域１２３からの光束に基づく像（Ａ像）の方が、瞳領域１２４からの光束に基づく像（Ｂ像）よりも実効的なＦ値が小さくなる。逆に、固体撮像素子１０２の中心よりも＋ｘ方向側の領域（第２の領域）では、瞳領域１２４からの光束に基づく像（Ｂ像）の方が、瞳領域１２３からの光束に基づく像（Ａ像）よりも実効的なＦ値が小さくなる。このように、固体撮像素子の中心を通るｙ方向に平行な直線を中心とする２つの対称な領域（第１および第２の領域）において、実効的なＦ値が大きくなる像が逆転する。

＜領域切り替え＞
前述したように、画像の解像力はＦ値によって決定されるため、固体撮像素子中の測距画素の位置によってＦ値が変化している場合、被写体の像面上での位置によって、元画像として用いる画像を切り替えたほうが好ましい。また、
リフォーカス距離によっても、使用する元画像を切り替えれば、更に好ましい。

例えば、図１（Ｂ）に示す測距画素１１０を用い、結像光学系の射出瞳１２２が固体撮像素子１０２から有限な距離にある場合、以下のようにするのが良い。

すなわち、リフォーカス距離が閾値以下の場合には、固体撮像素子１０２の−ｘ方向側の領域ではＡ像からなり、＋ｘ方向側の領域ではＢ像からなる画像を元画像（第１の元画像）としてボケ付加処理を行う。このようにすることで、被写体の像面上での位置によらず、設定したリフォーカス面において解像力の高い画像を生成することができる。

一方、リフォーカス距離が閾値よりも大きい場合には、固体撮像素子１０２の−ｘ方向側の領域（第１の領域）ではＢ像からなり、＋ｘ方向側の領域ではＡ像からなる画像を元画像（第２の元画像）としてボケ付加処理を行う。このようにすることで、被写体の像面上での位置によらず、リフォーカス距離が大きい画像を生成することができる。

＜実装例＞
上記の実施形態の説明は、本発明を例示的に説明するものであり、本発明を限定する趣旨のものではない。上記の実施形態の個々の構成要素は可能な限り組み合わせて実装することができる。

上述した本発明のボケ付加技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置や
コンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明の技術を適用可能である。

また、撮像装置を有するコンピュータに距離計測の機能を組み込み、撮像装置で撮影した画像をコンピュータが取得して、それに基づいて距離の算出およびボケ付加処理を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに距離計測の機能が組み込まれて、そのコンピュータがネットワークを介して複数枚の画像を取得し、それに基づいて距離計測を行う場合に適用してもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ボケ効果のエミュレーションなどの各種画像処理に利用することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。また、本発明の全ての機能は１つのコンピュータ等で実現されてもよいし、複数のコンピュータ等でそれぞれ異なる機能を実現してこれらのコンピュータを連携させてもよい。また、本発明の各機能についても、１つのコンピュータ等で実現されるだけでなく、複数のコンピュータ等が連携することで実現されてもよい。

１００：撮像装置
１０１：結像光学系
１０２：固体撮像素子
１０３：演算部

Claims (21)

1. 結像光学系の第１の瞳領域からの光束に基づく第１の画像と、前記結像光学系の第２の瞳領域からの光束に基づく第２の画像とに基づいて距離情報を算出する距離演算手段と、
   前記第１の画像および前記第２の画像に基づく元画像に対して、前記距離演算手段によって算出した距離情報を用いてボケを付加しフォーカス面を所定のリフォーカス距離だけ移動させるボケ付加手段と、
   を備える画像処理装置であって、
   前記ボケ付加手段は、前記リフォーカス距離が閾値以下の場合は、第１の元画像に対してボケを付加し、前記リフォーカス距離が閾値より大きい場合は、前記第１の元画像よりも実効的なＦ値が大きい画像である第２の元画像に対してボケを付加する、
   ことを特徴とする画像処理装置。
2. 前記第１の画像と前記第２の画像は実効的なＦ値が同一の画像であり、
   前記第１の元画像は、前記第１の画像と前記第２の画像を第１の比で足し合わせた画像であり、
   前記第２の元画像は、前記第１の画像と前記第２の画像を対数の絶対値が前記第１の比の対数の絶対値よりも大きい第２の比で足し合わせた画像、前記第１の画像、および前記第２の画像のいずれかである、
   請求項１に記載の画像処理装置。
3. 前記第１の元画像は、前記第１の画像と前記第２の画像を均等に足し合わせた画像である、
   請求項２に記載の画像処理装置。
4. 前記第２の元画像は、前記第１の画像または前記第２の画像である、
   請求項３に記載の画像処理装置。
5. 前記閾値は、前記第１の画像と前記第２の画像を均等に足し合わせた画像の深度である、
   請求項３または４に記載の画像処理装置。
6. 前記閾値は、前記第１の元画像と前記第２の元画像の解像力が等しくなるリフォーカス距離である、
   請求項３または４に記載の画像処理装置。
7. 前記ボケ付加手段は、前記距離演算手段によって求められた距離に応じて前記第１の画像および前記第２の画像の重心位置をシフトさせ、シフト後の第１の画像および第２の画像に基づいて前記第２の元画像を生成する、
   請求項３から６のいずれか１項に記載の画像処理装置。
8. 前記ボケ付加手段は、前記第１の瞳領域の透過率分布を用いて前記第１の画像に像修正処理を施し、前記第２の瞳領域の透過率分布を用いて前記第２の画像に像修正処理を施し、像修正後の第１の画像および第２の画像に基づいて前記第２の元画像を生成する、
   請求項３から７のいずれか１項に記載の画像処理装置。
9. 前記第１の画像と前記第２の画像は実効的なＦ値が異なる画像であり、
   前記第１の元画像は、前記第１の画像および前記第２の画像のうち実効的なＦ値が小さい方の画像であり、
   前記第２の元画像は、前記第１の画像および前記第２の画像のうち実効的なＦ値が大きい方の画像である、
   請求項１に記載の画像処理装置。
10. 前記閾値は、前記第１の画像と前記第２の画像の解像力が等しくなるリフォーカス距離である、
    請求項９に記載の画像処理装置。
11. 前記リフォーカス距離に応じて、前記第１の画像の実効的なＦ値と前記第２の画像の実効的なＦ値の少なくともいずれかを制御する制御手段を更に有する、
    請求項９または１０に記載の画像処理装置。
12. 前記第１の画像と前記第２の画像はともに画素位置に応じて実効的なＦ値が異なる画像であり、
    前記第１の元画像は、画素位置ごとに、前記第１の画像および前記第２の画像のうちの実効的なＦ値が小さい方の画素値からなる画像であり、
    前記第２の元画像は、画素位置ごとに、前記第１の画像および前記第２の画像のうちの実効的なＦ値が大きい方の画素値からなる画像である、
    請求項１に記載の画像処理装置。
13. 結像光学系と、
    前記結像光学系の射出瞳を透過した光束に基づく信号を取得する撮像手段と、
    請求項１から１２のいずれか１項に記載の画像処理装置と、
    を備える撮像装置。
14. 前記撮像手段は、複数の測距画素を含む固体撮像素子を含み、
    前記測距画素には、前記結像光学系の第１の瞳領域からの光束を受光し第１の像を取得する第１の光電変換部と、前記結像光学系の第２の瞳領域からの光束を受光し第２の像を取得する第２の光電変換部とを含む、
    請求項１３に記載の撮像装置。
15. 前記測距画素は、該測距画素への入射光の入射方向に応じて分離する光束分離手段を含む、
    請求項１４に記載の撮像装置。
16. 前記光束分離手段は、マイクロレンズである、
    請求項１５に記載の撮像装置。
17. 前記光束分離手段は、導波路である、
    請求項１５に記載の撮像装置。
18. 前記測距画素において、前記第１の光電変換部の開口率と前記第２の光電変換部の開口率が異なる、
    請求項１４から１７のいずれか１項に記載の撮像装置。
19. 前記測距画素は、前記第１の光電変換部の開口率および前記第２の光電変換部の開口率の少なくともいずれかを制御する開口率制御手段を更に含む、
    請求項１８に記載の撮像装置。
20. 画像処理装置における画像処理方法であって、
    結像光学系の第１の瞳領域からの光束に基づく第１の画像と、前記結像光学系の第２の瞳領域からの光束に基づく第２の画像とに基づいて距離情報を算出する距離演算ステップと、
    前記第１の画像および前記第２の画像に基づく元画像に対して、前記距離演算ステップにおいて算出した距離情報を用いてボケを付加しフォーカス面を所定のリフォーカス距離だけ移動させるボケ付加ステップと、
    を含み、
    前記ボケ付加ステップでは、前記リフォーカス距離が閾値以下の場合は、第１の元画像に対してボケを付加し、前記リフォーカス距離が閾値より大きい場合は、前記第１の元画像よりも実効的なＦ値が大きい画像である第２の元画像に対してボケを付加する、
    ことを特徴とする画像処理方法。
21. 請求項２０に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

Images