JP5900049B2 - 被写界深度拡張システム及び被写界深度拡張方法 - Google Patents

Description

本発明は、被写界深度拡張システム及び被写界深度拡張方法に関するものであり、撮像装置を用いた撮像における被写界深度の拡張と、被写体までの距離の計測を可能にする技術に関する。

撮像装置で撮像した画像内にある複数の物体全てにピントが合った画像を取得し、同時に画像内にある複数の物体までの距離がわかることは計測、ロボット制御或いは監視分野などさまざまな分野で有用である。

さまざまな距離にある物体全てにピントを合わせるためには、もっとも近い物体ともっとも遠い物体までの距離に比べて、被写界深度が十分に深い、即ち、被写体側におけるピントの合う範囲が広い必要がある。

しかし、被写界深度は使用するレンズと撮像素子の仕様によって原理的に決まってしまうため、特に高倍率が必要とされる工業分野において、しばしば必要な被写界深度が得られないといった状況が生じる。このような理由から、画像内にある物体までの距離を知ることができ、かつ通常の光学系より深い被写界深度を得ることが可能な技術が求められる。

図１７は、撮像装置から異なる距離にある複数の物体の撮像画像に関する概念的説明図であり、ここでは、撮像装置から異なる距離にある物体Ａ、物体Ｂ、物体Ｃを通常の光学系で撮像した場合の撮像画像を例として示している。

図に示すように被写界深度が各物体の近辺に合う程度の範囲である場合、物体Ｂの付近にピントを合わせて撮像すると、撮像画像ａ_１のように物体Ｂのみにピントの合った画像が撮像される。なお、撮像画像の図において、ピントの合った状態を実線、ピントが合っていない状態を点線で示している。また、点線および実線が示すピント状態は点線上、実線上だけでなく、点線内部、実線内部の状態も表わすものとする。

一方、撮像装置から異なる距離にある複数の物体のそれぞれにピントを合わせて撮像する方法として、フォーカススタッキング法が知られている（例えば、特許文献１或いは非特許文献１参照）。これは、通常光学系より深い被写界深度をもつ画像、即ち、「被写界深度拡張像」と、画素ごとに物体までの距離を記録した画像、即ち、「距離画像」を取得する手法である。

図１８は、フォーカススタッキング法による画像処理の説明図であり、物体Ａ、物体Ｂ、物体Ｃのある位置にピント中心を移しながら複数枚の画像を取得する。この例では撮像画像は、ｂ_１、ｂ_２、ｂ_３の３枚とする。

取得した３枚の画像から、ピントの合った画素を選択する画像処理を行うことで全体的にピントの合った、被写界深度拡張像Ｂ_１を得ることができる。また、ピントの合った画素を３枚のうちどの画像から選択したかを記録しておくことで、距離画像Ｂ_２を取得することができる。

この例における距離画像Ｂ_２は、撮像装置に近いほど低い画素値で、即ち、暗く表現される。この例では物体位置が３種類しかないため、最低３か所のピント位置において合計３回の撮像を行うだけで良いが、一般的には多くのピント位置における撮像が必要となる。

或いは、１回の撮像で被写界深度拡張を行う手法も提案されている（例えば、非特許文献２参照）。図１９は、１回の撮像で被写界深度拡張を行う手法の説明図であり、撮像装置で１回の撮像を行う露光中に、ピント中心位置を物体Ａの位置から物体Ｃの位置まで走査して、撮像画像ｃ_１を得る。

撮像画像ｃ_１は物体位置によらずおよそ一定にぼけた画像が得られるため、それを画像処理することで全体にピントが合った被写界深度拡張像Ｃが得られる。なお、画像処理としては、通常、デコンボリューション処理を施すことになる。

特開平１０−２９０３８９号公報

Ｂ．Ｆｏｒｓｔｅｒ，Ｄ．Ｖａｎ Ｄｅ Ｖｉｌｌｅ，Ｊ．Ｂｅｒｅｎｔ，Ｄ．Ｓａｇｅ，Ｍ．Ｕｎｓｅｒ， "Ｃｏｍｐｌｅｘ Ｗａｖｅｌｅｔｓ ｆｏｒ Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ−ｏｆ−Ｆｉｅｌｄ： Ａ Ｎｅｗ Ｍｅｔｈｏｄ ｆｏｒ ｔｈｅ Ｆｕｓｉｏｎ ｏｆ Ｍｕｌｔｉｃｈａｎｎｅｌ Ｍｉｃｒｏｓｃｏｐｙ Ｉｍａｇｅｓ"，Ｍｉｃｒｏｓｃ．Ｒｅｓ．Ｔｅｃｈ．，６５（１−２），ｐｐ．３３−４２，Ｓｅｐｔｅｍｂｅｒ ２００４ Ｈ．Ｎａｇａｈａｒａ，Ｓ．Ｋｕｔｈｉｒｕｍｍａｌ，Ｃ．Ｚｈｏｕ，ａｎｄ Ｓ．Ｋ．Ｎａｙａｒ，"Ｆｌｅｘｉｂｌｅ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ"， Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＥＣＣＶ），Ｏｃｔ，２００８

しかし、フォーカススタッキング法の場合には、被写界深度拡張像Ｂ_１と距離画像Ｂ_２を得るためには複数の撮像が必要なため時間がかかるという問題がある。また、図１９に示した手法の場合には、距離画像を得ることができないという問題がある。

したがって、本発明は、高速に被写界深度を拡張するとともに、距離画像を得ることを可能にすることを目的とする。

開示する一観点からは、被写界深度拡張の対象となる拡張対象レンズ系と、撮像手段と、前記撮像手段のゲインを変調するゲイン変調手段と、前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系と、物体側主点が前記第１のレンズ系の焦点距離に位置し、且つ、像側主点が前記第２のレンズ系の焦点位置に位置し、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系とを備えた深度拡張レンズ系と、前記光学系の焦点距離制御と前記撮像手段の第１のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像として撮像するとともに、前記第１のゲイン変調とは逆の増減方向の第２のゲイン変調を行って一枚の第２の撮像画像を撮像する撮像制御部と、前記第１の撮像画像及び前記第２の撮像画像から距離画像を構築するとともに、前記第１の撮像画像及び前記第２の撮像画像と距離画像から被写界深度拡張画像を再構築する画像処理部とを備えることを特徴とする被写界深度拡張システムが提供される。

また、開示する別の観点からは、被写界深度拡張の対象となる拡張対象レンズ系と撮像手段との間に、前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系を配置するとともに、物体側主点が前記第１のレンズ系の焦点距離の位置で、且つ、像側主点が前記第２のレンズ系の焦点位置の位置に、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系を配置し、前記撮像手段により前記光学系の焦点距離制御と前記撮像手段の第１のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像として撮像するとともに、前記第１のゲイン変調とは逆の増減方向の第２のゲイン変調を行って一枚の第２の撮像画像を撮像する工程と、前記第１の撮像画像及び前記第２の撮像画像から距離画像を構築するとともに、前記第１の撮像画像及び前記第２の撮像画像と距離画像から被写界深度拡張画像を再構築する工程とを有する被写界深度拡張方法が提供される。

開示の被写界深度拡張システム及び被写界深度拡張方法によれば、高速に被写界深度を拡張するとともに、距離画像を得ることが可能になる。

本発明の実施の形態の被写界深度拡張方法のフローチャートである。 本発明の実施の形態の画像撮像工程の説明図である。 本発明の実施の形態の距離画像の構築工程の説明図である。 本発明の実施の形態の被写界深度拡張画像の再構築工程の説明図である。 本発明の実施例１の被写界深度拡張方法を実施するための被写界深度拡張システムの構成説明図である。 液体レンズの焦点距離の変動原理の説明図である。 距離画像の構築結果の説明図である。 被写界深度拡張像の再構築結果の説明図である。 ボケ量の物体位置依存性の説明図である。 本発明の実施例２の被写界深度拡張方法のフローチャートである。 ピント走査範囲の説明図である。 ボケ回復関数ｈの概念的説明図である。 積算ボケ回復関数テーブルの説明図である。 ボケ回復関数のシミュレーション例の説明図である。 ステップ３′_ｂからステップ４_ｂの詳細を示すフロー図である。 デコンボリューション工程における各画像を示した説明図である。 撮像装置から異なる距離にある複数の物体の撮像画像に関する概念的説明図である。 フォーカススタッキング法による画像処理の説明図である。 １回の撮像で被写界深度拡張を行う手法の説明図である。

ここで、図１乃至図４を参照して、本発明の実施の形態の被写界深度拡張方法を説明する。図１は、本発明の実施の形態の被写界深度拡張方法のフローチャートであり、図２乃至図４は、各工程における画像の説明図である。

まず、ステップ１（Ｓ_１）として、図２（ａ）に示すように、第１の撮像手段により深度拡張レンズ系の焦点距離制御と第１の撮像手段の第１のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像ｄ_１を取得する。具体的には、撮像のための露光中に、ピント中心位置を物体Ａの位置から物体Ｃの位置まで走査し、それと同時に撮像手段のゲインを弱Ｇ_Ｌから強Ｇ_Ｈに連続的に変調させて撮像画像ｄ_１を取得する。

なお、図における点線の太さは撮像画像のぼけ具合を示し、点線が太いほどぼけが少ない状態を表している。撮像画像ｄ_１に関して詳しい説明を以下で行う。撮像画像ｄ_１における物体Ａに注目すると、物体Ａのピント状態が最も良い位置（ピント位置Ａ）でゲインが最も低く、ピント状態が最も悪い位置（ピント位置Ｃ）でゲインが最も高い。したがって、撮像画像ｄ_１において物体Ａは大きくぼけた状態で撮像される。

次に、撮像画像ｄ_１の物体Ｃに注目すると物体Ｃのピント状態が最も悪い位置（ピント位置Ａ）でゲインが最も低く、ピント状態が最も良い位置（ピント位置Ｃ）でゲインが最も高い。したがって、撮像画像ｄ_１において物体Ｃは最もピントの合った状態で撮像される。

また、図２（ｂ）に示すように、第２の撮像手段により深度拡張レンズ系の焦点距離制御と第１のゲイン変調とは逆の増減方向の第２のゲイン変調とを同期して行い長時間露光により一枚の第２の撮像画像ｄ_２を取得する。具体的には、撮像のための露光中に、ピント中心位置を物体Ａの位置から物体Ｃの位置まで走査し、それと同時に撮像手段のゲインを強Ｇ_Ｈから弱Ｇ_Ｌに連続的に変調させて撮像画像ｄ_２を取得する。なお、撮像画像ｄ_２は撮像画像ｄ_１と反対に、物体Ａが最もピントが合い、物体Ｃが最もぼけた状態で撮像される。

この場合の第１のゲイン変調と第２のゲイン変調は図２に示すセンサゲインとピント位置との関係のように、線形変調することが望ましい。また、第１の撮像画像ｄ_１と第２の撮像画像ｄ_２は２つのイメージセンサ等の２つの撮像手段を用いるとともに、深度拡張レンズ系からの光をビーム分割手段で２分割して同時に取得することが望ましい。

次に、距離画像構築のために、ステップ２_ａ（Ｓ_２ａ）として、図３に示すように、撮像画像ｄ_１からピント評価画像ν_１を算出するとともに、撮像画像ｄ_２からピント評価画像ν_２を算出する。各ピント評価画像は各撮像画像の画素ごとに、ピントがどの程度合っているかを画像上にマップしたデータである。ピント評価値としては注目画素を中心とした分散値などを使用する。

例えば、画像の分散値はピントがぼけるほどピントの合ったときの元の分散値に対して値が小さくなる。したがって、図３に示すピント評価画像ν_１、ν_２においては、ピントが合っている画素ほど明るく、即ち、大きな値で表示される。

次に、ステップ３_ａ（Ｓ_３ａ）として、距離情報を算出する。ここで、ピント評価画像がどちらか一つだけしか得られない場合を考えると、ピント評価値から物体の距離を推定することは難しい。なぜなら、物体にピントが合った時の元の分散値、即ち、基準の分散値が画素毎に異なるからである。そこで、距離画像取得のため撮像時のゲイン変調方向が異なる２つのピント評価画像ν_１、ν_２を使用する。

具体的にはピント評価画像ν_１とピント評価画像ν_２の差分（ν_２−ν_１）をピント評価画像ν_１とピント評価画像ν_２の和（ν_２＋ν_１）で正規化することで距離情報を取得する。例えば、ピント評価画像ν_１のピント評価値はカメラに近い物体ほど小さく、遠い物体ほど大きくなる。逆に、ピント評価画像ν_２のピント評価値はカメラに近い物体ほど大きく、遠い物体ほど小さくなる。

したがって、ν_１とν_２の差分（ν_２−ν_１）をとった時の符号から物体のおおよその距離が判定できる。即ち、差分（ν_２−ν_１）が正の場合、物体は中心の物体Ｂよりカメラ寄りであり、差分（ν_２−ν_１）が負の場合、物体は中心の物体Ｂよりカメラから離れていることが分かる。また、差分（ν_２−ν_１）がゼロ付近の場合、物体は物体Ｂ付近にあることがわかる。

但し、差分のみの場合、先にも述べた分散値の基準値が画素毎に異なるため、物体がＢからどれだけ離れているかは正確に判定できない。しかし、ピント評価画像ν_１とピント評価画像ν_２の和（ν_２＋ν_１）で正規化することで、分散値の基準値補正が可能となり、物体の正確な位置が推定可能となる。

次に、ステップ４_ａ（Ｓ_４ａ）として、（ν_２−ν_１）／（ν_２＋ν_１）の値を画素毎に関数ｆとして、適当な変換を施すことでｆ｛（ν_２−ν_１）／（ν_２＋ν_１）｝によって距離画像変換を行う。即ち、ピント評価量の差をピント評価量の和で割った値は物体のカメラからの距離情報を持つので、適当な変換を施すことで距離画像を算出することができる。

なお、関数ｆとしては、例えば、単純な線形変換になる内挿法を用いて、
{（ｙ_ｍａｘ−ｙ_ｍｉｎ）（ｘ−ｘ_ｍｉｎ）｝／（ｘ_ｍａｘ−ｘ_ｍｉｎ）＋ｙ_ｍｉｎ
としても良い。但し、ｙ_ｍａｘ，ｙ_ｍｉｎはそれぞれのピント走査の最も遠い位置と近い位置であり、ｘ_ｍａｘ，ｘ_ｍｉｎはそれぞれｙ_ｍａｘ，ｙ_ｍｉｎにおける（ν_２−ν_１）／（ν_２＋ν_１）の値である。或いは、関数ｆとして、（ν_２−ν_１）／（ν_２＋ν_１）の値とピント位置に対応したルックアップテーブルを最初に実測で求めておいても良い。

最後に、ステップ５_ａ（Ｓ_５ａ）として、ｆ｛（ν_２−ν_１）／（ν_２＋ν_１）｝の計算結果に基づいて距離画像Ｄ_２を構築する。このように、２種類のゲイン変調をピント走査の中間位置（物体Ｂの位置）を中心に対称となるようにしているので、物体Ｂの位置で（ν_２−ν_１）がゼロとなり、物体Ｂの位置を基準とした絶対的な位置推定が可能である。

一方、被写界深度拡張像を再構築するためには、図４に示すように、ステップ２_ｂ（Ｓ_２ｂ）として、撮像画像ｄ_１と撮像画像ｄ_２を平均して（ｄ_１＋ｄ_２）／２からなる中間画像ｄ_３を得る。即ち、２種類のゲイン変調がピント走査の中間位置（物体Ｂの位置）を中心に対称となっている場合、撮像画像ｄ_１と撮像画像ｄ_２の平均をとることで、中間画像ｄ_３は一定のゲインで撮像した場合と同等の画像を得ることができる。

次いで、ステップ３_ｂ（Ｓ_３ｂ）として、中間画像ｄ_３に対してデコンボリューション処理を施す。このデコンボリューション処理においてはガウシアン関数などで近似したボケ関数で逆変換する。

最後に、ステップ４_ｂ（Ｓ_４ｂ）として、デコンボリューション処理の結果に基づいて被写界深度拡張像Ｄ_１を再構築する。即ち、通常の撮像画像は実像にボケ関数が畳み込まれた画像となるので、撮像画像に対してボケ関数を逆操作すると実像が得られる。

このように、本発明の実施の形態においては、イメージセンサ等の撮像手段とゲイン変調回路を２組用意し、１回の撮像で撮像画像ｄ_１および撮像画像ｄ_２を得ることで、１回の撮像で距離画像Ｄ_２および被写界深度拡張画像Ｄ_１を得ることが可能となる。

なお、上記の実施の形態では、ピント走査を行いながらゲイン変調を行う例を示したが、ゲインの代わりに照明強度を変調しても良いし、色ごとに照明強度を変えてそれぞれ対応するセンサを用意するなどしても良い。

なお、ステップ３_ｂ（Ｓ_３ｂ）では、中間画像ｄ_３に対して単一のボケ関数を用いてデコンボリューション処理を施している。これは、前述したようにピントを走査しながら長時間露光して得ることができる撮像画像ｃ_１は物体位置によらずおよそ一定にぼけた画像が得られるという事実に基づいている。しかしながら厳密にはピント走査により蓄積されるぼけ量は物体距離に応じて異なっている。

そこで、より正確な被写界深度拡張画像Ｄ_１を得るためには、単一のボケ関数ではなく、距離依存性を有するボケ関数を用いることが望ましい。このような距離依存性を有するボケ関数は、解析或いはシミュレーションにより求めることができる。

次に、図５乃至図８を参照して、本発明の実施例１の被写界深度拡張方法を説明する。
図５は、本発明の実施例１の被写界深度拡張方法を実施するための被写界深度拡張システムの構成説明図であり、撮像部１０と、拡張対象レンズ系２０と、両者の間に介挿された深度拡張レンズ系３０を備えている。撮像部１０及び深度拡張レンズ系３０はタイミング制御回路４０に接続され、このタイミング制御回路４０は、ＰＣ或いはＣＰＵからなる制御部５０の指令により制御される。

撮像部１０はビームスプリッタ１１を備えており、ビームスプリッタ１１の光分割方向に面してそれぞれ一つのイメージセンサ１２_１，１２_２を設ける。イメージセンサ１２_１，１２_２はＣＣＤ型のイメージセンサでもＣＭＯＳ型のイメージセンサでも良い。また、イメージセンサ１２_１，１２_２はそれぞれゲイン変調回路４１_１，４１_２に接続されて露光時のゲインが制御される。

拡張対象レンズ系２０としては、テレセントリックレンズ、特に、両側テレセントリックレンズを用いることが望ましい。このテレセントリックレンズは、主光線がレンズの光軸に対して平行であるため、物体の位置が移動しても像の大きさが変わらないという特徴がある。また、立体的な検査対象物を検査する際に、視差による画像の歪がないという特長がある。

深度拡張レンズ系３０は、拡張対象レンズ系２０側に配置される第１のレンズ系３１と撮像部１０側に配置される第２のレンズ系３２と、外部信号により焦点距離を制御することが可能な液体レンズ３３とを備えている。この液体レンズ３３は、物体側主点が第１のレンズ系３１の焦点位置ｆ_１になるように配置するとともに、像側主点が第２のレンズ系３２の焦点位置ｆ_２になるように配置する。このような構成により、液体レンズ３３の焦点距離を変化させても、ピントがあった位置における倍率はｆ_２／f_１と一定となる。

この液体レンズ３３は、第１のレンズ系３１の絞りの位置に配置されるので、深度拡張レンズ系３０の開口部（アパーチャー）として機能することになり、深度拡張レンズ系３０の物体側がテレセントリックとなり、液体レンズ３３の焦点距離変化に対しても、またピント内外においても光学倍率が一定となる。

したがって、液体レンズ３３に液体レンズ駆動回路４２に接続して、印加する駆動電圧を変えることで、ピント内外を含めて光学倍率一定の状態で高速にピント位置の走査が可能となる。この液体レンズ３３に対して、液体レンズ駆動回路４２から駆動信号が送られて液体レンズ３３の焦点距離を制御する。それと同時に、タイミング制御回路４０に設けた同期制御部（図示は省略）の制御信号が撮像部１０にも送られて、液体レンズ３３の駆動と同期させてイメージセンサ１２_１，１２_２による露光を行う。

図６は、液体レンズの焦点距離の変動原理の説明図である。液体レンズ３３は、水層３４と油層３５との２層構造になっており、界面の状態を電圧で制御するものである。例えば、（１）の状態のように、油層３５が凸レンズ状になるように電圧を印加した場合には、ピント位置が最も遠くなる。逆に、（４）の状態のように、油層３５が凹レンズ状になるように電圧を印加した場合には、ピント位置が最も近くなる。このピント位置の変動は、液体レンズ３３の性能と第１のレンズ系３１の焦点距離にもよるが、１５ｍｍ程度の変動は可能である。

次に、図７及び図８を参照して、具体的な被写界深度拡張方法による結果を説明するが、手順は上記実施の形態で説明した手順と全く同様であるので、結果のみ図示する。図７は距離画像の構築結果の説明図であり、ゲインを弱から強に線形に変調して撮像画像ｄ_１を取得するとともに、ゲインを強から弱に線形に変調して撮像画像ｄ_２を取得する。

次いで、撮像画像ｄ_１からピント評価画像ν_１を算出するとともに、撮像画像ｄ_２からピント評価画像ν_２を算出する。次いで、ピント評価画像ν_１とピント評価画像ν_２の差分（ν_２−ν_１）をピント評価画像ν_１とピント評価画像ν_２の和（ν_２＋ν_１）を算出する。

次いで、（ν_２−ν_１）／（ν_２＋ν_１）の値を画素毎に関数ｆとして、適当な変換を施すことでｆ｛（ν_２−ν_１）／（ν_２＋ν_１）｝によって距離画像変換を行い、その計算結果に基づいて距離画像Ｄ_２を構築する。この距離画像Ｄ_２における値から、物体Ｂの位置を基準とした絶対的な位置推定が可能になる。

図８は、被写界深度拡張像の再構築結果の説明図であり、撮像画像ｄ_１と撮像画像ｄ_２を平均して（ｄ_１＋ｄ_２）／２からなる中間画像ｄ_３を得る。次いで、中間画像ｄ_３に対してデコンボリューション処理を施し、デコンボリューション処理の結果に基づいて被写界深度拡張像Ｄ_１を再構築する。このような操作により全体的にピントの合った全体像が得られ、これを距離画像と合わせて評価すると、計測、ロボット制御或いは監視分野において有用な画像情報となる。

次に、図９乃至図１５を参照して、本発明の実施例２の被写界深度拡張方法を説明するが、デコンボリューション工程に用いるボケ関数が異なるだけで、システム構成及び撮像方法自体は上記の実施例１と同様である。図９は、ボケ量の物体位置依存性の説明図であり、各物体位置Ａ、Ｂ、Ｃ位置に記載した楕円は各物体位置におけるボケの大きさを模式的に示したものである。

図９に示すように、物体位置Ａと物体位置Ｃの蓄積されるぼけ量を比較すると物体位置Ｃの方が大きいことがわかる。被写界深度拡張画像の精度をより高めるためには単一のボケ関数ではなく、距離依存性を有するボケ関数を用いる必要がある。

この際、前述のように距離画像Ｄ_２は既に算出しているので、被写界深度拡張画像を算出する際に、それぞれの距離画像Ｄ_２からそれぞれの物体距離に応じたボケ回復関数を複数使用することでデコンボリューションを行えば良い。

図１０は、本発明の実施例２の被写界深度拡張方法のフローチャートである。図１に示したフローチャートに距離依存性を有するボケ回復関数を求める前処理工程を加え、デコンボリューション工程において、中間画像を物体位置に応じたボケ回復関数Ｈ_ｊを用いて被写界深度拡張画像を再構築する。

即ち、まず、ステップ１（Ｓ_１）として、実施例１と全く同様に、第１の撮像手段により深度拡張レンズ系の焦点距離制御と第１の撮像手段の第１のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像ｄ_１を取得する。また、第２の撮像手段により深度拡張レンズ系の焦点距離制御と第１のゲイン変調とは逆の増減方向の第２のゲイン変調とを同期して行い長時間露光により一枚の第２の撮像画像ｄ_２を取得する。

次に、距離画像構築のために、ステップ２_ａ（Ｓ_２ａ）として、実施例１と同様に、撮像画像ｄ_１からピント評価画像ν_１を算出するとともに、撮像画像ｄ_２からピント評価画像ν_２を算出する。

次に、ステップ３_ａ（Ｓ_３ａ）として、距離情報を算出する。ここでは、ピント評価画像ν_１とピント評価画像ν_２の差分（ν_２−ν_１）をピント評価画像ν_１とピント評価画像ν_２の和（ν_２＋ν_１）で正規化することで距離情報を取得する。

次に、ステップ４_ａ（Ｓ_４ａ）として、（ν_２−ν_１）／（ν_２＋ν_１）の値を画素毎に関数ｆとして、適当な変換を施すことでｆ｛（ν_２−ν_１）／（ν_２＋ν_１）｝によって距離画像変換を行う。最後に、ステップ５_ａ（Ｓ_５ａ）として、ｆ｛（ν_２−ν_１）／（ν_２＋ν_１）｝の計算結果に基づいて距離画像Ｄ_２を構築する。

一方、被写界深度拡張像を再構築するために、ステップ２_ｂ（Ｓ_２ｂ）として、撮像画像ｄ_１と撮像画像ｄ_２を平均して（ｄ_１＋ｄ_２）／２からなる中間画像ｄ_３を得る。

また、実施例２において追加した前処理として、ステップ２_ｃ（Ｓ_２c）において、物体距離ごとにボケ回復関数を予め計算する。ここでは、シミュレーションにより物体距離ごとにボケ回復関数ｈを求める。

図１１は、ピント走査範囲の説明図であり、ここでは、走査範囲をＮ分割した場合を説明する。ｊ番目の範囲にある物体に関する積算ボケ回復関数Ｈ_ｊを
Ｈ_ｊ＝Σｈ（ｘ_ｉ，ｘ_ｊ）（但し、ｉ＝1〜Ｎまでの和）
として表わす。ここで、ｈ（ｘ_ｉ，ｘ_ｊ）は、ｘ_ｉをピント位置、ｘ_ｊを物体位置とした場合のぼけ回復関数である。

図１２は、ボケ回復関数ｈの概念的説明図であり、それぞれのピント位置に対して、それぞれのボケ関数が計算される。なお、ここでは、３つのピント動作範囲として説明する。

ステップ３_ｃ（Ｓ_３ｃ）として、積算ボケ回復関数を物体距離ごとにテーブル化する。図１３は、積算ボケ回復関数テーブルの説明図であり、物体位置（ｘ_ｊ）がＡ、Ｂ，Ｃのボケ回復関数Ｈ_Ａ，Ｈ_Ｂ，Ｈ_Ｃは、それぞれ、
Ｈ_Ａ＝ｈ（Ａ，Ａ）＋ｈ（Ｂ，Ａ）＋ｈ（Ｃ，Ａ）
Ｈ_Ｂ＝ｈ（Ａ，Ｂ）＋ｈ（Ｂ，Ｂ）＋ｈ（Ｃ，Ｂ）
Ｈ_Ｃ＝ｈ（Ａ，Ｃ）＋ｈ（Ｂ，Ｃ）＋ｈ（Ｃ，Ｃ）
として、テーブル化される。

図１４は、ボケ回復関数のシミュレーション例の説明図である。左側は各ボケ回復関数ｈの光学パターンを示す図であり、中央の図は、積算ボケ回復関数Ｈの光学パターンを示す図であり、右側の図は、積算ボケ回復関数Ｈの中心線に沿った強度分布プロファイルである。なお、強度分布プロファイルは縦軸を対数スケールで示している。このシミュレーション例の場合には、ＡとＣについて明確な差は現れていないが、ＡとＢとの差或いはＣとＢとの差は強度分布プロファイルから明らかである。

次いで、ステップ３_ｂ（Ｓ_３ｂ）のデコンボリューション処理の前に、ステップ３′_ｂ（Ｓ_３′ｂ）として、各画素の距離に応じた積算ボケ回復関数Ｈ_ｊの選択工程を加える。次いで、ステップ３_ｂ（Ｓ_３ｂ）において、中間画像ｄ_３に対して積算ボケ回復関数Ｈ_ｊを用いてデコンボリューション処理を施す。最後に、ステップ４_ｂ（Ｓ_４ｂ）として、デコンボリューション処理の結果に基づいて被写界深度拡張像Ｄ_１を再構築する。

図１５は、ステップ３′_ｂからステップ４_ｂの詳細を示すフロー図であり、まず、距離画像Ｄ_２を用いて物体距離に応じて画素ごとに番号１からＮに分類する。なお、１からＮは図１１のピント走査範囲分けに対応している。次いで、中間画像ｄ_３をＮ個の積算ぼけ回復関数Ｈ_１からＨ_Ｎでデコンボリューション処理し、それぞれの結果を中間画像ｄ_４ｊに保存する。

次いで、先に分類した番号に応じて中間画像ｄ_４の画素値を選択し、被写界深度拡張画像Ｄ_１として統合する。例えば、ある画素の分類番号がｊのときには被写界深度拡張画像Ｄ_１における同画素値として、中間画像ｄ_４ｊの画素値を採用する。

図１６は、デコンボリューション工程における各画像を示した説明図であり、図に示すように、分類番号が１の左側画素については、中間画像ｄ_４１を選択し、分類番号が２の中央の画素については中間画像ｄ_４２を選択し、分類番号が３の右側の画素については中間画像ｄ_４３を選択して、被写界深度拡張画像Ｄ_１として統合する。

このように、本発明の実施例２においては、デコンボリューション工程において、物体位置毎にボケ回復関数を設定しているので、より鮮明な被写界深度拡張画像Ｄ_１を得ることができる。

なお、上記の実施例１及び実施例２においては、深度拡張レンズ系においては液体レンズを用いているが、液体レンズの代わりに液体レンズと同様に外部信号により焦点距離を制御することが可能な液晶レンズを用いても良い。また、上記の実施例１においては２つのセンサを用いているが、１つのセンサを用いてゲインを変えて２回撮像するようにしても良い。

ここで、実施例１及び実施例２を含む本発明の実施の形態に関して、以下の付記を付す。
（付記１）
被写界深度拡張の対象となる拡張対象レンズ系と、
撮像手段と、
前記撮像画像のゲインを変調するゲイン変調手段と、
前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系と、物体側主点が前記第１のレンズ系の焦点距離に位置し、且つ、像側主点が前記第２のレンズ系の焦点位置に位置し、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系とを備えた深度拡張レンズ系と、
前記光学系の焦点距離制御と前記撮像手段のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像として撮像するとともに、前記第１のゲイン変調とは逆向きのゲイン変調を行って一枚の第２の撮像画像を撮像する撮像制御部と、
前記第１の撮像画像及び前記第２の撮像画像から距離画像を構築するとともに、前記第１の撮像画像及び前記第２の撮像画像と距離画像から被写界深度拡張画像を再構築する画像処理部と
を備えることを特徴とする被写界深度拡張システム。
（付記２）
前記光学系が、液体レンズを備えていることを特徴とする付記１に記載の被写界深度拡張システム。
（付記３）
前記撮像手段を２つ備えるとともに、前記２つの撮像手段がそれぞれ個別の前記ゲイン変調手段に接続されており、前記深度拡張レンズ系と前記撮像手段との間にビーム分割手段を配置したことを特徴とする付記１または付記２に記載の被写界深度拡張システム。
（付記４）
被写界深度拡張の対象となる拡張対象レンズ系と撮像手段との間に、
前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系を配置するとともに、
物体側主点が前記第１のレンズ系の焦点距離の位置で、且つ、像側主点が前記第２のレンズ系の焦点位置の位置に、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系を配置し、
前記撮像手段により前記光学系の焦点距離制御と前記撮像手段のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像として撮像するとともに、前記第１のゲイン変調とは逆向きのゲイン変調を行って一枚の第２の撮像画像を撮像する工程と、
前記第１の撮像画像及び前記第２の撮像画像から距離画像を構築するとともに、前記第１の撮像画像及び前記第２の撮像画像と距離画像から被写界深度拡張画像を再構築する工程と
を有する被写界深度拡張方法。
（付記５）
前記第１の撮像画像の撮像工程が、ピント走査の初期位置から最終位置に至る間に、前記撮像手段のゲインを最小から最大に線形変化させる第１のゲイン変調を用いて撮像する工程であり、
前記第２の撮像画像の撮像工程が、ピント走査の初期位置から最終位置に至る間に、ゲインを最大から最小に線形変化させる第２のゲイン変調で撮像する工程であることを特徴とする付記４に記載の被写界深度拡張方法。
（付記６）
前記距離画像を構築する工程が、前記第１の撮像画像と前記第２の撮像画像から画素毎にピント評価値を求め、前記２つの撮像画像の同一画素におけるピント評価値の差分をピント評価値の和で正規化した値を基に、画像内にある物体の距離を算出する工程であることを特徴とする付記４または付記５に記載の被写界深度拡張方法。
（付記７）
前記被写界深度拡張画像を再構築する工程が、前記第１の撮像画像と前記第２の撮像画像の平均をとって得られる中間画像をデコンボリューション処理する工程であり、
前記デコンボリューション処理する工程で用いるボケ回復関数が、単一のボケ回復関数であることを特徴とする付記４乃至付記６のいずれか１に記載の被写界深度拡張方法。
（付記８）
前記被写界深度拡張画像を再構築する工程が、前記第１の撮像画像と前記第２の撮像画像の平均をとって得られる中間画像をデコンボリューション処理する工程であり、
前記デコンボリューション処理する工程で用いるボケ回復関数が、前記距離画像をもとに被写体の物体距離に対応した距離依存性を有するボケ回復関数であることを特徴とする付記４乃至付記６のいずれか１に記載の被写界深度拡張方法。
（付記９）
前記撮像手段として、第１の撮像手段と第２の撮像手段の２つの撮像手段を配置するとともに、前記第１の撮像手段を第１のゲイン変調手段によりピント走査の初期位置から最終位置に至る間に、前記撮像手段のゲインを最小から最大に線形変化させる第１のゲイン変調を行うと同時に、前記第２の撮像手段に第２のゲイン変調手段によりピント走査の初期位置から最終位置に至る間に、ゲインを最大から最小に線形変化させる第２のゲイン変調を行い、１度の撮像工程において前記第１の撮像画像と前記第２の撮像画像を同時に取得することを特徴とする付記４乃至付記８のいずれか１に記載の被写界深度拡張方法。

１０ 撮像部
１１ ビームスプリッタ
１２_１，１２_２ イメージセンサ
２０ 拡張対象レンズ系
３０ 深度拡張レンズ系
３１ 第１のレンズ系
３２ 第２のレンズ系
３３ 液体レンズ
３４ 水層
３５ 油層
４０ タイミング制御回路
４１_１，４１_２ ゲイン変調回路
４２ 液体レンズ駆動回路
５０ 制御部

Claims (7)

1. 被写界深度拡張の対象となる拡張対象レンズ系と、
   撮像手段と、
   前記撮像手段のゲインを変調するゲイン変調手段と、
   前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系と、物体側主点が前記第１のレンズ系の焦点距離に位置し、且つ、像側主点が前記第２のレンズ系の焦点位置に位置し、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系とを備えた深度拡張レンズ系と、
   前記光学系の焦点距離制御と前記撮像手段の第１のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像として撮像するとともに、前記第１のゲイン変調とは逆の増減方向の第２のゲイン変調を行って一枚の第２の撮像画像を撮像する撮像制御部と、
   前記第１の撮像画像及び前記第２の撮像画像から距離画像を構築するとともに、前記第１の撮像画像及び前記第２の撮像画像と距離画像から被写界深度拡張画像を再構築する画像処理部と
   を備えることを特徴とする被写界深度拡張システム。
2. 前記撮像手段を２つ備えるとともに、前記２つの撮像手段がそれぞれ個別の前記ゲイン変調手段に接続されており、前記深度拡張レンズ系と前記撮像手段との間にビーム分割手段を配置したことを特徴とする請求項１に記載の被写界深度拡張システム。
3. 被写界深度拡張の対象となる拡張対象レンズ系と撮像手段との間に、
   前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系を配置するとともに、
   物体側主点が前記第１のレンズ系の焦点距離の位置で、且つ、像側主点が前記第２のレンズ系の焦点位置の位置に、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系を配置し、
   前記撮像手段により前記光学系の焦点距離制御と前記撮像手段の第１のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像として撮像するとともに、前記第１のゲイン変調とは逆の増減方向の第２のゲイン変調を行って一枚の第２の撮像画像を撮像する工程と、
   前記第１の撮像画像及び前記第２の撮像画像から距離画像を構築するとともに、前記第１の撮像画像及び前記第２の撮像画像と距離画像から被写界深度拡張画像を再構築する工程と
   を有する被写界深度拡張方法。
4. 前記第１の撮像画像の撮像工程が、ピント走査の初期位置から最終位置に至る間に、前記撮像手段のゲインを最小から最大に線形変化させる前記第１のゲイン変調を用いて撮像する工程であり、
   前記第２の撮像画像の撮像工程が、ピント走査の初期位置から最終位置に至る間に、ゲインを最大から最小に線形変化させる前記第２のゲイン変調で撮像する工程であることを特徴とする請求項３に記載の被写界深度拡張方法。
5. 前記被写界深度拡張画像を再構築する工程が、前記第１の撮像画像と前記第２の撮像画像の平均をとって得られる中間画像をデコンボリューション処理する工程であり、
   前記デコンボリューション処理する工程で用いるボケ回復関数が、単一のボケ回復関数であることを特徴とする請求項３または請求項４に記載の被写界深度拡張方法。
6. 前記被写界深度拡張画像を再構築する工程が、前記第１の撮像画像と前記第２の撮像画像の平均をとって得られる中間画像をデコンボリューション処理する工程であり、
   前記デコンボリューション処理する工程で用いるボケ回復関数が、前記距離画像をもとに被写体の物体距離に対応した距離依存性を有するボケ回復関数であることを特徴とする請求項３または請求項４に記載の被写界深度拡張方法。
7. 前記撮像手段として、第１の撮像手段と第２の撮像手段の２つの撮像手段を配置するとともに、前記第１の撮像手段を第１のゲイン変調手段によりピント走査の初期位置から最終位置に至る間に、前記撮像手段のゲインを最小から最大に線形変化させる前記第１のゲイン変調を行うと同時に、前記第２の撮像手段に第２のゲイン変調手段によりピント走査の初期位置から最終位置に至る間に、ゲインを最大から最小に線形変化させる前記第２のゲイン変調を行い、１度の撮像工程において前記第１の撮像画像と前記第２の撮像画像を同時に取得することを特徴とする請求項３乃至請求項６のいずれか１項に記載の被写界深度拡張方法。