以下、本発明による一実施形態の多重フォーカスカメラについて詳細に説明する。
〔装置構成〕
図1は、本発明による一実施形態の多重フォーカスカメラ10の概略図である。本実施形態の多重フォーカスカメラ10は、被写体の像を撮像するとともに被写体までの距離を計測する光学機器であり、レンズ20と、第1撮像素子30‐1と、第2撮像素子30‐2と、画像処理部40と、記憶部50と、レンズ駆動用アクチュエータ60と、制御部70と、表示部80と、出力インターフェース(IF)90と、操作部100とを備える。
図1に示すように、本実施形態の多重フォーカスカメラ10では、レンズ20を介する入射光のうち所定の光吸収率で光を吸収して光電変換し被写体の像を撮像する第1撮像素子30‐1と、第1撮像素子30‐1を透過した光を光電変換し当該被写体の像を撮像する第2撮像素子30‐2とを、予め定めた間隔でレンズ20の光軸上に配置し、「レンズ20から第1撮像素子30‐1までの距離」<「レンズ20から第2撮像素子30‐2までの距離」としている。本例では、詳細に後述する測距演算を容易にするために、第1撮像素子30‐1の画素サイズ及び画素数が、それぞれ第2撮像素子30‐2の画素サイズ及び画素数と等しいものとする。第1撮像素子30‐1は、赤色光用、緑色光用及び青色光用のうちのいずれかの有機材料の光電変換膜(以下、「有機光電変換膜」とも称する)を用いて構成され、本例では可視光域の中央に位置する緑色光の50%を吸収して光電変換し、残りの50%を透過させる機能を有する。例えば、ガラス基板上に形成したスイッチング素子回路と有機光電変換膜を組み合わせて第1撮像素子30‐1を形成することができる。第2撮像素子30‐2は、第1撮像素子30‐1と同様に有機材料の光電変換膜を用いて構成することができ、赤色光用、緑色光用及び青色光用の有機材料の光電変換膜を例えばベイヤー配列で画素領域毎に配設したものとすることができる。尚、第2撮像素子30‐2に関しては、CCDイメージセンサやCMOSイメージセンサにより構成してもよい。
レンズ20は、撮像光学系のレンズとして、F値が所定の範囲で変化するズームレンズとしてもよいし、F値を固定とする単焦点レンズとしてもよい。本例におけるレンズ20は、被写体に対する合焦位置を調整可能であり、レンズ駆動用アクチュエータ60は、制御部70からの制御信号Saに従い、レンズ20を駆動させることができる。
制御部70は、リード・オンリー・メモリ(ROM)等の所定のメモリ(図示せず)に記憶されたプログラムを読み出し、操作部100からの指示に応じて所定の処理を実行するマイクロプロセッサ等により構成され、多重フォーカスカメラ10の各部を統括的に制御するとともに、レンズ20から被写体までの距離を演算する機能を有する。制御部70の本発明に係る各部の制御に関してのみ具体的に説明すると、制御部70は、第1撮像素子30‐1及び第2撮像素子30‐2における撮像動作の制御、画像処理部40における信号処理の制御、記憶部50における撮像画像等の記憶又は読み出しの制御、レンズ駆動用アクチュエータ60における合焦位置の調整制御、表示部80における第1撮像素子30‐1又は第2撮像素子30‐2からの撮像画像又はスルー画像の表示制御、及び、撮像画像又はレンズ20から被写体までの距離データに関して、着脱可能に装着される可搬性の記録媒体等の外部装置(図示せず)への出力インターフェース(IF)90における出力制御を行う。
操作部100は、制御部70に対して種々の指示を与える機能を有し、図示を省略するが、多重フォーカスカメラ10の電源をオンオフする電源スイッチ、撮影を指示するシャッターボタン、測距領域の指定等のメニューを表示部80に表示させるメニューボタン、表示部80における距離計測を行うか否かを設定する測距指定ボタン、撮像済画像の検索や出力IF90における外部装置へのデータ出力等の様々な設定に対する確定操作を行うための決定ボタン等から構成される。
制御部70は、本発明に係る機能部として、測距領域設定部701と、撮像制御部702と、測距演算部703と、記録表示制御部704とを備える。
本実施形態の多重フォーカスカメラ10においては、一度の撮像動作でレンズ20から被写体までの距離を計測することが可能なように構成される。本例では、距離計測に先立って、制御部70は、測距領域設定部701により、表示部80に表示される第1撮像素子30‐1又は第2撮像素子30‐2からのスルー画像を介して計測対象の領域である測距領域をユーザに対して走査部100を介して指定させる。
続いて、操作部100からレンズ20から被写体までの距離を計測する指示を受けた制御部70は、撮像制御部702により、第1撮像素子30‐1及び第2撮像素子30‐2に対してそれぞれ撮像制御信号SC1,SC2を供給する。撮像制御信号SC1,SC2に応じて、第1撮像素子30‐1及び第2撮像素子30‐2は、レンズ20で定めるF値及び焦点距離fで、それぞれ被写体からの入射光を基に撮像して第1撮像画像信号及び第2撮像画像信号を生成し、それぞれ画像処理部40における第1信号処理部401及び第2信号処理部402に供給する。第1信号処理部401は、制御部70からの信号処理制御信号Smにより被写体の像に対応する2次元表示となるように第1撮像画像信号を配列し、第1撮像画像の撮像結果として記憶部50に記憶する。同様に、第2信号処理部402は、被写体の像に対応する2次元表示となるように第2撮像画像信号を配列し、第2撮像画像の撮像結果として記憶部50に記憶する。
尚、距離計測の際に、制御部70は、レンズ20の焦点距離fに対応する位置をレンズ20から第1撮像素子30‐1までの位置とし、計測対象の被写体の結像面が第1撮像素子30‐1から第2撮像素子30‐2までの間となるようにレンズ駆動用アクチュエータ60を制御する。レンズ20を単焦点レンズとした場合には、計測範囲を予め定め、レンズ20の焦点距離fに対応する位置をレンズ20から第1撮像素子30‐1までの位置とし、計測対象の被写体の結像面が第1撮像素子30‐1から第2撮像素子30‐2までの間となるように予め設定しておけばよい。このために、図1における図示を省略するが、第1撮像素子30‐1と第2撮像素子30‐2との間の間隔を調整するためのアクチュエータを設けるのが有効である。したがって、第1撮像素子30‐1で撮像された第1撮像画像の撮像結果と、第2撮像素子30‐2で撮像された第2撮像画像の撮像結果との間で、撮像される被写体の像のボケ量が各撮像素子で異なるものとなる。
また、第1撮像素子30‐1及び第2撮像素子30‐2は、第1撮像素子30‐1及び第2撮像素子30‐2で撮像される当該被写体の像のボケ量の差が、レンズ20の焦点距離f及び口径比(F値)、当該被写体からレンズ20までの距離、レンズ20から第1撮像素子30‐1までの距離、及び、レンズ20から第2撮像素子30‐2までの距離に依存する予め定めた間隔でレンズ20の光軸上に配置される。
続いて、制御部70は、測距演算部703により、記憶部50に記憶された第1撮像画像の撮像結果及び第2撮像画像の撮像結果を読み出し、第1撮像画像の撮像結果及び第2撮像画像の撮像結果のボケ量の差に基づいて被写体からレンズ20までの距離を演算する。
測距演算の原理については、図2を参照して詳細に説明するが、測距演算部703は、被写体の像のボケ量の差を、第1撮像素子30‐1からレンズ20による当該被写体の結像面までのボケ径と第2撮像素子30‐2からレンズ20による当該被写体の結像面までのボケ径との差分にレンズ20の口径比(F値)を乗じた値から求め、第1撮像素子30‐1による撮像結果と第2撮像素子30‐2による撮像結果のうち、いずれか一方の撮像結果に対してボケ径の差分のn(nは、0以上の整数)倍のぼかし処理を施して他方の撮像結果と比較し、最もマッチングする当該被写体の像の領域についてボケ径の差分のn倍の値を基にレンズ20までの距離を演算する。
最後に、制御部70は、記録表示制御部704により、被写体からレンズ20までの距離の演算結果を示すデータを記憶部50に記憶し、操作部100からの指示に応じて表示部80に表示し、或いは出力IF90を介して外部装置に出力する。
被写体の撮影画像とともに、被写体からレンズ20までの距離の演算結果を示すデータを表示部80に表示するように構成する場合には、例えば、制御部70は、撮影を指示するシャッターボタンの半押し状態で、撮影領域を定めるためにレンズ駆動用アクチュエータ60を制御して合焦位置を決定して撮影領域内の被写体までの距離計測の動作に移行し、撮影を指示するシャッターボタンの全押し状態で、そのまま撮影動作に移行するか、又は当該被写体の結像面が第1撮像素子30‐1上、又は第2撮像素子30‐2上となるようにレンズ駆動用アクチュエータ60を更に制御して合焦位置を合わせて撮影動作に移行することで、被写体の撮像画像とともに、被写体からレンズ20までの距離の演算結果を示すデータを表示部80に表示することができる。
以下、測距演算部703における測距演算に関して、より詳細に説明する。
前述したように、有機材料の光電変換膜の性質を利用すれば、例えば緑色光の50%を光電変換し、残りの50%を透過させる撮像素子を実現することができる。また、本実施形態の多重フォーカスカメラ10では、測距演算にあたり、有機材料の光電変換膜を用いた第1撮像素子30‐1により、入射光のうち所定の光吸収率で光を吸収して光電変換し被写体の像を撮像し、第2撮像素子30‐2により、第1撮像素子30‐1を透過した光を光電変換し当該被写体の像を撮像する。第1撮像素子30‐1及び第2撮像素子30‐2は、予め定めた間隔でレンズ20の光軸上に配置している。
図2は、本実施形態の多重フォーカスカメラ10における測距演算の説明図である。図2では、被写体Ob1からレンズ20までの距離a1とレンズ20から結像面Ob1’までの距離b1とがレンズ20の焦点距離fで定まる関係にあり、同様に、被写体Ob2からレンズ20までの距離a2とレンズ20から結像面Ob2’までの距離b2とがレンズ20の焦点距離fで定まる関係にあり、被写体Ob1の結像面Ob1’が第1撮像素子30‐1上であり、被写体Ob2の結像面Ob2’が第2撮像素子30‐2上となる配置関係にある様子を示している。このとき、被写体Ob3からレンズ20までの距離a3とレンズ20から結像面Ob3’までの距離b3も、レンズ20の焦点距離fで定義される位置に配置される。図1において、a1 > a3 > a2である。
即ち、被写体からレンズ20までの距離aと、レンズ20から結像面までの距離bと、レンズ20の焦点距離fの間には式(1)の関係がある。
また、レンズ20から結像面までの距離bからδだけ離れた位置のボケ径dはレンズ20の口径比(F値)Fを用いて、式(2)で表される。
ここで、第1撮像素子30‐1における被写体Ob3のボケ径d1はδ1/F、第2撮像素子30‐2における被写体Ob3のボケ径d2はδ2/Fと表されるので、第1撮像素子30‐1及び第2撮像素子30‐2で撮像した撮像結果の比較でボケ径の差分Δd=d1−d2を定め、ボケ径の差分Δd=d1−d2からボケ量の差δ1−δ2(=F(d1−d2))を求めることができる。またδ1+δ2=b2−b1なので、δ1=1/2{(b2−b1)+F(d1−d2)}、δ2=1/2{(b2−b1)−F(d1−d2)}と計算できる。さらに、b3=1/2{(b2+b1)+F(d1−d2)}であり、a3=b3f/(b3−f)によりレンズ20から被写体Ob3までの距離a3を求めることができる。また、距離a1,a2についてもb1,b2から計算することができる。
つまり、第1撮像素子30‐1に結像する被写体の像と、第2撮像素子30‐2に結像する被写体の像の2つの像が得られるように第1撮像素子30‐1と第2撮像素子30‐2との間の間隔が調整されているとき、第1撮像素子30‐1から第2撮像素子30‐2までの間に結像面がある任意の被写体についてレンズ20からの距離を求めることができる。しかしながら、実際の距離計測時には、被写体に関するレンズ20から結像面までの距離bについて、第1撮像素子30‐1の位置b1及び第2撮像素子30‐2の位置b2とし、第1撮像素子30‐1による撮像結果と第2撮像素子30‐2による撮像結果のうち、いずれか一方の撮像結果に対してボケ径の差分のn(nは、0以上の整数)倍のぼかし処理を施して他方の撮像結果との比較を繰り返してマッチング領域を抽出することにより、第1撮像素子30‐1から第2撮像素子30‐2までの間に結像面がある任意の被写体についてレンズ20までの距離を演算することができる。
また、式(1)から分かるように、測定対象の被写体までの距離を無限大とするために、第1撮像素子30‐1をレンズ20の焦点距離fに配置することが望ましい。このように、第1撮像素子30‐1及び第2撮像素子30‐2で撮像される被写体の像のボケ量の差が焦点距離f、口径比(F値)、被写体からレンズ20までの距離、レンズ20から第1撮像素子30‐1までの距離及びレンズ20から第2撮像素子30‐2までの距離に依存することから、任意の被写体についてレンズ20までの距離を演算することができる。
尚、有機材料の光電変換膜に関して、光吸収特性を有機材料の選択と膜厚によって調整することができ、例えば、図3に示すように、有機材料のキナクリドン(NN’ジメチルキナクリドン)を用いれば、入射光として波長540nmの単波長光(緑色光)に対して、その膜厚調整で、10%〜90%の範囲で光吸収率を調整することができる。光電変換を示す他の有機材料には、ポルフィリン類、フタロシアニン類、クマリン類及びペリレン類などがあり、特定の色の光のみを吸収して光電変換を行う光電変換膜を利用することができる。より具体的には、有機材料の光電変換膜として、スチルベン誘導体、ベンゾキサゾール誘導体、縮合芳香族炭素環(ペリレン誘導体、アントラセン誘導体、テトラセン誘導体等)、メロシアニン誘導体、オキサジアゾール誘導体、ジアミン誘導体、チオフェン誘導体、PtやEu、Sn、Al、Ir、Zn等の金属錯体、DCM誘導体、アゾ系有機顔料、又は多環式系有機顔料(フタロシアニン類、キナクリドン類、ポルフィリン類等)等を用いることができる。
〔装置動作〕
次に、図4を参照して、本実施形態の多重フォーカスカメラ10における、より詳細な動作フローについて説明する。撮影及び距離の測定は、例えば次のように行う。
図4は、本発明による一実施形態の多重フォーカスカメラ10における動作フローの一例を示す図である。先ず、制御部70は、測距領域設定部701により、表示部80に表示されるスルー画像を基に指定される所定の焦点距離fで定まる画角の撮像領域内における測距領域を設定する(ステップS10)。測距領域の設定に関して、例えば、図5(A)に示すように、例えば第2撮像素子30‐2からのスルー画像1000にて被写体Ob1,Ob2,Ob3を囲む測距領域を指定し、各測距領域の大部分を占める被写体までの距離の計測を行うことができる。これは、特定の被写体までの距離を計測するのに、その各測距領域についてのみ演算すればよく、処理速度の点で有利になる。また、図5(B)に示すように、スルー画像1000のほぼ全体を細分化する測距領域を指定し、細分化した測距領域ごとに被写体までの距離の計測を行うことができる。これは、例えば、被写体全体の奥行形状の計測にも利用できる。
次に、制御部70は、撮像制御部702により、第1撮像素子30‐1及び第2撮像素子30‐2による撮影を制御し、第1撮像素子30‐1及び第2撮像素子30‐2のそれぞれの撮像結果を記憶部50に記憶保持する(ステップS11)。ここで、レンズ20から第1撮像素子30-1までの距離とレンズ20から第2撮像素子30-2までの距離とが異なることから、第1撮像素子30‐1で撮像された第1撮像画像の撮像結果と、第2撮像素子30‐2で撮像された第2撮像画像の撮像結果との間で、距離計測対象の被写体の像のボケ量が異なるものとなっていることに留意する。
次に、制御部70は、測距演算部703により、記憶部50に記憶された第1撮像画像の撮像結果及び第2撮像画像の撮像結果を読み出し、第1撮像画像の撮像結果及び第2撮像画像の撮像結果のボケ量の差が焦点距離f、口径比(F値)、被写体からレンズ20までの距離、レンズ20から第1撮像素子30-1までの距離及びレンズ20から第2撮像素子30-2までの距離に依存することを利用して、被写体からレンズ20までの距離を演算する。
より具体的には、測距演算部703は、まず、第1撮像画像の撮像結果と第2撮像画像の撮像結果とを比較し、測距領域におけるマッチング領域を抽出する(ステップS12)。このマッチング領域の抽出処理は、第1撮像素子30‐1の画素サイズ及び画素数が、それぞれ第2撮像素子30‐2の画素サイズ及び画素数と等しいものとしたとき、単純に、第1撮像画像の撮像結果と第2撮像画像の撮像結果との間で、各撮像結果内で正規化した輝度値がほぼ同じで、撮像倍率がほぼ同じ(抽出領域の画素数がほぼ同じ)となる画素位置をマッチング領域として決定する。尚、マッチング領域の抽出方法としては、特徴点を検出し、その周囲の局所領域に対して特徴量を定義し、各特徴量からの距離に基づいてマッチング領域を抽出する方法や、測距領域を更に領域分割して類似画素を含む分割領域の集合量が所定量以上のものをマッチング領域として抽出する方法や、比較対象の双方の撮像結果に対して空間フィルタリングを施してエッジ検出を行い、エッジ位置が一致する領域をマッチング領域として抽出する方法や、パターンマッチング法やテクスチャマッチング法などがあるが、いずれにしろ第1撮像画像の撮像結果と第2撮像画像の撮像結果との双方で、各撮像結果内で正規化した輝度値がほぼ同じで、撮像倍率がほぼ同じ(抽出領域の画素数がほぼ同じ)となる画素位置を抽出するためには、濃淡の差がある撮像結果の領域に注目して比較することで抽出精度が向上する。
この時点で抽出されたマッチング領域は、図2を参照して、d2−d1=0の距離にある被写体の像となるので、測距演算部703は、第1撮像素子30‐1の位置b1及び第2撮像素子30‐2の位置b2、レンズ20のF値、及び、レンズ20の焦点距離fから、a3=b3f/(b3−f)、b3=1/2(b2+b1)の計算式を使って、マッチング領域における被写体までの距離を求め、このマッチング領域における画素位置の情報と被写体までの距離の値を記憶部50に記憶保持する(ステップS13)。
次に、測距演算部703は、第1撮像画像の撮像結果に対して所定のぼかし処理を施した状態で第2撮像画像の撮像結果との比較を所定のN回分行ったか否かを判定するループ処理を行う(ステップS14)。最初のループでは、第1撮像画像の撮像結果に対してぼかし処理を施しておらず(ステップS14:No)、ステップS15に移行する。
次に、測距演算部703は、第1撮像画像の撮像結果に対してボケ径の1倍(n=1)となる距離に相当するぼかし処理を実行し(ステップS15)、ステップS12,S13の処理を介して第2撮像画像の撮像結果に対するマッチング領域の抽出に伴い、このマッチング領域における画素位置の情報と被写体までの距離の値を記憶部50に記憶保持する。
つまり、第1撮像画像の撮像結果に対してd(=d2−d1)の量だけ、ぼかし処理を施す。このぼかし処理を施した結果と第2撮像画像の撮像結果とを比較し、マッチング領域を抽出する。このマッチング領域はd2−d1=dの距離にある被写体の像となるので、測距演算部703は、第1撮像素子30‐1の位置b1及び第2撮像素子30‐2の位置b2、レンズ20のF値、及び、レンズ20の焦点距離fから、a3=b3f/(b3−f)、b3=1/2{(b2+b1)+Fd}の計算式を使って、マッチング領域における被写体までの距離を求め、このマッチング領域における画素位置の情報と被写体までの距離の値を記憶部50に記憶保持する。
続いて、第1撮像画像の撮像結果に対して2d(=d2−d1)の量だけ、ぼかし処理を施す。このぼかし処理を施した結果と第2撮像画像の撮像結果とを比較し、マッチング領域を抽出する。このマッチング領域はd2−d1=2dの距離にある被写体の像となるので、測距演算部703は、第1撮像素子30‐1の位置b1及び第2撮像素子30‐2の位置b2、レンズ20のF値、及び、レンズ20の焦点距離fから、a3=b3f/(b3−f)、b3=1/2{(b2+b1)+2Fd}の計算式を使って、マッチング領域における被写体までの距離を求め、このマッチング領域における画素位置の情報と被写体までの距離の値を記憶部50に記憶保持する。
このようにして、第1撮像画像の撮像結果に対する各撮像素子からのボケ径の差分Δdのn倍のぼかし処理を施した結果と第2撮像画像の撮像結果とのマッチング領域の抽出処理を、n=1,2,・・・,Nのようにnの値を順次インクリメントして、それぞれのマッチング領域における画素位置の情報と被写体までの距離の値を記憶部50に記憶保持する。結果として、第1撮像画像の撮像結果に対する各撮像素子からのボケ径の差分のn倍のぼかし処理を施した結果と第2撮像画像の撮像結果とのマッチング領域の抽出処理を、n回(n=0,1,2,・・・,N)繰り返すことで、d2−d1=ndの距離にある被写体の像について、レンズ20とその結像面との間の距離b3=1/2{(b2+b1)+ Fnd}を求め、続いて、レンズ20とその被写体までの距離a3=b3f/(b3−f)を求め、N個のレンズ20とその被写体までの距離のデータを得る。このNの値は、測距領域についてマッチング領域の抽出ができるまで(マッチング領域が見つからなくなるまで)の値とすることができる。
続いて、第1撮像画像の撮像結果と第2撮像画像の撮像結果を入れ替えて上記のマッチング領域の抽出処理を行う。つまり、測距演算部703は、第2撮像画像の撮像結果に対して所定のぼかし処理を施した状態で第1撮像画像の撮像結果との比較を所定のM回分行ったか否かを判定するループ処理を行う(ステップS16)。最初のループでは、第2撮像画像の撮像結果に対してぼかし処理を施しておらず(ステップS16:No)、ステップS17に移行する。
次に、測距演算部703は、第2撮像画像の撮像結果に対してボケ径dの差分の1倍(k=1)となる距離に相当するぼかし処理を実行し(ステップS17)、ステップS12,S13の処理を介して第1撮像画像の撮像結果に対するマッチング領域の抽出に伴い、このマッチング領域における画素位置の情報と被写体までの距離の値を記憶部50に記憶保持する。
つまり、第2撮像画像の撮像結果に対して−d(=d2−d1)の量だけ、ぼかし処理を施す。このぼかし処理を施した結果と第1撮像画像の撮像結果とを比較し、マッチング領域を抽出する。このマッチング領域はd2−d1=−dの距離にある被写体の像となるので、測距演算部703は、第1撮像素子30‐1の位置b1及び第2撮像素子30‐2の位置b2、レンズ20のF値、及び、レンズ20の焦点距離fから、a3=b3f/(b3−f)、b3=1/2{(b2+b1)−Fd}の計算式を使って、マッチング領域における被写体までの距離を求め、このマッチング領域における画素位置の情報と被写体までの距離の値を記憶部50に記憶保持する。
続いて、第2撮像画像の撮像結果に対して−2d(=d2−d1)の量だけ、ぼかし処理を施す。このぼかし処理を施した結果と第1撮像画像の撮像結果とを比較し、マッチング領域を抽出する。このマッチング領域はd2−d1=−2dの距離にある被写体の像となるので、測距演算部703は、第1撮像素子30‐1の位置b1及び第2撮像素子30‐2の位置b2、レンズ20のF値、及び、レンズ20の焦点距離fから、a3=b3f/(b3−f)、b3=1/2{(b2+b1)−2Fd}の計算式を使って、マッチング領域における被写体までの距離を求め、このマッチング領域における画素位置の情報と被写体までの距離の値を記憶部50に記憶保持する。
このようにして、第2撮像画像の撮像結果に対するボケ径の差分のk倍のぼかし処理を施した結果と第1撮像画像の撮像結果とのマッチング領域の抽出処理を、k=1,2,・・・,Mのようにkの値を順次インクリメントして、それぞれのマッチング領域における画素位置の情報と被写体までの距離の値を記憶部50に記憶保持する。結果として、第2撮像画像の撮像結果に対するボケ径の差分のk倍のぼかし処理を施した結果と第1撮像画像の撮像結果とのマッチング領域の抽出処理を、k回(k=0,1,2,・・・,M)繰り返すことで、d2−d1=−kdの距離にある被写体の像について、レンズ20とその結像面との間の距離b3=1/2{(b2+b1)−Fkd}を求め、続いて、レンズ20とその被写体までの距離a3=b3f/(b3−f)を求め、M個のレンズ20とその被写体までの距離のデータを得る。このMの値は、測距領域についてマッチング領域の抽出ができるまで(マッチング領域が見つからなくなるまで)の値とすることができる。
最終的に、測距演算部703は、レンズ20と測距領域の被写体との間の距離として求めたM+N個の測距値をその画素位置の情報とともに記憶部50から読み出し、記録表示制御部704により、スルー画像とともに表示部80に表示する(ステップS18)。また、制御部70は、撮像制御部702により、第2撮像素子30‐2に合焦させた撮影動作を行わせ、撮影画像を記憶部50に記憶し、記録表示制御部704により、この撮影画像とともに表示部80に表示する。尚、M+N個の測距値は、測距領域内に占められる被写体の距離分布となるので、表示部80への表示には、測距領域における大部分を占める測距値のみを表示するように構成してもよい。
これにより、本実施形態の多重フォーカスカメラ10は、レンズ20から被写体までの距離を計測するのに有機材料の光電変換膜を利用し、測距装置としての性能又は利便性を高めることができ、さらに、被写体の像を撮像するとともに、レンズ20から被写体までの距離を計測して撮影する画像と関連付けることができるようになる。
次に、有機光電変換膜を用いた撮像素子を作成し、第1撮像素子30‐1及び第2撮像素子30‐2に適用した実施例について説明する。尚、2つの実施例を順次説明するが、実施例1と実施例2とでは、レンズ20、第1撮像素子30‐1及び第2撮像素子30‐2の配置距離が異なるのみで、その他の構成は同一である。
(実施例1)
図6は、実施例1の多重フォーカスカメラ10における画素部300の画素構造を示す図である。光導電性有機材料の光電変換膜から光生成電荷を読み出すための信号回路を作製した。1画素を構成する図6に示す信号回路は酸化亜鉛薄膜トランジスタ(ZnO‐TFT)をスイッチング素子として採用し、無アルカリ基板(ガラス基板301)上に形成した。ガラス基板301として、石英、BK7、無アルカリガラス、ソーダガラス等のガラス材料などがあり、その他、ポリカーボネート、ポリメチルメタクリレート、ポリプロピレン、ポリスチレン、ポリサルフォン、又はポリエーテルサルフォン等の透明プラスチック材料で構成した透明基板としてもよい。
作製した酸化亜鉛薄膜トランジスタ(ZnO‐TFT)では、ガラス基板301上に設けたゲート電極308にSiN系ゲート絶縁膜302及びSiO系ゲート絶縁膜303を堆積し、さらに酸化亜鉛薄膜(ZnO)を形成した。酸化亜鉛薄膜(ZnO)の周囲をSiN系保護膜304で包囲し、エッチングしてドレインITO電極306及びソースITO電極309を形成し、さらにMoW合金の出力信号用電極307を形成してSiN系保護膜305で覆う構造とした。
次に、作製したZnO‐TFT回路上に光導電性有機材料の有機光電変換膜310としてキナクリドン薄膜を100nmの厚さで形成し、その上に対向ITO電極311を形成した。本実施例ではキナクリドン薄膜を用いているが、有機光電変換膜310としては、例えば、スチルベン誘導体、ベンゾキサゾール誘導体、縮合芳香族炭素環(ペリレン誘導体、アントラセン誘導体、テトラセン誘導体等)、メロシアニン誘導体、オキサジアゾール誘導体、ジアミン誘導体、チオフェン誘導体、PtやEu、Sn、Al、Ir、Zn等の金属錯体、DCM誘導体、アゾ系有機顔料、又は多環式系有機顔料(フタロシアニン類、キナクリドン類、ポルフィリン類等)等を用いることができる。各電極は、インジウム・スズ酸化物(ITO)で透明電極を形成する他、インジウム酸化物(IO)、インジウム・亜鉛酸化物(IZO)等の金属酸化物や、あるいは白金、金、銀、アルミニウム等の金属材料を5nm〜30nmと薄く堆積した透明又は半透明金属薄膜で構成することができる。
図6において、ソースITO電極309上に、有機光電変換膜310及び対向ITO電極311を堆積したことで、入射した光に相当する電荷を発生するフォトダイオード(PD)が形成される。フォトダイオード(PD)による発生電荷は、ゲート電極308の印加電圧でドレインITO電極306とソースITO電極309との通電が制御されることにより、出力信号用電極307を介して出力して取り出すことができる。したがって、ドレインITO電極306、ソースITO電極309及び対向ITO電極311は1画素毎に設けられる画素電極として機能させ、ゲート電極308を行選択信号電極として機能させ、出力信号用電極307を出力信号線に接続する電極として機能させることができる。
図6に示す画素部300を2次元平面上に配列して、図7に示す撮像素子30を形成することができる。図7において、各画素部300は、行選択線でシフトレジスタ400に接続され、出力信号線でアナログ‐デジタル(AD)コンバータ群500に接続される。シフトレジスタ400は、制御部70からの撮像制御信号SCで制御される。シフトレジスタ400で行選択信号を発生させて行を選択し、行選択線を介して接続される各画素部300のゲート電極308が制御されて、各画素部300におけるフォトダイオード(PD)を構成する有機光電変換膜310からの信号が出力信号線を介して読み出される。また、この読み出された信号は列毎に設けられたADコンバータからなるADコンバータ群500を介してデジタルデータ化され、撮影画像信号として出力される。撮像素子30の画素数は128列×96行の画素配列とし、1画素の大きさは100umで作製した。
本実施例では、撮像素子30、シフトレジスタ400及びADコンバータ群500からなる素子を、図1に示す第1撮像素子30‐1及び第2撮像素子30‐2のそれぞれに採用し、第1撮像素子30‐1及び第2撮像素子30‐2をレンズ20の光軸上に並べて撮像実験を行った。焦点距離50mmの単焦点レンズをレンズ20として使い、図8に示すように被写体Ob1、被写体Ob2及び被写体Ob3をレンズ20から4m,1m,2.3mの場所にそれぞれ配置した。被写体Ob3の距離を計測することを目的として、ここでは第1撮像素子30‐1は被写体Ob1に、第2撮像素子30‐2は被写体Ob2に合焦位置を合わせ、第1撮像素子30‐1及び第2撮像素子30‐2をレンズ20からそれぞれ、約50.6mm、約52.6mmの位置に配置した。この状態でレンズのF値を2として、第1撮像素子30‐1及び第2撮像素子30‐2で被写体Ob1、被写体Ob2及び被写体Ob3を撮像した。
次に、第1撮像素子30‐1による第1撮像画像の撮像結果にぼかし処理を繰り返し、第2撮像素子30‐2による第2撮像画像の撮像結果と比較したところ、第1撮像画像の撮像結果に対して5画素分のぼかし処理を行った場合に被写体Ob3の領域が良く一致した。ここで、5画素分は第1撮像素子30‐1の画素ピッチからボケ量として0.5mmに相当するとして求めることができる。d2−d1=0.5mmなので、前述の計算式から距離a3を求めたところ、a3=2322mm(2.322m)となり、実際の被写体Ob3の位置(=2.3mm)にほぼ近い値が得られた。また、距離a1,a2についてもb1,b2から計算したところ、a1=4216mm(4.216m)、a2 =1012mm(1.012m)となり、実際の被写体Ob1の位置(=4m)、被写体Ob2の位置(=1m)にほぼ近い値が得られた。
(実施例2)
実施例1と同様の第1撮像素子30‐1及び第2撮像素子30‐2、レンズ20、被写体Ob1、被写体Ob2及び被写体Ob3を用いて、撮像実験を行った。ただし、図9に示すように、第1撮像素子30‐1はレンズ20の焦点距離fに等しい位置(=50mm)に配置した。第1撮像素子30‐1による第1撮像画像の撮像結果にぼかし処理を繰り返し、第2撮像素子30‐2による第2撮像画像の撮像結果と比較したところ、第1撮像画像の撮像結果に対して7画素分のぼかし処理を行った場合に被写体Ob1の領域が良く一致した。ここで、7画素分は撮像素子の画素ピッチからボケ量として0.7mmに相当するとして求めることができる。d2−d1=0.7mmなので、前述の計算式から距離a1を求めたところ、a1=4216mm(4.216m)となり、実際の被写体Ob1の位置(=4mm)にほぼ近い値が得られた。また、第1撮像画像の撮像結果に対して6画素分のぼかし処理を行った場合に被写体Ob3の領域が良く一致した。ここで、6画素分は撮像素子の画素ピッチからボケ量として0.6mmに相当するとして求めることができる。d2−d1=0.6mmなので、前述の計算式から距離a3を求めたところ、a3=2322mm(2.322m)となり、実際の被写体Ob3の位置(=2.3mm)にほぼ近い値が得られた。距離a2についてもb2から計算することができ、a2 =1012mm(1.012m)となり、実際の被写体Ob2の位置(=1m)にほぼ近い値が得られた。
このように、第1撮像素子30‐1と第2撮像素子30‐2との画素サイズや画素数を同一にすることでぼかし処理の演算が容易になる。また、レンズ20の焦点距離fに相当する位置に第1撮像素子30‐1を配置することで、第1撮像素子30‐1の位置から第2撮像素子30‐2の位置までに結像面がある任意の被写体に対する距離計測が可能である。また、実施例では、特定の被写体に合焦位置を合わせた上で第1撮像素子30‐1と第2撮像素子30‐2の配置を決定する例を説明したが、多重フォーカスカメラ10において、撮影領域のうち遠方にある第1の被写体に第1撮像素子30‐1を合焦させ、近方にある第2の被写体に第2撮像素子30‐2を合焦させるオートフォーカス機構をさらに具備させることにより、第1の被写体と第2の被写体との間にある任意の被写体について計測を行うように構成することで、測距演算の速度を向上させることができる。また、このオートフォーカス機構の一部として、多重フォーカスカメラ10において、第1撮像素子30‐1と第2撮像素子30‐2の配置を調整するアクチュエータを設け、測距可能な領域を可変にするように構成することができる。或いはまた、物体の形状検査等で、被写体の距離範囲が所定範囲内で定まっている場合には、レンズ20の配置や焦点位置、第1撮像素子30‐1及び第2撮像素子30‐2の間隔を固定とすることができる。
上記の実施形態では特定の例について説明したが、本発明は上述の実施形態及び実施例に限定されるものではない。例えば、実施例では、第1撮像素子30‐1と第2撮像素子30‐2との画素サイズ及び画素数を同一にする例を説明したが、第1撮像素子30‐1と第2撮像素子30‐2のいずれか一方の撮像画像の結果からマッチング領域を抽出すればよいことから、第1撮像素子30‐1と第2撮像素子30‐2との画素サイズ及び画素数を必ずしも同一にする必要はない。さらに、第1撮像素子30‐1と第2撮像素子30‐2の双方を赤色光用、緑色光用、青色光用の画素でベイヤー配列した撮像素子としてもよい。