JP4354096B2

JP4354096B2 - 撮像装置

Info

Publication number: JP4354096B2
Application number: JP2000183315A
Authority: JP
Inventors: 圭一森; 英明吉田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2000-06-19
Filing date: 2000-06-19
Publication date: 2009-10-28
Anticipated expiration: 2020-06-19
Also published as: JP2002010126A

Description

【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ等の撮像素子を用いた撮像装置に係わり、特に画像ぼかしの機能を有した撮像装置に関する。
【０００２】
【従来の技術】
ビデオカメラなどの撮像装置は従来より広く利用されており、近年主として静止画を撮像記録する電子スチルカメラも特にデジタルカメラとして普及するに至っている。
【０００３】
ところで、電子撮像装置が使用する撮像素子のイメージエリアは銀塩フィルムの代表的フレームフォーマットであるライカ版（ダブルフレーム）は勿論、ハーフサイズ（シングルフレーム）やＡＰＳ（Advanced Photo System）に比しても極めて小さいのが通例である。これは、半導体製造歩留まり向上の要請から生じる必然的状況である。そして、撮像光学系の縦倍率は横倍率の２乗に比例するため、同画角における被写界深度は、他の条件が同じ時にはイメージエリアサイズが小さければ小さいほど深くなる。このため、電子撮像装置によって得られた画像は、銀塩カメラによって得られた画像に比して極めてパンフォーカス的印象の画像になり、いわゆるポートレート撮影等には不向きとなり易い問題があった。
【０００４】
この問題に対処するために、画像処理技術を利用することが考えられる。即ち、フィルムカメラにおけるポートレート撮影は中望遠レンズを使用し人物に対して背景を大きくぼかすことによって達成されると考えれば、被写体領域によって異なる処理を行って背景だけをぼかすことができれば、フィルムカメラ類似のポートレート効果を持つ画像が得られる可能性がある。このような技術として本出願人は、操作者が領域指定した「背景領域」に対して所定のローパスフィルタ処理を施す方法を既に提案している（特開平１０−２０３９２号公報：第１の従来技術）。
【０００５】
また、特開平１１−３５５６２４号公報（第２の従来技術）には、「複数の撮影ユニットで撮影して得られた画像から奥行き分布情報を抽出し、奥行きの値に基づいて特定の距離以外の部分（例えば、背景に相当する部分）にぼかしなどの特殊効果処理を与えて主要被写体を強調する。」という技術が示唆的に記載されている。
【０００６】
【発明が解決しようとする課題】
第１の従来技術は、「背景領域」に対してローパスフィルタ処理を施すものであるから、
（１）主要被写体はぼけない
（２）背景には一律なぼけが与えられる
ものである。
【０００７】
しかし、現実の写真撮影におけるぼけはこのようなものではない。即ち、主要被写体も、また背景もそれぞれ（一般には）立体的な構造を有したものであり、それ自体が奥行きに応じて連続的に生じるぼけを伴うものである。例えば、ポートレート撮影における人物のアップを考えると、瞳（又は睫毛）にピントが合って、頬の輪郭部は浅い被写界深度によってややぼけるようになっていることによって、よりリアルな（写実的な）効果が得られるものである。
【０００８】
従って、第１の従来技術を単純に適用すると、現実の画像のぼけと上記（１）（２）のような処理上の特徴との乖離が目立ち、たとえて言えば人物写真と背景写真を看板状にして舞台に立てた如き「書き割り的画像」、或いはいかにも切り貼りで作った如き「コラージュ的画像」のような不自然さを有した画像となってしまうという問題点があった。
【０００９】
また、言うまでも無く主要被写体領域と背景領域とを個別に認識する必要があるため、このための特段の手段を必要とする上、もしも誤認識が発生した場合には例えば主要被写体に対して背景相当の大ぼけが発生するなど画質が破綻してしまう、という極めて大きな問題を含むものであった。
【００１０】
一方、第２の従来技術には上記した「」部の示唆的記載以外に具体的な技術開示が全くなく、
（３）どのようにして画像の奥行き分布を求め得るのか
（４）どのようなボカシを、どのようにして与えればよいのか
は一切不明である。
【００１１】
（３）に関して詳述すれば、この第２の従来技術は、撮像装置本体に内蔵の撮像系とは別個の外部付加撮像系を併せ用いることを主眼とするもので、この「複数の撮影ユニットで撮影して得られた画像から奥行き分布情報を抽出」という記述があり、また立体撮像への適用も記載されていることから２つの撮像系の「視差」を利用し得ることは示唆されているとも言えるから、２像の視差を解析することによる測距（三角測距）の利用は一応当業者の考え得る範囲であるかもしれない。しかし、この２像比較による三角測距はパターンマッチング（像相関演算）の手法を用いるから、一般にはある程度以上の面積の測距エリアを前提にして初めて適用可能なものであり、その領域分解能はあまり高くないものである。従って、被写体の奥行きに応じたぼけを連続的に生じることによりリアルな画像を得るような目的には原理的に分解能が不足し実用的ではない。このように（３）に関しても記載はあくまでも技術的可能性の示唆に止まり、実施可能なレベルでの技術開示としての記載は皆無である。
【００１２】
また、（４）に関して詳述すれば、この第２の従来技術では唯一その処理の例として「特定の距離以外の部分（例えば、背景に相当する部分）にボカシなどの特殊効果処理を与えて主要被写体を強調する」と述べているのみであり、これも具体的実施技術の開示を伴わない単なる指針的な技術的可能性の示唆に止まるばかりでなく、ここに示された内容自体は第１の従来技術の類例に過ぎない。従って、少なくとも第１の従来例と同様の問題点を有するものと言うことができる。
【００１３】
本発明は、上記事情を考慮して成されたもので、その目的とするところは、現実の被写体を所定の撮像系（例えば銀塩カメラ）で撮影した時と同等のぼけ特性を有した撮像を実現することにあり、より具体的には、主要被写体と背景等の弁別を必要とすることなく、被写体の奥行きに応じたぼけを連続的に生じることによりリアルな画像を得ることが可能な撮像装置を提供することにある。
【００１４】
【課題を解決するための手段】
（構成）
上記課題を解決するために本発明は次のような構成を採用している。
【００１５】
即ち本発明は、デジタルカメラやビデオカメラ等の撮像装置において、被写体像の焦点深度が異なる複数の撮像光学系と、これらの撮像光学系で得られる各被写体像をそれぞれ光電変換する撮像素子と、前記撮像素子の出力信号たる前記各被写体像に対応した複数の画像信号を処理する信号処理手段と、前記複数の画像信号のコントラスト成分を比較することにより前記被写体像に関する相対的ぼけ情報たる深度情報を得る深度認識手段とを有したことを特徴とする。
【００１６】
ここで、本発明の望ましい実施態様としては次のものが挙げられる。
【００１７】
(1) 信号処理手段は、深度認識手段の認識結果に基づいて撮像素子より得られた画像信号のフィルタリング特性を制御するものであること。
【００１８】
(2) 信号処理手段は、画像信号のフィルタリング特性の制御を最終生成画像の想定撮像系と実撮像系の画枠寸法の比率に基づいて行うものであること。
【００１９】
(3) 深度情報は、撮像領域の各点に対応する部分領域に関する複数の画像のコントラスト成分の比情報であり、信号処理手段は該情報に基づいて当該各点に適用する局所的ローパスフィルタのカットオフ周波数を制御すること。
【００２０】
(4) 複数の撮像光学系は、少なくともその入射側光学系を共用すると共に該共用光学系からの光線を複数の被写体像に分岐するための分岐光学系を有した１眼光学系により構成されたものであること。
【００２１】
(5) 撮像素子の数は１つであり、複数の撮像光学系は、１つの撮像素子の有効画面上に設定された相異なる複数の撮像画枠に対して各被写体像を結像するように構成され、複数の画像信号は、１つの撮像素子の１画面分の出力信号に含まれる複数の撮像画枠に対応する各部分画像信号であること。
【００２２】
(6) 撮像素子の数は複数であり、複数の撮像光学系の光学的構成は、撮像光軸の屈曲及びＦ値に係わる要素を除いては同一のものであること。
【００２３】
（作用）
本発明によれば、例えば開放と絞込みの２画像（より具体的には、Ｆ２とＦ４の２画像）など、深度の異なる複数の撮像光学系から得た複数の撮影画像から相対的なぼけ情報（深度情報）を得て、これに基づいた可変フィルタ処理により画像ぼかしを行う。
【００２４】
上記深度情報により、各被写体部分のレンズ合焦距離からのずれに相当する情報が得られるから、これに応じて各被写体部分の距離ずれに応じて（距離ずれが大きいほどより大きなぼけを生じるように）ローパスフィルタを可変制御することができる。これにより、任意の想定光学系（撮像系）に対して、被写体各部までの距離に応じて生じるぼけ、即ち現実の被写界において奥行きに応じて連続的に生じるぼけを伴うリアルな撮影画像を得ることが可能となる。
【００２５】
また特に、複数の撮像光学系の入射光学系を共通化したいわゆる一眼光学系とすることで、複数の光学系に視差を生じないので、視差に起因する誤動作による画質破綻を生じることがない。さらに、複数の撮像光学系による複数の被写体像を１つの撮像素子の有効画面上に設けた複数の画枠によって受けることによって、複数の撮像素子が不要になるから、カメラの構成を単純化することができ、小型化・低価格化が実現できる。
【００２６】
【発明の実施の形態】
以下、本発明の詳細を図示の実施形態によって説明する。
【００２７】
図１は、本発明の一実施形態に係わるデジタルカメラの概略構成を示すブロック図である。
【００２８】
図中１０１は各種レンズからなるレンズ系、１０２はレンズ系１０１を駆動するためのレンズ駆動機構、１０３はレンズ系１０１の絞りを制御するための露出制御機構、１０４はフィルタ、１０５は色フィルタを内蔵したＣＣＤカラー撮像素子、１０６は撮像素子１０５を駆動するためのＣＣＤドライバ、１０７はＡ／Ｄ変換器等を含むプリプロセス回路、１０８は色信号生成処理，マトリックス変換処理，その他各種のデジタル処理を行うためのデジタルプロセス回路、１０９はカードインターフェース、１１０はＣＦ等のメモリカード、１１１はＬＣＤ画像表示系を示している。
【００２９】
また、図中の１１２は各部を統括的に制御するためのシステムコントローラ（ＣＰＵを主構成要素として含む）、１１３は各種ＳＷからなる操作スイッチ系、１１４は操作状態及びモード状態等を表示するための操作表示系、１１５はレンズ駆動機構１０２を制御するためのレンズドライバ、１１６は発光手段としてのストロボ、１１７はストロボ１１６を制御するための露出制御ドライバ、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００３０】
本実施形態のデジタルカメラにおいては、システムコントローラ１１２が全ての制御を統括的に行っており、特に露出制御機構１０３に含まれるシャッタ装置と、ＣＣＤドライバ１０６によるＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行い、それをプリプロセス回路１０７を介してデジタルプロセス回路１０８に取込んで、各種信号処理を施した後にカードインターフェース１０９を介してメモリカード１１０に記録するようになっている。なお、ＣＣＤ撮像素子１０５は、従来例と同一のものであり、例えば縦型オーバーフロードレイン構造のインターライン型である。
【００３１】
ここまでの基本構成は従来装置と同様であるが、本実施形態では、レンズ系１０１と撮像素子１０５との間に分岐光学系１２０を設け、同一の被写体像が撮像素子１０５の異なる領域に結像されるようにしている。即ち、本実施形態の撮像光学系は、入射側光学系を共用すると共に該共用光学系１０１からの光線を複数の各被写体像に分岐するための分岐光学系１２０を有する１眼光学系となっている。
【００３２】
本実施形態の１眼光学系の詳細を、図２（ａ）に示す。これはいわゆる１眼レフレックス光学系であって、共通光学系である主レンズ１０１の後ろにハーフミラー２０１による分岐光学系があり、透過側（共通系と合わせて第１の光学系）と反射側（共通系と合わせて第２の光学系）を分岐している。透過側の光線は分岐後所定距離後方に被写体像の第１の結像面を生じる。また、反射側の結像面にはフィールドレンズ２０２が配置され、さらにミラー２０３及び絞り２０４を介して再結像レンズである等倍のリレーレンズ２０５が配置され、第１光学系の結像面と同一平面上に第２光学系の被写体像を等倍率で結像するように構成されている。
【００３３】
主レンズ１０１のＦ値は２であり、従って第１光学系のＦ値は２である。これに対して、第２光学系のＦ値は絞り２０４によって４に制限されている。なお、主レンズ１０１には必要に応じてフォーカシング機能やズーム機能を含むものである。なお、第２光学系のＦ値を除いた結像特性はリレーレンズによって若干の影響を受けるが、第１光学系の特性との差が無視できる程度以下に揃えられているものとする。つまり、第１光学系をＦ４まで絞った場合の結像特性と第２光学系の結像特性はほぼ同じとなっている。
【００３４】
ハーフミラー２０１の透過／反射率は１：４に設定されている。従って、絞り２０４による光量制限と合わせて両光学系の像面照度は等しいものとなる。第１及び第２の２つの結像面の被写体像をそれぞれ受ける想定画枠は、同一平面上で隣接するように配置されており、従ってイメージサークルのオーバラップが生じるために、これを防止するためのセパレータ（遮光部材）２０６も配置されている。
【００３５】
ＣＣＤ撮像素子１０５は、このような隣接する２つの想定画枠を合わせた合成画枠の被写体像を、有効撮像面一杯でカバーするように配置されており（即ち、２画面分の大きな有効画面を有している）、各被写体像はこの撮像素子１０５を公知の方法で駆動することによって読み出される。
【００３６】
この例の場合は第２光学系の被写体像は倒立像（実際には第１光学系が倒立像、第２光学系が正立像であるが、通常の撮像系では倒立像を基準に後段の処理が行なわれることを考慮した相対的な表現である）となるが、後段の信号処理では例えばこれを正立させるための回転処理（これは例えば公知のメモリの読み書きアドレス制御等によって容易に行うことができる）を施してから処理すれば何の困難も生じない。また、後述の図２（ｂ）のように第２光学系の被写体像が鏡像になるような場合も、同様に、鏡像を原像に復元するための反転処理を施せば良いから、以下の説明においては必要に応じてこのような回転処理や反転処理等が施されていることを暗黙に想定し、これに関する説明は省略する。
【００３７】
なお、この図２（ａ）のような構成は必須ではなく、図２（ｂ）（ｃ）のような構成としても良い。但し、図２（ｃ）のような２眼光学系の場合は、２つの画像が視差を有するため視差の影響が顕著な部分では後述するコントラスト信号の非演算において、原画像が異なるため本来とは異なる演算結果を生じ、画質に悪影響を与えるおそれがある。この観点からは（ａ）（ｂ）のような１眼レフレックス方式に代表される１眼光学系が望ましい。
【００３８】
また、（ｂ）（ｃ）のように各光学系（撮像系）に個別の撮像素子をそれぞれ１つずつ計２個使用したものは、各光学系の全長（入射レンズから光電変換面までの光軸に沿った距離）を等しく構成することができるから、２つの光学系の光学的な構成を同一にすることができ、これによって、使用する光学系の構成に拘わらず両光学系の結像特性を（Ｆ値を除いて）完全に同一にすることが容易にできるという極めて大きな特徴を有している。なお、この場合、一方はミラー反射により光軸が屈曲した上さらに絞りで光線光が制限されており、他方はハーフミラーを透過しているという点では異なっているが、この点は本方式にとって必然的に生じている相違点であり、その点を別にした構成の同一を意味することは言うまでもない。
【００３９】
これに対して本実施形態の主形態として採用した（ａ）は、上記したように、各光学系の結像特性（Ｆ値を除く）は僅かに異なる可能性があるが、ただ１つの撮像素子を使用している。従って、小型化や低価格化に有利であることは勿論、複数の撮像素子の特性ばらつきの影響を受けないと言う点でも極めて優れた特徴を有しているものである。
【００４０】
また、本実施形態では後述するように、コントラスト算出領域に対してコントラスト成分を算出するためのコントラスト算出手段、該手段の算出結果に基づいて画像の各点に対して重み付け平均演算を行うローパスフィルタ手段を備えている。そして、これらの各手段により、画像ぼかしを行うようになっている。
【００４１】
ここで、コントラスト算出手段及びローパスフィルタ手段を説明する前に、まず本発明の理論的裏付け（幾何光学的考察）を説明する。
【００４２】
撮像光学系の縦倍率は、図３に示すように、被写体側のある２つの点Ｐ，ＱがそれぞれＰ’，Ｑ’に結像されるとすると、距離Ｐ’Ｑ’と距離ＰＱの比で定義される。そして、この縦倍率は焦点距離の２乗に比例する。撮像画面サイズが異なる場合の等画角条件は、図４に示すように、焦点距離ｆがサイズＷ（１次元）に比例することだから、等画角等Ｆ値撮影においては、同じ距離（ベストピント距離から等しいずれ）にある被写体のぼけ度合（錯乱円の画面サイズに対する相対値）は画面サイズにほぼ比例して大きくなる。錯乱円の大きさδは図５に示すように、被写体がベストピントの位置にあるときは微小点であり、ピントがずれるに従い大きくなり、δ＝ｄ・Ａ／ｆ＝ｄ／Ｆ（Ａ：開口径、ｄ：デフォーカス量）で求められる。
【００４３】
例えば、標準的な３５ミリ版（３６×２４）では、対角長４３．３ミリ、２／３インチと呼称される撮像素子の有効画面サイズは対角約１１ミリ前後だから、サイズ比は約４倍。等画角では焦点距離も４倍の関係にある。同じ被写界距離ずれの場合、像面の結像位置ずれ（即ちデフォーカス量）は縦倍率が焦点距離の２乗に比例するから４²＝１６倍になり、従って錯乱円径は（等Ｆの場合デフォーカス量に比例するから）１６倍になる。但し、画面サイズは４倍だから、相対的には１６／４＝４倍の錯乱円径ということになる。
【００４４】
つまり、同じ撮影条件（等画角等Ｆ）の場合には撮像した画像に生じているピントぼけの４倍のぼけを与えれば良いというのが基本的なねらいとなる。しかし、４倍といっても各部分の距離分布が未知であるから、元々どの程度のピントぼけが生じているのか不明であって、単純には実現できない。画像信号を解析してぼけ状態を調べようと思っても、原画像（被写体）周波数成分は未知であるから基本的には不可能である。
【００４５】
ここで、被写体の周波数成分が均一に分布していることを仮定すれば、以下の推定が可能となる。具体的には、例えば開放（Ｆ２）と絞込み（Ｆ４）の２画像を撮影して、着目する領域毎の（局所的な）コントラスト比を算出する（コントラストＣ（Ｆ２），Ｃ（Ｆ４））。
【００４６】
通常の撮像レンズを用いた撮像系では、図６に示すように、コントラストはインフォメーションボリウム（周波数を横軸に採って描いたレスポンスカーブの下側面積）に相当し、従って近似的にカットオフ周波数に比例する。またこのカットオフ周波数は錯乱円径の逆数に対応する。図６はベストピント状態およびベストピントから所定のずれがある場合のレンズ（または撮像系）のレスポンスカーブを示しており、図中のハッチング部分がＦ２の場合のインフォメーションボリウム（ＩＶ）、上向きの矢印はカットオフ周波数である。
【００４７】
錯乱円径は、前記図５に示すように、δ＝ｄ／Ｆ（ｄはデフォーカス量）で求められるから、デフォーカス量が同じであれば、
δ（Ｆ２）＝２×δ（Ｆ４）
である。これを変形すれば
δ（Ｆ２）−δ（Ｆ４）＝δ（Ｆ４）−０
とも書ける。ここでこの式の意味を像の広がりの外縁（即ち錯乱円の径）だけに着目して解釈すれば、着目する任意のデフォーカスｄ＝ｄｘにおいて「Ｆ４からＦ２に開くことによって生じる追加のぼけ」（左辺に相当）は、「絞りＦ＝４においてｄ＝０（ベストピント位置）からｄ＝ｄｘまでデフォーカスした場合に生じるぼけ」（右辺に相当）と等しいことになる。この様子を図７に示す。
【００４８】
ここで、上記知見を現実のデジタルカメラ撮像系において直接測定（算出）可能な量である前述の局所画像コントラストに対応付けるとすれば、実空間におけるぼけの重ね合わせ（加算）は周波数空間ではレスポンス（コントラスト）の乗算に対応すること、及び錯乱円径（空間長さ）は空間周波数と逆数関係にあることなどを考慮して、上式の左辺相当が「Ｆ４の画像に対して、Ｆ２に開くことによって生じるぼけ（レスポンス低下）をさらに含んだＦ２の画像におけるコントラストをＦ４のコントラストを基準にして相対的に評価する」意味をもつコントラスト比Ｃｄ（Ｆ２）／Ｃｄ（Ｆ４）であり、右辺相当が「ベストピントの画像に対して、（Ｆ４において）デフォーカスによって生じているぼけ（レスポンス低下）を含んだＦ４の画像におけるコントラストをベストピントのコントラストを基準にして相対的に評価する」意味をもつコントラスト比Ｃｄ（Ｆ４）／Ｃｄ（ＢＰ）ということになる。（ただしＦ４においてｄ＝ｄｘにおけるコントラストをＣｄ（Ｆ４）、Ｆ２においてｄ＝ｄｘにおけるコントラストをＣｄ（Ｆ２）仮想的なベストピントのコントラストをＣｄ（ＢＰ）としている。）
図８は、デフォーカスとコントラストとの関係を示す図であり、図７に示した錯乱円の関係に相当するものである。
【００４９】
さて上記考察より、上記錯乱円の関係式に対応するコントラストの関係式は
Cd(F2)/Cd(F4) = Cd(F4)/Cd(BP)
であるから
Cd(F4) = {Cd(F2)/Cd(F4)}×Cd(BP)
となり、この｛｝を「ベストピント状態におけるコントラストに対する劣化度合を表わす係数」と見做してコントラスト劣化係数：Ｒｄ（Ｆ４）とする（記号は以下同様に使用）。
【００５０】
Ｆ２では錯乱円径、即ちぼけが２倍だから

仮想的な３５ミリフィルムカメラ（以下これに関する記号については添字ｆで表現する）ではぼけ４倍であったから

と求めることができる。
【００５１】
但し、上記はベストピントを基準にとった場合の係数になっている。実際に利用可能な画像はＦ２（Ｆ４でも可だが）でのデフォーカスを既に含んだ画像であることも考慮に入れると

なお、上記で、Ｆ２を任意のＦとしたとき、Ｆ４を２×Ｆとして一般性を失わない。
【００５２】
上記の考察に基づいて本実施形態では、図１０のような構成をシステムコントローラに付加している。即ち、撮像素子１０５で得られる画像を一時的に記憶する２つのバッファメモリ９１１，９１２、２つの画像を基にそれぞれコントラスト算出領域でコントラスト成分を算出するコントラスト値検出部（コントラスト算出手段）９２１，９２２、２つのコントラスト成分の比を算出するコントラスト比算出部９３０、コントラスト比とローパスパラメータとの関係を記録する参照テーブル９４０、画像に対してぼけを与えるローパスフィルタ手段９５０が設けられている。
【００５３】
ここで、コントラスト算出領域とは、画像の各点（代表点）に対し、これを中心とする近傍領域（例示９×９）を設定したものである。各点に対して設定するから各領域はオーバーラップする。その領域に関する算出値は代表点に関する値となる。
【００５４】
コントラスト値検出部では、各領域に対して、コントラスト成分を算出する。コントラスト成分は、領域に関する交流成分である。ＦＦＴ，ＤＣＴ等の公知の周波数解析手法により周波数分離し、ＤＣ成分以外、即ち全ＡＣ係数の加算値をコントラスト成分とする。なお、演算を簡略化するために精度の劣化を許容すれば、単に領域内のＰＰ値をもってコントラスト成分としてもよい。
【００５５】
ローパスフィルタ手段は、画像の各点（代表点）に対し、入力画像情報の重み付け加算平均演算を行い、結果をその点の出力値とする。理想的には同心円状の連続的な重み付け係数を有した２次元ガウス型となるが、ここでは簡単のため相対重みが中心で１、半径Ｌ（即ち直径２Ｌ）で０になるような円錐型の重みを持ったフィルタ特性（Ｌが可変パラメータ）とする。このフィルタにおいては概ね相対重みが１／２〜０になる点が上記錯乱円に対応する。なお、必要に応じて、Ｌの最大値に適当に制限をかける。Ｌの最大値をＬｍａｘとする。
【００５６】
一方、実際の系ではレンズや従来の信号処理回路によって、総合的な帯域特性（ベストピント状態におけるインフォメーションボリウム≒コントラスト）が決まるから、どのような関数形のローパスフィルタを用いても、コントラスト比との一意的な対応関係は単純には決まらない。そこで、別途この撮像系におけるコントラスト比とローパスパラメータＬとの関係を求めておく。
【００５７】
即ち、例えばステップチャートなどの広帯域画像を被写体に用い、このカメラの撮像系でベストピント状態（望ましくはかつ最良解像度が得られるＦ値）で撮像した状態で、上記ローパスフィルタ手段を作用させ（作用させない場合はローパスパラメータＬ＝０とする）、Ｌ＝０を含む所定の複数のＬ＝Ｌｘにおけるコントラスト測定値Ｃｄ（Ｌ＝Ｌｘ）を求める。これらをＣｄ（Ｌ＝０）で除して規格化したものを、コントラスト劣化関数Ｒ（Ｌｘ）とする。なお、演算処理上の破綻を回避するために、Ｒ（Ｌｍａｘ）＝０としておく。そして、図９に示すような関数テーブルを作成し、これを記憶手段、例えばＥＥＰＲＯＭ１１８に格納しておく。
【００５８】
次に、本実施形態における動作を、図１１のフローチャートを参照して説明する。例えばＦ２での撮影の場合、以下のシーケンスが自動実行される。
【００５９】
（Ｓ１）測定結果に基づいた適正シャッタ速で画像を撮影、画像信号を読み出して通常の信号処理方法に従って処理し、第１画枠の画像を第１のバッファメモリ９１１に格納し、第２画枠の画像を第２のバッファメモリ９１２に格納する。
【００６０】
（Ｓ２）各画素（領域）に関して各々のコントラスト値検出部９２１，９２２でコントラスト値を求める。これにより、第１画像についてはＣｄ（Ｆ２）（ｉ,ｊ）、第２画像についてはＣｄ（Ｆ４）（ｉ,ｊ）が求まったことになる。
【００６１】
（Ｓ３）各画素毎に、次式でコントラスト比を演算する。
【００６２】
Ｒｄ(F4)(i,j)＝Ｃｄ(F2)(i,j)／Ｃｄ(F4)(i,j)
（Ｓ４）最終生成する（仮想フィルムカメラ等価の）フィルタ特性は第１画像（Ｆ２）を基準にして｛Ｒｄ（Ｆ４）｝⁶であるから、各点に関して｛Ｒｄ（Ｆ４）（ｉ,ｊ）｝⁶を算出する。これをＲと見做して上記コントラスト劣化関数に参照（必要に応じて補間参照）し、対応するローパスパラメータＬ（ｉ,ｊ）を算出する。
【００６３】
（Ｓ５）第１画像のデータを入力画像として、ローパスフィルタ手段９５０によりローパスフィルタ処理を行う。（ｉ,ｊ）出力画素の処理に際してはローパスパラメータＬ（ｉ,ｊ）を使用する。
（Ｓ６）最後に、処理後の出録画像を記録する。
【００６４】
このように本実施形態によれば、主要被写体と背景とを弁別することなく、被写体の各部分に対して仮想的な等画角等Ｆのフィルムカメラで生じるぼけとほぼ同等のぼけを有したリアルな画像を得ることができる。コントラスト比を算出するところでコントラスト値が所定値より小さい場合は、演算誤差やノイズの影響が拡大する畏れがある。これを回避するためには種々の策が取りうるが、一例として、分子分母に所定のオフセット値を加算する／分母が所定値より小さい場合は演算結果を１とする（即ちローパスフィルタを作用させない）などが挙げられる。
【００６５】
なお、本発明は上述した実施形態に限定されるものではない。実施形態では、考察を容易にするため被写体の周波数成分が均一であることを仮定したが、当該コントラスト算出領域において実際の被写体の周波数成分が限られた帯域の場合であっても、「その帯域に関するぼけの度合」が検出され、その度合に応じたローパス処理が行われることになるから、上記仮定が成り立たない一般の被写体に適用しても実施形態は同様に効果を発揮する。
【００６６】
また、実施形態では想定撮像系を３５ミリ版銀塩フィルムカメラとしたが、上記においてはただ画面サイズの違いのみに基づく考察、処理しか条件にしてないから、銀塩フィルムと電子撮像系などの方式を問わず、画面サイズが異なる等画角撮影一般に適用可能であることは明らかである。実撮影系の画面サイズも任意である。上記では画面サイズ比４倍を根拠にＲｆ（Ｆ２）＝Ｒｄ（Ｆ２）⁴としたが、これが任意のｍ倍ならＲｆ（Ｆ２）＝Ｒｄ（Ｆ２）^mとして適用すればよい。
【００６７】
また、「等画角、等Ｆの想定光学系同等のぼけを得る」に留まらず、ぼかし具合（即ち想定条件）を任意に変えてもよい。この場合も、深度の異なる複数の光学系を用いた複数の撮像系によって実写によって得られた複数の画像情報から被写体の各部の深度に関する情報を取得し、それを利用して各部に異なるぼけを与えるから、画像のリアルさは保たれる。
【００６８】
また、開放をＦ２、第１画像をＦ２、第２画像をＦ４などはいずれも例示であり、任意に変更適用できる。第１画像と第２画像の撮影は、比較のため同等の露出レベルとする必要があるが、それは上記例（等板面照度）に限らず、種々の方法を用いることができるものであり、例えばハーフミラーの透過／反射率を１：１とし、第２光学系側をゲインアップしても良いし、或いは２つの系にそれぞれシャッタ（メカシャッタや撮像素子が複数の場合は素子シャッタを含む）を設け、露出時間を異ならしめることで両系の露出値を等しくしても良い。また、適用対象は、スチルカメラ，ムービーカメラの別を問わない。第１画像と第２画像を同時撮像しているから、特にムービーカメラへの適用に関しても何ら特段の技術を要することなく極めて容易である。その他、本発明の要旨を逸脱しない範囲で、種々変形して実施することができる。
【００６９】
【発明の効果】
以上詳述したように本発明によれば、撮像素子より得られた複数の異なる焦点深度の被写体像に対応する画像信号を比較することにより画像信号に関する深度情報を得、その認識結果に基づいて画像信号のフィルタリング特性を制御することによって、任意の想定光学系（撮像系）に対して、被写体各部までの距離に応じて生じるぼけ、即ち現実の被写界において奥行きに応じて連続的に生じるぼけを伴うリアルな撮影画像を得ることができる。また、２画像を同時に撮像することから、撮像タイミングのずれに起因する不具合を防止することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わる電子カメラの概略構成を示すブロック図。
【図２】本実施形態に用いた１眼光学系の例を示す図。
【図３】撮像光学系の縦倍率の定義を説明するための図。
【図４】焦点距離と画面サイズとの関係を示す図。
【図５】デフォーカスと錯乱円との関係を示す図。
【図６】空間周波数と相対レスポンスとの関係を示す図。
【図７】デフォーカスと錯乱円との関係を示す図。
【図８】デフォーカスとコントラスト比との関係を示す図。
【図９】ローパスパラメータＬとコントラスト劣化関数Ｒとを関係付けた関数テーブルを示す図。
【図１０】本実施形態におけるぼかし制御のための構成を示すブロック図。
【図１１】本実施形態における動作を説明するためのフローチャート。
【符号の説明】
１０１…レンズ系
１０２…レンズ駆動機構
１０３…露出制御機構
１０４…メカシャッタ
１０５…ＣＣＤカラー撮像素子
１０６…ＣＣＤドライバ
１０７…プリプロセス部
１０８…デジタルプロセス部
１０９…カードインターフェース
１１０…メモリカード
１１１…ＬＣＤ画像表示系
１１２…システムコントローラ（ＣＰＵ）
１１３…操作スイッチ系
１１４…操作表示系
１１５…レンズドライバ
１１６…ストロボ
１１７…露出制御ドライバ
１１８…不揮発性メモリ（ＥＥＰＲＯＭ）
２０１…ハーフミラー
２０２…フィールドレンズ
２０３…ミラー
２０４…絞り
２０５…リレーレンズ
２０６…セパレータ（遮光部材）
９１０…バッファメモリ
９２０…コントラスト値検出部
９３０…コントラスト比算出部
９４０…参照テーブル
９５０…ローパスフィルタ手段

Claims

被写体像の焦点深度が異なる複数の撮像光学系と、これらの撮像光学系で得られる各被写体像をそれぞれ光電変換する撮像素子と、前記撮像素子の出力信号たる前記各被写体像に対応した複数の画像信号を処理する信号処理手段と、前記複数の画像信号のコントラスト成分を比較することにより前記被写体像に関する相対的ぼけ情報たる深度情報を得る深度認識手段とを有したことを特徴とする撮像装置。
前記信号処理手段は、前記深度認識手段の認識結果に基づいて前記撮像素子より得られた画像信号のフィルタリング特性を制御するものであることを特徴とする請求項１記載の撮像装置。
前記信号処理手段は、前記画像信号のフィルタリング特性の制御を最終生成画像の想定撮像系と実撮像系の画枠寸法の比率に基づいて行うものであることを特徴とする請求項２記載の撮像装置。
前記深度情報は、撮像領域の各点に対応する部分領域に関する前記複数の画像のコントラスト成分の比情報であり、前記信号処理手段は該情報に基づいて当該各点に適用する局所的ローパスフィルタのカットオフ周波数を制御することを特徴とする請求項２又は３に記載の撮像装置。
前記複数の撮像光学系は、少なくともその入射側光学系を共用すると共に該共用光学系からの光線を複数の被写体像に分岐するための分岐光学系を有した１眼光学系により構成されたものであることを特徴とする請求項１〜４の何れかに記載の撮像装置。
前記撮像素子の数は１つであり、前記複数の撮像光学系は、前記１つの撮像素子の有効画面上に設定された相異なる複数の撮像画枠に対して前記各被写体像を結像するように構成され、前記複数の画像信号は、前記１つの撮像素子の１画面分の出力信号に含まれる前記複数の撮像画枠に対応する各部分画像信号であることを特徴とする請求項１〜５の何れかに記載の撮像装置。
前記撮像素子の数は複数であり、前記複数の撮像光学系の光学的構成は、撮像光軸の屈曲及びＦ値に係わる要素を除いては同一のものであることを特徴とする請求項１〜５の何れかに記載の撮像装置。