図1は本発明の撮像装置としての実施例1であるカメラシステムの構成を示す。図1のカメラシステムは、複数の撮影レンズが交換可能なカメラとその撮影レンズからなる。図1において、本実施例1のカメラシステムはカメラ100とカメラ100に交換可能に装着される撮影レンズ300で構成されている。まずはじめに、カメラ100側について詳細を説明する。
カメラ100は、複数種類の撮影レンズ300が存在するカメラシステムに対応しており、同一種類のレンズでも製造番号が異なるものが装着可能である。さらには焦点距離や開放Fナンバーが異なる、もしくはズーム機能を備えるなどの種類の異なる撮影レンズ300も装着可能で、同種、異種の撮影レンズに関わらず交換可能な構成となっている。
このカメラ100において、撮影レンズ300を通過した光束は、カメラマウント106を通過し、メインミラー130により上方へ反射され光学ファインダ104に入射する。光学ファインダ104により、撮影者が被写体を光学像として観察しながら撮影することが出来る。そして、光学ファインダ104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が備えられている。
メインミラー130は半透過性のハーフミラーで構成され、メインミラー130に入射する光束のうち一部の光束はこのハーフミラー部を通過して、サブミラー131により下方へ反射され焦点検出装置105へ入射する。そして、焦点検出装置105は、得られた光学像を電気信号に変換し、焦点調節部42へ送る。焦点検出装置105は2次結像光学系を採用した周知の位相差方式焦点検出装置であり、詳細な説明は省略する。焦点調節部42では、この電気信号から焦点検出演算を行い、得られた演算結果に基づいてシステム制御回路50が、撮影レンズ300側のフォーカス制御部342に対して、焦点調節処理などの制御を行う。
撮影レンズ300の焦点調節処理が終了し、撮影動作を行う際には、不図示のクイックリターン機構によりメインミラー130が撮影光束外に退避する。撮影レンズ300を通過した光束は、露光量を制御するためのシャッター12を介して、光学像を電気信号に変換する撮像素子14に入射する。そして、撮影動作終了後には、メインミラー130は図示されるような位置に戻る。
撮像素子14にて変換された電気信号はA/D変換器16へ送られ、アナログ信号出力をディジタル信号(画像データ)に変換する。18は撮像素子14、A/D変換器16、D/A変換器26にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路22およびシステム制御回路50により制御される。
画像処理回路20は、A/D変換器16からの画像データあるいはメモリ制御回路22からの画像データに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20は、画像データを用いて所定の演算処理を行う。また、画像処理回路20は、本発明のボケ修正画像処理手段としての機能も有し、後述するボケ修正撮影モードの設定に応じ、画像データに対してフィルター処理やデコンボリューション画像処理によるボケ修正処理を行う。なお、詳細な構成については後に説明する。
撮像素子14は、本実施例1の焦点検出手段の一部の機能を有し、得られた画像データのうち焦点検出に対応する画像データは、画像処理回路20で焦点検出用画像データに変換される。その後、システム制御回路50を介して焦点調節部42へ送られ、2次結像系の焦点検出装置015の場合と同様に撮影レンズ300の焦点調節を行うことが可能となっている。なお、本実施例1の焦点検出手段に関する撮像素子14の詳細な構成については後に説明する。
このように、本発明のカメラ100は焦点検出装置105と撮像素子14による焦点検出手段の2つの焦点検出手段を有する構成となっている。
メモリ制御回路22は、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮伸長回路32を制御する。そして、A/D変換器16のデータが画像処理回路20、メモリ制御回路22を介して、あるいはA/D変換器16のデータが直接メモリ制御回路22を介して、画像表示メモリ24あるいはメモリ30に書き込まれる。
画像表示部28は液晶モニタ等から構成され、画像表示メモリ24に書き込まれた表示用の画像データを、D/A変換器26を介して受け取って表示する。画像表示部28を用いて撮像した画像データを逐次表示することで、電子ファインダ機能を実現することが可能となっている。また、画像表示部28は、システム制御回路50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合にはカメラ100の電力消費を大幅に低減することが出来る。
そして、電子ファインダ時には、撮影動作時と同じように不図示のクイックリターン機構により主ミラー130とサブミラー131は撮影光束外へ退避してしまう。したがって、このときには焦点検出装置105による焦点検出自体ができなくなる。そこで、撮像素子14が一部機能を有する焦点検出手段により焦点検出を行う構成としており、光学ファインダと電子ファインダの両者において撮影レンズ300の焦点検出が可能となっている。したがって、光学ファインダ利用時には静止画像の撮影が好適であり、電子ファインダ利用時には静止画像および動画像の両方の撮影が可能な構成となっている。
メモリ30は撮影した静止画像や動画像を記憶するためのものであり、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影、もしくは秒間30フレーム程度の画像を撮影する動画像の場合においても、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。また、メモリ30はシステム制御回路50の作業領域としても使用することが可能である。
圧縮伸長回路32は、適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する機能を有し、メモリ30に記憶された画像を読み込んで圧縮処理あるいは伸長処理を行い、処理を終えた画像データをメモリ30に書き込む。
シャッター制御部36は、測光部46からの測光情報に基づいて、撮影レンズ300側の絞り312を制御する絞り制御部344と連携しながら、シャッター12を制御する。
インターフェース部38とコネクタ122は、カメラ100と撮影レンズ300とを電気的に接続する。そしてこれらは、カメラ100と撮影レンズ300との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧を供給する機能も備えている。また、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。
測光部46は、AE処理を行う。撮影レンズ300を通過した光束を、カメラマウント106、ミラー130、そして不図示の測光用レンズを介して、測光部46に入射させることにより、画像の露出状態を測定することが出来る。また、測光部46は、フラッシュ48と連携することによりEF処理機能も有するものである。なお、ミラー130が撮影光束外へ退避している場合は、画像処理回路20による撮像素子14の画像データを演算した演算結果に基づき、システム制御回路50が、シャッター制御部36と撮影レンズ300の絞り制御部344に対してAE制御を行う。
フラッシュ48は、AF補助光の投光機能、フラッシュ調光機能も有する。
システム制御回路50はカメラ100の全体を制御し、メモリ52はシステム制御回路50の動作用の定数、変数、プログラム等を記憶する。
表示部54はシステム制御回路50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置である。カメラ100の操作部近辺の視認し易い位置に単数あるいは複数個所設置され、例えばLCDやLED等の組み合わせにより構成されている。表示部54の表示内容のうち、LCD等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタースピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付・時刻等も表示される。また、表示部54は、前述したようにその一部の機能が光学ファインダ104内に備えられている。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。
60、62、64、66、68および70は、システム制御回路50の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数あるいは複数の組み合わせで構成される。
モードダイアルスイッチ60は、電源オフ、オート撮影モード、マニュアル撮影モード、パノラマ撮影モード、マクロ撮影モード、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを切り替え設定することが出来る。
シャッタースイッチ62(SW1)は、シャッターボタンが半押しされるとONとなり、AF処理、AE処理、AWB処理、EF処理等の動作開始を指示する。
シャッタースイッチ64(SW2)は、シャッターボタンが全押しされるとONとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する処理とは、露光処理、現像処理および記録処理等のことである。露光処理では、撮像素子14から読み出した信号をA/D変換器16、メモリ制御回路22を介してメモリ30に画像データとして書き込む。現像処理では、画像処理回路20やメモリ制御回路22での演算を用いた現像を行う。記録処理では、メモリ30から画像データを読み出し、圧縮伸長回路32で圧縮を行い、記録媒体200あるいは210に画像データを書き込む。
画像表示ON/OFFスイッチ66は、画像表示部28のON/OFFを設定することが出来る。この機能により、光学ファインダ104を用いて撮影を行う際に、液晶モニタ等から成る画像表示部28への電流供給を遮断することにより、省電力を図ることが可能となる。
クイックレビューON/OFFスイッチ68は、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定する。
操作部70は、各種ボタンやタッチパネル等からなる。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、選択移動ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等がある。なお、本発明のボケ修正撮影モードの設定はこの操作部70を操作することにより行われる。
電源制御部80は、電池検出回路、DC/DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果およびシステム制御回路50の指示に基づいてDC/DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
コネクタ82および84は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプタ等からなる電源部86をカメラ100と接続する。
インターフェース90および94は、メモリカードやハードディスク等の記録媒体との接続機能を有し、コネクタ92および96は、メモリカードやハードディスク等の記録媒体と物理的接続を行う。そして、記録媒体着脱検知部98は、コネクタ92または96に記録媒体が装着されているかどうかを検知する。
なお、本実施例1では記録媒体を取り付けるインターフェースおよびコネクタを2系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェースおよびコネクタは、単数あるいは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェースおよびコネクタを組み合わせて備える構成としても構わない。また、インターフェースおよびコネクタとしては、PCMCIAカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いて構成して構わない。さらに、インターフェースおよびコネクタにLANカードやモデムカード等の各種通信カードを接続することで、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。
通信部110は、RS232C、USB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信等の各種通信機能を有する。
コネクタ112は、通信部110によりカメラ100を他の機器と接続し、無線通信の場合はアンテナである。
記録媒体200および210は、メモリカードやハードディスク等である。記録媒体200および210は、半導体メモリや磁気ディスク等から構成される記録部202、212、カメラ100とのインターフェース204、214、カメラ100と接続を行うコネクタ206、216を備えている。
次に撮影レンズ300側について詳細を説明する。撮影レンズ300は、カメラ100に着脱可能に構成される。
レンズマウント306は、撮影レンズ300をカメラ100と機械的に結合し、カメラマウント106を介してカメラ100に交換可能に取り付けられる。カメラマウント106およびレンズマウント306内には、撮影レンズ300をカメラ100と電気的に接続するコネクタ122およびコネクタ322の機能が含まれている。
レンズ311には被写体の焦点調節を行うフォーカスレンズが含まれ、絞り312は撮影光束の光量を制御する絞りである。
コネクタ322およびインターフェース338は、撮影レンズ300をカメラ100のコネクタ122と電気的に接続する。そして、コネクタ322は、カメラ100と撮影レンズ300との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧を供給される或いは供給する機能も備えている。なお、コネクタ322は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。
ズーム制御部340はレンズ311のズーミングを制御し、フォーカス制御部342はレンズ311のフォーカスレンズ動作を制御する。なお、撮影レンズ300がズーム機能のない単焦点レンズタイプであればズーム制御部340はなくてもよい。
絞り制御部344は、測光部46からの測光情報に基づいて、シャッター12を制御するシャッター制御部36と連携しながら、絞り312を制御する。
レンズシステム制御部346は撮影レンズ300全体を制御する。そして、レンズシステム制御部346は、撮影レンズ動作用の定数、変数、プログラム等を記憶するメモリの機能を備えている。
不揮発性メモリ348は、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、焦点検出結果の補正情報、現在や過去の各設定値などを記憶する。
以上が、本実施例1におけるカメラ100と撮影レンズ300からなるカメラシステムの構成である。次に、本実施例1における焦点検出手段の一部機能を有する撮像素子14の詳細な構成を説明する。
図2は、図1のカメラシステムにおける撮像素子14のうち被写体像が形成される受光画素を撮影レンズ300側からみた平面図である。400は撮像素子14上に横方向m画素、縦方向n画素で形成される画素全体からなる撮影範囲で、401はそのうちの1つの画素部を示す。そして各画素部にはオンチップでベイヤー配列の原色カラーフィルタが形成され、2行×2列の4画素周期で並んでいる。なお、図2においては煩雑さをなくすために画素部としては左上側の10画素×10画素程度を表示し、その他の画素部は省略している。
図3、図4は、図2における画素部のうち撮像用画素と焦点検出用画素の構造を説明する図で、図1におけるレンズ311と撮像素子14を光学ファインダ104側からみた図である。なお、説明に不要な部材については省略してある。本実施例1では、2行×2列の4画素のうち、対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置した、ベイヤー配列が採用されている。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が配置される。なお、本実施例1に適用している焦点検出構成は、特開2000−156823号公報に開示される構成を利用しており、撮影レンズ300のピントずれ量と方向を一度の検出で求めることができる位相差方式焦点検出を可能としている。
図3に撮像用画素の配置と構造を示す。図3(a)は2行×2列の撮像用画素の平面図である。周知のように、ベイヤー配列では対角方向にG画素が、他の2画素にRとBの画素が配置される。そして2行×2列の構造が繰り返し配置される。図3(a)におけるA−A断面図を図3(b)に示す。MLは各画素の最前面に配置されたオンチップマイクロレンズ、CFRはR(赤色)のカラーフィルタ、CFGはG(緑色)のカラーフィルタである。PD(Photo Diode)はCMOSイメージセンサの光電変換素子を模式的に示したものである。CL(Contact Layer)は、CMOSイメージセンサ内の各種信号を伝達する信号線を形成するための配線層である。そして、図3は撮像素子14のうち中心付近の画素、すなわち撮影レンズ300の軸上付近の画素構造を示す図である。
ここで、撮像用画素のオンチップマイクロレンズMLと光電変換素子PDは、撮影レンズ300を通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影レンズ300の射出瞳(Exit Pupil)と光電変換素子PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換素子の有効面積は大面積に設計される。同図における光束410はその様子を示し、射出瞳411の全領域が光電変換素子PDに取り込まれている。なお、本実施例1では撮影レンズ300の射出瞳位置をおおよそ絞り312付近としているので、射出瞳411は絞り312の開口部に相当する。図3(b)ではR画素の入射光束について説明したが、G画素及びB(青色)画素も同一の構造となっている。また、マイクロレンズMLまわりの部材は説明を理解しやすくするために拡大して表示してあるが、実際はミクロンオーダーの形状である。
図4は、撮影レンズ300の水平方向(横方向)に瞳分割を行うための焦点検出用画素の配置と構造を示す。ここで水平方向とは、図2で示す撮像素子14の長手方向を示す。図4(a)は、焦点検出用画素を含む2行×2列の画素の平面図である。記録又は観賞のための画像信号を得る場合、G画素で輝度情報の主成分を取得する。そして人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認知されやすい。一方でR画素又はB画素は、色情報(色差情報)を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施例1においては、2行×2列の画素のうち、G画素は撮像用画素として残し、R画素とB画素を焦点検出用画素に置き換える。この焦点検出用画素を図4(a)においてSHA及びSHBと示す。
図4(a)におけるA−A断面図を図4(b)に示す。マイクロレンズMLと、光電変換素子PDは図3(b)に示した撮像用画素と同一構造である。そして、撮像素子14のうち中心付近の画素、すなわち撮影レンズ300の軸上付近の画素構造を示す図である。
本実施例1においては、焦点検出用画素の信号は画像生成には用いないため、色分離用カラーフィルタの代わりに透明膜CFW(白色)が配置される。また、撮像素子でレンズ311の射出瞳を分割するため、配線層CLの開口部はマイクロレンズMLの中心線に対して一方向に偏心している。具体的には、画素SHAの開口部OPHAはマイクロレンズMLの中心線に対して右側に421HAだけ偏心しているため、レンズ311の光軸Lを挟んで左側の射出瞳領域422HAを通過した光束420HAを受光する。同様に、画素SHBの開口部OPHBはマイクロレンズMLの中心線に対して左側に421HBだけ偏心しているため、レンズ311の光軸Lを挟んで右側の射出瞳領域422HBを通過した光束420HBを受光する。そして、図から明らかなように、偏心量421HAは偏心量421HBに等しい。このように、マイクロレンズMLと開口部OPの偏心により撮影レンズ300の異なる瞳領域を通過する光束420を取り出すことが可能となっている。
以上のような構成で、画素SHAを水平方向に複数配列し、これらの画素群で取得した被写体像をA像とする。また、画素SHBも水平方向に配列し、これらの画素群で取得した被写体像をB像とすると、A像とB像の相対位置を検出することで、被写体像のピントずれ量(デフォーカス量)が検出できる。
なお、図4は撮像素子14の中央付近の焦点検出用画素についての説明だが、中央以外では、マイクロレンズMLと配線層CLの開口部OPHA、OPHBを図4(b)とは異なる状態で偏心させることにより射出瞳を分割することができる。具体的には、開口部OPHAの方を例にとって説明すると、開口部OPHAの中心と射出瞳領域422HA中心を結ぶ線上に略球状でできたマイクロレンズMLの球芯を合わせるよう偏心させることにより撮像素子14の周辺部においても図4で示した中央付近の焦点検出用画素とほぼ同等の瞳分割を行うことができる。
ところで、上記画素SHA及びSHBでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そのためには、撮影レンズの垂直方向(縦方向)にも瞳分割を行う画素も備えるよう構成すればよい。本実施例1では、図2、図3、図4で説明したような横方向にのみ焦点検出用の画素構造を備える構成とした。
また、上記焦点検出用画素は本来の色情報を有さないため、撮影画像形成にあたっては周辺部の画素信号から補間演算することによって信号を作成する。したがって、撮像素子14に焦点検出用画素を連続的に並べるのではなく離散的に並べることで撮影画像の画質を低減させることもない。
図5は、撮像素子14と画像処理回路20における焦点検出構成を概略的に示す図である。なお、図1のカメラシステムの説明では、撮像素子14で得られた画像データはA/D変換器16を介して画像処理回路20へ送られたが、分かりやすく説明するためにA/D変換器16を省略してある。
撮像素子14は、瞳分割された焦点検出用画素901aと901bとで構成される焦点検出部901を複数有する。なお、焦点検出部901は図4(a)に相当し、焦点検出用画素901aが画素SHAに、焦点検出用画素901bが画素SHBにそれぞれ対応する。また、撮像素子14は撮影レンズ300で結像された被写体像を光電変換するための撮像用画素を複数含む。
画像処理回路20は、合成手段902と、連結手段903とを含む。また、画像処理回路20は、複数の焦点検出部901を含むように、撮像素子14の撮像面にセクション(領域)CSTを複数割り当てる。そして、画像処理回路20はセクションCSTの大きさ、配置、数等を適宜変更することができる。合成手段902は、撮像素子14に割り当てられた複数のセクションCSTの各々において、焦点検出用画素901aからの出力信号を合成して1画素の第1の合成信号を得る処理を行う。合成手段902はまた、各セクションCSTにおいて、焦点検出用画素901bからの出力信号を合成して1画素の第2の合成信号を得る処理を行う。連結手段903は、複数のセクションCSTにおいて、第1の合成信号である各画素を連結して第1の連結信号を得る処理と、第2の合成信号である各画素を連結して第2の連結信号を得る処理とを行う。このように、焦点検出用画素901a及び901bのそれぞれに対して、セクション数の画素が連結された連結信号が得られる。システム制御回路50は、第1の連結信号及び第2の連結信号に基づいて、結像光学系のデフォーカス量(焦点ずれ量)を演算する。このように、セクション内に配置された同一の瞳分割方向における焦点検出用画素の出力信号を合成するため、焦点検出部の1つ1つの輝度は小さい場合であっても、被写体の輝度分布を十分に検出することが可能となる。
図6は、図5の焦点検出部901、合成手段902、連結手段903により形成され、焦点調節部42へ送られる対の焦点検出用信号を示す。同図において、横軸は連結された信号の画素並び方向を示し、縦軸は信号の強度である。焦点検出用信号430aは焦点検出用画素901aで、焦点検出用信号430bは焦点検出用画素901bでそれぞれ形成される信号である。そして、撮影レンズ300が撮像素子14に対してデフォーカスした状態であるため、焦点検出用信号430aは左側に、焦点検出用信号430bは右側にずれた状態となっている。
この焦点検出用信号430a、430bのずれ量を焦点調節部42では公知の相関演算などによって算出することにより、撮影レンズ100がどれだけデフォーカスしているかを知ることができる。そして、このずれ量により算出されたデフォーカス量をもとに撮影レンズ300のフォーカス制御部342により焦点合わせを行うことで、焦点調節が可能となっている。
以上のように、本実施例1では撮像素子14に離散的に設けられた焦点検出用画素を用いて焦点調節を行う。すなわち、図2〜図6で説明した焦点検出に関する構成、システム制御回路50及び焦点調節部42が、本発明における焦点調節手段となる。そして、本実施例1の焦点検出手段は、焦点検出装置105と同様に周知の位相差方式を採用した焦点検出構成となっている。
上記焦点検出用画素を、撮像素子14の全領域に渡って分布させることで、撮影画面全域での焦点検出が可能となっている。なお、撮影画面全域の焦点検出が可能であるため、この焦点検出結果と撮影レンズ300の情報などに基づいて被写体距離を算出する。そして、撮影画面全域の被写体距離情報をもとに撮影画面全域での被写体距離分布を作成することで、画像処理回路20に備えられたボケ修正画像処理手段で、撮影画像のボケを修正することが可能となる。以下、詳細を説明する。
図7は、撮影画像全域での焦点検出結果の分布(デフォーカスマップ)を示したものである。撮像素子14では、図4、図5で説明したような焦点検出用画素SHA、SHBが、全領域に渡って分布しているため、撮影画面の任意位置における焦点検出結果を取得することが可能となる。
そして、得られた焦点検出結果の中で、値の近い領域をつなぎ合わせてグルーピングすることで、撮影画面中に含まれる被写体の輪郭を抽出することが可能となる。Target1、Target2は抽出された被写体領域を示したものであり、BackGround1は背景領域を示したものである。なお、この図において撮影者は被写体領域Target1に対して焦点調節手段により撮影レンズ300のピント合わせを行ったものとする。
Def1は被写体領域Target1における焦点検出結果、Def2は被写体領域Target2における焦点検出結果、Def3は背景領域BackGround1における焦点検出結果である。Def1が最も撮影者側に近く、Def3は最も遠く位置する。
システム制御回路50は、焦点検出用画素から得られる焦点検出結果から被写体の抽出を行うことでデフォーカスマップを作成し、被写体の分離を行う。
本実施例1では、このデフォーカスマップに基づいて、撮影画像のボケ修正を行う。ボケの生成過程は、カメラ100の特性や撮影レンズ300の特性から推定することが可能である。このボケの生成過程をモデル化したボケ関数を定義し、ウィーナーフィルタ等の一般にデコンボリューションと呼ばれる画像復元アルゴリズムによってボケ画像を復元処理することで、ボケ修正を行う。なお、ボケ修正方法の詳細については、特開2000−20691号公報などに開示されており、本実施例1での詳細な説明は省略する。
図8は、図7のデフォーカスマップにおける焦点検出結果を撮影レンズ300のピント位置に置き換えた図で、撮影レンズ300の予定結像面と、焦点検出結果Def1、Def2、Def3との関係を示したものである。横軸は撮影レンズ300のピント位置を表しており、「0」を中心にプラス方向は後ピン方向に、マイナス方向は前ピン方向に対応させている。
「0」は撮影レンズ300の予定結像面位置を示し、ピント位置「0」と表現している。Def1、Def2、Def3は、それぞれ被写体領域Target1、Target2、Target3の焦点検出結果である。Def11とDef12は、ボケ修正可能なピント範囲を示す。ボケ量が大き過ぎる場合にはボケ修正時に極端な変換処理が行われ、ノイズが発生しやすい。そのため、ボケ修正する場合には、ボケ量はDef11とDef12の範囲に収まっている必要がある。
ここで、撮影者は被写体領域Target1に対してピント合わせを行っているが、それに対応する焦点検出結果Def1は、予定決像面位置「0」に対して、若干前ピン側へピント位置がずれている。これは焦点調節手段のノイズ、演算誤差、製造誤差などの様々な誤差によりずれが発生しているためである。また、焦点検出結果Def1はボケ修正可能なピント範囲Def11〜Def12内にも含まれる。したがって、本実施例1では、この焦点検出結果Def1のピントずれによるボケを修正することで、多少ピントがずれた画像であっても、主被写体に鮮鋭にピントが合った画像を形成することが可能となる。なお、このボケ修正可能なピント範囲Def11〜Def12は撮像素子14のノイズに関する情報や撮影レンズ300の情報を元に算出されるが、詳細については後に説明する。
図9は、図8の焦点検出結果を被写体距離に換算した図で、横軸は被写体距離を表している。図において、440は撮影者位置で、被写体距離Dist1は焦点検出結果Def1に、被写体距離Dist2は焦点検出結果Def2に、被写体距離Dist3は焦点検出結果Def3に、それぞれ対応している。そして、至近側から被写体距離Dist1、Dist2、Dist3という順で並んでいるのが分かる。したがって、図7で説明したデフォーカスマップは、各被写体領域の焦点検出結果を被写体距離に置き換えて、被写体距離マップと考えることも可能となる。
なお、焦点検出結果から被写体距離を算出する方法としては、撮影レンズ300の焦点距離やフォーカスレンズ位置情報などを用いて算出することが考えられるが、詳細な説明は省略する。また、撮影レンズ300の情報が焦点距離情報しかない場合でも、焦点検出結果から周知のニュートンの公式などを用いて簡易的に被写体距離を算出することも可能である。
図10は、画像処理回路20に備えられたボケ修正画像処理手段によるボケ修正が行われる前の撮影画像を示したものである。図10における撮影画像は、図7のデフォーカスマップの場合と同様である。ボケ修正が行われる前の撮影画像は、図10に示すように、おおよそ被写体領域Target1にピントが合った状態となっているが、若干のピントずれが発生しているため、Target1には若干のボケが生じている。そして、Target2はさらにボケが生じていることが分かる。
図11は、ボケ修正画像処理手段により撮影画像のボケが修正された後の撮影画像を示したものである。図11における撮像画像は、図7及び図10の撮像画像と同じものである。図11は、被写体領域Target1の焦点検出結果Def1に基づいて、ボケ修正を行った様子を示したものである。被写体領域Target1における焦点検出結果Def1に対応したカメラ100の特性情報及び撮影レンズ300の特性情報から、ボケ関数を定義する。撮影画像全領域に対して、このボケ関数に基づいたボケ修正処理を行うことで、被写体領域Target1はボケ修正されて、ピントの合った画像となる。一方、被写体領域Target1以外の領域については、上記ボケ修正処理を行うことにより、撮影レンズ300の焦点位置が焦点検出結果Def1にピントが合った状態で生じるようなボケが再現される。こうすることで、図11に示すような、被写体領域Target1だけにピントが鮮鋭にあった画像を取得することが可能となる。
図7〜図11を用いて説明したように、撮影画面全域のデフォーカスマップが得られるカメラ100、各被写体の焦点検出結果、カメラ100の特性情報、撮影レンズ300の特性情報に基づいてボケ修正することで、多少ピントがボケた画像であってもピントを鮮鋭に修正することが可能となる。
そこで、本実施例1では、このボケ修正によるピントずれの許容幅拡大を利用して、カメラ100によるレリーズ判定手段の判定閾値を広げる(焦点調節の精度が低下するように閾値を大きくする)ことで、連写撮影速度の高速化を行う。
一般的に、単写撮影時に静止被写体を捕らえる場合、焦点検出装置105や撮像素子14による焦点調節手段で撮影レンズ100のピントを合わせた後、レリーズ判定の基準として、再度焦点検出動作を行い、所定のピント精度内にあるか否かを判別して、レリーズ動作を許可する。
しかしながら、連写撮影時に移動被写体を捕らえる場合においては、焦点検出に許容される時間は、コマ間のわずかな時間だけとなり、連写撮影速度が高速化するほどこの時間は短くなる。したがって、再度の焦点検出動作によるレリーズ判定を行うことはできず、図6の焦点検出用信号の状態や撮影レンズ300のフォーカスレンズの停止精度状態などによりレリーズ判定を行うことが一般的である。すなわち、連写撮影中の動体予測AFは、静止被写体時に比べて、速度優先のためレリーズ判定がある程度あまくなるため、ピント合わせ精度の低下してしまう。
そこで、従来例で説明したように、連写撮影中の動体予測AF時には、レリーズ判定の閾値を厳しくして、ピント合わせの精度を高める例が公開されている。しかしながら、この場合には、逆に連写撮影速度が低下してしまうという問題がある。本実施例1では、主に連写撮影中の動体予測AF時には、ボケ修正画像処理手段によるボケ修正を用いることで、ピント合わせの精度低下を回復させ、さらには、連写撮影速度の高速化も実現する。
図12は、本実施例1のカメラが備えるボケ修正撮影モードと動体予測AFモードの設定により、レリーズ判定の閾値と最高連写撮影速度がどのように変わるかを示す図である。閾値は数値で表され、大中小は数値の大きさを示す。大きい方がレリーズ判定の判定条件はあまくなり、焦点調節の精度は低下する。なお、ボケ修正撮影モードとは、図7〜図11で説明した画像処理回路20におけるボケ修正画像処理手段によるボケ修正を前提とした撮影を行う場合を示す。また、ボケ修正撮影モードと動体予測AFモードの設定は、図1で説明した操作部70を操作することにより設定することができる。
まず、ボケ修正撮影モードがOFFの場合について説明する。この場合、動体予測AFモードとして予測AFモード1と予測AFモード2が設定可能となる。予測AFモード1において、レリーズ判定の閾値は従来と同程度の中レベルの設定となり、最高連写撮影速度は10コマ/秒となる。そして、得られる撮影画像のピント精度は従来例と同レベルとなっている。ここで、レリーズ判定としては、焦点検出信号の信頼性判定、再焦点検出による合焦幅判定、レンズの停止精度判定などが考えられるが、本実施例1ではこれらを組み合わせた判定を行っている。
一方、予測AFモード2において、レリーズ判定の閾値は小レベルの設定となり、最高連写撮影速度は5コマ/秒となり、予測AFモード1の場合に比べて低下してしまう。しかしながら、得られる画像のピント精度は、予測AFモード1の場合に比べて高くなっている。すなわち、これがピントを優先とした動体予測AFモードとなっている。
次に、ボケ修正撮影モードがONの場合について説明する。この場合、予測AFモード3と予測AFモード4が設定可能となる。予測AFモード3において、レリーズ判定の閾値は、ボケ修正撮影モードがOFFの場合の予測AFモード1と同じで中レベルの設定となり、最高連写撮影速度は10コマ/秒となる。そして、得られる撮影画像のピント精度も予測AFモード1の場合と同レベルとなっている。しかしながら、ボケ修正撮影モードがONの場合においては、その後撮影画像に対してボケ修正画像処理手段によるボケの修正が行われるため、撮影画像のピントはより鮮鋭となり、最終的なピント精度は高精度となっている。
一方、予測AFモード4においては、レリーズ判定の閾値は大レベルの設定となり、最高連写撮影速度は15コマ/秒となる。すなわち、予測AFモード4はレリーズ判定の閾値を最も拡大し、その代わりに撮影速度を高速化したモードである。したがって、得られる画像のピント精度は、上記3つに比べて、もっとも悪くなる。しかしながら、前記の場合と同様にボケ修正が行われるため、最終的なピント精度は、高精度となる。
なお、本実施例ではボケ修正撮影モードON時の動体予測AFモードとして、予測AFモード3と予測AFモード4の2つを用意した。これは、ボケ修正画像処理手段によるボケ修正後の撮影画像の画質が、修正するピントずれが大きいほど撮像素子14のノイズなどの影響を受けて劣化するためである。したがって、ボケ修正撮影モードON時の予測AFモード3の方が予測AFモード4に比べてよりレリーズ判定を厳しくしているため、撮影画像のピントずれ量も小さくなり、ボケ修正後の画質もより良好である。したがって、撮影者は、ボケ修正撮影モードONを選択した際に、より高画質画像を求める場合は予測AFモード3を選択し、高速撮影を求める場合は予測AFモード4を選択すればよい。また、本実施例1ではボケ修正撮影モードと動体予測AFモードの設定を例に説明したが、これに依らず、ワンショットAFモードなどその他の設定状態においてもボケ修正撮影モードは設定可能である。
次に実際のカメラの動作について説明する。図13は、カメラの動作を説明するためのフローチャートで、システム制御回路50が行う処理である。そして、図13のフローチャートはカメラ100にて静止画像1枚を撮影する場合に対応している。したがって、図12のように動体予測AFや連写撮影を行う場合には、下記動作フローの所定部分が繰り返し実行されることとなる。
まずステップS501において、システム制御回路50はシャッタースイッチSW1が半押しされオンされたかを判別する。シャッタースイッチSW1がオンされた場合のみステップS502へ進む。
次にステップS502では、装着された撮影レンズ300の各種情報を読み取る。撮影レンズ300からレンズ情報を取得する際には、インターフェース38により撮影レンズ300との通信を行い、撮影レンズ300のレンズ情報を取得する。レンズ情報には、レンズ固有情報、焦点距離、絞り値、フォーカスレンズ位置などの情報が含まれている。
次にステップS503では、焦点検出装置105で得られた焦点検出情報に基づいて焦点調節部42によりAF処理サブルーチンを実行する。詳細については後に説明する。
次にステップS504では、所定時間内にシャッターボタンが全押しされてシャッタースイッチSW2がオンされたことを検知すると、ステップS505へ進む。所定時間内にシャッターボタンが全押しされずシャッタースイッチSW2がオンされなかった場合、ステップS501に戻り、再びシャッタースイッチSW1オンの検出を行う。
次にステップS505では、メインミラー130とサブミラー131を不図示のクイックリターン機構により撮影光束外へ退避させる。
次にステップS506では、絞り制御部344とシャッター制御部36により絞り312とシャッター12を制御し、撮像素子14への露光を行い、撮影画像を取得する。なお、本実施例1では、撮像素子14に焦点検出用の画素が離散的に設けられており、この画素では撮影画像データを取得することができない。そこで、この焦点検出用画素は欠陥画素と同じ扱いとし、周辺の画像データから補間する公知の手法により画像データを形成する。したがって、焦点検出用画素がない場合と同レベルの撮影画像を取得することが可能となる。その後、メモリ30に一旦格納する。
次にステップS507では、ボケ修正撮影モードがONか否かを判別する。ボケ修正撮影モードONの場合はステップS508へ進み、OFFの場合はステップS510へ進む。
次にステップS508では、図7で説明したようなデフォーカスマップ作成のサブルーチンを実行する。詳細な動作については後に説明する。
次にステップS509では、図12で説明したようなボケ修正のサブルーチンを実行する。詳細な動作については後に説明する。
次にステップS510では、撮影画像に対して周知のγ補正、色変換、エッジ強調等の画像処理を行った後に圧縮処理を行い、記録媒体200、210に画像データとして記録する。なお、ステップS509におけるボケ修正は、線形性のある画像に対して行う必要がある。当ステップの画像変換処理は不可逆処理を含むため、ステップS509のボケ修正の後の処理としている。
最後にステップS511では、撮影画像を画像表示部28に表示する。
以上がカメラ100の動作となる。
次にステップS503のAF処理のサブルーチンについて詳細を説明する。図14はAF処理のサブルーチンを示すフローチャートである。なお、AF処理のサブルーチンに関する一連の動作も、システム制御回路50が行う。
図13のメインフローのステップS502から当サブルーチンのステップS600にジャンプすると、ステップS601において、焦点検出装置105に備えられた不図示の焦点検出用センサの蓄積動作を開始する。
次にステップS602では、焦点検出用センサから位相差方式焦点検出を行うに必要な一対の焦点検出用信号を読み出す。
次にステップS603では、一対の焦点検出用信号に対して周知の相関演算を行い、焦点検出用信号のずれ量を算出する。
次にステップS604では、ステップS603で算出された相関演算結果の信頼性を判定する。ここで、信頼性とは一対の焦点検出用信号の一致度を指し、焦点検出用信号の一致度が良い場合は一般的に信頼性が高い。そこで、この一致度や焦点検出用信号のコントラスト情報などをもとに信頼性の判定を行う。
次にステップS605では、ステップS604で得られた焦点検出用信号のずれ量に対して、撮影レンズ300のデフォーカス量(ピントずれ量)に変換する変換係数をかけることで、焦点検出結果であるところのデフォーカス量を算出する。
次にステップS606では、デフォーカス量に基づいて、フォーカス制御部342により撮影レンズ300の焦点調節を行う。
次にステップS607では、レリーズ判定用の閾値を決定する。この閾値は図12で説明したように、ボケ修正撮影モードの設定によって異なる。したがって、図12に示すようなレリーズ判定閾値をあらかじめメモリ52などに格納しておき、カメラ100の各種設定状態に応じてその閾値を呼び出すことで決定する。
なお、ボケ修正撮影モードでは、撮像素子14のノイズによってボケ修正後の画質が決まる。そこで、撮像素子14の感度設定、蓄積時間や撮影レンズのFナンバーなどノイズを左右するパラメータをもとに閾値を算出するようにしてもよい。この場合、ノイズが比較的少ない状況下では、閾値の幅を広げることが可能となる。なお、閾値としては、前に説明したように焦点検出用信号の信頼性、再焦点検出による合焦幅、レンズの停止精度などを閾値として設定している。
最後にステップS608は、焦点調節手段による焦点調節後にレリーズ指示があった場合にレリーズ可能か否かを判定するステップである。このステップでは、上記レリーズ判定用の閾値に基づきレリーズ動作がOKか否かを判定する。つまり、焦点検出結果が閾値(大、中、小)より大きいか小さいかを比較し、閾値より小さい場合にOKと判定する。なお、判定条件として、上記閾値の他に、焦点検出用信号の信頼性、再焦点検出による合焦幅、レンズの停止精度を組み合わせた結果などを加えてもよい。OKと判定された場合は、AF処理サブルーチンを終了し、メインフロー内のステップS504に進む。一方、OKと判定されない場合は、ステップS601へ戻り、一連の動作を繰り返す。
次にステップS508のデフォーカスマップ作成のサブルーチンについて詳細を説明する。図15はデフォーカスマップ作成のサブルーチンを示すフローチャートである。なお、デフォーカスマップ作成のサブルーチンに関する一連の動作も、システム制御回路50が行う。
図13のメインフローのステップS507から当サブルーチンのステップS700にジャンプすると、ステップS701において、撮影画像内における焦点検出領域の設定を行う。なお、焦点検出領域は、撮影画像内に複数設けられ、撮影画像の全領域をカバーするように設定されている。また、ステップS701〜S707までのフローを繰り返し行うことで、撮影画像の全領域における処理を行う。
次にステップS702では、撮影された画像からステップS701で設定された焦点検出領域付近の画像データを読み出す。
次にステップS703では、図5で説明した合成手段902と連結手段903により一対の焦点検出用信号を作成する。
次にステップS704〜S706までの処理は、図14のステップS603〜ステップS605と同一なため説明を省略する。
次にステップS707では、撮影画像内のすべての焦点検出領域について焦点検出結果の算出が完了したか否かを判別する。すべて完了していないと判別されたときには、ステップS701に戻り、次の焦点検出領域が選択され、ステップS701〜S707までの処理が繰り返される。すべての焦点検出領域が完了したと判別されたときには、ステップS708に進む。
最後にステップS708では、ステップS701〜S707を繰り返すことで得られたすべての焦点検出領域における焦点検出結果から、撮影画面内の焦点検出結果の分布、すなわちデフォーカスマップを作成する。デフォーカスマップの作成にあたっては、得られた焦点検出結果の分布の中で、値の近い領域をつなぎ合わせてグルーピングし、撮影画像内に含まれる被写体の輪郭を抽出する。これにより、各被写体の領域と焦点検出結果を対応させたデフォーカスマップが得られることになる。なお、このデフォーカスマップは図9で説明したように被写体距離に換算できるため、被写体距離マップとすることも可能である。
ステップS708が終わったら、デフォーカスマップ作成サブルーチンを終了し、メインフロー内のステップS509に進む。
次にステップS509のボケ修正のサブルーチンについて詳細を説明する。図16はボケ修正のサブルーチンを示すフローチャートである。なお、ボケ修正のサブルーチンに関する一連の動作も、システム制御回路50が行う。
図13のメインフローのステップS508から当サブルーチンのステップS800にジャンプすると、まずステップS801では、ステップS508で作成したデフォーカスマップを取得する。
次にステップS802では、ボケ修正を行う被写体領域(ボケ修正領域とも記す)を設定する。また、その被写体領域における焦点検出結果も設定される。例えば、図7を用いると、被写体領域Target1とそのときの焦点検出結果Def1が設定されることとなる。
次にステップS803では、メモリ30に格納された画像データを取得する。なお、画像データとしては、ステップS802で設定されたボケ修正領域(被写体領域)近辺のみの画像データを取得すればよい。
次にステップS804では、ステップS802で設定されたボケ修正領域(被写体領域)に対応するボケ関数をS802で設定された焦点検出結果をもとに作成する。
次にステップS805では、ステップS804で作成したボケ関数を逆変換する。そして、この逆変換したボケ関数を画像データに対して処理することによりボケ修正処理を行う。なお、本実施例1では、一般的にデコンボリューション処理と呼ばれる画像復元アルゴリズムによってボケ修正処理を行う。なお、ボケ関数の逆変換処理によるボケ修正の方法は、特開2000−20691号公報に開示されているため、説明は省略する。
次にステップS806では、撮影画面内のボケ修正するすべての被写体領域に対して、ステップS801〜S805の処理が完了したか否かを判別する。完了した場合、ボケ修正サブルーチンを終了し、メインフロー内のステップS510に進む。一方、完了していない場合はステップS801へ戻る。なお、本実施例1の場合、修正するボケ量は、図12によるレリーズ判定の閾値を広げたために生じるピントずれによるものなので、さほど大きくない。したがって、ボケ修正を行う被写体領域は主被写体のみとしてもよく、その方が処理負荷を低減することが可能となる。
次にステップS804のボケ関数作成のサブルーチンについて詳細を説明する。図17はボケ関数作成のサブルーチンを示すフローチャートである。なお、ボケ関数作成のサブルーチンに関する一連の動作も、システム制御回路50が行う。
図16のサブルーチンのステップS803から当サブルーチンのステップS900にジャンプすると、まずステップS901では、図13のステップS502で通信を行って取得した撮影レンズ情報の中からボケ関数作成に必要な撮影レンズ特性情報を取得する。
次にステップS902では、ボケ関数を算出する際に用いるパラメータを算出する。ボケ関数は、撮影レンズ300と撮像素子14との間の光伝達特性によって決まる。そしてこの光伝達特性は、撮影レンズ300の特性情報、撮像素子14の特性情報、撮影画像内における被写体領域の位置、焦点検出結果などの複数要因によって変化する。そこで、ステップS902では、各要因をもとにシステム制御回路50によりパラメータを算出する。
次にステップS903では、ステップS902で算出したボケ関数用のパラメータに基づいて、ボケ関数を決定する。ボケ関数の例としては、ボケ強度分布を正規分布関数で近似したガウシアン分布などがある。中心画素からの距離をr、ボケ広がり幅に関する係数をσとすると、ボケ関数h(r)は、下記のように与えられる。
h(r)={1/σ√(2π)}・exp(−r2/σ2) ・・・(1)
したがって、ステップS902のパラメータ算出においては、各要因をもとにこのrとσを算出する。そして、ステップS903が終わったら、ボケ関数作成サブルーチンを終了し、ボケ修正サブルーチン内のステップS805に進む。
以上のような動作フローにより、本実施例1ではボケ修正撮影モードの設定に応じてレリーズ判定の判定条件を変更し、撮影を行い、撮影画像に対してボケ修正を行う。
なお、上記動作フローでは、1枚の画像を撮影する度にボケ修正画像処理手段にてボケ修正を行う構成としたが、ボケ修正の演算負荷や消費電力が大きい場合は、複数枚の撮影画像をメモリ30などに一旦格納しておき、撮影後にまとめて行うようにしてもよい。
また、上記動作フローでは、撮影レンズ300のピント合わせには焦点検出装置105を用い、ボケ修正を行うためのデフォーカスマップ作成には撮像素子14による焦点検出手段を用いる構成としたが、両者共に撮像素子14による焦点検出手段を用いる構成としてもよい。その際は、先にメインミラー130とサブミラー131を撮影光束外へ退避させてからステップS503のAF処理を行うこととなる。そして、被写体の観察には光学ファインダ104が使用できなくなるため、画像表示部28を用いたライブビュー撮影を行うのがよい。また、このような構成とすることで動画撮影にも対応が可能となる。
以上のように本実施例1では、撮影レンズ300が交換可能なカメラ100を用いて説明したが、撮影レンズが固定されているタイプのカメラに適用してもよい。また、静止画撮影の動作フローのみを説明したが、動画撮影時にも適用可能である。また、ボケ修正を行うためのデフォーカスマップを作成する焦点調節手段としては、撮像素子14を用いたが、これに限定されることなく焦点検出装置105や外測三角測距タイプの焦点検出手段を用いてもよい。
以上、本発明の好ましい実施例1について説明したが、本発明はこの実施例1に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。