以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。
また、実施形態は発明の理解と説明を容易にするため、具体的かつ特定の構成を有するが、本発明はそのような特定の構成に限定されない。例えば、以下では本発明をレンズ交換が可能な一眼レフタイプのデジタルカメラに適用した実施形態について説明するが、本発明はレンズ交換が可能な一眼タイプのデジタルカメラや、レンズ交換できないタイプのデジタルカメラに対しても適用可能である。
[第1の実施形態]
●カメラシステムの構成
図1は、第1の実施形態に係る撮像装置の一例としての、撮影レンズを交換可能なカメラと撮影レンズからなるカメラシステムの構成例を示す図である。図1において、カメラシステムは、カメラ100と、交換可能な撮影レンズ300とから構成される。
撮影レンズ300を通過した光束は、レンズマウント106を通過し、メインミラー130により上方へ反射されて光学ファインダ104に入射する。光学ファインダ104により、撮影者は被写体光学像を観察しながら撮影できる。光学ファインダ104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、絞り値表示、露出補正表示等のための表示部材が設置されている。
メインミラー130の一部は半透過性のハーフミラーで構成され、メインミラー130に入射する光束のうち一部はこのハーフミラー部分を通過し、サブミラー131で下方へ反射されて焦点検出装置105へ入射する。焦点検出装置105は、2次結像光学系とラインセンサを有する位相差検出方式の焦点検出装置であり、1対の像信号をAF部42(オートフォーカス部)に出力する。AF部42では、1対の像信号に対して位相差検出演算を行い、撮影レンズ300のデフォーカスの量及び方向を求める。この演算結果に基づき、システム制御部50が、撮影レンズ300のフォーカス制御部342(後述)に対してフォーカスレンズの駆動制御を行う。
撮影レンズ300の焦点調節処理が終了して静止画撮影を行う場合や、電子ファインダ表示を行う場合、動画撮影を行う場合には、不図示のクイックリターン機構によりメインミラー130とサブミラー131を光路外に退避させる。そうすると、撮影レンズ300を通過してカメラ100に入射する光束は、露光量を制御するためのメカニカルシャッタ12を介して、撮像素子14に入射可能になる。撮像素子14による撮影動作終了後には、メインミラー130とサブミラー131は図示する様な位置に戻る。
ここで、本実施形態の第1のシャッタと第2のシャッタについて説明する。第2のシャッタは、撮像素子14の有する電子シャッタ、又はメカニカルシャッタ12である。撮像素子14の有する電子シャッタは、後述するメカニカルシャッタ12の駆動方向に、本実施形態の第3の遮光手段と第4の遮光手段である撮像素子14の電荷を順次リセットして露光を行うシャッタ機構(スリットローリングシャッタ)である。電子シャッタとしては全画素の露光を同時に行えるグローバル電子シャッタでもよい。
また、第2のシャッタは、メカニカルシャッタ12でも構成することができ、後述するメカニカルシャッタ12の駆動方向に、本実施形態の第3の遮光手段と第4の遮光手段である遮光幕(メカ先幕とメカ後幕)でスリットを形成し露光を行うシャッタ構成である。
また、本実施形態の第1のシャッタは、本実施形態の第1の遮光手段である撮像素子14の有する電子シャッタの電荷のリセット(露光開始)と、本実施形態の第2の遮光手段であるメカニカルシャッタ12の遮光幕(メカ後幕)とにより、スリットを形成(露光時間の制限)し露光を行うシャッタ機構である。なお、前述の本実施形態の第1の遮光手段と第2の遮光手段は、撮像素子14とメカニカルシャッタ12のカメラ100内のレイアウト上、光軸方向に所定の隙間を有して配置される。そのため、第1の遮光手段と第2の遮光手段は、光軸方向に位置が異なる(即ち第1の光軸ずれ量(第1の距離)だけ離れて配置されている)構成である。一方で、第2のシャッタは、2つの遮光手段が、ともに電気的な構成、もしくはメカ的な構成であり、光軸方向の位置ずれは、第1の光軸ずれ量より小さい第2の光軸ずれ量(第2の距離)となるように構成されている。特に、電気的に2つの遮光幕を構成するスリットローリングシャッタでは、第2の光軸ずれ量(第2の距離)は、0となる。
従って、カメラ100は、結像光学系の光軸方向において第1の距離だけ離れた第1の遮光手段(第1の先幕)と第2の遮光手段(第1の後幕)とを用いる第1のシャッタ動作により撮像素子14を露光することにより画像(第1の画像)を取得することができる。また、カメラ100は、結像光学系の光軸方向において第2の距離だけ離れた第3の遮光手段(第2の先幕)と第4の遮光手段(第2の後幕)とを用いる第2のシャッタ動作により撮像素子14を露光することにより画像(第2の画像)を取得することができる。ここで、第2の距離は、第1の距離より小さい。
そして、カメラ100は、第1のシャッタ動作及び第2のシャッタ動作を行う撮像制御により取得された第1の画像(第1の信号群)及び第2の画像(第2の信号群)に基づいて、第1の画像に対して視差を持つ第3の画像(第3の信号群)を生成する。第3の画像を生成する処理の詳細については後述する。
第1の遮光手段(第1の先幕)及び第2の遮光手段(第1の後幕)は、それぞれ電子先幕及びメカ後幕であってもよいし、それぞれメカ先幕及び電子後幕であってもよい。また、第3の遮光手段(第2の先幕)及び第4の遮光手段(第2の後幕)は、それぞれ電子先幕及び電子後幕であってもよいし、それぞれメカ先幕及びメカ後幕であってもよい。
撮像素子14は、CCD又はCMOSイメージセンサであり、複数の光電変換部(又はフォトダイオード)を有する画素が複数、2次元的に配置された構成を有する。撮像素子14は、被写体光学像に対応する電気信号を出力する。撮像素子14にて光電変換された電気信号はA/D変換器16へ送られ、アナログ信号出力がデジタル信号(画像データ)に変換される。なお、A/D変換器16は撮像素子14に組み込まれてもよい。
本実施形態に係る撮像素子14は少なくとも一部の画素が複数の光電変換領域(又はフォトダイオード)を有するように構成されている。上述の通り、このような構成を有する画素は、位相差検出方式の焦点検出に用いる信号を出力可能である。従って、クイックリターン機構によりメインミラー130とサブミラー131が光路外に退避し、焦点検出装置105に光が入射しない場合であっても、撮像素子14の出力を用いた位相差検出方式の焦点検出が可能である。
本実施形態では、カメラ100は、撮像素子14と、第1のシャッタ及び第2のシャッタの2種類のシャッタとを用いて、複数の光電変換領域の数よりも多い視差信号を取得する。本実施形態では、カメラ100は、図2(b)の複数の光電変換領域(PD201a、201b)から、図2(b)の紙面横方向の視差である横方向視差を取得(生成)する。また、カメラ100は、第1のシャッタと第2のシャッタの2種類のシャッタで取得される2枚の画像から、シャッタの駆動方向である図2(b)の紙面縦方向の視差である縦方向視差を取得(生成)する。縦方向視差信号と横方向視差信号の取得(生成)については後述する。
タイミング発生回路18は、撮像素子14、A/D変換器16、D/A変換器26にクロック信号や制御信号を供給する。タイミング発生回路18はメモリ制御部22及びシステム制御部50により制御される。複数の光電変換領域を有する画素から、一部の光電変換領域の出力を読み出したり、全ての光電変換領域の出力を加算読み出ししたりするための制御信号は、システム制御部50がタイミング発生回路18を制御して撮像素子14に供給する。
画像処理部20は、A/D変換器16からの画像データ或いはメモリ制御部22からの画像データに対して画素補間処理、ホワイトバランス調整処理、色変換処理などの所定の処理を適用する。また、画像処理部20に本実施形態の視差信号生成手段が含まれる。
画像処理部20はまた、A/D変換器16からの画像データ(撮像素子14の出力信号)のうち、焦点検出用信号の生成に用いられる出力信号から、位相差検出方式の焦点検出に用いる1対の信号列を生成する。その後、1対の信号列はシステム制御部50を介してAF部42へ送られる。AF部42は1対の信号列の相関演算により信号列間のずれ量(シフト量)を検出し、ずれ量を撮影レンズ300のデフォーカス量とデフォーカス方向に変換する。AF部42は、変換したデフォーカスの量及び方向をシステム制御部50に出力する。システム制御部50は、撮影レンズ300のフォーカス制御部342を通じてフォーカスレンズを駆動し、撮影レンズ300の合焦距離を調節する。
また、画像処理部20は、撮像素子14から得られる、通常の画像データを生成するための信号に基づいて、コントラスト評価値を演算することができる。システム制御部50は、撮影レンズ300のフォーカス制御部342を通じてフォーカスレンズ位置を変更しながら撮像素子14で撮影を行い、画像処理部20で算出したコントラスト評価値の変化を調べる。そして、システム制御部50は、フォーカスレンズを、コントラスト評価値が最大となる位置に駆動する。このように、本実施形態のカメラ100は、コントラスト検出方式の焦点検出も可能である。
従って、カメラ100は、ライブビュー表示時や動画撮影時のようにメインミラー130とサブミラー131が光路外に退避していても、撮像素子14から得られる信号に基づいて、位相差検出方式とコントラスト検出方式の両方の焦点検出が可能である。また、カメラ100は、メインミラー130とサブミラー131が光路内にある通常の静止画撮影では、焦点検出装置105による位相差検出方式の焦点検出が可能である。このように、カメラ100は、静止画撮影時、ライブビュー表示時、動画撮影時のどの状態においても焦点検出が可能である。
メモリ制御部22は、A/D変換器16、タイミング発生回路18、画像処理部20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮伸長部32を制御する。そして、A/D変換器16のデータが画像処理部20及びメモリ制御部22を介して、或いはメモリ制御部22のみを介して、画像表示メモリ24或いはメモリ30に書き込まれる。画像表示メモリ24に書き込まれた表示用の画像データは、D/A変換器26を介して液晶モニタ等から構成される画像表示部28に表示される。撮像素子14で撮影した動画像を画像表示部28に逐次表示することで、電子ファインダ機能(ライブビュー表示)を実現できる。画像表示部28は、システム制御部50の指示により表示をON/OFFすることが可能であり、表示をOFFにした場合にはカメラ100の電力消費を大幅に低減できる。
また、メモリ30は、撮影した静止画像や動画像の一時記憶に用いられ、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶容量を備えている。これにより、連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことができる。また、メモリ30はシステム制御部50の作業領域としても使用できる。圧縮伸長部32は、適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する機能を有し、メモリ30に記憶された画像を読み込んで圧縮処理又は伸長処理を行い、処理を終えた画像データをメモリ30に書き戻す。
シャッタ制御部36は、測光部46からの測光情報に基づいて、撮影レンズ300の絞り312を制御する絞り制御部344と連携しながら、シャッタ12を制御する。インターフェース部38とコネクタ122は、カメラ100と撮影レンズ300とを電気的に接続する。インターフェース部38とコネクタ122は、カメラ100と撮影レンズ300との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。
測光部46は、自動露出制御(AE)処理を行う。撮影レンズ300を通過した光束を、レンズマウント106、メインミラー130、そして不図示の測光用レンズを介して、測光部46に入射させることにより、被写体光学像の輝度を測定できる。被写体輝度と露出条件とを対応付けたプログラム線図などを用いて、測光部46は露出条件を決定することができる。また、測光部46は、フラッシュ48と連携することで調光処理機能も有する。なお、画像処理部20による撮像素子14の画像データを演算した演算結果に基づき、システム制御部50が、シャッタ制御部36と撮影レンズ300の絞り制御部344に対してAE制御を行うことも可能である。フラッシュ48は、AF補助光の投光機能、フラッシュ調光機能も有する。
システム制御部50は、例えばCPUやMPUなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することによりカメラシステム全体の動作を制御する。不揮発性のメモリ52は、システム制御部50の動作用の定数、変数、プログラム等を記憶する。表示部54は、システム制御部50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する、例えば液晶表示装置である。表示部54は、カメラ100の操作部近辺の視認し易い位置に単数又は複数設置され、例えばLCDやLED等の組み合わせにより構成される。表示部54の表示内容のうち、LCD等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタスピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付・時刻等も表示される。また、表示部54は、前述した様にその一部の機能が光学ファインダ104内に設置されている。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。60、62、64、66、68及び70は、システム制御部50の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数又は複数の組み合わせで構成される。
モードダイアル60は、電源オフ、オート撮影モード、マニュアル撮影モード、再生モード、PC接続モード等の各機能モードを切り替え設定できる。シャッタスイッチSW1である62は、不図示のシャッタボタンが半押しされるとONとなり、AF処理、AE処理、AWB処理、EF処理等の動作開始を指示する。シャッタスイッチSW2である64は、シャッタボタンが全押しされるとONとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する一連の処理とは、露光処理、現像処理及び記録処理等のことである。露光処理では、撮像素子14から読み出した信号をA/D変換器16、メモリ制御部22を介してメモリ30に画像データとして書き込む。現像処理では、画像処理部20やメモリ制御部22での演算を用いた現像を行う。記録処理では、メモリ30から画像データを読み出し、圧縮伸長部32で圧縮を行い、記録媒体150又は記録媒体140に画像データとして書き込む。
画像表示ON/OFFスイッチ66は、画像表示部28のON/OFFを設定できる。この機能により、光学ファインダ104を用いて撮影を行う際に、液晶モニタ等から成る画像表示部28への電流供給を遮断することにより、省電力を図ることができる。クイックレビューON/OFFスイッチ68は、撮影した画像データを撮影直後に自動再生するクイックレビュー機能を設定する。操作部70は、各種ボタンやタッチパネル等からなる。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、露出補正ボタン等がある。
電源制御部80は、電池検出回路、DC/DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部80は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部50の指示に基づいてDC/DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。コネクタ82及び84は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、リチウムイオン電池等の二次電池、ACアダプタ等からなる電源部86をカメラ100と接続する。
インターフェース90及び94は、メモリカードやハードディスク等の記録媒体との接続機能を有し、コネクタ92及び96は、メモリカードやハードディスク等の記録媒体と物理的接続を行う。記録媒体着脱検知部98は、コネクタ92又は96に記録媒体が装着されているかどうかを検知する。なお、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを2系統持つものとして説明しているが、インターフェース及びコネクタは、単数又は複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。更に、インターフェース及びコネクタにLANカード等の各種通信カードを接続することで、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
通信部110は、有線通信、無線通信等の各種通信機能を有する。コネクタ112は、通信部110によりカメラ100を他の機器と接続し、無線通信の場合はアンテナである。記録媒体150及び140は、メモリカードやハードディスク等である。記録媒体150及び140は、半導体メモリや磁気ディスク等から構成される記録部152,162、カメラ100とのインターフェース144,164、カメラ100と接続を行うコネクタ146,166を備えている。
次に、撮影レンズ300について説明する。撮影レンズ300は、レンズマウント306をカメラ100のレンズマウント106に係合させることによりにカメラ100と機械的並びに電気的に結合される。電気的な結合はレンズマウント106及びレンズマウント306に設けられたコネクタ122及びコネクタ322によって実現される。レンズ311には撮影レンズ300の合焦距離を調節するためのフォーカスレンズが含まれる。フォーカス制御部342は、フォーカスレンズを光軸に沿って駆動することで撮影レンズ300の焦点調節を行う。フォーカス制御部342の動作は、調節手段としてのシステム制御部50が、レンズシステム制御部346を通じて制御する。絞り312はカメラ100に入射する被写体光の量と角度を調節する。
コネクタ322及びインターフェース338は、撮影レンズ300をカメラ100のコネクタ122と電気的に接続する。そして、コネクタ322は、カメラ100と撮影レンズ300との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流の供給を受ける機能も備えている。コネクタ322は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。
ズーム制御部340はレンズ311の変倍レンズを駆動し、撮影レンズ300の焦点距離(画角)を調整する。撮影レンズ300が単焦点レンズであればズーム制御部340は存在しない。絞り制御部344は、測光部46からの測光情報に基づいて、シャッタ12を制御するシャッタ制御部36と連携しながら、絞り312を制御する。
レンズシステム制御部346は例えばCPUやMPUなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することにより撮影レンズ300全体の動作を制御する。そして、レンズシステム制御部346は、撮影レンズの動作用の定数、変数、プログラム等を記憶するメモリの機能を備えている。不揮発性メモリ348は、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを記憶する。以上が、カメラ100と撮影レンズ300からなる本実施形態のカメラシステムの構成である。
●撮像素子14の構成
次に、撮像素子14の構成を図2及び図3を用いて説明する。
図2(a)は、撮像素子14が有する複数の画素のうち、位相差検出方式の焦点検出に用いる信号を出力可能な構成を有する画素の回路構成例を示す。ここでは、1つの画素200に、1つのマイクロレンズを共有する複数の光電変換領域又は光電変換部として2つのPD201a、201b(フォトダイオード)が設けられた構成を説明する。PD201a(第1の焦点検出画素)、PD201b(第2の焦点検出画素)は、後述するように、焦点検出画素として機能するとともに、撮像画素としても機能する。
転送スイッチ202a、202b、リセットスイッチ205、選択スイッチ206は、例えばMOSトランジスタにより構成されてよい。以下の説明ではこれらスイッチはN型のMOSトランジスタとするが、P型のMOSトランジスタであってもよいし、他のスイッチング素子であってもよい。
図2(b)は、撮像素子14に2次元配列された複数の画素のうち、水平n画素、垂直m画素を模式的に示した画素配列の概略図である。ここでは、全ての画素が図2(a)に示した構成を有するものとする。各画素にはマイクロレンズ236が設けられ、PD201a、201bは同一のマイクロレンズを共有する
転送スイッチ202aは、PD201aとFD203(フローティングディフュージョン)との間に接続される。また、転送スイッチ202bは、PD201bとFD203との間に接続される。転送スイッチ202a、202bは、それぞれPD201a、201bで発生した電荷を共通のFD203に転送する素子である。転送スイッチ202a、202bは、それぞれ制御信号TX_A、TX_Bによって制御される。
FD203は、PD201a、PD201bから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部(キャパシタ)として機能する。
増幅部204は、ソースフォロワMOSトランジスタである。増幅部204のゲートは、FD203に接続され、増幅部204のドレインは電源電位VDDを供給する共通電源208に接続される。増幅部204は、FD203に保持された電荷に基づく電圧信号を増幅して、画像信号として出力する。
リセットスイッチ205は、FD203と共通電源208との間に接続される。リセットスイッチ205は、制御信号RESによって制御され、FD203の電位を電源電位VDDにリセットする機能を有する。
選択スイッチ206は、増幅部204のソースと垂直出力線207の間に接続される。選択スイッチ206は、制御信号SELによって制御され、増幅部204で増幅された画像信号を垂直出力線207に出力する。
図3は、撮像素子14の構成例を示す図である。撮像素子14は、画素アレイ234、垂直走査回路209、電流源負荷210、読み出し回路235、共通出力線228、229、水平走査回路232及びデータ出力部233を有する。以下では画素アレイ234に含まれる全ての画素が図2(a)に示した回路構成を有するものとする。しかしながら、一部の画素は1つのマイクロレンズあたり1つのフォトダイオードが設けられた構成を有してもよい。
画素アレイ234は、行列状に配置された複数の画素200を有する。図3には説明を簡略化するために、4行n列の画素アレイ234を示している。しかし、画素アレイ234が有する画素200の行数及び列数は任意である。また、本実施形態において、撮像素子14は単板式カラー撮像素子であり、原色ベイヤー配列のカラーフィルタを有している。そのため、画素200には赤(R)、緑(G)及び青(B)のカラーフィルタのいずれか1つが設けられている。なお、カラーフィルタを構成する色や配列に特に制限はない。また、画素アレイ234に含まれる一部の画素は遮光され、オプチカルブラック(OB)領域を形成する。
垂直走査回路209は、行ごとに設けられた駆動信号線237を介して、各行の画素200に、図2(a)に示した各種の制御信号を供給する。なお、図3では簡略化のために各行の駆動信号線237を1本の線で表しているが、実際には複数の駆動信号線が各行に存在する。
画素アレイ234に含まれる画素は、一列ごとに共通の垂直出力線207に接続される。垂直出力線207の各々には、電流源負荷210が接続される。それぞれの画素200からの信号は、列ごとに設けられた読み出し回路235に垂直出力線207を通じて入力される。
水平走査回路232は、それぞれが1つの読み出し回路235に対応する制御信号hsr(0)~hsr(n-1)を出力する。制御信号hsr()はn個の読み出し回路235の1つを選択する。制御信号hsr()で選択された読み出し回路235は、共通出力線228、229を通じてデータ出力部233に信号を出力する。
次に、読み出し回路235の具体的な回路構成例を説明する。図3には、n個の読み出し回路235のうち1つについての回路構成例を示しているが、他の読み出し回路235も同じ構成を有する。本実施形態の読み出し回路235はランプ型のA/D変換器を含んでいる。
垂直出力線207を通じて読み出し回路235に入力された信号は、クランプ容量211を介してオペアンプ213の反転入力端子に入力される。オペアンプ213の非反転入力端子には、基準電圧源212から基準電圧Vrefが供給される。フィードバック容量214~216とスイッチ218~220がオペアンプ213の反転入力端子と出力端子の間に接続される。オペアンプ213の反転入力端子と出力端子の間には更にスイッチ217が接続される。スイッチ217は制御信号RES_Cにより制御され、フィードバック容量214~216の両端をショートさせる機能を有する。また、スイッチ218~220はシステム制御部50からの制御信号GAIN0~GAIN2で制御される。
比較器221にはオペアンプ213の出力信号と、ランプ信号発生器230から出力されるランプ信号224が入力される。Latch_N222はノイズレベル(N信号)を保持するための記憶素子であり、Latch_SはA信号及びA信号とB信号が加算された信号レベル(A+B信号)を保持するための記憶素子である。比較器221の出力(比較結果を表す値)とカウンタ231の出力(カウンタ値)225が、Latch_N222とLatch_S223のそれぞれに入力される。Latch_N222とLatch_S223の動作(有効又は無効)はそれぞれ、LATEN_N、LATEN_Sで制御される。Latch_N222で保持したノイズレベルはスイッチ226を介して共通出力線228に出力される。Latch_S223で保持した信号レベルはスイッチ227を介して共通出力線229に出力される。共通出力線228、229はデータ出力部233に接続される。
スイッチ226、227は水平走査回路232からの制御信号hsr(h)信号で制御される。ここで、hは制御信号線が接続されている読み出し回路235の列番号を示す。各読み出し回路235のLatch_N222、Latch_S223に保持された信号レベルは共通出力線228、229に順次出力され、データ出力部233を通じてメモリ制御部22や画像処理部20に出力される。この、各読み出し回路235で保持された信号レベルを順次外部に出力する動作を水平転送と呼ぶ。なお、読み出し回路に入力される制御信号(hsr()を除く)や、垂直走査回路209、水平走査回路232、ランプ信号発生器230、カウンタ231の制御信号は、タイミング発生回路18やシステム制御部50から供給される。
●位相差方式の焦点検出
図4は、撮像素子14上の画素と瞳分割との対応関係を示した概略図である。図4(a)で、光学系の合成レンズ151の第1瞳部分領域301と第2瞳部分領域302をそれぞれ通過した一対の光束は、撮像素子14の各画素にそれぞれ異なる角度で入射する。そして、光束は、2×1に分割されたPD201a(第1焦点検出画素)とPD201b(第2焦点検出画素)で受光される。本実施形態は、瞳領域が水平方向に2つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行ってもよい。
なお、上述した例では第1焦点検出画素と第2焦点検出画素から構成された撮像画素が複数配列されているが、本実施形態はこれに限られるものではない。必要に応じて、撮像画素と、第1焦点検出画素、第2焦点検出画素を個別の画素構成とし、撮像画素配列の一部に、第1焦点検出画素と第2焦点検出画素を部分的に配置する構成としてもよい。
本実施形態では、撮像素子14の各画素のPD201a(第1焦点検出画素)の受光信号を集めて第1焦点検出信号を生成し、各画素のPD201b(第2焦点検出画素)の受光信号を集めて第2焦点検出信号を生成して焦点検出を行う。また、撮像素子14の各画素について、PD201a(第1焦点検出画素)とPD201b(第2焦点検出画素)の信号を加算することで、有効画素数Nの解像度の撮像信号(撮像画像)を生成する。
図4(b)に、合成レンズ151の射出瞳上(光軸に直交する平面)における焦点検出画素の受光感度分布を示している。受光感度分布は、本来XY平面内で2次元に表現されるものであるが、図4(b)では説明を容易にするため、1次元で示しており、X軸上(Y=0)の受光感度分布を示している。図4(b)では、PD201a(第1焦点検出画素)の受光感度分布をS_A、PD201b(第2焦点検出画素)の受光感度分布をS_Bとして示している。また、撮像信号としての受光感度分布は、S_AとS_Bの和となり、S_ALLとして示されている。画素の受光感度分布は、撮像素子上の位置(像高)ごとの光電変換部とマイクロレンズの位置関係によって異なる。
図4(b)の斜線部は、結像光学系の絞りやメカ部材により制限された結果として遮光される(ケラレる)範囲を示しており、斜線部と重なっていない領域が、レンズ光束範囲(入射角度分布情報)として受光される。レンズ光束範囲は、結像光学系のF値や像高によって変化する。
図4(a)の第1瞳部分領域301と第2瞳部分領域302は、第1焦点検出画素と第2焦点検出画素の受光感度分布とレンズ光束範囲を加味した領域である。領域内の感度は一様ではなく、図4(b)のS_A(S_B)に対してレンズ光束範囲を加味(レンズ光束範囲外の受光感度を0とする)したものである。第1瞳部分領域301は第2焦点検出画素の受光感度分布S_Bとレンズ光束範囲により決定され、第2瞳部分領域302は第1焦点検出画素の受光感度分布S_Aとレンズ光束範囲により決定される。
図4(c)は、第1焦点検出信号と第2焦点検出信号のデフォーカス量と第1焦点検出信号と第2焦点検出信号間の像ずれ量の概略関係図である。撮像面800に本実施形態の撮像素子14が配置され、図4(a)及び図4(b)を参照して説明したように、結像光学系の射出瞳が、第1瞳部分領域301と第2瞳部分領域302に2分割される。
デフォーカス量dは、被写体の結像位置から撮像面までの距離が大きさ|d|に対応するように定義される。そして、デフォーカス量dは、被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号(d<0)、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号(d>0)として定義される。被写体の結像位置が撮像面(合焦位置)にある合焦状態はd=0である。図4(c)で、被写体801は合焦状態(d=0)の例を示しており、被写体802は前ピン状態(d<0)の例を示している。前ピン状態(d<0)と後ピン状態(d>0)を合わせて、デフォーカス状態(|d|>0)とする。
前ピン状態(d<0)では、被写体802からの光束のうち、第1瞳部分領域301(第2瞳部分領域302)を通過した光束は、一度、集光した後、光束の重心位置G1(G2)を中心として幅Γ1(Γ2)に広がり、撮像面800でボケた像となる。ボケた像は、撮像素子14に配列された各画素を構成するPD201a(PD201b)により受光され、第1焦点検出信号(第2焦点検出信号)が生成される。よって、第1焦点検出信号(第2焦点検出信号)は、撮像面800上の重心位置G1(G2)に、被写体802が幅Γ1(Γ2)にボケた被写体像として記録される。被写体像のボケ幅Γ1(Γ2)は、デフォーカス量dの大きさ|d|が増加するのに伴い、概ね、比例して増加していく。同様に、第1焦点検出信号と第2焦点検出信号間の被写体像の像ずれ量p(即ち、光束の重心位置の差G1-G2)の大きさ|p|も、デフォーカス量dの大きさ|d|が増加するのに伴い、概ね、比例して増加していく。後ピン状態(d>0)でも、第1焦点検出信号と第2焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。
このように、第1焦点検出信号と第2焦点検出信号、もしくは、第1焦点検出信号と第2焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第1焦点検出信号と第2焦点検出信号間の像ずれ量の大きさが増加する。
図4(c)から分かる通り、デフォーカス量dに対して、どの程度像ずれ量pが生じるかは、第1瞳部分領域301と第2瞳部分領域302の各主光線の角度の差による。角度の差が大きい場合には、より小さいデフォーカス量で、より大きな像ずれが生じる。本実施形態では、像ずれ量pをデフォーカス量dに変換する変換係数Kを記憶しておくことにより、デフォーカス量の算出を行う。変換係数Kは、第1瞳部分領域301と第2瞳部分領域302の受光感度分布の重心間隔をD、合成レンズ151の射出瞳の撮像素子14からの光軸方向距離をLとすると、K=L/Dで算出することができる。
上述の通り、第1瞳部分領域301と第2瞳部分領域302の受光感度分布の重心は、第1焦点検出画素と第2焦点検出画素の受光感度分布とレンズ光束範囲を加味した領域の重心であるため、焦点検出画素の像高、結像光学系の絞りやメカ部材によるケラレ状況、射出瞳距離により異なる。本実施形態では、焦点検出画素の像高、結像光学系のF値、射出瞳距離に応じて、変換係数Kを記憶しておく。変換係数Kの記憶の際には、データ量圧縮のため、適宜、関数フィッティングなどを行ってもよい。
また、第1焦点検出画素と第2焦点検出画素の受光する光量比は、第1瞳部分領域301と第2瞳部分領域302の受光感度分布の積分値の比に相当する。そのため、シェーディング補正係数として、変換係数Kと同様に、焦点検出画素の像高、結像光学系のF値、射出瞳距離に応じて、シェーディング補正係数を記憶しておく。第1焦点検出画素と第2焦点検出画素の出力信号に、シェーディング補正係数を乗じることで、対の焦点検出信号の出力を揃えることができるだけでなく、像高によらず一様な出力を得ることや、撮像信号の出力に合わせた出力を得ることができる。
●ライブビュー撮影(焦点検出及び撮影動作)
図5は、本実施形態のカメラシステムの焦点検出及び撮影動作を説明するためのフローチャートである。図5は、撮影スタンバイ状態などのライブビュー状態(動画撮影状態)から撮影を行うライブビュー撮影時の動作を示し、システム制御部50が主体となって実現される。
S1で、システム制御部50は、撮像素子14を駆動し、撮像データを取得する。ここでは、ライブビュー表示用の動画撮影のための駆動動作であるため、ライブビュー表示用のフレームレートに応じた時間の電荷蓄積と読み出しを行う、いわゆる電子シャッタを用いた撮影を行う。ここで行うライブビュー表示は、撮影者が撮影範囲や撮影条件の確認を行うためのもので、例えば、30フレーム/秒(撮影間隔33.3ms)や60フレーム/秒(撮影間隔16.6ms)であってよい。ライブビュー表示用の信号については、記録画像用の信号と異なり、高解像度の画質よりも、読出し時間の高速化、省電力が優先される。そのため、システム制御部50は、撮像素子14内において(又は撮像素子14から読み出した後に)、信号を加算、間引きする処理を行い、データ量の圧縮を行う。例えば、水平方向には、同色間で3画素の加算を行い、1/3に間引きを行い、垂直方向には、1/3行に読出し行数を減らすことでデータ量の圧縮を行う。
S2で、システム制御部50は、S1で得られた撮像データのうち、焦点検出領域に含まれる第1焦点検出画素と第2焦点検出画素から得られる焦点検出データを取得(抽出)する。また、システム制御部50は、第1焦点検出画素と第2焦点検出画素の出力信号を加算して撮像信号を生成し、画像処理部20で色補間処理などを適用して得られる画像データを取得する。このように、1回の撮影により、画像データと、焦点検出データとを取得することができる。なお、撮像画素と、第1焦点検出画素、第2焦点検出画素を個別の画素構成とした場合には、システム制御部50は、焦点検出用画素の補完処理などを行って画像データを取得する。
S3で、システム制御部50は、S2で得られた画像データをもとに、画像処理部20を用いてライブビュー表示用の画像を生成し、画像表示部28に表示する。なお、ライブビュー表示用の画像は、例えば画像表示部28の解像度に合わせた縮小画像であり、S2で画像データを生成する際に画像処理部20で縮小処理を実施することもできる。この場合、システム制御部50は、S2で取得した画像データを画像表示部28に表示させる。上述の通り、ライブビュー表示中は所定のフレームレートでの撮影と表示が行われるため、画像表示部28を通じて撮影者は撮影時の構図や露出条件の調整などを行うことができる。
S400で、システム制御部50は、S2で取得した焦点検出領域に対応する焦点検出データを用いて、デフォーカス量及び方向を焦点検出領域ごとに求める。本実施形態では、システム制御部50が焦点検出用信号の生成と、焦点検出用信号のずれ量(位相差)の算出と、算出したずれ量からデフォーカス量及び方向を求める処理とを実施するものとする。また、システム制御部50は、事前に記憶している補正値を用いて、検出したデフォーカス量の補正(校正)を行う。補正を含む焦点検出処理の詳細は後述する。
S5で、システム制御部50は、撮影準備開始を示すスイッチであるシャッタスイッチSW1のオン/オフを検出する。S5でSw1のオンが検出されない(或いはオフが検出された)場合、システム制御部50は処理をS11に進め、モードダイアル60に含まれるメインスイッチがオフされたか否かを判別する。一方、S5でSw1のオンが検出されると、システム制御部50は処理をS6に進め、合焦させる焦点検出領域を設定(選択)する。ここでは、撮影者の指示した焦点検出領域としてもよいし、S400で得ている焦点検出領域のデフォーカス量の情報や焦点検出領域の撮影範囲中心からの距離の情報を用いて、システム制御部50が自動的に設定してもよい。一般に、撮影者の意図する被写体は、撮影距離の短い位置に存在する確率が高く、また撮影範囲の中央付近に存在する確率が高い。そのため、システム制御部50は、例えば複数の被写体が存在する場合にはこれらの条件を考慮して適切と考えられる焦点検出領域を選択する。システム制御部50はまた、例えば、被写体が1つで他は背景と考えられる場合には、被写体が存在する焦点検出領域を選択する。
S7で、システム制御部50は、選択した焦点検出領域で検出されたデフォーカス量に基づき、レンズ駆動を行う。検出されたデフォーカス量が所定値より小さい場合には、必ずしもレンズ駆動を行う必要はない。
S8で、システム制御部50は、S1で行った撮像データの取得とS400で行った焦点検出処理を行う。S8で行う処理は、S7のレンズ駆動中に、並列的に行ってもよい。システム制御部50は、焦点検出処理を終えると処理をS9に進め、撮影開始指示を示すスイッチであるSw2のオン/オフを検出する。不図示のシャッタボタンは、押し込み量に応じて、2段階のオン/オフを検出することが可能で、上述のSw2は、シャッタボタンの2段階目のオン/オフに相当する。システム制御部50は、S9でSw2のオンが検出されない場合、処理をS5に戻し、Sw1のオン/オフを検出する。
S9でSw2のオンが検出されると、システム制御部50は処理をS300に進め、撮影サブルーチンを実行する。撮影サブルーチンの詳細については後述する。S300の撮影サブルーチンが実行された後、システム制御部50は処理をS9に戻し、Sw2のオン/オフを検出する。即ち、システム制御部50は、連写指示がされているか否かを判断する。
S5でSw1のオンが検出されず(或いはオフが検出され)、S11でメインスイッチのオフが検出されると、システム制御部50は、本フローチャートの処理を終了する。一方で、S11でメインスイッチのオフが検出されない場合には、システム制御部50は処理をS2に戻し、画像データ及び焦点検出データの取得を行う。
●撮影サブルーチン
次に、図6に示すフローチャートを用いて、図5のS300で実行する撮影サブルーチンの詳細について説明する。本サブルーチンの一連の動作も、システム制御部50が主体となって実現される。
S301で、システム制御部50は、露出制御処理を実行し、撮影条件(シャッタ速度、絞り値、撮影感度)を決定する。この露出制御処理は、システム制御部50が画像データの輝度情報に基づいて行うことができるが、任意の公知技術を用いることができる。システム制御部50は、決定した絞り値とシャッタ速度を、それぞれ絞り制御部344、シャッタ制御部36に送信し、絞り、及びシャッタの動作を制御する。また、システム制御部50は、絞り、シャッタの動作を考慮し、撮像素子14が露光される期間、電荷蓄積を行う。
露光期間が終了すると、S302で、システム制御部50は、撮像素子14に対して、ライブビュー表示時のデータ量の圧縮を優先した読み出しではなく、高解像度な静止画像を得るための画像読み出し(即ち、全画素の読み出し)を行う。
S303で、システム制御部50は、読み出された画像データに対して画像処理部20によって欠陥画素の補間処理を実施する。S304で、システム制御部50は、欠陥画素補間後の画像データに対して画像処理部20によってデモザイク(色補間)処理、ホワイトバランス処理、γ補正(階調補正)処理、色変換処理、エッジ強調処理等の画像処理や、符号化処理などを適用する。S305で、システム制御部50は、高画素静止画撮影のための画像信号と、一方の焦点検出信号とを、画像データファイルとして記録部152,162に記録する。
S306で、システム制御部50は、S305で記録した画像信号に対応させて、カメラ100の特性情報をメモリ30とシステム制御部50内のメモリに記録する。ここで、カメラ100の特性情報としては、以下の様な情報が例示できる。
・撮影条件(絞り値、シャッタ速度、撮影感度など)
・画像処理部20で適用した画像処理に関する情報
・撮像素子14の撮像用画素及び焦点検出用画素の受光感度分布情報
・カメラ本体内での撮影光束のケラレ情報
・カメラ本体とレンズユニットとの取り付け面から撮像素子14までの距離情報
・製造誤差情報
なお、撮像素子14の撮像用画素及び焦点検出用画素の受光感度分布情報は、オンチップマイクロレンズと光電変換部に依存する情報であるため、これら部材に関する情報を記録してもよい。受光感度分布情報は、撮像素子14から光軸上の所定の距離における位置に応じた感度の情報である。また、受光感度分布情報は、光の入射角度に対する感度の変化を情報としてもよい。
S307で、システム制御部50は、S305で記録した画像信号に対応させて、撮影レンズ300の特性情報をメモリ30とシステム制御部50内のメモリに記録する。撮影レンズ300の特性情報としては、射出瞳の情報、枠情報、撮影時の焦点距離やFナンバー情報、収差情報、製造誤差情報、撮影時のフォーカスレンズ位置と対応付けられた被写体距離情報などが例示できる。
S308で、システム制御部50は、撮影した画像に関する画像関連情報をメモリ30とシステム制御部50内のメモリに記録する。画像関連情報には、撮影前の焦点検出動作に関する情報や、被写体移動情報、焦点検出動作の精度に関わる情報などが含まれてよい。
S309で、システム制御部50は、画像表示部28に、撮影画像のプレビュー表示を行う。これにより撮影者は、撮影画像の簡易的な確認を行うことができる。S309で行うプレビュー表示に用いる画像は、画像の簡易的な確認が目的であるため、S303やS304で行う各種処理を行わなくてもよい。これらの各種処理を行わない場合には、S303以降の処理と並列して、S309のプレビュー表示を行うことで、露光から表示までのタイムラグをより小さくすることができる。
S309の処理が終わると、システム制御部50は、S300の撮影サブルーチンを終了し、メインルーチン(図5)のS9に処理を戻す。
●焦点検出処理サブルーチン
次に、図7に示すフローチャートを用いて、図5のS400で実行する焦点検出処理のサブルーチンの詳細について説明する。本サブルーチンの一連の動作も、システム制御部50が主体となって実現される。
S401で、システム制御部50は、焦点検出用の画像信号として得られた第1焦点検出信号と第2焦点検出信号に、シェーディング補正、フィルター処理を行い、対の信号の光量差の低減と、位相差検出を行う空間周波数の信号抽出を行う。S402で、システム制御部50は、フィルター処理後の第1焦点検出信号と第2焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理(相関演算処理)を行い、信号の一致度を表す相関量を算出する。
フィルター処理後のk番目の第1焦点検出信号をA(k)、第2焦点検出信号をB(k)、焦点検出領域に対応する番号kの範囲をWとする。更に、シフト処理によるシフト量をs1、シフト量s1のシフト範囲をΓ1とすると、相関量CORは、式(1)により算出される。
COR(s1)=Σk∈W|A(k)-B(k-s1)| s1∈Γ1 …(1)
システム制御部50は、シフト量s1のシフト処理により、k番目の第1焦点検出信号A(k)とk-s1番目の第2焦点検出信号B(k-s1)を対応させ減算し、シフト減算信号を生成する。システム制御部50は、生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲W内で番号kの和を取り、相関量COR(s1)を算出する。必要に応じて、各行毎に算出された相関量を、シフト量毎に、複数行に渡って加算してもよい。
S403で、システム制御部50は、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量p1とする。そして、S404で、システム制御部50は、算出した像ずれ量p1に、焦点検出領域の像高と、撮影レンズ300(結像光学系)のF値、射出瞳距離に応じた変換係数K1をかけて、デフォーカス量を算出する。
S405で、システム制御部50は、算出したデフォーカス量の補正を行う。デフォーカス量は、結像光学系が球面収差を有していると、焦点検出信号と撮像信号の評価する空間周波数帯域の違いによって、検出誤差が生じる。また、焦点検出は水平方向のコントラストを用いて行うのに対して、撮像信号のピント状態の評価は、水平、垂直両方向のコントラストを用いて行うため、結像光学系が非点収差を有していると検出誤差が生じる。そのため、システム制御部50は、事前に記憶している情報を用いて補正値を取得し、算出したデフォーカス量に対して補正を行う。
本実施形態では、システム制御部50は、焦点検出結果の校正を行い、補正値を事前に取得し、カメラ100内に記憶する。焦点検出結果の校正方法(補正値の取得方法)については、詳細は後述する。S405の処理が終わると、システム制御部50は、焦点検出処理のサブルーチンを終了し、メインルーチン(図5)に処理を戻す。
●垂直方向の焦点検出方法
後述する焦点検出結果の校正を行う際に用いる垂直方向の位相差の検出方法について説明する。図8(a)は、ある時刻(t1、t2、又はt3)にピント位置が撮像素子面よりも後方の位置157にある場合のボケ像が、本実施形態の第1のシャッタによってケラレる様子を模式的に示した図である。第1のシャッタの駆動方向は紙面上から下方向である。本実施形態では、第1のシャッタを所定の遮光幕の開口幅で用いて瞳の部分領域からの光束を受光して行方向の視差信号を取得する。また、図8(a)では、時刻t1、t2、t3において、左側に第1のシャッタが光束を遮る様子をYZ平面で模式的に示しており、右側に撮像素子面153におけるボケ像とケラレの様子をXY平面で模式的に示している。
図8(a)の左側において、181、182は光学系の合成レンズ151の瞳の異なる部分領域を示している。153は本実施形態の電子シャッタの駆動する撮像素子面を示している。154は本実施形態のメカニカルシャッタ12の走行するメカニカルシャッタ面を示している。155は本実施形態の第1の遮光手段である電子シャッタによるリセット駆動による遮光部(電子先幕)を模式的に示している。156は本実施形態の第2の遮光手段であるメカニカルシャッタ12による後幕(メカ後幕)を模式的に示している。このような電子先幕とメカ後幕を用いるシャッタを本実施形態では、電子先幕シャッタと呼ぶ。電子先幕シャッタでは、電子先幕とメカ後幕は光軸方向に第1の光軸方向ずれ量だけ離れて配置されている。
図8(a)の右側において、170a、170b、170cは撮像素子面153におけるボケ像を示している。171a、171b、171cは前述のボケ像が、電子先幕155又はメカ後幕156によってケラレている部分を示している。172b、172cは前述のボケ像が、電子先幕155又はメカ後幕156によってケラレていない部分(本実施形態の第1のシャッタの開口部)を示している。
まず、図8(a)の時刻t1における図を用いて説明する。時刻t1では、電子先幕155の上端159が、撮像素子面153上に形成されるボケ像の上部に位置しており、メカ後幕156の下端158が、メカニカルシャッタ面154上に形成されるボケ像の上部に位置している瞬間である。この時、合成レンズ151からの光束は、メカ後幕156では遮られていないが、電子先幕155によって遮られている状態である。この時の撮像素子面153におけるボケ像170aは、図8(a)の時刻t1における右側の図の通り、電子先幕155によって遮られている。
次に、図8(a)の時刻t2における図を用いて説明する。時刻t2では、メカ後幕156の下端160と、電子先幕155の上端162によって、撮像素子面153上に形成されるボケ像がケラレている瞬間である。この時、撮像素子面153における本実施形態の第1のシャッタの開口部は、メカ後幕156の下端を撮像素子面153に投影した位置161と電子先幕の上端162によって形成される。この時の撮像素子面153におけるボケ像170bは、図8(a)の時刻t2における右側の図の通り、開口部172bを形成し、それ以外の部分は電子先幕155とメカ後幕156によって部分的に遮られる(171b)。
次に、図8(a)の時刻t3における図を用いて説明する。時刻t3では、メカ後幕156の下端163と、電子先幕155の上端165によって撮像素子面153上に形成されるボケ像がケラレている瞬間である。この時、撮像素子面153における本実施形態の第1のシャッタの開口部は、メカ後幕156の下端を撮像素子面153に投影した位置164と電子先幕の上端165によって形成される。この時の撮像素子面153におけるボケ像170cは、図8(a)の時刻t3における右側の図の通り、開口部172cを形成し、それ以外の部分は電子先幕155とメカ後幕156によって部分的に遮られる(171c)。
以上の様にして、本実施形態の第1のシャッタを用いた撮影が行われた際にボケ像がケラレる。
次に、図8(b)を用いて、合成レンズ151の瞳がケラレる様子を説明する。図8(b)は、図8(a)の撮像素子面153において、電子先幕155とメカ後幕156によって作られる開口部の時間変化を表している。図8(b)における158~165は図8(a)と同一である。横軸は時刻t1、t2、t3を示しており、縦軸は、カメラ100内におけるY方向の遮光部の端部の位置を示している。各時刻における開口部は縦軸で示されている。まず、時刻t1における開口部を考える。時刻t1では、電子先幕155の上端159とメカ後幕156の下端158とで、光束が遮られる。メカ後幕156の下端158は撮像素子面153の上端159に投影されるため、撮像素子面153における開口部は、159-159となり全光束が遮られている状態となる。
次に、時刻t2における開口部を考える。時刻t2では、電子先幕155の上端162とメカ後幕156の下端160とで、光束が遮られる。メカ後幕156の下端160は撮像素子面153の位置161に投影されるため、撮像素子面153における開口部は、161-162となり光束の一部分が遮られている状態となる。また、開口部161-162は、メカ後幕156を撮像素子面153に投影する前の開口部160-162に比べて狭くなっている。
最後に、時刻t3における開口部を考える。時刻t3では、電子先幕155の上端165とメカ後幕156の下端163とで、光束が遮られる。メカ後幕156の下端163は撮像素子面153の位置164に投影される為、撮像素子面153における開口部は、164-165となり光束の一部分が遮られている状態となる。また、開口部164-165は、メカ後幕156を撮像素子面153に投影する前の開口部163-165に比べて広くなっている。これにより光量のアンバランスが生じて、撮像素子面153におけるボケ像は、本実施形態の第1のシャッタによってケラレた領域と、ケラレていない領域とに分かれる。以上の様に、本実施形態の第1のシャッタを所定の遮光幕の開口幅で用いた際に取得される第1の信号群は、受光量分布がY方向に均一ではない。この状態は、合成レンズ151における瞳領域において撮像素子14に入射する光束の角度に応じた受光感度分布を有している状態と考えることができる。
上述の説明では、ピント位置が撮像素子面153よりも後方の位置157にある場合を説明したが、ピント位置が撮像素子面153より前方にある場合も、同様に、ケラレが生じる。ケラレの生じる光束の角度は、ピント位置によらず同様だが、その結果生成されるボケ像のケラレ状況は、図8(a)及び図8(b)の場合と異なる。つまり、図8(b)の右側の図で、下側(Y軸負の方向)の方が、より多くケラレる。このことからも、合成レンズ151における瞳領域において撮像素子14に入射する光束の角度に応じた受光感度分布を有していると考えることができる。
図8(c)に、合成レンズ151の射出瞳上(光軸に直交する平面)における第1のシャッタのケラレにより生じる受光感度分布(SHケラレ感度分布)を示している。横軸は、図8(a)中のY軸と同じ方向を示しており、縦軸は、受光感度を相対的に示している。図8(c)には、合成レンズ151の射出瞳上における画素の受光感度分布をS_ALLとして示している。図4で説明した場合と同様に、受光感度分布は、本来XY平面内で2次元に表現されるものであるが、図8(c)では説明を容易にするため、1次元で示しており、Y軸上(X=0)の受光感度分布を示している。また、画素の受光分布は2次元方向に異なる分布を示しうるが、SHケラレは第1のシャッタの走行方向に直交する方向(X軸)に対して一様な感度分布を示す。
図8(a)で示した通り、合成レンズ151の射出瞳上で、Y軸正の方向から入射する光束が主にケラレるため、図8(c)でもY軸正の方向ほど、SHケラレ感度分布の感度は低くなっている。第1のシャッタによる撮影では、画素単体での受光感度分布S_ALLに対するSHケラレ感度分布の影響により、合成レンズ151の射出瞳上の各座標において、画素の受光感度分布S_ALLとSHケラレ感度分布を掛け合わせた感度分布を各画素は有する。図8(c)のS_C1は、第1のシャッタで撮影を行った場合の画素の受光感度分布を示している。
次に、図9を用いて、本実施形態の第2のシャッタを所定の遮光幕の開口幅で用いた際に取得される第2の信号群における受光感度分布について説明する。
図9(a)は、ある時刻(t1、t2、又はt3)にピント位置が撮像素子面153よりも後方の位置157にある場合のボケ像が、本実施形態の第2のシャッタによってケラレる様子を模式的に示した図である。第2のシャッタの駆動方向は紙面上から下方向である。また、図9(a)では、時刻t1、t2、t3において、左側に第2のシャッタが光束を遮る様子をYZ平面で模式的に示しており、右側に撮像素子面153におけるボケ像とケラレの様子をXY平面で模式的に示している。なお、図9(a)では、本実施形態の第2のシャッタは、本実施形態の電子シャッタ(スリットローリングシャッタ)によるリセット動作による遮光部(電子先幕191)、遮光部(電子後幕192)として説明する。しかし、これら2つの遮光部は、メカニカルシャッタ12を用いた遮光部(メカ先幕及びメカ後幕)であってもよい。なお、本実施形態では電子先幕と電子後幕として説明するので、第3の遮光手段と第4の遮光手段が光軸方向にずれて配置されておらず、第2の光軸方向ずれ量は0となるため、第2の光軸方向ずれ量は第1の光軸方向ずれ量よりも小さい。一方、メカ先幕とメカ後幕の場合には、光軸方向に離れて配置されているが、電子先幕とメカ後幕の光軸方向ずれ量である第1の光軸方向ずれ量に比べて、メカ先幕とメカ後幕の光軸方向ずれ量である第2の光軸方向ずれ量の方が小さい。そのため、メカ先幕とメカ後幕においても、第2の光軸方向ずれ量は第1の光軸方向ずれ量よりも小さい。
図9(a)の左側において、180は光学系の合成レンズ151の瞳領域を示している。153は本実施形態の電子シャッタの駆動する撮像素子面を示している。191は、本実施形態の第3の遮光手段である、電子シャッタによるリセット駆動による遮光部(電子先幕)を模式的に示している。192は、本実施形態の第4の遮光手段である、電子シャッタによるリセット駆動の後に行われる信号の読出しの完了に対応する読出し完了動作を表している(電子後幕)。本実施形態では、読出し完了動作を後幕の動作として模式的に示している。
図9(a)の右側において、170a、170b、170cは撮像素子面153におけるボケ像を示している。173a、173b、173cは前述のボケ像が、電子先幕191もしくは電子後幕192によってケラレている部分を示している。174a、174b、174cは前述のボケ像が、電子先幕191もしくは電子後幕192によってケラレていない部分(本実施形態の第2のシャッタの開口部)を示している。
まず、図9(a)の時刻t1における図を用いて説明する。時刻t1では、電子先幕191の上端159が、撮像素子面153上に形成されるボケ像の上部に位置しており、電子後幕192の下端193が、撮像素子面153上に形成されるボケ像の上部に位置している瞬間である。この時、合成レンズ151からの光束は、電子先幕191、電子後幕192によって遮られている状態である。この時の撮像素子面153におけるボケ像170aは、図9(a)の時刻t1における右側の図の通り、電子先幕191、電子後幕192によって遮られている。
以降、図9(a)の時刻t2、t3においても同様に電子先幕191、電子後幕192によって光束が遮られる。第2のシャッタを用いた場合には、時刻t1において電子先幕191と電子後幕192によって作られる開口部159-193と、時刻t2において同様に作られる開口部162-194と、時刻t3において同様に作られる開口部165-195は、等しい。
以上の様にして、本実施形態の第2のシャッタを用いた撮影が行われた際にボケ像がケラレる。
次に図9(b)を用いて、合成レンズ151の瞳がケラレる様子を説明する。図9(b)は、図9(a)の撮像素子面153において、電子先幕191と電子後幕192によって作られる開口部の時間変化を表している。図9(b)における159~195は図9(a)と同一である。各時刻における開口部は縦軸で示されている。図9(b)では、図8(b)とは異なり、電子先幕191と電子後幕192とが撮像素子面153にあるため、時刻t1における開口部159-193と、時刻t2における開口部162-194と、時刻t3における開口部165-195は等しい。つまり、本実施形態の第2のシャッタを所定の遮光幕の開口幅で用いた際に取得される第2の信号群の各画素は、図8(c)において画素の受光感度分布として示しているS_ALLと等しい受光感度分布を示す。
次に、図10を用いて、対の位相差検出信号(視差信号)の生成方法について説明する。図10は、図4(b)と同様に、合成レンズ151の射出瞳上(光軸に直交する平面)における焦点検出画素の受光感度分布を示している。受光感度分布は、本来XY平面内で2次元に表現されるものであるが、説明を容易にするため、1次元で示しており、Y軸上(X=0)の受光感度分布を示している。図10で、第1のシャッタを用いた露光で得られる信号を出力する画素の受光感度をS_C1、第2のシャッタを用いた露光で得られる信号を出力する画素の受光感度をS_ALLとして示している。
図10のS_D1は、S_ALLとS_C1の差分を示している。即ち、S_D1は、第2のシャッタを用いた露光で得られた信号(第2の信号群)に対して、第1のシャッタを用いた露光で得られる信号(第1の信号群)の各信号の差分として、第3の信号群を生成した場合の第3の信号の受光感度分布を示している。図4(b)との対比で分かるように、第1の信号群と第3の信号群は、第1の焦点検出信号と第2の焦点検出信号と同様に、受光感度分布に偏りを持つため、デフォーカスによって、像ずれが生じる。本実施形態では、システム制御部50は、第1のシャッタ動作、第2のシャッタ動作による2回の露光で得られた信号(第1の信号群、第2の信号群)から、対の信号(第1の信号群、第3の信号群)を生成し焦点検出を行う。
図10では、図4(b)と同様に、斜線部は、結像光学系の絞りやメカ部材により制限された結果として遮光される(ケラレる)範囲を示しており、斜線部と重なっていない領域が、レンズ光束範囲として受光される。レンズ光束範囲は、結像光学系のF値や像高によって変化する。
一方で、図4(b)で説明した焦点検出信号の受光感度分布は、撮像素子14上の位置(像高)ごとの光電変換部とマイクロレンズの位置関係によって異なる。しかし、図10で説明した2つのシャッタによる対の信号の受光感度分布は、各シャッタの2つの遮光幕の光軸方向(Z軸)の距離と開口幅(Y軸)によって決定される。図8(a)の時刻t1を参照して説明したように、光束がケラレる角度が、遮光幕の光軸方向距離と開口幅によって決まるためである。
次に、図11を用いて、図8で説明した場合とは異なる開口幅の場合の光束のケラレる様子を説明する。図8の場合に対して、遮光幕の開口幅が狭くなっている。
図11(a)は、図8(a)と同様に、ある時刻(t1、t2、又はt3)にピント位置が撮像素子面よりも後方の位置157にある場合のボケ像が、本実施形態の第1のシャッタによってケラレる様子を模式的に示した図である。また、図11(a)では、図8(a)と比べて電子先幕155とメカ後幕156によって形成される開口部が狭い状態を表している。これにより、撮像素子14は、合成レンズ151の瞳のより狭い角度の光束のみ受光することができる。
まず、図11(a)の時刻t1における図を用いて説明する。時刻t1では、電子先幕155の上端501が、撮像素子面153上に形成されるボケ像の上部に位置しており、メカ後幕156の下端158が、メカニカルシャッタ面154上に形成されるボケ像の上部に位置している瞬間である。この時、合成レンズ151からの光束は、電子先幕155、メカ後幕156によって遮られている状態である。この時の撮像素子面153におけるボケ像170aは、図11(a)の時刻t1における右側の図の通り、電子先幕155、メカ後幕156によって遮られている(175a)。なお、図11(a)においては、時刻t2においても、合成レンズ151からの光束は電子先幕155、メカ後幕156によって遮られている(175b)。
次に、図11(a)の時刻t3における図を用いて説明する。時刻t3では、メカ後幕156の下端163と、電子先幕155の上端503によって撮像素子面153上に形成されるボケ像がケラレている瞬間である。この時、撮像素子面153における本実施形態の第1のシャッタの開口部は、メカ後幕156の下端163を撮像素子面153に投影した位置504と電子先幕の上端503によって形成される。この時の撮像素子面153におけるボケ像170cは、図11(a)の時刻t3における右側の図の通り、開口部176cを形成し、それ以外の部分は電子先幕155とメカ後幕156によって部分的に遮られる(175c)。
以上の様にして、本実施形態の第1のシャッタを用いた撮影が行われた際にボケ像がケラレる。
次に、図11(b)を用いて、合成レンズ151の瞳がケラレる様子を説明する。図11(b)は、図11(a)の撮像素子面153において、電子先幕155とメカ後幕156によって作られる開口部の時間変化を表している。図11(b)における158~504は図11(a)と同一である。各時刻における開口部は縦軸で示されている。時刻t1、t2では、電子先幕155とメカ後幕156により全光束が遮られる。時刻t3では、メカ後幕156の下端163は撮像素子面153の位置504に投影される為、撮像素子面153における開口部は、503-504となる。これにより、図8(b)よりも更に大きな光量のアンバランスが生じて、撮像素子面153におけるボケ像は、主に、合成レンズ151における瞳の部分領域183からの光束を受光していることになる。
図11(c)に、合成レンズ151の射出瞳上(光軸に直交する平面)における第1のシャッタのケラレにより生じる受光感度分布(SHケラレ感度分布)を示している。横軸は、図11(a)中のY軸と同じ方向を示しており、縦軸は、受光感度を相対的に示している。図11(c)には、合成レンズ151の射出瞳上における画素の受光感度分布をS_ALLとして示している。図4(b)で説明した場合と同様に、受光感度分布は、本来XY平面内で2次元に表現されるものであるが、図11(c)では説明を容易にするため、1次元で示しており、Y軸上(X=0)の受光感度分布を示している。また、画素の受光分布は2次元方向に異なる分布を示しうるが、SHケラレは第1のシャッタの走行方向に直交する方向(X軸)に対して一様な感度分布を示す。
図11(a)で示した通り、合成レンズ151の射出瞳上で、Y軸正の方向から入射する光束が主にケラレるため、図11(c)でもY軸正の方向ほど、SHケラレ感度分布の感度は低くなっている。また、図8(c)と比べて、更に大きなケラレが生じているため、Y軸負の方向に感度が高い方向が偏っていることを示している。第1のシャッタによる撮影では、画素単体での受光感度分布S_ALLに対するSHケラレ感度分布の影響により、合成レンズ151の射出瞳上の各座標において、画素の受光感度分布S_ALLとSHケラレ感度分布を掛け合わせた感度分布を各画素は有する。図11(c)のS_C2は、第1のシャッタで撮影を行った場合の画素の受光感度分布を示している。
以上の様にして、図8(a)の場合よりも電子先幕155とメカ後幕156によって形成される開口部を狭くすることで、合成レンズ151の瞳の部分領域183に対応した縦方向視差信号を取得することができる。この時取得できる縦方向視差信号をS_C2とする。また、不図示だが、図8(a)の場合よりも電子先幕155とメカ後幕156によって形成される開口部を広くすることで、より広い範囲で感度を有する縦方向視差信号を取得することができる。
一般に、第1のシャッタを用いて記録画像を生成する場合には、システム制御部50は、露光量を決定するために、2つの遮光幕の開口幅を決定する。本実施形態では、システム制御部50は、2つの遮光幕により生じるケラレ(SHケラレ感度分布)を調整するために、2つの遮光幕の開口幅を決定する。そのため、システム制御部50は、信号量の過不足が生じる場合には、信号を出力する際のゲインを調整し、適切な信号を得ればよい。
2つのシャッタにより生成される異なる受光感度分布を有する信号群の場合も、焦点検出画素による受光感度分布の場合と同様に、像ずれ量pをデフォーカス量に変換する変換係数Ksをカメラ100に記憶しておく。上述の通り、変換係数Ksは、2つのシャッタの有する遮光幕のケラレ方の違い(SHケラレ感度分布の違い)によって、異なる値となる。本実施形態では、遮光幕の開口幅ごとに異なるSHケラレ感度分布と対応した変換係数Ksをカメラ100に記憶しておく。詳細には、焦点検出画素の焦点検出信号のための変換係数Kと同じように、焦点検出を行う像高、結像光学系のF値、射出瞳距離、SHケラレ感度分布に対応させて、変換係数Ksをカメラ100に記憶しておく。
また、第1のシャッタを用いた露光で得られる信号(第1の信号群)と、第1、第2のシャッタの露光で得られた信号の差分として算出される第3の信号群の光量比についても、システム制御部50は、焦点検出画素の場合と同様に補正を行う。第1の信号群と第3の信号群の光量比は、図10のレンズ光束範囲を加味した受光感度分布S_C1とS_D1の積分値の比に相当する。そのため、変換係数Ksの場合と同様に、焦点検出を行う像高、結像光学系のF値、射出瞳距離、SHケラレ感度分布に応じて、シェーディング補正係数をカメラ100に記憶しておく。第1の信号群と第2の信号群に、シェーディング補正係数を乗じることで、対の焦点検出信号の出力を揃えることができるだけでなく、像高によらず一様な出力を得ることや、撮像信号の出力に合わせた出力を得ることができる。
本実施形態では、変換係数Ks及びシェーディング補正係数の両方について、SHケラレ感度分布、像高、結像光学系のレンズ光束範囲(F値、射出瞳距離、像高に応じたケラレ状況)に対応したテーブルデータをカメラ100に記憶しているように構成した。しかし、カメラ100内に、SHケラレ感度分布情報そのものを記憶し、結像光学系のレンズ光束範囲に応じて、カメラ内で変換係数Ks及びシェーディング補正係数を演算してもよい。それにより、演算負荷は増えるが、より高精度な演算を行うことができる。
カメラ100内に、SHケラレ感度分布情報を記憶している場合の演算方法について説明する。合成レンズ151の射出瞳上の座標において、SHケラレ感度分布SH(y)、撮像画素の受光感度分布をS_ALL(y)、第1のシャッタによる受光感度分布S_C(y)とすると、S_C(y)は下記の式(2)で表される。
S_C(y)=S_ALL(y)×SH(y) …(2)
ここで、S_C(y)は、図10のS_C1に相当する。カメラ100は、更に、合成レンズ151の射出瞳上のレンズ光束範囲L(x,y)を記憶している。L(x,y)は、光束が通過する領域は1、それ以外の領域は0となっている関数である。レンズ光束範囲を加味した第1の信号群の受光感度分布C(x,y)は、下記の式(3)で表される。
C(x,y)=S_C(y)×L(x,y) …(3)
同様に、システム制御部50は、第3の信号群の受光感度分布D(x,y)も求める。C(x,y)の重心をGcとし、D(x,y)の重心をGdとすると、変換係数Ksは、下記式(4)で算出できる。
Ks=1/|Gc-Gd| …(4)
システム制御部50は、変換係数Ksを、像ずれ量の演算領域の中心に対応する像高で演算し、それを代表値としてデフォーカス量に変換すればよい。上述の式を用いて変換係数Ksを算出することで、垂直方向の像ずれ量を算出する領域(像高)の代表値として、変換係数Ksを算出することができる。
同様に、シェーディング補正係数については、システム制御部50は、垂直方向の像ずれ量を算出する領域内の複数の像高で、第1の信号群の受光感度分布C(x,y)と第3の信号群の受光感度分布D(x,y)を算出する。そして、システム制御部50は、各像高で積分値を計算することで光量比を求める(式(5)、式(6)参照)。
SHDc=ΣC(x,y) …(5)
SHDd=ΣD(x,y) …(6)
式(5)、式(6)の積算範囲は、合成レンズ151の射出瞳上で有する受光感度分布の全範囲である。システム制御部50は、垂直方向の像ずれ量を算出する領域内の複数の像高で、式(5)、式(6)で光量を算出する。その後、システム制御部50は、第1の信号群及び第3の信号群を補正するため、垂直方向の像ずれ量を算出する領域(y)を変数とした関数フィッティングを行い、シェーディング補正係数とする。
上述の通り、カメラ100内で、SHケラレ感度分布情報を含む、各種情報を有し、変換係数やシェーディング補正係数を計算することにより、より高精度な焦点検出を行うことができる。
また本実施形態では、像ずれ量の演算領域の中心に対応する像高で変換係数Ksを演算する高精度な焦点検出について説明したが、像ずれ量の演算領域の中心に対応する像高で2つの遮光幕の開口幅を変更して像ずれ量の演算領域の中心に対応する像高にのみ対応した信号を取得しても良い。但し本方法は、像ずれ量の演算領域の中心に対応する像高における信号のみを取得する方法である。その為、複数の像高を取得するには、像高毎に本方法で信号を取得する必要がある。
また、本実施形態では遮光幕の光軸方向距離と開口幅によって撮影レンズ300を透過した光束がケラレる角度が決まることを説明したが、撮影レンズ300を透過する光束の入射角度に応じて、開口幅を決定しても良い。
さらに、本実施形態におけるシャッタ動作中は2つの遮光幕の開口幅を狭く、かつ一定に保ってSHケラレ感度分布を取得する方法の説明をしたが、本発明の第1のシャッタ動作中に2つの遮光幕の開口幅を2つの遮光幕の開口幅を徐々に広くする、もしくは狭くすることでSHケラレ感度分布を取得しても良い。
●焦点検出校正処理
次に、図12から図14を用いて、本実施形態における焦点検出結果の校正方法(キャリブレーション)について説明する。本実施形態では、カメラ100は、後述する方法で、撮像信号のピント状態が合焦であるピント位置と通常の焦点検出時の像ずれ量が0となるピント位置の差分を検出し、その差分を補正値(補正情報)として記憶する。
上述の通り、焦点検出信号は、信号圧縮や水平方向の瞳分割を行うため、評価する周波数帯域が低く、水平方向のみのコントラストを評価している。一方で記録画像のピント状態の評価は、鑑賞者が圧縮されない信号を鑑賞する際に行われるため、評価する周波数帯域が高く、あらゆる方向のコントラストを評価する。本実施形態では、カメラ100は、撮像信号のピント状態を検出するために、通常の焦点検出時と比べてより高い周波数帯域の信号を用いて、水平、垂直方向のピント状態を評価し、焦点検出結果との差分を算出し、補正値とする。また、水平方向のピント状態の評価は、記録画像と同様に、全画素の読み出しを行った第1、第2の焦点検出画素を用いて、位相差検出を行うことにより実現する。垂直方向のピント状態の評価は、異なる2つのシャッタを用いて全画素信号を取得し、2回の露光で得られた信号から、垂直方向の位相差検出を行うことにより実現する。
図12は、焦点検出校正処理のフローチャートである。本処理はシステム制御部50が主に行う。S1001で、システム制御部50は、焦点検出校正を行う際の初期位置に、フォーカスレンズを駆動する。フォーカスレンズの初期位置としては、レンズ駆動範囲内の無限側もしくは至近側の端部を設定すればよい。次に、S1002で、システム制御部50は、第2の信号群を取得する。上述の通り、第2の信号群は、スリットローリングシャッタを用い、全画素の信号を読み出して取得する。そのため、第2の信号群として、SH開口ケラレのない受光感度分布を有する信号を得ることができる。第2の信号群の取得時は、システム制御部50は、第1焦点検出画素と第2焦点検出画素の信号を区別して読み出し、取得を行う。
次に、S1003で、システム制御部50は、第1の信号群を取得する。上述の通り、第1の信号群は、電子先幕シャッタを用い、全画素の信号を読み出して、取得する。そのため、第1の信号群として、SH開口ケラレがある受光感度分布を有する信号を得ることができる。第1の信号群の取得時は、システム制御部50は、第1焦点検出画素と第2焦点検出画素の信号を区別して読み出し、取得を行う。但し、本実施形態では、第1の信号群は、垂直方向の視差信号生成のために用いる。そのため、第1焦点検出画素と第2焦点検出画素の信号を区別して読み出すことは、必須ではない。第1焦点検出画素と第2焦点検出画素を加算した信号として読み出すことにより、読出し時間を短縮することができ、後述のタイムラグを短くできる場合がある。
ここで図15を参照して、図12のS1002における第2の信号群の取得と図12のS1003における第1の信号群の取得について説明する。図15は、撮像素子とシャッタの連写撮影時のシーケンスを示す図である。S1002の第2の信号群は、スリットローリングシャッタによる露光順次読み出しによって取得される。S1003の第1の信号群は、電子先幕シャッタの電荷のリセット(露光開始)とメカニカルシャッタの遮光幕(後幕)の走行を行い、スリットを形成(露光時間の制限)し、電荷を蓄積後、全画素の信号の読出しにより取得される。メカニカルシャッタの遮光幕の走行を再度行うために、システム制御部50は、読出し中にメカニカルシャッタのチャージモータ通電を行い、メカニカルシャッタの遮光幕を走行前の位置に戻す。これを繰り返すことで、連写撮影を行いながら第1の信号群と第2の信号群の取得を行うことができる。
図15(a)では、第1の信号群の取得については、電子先幕シャッタを用いるため、露光期間を明示している。第2の信号群の取得については、スリットローリングシャッタを用いるため、露光と読み出しを合わせて示している。第1の信号群と第2の信号群は、いずれも、全画素を第1焦点検出画素、第2焦点検出画素の信号出力として区別して読みだす場合を想定している。そのため、第1の信号群の取得と第2の信号群の取得で、露光と読み出しの合計時間は同程度である。
第1の信号群と第2の信号群は取得のタイミングが異なるため、時間差による被写体の位置ずれが課題となる。そのため、第1の信号群と第2の信号群の取得のタイムラグが短い方がよい。上記順番の場合、図15(a)に示すように、露光順次読出し時に第2の信号群の取得が行われた後、次の蓄積、読出しで第1の信号群の取得が可能となるため、第1の信号群と第2の信号群の取得のタイムラグを短くすることができる。これにより、被写体の位置ずれを低減できる。また、第1の信号群の取得前の第2の信号群の取得時に、第1焦点検出画素と第2焦点検出画素を区別して読みださず、合算した信号を読み出すことで、第2の信号群の取得の読出し期間を短縮できる。これにより、タイムラグを短縮することができる。その場合には、水平方向の位相差信号の取得は、第1の信号群の取得後に、スリットローリングシャッタを用いて改めて行えばよい。
図15(a)では第2の信号群の取得後に第1の信号群を取得するシーケンスを説明したが、図15(b)に示すように、第1の信号群の取得後に第2の信号群の取得を行ってもよい。例えば、電子先幕とメカ後幕による第1の信号群の取得後に、スリットローリングシャッタによる第2の信号群の取得を行ってもよい。
撮像素子14の読出し時間が短く、メカ後幕のみを有するシャッタの場合には、電子先幕、メカ後幕走行時の露光による電荷蓄積により第1の信号群を取得し、メカ後幕のチャージモータ通電により遮光幕を走行前の位置に戻す。その後、スリットローリングシャッタによる第2の信号群の取得を行うことによって、第1の信号群と第2信号群を取得することができる。
図15(a)及び図15(b)では電子先幕とメカ後幕による第1の信号群の取得を説明したが、図15(c)に示すように、先幕をメカニカルシャッタ、後幕を電子シャッタとして第1の信号群を取得してもよい。
ここでは、メカ先幕の駆動と後幕電子シャッタの駆動速度が同じ速度にできる場合を想定している。メカ先幕走行、後幕電子シャッタにより第1の信号群の取得を行い、次のスリットローリングシャッタによる露光順次読出しにより第2の信号群の取得を行う。これにより、第1の信号群と第2の信号群の取得のタイムラグを短くできる。第1の信号群と第2の信号群の取得順序については、第1の信号群の取得後に第2の信号群を取得するようにしてもよいし、第2の信号群の取得後に第1の信号群を取得するようにしてもよい。
図15(a)~(c)ではスリットローリングシャッタによる第2の信号群の取得を説明したが、図15(d)に示すように、先幕と後幕ともにメカニカルシャッタによって第2の信号群を取得してもよい。
メカ先幕とメカ後幕時の露光による電荷蓄積により第2の信号群の取得を行い、メカ先幕とメカ後幕のチャージモータ通電により走行前の位置に戻す。メカ先幕のみ走行が完了した後に電子先幕シャッタの電荷のリセット(露光開始)とメカ後幕走行を行い、第1の信号群の取得を行うことで、第1の信号群と第2の信号群の取得が可能となる。これによりスリットローリングシャッタの読出し速度が遅いことによって生じるローリングシャッタ歪みを生じさせることなく、第1の信号群と第2の信号群の取得が可能となる。第1の信号群と第2の信号群の取得順序については、第1の信号群の取得後に第2の信号群を取得するようにしてもよいし、第2の信号群の取得後に第1の信号群を取得するようにしてもよい。
図12に戻り、S1004で、システム制御部50は、垂直方向の焦点検出を行う。ここでは、焦点検出結果の校正を目的としているため、システム制御部50は、高精度に垂直方向のコントラストに対する焦点検出を行い、デフォーカス量を算出する。詳細は後述する。次に、S1005で、システム制御部50は、水平方向の焦点検出を行う。ここでは、システム制御部50は、校正用に、高精度に水平方向のコントラストに対する焦点検出を行い、デフォーカス量を算出する。また、焦点調節時に相当する焦点検出結果として、デフォーカス量を得る。詳細は後述する。
S1006で、システム制御部50は、フォーカスレンズの駆動が完了したかどうかを判定する。本実施形態では、フォーカスレンズ駆動範囲内の全領域を、所定のデフォーカス単位でブラケットして焦点検出を行う。ブラケットが完了していない場合は、システム制御部50は処理をS1008に進め、所定量のフォーカスレンズ駆動を行い、処理をS1002に戻す。
S1006でブラケットが完了したと判定された場合には、システム制御部50は処理をS1007に進め、撮像信号の合焦位置評価を行う。システム制御部50は、S1004で得られた垂直方向のコントラストに対する高精度な焦点検出結果とS1005で得られた水平方向のコントラストに対する高精度な焦点検出結果を平均して、撮像信号の合焦位置(第1の合焦位置)とする。垂直、水平の各方向の高精度な焦点検出結果は、フォーカスレンズのブラケットを行う中で得られた像ずれ量(デフォーカス量)が0に相当する位置を、直線近似などを用いて算出すればよい。また、同様に、フォーカスレンズのブラケットを行う中で得られた像ずれ量(デフォーカス量)の変化を用いて、像ずれ量をデフォーカス量に換算する変換係数を校正してもよい。
S1009で、システム制御部50は、S1005で得られた焦点調節時に相当する焦点検出結果(第2の合焦位置)と、S1007で得られた撮像信号の合焦位置(第1の合焦位置)の差分を、補正値として算出し、記憶する。S1009の処理が終わると、システム制御部50は、焦点検出校正処理を終了する。
図12では、焦点検出の校正のため、フォーカスレンズをブラケットしながら焦点検出を行った。これにより、像ずれ量が0に相当する位置の高精度な検出や、変換係数の校正を行うことができる。一方で、事前に記憶している変換係数を用いて、像ずれ量が0に相当する位置の検出を行う場合には、フォーカスレンズのブラケット駆動は行わず、デフォーカス量が小さい状態で、1度焦点検出を行い、補正値の算出を行ってもよい。
次に、図13を用いて、図12のS1004の垂直方向の焦点検出のサブルーチンについて説明する。本処理はシステム制御部50が主に行う。S4001で、システム制御部50は、画像処理部20を用いて、第1の信号群と第2の信号群から第3の信号群を算出し、垂直方向の視差信号として、第1の信号群と第3の信号群を設定する。
S4002で、システム制御部50は、撮影レンズ300を通過する光束の入射角度分布情報として、射出瞳距離、F値、焦点検出を行う像高、光束ケラレ情報を取得する。そして、システム制御部50は、シャッタの受光角度分布情報としてSHケラレ感度分布情報を、メモリ52又は不揮発性メモリ348から取得する。次に、S4003で、システム制御部50は、光量補正値(シェーディング補正係数)の算出を行う。本実施形態では、事前に受光角度分布情報に対応させたシェーディング補正係数が、テーブルとして記憶されている。S4003では、システム制御部50は、記憶されたテーブルから、焦点検出を行う条件に対応したシェーディング補正係数を取得する。
次に、S4004で、システム制御部50は、変換係数Ksの算出を行う。本実施形態では、事前に受光角度分布情報に対応させた変換係数Ksが、テーブルとして記憶されている。S4004では、システム制御部50は、AF部42を用いて、記憶されたテーブルから、焦点検出を行う条件に対応した変換係数Ksを取得する。
なお、上述の通り、システム制御部50は、各種の受光角度分布情報及びAF部42を用いて、カメラ100内でシェーディング補正係数及び変換係数を算出してもよい。
S4005で、システム制御部50は、図7のS401と同様に、垂直方向の焦点検出用の画像信号として得られた第1の信号群と第3の信号群に、シェーディング補正、フィルター処理を行う。これにより、システム制御部50は、対の信号の光量差の低減と、位相差検出を行う空間周波数の信号抽出を行う。本実施形態では、高精度に焦点検出を行うため、第1の信号群、第3の信号群は、撮像信号相当として全画素の読み出しを行い、加算などの圧縮を行わずに得た信号とする。高画素静止画撮影の記録画像に対して、領域を制限することで、データ量を低減してもよい。また、フィルター処理に関しても、高精度の焦点検出を行うため、比較的、空間周波数帯域の高いフィルターを用いればよい。記録画像のピント状態の評価は、撮影者の視力や鑑賞環境により条件が異なるが、30本/mm~80本/mm程度の空間周波数を評価可能なフィルターを用いて、S4005では処理を行えばよい。
S4006で、システム制御部50は、図7のS402と同様に、フィルター処理後の第1の信号群と第3の信号群を相対的に垂直方向にシフトさせるシフト処理(相関演算処理)を行い、信号の一致度を表す相関量を算出する。演算方法は、S402と同様のため、説明を割愛する。
S4007で、システム制御部50は、図7のS403と同様に、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量pvとする。S4008では、システム制御部50は、図7のS404と同様に、算出した像ずれ量pvに、焦点検出領域の像高と、撮像レンズ(結像光学系)のF値、射出瞳距離に応じた変換係数Ksをかけて、デフォーカス量を算出し、合焦位置(第3の合焦位置)を検出する。S4008の処理を終えると、システム制御部50は、本サブルーチンを終了し、処理を図12のS1005に戻す。
次に、図14を用いて、図12のS1005の水平方向の焦点検出のサブルーチンについて説明する。本処理はシステム制御部50が主に行う。S5001で、システム制御部50は、水平方向の視差信号の生成を行う。本実施形態では、システム制御部50は、第2の信号群の取得の際に、全画素の読み出しを行い、第1の焦点検出信号と第2の焦点検出信号を得ている。システム制御部50は、これら対の焦点検出信号から、高精度な焦点検出を目的として、校正用視差信号(第1の視差信号ペア)を生成する。また、S5001では同様に、システム制御部50は、焦点調節相当の視差信号も生成する。図5のS2で説明した通り、本実施形態では、焦点調節の際(ライブビュー時)の焦点検出信号は、撮像素子14内において(又は撮像素子14から読み出した後に)、信号を加算、間引きする処理を行い、データ量の圧縮を行う。そのため、焦点調節相当の視差信号を得るために、S5001では、システム制御部50は、焦点調節の際と同等の加算、間引き処理を行う。本実施形態では、上述の通り、水平方向には、同色間で3画素の加算を行い、1/3に間引きを行い、垂直方向には、1/3行に読出し行数を減らす。即ち、システム制御部50は、校正用視差信号(第1の視差信号ペア)の画素数を削減することにより焦点調節相当の視差信号(第2の視差信号ペア)を生成する。
次に、S5002で、システム制御部50は、校正用視差信号に対して、シェーディング補正、フィルター処理を行い、対の信号の光量差の低減と、位相差検出を行う空間周波数の信号抽出を行う。処理の内容は、図7のS401と同様である。次に、S5003で、システム制御部50は、図7のS402と同様に、フィルター処理後の対の視差信号を相対的に瞳分割方向にシフトさせるシフト処理(相関演算処理)を行い、信号の一致度を表す相関量を算出する。
S5004、S5005で、システム制御部50は、図7のS403、S404と同様に、校正用視差信号に対して、像ずれ量の算出、デフォーカス量の算出を行う。像ずれ量の検出分解能が異なるため、システム制御部50は、焦点調節用の変換係数Kに対して、水平圧縮率に相当する1/3倍した変換係数を用いてデフォーカス量の算出を行う。
S5006~S5009で、システム制御部50は、S5001で生成された焦点調節相当の視差信号に対して、図7のS401~S404と同様に、信号補正/フィルター処理、相関演算、像ずれ量算出、デフォーカス量算出を行う。
以上のように構成することにより、焦点調節時の焦点検出結果を、水平方向、垂直方向のコントラストに対する高精度な焦点検出結果で校正することができ、高精度な焦点調節を実現することができる。
本実施形態では、システム制御部50は、水平方向、垂直方向、それぞれ1対の視差信号を生成し、焦点検出結果の校正を行った。その際に、図11を用いて説明したように、第1のシャッタの遮光幕の開口幅を調整することにより、複数対の垂直方向視差信号を生成することもできる。複数対の垂直方向視差信号を生成することにより、像高によらず、デフォーカス量に対する像ずれ量を拡大することができ、より高精度な焦点検出を行うことができる。
以上説明したように、本実施形態によれば、カメラ100は、結像光学系の光軸方向において第1の距離だけ離れた第1の先幕と第1の後幕とを用いる第1のシャッタ動作により撮像素子14を露光することにより画像(第1の画像)を取得する。また、カメラ100は、結像光学系の光軸方向において第2の距離だけ離れた第2の先幕と第2の後幕とを用いる第2のシャッタ動作により撮像素子14を露光することにより画像(第2の画像)を取得する。ここで、第2の距離は、第1の距離より小さい。そして、カメラ100は、第1のシャッタ動作及び第2のシャッタ動作を行う撮像制御により取得された第1の画像(第1の信号群)及び第2の画像(第2の信号群)に基づいて、第1の画像に対して視差を持つ第3の画像(第3の信号群)を生成する。第3の画像(第3の信号群)は、第1のシャッタ動作の駆動方向に視差を持つ。これにより、結像光学系の射出瞳を分割せずに撮像面上で視差画像を取得することが可能となる。
なお、本実施形態では、視差画像を焦点検出のために使用する構成について説明したが、視差画像の用途はこれに限定されない。例えば、システム制御部50は、視差画像に基づいて、像ずれマップ、デフォーカスマップ、被写体距離マップなどの距離情報を取得し、取得した距離情報を記録したり出力したりしてもよい。また、システム制御部50は、取得した距離情報を利用して3Dモデルデータの生成、リフォーカス処理、背景ぼかし処理などを行ってもよい。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。