JP5748826B2 - 撮像装置およびカメラシステム - Google Patents

Description

本発明は、デジタルカメラやビデオカメラ等の撮像装置に関する。

従来から、撮像素子に被写体像の位相差検出機能を付与し、専用のＡＦセンサを必要とせずに高速の位相差ＡＦを実現させるための撮像素子がある。特許文献１には、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与した撮像素子の画素が開示されている。これらの画素を焦点検出用画素とし、撮像用画素の間に所定の間隔で配置することで位相差式焦点検出を行う。また特許文献２には、短周期のリフレッシュ動作および低輝度被写体に対する焦点検出を両立させるため、過去の複数回の読み出しで記憶した焦点検出画素の画像データを加算して焦点検出演算を行う撮像装置が開示されている。

特開２０００−２９２６８６号公報 特開２００８−０８５７３８号公報

特許文献２の撮像装置は、各フレームで焦点検出画素の画像データを記憶し、過去の複数回の読み出しで記憶した焦点検出画素の画像データを加算した画像データに基づいて焦点検出演算を行う。しかしながら、焦点検出画素の画像データを取得している間に絞り値や焦点距離などが変化すると、像ずれ量から変換されるデフォーカス量にずれが生じる。

そこで本発明は、デフォーカス量の演算精度を向上させた撮像装置およびカメラシステムを提供する。

本発明の一側面としての撮像装置は、撮像画素および焦点検出画素を備え、被写体像を光電変換する撮像素子と、前記焦点検出画素から所定周期で一対の像信号を読み出す読み出し手段と、前記読み出し手段により読み出された前記一対の像信号および該一対の像信号の光学情報を記憶する記憶手段と、前記一対の像信号のうち時系列的に連続したフレームの信号を加算する加算手段と、前記加算手段により得られた一対の像信号の像ずれ量をデフォーカス量に変換する変換係数を決定する変換係数決定手段と、前記一対の像信号の前記像ずれ量に前記変換係数を乗じることにより前記デフォーカス量を算出する焦点検出手段を有し、前記加算手段は、時系列的に連続した前記光学情報が変化した場合に前記フレームの複数の信号の加算を止め、該光学情報の変化後にフレームの複数の信号を加算し始める。

本発明の他の側面としての撮像装置は、撮像画素および焦点検出画素を備え、被写体像を光電変換する撮像素子と、前記焦点検出画素から所定周期で一対の像信号を読み出す読み出し手段と、前記読み出し手段により読み出された前記一対の像信号および該一対の像信号の光学情報を記憶する記憶手段と、前記一対の像信号のうち時系列的に連続したフレームの信号を加算する加算手段と、前記加算手段により得られた一対の像信号の像ずれ量をデフォーカス量に変換する変換係数を決定する変換係数決定手段と、前記一対の像信号の前記像ずれ量に前記変換係数を乗じることにより前記デフォーカス量を算出する焦点検出手段とを有し、前記加算手段は、絞りが変化した場合に前記フレームの複数の信号の加算を止め、該絞りの変化後にフレームの複数の信号を加算し始める。

本発明の他の側面としてのカメラシステムは、レンズを備えて被写体像を形成するレンズ装置と、前記撮像装置とを有する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、デフォーカス量の演算精度を向上させた撮像装置およびカメラシステムを提供することができる。

本実施例におけるカメラの構成図である。 本実施例における撮像素子（固体撮像素子）のブロック図である。 本実施例における撮像素子の撮像用画素の平面図と断面図である。 本実施例における撮像素子の焦点検出用画素の平面図と断面図である。 本実施例における撮像素子の焦点検出用画素の平面図と断面図である。 本実施例において、焦点検出用画素のケラレおよび焦点検出光束の重心間隔の説明図ある。 本実施例において、焦点検出用画素のケラレおよび焦点検出光束の重心間隔の説明図ある。 本実施例における焦点検出画素の配置領域を示す図ある。 本実施例における焦点検出画素の配置領域の拡大図である。 本実施例におけるカメラの動作を示すフローチャートである。 実施例１、２における焦点検出の動作を示すフローチャートである。 本実施例における動画撮影の動作を示すフローチャートである。 本実施例における撮像素子の焦点検出画素の加算方法を示す図である。 実施例３における焦点検出の動作を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は本発明の実施例１におけるカメラの構成図であり、撮像素子を有するカメラ本体（撮像装置）と撮影光学系（レンズ装置）とが一体的に構成されたカメラ１００を示している。ただし本実施例はこれに限定されるものではなく、撮影光学系（レンズ装置）がカメラ本体（撮像装置）に対して着脱可能に構成されたカメラシステムについても適用可能である。

図１において、１０１は、被写体像を形成する撮影光学系の先端に配置された第１レンズ群であり、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタであり、その開口径を調節することで撮影時の光量調節を行い、また静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は第２レンズ群である。絞り兼用シャッタ１０２及び第２レンズ群１０３は一体的に光軸方向に進退可能に構成され、第１レンズ群１０１の進退動作と連動して変倍作用（ズーム機能）をなす。

１０５は第３レンズ群であり、光軸方向の進退動作により焦点調節を行う。１０６は光学的ローパスフィルタであり、撮影画像の偽色やモアレを軽減するための光学素子である。１０７は、Ｃ−ＭＯＳセンサとその周辺回路で構成された撮像素子である。撮像素子１０７としては、例えば、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された２次元単板カラーセンサが用いられる。後述のように、撮像素子１０７は、撮像画素および焦点検出画素を備え、被写体像を光電変換する。

１１１はズームアクチュエータであり、不図示のカム筒を回動することで、第１レンズ群１０１乃至第３レンズ群１０３を光軸方向に進退駆動し、変倍操作を行う。１１２は絞りシャッタアクチュエータであり、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節するとともに、静止画撮影時の露光時間制御を行う。１１４はフォーカスアクチュエータであり、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。

１１５は撮影時の被写体照明用電子フラッシュであり、キセノン管を用いた閃光照明装置が適して用いられるが、これに限定されるものではなく、例えば連続発光するＬＥＤを備えた照明装置を用いてもよい。１１６はＡＦ補助光手段であり、所定の開口パターンを有するマスクの像を、投光レンズを介して被写界に投影し、暗い被写体又は低コントラスト被写体に対する焦点検出能力を向上させる。

１２１はＣＰＵ（カメラ制御部）であり、カメラ本体の種々の制御を司るカメラ内ＣＰＵである。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有し、ＲＯＭに記憶された所定のプログラムに基づいて、カメラ１００の各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。

１２２は電子フラッシュ制御回路であり、撮影動作に同期して照明手段１１５を点灯制御する。１２３は補助光駆動回路であり、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。１２４は撮像素子駆動回路であり、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路であり、撮像素子１０７により取得された画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。

１２６はフォーカス駆動回路であり、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。１２８は絞りシャッタ駆動回路であり、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路であり、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

１３１はＬＣＤ等の表示器であり、カメラ１００の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群であり、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリであり、撮影済み画像を記録する。

図２は、撮像素子１０７のブロック図を示している。なお、図２のブロック図は、画像信号の読み出し動作の説明に必要な最低限の構成を示し、画素リセット信号などが省略されている。図２において、２０１は、光電変換部（以下、「ＰＤ_ｍｎ」ともいう。ｍは、Ｘ方向アドレスであり、ｍ＝０、１、…、ｍ−１、ｎは、Ｙ方向アドレスであり、ｎ＝０、１、…、ｎ−１である。）であり、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。また、本実施例の撮像素子１０７は、ｍ×ｎの光電変換部を２次元上に配置して構成されている。符号は、煩雑になるため、左上の光電変換部ＰＤ_００付近のみに付記している。

２０２は、光電変換部２０１（ＰＤ_ｍｎ）の出力を選択するスイッチであり、垂直走査回路２０８により、一行ごとに選択される。２０３は、光電変換部２０１（ＰＤ_ｍｎ）の出力を一時的に記憶するためのラインメモリ（ＭＥＭ）であり、垂直走査回路２０８により選択された、一行分の光電変換部２０１（ＰＤ_ｍｎ）の出力を記憶する。ラインメモリ２０３としては、通常、コンデンサが用いられる。

２０４は、水平出力線に接続されて、水平出力線を所定の電位ＶＨＲＳＴにリセットするためのスイッチであり、信号ＨＲＳＴにより制御される。２０５は、ラインメモリ２０３に記憶された光電変換部２０１（ＰＤ_ｍｎ）の出力を水平出力線に順次出力するためのスイッチ（Ｈ_０〜Ｈ_ｍ−１）である。スイッチ２０５（Ｈ_０〜Ｈ_ｍ−１）を後述の水平走査回路２０６で順次走査することにより、一行分の光電変換の出力が読み出される。

２０６は水平走査回路であり、ラインメモリ２０３に記憶された光電変換部２０１の出力を順次操作して、水平出力線に出力させる。信号ＰＨＳＴは、水平走査回路２０６のデータ入力、ＰＨ１、ＰＨ２はシフトクロック入力であり、ＰＨ１＝Ｈでデータがセットされ、ＰＨ２でデータがラッチされる構成となっている。シフトクロック入力ＰＨ１、ＰＨ２にシフトクロックを入力することにより、信号ＰＨＳＴを順次シフトさせて、スイッチ２０５（Ｈ_０〜Ｈ_ｍ−１）を順次オンさせることができる。信号ＳＫＩＰは、間引き読み出し時に設定を行わせる制御入力信号である。信号ＳＫＩＰをＨレベルに設定することにより、水平走査回路２０６を所定間隔でスキップさせることが可能になる。２０７は水平出力線の信号を増幅して端子ＶＯＵＴに出力する増幅器ＡＭＰである。

２０８は垂直走査回路であり、順次走査して、制御信号Ｖ_０〜Ｖ_ｎ−１を出力することにより、光電変換部２０１（ＰＤ_ｍｎ）の選択スイッチ２０２を選択することができる。制御信号は、水平走査回路２０６の場合と同様に、データ入力である信号ＰＶＳＴ、シフトクロックＰＶ１、ＰＶ２、及び、間引き読み設定を行う信号ＳＫＩＰにより制御される。動作の詳細は、水平走査回路２０６と同様であるため、その説明は省略する。

図３乃至図５は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施例においては、２×２の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そしてベイヤー配列の間に、後述する構造を有する焦点検出用画素が所定の規則で分散配置されている。

図３は、撮像用画素の配置および構造を示す。図３（ａ）は、２行×２列の撮像用画素の平面図である。周知のように、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置されている。そして、この２行×２列の構造が繰り返し配置される。

図３（ｂ）は、図３（ａ）の断面Ａ−Ａを示す断面図である。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤはＣ−ＭＯＳセンサの光電変換部を模式的に示したものであり、ＣＬはＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは、撮影光学系を模式的に示したものである。

撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部ＰＤの有効面積は大面積であるように設計される。また、図３（ｂ）ではＧ画素の入射光束について説明したが、Ｒ画素及びＢ（Ｂｌｕｅ）画素も同一の構造を有する。従って、ＲＧＢの各々の撮像用画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込むことで画像信号のＳ／Ｎを向上させている。

図４は、撮影光学系の水平方向（横方向）に瞳分割を行うための焦点検出用画素の配置と構造を示す。ここで水平方向（横方向）とは、撮影光学系の光軸が水平となるようにカメラを構えたとき、光軸に直交し、かつ水平方向に伸びる直線に沿った方向を指す。図４（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。記録又は観賞のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方、Ｒ画素、Ｂ画素は、色情報（色差情報）を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施例においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、ＲとＢの画素を焦点検出用画素に置き換える。これを図４（ａ）においてＳＨＡ及びＳＨＢで示す。

図４（ｂ）は、図４（ａ）における断面Ａ−Ａを示す断面図である。マイクロレンズＭＬと光電変換部ＰＤは、図３（ｂ）に示される撮像用画素と同一構造である。本実施例においては、焦点検出用画素の信号は画像創生に用いられないため、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（Ｗｈｉｔｅ）が配置される。また、撮像素子で瞳分割を行うため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、画素ＳＨＡの開口部ＯＰＨＡは右側に偏倚しているため、撮影光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＨＢの開口部ＯＰＨＢは左側に偏倚しているため、撮影光学系ＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。画素ＳＨＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素ＳＨＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とする。そしてＡ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）を検出することができる。

なお、画素ＳＨＡ及びＳＨＢでは、撮影画面の横方向に輝度分布を有する被写体、例えば縦線に対しては焦点検出可能であるが、縦方向に輝度分布を有する横線に対しては焦点検出不能である。そこで本実施例では、後者についても焦点検出できるように、撮影光学系の垂直方向（縦方向）に瞳分割を行う画素も備えている。

図５は、撮影光学系の垂直方向（換言すると上下方向（縦方向））に瞳分割を行うための焦点検出用画素の配置と構造を示す。ここで垂直方向（上下方向あるいは縦横方向）とは、撮影光学系の光軸が水平となるようにカメラを構えたとき、光軸に直交し、鉛直方向に伸びる直線に沿った方向を指す。図５（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図であり、図４（ａ）と同様に、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素を焦点検出用画素としている。これを図４（ａ）においてＳＶＣ及びＳＶＤで示す。

図５（ｂ）は、図５（ａ）の断面Ａ−Ａを示す断面図である。図４（ｂ）の画素が横方向に瞳分離させる構造であるのに対して、図５（ｂ）の画素は瞳分離方向が縦方向になっている。図５（ｂ）のそれ以外の画素構造は図４（ｂ）の構造と同様である。すなわち、画素ＳＶＣの開口部ＯＰＶＣは下側に偏倚しているため、撮影光学系ＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、画素ＳＶＤの開口部ＯＰＶＤは上側に偏倚しているため、撮影光学系ＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。画素ＳＶＣを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＣ像とする。また、画素ＳＶＤも垂直方向規則的に配列し、これらの画素群で取得した被写体像をＤ像とする。そしてＣ像とＤ像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）を検出することができる。

続いて、像ずれ量からデフォーカス量を算出するための変換係数を得る方法について説明する。変換係数は、結像光学系の口径情報及び焦点検出画素の感度分布に基づいて算出される。イメージセンサ（撮像素子１０７）には、撮影レンズＴＬのレンズ保持枠や絞り１０２などのいくつかの構成部材によって制限された光束が入射する。図６および図７は、撮影光学系のケラレにより、焦点検出用の光束が制限されている様子を示す図である。図６は、イメージセンサの中央近傍の画素に対して、射出瞳面６０１の位置にある結像光学系の絞り６０２によって光束が制限されている様子を示している。図６（ａ）において、６０３、６０４はイメージセンサ（６０３は、予定結像面位置におけるイメージセンサ）、６０５は光軸、６０６はイメージセンサ６０３上での光軸の位置である。６０７、６０８は絞り６０２によって光束が限定された場合の光束、６０９、６１０は絞り６０２により制限されていない光束である。６１１、６１２はそれぞれ、光束６０７、６０８に対する焦点検出用光束である。６１５、６１６はそれぞれ、焦点検出用光束６１１、６１２の重心位置である。同様に、６１３、６１４はそれぞれ、光束６０９、６１０に対する焦点検出用光束である。６１７、６１８はそれぞれ、焦点検出用光束６１３、６１４の重心位置である。６３０はイメージセンサに最も近い側にあるレンズ保持枠、６３１は被写体に最も近い側にあるレンズ保持枠である。

図６（ｂ）は、イメージセンサの中央の焦点検出用画素の射出瞳面６０１でのケラレによる重心位置の変化を説明する図である。図６（ｂ）において、６２３、６２４はそれぞれ、イメージセンサ６０４の中央の画素に対して制限された光束６０７、６０８、および、制限されていない光束６０９、６１０の瞳領域を示す。６２５、６２６はそれぞれ、焦点検出用画素Ｓ_ＨＡ、Ｓ_ＨＢの入射角特性を示す。焦点検出用画素Ｓ_ＨＡ、Ｓ_ＨＢには、瞳領域６２３、６２４の内側を透過した光束が入射角特性６２５、６２６で示される感度分布で入射する。このため、瞳領域６２３、６２４の内側を透過した焦点検出用光束の分布重心をそれぞれ求めることで、焦点検出用光束が制限されている場合と、制限されていない場合の重心間隔を算出することができる。焦点検出用画素の感度分布情報および結像光学系の口径情報を測定及び計算から求めて予め記憶しておくことで、像ずれ量からデフォーカス量を算出するための変換係数を求めることができる。

図６（ａ）において、デフォーカス量６１９をＤＥＦ、イメージセンサ６０３から射出瞳面６０１までの距離６２０をＬとする。また、焦点検出用光束が制限されている場合と制限されていない場合の重心間隔をそれぞれＧ１（重心位置６１５、６１６間距離）、Ｇ２（重心位置６１７、６１８間距離）とする。また、像ずれ量６２１、６２２をそれぞれＰＲＥＤ１、ＰＲＥＤ２、像ずれ量６２１、６２２のそれぞれをデフォーカス量ＤＥＦに変換する変換係数をＫ１、Ｋ２とする。このとき、以下の式（１）によりデフォーカス量ＤＥＦを求めることができる。

ＤＥＦ＝Ｋ１×ＰＲＥＤ１＝Ｋ２×ＰＲＥＤ２ … （１）
また、像ずれ量６２１、６２２をデフォーカス量ＤＥＦに変換する変換係数Ｋ１、Ｋ２は、それぞれ以下の式（２−ａ）、（２−ｂ）により求められる。

Ｋ１＝Ｌ／Ｇ１ … （２−ａ）
Ｋ２＝Ｌ／Ｇ２ … （２−ｂ）
焦点検出位置が光軸近傍にない場合、射出瞳面６０１以外の位置にある絞りの射出瞳や、絞りの射出瞳よりＦ値が明るい場合でも結像光学系の絞り以外のレンズの保持枠に対応した射出瞳により、焦点検出用光束のケラレが発生する。

図７は、イメージセンサの中央から像高を有する位置の画素に対して、レンズ保持枠によって光束が制限されている様子を示している。図７（ａ）において、７０３、７０４はイメージセンサ（７０３は、予定結像面位置におけるイメージセンサ）、７０５は光軸、７０６はイメージセンサ上での光軸位置である。７０７、７０８はイメージセンサに最も近い側にあるレンズ保持枠７３０と、被写体に最も近い側にあるレンズ保持枠７３１により制限された光束である。７１１、７１２はそれぞれ、光束７０７、７０８に対する焦点検出用光束、７１５、７１６はそれぞれ、焦点検出用光束７１１、７１２の重心位置である。

図７（ｂ）は、イメージセンサの中央から像高を有する位置の焦点検出用画素の射出瞳面７０１において、ケラレによる重心位置を示す図である。図７（ｂ）において、７２３はイメージセンサ７０４の中央から像高を有する画素に対して、制限された光束７０７、７０８の瞳領域である。７２５、７２６は、焦点検出用画素Ｓ_ＨＡ、Ｓ_ＨＢの入射角特性である。焦点検出用画素Ｓ_ＨＡ、Ｓ_ＨＢには、瞳領域７２３の内側を透過した光束が入射角特性７２５、７２６の感度分布で入射する。このため、瞳領域７２３の内側を透過した焦点検出用光束の分布重心をそれぞれ求めることで、焦点検出用光束がレンズ保持枠によって制限されている場合の重心間隔を求めることができる。焦点検出用画素の感度分布情報および結像光学系の口径情報を測定及び計算から求めて予め記憶しておくことで、像ずれ量からデフォーカス量を算出するための変換係数を求めることができる。

図７（ａ）において、デフォーカス量７１９をＤＥＦ、イメージセンサ７０３から射出瞳面７０１までの距離７２０をＬ、焦点検出用光束がレンズ保持枠によって制限されている場合の重心間隔をＧ３（重心位置７１５、７１６間距離）とする。また、像ずれ量７２１をＰＲＥＤ３、像ずれ量ＰＲＥＤ３をデフォーカス量ＤＥＦに変換する変換係数をＫ３とする。このとき、以下の式（３）によりデフォーカス量ＤＥＦを求めることができる。

ＤＥＦ＝Ｋ３×ＰＲＥＤ３ … （３）
像ずれ量ＰＲＥＤ３をデフォーカス量ＤＥＦに変換する変換係数Ｋ３は、以下の式（４）により求められる。

Ｋ３＝Ｌ／Ｇ３ … （４）
本実施例では、イメージセンサ上での焦点検出領域の位置に応じて、レンズ保持枠で光束が制限される様子を示しているが、他にも各レンズ群１０１、１０２、１０３の進退動作に伴う変倍操作やフォーカス位置の変化によっても光束が制限される位置は変化する。光束が制限される位置の変化に伴い、像ずれ量をデフォーカス量に変換する変換係数は変化する。

図８は、撮像用画素および焦点検出用画素の配置図である。図６において、Ｇは緑フィルターを塗布した画素、Ｒは赤フィルターを塗布した画素、Ｂは青フィルターを塗布した画素である。図６中のＳＨＡは、画素部の開口を水平方向に偏倚させて形成された焦点検出用画素であり、後述のＳＨＢ画素群との水平方向の像ずれ量を検出するための基準画素群である。またＳＨＢは、画素の開口部をＳＨＡ画素と逆方向に偏倚させて形成された画素であり、ＳＨＡ画素群との水平方向の像ずれ量を検出するための参照画素群である。ＳＨＡ、ＳＨＢ画素の白抜き部分は、偏倚した画素の開口位置を示している。

図９は、撮像画面上の焦点検出領域の一例である。図９において、焦点検出領域は図８に示される画素の配置となっている。本実施例では、焦点検出領域を撮像画面上の中央に設定しているが、焦点検出領域を複数領域配置し、それぞれの領域で結像された被写体像から焦点検出画素で像をサンプリングするように構成してもよい。

図１０乃至図１２は、カメラの焦点調節及び撮影工程を説明するためのフローチャートである。前述の各図も参照しながら、図１０乃至図１２の制御フローについて説明する。これらの制御は、カメラのＣＰＵ１２１の指令に基づいて実行される。

図１０は、ライブビューから動画撮影を行う際のカメラのメインフローである。まずステップＳ１００１において、撮影者はカメラの電源スイッチをオン操作する。この操作により、ＣＰＵ１２１はステップＳ１００２において、カメラ内の各アクチュエータや撮像素子の動作確認を行い、メモリ内容や実行プログラムの初期化を行うとともに、撮影準備動作を実行する（初期状態検出）。続いてＣＰＵ１２１は、ステップＳ１００３において撮像素子を駆動し、ステップＳ１００４においてライブビューモードにセットすることで撮像素子に周期的な撮像動作を開始させ、表示器１３１へのライブビュー動画の表示を行う。このとき、ＣＰＵ１２１（読み出し手段）は、撮像素子１０７の焦点検出画素から所定周期で画像信号（一対の像信号）を読み出す。

ステップＳ１００５では、測光センサ（不図示）により測光した被写界輝度に応じて自動的に決定された表示用絞り値、すなわち周期的に画像信号を読み出した場合に画像信号が表示に適したレベルになる絞り値に応じた絞り制御情報をＣＰＵ１２１へ送る。又は、操作部材（不図示）により撮影者が手動で設定した撮影絞り値に応じた絞り制御情報をＣＰＵ１２１へ送るように構成してもよい。この制御情報に基づいて、絞り開口径を撮影絞り値に設定する。また露光時間を適切に設定する。続いてステップＳ１００６では、焦点検出スイッチがオンされたか否かを判定し、オンされていなければ待機し、オンされた場合はステップＳ１１０１でライブビュー中の焦点検出動作に関するサブルーチンにジャンプする。

図１１は、ライブビュー中の焦点検出のフローを示す。ステップＳ１１０２において、ＣＰＵ１２１は、現フレームにおける焦点検出画素データ（読み出し手段により読み出された画像信号）および焦点検出画素データの光学情報を内部メモリ（記憶手段）に記憶する。ここで光学情報とは、後述のように、例えばフレームごとの変換係数である。また、光学情報として撮像光学系（絞り、レンズ枠）の口径、焦点距離、フォーカス位置、又は、結像像高位置を内部メモリに記憶してもよい。この場合、後述の変換係数決定手段は、このような光学情報からフレームごとの変換係数を算出する。続いてステップＳ１１０３において、ＣＰＵ１２１（加算手段）は、内部メモリから焦点検出画素の画像データ（画像信号）を読み出して加算処理を行う。すなわちＣＰＵ１２１は、画像信号のうち時系列的に連続したフレームの複数の信号を加算する。

ここで、焦点検出画素の画像データ（画像信号）の加算処理について、図１３を参照して説明する。本実施例では、レンズが合焦位置に移動する間もオーバーラップして焦点検出動作を行うことができるものとして、時間が経過するごとにレンズが合焦位置に近づく様子を示している。図１３において、最上部に画像信号の読出しの時間経過が示されている。画像信号の読出しの所定周期をＴｓ、現フレームの読み出しサイクルをｎと表し、現フレームの時刻をｎＴｓとしている。各フレームで読み出された最新の画像データにより、表示はリフレッシュされる。各フレームで読み出された焦点検出画素の画像データは、内部メモリにスタックして記憶される。画像信号の読出しｎ回目に読み出された焦点検出画素の画像信号は、焦点検出画素信号ａ（ｎ）として記憶される。

加算処理の方法としては、まず、現フレームの焦点検出画素の画像データの最大値と最小値の差分（ピーク−ボトム値：以下「ＰＢ値」と称す）としきい値ＰＢｔｈを比較し、ＰＢ値がしきい値ＰＢｔｈを超えている場合には焦点検出画素信号を加算画素信号とする。図１３においては、時刻ｎＴｓで示されており、焦点検出画素信号ａ（ｎ）のＰＢ値がしきい値ＰＢｔｈを超えているため、ａ（ｎ）を加算画素信号Ａ（ｎ）としている。

また、最新フレームの焦点検出画素信号がしきい値ＰＢｔｈを超えていない場合、過去フレームで取得した焦点検出画素の画像データを順に加算し、加算画素信号のＰＢ値がしきい値ＰＢｔｈを超えた時点で加算処理を終了し、加算結果を加算画素信号とする。図１３においては、時刻（ｎ−２）Ｔｓで示されている。時刻（ｎ−１）Ｔｓでは、焦点検出画素信号ｂ（ｎ−１）のＰＢ値がしきい値ＰＢｔｈを超えておらず、前フレームで取得した焦点検出画素信号ｃ（ｎ−２）をｂ（ｎ−１）に加算すると、加算画素信号のＰＢ値はしきい値ＰＢｔｈを超える。このため、ｂ（ｎ−１）＋ｃ（ｎ−２）を加算画素信号Ｂ（ｎ−１）としている。

このように、ＣＰＵ１２１（加算手段）は、所定のフレームにおける画像信号の最大値と最小値との差分が所定のしきい値を超えていない場合、所定のフレームにおける画像信号に直前のフレームにおける画像信号を加算することにより加算結果を算出する。一方、この差分が所定のしきい値以上である場合、所定のフレームにおける画像信号を加算結果とする。

また、現フレームの画像データに加算する過去フレームの画像データの数（以下、「フレーム加算数」という。）には上限が設けられ、上限以上を必要とする場合には上限までの加算データを加算画素信号とする。図１３においては、フレーム加算数の上限を３としており、時刻（ｎ−２）Ｔｓで示されている。以上が、加算処理の方法である。

次に、ＣＰＵ１２１（変換係数決定手段）は、図１１中のステップＳ１１０４において、加算手段により得られた加算フレームの一対の像信号の像ずれ量をデフォーカス量に変換する変換係数を算出する。このときＣＰＵ１２１は、時系列的に連続した光学情報に基づいて加算フレームの変換係数を決定する。この変換係数決定方法については後述する。またステップ１１０５において、ＣＰＵ１２１は、ステップＳ１１０３で加算された画像データに基づいて相関演算処理を行い、ステップＳ１１０６において相関の信頼性判定を行う。続いてＣＰＵ１２１（焦点検出手段）は、ステップＳ１１０７において相関演算処理により得られた像ずれ量に変換係数を乗じることで、デフォーカス量を算出する。このように焦点検出手段としてのＣＰＵ１２１は、加算手段による加算結果に基づいて焦点検出を行う。

ここで、焦点検出画素の画像データに時系列的な加算処理を施す場合の変換係数の算出方法について説明する。１フレームの焦点検出画素の画像データからデフォーカス量を算出する場合の変換係数の算出方法に関しては前述のとおりである。以下、本実施例に好適な処理として、焦点検出画素の画像データを時系列的に加算している途中で絞りが変更された場合など、加算フレームごとに変換係数が変化した場合の変換係数算出処理について説明する。

一例として、時刻ｍＴｓ、フレーム加算数３で加算処理を施した１対の画像データのうち、片方の画像データをＸ（ｍ）とする。そして、Ｘ（ｍ）を構成する画像信号のうち、現フレームの画像データをｘ（ｍ）、１つ前のフレームで取得した画像データをｙ（ｍ−１）、２つ前のフレームで取得した画像データをｚ（ｍ−２）とした場合を考える。画像データｘ（ｍ）、ｙ（ｍ−１）、ｚ（ｍ−２）を取得したタイミングではそれぞれ異なる絞りで撮影されるものとして、それぞれのフレームにおける変換係数をＫ_ｍ、Ｋ_ｍ−１、Ｋ_ｍ−２とする。この場合、加算処理を施した１対の画像データに対する変換係数として、時刻ｍＴｓにおける変換係数Ｋ_ｍを用いると、変換係数の異なる時刻ｍＴｓ以外のタイミングで得られた画像データを加算することで算出されるデフォーカス量には、誤差が生じる。このため、時刻ｍＴｓで使用する変換係数Ｋ_ｍ’（加算フレームの変換係数）として、以下の式（５）で表されるように、フレームごとの変換係数の平均値を用いる。このように加算フレームの変換係数を決定することで、デフォーカス量の誤差は改善される。

Ｋ_ｍ’＝（Ｋ_ｍ＋Ｋ_ｍ−１＋Ｋ_ｍ−２）／３ … （５）
本実施例においては、周期的に読み出される焦点検出用画素の画像データと変換係数をフレーム毎にそれぞれ記憶しておき、像ずれ量をデフォーカス量に変換する際に、加算画像データ（加算フレーム）に対応した変換係数を算出する。なお本実施例において、加算画像データの変換係数を算出するために周期的に記憶される値（光学情報）として、フレーム毎の変換係数の代わりに、フレーム毎の焦点検出瞳の重心間隔またはレンズの口径情報を用い、後で変換係数を算出するように構成してもよい。また、画像データＸ（ｍ）を構成する各フレームの画像データの像ずれ量への寄与率を考慮して所定の重み付けを行ってもよい。画像データｘ（ｍ）、ｙ（ｍ−１）、ｚ（ｍ−２）のＰＢ値をそれぞれＰＢ_ｘ、ＰＢ_ｙ、ＰＢ_ｚとした場合、変換係数Ｋ_ｍ’は以下の式（６）を用いて算出される。

Ｋ_ｍ’＝（Ｋ_ｍ×ＰＢ_ｘ＋Ｋ_ｍ−１×ＰＢ_ｙ＋Ｋ_ｍ−２×ＰＢ_ｚ）／（ＰＢ_ｘ＋ＰＢ_ｙ＋ＰＢ_ｚ） … （６）
本実施例では、フレーム加算数を３とした場合を例として説明したが、これに限定されるものではなく、フレーム加算数に応じて同様の処理を施すことで変換係数を算出することができる。また本実施例では、絞り（撮像光学系の口径）の変化に応じて変換係数を変更することを説明しているが、これに限定されるものではない。前述のとおり、変換係数は、絞りの変化以外にも変換係数が変化する場合に対して同様の処理を施すことで算出可能である。

図１１中のステップＳ１１０７において、ＣＰＵ１２１は、合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内か否かを判定する。合焦近傍でないと判定された場合にはステップＳ１１０９へ進み、ＣＰＵ１２１（レンズ制御手段）は、フォーカスレンズ駆動を行う。具体的には、レンズ制御手段としてのＣＰＵ１２１は、加算手段による加算回数および焦点検出手段の結果に基づいてレンズ（第３レンズ群１０５）の駆動速度（フォーカス駆動回路１２６、フォーカスアクチュエータ１１４の動作）を制御しながらレンズを駆動する。レンズ制御手段は、後述のように、加算回数が増加した場合にレンズの駆動速度を減少させるように制御する。一方、ステップＳ１１０８において合焦近傍であると判定された場合にはステップＳ１１１０に進み、合焦表示を行い、リターンする（ステップＳ１１１１）。

次に図１０において、ステップＳ１００７に進み、動画撮影開始スイッチがオンされたか否かを判定する。オンされていない場合にはステップＳ１１０１に戻り、再度焦点検出サブルーチン（ステップＳ１１０１）にジャンプする。動画撮影開始スイッチがオンされた場合にはステップＳ１２０１に進み、動画撮影サブルーチンにジャンプする。

図１２は動画撮影のフローを示す。ステップＳ１２０１にて動画撮影シーケンスが開始されると、ステップＳ１２０２において撮像素子１０７から画像読み出しが行われる。続いてステップＳ１１０１に進み、焦点検出サブルーチンが実行される。次にステップＳ１２０３において、測光処理、及び、絞り、露光時間の制御が行われる。測光処理等の終了後、ステップＳ１２０４において、記憶しているフォーカスレンズ位置が更新される。続いてステップＳ１２０５にて、ステップＳ１２０２で撮像素子１０７から読み出された画像において、焦点検出画素位置の画像データを周辺の撮像画素から補間した後、現像処理を行う。次にステップＳ１２０６にて、動画記録処理が行われる。

次に、ステップＳ１２０７に進み、動画記録が終了したか否かを判定する。その結果、動画記録が終了していない場合には、ステップＳ１２０２に戻り、画像読み出しが再び行われる。またステップＳ１２０７にて動画記録が終了した場合にはステップＳ１２０８に進み、動画撮影シーケンスが終了し、リターンする。その後、図１０のメインフローに戻り、ステップＳ１００８にて一連の撮影動作を終了する。

本実施例によれば、フレームごとの光学情報（変換係数）に基づいて加算フレームの変換係数が適切に決定されるため、デフォーカス量の演算精度を向上させた撮像装置およびカメラシステムを提供することができる。

次に、本発明の実施例２について説明する。実施例１におけるステップＳ１１０４（図１１）では、加算された焦点検出用画素の画像データを構成する各フレームの変換係数の平均値または像ずれ量への寄与率を加味した加重加算により、変換係数を算出している。本実施例では、変換係数の算出処理をより簡単にするため、フレームごとの変換係数の最小値を加算フレームの変換係数として用いる。

一例として、時刻ｍＴｓ、フレーム加算数３で加算処理を施した１対の画像データのうち、片方の画像データをＸ（ｍ）とする。そして、画像データＸ（ｍ）を構成する画像信号のうち現フレームの画像データをｘ（ｍ）、１つ前のフレームで取得した画像データをｙ（ｍ−１）、２つ前のフレームで取得した画像データをｚ（ｍ−２）とした場合を考える。画像データｘ（ｍ）、ｙ（ｍ−１）、ｚ（ｍ−２）を取得したタイミングではそれぞれ異なる絞りで撮影されているものとして、それぞれのフレームにおける変換係数をＫ_ｍ、Ｋ_ｍ−１、Ｋ_ｍ−２とする。この場合、時刻ｍＴｓにおける加算処理を施した１対の画像データに対する変換係数Ｋ_ｍ’として変換係数Ｋ_ｍを用いると、変換係数の異なるｍＴｓ以外のタイミングで得られた画像データを加算することで算出されるデフォーカス量に誤差が生じる。しかし、変換係数Ｋ_ｍ、Ｋ_ｍ−１、Ｋ_ｍ−２のうち最小の変換係数を用いると、算出されるデフォーカス量に誤差は生じるものの、本来のデフォーカス量と比較し小さく算出される。

このため、本実施例によれば、レンズ駆動の際に予定結像面に対してオーバーランすることがなく、フォーカスレンズを焦点位置に移動させる間に焦点検出動作をオーバーラップで行うことで撮影動画の見栄えの劣化を抑制できる。

次に、本発明の実施例３について説明する。本実施例では、フレーム加算が行われている際に変換係数が変化した場合、変換係数の変化の途中ではフレーム加算を行わないようにする。すなわち、ＣＰＵ１２１（加算手段）は、時系列的に連続した光学情報が変化した場合にフレームの複数の信号の加算を止め、光学情報の変化後にフレームの複数の信号を加算し始める。

変換係数が変化する要因となる、カム筒の回転による変倍操作や絞り値の変化など設定が変更された場合、設定変更の開始前のフレームまでフレーム加算した画像データに基づいて相関演算処理を行う。そして、設定変更中は１フレームで得られる焦点検出用画素の画像データに基づいて相関演算処理を行う。以下、実施例１、２で参照した図１１の焦点検出サブルーチンに代えて、図１４の焦点検出サブルーチンを参照して本実施例の焦点検出動作について説明する。

図１４は、ライブビュー中の焦点検出のフローを示す。まずステップＳ１４０１において、焦点検出サブルーチンを開始する。続いてステップＳ１４０２において、ＣＰＵ１２１は、現フレームにおける焦点検出画素データ（読み出し手段により読み出された画像信号）および撮影時（この画像信号の読み出し時）の光学情報を内部メモリ（記憶手段）に記憶する。そしてステップＳ１４０３において、ＣＰＵ１２１は、内部メモリに記憶された光学情報から現フレームと過去フレームにおける撮影時の光学情報の差異の有無（光学情報の変化）を判定する。光学情報に差異がない場合、ステップＳ１４０４に進み、ＣＰＵ１２１（加算手段）は、内部メモリから焦点検出画素の画像データ（画像信号）を読み出して加算処理を行う。

次にＣＰＵ１２１は、ステップＳ１４０５において、フレーム加算信号に対応した光学情報に基づいて、像ずれ量をデフォーカス量に変換するために用いられる変換係数を算出する。変換係数の算出方法は前述の実施例と同様であるため、その説明を省略する。

一方、ステップＳ１４０３において、現フレームと過去フレームで光学情報が変化している場合、ステップＳ１４０６に進む。ステップＳ１４０６において、ＣＰＵ１２１は、内部メモリに記憶された焦点検出画素データおよび光学情報を消去し（または使用不可であるとし）、現フレームの焦点検出画素データおよび光学情報に基づいて焦点検出演算を行う。続いてＳ１４０７において、ＣＰＵ１２１は、現フレームの光学情報から像ずれ量をデフォーカスに変換するために用いられる変換係数を算出する。またステップＳ１４０８において、ＣＰＵ１２１は、生成された焦点検出画素の画像データから相関演算を行い、像ずれ量を算出する。続いてステップＳ１４０９において、ＣＰＵ１２１は、相関信頼性の判定を行う。

次にステップＳ１４１０において、ＣＰＵ１２１は、ステップＳ１４０５又はステップＳ１４０７で算出された変換係数を用いて、像ずれ量をデフォーカス量に変換する。続いてステップＳ１４１１において、ＣＰＵ１２１は、算出されたデフォーカス量が合焦範囲内か否かの判定を行い、合焦範囲外と判定した場合、ステップＳ１４１２に進む。ステップＳ１４１２において、ＣＰＵ１２１は、算出されたデフォーカス量を目標位置としてフォーカスレンズを駆動する。一方、ステップＳ１４１１にてデフォーカス量が合焦範囲内であると判定された場合、ステップＳ１４１３において合焦表示を行う。そしてステップＳ１４１４に進み、カメラの撮影動作のメインフローにリターンする。

本実施例によれば、焦点検出用の画像データに対して、フレーム加算処理によるＳ／Ｎの改善は見込めないものの、焦点検出用の画像データに応じた変換係数でデフォーカス量を算出することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ カメラ
１０７ 撮像素子
１２１ ＣＰＵ

Claims (4)

1. 撮像画素および焦点検出画素を備え、被写体像を光電変換する撮像素子と、
   前記焦点検出画素から所定周期で一対の像信号を読み出す読み出し手段と、
   前記読み出し手段により読み出された前記一対の像信号および該一対の像信号の光学情報を記憶する記憶手段と、
   前記一対の像信号のうち時系列的に連続したフレームの信号を加算する加算手段と、
   前記加算手段により得られた一対の像信号の像ずれ量をデフォーカス量に変換する変換係数を決定する変換係数決定手段と、
   前記一対の像信号の前記像ずれ量に前記変換係数を乗じることにより前記デフォーカス量を算出する焦点検出手段と、を有し、
   前記加算手段は、時系列的に連続した前記光学情報が変化した場合に前記フレームの複数の信号の加算を止め、該光学情報の変化後にフレームの複数の信号を加算し始めることを特徴とする撮像装置。
2. 撮像画素および焦点検出画素を備え、被写体像を光電変換する撮像素子と、
   前記焦点検出画素から所定周期で一対の像信号を読み出す読み出し手段と、
   前記読み出し手段により読み出された前記一対の像信号および該一対の像信号の光学情報を記憶する記憶手段と、
   前記一対の像信号のうち時系列的に連続したフレームの信号を加算する加算手段と、
   前記加算手段により得られた一対の像信号の像ずれ量をデフォーカス量に変換する変換係数を決定する変換係数決定手段と、
   前記一対の像信号の前記像ずれ量に前記変換係数を乗じることにより前記デフォーカス量を算出する焦点検出手段と、を有し、
   前記加算手段は、絞りが変化した場合に前記フレームの複数の信号の加算を止め、該絞りの変化後にフレームの複数の信号を加算し始めることを特徴とする撮像装置。
3. 前記光学情報が変更される前のフレームまで加算したフレームの信号に基づいて相関演算処理を行うことを特徴とする請求項１または２に記載の撮像装置。
4. レンズを備えて被写体像を形成するレンズ装置と、
   請求項１乃至３のいずれか１項に記載の撮像装置と、
   を有することを特徴とするカメラシステム。