JP5400406B2 - 撮像装置 - Google Patents

Description

本発明は、撮像素子の一部に焦点検出用画素を有する撮像装置の画素信号読み出し制御技術に関する。

現在のＣＣＤやＣＭＯＳセンサーといった固体撮像素子を有する撮像装置には、ライブビュー機能を有するものがある。ライブビュー機能とは、撮像素子から連続的に読み出された画像信号を、カメラの背面などに設置された液晶ディスプレイなどの表示装置に順次出力することによって、被写体像の確認を行うことができる機能である。また、撮像装置の自動焦点検出・調節方法で撮影レンズを通過した光束を用いる一般的な方式として、コントラスト検出方式（ぼけ方式と呼ばれる）と位相差検出方式（ずれ方式と呼ばれる）とがある。

コントラスト検出方式は動画撮影用ビデオムービー機器（カムコーダー）や電子スチルカメラで多く用いられる方式で、撮像素子が焦点検出用センサーとして用いられるものである。撮像素子の出力信号、特に高周波成分の情報（コントラスト情報）に着目し、その評価値が最も大きくなる撮影レンズの位置を合焦位置とする方式である。しかし山登り方式とも言われるように、撮影レンズを微少量動かしながら評価値を求め、その評価値が結果的に最大であったとわかるまで動かすことが必要であるため、高速な焦点調節動作には不向きとされている。

一方の位相差検出方式は、銀塩フィルムによる一眼レフカメラに多く用いられ、自動焦点検出（Auto Focus：ＡＦ）一眼レフカメラの実用化に最も貢献した技術である。位相差検出方式では、撮影レンズの射出瞳を通過した光束を２分割し、２分割した光束を一対の焦点検出用センサーによりそれぞれ受光する。そして、その受光量に応じて出力される信号のずれ量、すなわち、光束の分割方向の相対的位置ずれ量を検出することで撮影レンズのピント方向のずれ量を直接求めるものである。従って、焦点検出用センサーにより一度蓄積動作を行えばピントずれの量と方向が得られ、高速な焦点調節動作が可能となっている。但し、撮影レンズの射出瞳を通過した光束を２分割し、それぞれの光束に対応する信号を得るためには、撮像光路中にクイックリターンミラーやハーフミラー等の光路分割手段を設け、その先に焦点検出用光学系とＡＦセンサを設けるのが一般的である。そのため、装置が大型、かつ高価となる欠点がある。また、ライブビューを行う際は、クイックリターンミラーが退避しているため、動作させることができないといった欠点もあった。

上記欠点を解消するために、撮像素子に位相差検出機能を付与し、専用のＡＦセンサを不要とし、かつ高速の位相差ＡＦを実現するための技術が提案されている。例えば、特開２０００−１５６８２３号公報（特許文献１）では、撮像素子の一部の受光素子（画素）において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与している。そしてこれらの画素を焦点検出用画素とし、撮像用画素群の間に所定の間隔で配置することで、位相差式焦点検出を行う。また、焦点検出用画素が配置された箇所は撮像画素の欠損部に相当するため、周辺の撮像画素情報から補間して画像情報を創生している。

また、特開２０００−２９２６８６号公報（特許文献２）では、撮像素子の一部の画素の受光部を２分割することで瞳分割機能を付与している。そしてこれらの画素を焦点検出用画素とし、撮像用画素群の間に所定の間隔で配置することで、位相差式焦点検出を行う。また、この技術においても焦点検出用画素が配置された箇所は撮像画素が欠損しているため、周辺の撮像画素情報から補間して画像情報を創生している。

特開２０００−１５６８２３号公報 特開２０００−２９２６８６号公報 特開２０００−１５６８２３号公報

しかしながら、上記の特許文献１、特許文献２において、撮像画素の欠損部となる焦点検出用画素が配置された個所は周辺の撮像画素から補間して画像情報を創生しているため、被写体によっては正しく補間できない場合がある。そのため、焦点検出用画素が通常の撮影画素に対して、十分に少ない場合には画質の劣化が小さくて済むが、焦点検出用画素の割合が増大するにしたがって、画質の劣化が大きくなるという問題がある。

また、ライブビューを行う場合、目的のフレームレートを実現するために、撮像素子からの読み出しを高速に行う必要があり、そのために撮像素子内の一部の画素を間引いて高速に読み出すことが知られている。しかし、読み出した画素信号に焦点検出用画素が含まれるように画素配置を行うと、全画素を読みした場合と比較して、撮像画素に対する焦点検出用画素の割合が増大するため、画質への影響も大きくなってしまう。

上記問題に対し、特開２０００−１５６８２３号公報（特許文献３）では、次のような提案がなされている。すなわち、間引き読み出し時には、焦点検出用画素を読み出さないようにしてライブビューを行い、自動焦点調節を行う場合にはライブビューを中断し、焦点検出用画素を読み出す。しかしながら、特許文献３においては、撮像素子から一部の画素を間引いて高速に読み出す際に、焦点検出用画素を読み出さないため、ライブビューを行いながら自動焦点調節を行うことができないという問題がある。

従って、本発明は上述した課題に鑑みてなされたものであり、焦点検出用画素が離散的に配置された撮像素子を有する撮像装置において、撮像素子から画素信号を間引き読み出しする際に、焦点検出用画素に起因する画質の劣化を抑制することである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮像装置であって、複数の画素が水平方向及び垂直方向に二次元的に配列された撮像素子であって、撮影レンズにより結像される被写体像を光電変換して画像生成用の第１の信号を生成する第１の画素群と、前記第１の画素群を構成する複数の画素の間に離散的に配置され、前記撮影レンズの瞳領域を分割して、分割された瞳領域からの被写体像を光電変換して位相差検出用の第２の信号を生成する第２の画素群とを有する撮像素子と、前記第２の画素群からの前記第２の信号に基づいて前記撮影レンズの焦点状態を検出して前記撮影レンズの焦点調節を行う焦点調節手段と、水平方向及び垂直方向に配置された前記複数の画素の中から所定の間引き率と間引き位相で間引いて前記位相差検出用の第２の信号を含むように読み出す第１の間引き読み出しモードと、前記複数の画素の中から前記第１の間引き読み出しモードとは間引き率及び間引き位相の少なくとも一方を異ならせて間引いて前記位相差検出用の第２の信号を含むように読み出す第２の間引き読み出しモードとを有する読み出し手段と、前記撮像装置の状態に応じて、前記読み出し手段を前記第１の間引き読み出しモードと前記第２の間引き読み出しモードのどちらのモードで動作させるかを選択する選択手段と、を備えることを特徴とする。

本発明によれば、焦点検出用画素が離散的に配置された撮像素子を有する撮像装置において、撮像素子から画素信号を間引き読み出しする際に、焦点検出用画素に起因する画質の劣化を抑制することが可能となる。

本発明の一実施形態に係わるカメラの構成図である。 本発明の一実施形態の固体撮像素子のブロック図である。 本発明の一実施形態の全画素読み出しの説明図である。 本発明の一実施形態の間引き読み出しの説明図である。 本発明の一実施形態の撮像素子の撮像用画素の平面図と断面図である。 本発明の一実施形態の撮像素子の焦点検出用画素の平面図と断面図である。 本発明の一実施形態の焦点検出用画素の配置パターンの説明図である。 本発明の一実施形態の動作フローを示す説明図である。 本発明の一実施形態のライブビュー時の撮像動作シーケンスを示すタイミングチャートである。 本発明の一実施形態の間引き読み出しパターンを示す説明図である。 本発明の一実施形態の間引き読み出しパターンを示す説明図である。 本発明の一実施形態の間引き読み出しパターンを示す説明図である。 本発明の一実施形態の焦点検出用画素の配置パターンの説明図である。 本発明の一実施形態の間引き読み出しパターンを示す説明図である。 本発明の一実施形態の間引き読み出しパターンを示す説明図である。

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。

図１は本発明の一実施形態に係わる撮像装置としてのカメラの構成図で、撮像素子を有したカメラ本体と撮影レンズが一体となった電子カメラを示している。図１において、１０１は撮影光学系（結像光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとして働く。１０３は第２レンズ群である。そして絞り兼用シャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。

１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣＭＯＳセンサーとその周辺回路で構成された撮像素子である。撮像素子１０７は、横方向ｍ画素、縦方向ｎ画素の二次元的に配列された受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された２次元単板カラーセンサである。１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１０１ないし第３レンズ群１０３を光軸方向に進退駆動し、変倍操作を行う。１１２は絞りシャッタアクチュエータで、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。

１１５は撮影時の被写体照明用の電子フラッシュで、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光装置で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。１２１はＣＰＵで、カメラ本体の種々の制御を司るカメラ内ＣＰＵである。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有し、ＲＯＭに記憶された所定のプログラムに基づいてカメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。

１２２は電子フラッシュ制御回路で、撮影動作に同期して電子フラッシュ１１５を点灯制御する。１２３は補助光駆動回路で、焦点検出動作に同期してＡＦ補助光装置１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。１２８は絞りシャッタ駆動回路で、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

１３１はＬＣＤ等の表示器で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。

図２は、本発明の一実施形態における撮像素子のブロック図を示している。なお、図２のブロック図は、後述の読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。図２において、２０１は、光電変換部（以下、ＰＤｍｎと略す。ｍは、Ｘ方向アドレスであり、ｍ＝０，１，…、ｍ−１、ｎは、Ｙ方向アドレスであり、ｎ＝０，１，…，ｎ−１である）である。光電変換部２０１は、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。また、本実施形態の撮像素子は、ｍ×ｎの光電変換部が２次元的に配置されている。符号は、煩雑になるので、左上の光電変換部ＰＤ００のみに付記した。

２０２は、光電変換部ＰＤｍｎの出力を選択するスイッチであり、後述の垂直走査回路２０８により、一行ごとに選択される。２０３は、光電変換部ＰＤｍｎの出力を一時的に記憶するためのラインメモリであり、垂直走査回路により選択された、一行分の光電変換部２０１の出力を記憶するものである。通常は、コンデンサが使用される。２０４は、水平出力線に接続されて、水平出力線を所定の電位ＶＨＲＳＴにリセットするためのスイッチであり、信号ＨＲＳＴにより制御される。２０５は、前述のラインメモリ２０３に記憶された光電変換部ＰＤｍｎの出力を水平出力線に順次出力するためのスイッチであり、Ｈ０からＨｍ−１のスイッチを後述の水平走査回路２０６により、順次走査することにより、一行分の光電変換の出力が読み出される。

２０６は、水平走査回路であり、ラインメモリに記憶された光電変換部の出力を順次走査して、水平出力線に出力させる。信号ＰＨＳＴは、水平走査回路のデータ入力、ＰＨ１、ＰＨ２は、シフトクロック入力であり、ＰＨ１＝Ｈでデータがセットされ、ＰＨ２でデータがラッチされる構成となっている。そして、ＰＨ１、ＰＨ２にシフトクロックを入力することにより、ＰＨＳＴを順次シフトさせて、Ｈ０からＨｍ−１のスイッチを順次オンさせることができる。ＳＫＩＰは、後述の間引き読み出し時に設定を行なわせる制御端子入力である。ＳＫＩＰ端子をＨレベルに設定することにより、水平走査回路を所定間隔でスキップさせることが可能になる。読み出し動作に関する詳細は後述する。

２０７は、水平走査回路により読み出された信号を増幅するアンプである。また、２０８は、垂直走査回路であり、順次走査して、Ｖ０からＶｎ−１を出力することにより、光電変換部ＰＤｍｎの選択スイッチ２０２を選択することができる。制御信号は、水平走査回路と同様に、データ入力ＰＶＳＴ、シフトクロックＰＶ１、ＰＶ２、間引き読み出し設定ＳＫＩＰにより制御される。動作に関しては、水平走査回路と同様であるので詳細な説明は省略する。また、図中では、上記の制御信号は、不図示とした。

図３は、図２の撮像素子の全画素を読み出す場合の説明図である。図３（ａ）は、ｍ×ｎ個の光電変換部の配置を示した部である。同図に付記されたＲ，Ｇ，Ｂの記号は、光電変換部に塗布されたカラーフィルタをあらわしている。本実施形態においては、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列で説明する。図中の上および左側に付記された番号は、ＸおよびＹの番号である。斜線の引かれた画素部が、読み出し対象である（全画素読み出しなのですべて斜線が引かれている）。また、撮像素子には、通常、黒レベルを検出する遮光されたＯＢ（オプティカルブラック）画素なども配置され、ＯＢ画素も読み出されるが、本実施形態では、説明が煩雑になるため、省略する。

図３（ｂ）は、撮像素子の全画素のデータを読み出す場合のタイミングチャートを示しており、ＣＰＵ１２１で、撮像素子駆動回路１２４を制御して、撮像素子にパルスを送ることにより制御する。図３（ｂ）を使って、全画素読み出し動作について説明する。

まず、垂直走査回路を駆動して、Ｖ０をアクティブにする。このとき、０行目の画素の出力が、垂直出力線にそれぞれ出力される。この状態で、ＭＥＭ信号をアクティブにして、各画素のデータをラインメモリ部にサンプルホールドする。次に、ＰＨＳＴをアクティブして、ＰＨ１、ＰＨ２のシフトクロックを入力して、順次Ｈ０からＨｍ−１をアクティブにして、水平出力線に画素信号を出力する。出力された画素信号は、アンプ２０７を介して、ＶＯＵＴとして出力され、図示しないＡ／Ｄ変換器でデジタルデータに変換され、画像処理回路１２５で所定の画像処理が施される。次に、垂直走査回路は、Ｖ１がアクティブになり、１行目の画素信号が、垂直出力線に出力され、同様にＭＥＭ信号によりラインメモリに、画素信号が一旦メモリされる。ＰＨＳＴをアクティブにして、ＰＨ１、ＰＨ２のシフトクロックを入力して、順次Ｈ０からＨｍ−１をアクティブにして、水平出力線に画素信号を出力する動作は同じである。以上のように、ｎ−１行目までの読み出しを順次行う。

図４は、図２の撮像素子の間引き読み出しの一例を説明する図である。図４（ａ）は、ｍ×ｎ個の光電変換部の配置を示した部であり、図３（ａ）と同一撮像素子である。斜線の引かれた画素部が、間引き読み出し時の読み出し対象画素である。本実施形態では、Ｘ、Ｙともに１／３の間引き読み出しとしている。

図４（ｂ）は、間引き読み出し時のタイミングチャートを示しており、図４（ｂ）のタイミングチャートを使って、間引き読み出しの動作について説明する。間引き読み出しの設定は、水平走査回路２０６のＳＫＩＰ端子を、アクティブにすることで行なう。ＳＫＩＰ端子をアクティブにすることで、水平、垂直走査回路は、１画素ごとの順次走査から３画素ごとの順次走査に動作が変更される。具体的方法に関しては、公知の技術なので詳細は省略する。

間引き時の動作は、まず、垂直走査回路を駆動して、Ｖ０をアクティブにする。このとき、０行目の画素の出力が、垂直出力線にそれぞれ出力される。この状態で、ＭＥＭ信号をアクティブにして、各画素のデータをラインメモリ部にサンプルホールドする。次に、ＰＨＳＴをアクティブにして、ＰＨ１、ＰＨ２のシフトクロックを入力する。このとき、ＳＫＩＰ端子をアクティブに設定にすることにより、シフトレジスタの経路が変更され、順次Ｈ０，Ｈ３，Ｈ６，…，Ｈｍ−３のように、３画素ごとに水平出力線に画素信号を出力する。出力された画素信号は、アンプ２０７を介して、ＶＯＵＴとして出力され、図示しないＡ／Ｄ変換器でデジタルデータに変換され、画像処理回路１２５で所定の画像処理が施される。次に、垂直走査回路は、水平走査回路と同様に、Ｖ１、Ｖ２、をスキップさせて、Ｖ３をアクティブにして、３行目の画素信号を、垂直出力線に出力する。その後、ＭＥＭ信号によりラインメモリに、画素信号が一旦メモリされる。ＰＨＳＴをアクティブにして、ＰＨ１、ＰＨ２のシフトクロックを入力して、順次Ｈ０，Ｈ３，Ｈ６，…Ｈｍ−３をアクティブにして、水平出力線に画素出力を出力する動作は同じである。以上のように、ｎ−３行目までの読み出しを順次行なう。以上のように、水平、垂直ともに１／３の間引き読み出しが行われる。

図５、図６は、撮像用画素（画像生成用の第１の信号を出力する第１の画素群）と焦点検出用画素（位相差検出用の第２の信号を出力する第２の画素群）の構造を説明する図である。本実施形態においては、２×２の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そして、ベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。

図５に撮像用画素の配置と構造を示す。図５（ａ）は２×２の撮像用画素の平面図である。周知のごとく、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そして２行×２列の構造が繰り返し配置される。図５（ａ）の断面Ａ−Ａを図５（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤは図３で説明したＣＭＯＳセンサーの光電変換部を模式的に示したもの、ＣＬはＣＭＯＳセンサー内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。

ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、図５（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ（Ｂｌｕｅ）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

図６は、撮影レンズの水平方向（横方向）に瞳分割（瞳領域の分割）を行うための焦点検出用画素の配置と構造を示す。図６（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。撮像信号を得る場合、Ｇ画素は輝度情報の主成分をなす。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認められやすい。一方でＲもしくはＢ画素は、色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、ＲとＢの画素を焦点検出用画素としている。これを図６（ａ）においてＳＡ及びＳＢで示す。

図６（ａ）の断面Ａ−Ａを図６（ｂ）に示す。マイクロレンズＭＬと、光電変換部ＰＤは図５（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像創生には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（Ｗｈｉｔｅ）が配置される。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、画素ＳＡおよび、その開口部ＯＰＨＡは右側に偏倚しているため、撮影レンズＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＢの開口部ＯＰＨＢは左側に偏倚しているため、撮影レンズＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。よって、画素ＳＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素ＳＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。また、垂直方向（縦方向）のピントずれ量を検出したい場合には、ＳＡおよび、その開口部ＯＰＨＡを上側に、ＳＢおよび、その開口部ＯＰＨＢを下側に偏倚させて構成すればよい。

図７は、本実施形態における撮像用画素および焦点検出用画素の配置を示した図である。図７において、Ｇは、緑フィルターを塗布された画素、Ｒは、赤フィルターを塗布された画素、Ｂは、青フィルターを塗布された画素である。また、図中のＳＡは、画素部の開口を水平方向に偏倚させて、形成された焦点検出用の画素であり、後述のＳＢ画素群との水平方向の像ずれ量を検出するための基準画素群である。また、ＳＢは、画素の開口部をＳＡ画素とは、逆方向に偏倚させて形成された画素であり、ＳＡ画素群との水平方向の像ずれ量を検出するための参照画素群である。ＳＡ、ＳＢ画素の斜線部が、偏倚した画素の開口部を示している。

また、焦点検出用の画素配置であるが、焦点検出用画素群が、撮像用に使用できないことを考慮して、本実施形態では、Ｘ、Ｙ方向にある程度の間隔をおいて、離散的に配置されるように構成される。また、画像の劣化が、目立ちにくいように、Ｇ画素部分には、配置しないことが望ましい。本実施形態では、図中の太い黒枠で示された、２４×２４画素のブロック内に、ＳＡ画素、ＳＢ画素の５ペアを配置するようにしている。図中に記載されたＢＬＯＣＫ＿Ｎ（ｉ、ｊ）は、ブロック名を表しており、１ブロックで画素配置パターンが完結するように構成している。また、全撮像画面への拡張は、ブロック単位で、撮像素子の任意の位置に適宜配置すればよい。

以上のように構成されたシステムにおいて、本実施形態の動作を図８から図１０を用いてに説明する。

図８のステップＳ１０１では、ライブビュー（または動画記録）が開始されると、各ライブビュー制御パラメータが初期化され、ステップＳ１０２へ移行する。ステップＳ１０２では、撮像素子から連続的に信号を読み出し逐次表示や記録を行う、いわゆるライブビュー動作が行われる。ここで、ライブビュー動作、及び、動画記録の画像信号の読み出し制御について説明する。

図９は、本実施形態のライブビュー時の撮像動作シーケンスの概要を説明するタイミングチャートである。図９に示すように、撮像素子１０７は、露光動作が行われた後、撮像素子１０７内の各画素の蓄積電荷が画像信号として読み出される。この読み出し動作は、制御パルスである垂直同期信号ＶＤ、および不図示の水平同期信号ＨＤに同期して行われる。ＶＤ信号は、撮像の１フレームをあらわす信号であり、本実施形態では、たとえば１／３０秒（従って、本実施形態では、１秒間に３０フレームの動画撮影を前提に説明を行う）ごとにＣＰＵ１２１からのコマンドを受けて、撮像素子駆動回路１２４より、撮像素子１０７へ送られる。また、制御パルスＨＤは、撮像素子１０７の水平同期信号であり、１フレームの期間に水平ラインのライン数に応じたパルス数が所定間隔で送出され、水平ラインの制御を行う。また、水平パルスＨＤに同期して、設定された蓄積時間となるように水平ライン毎に画素リセットが行われる（図中に点線で示す）。

ＶＤ、ＨＤ信号により、蓄積読み出しが実行されると、ＶＤ信号が送出され、次フレームの蓄積動作が開始される。また、読み出された画像信号は、画像処理回路１２５へ転送され、欠陥画素補正などを行い、画像処理が実行され、カメラの背面などに設置された表示器１３１へ送られる。以上のことは、公知の技術であるので、これ以上の説明は省略する。また、動画記録に関しては、同様にして読み出した信号を画像処理した後、フラッシュメモリ１３３へ送られ逐次記録される。また、本実施形態の撮像素子１０７には、撮像用画素のほかに一部の画素群に瞳分割機能を付与して、いわゆる位相差ＡＦが可能なように構成されている。この焦点検出用画素も欠陥画素とみなして、欠陥補正を行い、画像処理、および表示回路に転送される。

また、画像データ内に含まれる焦点検出用画素のデータをピックアップして、撮影レンズの焦点状態を検出するために、画像処理回路１２５内の不図示の位相差検出ブロックへも転送される。そして、この回路ブロックで、瞳分割されたＳＡ画素群、およびＳＢ画素群の相関演算を行い、位相差ＡＦ評価値を算出する。これにより、ＣＰＵ１２１は、フォーカス駆動回路１２６を制御して、フォーカスアクチュエータ１１４を動作させて、撮影レンズの焦点調節を行う。また、画像処理回路１２５とＣＰＵ１２１によって構成される測光検出手段によって測光が行われ、蓄積時間、ゲイン、絞りなどの露光条件が決定される。ＣＰＵ１２１は、決定された絞り値に基づいて、絞りシャッタアクチュエータ１１２を動作させて絞り駆動を行う。

また、通常ライブビューを行う場合、目的のフレームレートを実現するために、撮像素子から信号を間引いて高速に読み出す必要がある。

ここで、本実施形態の間引き読み出しパターンについて図１０Ａ〜図１０Ｃを用いて説明する。

図１０Ａ〜図１０Ｃは、図７で説明した撮像素子から水平方向に１／３、垂直方向に１／３に間引き読み出しを行った場合に出力される信号を示す説明図である。尚、同図は、図が煩雑にならないように図７における画素配置パターンが完結する１ブロックのみを示している。また図中のＳＡ、ＳＢ、Ｒ、Ｇ、Ｂの記された画素は間引き読み出しの際に読み出される画素を示しており、記号無しの画素は読み出されない画素を示している。

図１０Ａは、画質優先ＡＦモード（第１の間引き読み出しモード）時の間引き読み出しパターンを示しており、水平方向の１／３間引きにより、１列目から３画素周期で信号が読み出され、垂直方向の１／３間引きにより垂直ライン周期０で示されるラインにある画素信号が読み出される。このとき、１ブロックから読み出される画素は６４画素（８×８画素）であるが、そのうち焦点検出用画素ＳＡとＳＢがそれぞれ１画素ずつ読み出されるようになっている。この焦点検出用画素の信号を、画像処理回路１２５内の不図示の位相差検出ブロックへ転送することにより、位相差ＡＦ評価値を算出することが可能である。また、焦点検出用画素は撮像画素の欠陥画素として扱われ、画像処理回路１２５により補間された後、表示、及び、記録画像として出力される。

また、図１０Ｂは、高画質モード（第２の間引き読み出しモード）時の間引き読み出しパターンを示しており、水平方向の１／３間引きにより、１列目から３画素周期で信号が読み出され、垂直方向の１／３間引きにより垂直ライン周期１で示されるラインにある画素信号が読み出される。このとき、焦点検出用画素ＳＡ、及び、ＳＢ画素は読出しされないため、ＡＦ評価値を得ることはできない。一方、表示、及び、記録される画像信号に対しては、焦点検出用画素が撮像信号の欠損画素とならないため、画質への影響を与えることは無く高画質な信号出力を得ることが可能になる。

また、図１０Ｃは、高精度ＡＦモード時の間引き読み出しパターンを示しており、水平方向の１／３間引きにより、１列目から３画素周期で信号が読み出され、垂直方向の１／３間引きにより垂直ライン周期２で示されるラインにある画素信号が読み出される。このとき、１ブロックから読み出される画素は６４画素（８×８画素）であるが、そのうち焦点検出用画素ＳＡとＳＢがそれぞれ４画素ずつ読み出されるようになっている。この焦点検出用画素の信号を、画像処理回路１２５内の不図示の位相差検出ブロックへ転送することにより、位相差ＡＦ評価値を算出することが可能であり、上記の画質優先ＡＦモード時に比べ、高精度な焦点検出が可能になる。一方、撮像画素の欠陥画素となる焦点検出用画素は、上記画質優先ＡＦモード時に比べ多くなるため、画質への影響は大きくなる。

ここで、間引き読み出しパターンの切り替えについて、図８のステップＳ１０３からステップＳ１０９を用いて説明する。

ステップＳ１０３では、不図示のレンズやカメラに設置されているＡＦ、ＭＦスイッチの状態に応じて、間引き読み出しモードの選択を行う。ＭＦが選択されている時は、ステップＳ１０９へ移行し、間引き読み出しモードは高画質モードに設定される。ＡＦが選択されている時は、ステップＳ１０４へ移行する。ここで、ＡＦ／ＭＦのモード切り替えは、メニューや焦点調節リングを動かすことによって半自動的に変更されるものなどでもよく、物理的なスイッチに限定されるものではない。

ステップＳ１０４では、自動焦点調節機能（ＡＦ）が動作しているか否か（動作状況）に応じて、間引き読み出しモードの選択を行う。ＡＦが行われていない場合は、ステップＳ１０９へ移行し、間引き読み出しモードは、高画質モードに設定される。ＡＦが行われている場合は、ステップＳ１０５へ移行する。

ステップＳ１０５では、現在の露光制御として設定されている絞りの状態に応じて、間引き読み出しモードの選択を行う。これは、絞りが所定以上絞り込まれていると、焦点検出用画素ＳＡ、ＳＢに所望の光がこなくなってしまい、焦点検出に向かないためである。絞りがＦ８.０以上絞り込まれている場合は、ステップＳ１０９へ移行し、間引き読み出しモードは、高画質モードに設定され、絞りがＦ８.０より開放側に制御されている場合は、ステップＳ１０６に移行する。ここで、絞り込み量の閾値をＦ８.０としたが、これに限定されるものではない。

ステップＳ１０６では、動画記録中であるか否かによって、間引き読み出しモードの選択を行う。動画記録中の場合は、ステップＳ１０８へ移行し、間引き読み出しモードは画質優先ＡＦモードに設定される。動画記録をしていない場合（ライブビューはしている）は、ステップＳ１０７へ移行し、間引き読み出しモードは高精度ＡＦモードに設定される。これは動画記録がライブビューよりも画質面で重要性が高いことと、ライブビューは静止画撮影のプレビュー画像として静止画に必要な焦点検出精度が重要であるという側面に基づく。また、動画記録中は、間引き読み出しモードを高画質モードに設定するようにして、焦点検出用画素を読み出さないようにしても構わない。

ステップＳ１１０では、ライブビュー及び動画記録の終了が通知されると、ライブビュー及び動画記録の終了処理を行った後、カメラは待機状態に移行する。一方、終了の通知が無い場合にはステップＳ１０２に移行し継続してライブビュー及び動画記録処理を継続する。

なお、本実施形態において、間引き読み出し時に読み出される焦点検出用画素の通常撮影画素に対する画素比率は、高画質モード時に０％、画質優先ＡＦモード時に３．１２５％、高精度ＡＦモード時に１２．５％としたが、これに限定されるものではなく、適宜配合比率を調整することが可能であることは言うまでも無い。

また、本実施形態において、間引き読み出しモードを３種類設けたが、３種類に限定されるものではなく、４種類以上の複数種類設けても構わない。

また、本実施形態において、水平方向、及び、垂直方向の間引き率を１／３としたが、これは１／３に限定するものではない。また、間引き読み出しモードに応じて変更しても構わない。

間引き読み出しモードに応じて、間引き率を変化させて、焦点検出用画素の読み出しを変更する一例を図１１に示す。

図１１は、間引き読み出しモードに応じて、間引き率を変化させて、焦点検出用画素の読み出しを変更する場合の撮像用画素および焦点検出用画素の配置を示した図である。図１１において、Ｇは、緑フィルターを塗布された画素、Ｒは、赤フィルターを塗布された画素、Ｂは、青フィルターを塗布された画素である。また、図中のＳＡは、画素部の開口を水平方向に偏倚させて、形成された焦点検出用の画素であり、後述のＳＢ画素群との水平方向の像ずれ量を検出するための基準画素群である。また、ＳＢは、画素の開口部をＳＡ画素とは、逆方向に偏倚させて形成された画素であり、ＳＡ画素群との水平方向の像ずれ量を検出するための参照画素群である。ＳＡ、ＳＢ画素の斜線部が、偏倚した画素の開口部をしめしている。

また、焦点検出用の画素配置であるが、焦点検出用画素群が、撮像用に使用できないことを考慮して、本実施形態では、Ｘ、Ｙ方向にある程度の間隔をおいて、離散的に配置されるように構成される。また、画像の劣化が、目立ちにくいように、Ｇ画素部分には、配置しないことが望ましい。本実施形態では、図中の太い黒枠で示された、３０×３０画素のブロック内に、ＳＡ画素、ＳＢ画素の２ペアを配置するようにしており、１ブロックで画素配置パターンが完結するように構成している。また、全撮像画面への拡張は、ブロック単位で、撮像素子の任意の位置に適宜配置すればよい。

ここで、図１１に示した画素配置により構成された撮像素子において、間引き読み出し時の間引き率を変更することで、読み出される焦点検出用画素の通常撮影画素に対する画素比率を変更する方法について図１２Ａ、図１２Ｂを用いて説明する。

図１２Ａ、図１２Ｂは、図１１で説明した撮像素子から水平方向、及び、垂直方向に間引き読み出しを行った場合に出力される信号を示す説明図である。尚、同図は、図が煩雑にならないように図１１における画素配置パターンが完結する１ブロックのみを示している。また図中のＳＡ、ＳＢ、Ｒ、Ｇ、Ｂの記された画素は間引き読み出しの際に読み出される画素を示しており、記号無しの画素は読み出されない画素を示している。図１２Ａは、画質優先ＡＦモード時の間引き読み出しパターンを示しており、水平方向の１／３間引きにより、１列目から３画素周期で信号が読み出され、垂直方向の１／３間引きにより１行目から３ライン周期で画素信号が読み出される。このとき、１ブロックから読み出される画素は１００画素（１０×１０画素）であるが、そのうち焦点検出用画素ＳＡとＳＢがそれぞれ１画素ずつ読み出されるようになっている。この焦点検出用画素の信号を、画像処理回路１２５内の不図示の位相差検出ブロックへ転送することにより、位相差ＡＦ評価値を算出することが可能である。また、焦点検出用画素は撮像画素の欠陥画素として扱われ、画像処理回路１２５により補間された後、表示、及び、記録画像として出力される。

また、図１２Ｂは、高精度ＡＦモード時の間引き読み出しパターンを示しており、水平方向の１／３間引きにより、１列目から３画素周期で信号が読み出され、垂直方向の１／５間引きにより１行目から５ライン周期で画素信号が読み出される。このとき、１ブロックから読み出される画素は６０画素（６×１０画素）であるが、そのうち焦点検出用画素ＳＡとＳＢがそれぞれ２画素ずつ読み出されるようになっている。この焦点検出用画素の信号を、画像処理回路１２５内の不図示の位相差検出ブロックへ転送することにより、位相差ＡＦ評価値を算出することが可能であり、上記画質優先ＡＦモード時に比べ、高精度な焦点検出が可能になる。一方、撮像画素の欠陥画素となる焦点検出用画素は、上記画質優先ＡＦモード時に比べ多くなるため、画質への影響は大きくなる。

以上、説明したように、ライブビュー及び動画記録時の間引き読み出しの際に、カメラの状態に応じて、間引いて読み出すライン周期、及び、間引き率を変更することで、読み出される画素信号に含まれる焦点検出用画素の割合を変化させることが可能である。そのため、不必要に画質の劣化を生じさせることなく、適切な読み出し制御を簡単に行うことができる。

また、焦点検出用画素を補間し画像信号を生成することで、ライブビュー表示、及び、動画記録を中断することなくＡＦ動作を行うことが可能である。

１０１ 第１レンズ群
１０２ 絞り兼用シャッタ
１０３ 第２レンズ群
１０５ 第３レンズ群
１０６ 光学的ローパスフィルタ
１０７ 撮像素子

Claims (4)

1. 撮像装置であって、
   複数の画素が水平方向及び垂直方向に二次元的に配列された撮像素子であって、撮影レンズにより結像される被写体像を光電変換して画像生成用の第１の信号を生成する第１の画素群と、前記第１の画素群を構成する複数の画素の間に離散的に配置され、前記撮影レンズの瞳領域を分割して、分割された瞳領域からの被写体像を光電変換して位相差検出用の第２の信号を生成する第２の画素群とを有する撮像素子と、
   前記第２の画素群からの前記第２の信号に基づいて前記撮影レンズの焦点状態を検出して前記撮影レンズの焦点調節を行う焦点調節手段と、
   水平方向及び垂直方向に配置された前記複数の画素の中から所定の間引き率と間引き位相で間引いて前記位相差検出用の第２の信号を含むように読み出す第１の間引き読み出しモードと、前記複数の画素の中から前記第１の間引き読み出しモードとは間引き率及び間引き位相の少なくとも一方を異ならせて間引いて前記位相差検出用の第２の信号を含むように読み出す第２の間引き読み出しモードとを有する読み出し手段と、
   前記撮像装置の状態に応じて、前記読み出し手段を前記第１の間引き読み出しモードと前記第２の間引き読み出しモードのどちらのモードで動作させるかを選択する選択手段と、
   を備えることを特徴とする撮像装置。
2. 前記選択手段は、前記焦点調節手段の動作状況に応じて、前記読み出し手段を前記第１の間引き読み出しモードと前記第２の間引き読み出しモードのどちらのモードで動作させるかを選択することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子から読み出した画像信号を逐次記録する動画記録手段をさらに備え、前記選択手段は、前記動画記録手段が動画記録をしているか否かの状態に応じて、前記読み出し手段を前記第１の間引き読み出しモードと前記第２の間引き読み出しモードのどちらのモードで動作させるかを選択することを特徴とする請求項１に記載の撮像装置。
4. 前記選択手段は、前記撮影レンズに備えられた絞りの状態に応じて、前記読み出し手段を前記第１の間引き読み出しモードと前記第２の間引き読み出しモードのどちらのモードで動作させるかを選択することを特徴とする請求項１に記載の撮像装置。

Images