JP6263035B2 - 撮像装置 - Google Patents

Description

本発明は、撮像素子自体に位相差方式の焦点検出機能を有する撮像素子を用いた撮像装置に関するものである。

従来、撮像装置の自動焦点検出、調整方法で撮影レンズを通過した光束を用いる一般的な方式としてコントラスト検出方式が知られている。この方式は撮像素子を焦点検出用センサーとして用いるもので、撮像素子の出力信号を評価して、そのコントラストが最大となるようにフォーカスレンズ位置を動かすことで焦点調整が可能となる。しかしながら撮影レンズを動かしながらコントラスト情報を評価する必要があり、その評価結果としてコントラストが最大であったことが分かった後に、再度コントラスト最大の位置にフォーカスレンズを移動させることが必要である。そのため、焦点検出のために時間を要し、高速な動作は困難であった。

このような欠点を改善するために、撮像素子に位相差検出機能を組み込むことで、撮像素子を焦点検出素子として用いながら、なおかつ撮影レンズのピントずれ量を直接求めることを可能とする技術が提案されている。

例えば特開２０００−１５６８２３号公報（特許文献１）では撮像素子中の一部の受光素子に、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を持たせている。そして、これらの画素を撮像素子中に所定の間隔で配置することで位相差検出機能を実現している。

また、特開２０１０−２１９９５８号公報（特許文献２）には、次のような技術が開示されている。即ち、焦点検出用画素を間引き読み出し時に間引かれる行に配置するとともに、動画表示には間引き行を読み出して表示し、動画表示で必要とする行を読み出す。さらにこの同一フレームで焦点検出用画素が配置された行を読み出すよう垂直走査を行うとともに、動画表示に必要な行と、焦点検出用画素が配置されている行とで蓄積時間を切り替えることで両者をそれぞれ適正な露出に蓄積制御する。このことにより、焦点検出用画素のＳ／Ｎも確保することが可能になる。

特開２０００−１５６８２３号公報 特開２０１０−２１９９５８号公報

しかしながら、上述の特許文献１に開示された従来技術では、全画素を読み出す静止画モード、撮像用画素のみが含まれる行を読み出す間引き読み出しモード、焦点検出用画素群のみを読み出す測距読出しモードの３種類の読み出しモードを有している。電子ビューファインダーや動画モードでは間引き読み出しにより動画のフレームレートは向上するものの、焦点検出用画素が読み出されないため、位相差方式を用いた高速な焦点検出ができないという課題がある。

また上述の特許文献２に開示された従来技術では、画素数を間引いて読み出す読み出し方法のなかで、垂直方向の飛び越し走査について開示されている。しかしながら、昨今の静止画に最適化された多画素の撮像素子から動画像を生成する場合には、さまざまな間引き率の動画像データを取得できることが好ましいが、このことについては考えられていなかった。

例えば、記録画素数の多い高精細な動画像データを得るための間引き率の比較的低いモードと、フレームレートの高い動画像データを得るための間引き率の比較的高いモードを考える。この場合、焦点検出用画素が配置された行において、撮像用画素と同じ間引き読み出しをすると、位相差検出用画素の配置密度によっては折角配置している位相検出用画素出力そのものが間引かれてしまい読み出せなくなってしまう可能性もある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、動画像の表示中に位相差方式による焦点検出を行う場合に、効率よく焦点検出用画素の出力を読み出し、高速な焦点検出を実現することである。

本発明に係わる撮像装置は、被写体像を撮像するための複数の撮像用画素と、該複数の撮像用画素の配列中に配置された焦点検出用画素とを有する撮像素子と、前記撮像素子の画素を所定の間引き率で間引いて前記画素の信号を読み出す第１の読み出しモードと、前記撮像素子の画素を前記所定の間引き率よりも高い間引き率で間引いて前記画素の信号を読み出す第２の読み出しモードとを有し、前記第１及び第２の読み出しモードにおける画像生成のための読み出しでは、前記焦点検出用画素が配置された前記撮像素子の行を読み出さないように制御する読み出し制御手段とを備え、前記読み出し制御手段は、前記第１及び第２の読み出しモードにおいて、画像生成のための読み出しを行う第１の垂直走査を行う前、または後に、前記焦点検出用画素が配置された前記撮像素子の行を読み出す第２の垂直走査を行うことを特徴とする。

本発明によれば、動画像の表示中に位相差方式による焦点検出を行う場合に、効率よく焦点検出用画素の出力を読み出し、高速な焦点検出を実現することが可能となる。

本発明の第１の実施形態に係わる撮像装置のブロック図。 本発明の第１の実施形態に係わる撮像装置の機構図。 第１の実施形態の撮像装置におけるＤＳＰ内部のブロック図。 撮像素子の画素配置を示す図。 撮像素子の位相差検出用画素の構造を示す図。 撮像素子の画素の構造を示す図。 撮像素子の構成を示す図。 撮像装置における静止画撮影時の動作を示す図。 撮像装置における第１の動画撮影モード時の動作を示す図。 撮像装置における第２の動画撮影モード時の動作を示す図。 撮像装置における動画撮影モード時の読出し画素を示す図。 撮像装置における動画撮影モード時の読出し画素を示す図。 撮像装置の動作を示すフローチャート。 撮像装置における静止画撮影時の動作を示すフローチャート。 撮像装置における動画撮影時の動作を示すフローチャート。 第２の実施形態の撮像装置における動画撮影モード時の読出し画素を示す図。 第３の実施形態に用いる撮像素子の画素配置を示す図。 第３の実施形態における全画素読み出しモードにおける読出し動作を説明する図。 第３の実施形態における動画像の高精細モードにおける読出し動作を説明する図。 第３の実施形態における動画像の高束モードにおける読出し動作を説明する図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置のブロック図である。本実施形態の撮像装置は、ＣＭＯＳ型撮像素子１０１、ＡＦＥ（アナログフロントエンド）１０２、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ)１０３、タイミング発生回路（ＴＧ）１０４、およびＣＰＵ１０５を有している。なおＣＭＯＳ型撮像素子１０１は、ＩＳＯ感度に応じてゲインを切り替える不図示のアンプ回路を内蔵している。

ＡＦＥ１０２は、撮像素子１０１からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器を内蔵し、また、ダークオフセットレベルをクランプする機能を有している。ＤＳＰ１０３は、ＡＦＥ１０２から出力されたデータ信号に対して各種の補正処理、及び現像処理、圧縮処理を行う。また、ＤＳＰ１０３は、ＲＯＭ１０６、ＲＡＭ１０７等の各種メモリに対するアクセス処理、記録媒体１０８への画像データの書き込み処理、ＬＣＤ１１４に対する各種データの表示処理等を行う。ＲＡＭ１０７上の画像データに対して各種の補正処理を行うことも可能である。

また、ＤＳＰ１０３は、ＣＭＯＳ型撮像素子１０１で発生する各種ノイズ、欠陥画素の検出および欠陥画素と位相差検出用画素の補正処理等も行う。さらに、位相差検出用画素の周辺画素に対する補正処理を行う補正ブロックや、位相差検出用画素の出力を用いてオートフォーカス情報を算出するＡＦ演算ブロックを有しており、詳細については後述する。

タイミング発生回路１０４は、ＣＰＵ１０５の制御の下に、撮像素子１０１、ＡＦＥ１０２及びＤＳＰ１０３にクロック信号や制御信号を供給し、ＤＳＰ１０３と協働して、ＣＭＯＳ型撮像素子１０１の各種読出しモードに対応したタイミング信号を生成する。

ＣＰＵ１０５は、ＤＳＰ１０３及びタイミング発生回路（ＴＧ）１０４の制御並びに測光、不図示の撮像素子とは独立した位相差ＡＦを行う測距素子の出力を用いたＡＦ等を行う。また、撮像素子１０１に組み込まれた位相差検出用画素の出力を用いて演算されるオートフォーカス情報を用いたＡＦ等のカメラ機能の制御を行う。

ＣＰＵ１０５には、例えば電源スイッチ１０９、第１段目のシャッタスイッチＳＷ１（１１０）、第２段目のシャッタスイッチＳＷ２（１１１）、モードダイアル１１２及びＩＳＯ感度設定スイッチ１１３が接続されている。ＣＰＵ１０５は、これらのスイッチ及びダイアルの設定状態に応じた処理を実行する。

ＲＯＭ１０６は、撮像装置の制御プログラム、すなわち、ＣＰＵ１０５が実行するプログラム、及び各種の補正用データ等を記憶している。このＲＯＭ１０６は、一般的にはフラッシュメモリにより構成されている。ＲＡＭ１０７は、ＲＯＭ１０６よりも高速にアクセスできるように構成されている。このＲＡＭ１０７は、ワークエリアとして利用され、ＤＳＰ１０３により処理される画像データ等を一時的に記憶する。

記録媒体１０８としては、例えば撮影された画像データを保存するメモリカード等が用いられる。記録媒体１０８は、例えば不図示のコネクタを介してＤＳＰ１０３に接続される。

電源スイッチ１０９は、撮像装置を起動させる際にユーザにより操作される。第１段目のシャッタスイッチＳＷ１がオンされた場合は、測光処理、測距処理等の撮影前処理が実行される。第２段目のシャッタスイッチＳＷ２がオンされた場合は、不図示のミラー及びシャッタを駆動し、撮像素子１０１により撮像した画像データをＡＦＥ１０２及びＤＳＰ１０３を介して記録媒体１０８に書込む一連の撮像動作が開始される。モードダイアル１１２は、撮像装置の各種の動作モードを設定するために利用される。ＩＳＯ感度設定スイッチ１１３は、撮像装置の撮影ＩＳＯ感度を設定するために利用される。ＬＣＤ１１４は、カメラの情報を表示し、撮影した画像を再生表示し、或いは動画像データを表示するためのものである。

次にこの撮像装置のメカ構成について図２を用いて説明する。図２は、本実施形態の撮像装置であるデジタル一眼レフカメラの構成を示す側断面図である。このカメラにおいては静止画を撮影する光学ファインダー使用時の状態と、動画撮影あるいはライブビュー使用時のミラーアップ、シャッター開状態がある。光学ファインダー使用時の状態を図２（ａ）に、動画撮影およびライブビュー時のミラーアップ、シャッター開状態を図２（ｂ）に示す。

図２（ａ）に示す静止画用の光学ファインダー使用時において、２０１はカメラ本体であり、その前面に撮影レンズ２０２が装着される。撮影レンズ２０２は交換可能であり、カメラ本体２０１と撮影レンズ２０２はマウント接点群２０３を介して電気的に接続される。さらに撮影レンズ２０２内には絞り２０４、ピント調整用レンズ群（フォーカスレンズ）２０５が配置されており、いずれもレンズ制御装置２０６にて制御される。

２０７はメインミラーであり、ハーフミラーとなっている。メインミラーは光学ファインダー状態の図２（ａ）の状態では、撮影光路上に斜設されて撮影レンズからの光をファインダー光学系へ反射する。一方透過光はサブミラー２０８を介してＡＦユニット２０９に入射する。ＡＦユニット２０９は位相差検出方式のＡＦセンサである。位相差ＡＦについては詳細な説明は省略するが、この検出結果を基に撮影レンズ２０２のピント調整用レンズ群２０５を制御することでＡＦ動作を行う。

１０１は撮像素子で２１０はフォーカルプレーンシャッタである。フォーカルプレーンシャッタ２１０は通常閉状態であり、撮影時のみ指定された秒時の露光を行うよう開動作を行う。２１１はピント板であり、２１２は光路変更用のペンタプリズムである。２１３は接眼レンズ群であり、撮影者はここからピント板を観測することで被写体像を確認できる。

不図示のレリーズボタンに連動し、半押しでオンするＳＷ１（１１０）のＯＮによりＡＥやＡＦ等の撮影準備動作が行われる。全押しでオンするＳＷ２（１１１）がＯＮするとメインミラー２０７、サブミラー２０８が光路から退避するよう動作し、その後フォーカルプレーンシャッタが所定時間開いて、撮像素子１０１が露光されることとなる。

次に図２（ｂ）にライブビューあるいは動画使用時の状態を示す。不図示のダイアルによりモードが切り替えられ例えばライブビュー状態になると、静止画撮影時と同様にメインミラー２０７、サブミラー２０８が光路から退避するよう動作しその状態を保持する。さらにフォーカルプレーンシャッタ２１０も開状態を保持し、撮像素子１０１が常時露光される状態となる。撮像素子１０１から得られた信号を不図示のＬＣＤに表示することでライブビューモードが実現される。

この状態で動画像を記録することで動画モードに対応できる。この場合サブミラーも退避しているため、ＡＦユニットへ被写体像は入射せずＡＦユニットを用いた位相差ＡＦは不可能となる。またメインミラーも退避しているため、光学ファインダーを用いて被写体像を確認することもできない。

次に図３にＤＳＰ１０３の内部ブロック図を示す。ＤＳＰ１０３は先に説明した画像処理の基本となる現像ブロック１００１、圧縮ブロック１００２のほかにメモリ制御ブロック１００３、記録媒体制御ブロック１００４、ＬＣＤ表示制御ブロック１００５を備える。さらに位相差検出素子の出力からオートフォーカス情報を算出するＡＦブロック１００６、この情報をＣＰＵ１０５に送信するほか全般的にＣＰＵ１０５と双方向の通信を行う通信ブロック１００７がある。

また画像生成を行う際に撮像素子の有する理想状態からの感度や、ダークレベルの誤差をデジタル的に補正するための画像補正ブロック１００８を有する。また、ＡＦブロック１００６にデータを送出する前に位相差検出用画素の理想状態からの感度や、ダークレベルの誤差や、撮影時の撮影レンズの焦点距離や絞り値など光学条件の補正をデジタル的に行うためのＡＦ用補正ブロック１００９も有する。

次に図１に示した撮像装置における撮像素子１０１の画素構造について説明する。図４に本実施形態に用いる撮像素子１０１の画素配置を示す。図４は撮像素子上の画素の配置を示しており、図４において、Ｒは赤色カラーフィルタを配置した通常画素（撮像用画素）であり、Ｇ，Ｂ、もそれぞれ緑カラーフィルタ、青カラーフィルタを配置した通常画素である。ここでは撮像素子上の水平２４画素、垂直１５画素を切り出して説明しているが、基本的にこの配置パターンを、水平、垂直方向に繰り返して形成される。

図４におけるＳ１，Ｓ２が通常画素の配列中に配置された位相差検出用画素（焦点検出用画素）となる。Ｓ１は図５（ａ）に示すように、マイクロレンズ５０１と、その下の平坦化層５０２、フォトダイオード５０４、遮光用配線層５０３から構成されている。画素Ｓ１は、画素上の遮光用配線層５０３に入射光の入射方向を規制するスリットを形成した第１の位相差検出用画素である。スリットのセンター位置は画素の光軸中心５０５を基準に、ここでは位相５０６分だけ左にオフセットしている。

またＳ２は図５（ｂ）に示すように、画素上にアルミ配線層等の遮光膜を用いて入射光の入射方向を規制するスリットを図５（ａ）に示した規制方向とは異なる方向にオフセットさせて形成している。そして、スリットのセンター位置は画素の光軸中心５０５を基準に、ここでは位相５０７分だけ右にオフセットしている。画素Ｓ２のオフセット量は方向が異なるだけでその絶対値は画素Ｓ１と同じである。これが第２の位相差検出用画素である。

このような位相差検出用画素のスリットの位相変位方向が同じ画素Ｓ１からなる画素群を図４（ａ）に示すようにある行Ｖn+1に配置し、画素Ｓ２からなる画素群をその下の行Ｖn+2行に配置する。この２行で一つのＡＦ枠（ＡＦ領域）を形成し、各位相の位相差検出用画素群から生成される２群の画像データから位相差を検出することにより被写体までの距離に関する情報を算出することが可能である。つまり、画素Ｓ１を水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素Ｓ２も水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。

次に図６を用いて本実施形態におけるＣＭＯＳ型撮像素子１０１の動作について説明する。図６はＣＭＯＳ型撮像素子１０１の１画素の回路構成を示している。図６において６０１はフォトダイオード（以下ＰＤ）、６０２，６０３はＰＤ６０１に蓄積された信号電荷を電圧に変換するフローティングディフュージョンアンプである。６０２はフローティングディフュージョン容量（ＦＤ）、６０３はＭＯＳトランジスタのアンプである。６０４はＰＤの電荷をＦＤに転送するための転送ゲート（ＴＸ）、６０５はＰＤ６０１をリセットするためのリセットゲート（ＲＥＳ）である。６０６は画素の選択用トランジスタ（ＳＥＬ）、６０７はＴＸを制御するための共通信号線、６０８はＲＥＳを制御するための共通信号線、６０９はＦＤアンプの電圧出力を出力するための垂直出力線、６１０はＳＥＬを制御するための信号線である。

図７はＣＭＯＳ型撮像素子１０１の全体構成を示す図である。７０１は画素部であり、図４に示した基本ブロックが水平、垂直方向に繰り返す形で配置されている。その一部であるＶnから始まるブロック７０２と、Ｖmから始まるブロック７０３を記載している。なお各画素は図５で示した構成を取る。また図中のハッチングの画素部分７０４は遮光されたOpticalBlack部（ＯＢ部）を示している。ＯＢ部は、画素部７０１に隣接配置され、撮影画像の黒を規定するために用いられている。ＯＢデータは、ノイズにより値0以上の有意の値を有し、ＯＢデータの平均値も値0以上になる。撮影画像にも、ＯＢデータと同様のノイズが混入していると考えると、撮影画像において最も値が低い画素は値0ではなく、ＯＢデータの平均値以上になる。そこで、撮影画像からＯＢデータの平均値を減算することで、光が当たっていない画素の値を略0に補正する。水平方向に配置されたＶＯＢ部の出力信号で、列ごとの画素信号のばらつきを補正し、垂直方向に配置されたＨＯＢ部の出力信号で、行ごとの画素信号のばらつきを補正する。

７０５は垂直走査回路であり、順次走査信号を出力することで行毎に蓄積読出しを制御することが可能である。この中には画素ブロックを選択するＶ１からＶ２４も含まれる。また垂直走査回路には垂直走査時の動作を制御する間引き設定信号が与えられる。

７０６は信号選択回路であり、タイミングジェネレータから供給されるリセット信号ＲＥＳ、転送信号ＴＸ、選択信号ＳＥＬが入力され、垂直走査回路７０５から出力される走査信号で指定される行に対して前述の画素制御信号が出力される。７０７は信号蓄積回路であり、選択された行の信号読出し時に各画素の垂直出力線の出力を蓄積するものである。

７０８は水平走査回路であり、信号蓄積回路に蓄積された画素信号を順次出力アンプ７０９に選択して入力し、ＣＭＯＳ外部に出力する。水平走査回路の出力には画素ブロックの各列を選択するＨ１、Ｈ２４が含まれる。また水平走査回路には水平走査時の間引き動作や、スキップ走査を行うための設定信号が供給される。また特定行での動作を制御するために垂直走査回路７０５から特定行での制御を切り替えるための制御信号７１０が供給される。

図８は本実施形態の撮像装置における読出し動作を説明する図である。これは静止画読み出しに用いられる全画素読み出しモードでの動作を想定している。図８において横軸は時間経過を表わしており、各行ごとの読出し動作を行っている時間を各行に対応した枠で表示している。枠中のハッチングの部分はＯＢ部７０４の読み出しを行っていることを示している。

一方動画モード時はモードダイアル１１２に応じて、水平方向、および垂直方向それぞれ１／３画素ごとの間引き読み出しを行う「高精細モード」と、水平方向は１／３画素ごとの間引き読み出しを行い、垂直方向は１／５画素ごとの間引き読み出しを行う「高速モード」があるものとして説明を行う。撮像素子の読み出し方によって定まっているが、「高精細モード」では最終的な動画像の出力フォーマットとしてより記録画素数の多い高精細な動画像データとする。また、「高速モード」では最終的な動画像の出力フォーマットとしてよりフレームレートの高い動画像データとすることが一般的である。

たとえば「高精細モード」では１９２０×１０８０の動画像サイズで、３０ｆｐｓの出力とし、一方「高速モード」では１０８０×７２０の動画像サイズで、６０ｆｐｓ出力とすることでそれぞれの読み出し方に対して適切な出力フォーマットとなる。

まず第１のモードである「高精細モード」では垂直方向に３画素ごとに読み出すため、図４（ａ）の基本ブロックに関しては、２重線で囲んだ画素出力が読みだされることとなる。すなわち水平方向についてはＨn+1，Ｈn+4，Ｈn+7，Ｈn+10，Ｈn+13，Ｈn+16，Ｈn+19，Ｈn+22の列で、垂直方向においてはＶn，Ｖn+3，Ｖn+6，Ｖn+9，Ｖn+12の画素である。また垂直方向がＶmから始まるブロックにおいても同様の関係である。

この場合通常の間引き動作だけであれば位相差検出用画素が配置されたＶn+1行目およびＶn+2行目は垂直方向に間引かれてしまうため、画像部分では読み出されない。しかしながら本実施形態では、通常画素を間引き動作で読み出す第１の垂直走査を終えた後に、各画素ブロック内に配置された位相差検出用画素が配置された行のみをもう一度読み出す第２の垂直走査動作を行う。この様子を図９に示す。

図８と同様に図９において横軸は時間経過を表わしており、各行ごとの読出し動作を行っている時間を各行に対応した枠で表示している。枠中のハッチングの部分はＯＢ部７０４の読み出しを行っていることを示している。Ｖend-2行目まで読み出す第１走査を終えた後、Ｖn+1行目に戻って読み出し動作を続けＶn+2行目、および次の基本ブロックの位相差検出用画素配置行であるＶm+1行目、Ｖm+2行目を読み出す第２走査を完了して１フレームの読出しにおける垂直走査を終了する。

本実施形態では具体的な位相差検出用画素を含むブロックの例としてＶnからのブロックと、Ｖmからのブロックの例を示しているが、ブロック数や、各ブロック内での位相差検出行の配置は任意に設定可能である。いずれの配置においても通常画素を行を間引いて読み出したのち、位相差検出用画素が配置されている行の読み出し走査を行えればよい。これを読み出した時間の順序で並べ替えると、図９（ｂ）に示すようになり、読み出した後の画素データの配置としては図９（ｃ）のようになる。

位相差検出用画素が配置された行の画像データはこの動画読み出し時の画像生成には必要ない。したがって最初に読み出される間引き読み出し期間の撮像素子からの画像データを用いてＤＳＰ１０３内において現像処理ブロック１００１や圧縮ブロック１００２を利用して画像生成を行えばよい。そして、後半の位相差検出行からの画像データを用いてＤＳＰ１０３内のＡＦブロック１００６を用いて焦点検出処理のみを行えばよい。

一方、図９における各行の読み出し時間が図８に示している読出し時間よりも短くなっている。これは水平方向の間引き動作により、１行当たりの読み出し画素数が減少することで、同じ読み出し速度で読みだしたとしても１行当たりの読み出し時間が減少することを示している。このように水平、垂直方向の間引き動作により読み出し画素数を削減することで動画時の所望のフレームレートを実現することができる。

次にモードダイアル１１２にて第２のモードである「高速モード」が選ばれた場合について説明する。この場合垂直方向に５画素ごとに読み出すため、図４（ａ）の基本ブロックに関しては、図４（ｂ）に示すように２重線で囲んだ画素出力が読みだされることとなる。

すなわち水平方向についてはＨn+1，Ｈn+4，Ｈn+7，Ｈn+10，Ｈn+13，Ｈn+16，Ｈn+19，Ｈn+22の列で「高精細モード」と同じであるが、垂直方向においてはＶn，Ｖn+5，Ｖn+10の画素を読み出すことになる。また垂直方向がＶmから始まるブロックにおいても同様の関係である。この場合通常の間引き動作だけであれば先の「高精細モード」同様位相差検出用画素が配置されたＶn+1行目およびＶn+2行目は垂直方向に間引かれてしまうため、読み出されない。

しかしながら本実施形態では通常画素を間引き動作で読み出す第１の垂直走査を終えたのちに、各画素ブロック内に配置された位相差検出用画素が配置された行のみをもう一度読み出す第２の垂直走査動作を行う。

この様子を図１０に示す。図８と同様に図１０において横軸は時間経過を表わしており、各行ごとの読出し動作を行っている時間を各行に対応した枠で表示している。枠中のハッチングの部分はＯＢ部７０４の読み出しを行っていることを示している。

Ｖend-5行目まで読み出す第１走査を終えた後、Ｖn+1行目に戻って読み出し動作を続けＶn+2行目、および次の基本ブロックの位相差検出用画素配置行であるＶm+1行目、Ｖm+2行目を読み出す第２走査を完了して１フレームの読出しにおける垂直走査を終了する。これを読み出した時間の順序で並べ替えると、図１０（ｂ）に示すようになり、読み出した後の画素データの配置としては図１０（ｃ）のようになる。

先に説明した「高精細モード」に比較し垂直方向の間引き数が大きいため、垂直方向の読み出し画素数が減少し、画像の分解能は落ちるものの、より短時間で全画面を読み出すことが可能になる。

なお位相差検出用画素は「高精細モード」「高速モード」のいずれの間引き読みでも第１走査の期間に読み出されない行に配置している。通常画素部の水平方向の間引き処理は先に説明したとおりであるが、以下位相差検出用画素配置行における水平走査について説明する。なお、以下の例では水平走査の状態に依らず常にＯＢ部７０４のうち、各行の先頭に配置された水平ＯＢ部については水平方向に間引くことなく全画素読み出すものと想定して説明している。

まず位相差検出用画素配置行において、仮に通常行と同じような間引き処理を行った場合、実際に読み出される画素は図１１（ａ）の太枠で囲まれた画素となる。即ち、図示している水平２４画素中半分の１２画素分だけ位相差検出用画素Ｓ１が配置されているが、ここで読み出されるのはその１／３の４画素になってしまう。同様に次行は水平２４画素中半分の１２画素分だけ位相差検出用画素Ｓ２が配置されているが、ここで読み出されるのはやはりその１／３の４画素になってしまう。このときの画像全体に示す読み出される領域の関係を図１１（ｂ）に示す。通常画素を太線枠で囲まれた行として示し、位相差検出用画素行を縦横格子の２重線枠で囲まれた行として示している。

通常画素行と同じように画面全体を３画素ごとに間引いて読み出すことで、位相差検出用画素の読出し画素数こそ削減するものの、画面全体の位相差検出用画素を読み出すことができることが分かる。またこの結果読み出された画素を配置した結果を図１１（ｃ）に示す。

図１１（ｃ）に示すように通常画素については水平、垂直とも１／３に間引かれており、その下部に位相差検出用画素行が読み出されている。読み出される水平画素数は通常行、位相差検出行とも当然同じとなり、実際に読み出される位相差検出用画素は本来配置されている画素数の１／３になってしまうため、位相差検出の精度としてはかなり低下してしまうこともわかる。

そこで実際に読み出せる位相差検出用画素の画素数を増やすために本実施形態では位相差検出用画素配置行においては水平の間引き読出しを行わない方法をとる。具体的には、水平方向の任意の座標までスキップしたのち、通常読出しと同じように全画素を読出し、その後読み出し終了位置から最終画素までスキップする読み出しを行う。以下、その方法について説明する。

この場合、位相差検出用画素が配置された行を走査するときは垂直走査回路７０５から設定信号７１０にて現在位相差検出用画素配置行であるか否かの情報を水平走査回路７０８に供給する。水平走査回路７０８は設定信号７１０にて現在位相差検出用画素配置行でないと判断すれば間引き設定にて設定された間引き率（この場合は３画素ごとの１／３間引き）で水平走査を行う。また、設定信号７１０にて現在位相差検出用画素配置行であると判断した場合には間引き設定の信号を無視し、スキップ設定で設定された読み出し開始位置および読み出し終了位置で指定された領域内を全画素走査し、その前後の領域は読み出しをスキップする動作に切り替える。

この場合にはスキップ後に該当のブロックが読み出された場合、実際に読み出される画素は図１２（ａ）に示すように太枠で囲まれた全画素となり、図示している水平２４画素中半分の１２画素の位相差検出用画素Ｓ１およびＳ２はすべて読みだすことが可能である。このときの画像全体に示す読み出される領域の関係を図１２（ｂ）に示す。通常画素を太線枠で囲まれた行として示し、位相差検出用画素行を斜め斜線の２重線枠で囲まれた行として示している。

通常画素行と異なり間引き読出しを行わないので、水平方向について仮に画面全体分を読みだそうとすると、通常行の３倍の画素数となり、読出し時間が通常行の３倍となる。一般的な撮像系のシステムにおいては、特定行だけ水平同期期間を変更することは非常に困難なので全行読み出し時間に揃えると読出し時間は大幅に増加してしまい、本来のフレームレート確保のために間引き読みを行うメリットを失ってしまう。

そこで位相差検出用画素読出し行での読出し画素数を削減するために、水平走査回路７０８に対して、垂直走査回路７０５から位相差検出行が配置されている行を設定するための設定信号７１０により位相差検出用画素が配置されている行を指示する。そして、その行においては、スキップ設定にて水平走査開始、終了位置を指定して、開始位置より手前、終了位置より後はスキップして水平走査を行わないようにする。このとき水平走査を行う画素数を、通常行の読出し画素数とほぼ同等となるように、およそ水平画素数の１／３となるよう水平走査回路を設定する。この場合の読み出し位置として画面水平方向中心付近を選択した場合、読み出される画素は図１２（ｂ）のようになり、この結果読み出された画素の配置は図１２（ｃ）のようになる。

図１２（ｃ）に示すように通常画素については水平、垂直とも１／３に間引かれており、その下部に位相差検出用画素行が読み出されており、読み出される水平画素数は位相差検出行においても通常行と水平走査回路の設計次第であるが同程度に設定可能である。必ずしも同数でなくても、いずれかの水平同期期間に揃えることで、フレームレートに大きな影響を与えることなく設定可能である。

この場合、画面内の一部領域に限定されるが、位相差検出用画素として用意している画素を間引くことなく読み出せるため、当初の目標通りの位相差検出性能を引き出すことが可能となる。

なお位相差検出用画素配置行においては、水平方向の一度に読み出せる画素数は画面内の一部ではあるが、スキップ位置を切り替えることで読出し動作ごとに水平方向の任意の位置を読出し、位相差検出動作が可能である。

なおスキップ位置の設定について本実施形態では任意の列までのスキップ、任意の列以降のスキップが可能な水平走査回路を前提として記載しているが、必ずしも任意の列単位でのスキップ位置の設定は必要ではない。例えば、本実施形態において基本単位としている水平２４画素の単位でスキップ位置を決めてもよいし、さらに２４画素のブロックを複数まとめて２４×ｎを単位とするブロックごとにスキップ位置を設定できるものであってもよい。位相差検出を行う領域を含む位相差検出用画素を読み出すことが可能であれば問題ない。当然水平走査回路としてはスキップ位置を選択できる選択肢が少なくなるほど水平走査回路そのもの、さらにスキップ位置の選択回路等撮像素子の周辺回路規模の増大を抑えることが可能である。

また本実施形態では、説明の簡略化のために水平走査、垂直走査は画素を間引いて読み出す方法を説明しているが、複数画素の画素信号を撮像素子内で加算平均して出力してもよい。こうすることにより、信号の低ノイズ化、間引き読出しによる折り返しノイズを低減することも可能である。

本実施形態においては通常画素領域で画素加算平均が可能であれば有効になる。しかしながら位相差検出用画素の信号を面内で加算平均するには、加算する対象がスリットの位相変化方向が同一の画素同志であれば可能である。たとえば本実施例の場合図４（ａ）のＶｎ＋１行のようにＳ１画素とＧ画素が交互に配置されていれば水平加算平均する場合、Ｓ１画素同士の加算平均が可能である。

しかしながら、例えばＳ１画素の配置密度を低くして、Ｓ１画素を交互に撮像用のＢ画素とした場合には水平加算平均するとＳ１画素と、撮像用のＢ画素の加算平均となってしまい、位相差検出用画素信号が正確に読み出せない。さらに一般的には水平方向の間引き読出し、スキップ読み出しと水平加算平均を連携する場合にはその回路構成が複雑になる。

本実施形態中では通常画素領域で画素加算平均を行う場合には位相差検出用画素の信号を面内で加算平均しない設定とすることで上記撮像用画素における画素加算のメリットと、回路規模増大を防ぐことを両立することを可能としている。

このように通常画素行を読み出す第１垂直走査期間と、位相差検出用画素配置行を読み出す第２垂直走査期間とで水平走査方法を切り替えることで、画面内の一部領域に限定されるものの、所望の位相差検出性能を維持することが可能となる。もちろん水平方向の走査開始位置、走査終了位置を適切に設定することで、任意位置を指定したうえでの位相差検出が可能となる。

またこの場合スキップ以外の水平走査の動作は通常の静止画読み出しと同じく全画素読み出しとなるので水平走査回路に大きな変更を加えることなく比較的容易に実現することが可能である。

次に、図１に示した撮像装置の撮影動作の概要を図１３のフローチャートに基づいて説明する。ＣＰＵ１０５は、電源スイッチ１０９がオンされると（ステップＳ２０１）、撮影に必要な電気エネルギーがバッテリに残存しているか否かを判別する（ステップＳ２０２）。

その結果、撮影に必要な電気エネルギーがバッテリに残存していなければ、ＣＰＵ１０５は、その旨の警告メッセージをＬＣＤ１１４に表示して（ステップＳ２１１）、ステップＳ２０１に戻り、電源スイッチ１０９が再度オンされるのを待つ。撮影に必要な電気エネルギーがバッテリに残存していれば、ＣＰＵ１０５は、記録媒体１０８をチェックする（ステップＳ２０３）。

このチェックは、所定容量以上のデータを記録可能な記録媒体１０８が撮像装置に装着されているか否かを判断することにより行う。所定容量以上のデータを記録可能な記録媒体１０８が撮像装置に装着されていない場合は、ＣＰＵ１０５は、その旨の警告メッセージをＬＣＤ１１４に表示して（ステップＳ２１１）、ステップＳ２０１に戻る。

所定容量以上のデータを記録可能な記録媒体１０８が撮像装置に装着されている場合は、ステップＳ２０４に進む。ＣＰＵ１０５は、モードダイアル１１２により設定された撮影モードが静止画撮影モード、動画撮影モード（高精細モード）、動画撮影モード（高速モード）の何れであるかを判別する（ステップＳ２０４）。

そして、ＣＰＵ１０５は、静止画撮影モードが設定されていれば、静止画撮影処理を行い（ステップＳ２０５）、動画撮影モードが設定されていれば、動画撮影処理を行う（ステップＳ２０６）。

まず、図１３のステップＳ２０５における静止画撮影の詳細を、図１４のフローチャートに基づいて説明する。静止画撮影処理では、ＣＰＵ１０５は、まず、シャッタスイッチＳＷ１がオンされるのを待つ（ステップＳ４０１）。そして、ＣＰＵ１０５は、シャッタスイッチＳＷ１がオンされると、不図示の測光制御部からの測光情報を用いて、撮影レンズ２０２の絞り２０４の絞り値とシャッタ速度を決定する測光処理を行う。また、ＡＦユニット２０９からの測距情報を用いて、撮影レンズ２０２のピント調整用レンズ群２０５を被写体位置に合わせるオートフォーカス処理を行う（ステップＳ４０２）。

次に、ＣＰＵ１０５は、シャッタスイッチＳＷ２がオンされたか否かを判別する（ステップＳ４０３）。その結果、シャッタスイッチＳＷ２がオンされていなければ、ＣＰＵ１０５は、シャッタスイッチＳＷ１のオン状態が継続しているか否かを判別する（ステップＳ４０４）。ＣＰＵ１０５は、シャッタスイッチＳＷ１のオン状態が継続していれば、ステップＳ４０３に戻って、シャッタスイッチＳＷ２がオンされたか否かを判別する。一方、シャッタスイッチＳＷ１のオン状態が継続していなければ、ＣＰＵ１０５は、ステップＳ４０１に戻って、シャッタスイッチＳＷ１が再度オンされるのを待つ。ステップＳ４０３にてシャッタスイッチＳＷ２がオンされたと判別された場合は、ＣＰＵ１０５は、撮影処理を実行する（ステップＳ４０５）。この撮影処理で、通常画素及び位相差検出用画素の信号を連続的に取り込む全画素読み出しモードの信号読み出しを行う。

次に、ＣＰＵ１０５は、ＤＳＰ１０３に、撮影した画像データの現像処理を実行させる（ステップＳ４０６）。そして、ＣＰＵ１０５は、ＤＳＰ１０３により、現像処理が施された画像データに対する圧縮処理を実行させて、その圧縮処理が施された画像データをＲＡＭ１０７の空き領域に格納させる（ステップＳ４０７）。

次に、ＣＰＵ１０５は、ＤＳＰ１０３により、ＲＡＭ１０７に格納されている画像データの読出しと、記録媒体１０８への記録処理を実行させる（ステップＳ４０８）。そして、ＣＰＵ１０５は、電源スイッチ１０９のオン／オフ状態をチェックする（ステップＳ４０９）。

電源スイッチ１０９がオンのままであれば、ＣＰＵ１０５は、ステップＳ４０１へ戻り、次の撮影に備える。一方、電源スイッチ１０９がオフされていれば、図１３のステップＳ２０１に戻り、電源スイッチが再度オンされるのを待つ。

次に動画撮影処理について説明する。本実施形態では、動画撮影モードになると、シャッタを開き、撮像素子１０１から読み出される画像データを現像してＬＣＤ１１４上に表示し続けるモニタ動作を行う。シャッタスイッチＳＷ２がオンしている間は、動画データを記録媒体１０８に記録し続ける。動画撮影モードから抜け出るには、モードダイアル１１２の設定を動画撮影モード以外に変更するか、電源スイッチ１０９をオフする。この動画モードはさらに「高精細モード」、「高速モード」の各モードを切り替え可能に有している。「高精細モード」では、撮像素子１０１上の通常画素を水平、垂直方向とも、３画素中１画素のみ読み出し、「高速モード」では、撮像素子１０１上の通常画素を水平方向は３画素中１画素のみ、垂直方向に５画素中１画素のみ読み出す。この切替動作はＣＰＵ１０５からの指示により撮像素子１０１と、タイミング発生回路１０４の設定を変更することで可能である。

いずれのモードにおいても通常画素行を垂直走査する第１垂直走査完了後、位相差検出用画素行を再度垂直走査する第２垂直走査を行う。そして、位相差検出用画素行の読み出しでは、水平方向は各モードに応じた所定のスキップ動作を行い、スキップ領域以外は間引き無しで水平走査する図１２にて説明した読出し動作を行う。この場合、読出し画素数は「高精細モード」においては略１／９、「高速モード」においては略１／１５となり、大幅な読出し時間の短縮が可能である。以下、「高精細モード」、「高速モード」共通の説明を行う。

図１３のステップＳ２０６における動画撮影処理の詳細を、図１５のフローチャートに基づいて説明する。

ＣＰＵ１０５は、モードダイアル１１２により選択された動画モードに設定される（ステップＳ３００）。ＣＰＵ１０５は、メインミラー２０７、サブミラー２０８のアップ動作、フォーカルプレーンシャッタ２１０の開動作を行う（ステップＳ３０２）。これにより、図２（ｂ）に示すように、撮像素子１０１に常時被写体像が入射するようになる。

次に、ＣＰＵ１０５は、シャッタスイッチＳＷ２がオンされているか否かを判別する（ステップＳ３０３）。シャッタスイッチＳＷ２がオンされている場合には、ＣＰＵ１０５は、記録媒体１０８に動画像データを書き込む記録動作を開始する（ステップＳ３０５）。一方、シャッタスイッチＳＷ２がオフされている場合には、ＣＰＵ１０５は、記録媒体１０８に動画像データを書き込む記録動作が現在実行されていることを条件に、その記録動作を停止する（ステップＳ３０４）。すなわち、ＣＰＵ１０５は、シャッタスイッチＳＷ２がオンされている間は、動画像データの記録処理を継続し、シャッタスイッチＳＷ２がオフされた時点で動画像データの記録処理を停止する。ただし、安全のために、シャッタスイッチＳＷ２がオフされなくても、所定時間が経過した時点や、記録媒体１０８の残容量が少なくなった時点で、記録動作を停止してもよい。

ステップＳ３０４又はＳ３０５の処理を行った後、ＣＰＵ１０５は、ＬＣＤ１１４への画像データのモニタ表示を繰り返すモニタ動作を行うべく、露出調整を行う（ステップＳ３０６）。この露出調整では、直前に撮影した画像データから露光量を判断し、適切な露光量となるように、レンズの絞り２０４やＡＦＥ１０２内部のゲインを設定する。ただし、最初の動画撮影時には直前のデータが存在しないため、レンズの絞り２０４やＡＦＥ１０２内部のゲインとしては、初期値が設定される。

次に、ＣＰＵ１０５は、撮影処理を行う（ステップＳ３０７）。動画撮影時には、撮像素子１０１は、タイミング発生回路１０４からの駆動信号によって、電荷クリア、蓄積、読出しを繰り返し実行する。また、撮像素子１０１は、ここでは通常画素行は垂直方向を「高精細モード」においては１／３間引き、「高速モード」においては１／５間引きし、水平方向を１／３間引きで読みだす。また、通常画素走査完了後、位相差検出用画素行について水平方向所定位置までスキップした後、その位置から読み出し終了位置までの全画素を読出す動作が行われる。そして、所定のフレームレートで、通常画素の読み出しと位相差検出用画素の読み出しが繰り返される。また、このタイミングで位相差検出用画素配置行におけるスキップ位置の指定も行う。この位置はＡＦを行う領域に応じて指定されることとなる。さらに、こうして読み出された撮像素子中の第２の垂直走査期間に現れる位相差検出用画素出力のみをＤＳＰ１０３内のＡＦ用補正ブロック１００９に入力する。ＡＦ用補正ブロック１００９では、画素ごとの補正や、撮影時の光学条件に対応する補正を行い、その補正結果をＡＦブロック１００６に転送し、異なる位相のスリットが形成された２種類の画素出力Ｓ１，Ｓ２を基に、オートフォーカス情報を算出する。またその算出結果をＣＰＵ１０５が受け取り、撮影レンズ２０２内のピント調整用レンズ群２０５の位置制御を行うことでオートフォーカス制御を行う。

一方撮像素子中の第１の垂直走査期間に現れる通常画素出力は、その後現像ブロック１００１で撮像素子の欠陥画素の補正処理（ステップＳ３０８）と、現像処理（ステップＳ３０９）が行われる。さらに、圧縮ブロック１００２での圧縮処理（ステップＳ３１０）を行い、その処理結果を、ＬＣＤ表示制御ブロック１００５を用いてＬＣＤ１１４に表示する（ステップＳ３１１）。この動作を表示に必要なフレームレートで繰り返すことで、動画用の動作が可能となる。

次に、ＣＰＵ１０５は、電源スイッチ１０９がオフされていれば（ステップＳ３１２）、動画終了処理を行って（ステップＳ３１４）、図１３のステップＳ２０１にリターンする。一方、電源スイッチ１０９がオン状態のままであれば（ステップＳ３１２）、ＣＰＵ１０５は、モードダイアル１１２をチェックする（ステップＳ３１３）。

モードダイアル１１２が動画用モードのままであれば、ステップＳ３０３に戻る。一方、モードダイアル１１２が静止画モードに切り替えられていれば、動画終了処理を行って（ステップＳ３１５）、図１３のステップＳ２０４にリターンする。

ステップＳ３１４、Ｓ３１５の動画終了処理では、現在記録動作中であれば記録動作の停止、撮像素子１０１の駆動停止、ＤＳＰ１０３の読出し処理の停止を行う。さらに、フォーカルプレーンシャッタ２１０を閉じるとともにメインミラー２０７、サブミラー２０８をダウンする。

このように動画モード時には、前半の第１の垂直走査で読み出す通常画素領域を用いて動画像を生成するとともに、後半の第２の垂直走査で読み出す位相差検出用画素の出力を用いてオートフォーカス情報を算出する。これにより、画像データとしての品質を高めたのち位相差検出用画素の出力のみを用いたオートフォーカス制御の実現が可能となる。

このように画像データ出力順序が、（画像生成用データ）⇒（位相差検出用画像データ）の順で出力されることから、その処理内容も時間方向で分離できる。そのため、従来のように画像生成用のデータ内から位相差検出用の画素を抜き出して一方は現像処理に、一方は位相差検出演算のためＡＦブロックに振り分けるための処理を行ったりする手間が省かれる。また、画像データ生成のために位相差検出用画素のデータを補正したりする処理も不要となるため大幅な処理の効率化が可能となる。

また本実施形態における動画時の撮像素子の読み出し方では、「高精細モード」でも「高速モード」でも、動画像生成領域に位相差検出用画素の出力が現れないよう配置されている。そのため、通常画素とは異なる出力を表わす位相差検出用画素により生じる画質の低下について懸念することは無い。さらに位相差検出動作も領域こそ限定されるものの所望の精度での検出が可能になる。

なお、本実施形態の中では動画モード時には、前半の第１の垂直走査で通常画素の出力を読み出して動画像を生成し、後半の第２の垂直走査で位相差検出用画素の出力を読み出してオートフォーカス情報を算出するように説明した。しかし、前半に第２の垂直走査で位相差検出用画素の出力を読み出してオートフォーカス情報を算出し、その後第１の垂直走査で通常画素の出力を読み出して動画像を生成するように変更してもよい。この場合にはオートフォーカス情報が先に検出できるため、より早くレンズの駆動ができるメリットがある。これを実現するには、垂直走査回路の走査順序を変更するだけであるので、容易に変更できるし、ＣＰＵ１０５からどちらの垂直走査から行うかを例えばフレーム毎に設定し切り替えることも可能である。

（第２の実施形態）
以下、本発明の第２の実施形態の撮像装置について説明する。第１の実施形態との差は、動画撮影時の位相差検出用画素配置行の水平走査方法をさらに改善することで、より効率的な位相差検出用画素の読み出し方法を提供するものである。よって第１の実施形態と異なる点は第１の実施形態における図１２で説明した部分であり、水平走査方法以外は第１の実施形態と共通となるため、以下第１の実施形態における図１２に対応する動作を図１６を用いて説明する。

図１１に示すように通常画素と同じように位相差検出用画素配置行を水平方向に１／３に間引く読み出し動作を行うと、実際に読み出される位相差検出用画素は本来配置されている画素数の１／３になってしまう。そのため、位相差検出の精度がかなり低下してしまう。

そこで、第１の実施形態では位相差検出の精度を落とさないように位相差検出用画素を水平方向に連続して読み出したが、この場合には水平方向の全画素を読み出すことが困難になるので、水平方向の一部領域に限定せざるを得なかった。

そこで、第２の実施形態ではさらに読み出せる位相差検出用画素の領域を増やすために、位相差検出用画素配置行においては位相差検出用画素の配置に最適化した水平の間引き読出しを行う。これにより、読み出し可能な水平方向の領域を最大限に確保することが可能となる。なお以下の説明は通常画素の読み出し時には、垂直方向を１／３画素に間引く「高精細モード」を用いることを前提に説明を行う。

この場合、位相差検出用画素が配置された行を走査する場合には垂直走査回路７０５から設定信号７１０にて現在位相差検出用画素配置行であるか否かの情報を水平走査回路７０８に供給する。本実施形態では、この情報にさらに位相差検出用画素配置行のうちＳ１が配置された行か、Ｓ２が配置された行のいずれかを判断できる情報を付加する。

水平走査回路７０８は設定信号７１０にて現在位相差検出用画素配置行でないと判断すれば間引き設定にて設定された間引き率（この場合は３画素ごとの１／３間引き）で水平走査を行う。また、設定信号７１０にて現在位相差検出用画素配置行であると判断した場合には、間引き設定の信号を無視し、スキップ設定で設定された読み出し開始位置および読み出し終了位置で指定された領域内を２画素おきに読み出す（１／２間引き）動作に切り替える。

さらに該当行が位相差検出用画素配置行のうちＳ１が配置された行か、Ｓ２が配置された行のいずれかを判断し、間引き開始画素を切り替える、すなわち間引き位相を切り替える制御を行う。この場合にはスキップ後に該当のブロックが読み出された場合、実際に読み出される画素は図１６（ａ）に示すように太枠で囲まれた画素となる。

すなわちＶn+1行においては、水平方向のＨn+1，Ｈn+3，Ｈn+5，…，Ｈn+21，Ｈn+23を読出し、Ｖn+2行においては、水平方向のＨn，Ｈn+2，Ｈn+4，…，Ｈn+20，Ｈn+22を読み出す。このような動作により、図示している水平２４画素中半分の１２画素の位相差検出用画素Ｓ１およびＳ２はすべて読みだすことが可能である。

このときの画像全体に示す読み出される領域の関係を図１６（ｂ）に示す。通常画素を太線枠で囲まれた行として示し、位相差検出用画素行を縦線の２重線枠で囲まれた行として示している。通常画素行と異なり位相差検出用画素は１／２間引き読出しを行うので、仮に水平方向に画面全体分を読みだそうとすると、通常行の３／２倍の画素数となるので、読み出しに通常行の３／２倍の時間を要することとなる。一般的な撮像系のシステムにおいては、特定行だけ水平同期期間を変更することは非常に困難なので全行読み出し時間に揃えると読出し時間は大幅に増加してしまい、本来のフレームレート確保のために間引き読みを行うメリットを失ってしまう。

そこで位相差検出用画素読出し行での読出し画素数を削減するために、位相差検出用画素行においては、スキップ設定にて水平走査開始、終了位置を指定して、開始位置より手前、終了位置より後は水平走査を行わないようにする。このとき水平走査を行う画素数を、通常行の読出し画素数とほぼ同等となるように、およそ水平画素数の２／３となるよう水平走査回路を設定する。さらに設定信号７１０には、垂直走査回路が現在選択している行が位相差検出用画素のＳ１が配置されている行か、Ｓ２が配置されている行かの情報も合わせて出力される。

水平走査回路ではその情報に応じて、例えば図１６（ａ）におけるＨｎを先頭として水平の間引き動作を開始するか、Ｈn+1を先頭として水平の間引き動作を開始するかを切り替える。この場合の読み出し位置として画面水平方向中心付近を選択した場合、読み出される画素は図１６（ｂ）のようになり、この結果読み出された画素の配置は図１６（ｃ）のようになる。

図１６に示すように、通常画素については水平、垂直とも１／３に間引かれており、その下部に位相差検出用画素行が読み出されており、読み出される水平画素数は位相差検出行においても通常行と水平走査回路の設計次第であるが同程度に設定可能である。必ずしも同数でなくても、いずれかの水平同期期間に揃えることで、フレームレートに大きな影響を与えることなく設定可能である。

このように、画面内の一部領域に限定されるが、位相差検出用画素として用意している画素を間引くことなく読み出せるため、当初の目標通りの位相差検出性能を引き出すことが可能となる。

なお位相差検出用画素配置行においては、水平方向の一度に読み出せる画素数は画面内の一部ではあるが、スキップ位置を切り替えることで読出し動作ごとに水平方向の任意の位置を読出し、位相差検出動作が可能である。さらに限定される領域は第１の実施形態よりもさらに広く確保することが可能となり、実使用時に位相差検出領域を切り替える頻度が大幅に低減する効果が期待できる。

なお、以上の説明は通常画素読み出し時の垂直方向を１／３画素に間引く「高精細モード」を前提に説明を行ったが、垂直方向を１／５画素に間引く「高速モード」においても水平方向の読み出しは同様の対応を行うことで実現可能である。

なおスキップ位置の設定について本実施形態では任意の列までのスキップ、任意の列以降のスキップが可能な水平走査回路を前提として記載しているが、必ずしも任意の列単位でのスキップ位置の設定が必要ではない。例えば、本実施形態において基本単位としている水平２４画素の単位でスキップ位置を決めてもよいし、さらに２４画素のブロックを複数まとめて２４×ｎを単位とするブロックごとにスキップ位置を設定できるものであってもよい。位相差検出を行う領域を含む位相差検出用画素を読み出すことが可能であれば問題ない。

当然水平走査回路としてはスキップ位置を選択できる選択肢が少なくなるほど水平走査回路そのもの、さらにスキップ位置の選択回路等撮像素子の周辺回路規模の増大を抑えることが可能である。

また、本実施形態では説明の簡略化のために水平走査、垂直走査は画素を間引いて読み出す方法を用いるように説明しているが、通常画素領域で画素加算平均を行うようにしてもよい。この場合には位相差検出用画素の信号を面内で加算平均しない設定とすることで、画素加算のメリットと、位相差検出の精度維持を両立することが可能となる。

このように通常画素行と、位相差検出用画素配置行とで水平走査方法を切り替えることで、画面内の一部領域に限定されるものの、所望の位相差検出性能を維持することが可能となる。もちろん水平方向の走査開始位置、走査終了位置を適切に設定することで、任意位置を指定したうえでの位相差検出が可能となる。

このように動画モード時には前半で垂直方向に走査する通常画素領域を用いて動画像を生成するとともに、後半で垂直方向に走査する位相差検出用画素の出力を用いてオートフォーカス情報を算出する。これにより、画像データとしての品質を高めたのち位相差検出用画素の出力のみを用いたオートフォーカス制御の実現が可能となる。

また第１の実施形態と同じく、画像データ出力順序が（画像生成用データ）⇒（位相差検出用画像データ）の順で出力されることから、その処理内容を時間方向で分離できる。そのため、従来のように画像生成用のデータ内から位相差検出用の画素を抜き出して一方は現像処理に、一方は位相差検出演算のためＡＦブロックに振り分けるような処理を行わずに済む。また、画像データ生成のために位相差検出用画素のデータを補正したりする処理も不要となるため大幅な処理の効率化が可能となる。

また第２の実施形態においても動画時の撮像素子の読み出し方では、動画像生成領域に位相差検出用画素の画素出力が現れない。そのため、通常画素とは異なる出力を表わす位相差検出用画素によりに生じる画質の低下について懸念することは無い。さらに位相差検出動作も領域こそ限定されるものの所望の精度での検出が可能になる。

以上、本発明の第１及び第２の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

特に上記の実施形態においてはそもそもの位相差検出用画素の配置を図４（ａ）に示すような配置を前提として記載しているが、必ずしもこの配置に限定されるものではない。 位相差検出用画素の水平方向の配置密度が、水平方向の読み出し時の間引き率に比較して非常に低い場合には上記の実施形態の効果は得られない。しかし、位相差検出用画素の水平方向の配置密度が高くなり、特に特定の行において水平方向の読み出し時の間引き率と同等、あるいはそれ以上の密度で配置されるような場合には上記の実施形態の効果が大きくなる。

また、水平走査の方法を実際に位相差検出用画素が配置されているパターンに対応した適切な走査を行える回路にすることで最大の効果を得ることが可能となる。その場合も位相差検出用画素の配置密度に応じて撮影画像のすべての領域の位相差検出用画素を一度の読み出し動作で実現することは困難で領域を限定する必要が生じる可能性はあるが、位相差検出の精度と、読出し速度の両立が可能となる。

さらに画像生成に使用する画像データと、位相差検出を行うためのデータ領域が時間方向に明確に分離されている。そのため、それぞれのデータを後段にて処理する際に、従来のように画像生成用のデータ内から位相差検出用の画素を抜き出して一方は現像処理に、一方は位相差検出演算のためＡＦブロックに振り分ける処理を行ったりする必要がない。また、画像データ生成のために位相差検出用画素のデータを補正したりする処理も不要となるため大幅な処理の効率化が可能となる。

（第３の実施形態）
以下、本発明の第３の実施形態の撮像装置について説明する。第１、及び、第２の実施形態との差は、第２走査で読み出す焦点検出用画素を配置する行を垂直方向に連続的に配置しないことで、静止画撮影における焦点検出用画素の影響による画質劣化を改善する方法を提供するものである。よって、第１、及び、第２の実施形態と異なる点は、第１の実施形態における図４、図８、および、図９で説明した部分であり、焦点検出用画素の配置、および、垂直走査方法以外は第１の実施形態と共通であるため説明を省略する。

図１７に本実施形態に用いる撮像素子１０１の画素配置図を示す。図１７は撮像素子上の画素の配置を示しており、図１７において、Ｒは赤色のカラーフィルタを配置した通常画素（撮像用画素）であり、Ｇ、Ｂもそれぞれ緑カラーフィルタ、青カラーフィルタを配置した通常画素である。ここでは撮像素子上の水平２４画素、垂直１５画素を切り出して説明しているが、撮像素子全体は、基本的にこの配置パターンを、水平、垂直方向に繰り返して形成される。

図１７におけるＳ１、Ｓ２が通常画素中に配置された位相差検出用画素（焦点検出用画素）となる。Ｓ１は図５（ａ）に示すように、マイクロレンズ５０１と、その下の平坦化層５０２、フォトダイオード５０４、遮光用配線層５０３から構成されている。画素Ｓ１は、画素上の遮光用配線層５０３に入射光の入射方向を規制するスリットを形成した第１の位相差検出用画素である。スリットのセンター位置は画素の光軸中心５０５を基準に、ここでは位相５０６分だけ左にオフセットしている。また、Ｓ２は図５（ｂ）に示すように、画素上にアルミ配線層等の遮光膜を用いて入射光の入射方向を規制するスリットを図５（ａ）に示した規制方向とは異なる方向にオフセットさせて形成している。そして、スリットのセンター位置は画素の光軸中心５０５を基準に、ここでは位相５０７分だけ右にオフセットしている。画素Ｓ２のオフセット量は方向が異なるだけでその絶対値は画素Ｓ１と同じである。これが第２の位相差検出用画素である。

このような位相差検出用画素のスリットの位相変位方向が同じ画素Ｓ１からなる画素群を図１７（ａ）に示すようにある行Ｖn+7に配置し、画素Ｓ２からなる画素群をその下の行Ｖn+11行に配置する。この２行で一つのＡＦ枠（ＡＦ領域）を形成し、各位相の位相差検出用画素群から生成される２群の画像データから位相差を検出することにより被写体までの距離に関する情報を算出することが可能である。つまり、画素Ｓ１を水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素Ｓ２も水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。

図１８は本実施形態の撮像装置における読出し動作を説明する図である。これは静止画読み出しに用いられる全画素読み出しモードでの動作を想定している。図１８において横軸は時間経過を表わしており、各行ごとの読出し動作を行っている時間を各行に対応した枠で表示している。枠中のハッチングの部分はＯＢ部７０４の読み出しを行っていることを示している。

静止画読み出しで読み出される画像データには、通常画素のほか、画像信号としては使用できない位相差検出用画素が含まれるため、ＤＳＰ１０３内の画像補正ブロック１００８によって、位相差検出用画素の位置の画像信号が生成される。この補正処理は、通常、補正対象画素（位相差検出用画素）の近傍の通常画素の信号出力を参照し、被写体のパターンや信号強度を推定することで補間され生成される。本実施形態では、位相差検出用画素を配置する行を色フィルタの配列周期以上の間隔で構成し、補正対象画素の位置の色信号と同色の通常画素が近傍に配置されるようにすることで、画像信号の補間処理を高精度に行うことを可能にしている。

補正された画像データはＤＳＰ１０３内の現像処理ブロック１００１や圧縮ブロック１００２、および、メモリ制御ブロック１００３を利用して画像生成を行う。

一方動画モード時はモードダイアル１１２に応じて、「高精細モード」と、「高速モード」があるものとして説明を行う。例えば、「高精細モード」では、水平方向、および垂直方向それぞれ１／３画素ごとの間引き読み出しを行う。また、「高速モード」では、水平方向は１／３画素ごとの間引き読み出しを行い、垂直方向は１／５画素ごとの間引き読み出しを行う。撮像素子の読み出し方によって定まっているが、「高精細モード」では最終的な動画像の出力フォーマットとしてより記録画素数の多い高精細な動画像データとする。また、「高速モード」では最終的な動画像の出力フォーマットとしてよりフレームレートの高い動画像データとすることが一般的である。

たとえば「高精細モード」では１９２０×１０８０の動画像サイズで、３０ｆｐｓの出力とし、一方「高速モード」では１０８０×７２０の動画像サイズで、６０ｆｐｓ出力とすることでそれぞれの読み出し方に対して適切な出力フォーマットとなる。

まず第１のモードである「高精細モード」では垂直方向に３画素ごとに読み出すため、図１７（ａ）の基本ブロックに関しては、２重線で囲んだ画素出力が読みだされることとなる。すなわち水平方向についてはＨn+1，Ｈn+4，Ｈn+7，Ｈn+10，Ｈn+13，Ｈn+16，Ｈn+19，Ｈn+22の列で、垂直方向においてはＶn，Ｖn+3，Ｖn+6，Ｖn+9，Ｖn+12の画素である。また垂直方向がＶmから始まるブロックにおいても同様の関係である。

この場合通常の間引き動作だけであれば位相差検出用画素が配置されたＶn+7行目およびＶn+11行目は垂直方向に間引かれてしまうため、画像部分では読み出されない。しかしながら本実施形態では、通常画素を間引き動作で読み出す第１の垂直走査を終えた後に、各画素ブロック内に配置された位相差検出用画素が配置された行のみをもう一度読み出す第２の垂直走査動作を行う。この様子を図１９に示す。

図１８と同様に図１９において横軸は時間経過を表わしており、各行ごとの読出し動作を行っている時間を各行に対応した枠で表示している。枠中のハッチングの部分はＯＢ部７０４の読み出しを行っていることを示している。Ｖend-2行目まで読み出す第１走査を終えた後、Ｖn+7行目に戻って読み出し動作を続けＶn+11行目、および次の基本ブロックの位相差検出用画素配置行であるＶm+7行目、Ｖm+11行目を読み出す第２走査を完了して１フレームの読出しにおける垂直走査を終了する。

本実施形態では具体的な位相差検出用画素を含むブロックの例としてＶnからのブロックと、Ｖmからのブロックの例を示しているが、ブロック数や、各ブロック内での位相差検出行の配置は任意に設定可能である。いずれの配置においても通常画素を行を間引いて読み出したのち、位相差検出用画素が配置されている行の読み出し走査を行えればよい。これを読み出した時間の順序で並べ替えると、図１９（ｂ）に示すようになり、読み出した後の画素データの配置としては図１９（ｃ）のようになる。

位相差検出用画素が配置された行の画像データはこの動画読み出し時の画像生成には必要ない。したがって最初に読み出される間引き読み出し期間の撮像素子からの画像データを用いてＤＳＰ１０３内において現像処理ブロック１００１や圧縮ブロック１００２を利用して画像生成を行えばよい。そして、後半の位相差検出行からの画像データを用いてＤＳＰ１０３内のＡＦブロック１００６を用いて焦点検出処理のみを行えばよい。

一方、図１９における各行の読み出し時間が図１８に示している読出し時間よりも短くなっている。これは水平方向の間引き動作により、１行当たりの読み出し画素数が減少することで、同じ読み出し速度で読みだしたとしても１行当たりの読み出し時間が減少することを示している。このように水平、垂直方向の間引き動作により読み出し画素数を削減することで動画時の所望のフレームレートを実現することができる。

次にモードダイアル１１２にて第２のモードである「高速モード」が選ばれた場合について説明する。この場合垂直方向に５画素ごとに読み出すため、図１７（ａ）の基本ブロックに関しては、図１７（ｂ）に示すように２重線で囲んだ画素出力が読みだされることとなる。

すなわち水平方向についてはＨn+1，Ｈn+4，Ｈn+7，Ｈn+10，Ｈn+13，Ｈn+16，Ｈn+19，Ｈn+22の列で「高精細モード」と同じであるが、垂直方向においてはＶn，Ｖn+5，Ｖn+10の画素を読み出すことになる。また垂直方向がＶmから始まるブロックにおいても同様の関係である。この場合通常の間引き動作だけであれば先の「高精細モード」同様位相差検出用画素が配置されたＶn+7行目およびＶn+11行目は垂直方向に間引かれてしまうため、読み出されない。

しかしながら本実施形態では通常画素を間引き動作で読み出す第１の垂直走査を終えたのちに、各画素ブロック内に配置された位相差検出用画素が配置された行のみをもう一度読み出す第２の垂直走査動作を行う。

この様子を図２０に示す。図１８と同様に図２０において横軸は時間経過を表わしており、各行ごとの読出し動作を行っている時間を各行に対応した枠で表示している。枠中のハッチングの部分はＯＢ部７０４の読み出しを行っていることを示している。

Ｖend-5行目まで読み出す第１走査を終えた後、Ｖn+7行目に戻って読み出し動作を続けＶn+11行目、および次の基本ブロックの位相差検出用画素配置行であるＶm+7行目、Ｖm+11行目を読み出す第２走査を完了して１フレームの読出しにおける垂直走査を終了する。これを読み出した時間の順序で並べ替えると、図２０（ｂ）に示すようになり、読み出した後の画素データの配置としては図２０（ｃ）のようになる。

先に説明した「高精細モード」に比較し垂直方向の間引き数が大きいため、垂直方向の読み出し画素数が減少し、画像の分解能は落ちるものの、より短時間で全画面を読み出すことが可能になる。

なお位相差検出用画素は「高精細モード」「高速モード」のいずれの間引き読みでも第１走査の期間に読み出されない行に配置している。また、通常画素部、および、位相差検出用画素の水平走査方法は、第１、および、第２の実施形態で説明した内容と共通であるため説明は省略する。

以上、本発明の第３の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

特に上記の実施形態においてはそもそもの位相差検出用画素の配置を図１７（ａ）に示すような配置を前提として記載しているが、必ずしもこの配置に限定されるものではない。位相差検出用画素の水平方向の配置密度を変えた場合や、図１７（ａ）のＳ１、Ｓ２の位相差検出用画素を同一行に配置した場合も本発明により同様の効果が得られる。

以上、説明した通り、第３の実施形態では、第２走査で読み出す位相差検出用画素を配置する行を垂直方法に連続して配置しないことで、静止画撮影における全画素読み出しの際に位相差検出用画素の位置の画像信号を生成するための補間処理を高精度に実現することが可能となる。特に位相差検出用画素の位置の近傍に補間対象となる色のカラーフィルタを有する通常画素を配置することで高精度な補間処理が実現できる。

また、動画撮影時の読み出しにおいては、画像生成に使用する画像データと、位相差検出に使用するデータの領域が時間方向に明確に分離される。このため、それぞれのデータを後段にて処理する際に、従来のように画像生成用のデータ内から位相差検出用の画素を抜き出して一方は現像処理に、一方は位相差検出演算のためＡＦブロックに振り分ける処理を行ったりする必要がない。また、画像データ生成のために位相差検出用画素のデータを補正したりする処理も不要となるため大幅な処理の効率化が可能となる。

Claims (12)

1. 被写体像を撮像するための複数の撮像用画素と、該複数の撮像用画素の配列中に配置された焦点検出用画素とを有する撮像素子と、
   前記撮像素子の画素を所定の間引き率で間引いて前記画素の信号を読み出す第１の読み出しモードと、前記撮像素子の画素を前記所定の間引き率よりも高い間引き率で間引いて前記画素の信号を読み出す第２の読み出しモードとを有し、前記第１及び第２の読み出しモードにおける画像生成のための読み出しでは、前記焦点検出用画素が配置された前記撮像素子の行を読み出さないように制御する読み出し制御手段とを備え、
   前記読み出し制御手段は、前記第１及び第２の読み出しモードにおいて、画像生成のための読み出しを行う第１の垂直走査を行う前、または後に、前記焦点検出用画素が配置された前記撮像素子の行を読み出す第２の垂直走査を行うことを特徴とする撮像装置。
2. 前記読み出し制御手段は、前記第１の読み出しモードでは、前記撮像素子の画素を垂直方向に第１の間引き率と、第１の間引き位相で読み出し、前記第２の読出しモードでは、前記撮像素子の画素を垂直方向に第２の間引き率と、第２の間引き位相で読み出すことを特徴とする請求項１に記載の撮像装置。
3. 前記読み出し制御手段は、前記第１の垂直走査と、前記第２の垂直走査とで、前記画素の信号を読み出す水平走査の方法を切り替えることを特徴とする請求項１または２に記載の撮像装置。
4. 前記焦点検出用画素は、動画像の生成のために使用されない前記撮像素子の特定の行にのみ配置されていることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第１及び第２の垂直走査で読み出されたデータに対してそれぞれ異なる補正処理を行う補正処理手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記読み出し制御手段は、前記第１及び第２の読み出しモードを、動画の撮影で設定された記録画素数に応じて変更することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記読み出し制御手段は、前記第１及び第２の読み出しモードを、動画の撮影で設定されたフレームレートに応じて変更することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 前記第２の垂直走査において前記画素を水平方向に読み出す水平走査方法は、水平方向の特定の領域の画素の読み出しをスキップし、かつスキップしない領域においては、前記第１の垂直走査において前記画素を水平方向に読み出す場合の間引き率よりも低い間引き率で間引いて読み出す、あるいは間引きをしないで読み出す走査方法であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記読み出し制御手段は、前記第２の垂直走査における水平走査を行う領域においては領域内の焦点検出用画素をすべて読み出すように走査することを特徴とする請求項１に記載の撮像装置。
10. 前記第２の垂直走査によって読み出される前記焦点検出用画素を配置する行を垂直方向に連続して配置しないことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記撮像用画素は、複数の色のいずれかの色信号を取得する画素が、所定の周期の繰り返し配置となるように構成され、前記焦点検出用画素が配置される行は、垂直方向に前記所定の周期で連続しないように配置されることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 被写体像を撮像するための複数の撮像用画素と、該複数の撮像用画素の配列中に配置された焦点検出用画素とを有する撮像素子を備える撮像装置を制御する方法であって、
    前記撮像素子の画素を所定の間引き率で間引いて前記画素の信号を読み出す第１の読み出しモードと、前記撮像素子の画素を前記所定の間引き率よりも高い間引き率で間引いて前記画素の信号を読み出す第２の読み出しモードとを有し、前記第１及び第２の読み出しモードにおける画像生成のための読み出しでは、前記焦点検出用画素が配置された前記撮像素子の行を読み出さないように制御する読み出し制御工程を備え、
    前記読み出し制御工程では、前記第１及び第２の読み出しモードにおいて、画像生成のための読み出しを行う第１の垂直走査を行う前、または後に、前記焦点検出用画素が配置された前記撮像素子の行を読み出す第２の垂直走査を行うことを特徴とする撮像装置の制御方法。

Images