JP6762767B2

JP6762767B2 - 撮像素子、撮像装置、および撮像信号処理方法

Info

Publication number: JP6762767B2
Application number: JP2016110503A
Authority: JP
Inventors: 陽平神田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-06-01
Filing date: 2016-06-01
Publication date: 2020-09-30
Anticipated expiration: 2036-06-01
Also published as: JP2017216649A

Description

本発明は、複数の画素部から信号を取得して、画像生成および焦点検出を行うことが可能な撮像素子および撮像装置に関するものである。

撮像装置において、１回の撮影で取得可能な画像のダイナミックレンジよりも見かけ上、広ダイナミックレンジな画像（以下、ＨＤＲ画像ともいう）を生成する処理がある。撮像素子を構成する、開口率の異なる画素を規則的に配置してＨＤＲ画像を生成する技術が開示されている（特許文献１）。また、１つのマイクロレンズに複数の画素が割り当てられた瞳分割画素部を有する撮像素子を用いて、ＨＤＲ画像を生成する技術が開示されている（特許文献２）。

他方、１回の撮影で異なる視点の画像を取得可能な撮像装置の構成では、異なる瞳領域を通過した光束により形成された一対の被写体像を取得可能である。取得された一対の被写体像から相関演算により焦点検出を行う技術が開示されている（特許文献３）。

特開２００３−１７９８１９号公報特開２０１５−１４４４１６号公報特開２０１３−０７２９０６号公報

特許文献１に開示の装置では、複数の撮影フレームで取得される撮像取りこみ期間が異なる画像から１枚のＨＤＲ画像を生成する。したがって、例えば、適正露光、短秒露光、長秒露光という３つの異なる露光条件のＨＤＲ合成画像を得ようとすると、３枚を撮影する必要があり、撮影枚数が多くなり、被写体ブレが起きやすくなる。また、特許文献２に開示の装置では、マイクロレンズに対する画素の開口率がそれぞれ異なる画素の組み合わせによりＨＤＲ画像が生成される。この方式の場合、入射光が遮られ画素信号が大幅に低下した画素や、飽和した画素からの信号も用いて位相差検出を行うことになる。そのため、十分な位相差検出の精度が得られない場合がある。また、特許文献３に開示の装置は、１つのマイクロレンズに複数の画素が割り当てられた瞳分割画素部を有する撮像素子を利用して焦点検出を行うが、ＨＤＲ画像を生成する処理については言及されていない。

本発明の目的は、必要最小限の回数の撮影で、３種類以上の出力条件で得られる信号に基づく画像生成と、焦点検出を行うことが可能な撮像素子および撮像装置を提供することである。

本発明の一実施形態の撮像素子は、複数の画素部から信号を取得して、焦点検出および画像生成の信号処理を行うことが可能な撮像素子であって、第１および第２の画素部がそれぞれ有する第１および第２の光電変換部に対して、信号の出力条件を設定する設定手段と、第１および第２の撮影について前記第１および第２の画素部から得られる、第１ないし第３の出力条件の画素信号に基づいて、前記画像生成の信号処理を行い、前記第１および第２の画素部がそれぞれ有する前記第１および第２の光電変換部のうち、出力条件の設定が同じである光電変換部から得られる複数の信号を用いて、前記焦点検出の信号処理を行う信号処理手段と、を備え、前記画像生成の信号処理において、前記出力条件の設定が同じである光電変換部から前記第１および第２の撮影で得られる複数の信号を加算平均して用い、前記設定手段は、前記第１の撮影については、前記第１の画素部が有する前記第１の光電変換部を前記第２の出力条件に設定し、前記第２の光電変換部を前記第２の出力条件での前記第１の光電変換部の出力レベルよりも出力レベルが低い前記第１の出力条件に設定し、前記第２の撮影については、前記第１の画素部が有する前記第１の光電変換部を前記第２の出力条件に設定し、前記第２の光電変換部を前記第２の出力条件での前記第１の光電変換部の出力レベルよりも出力レベルが高い前記第３の出力条件に設定し、前記画素信号の出力条件は、前記光電変換部の感度、露光時間、信号の増幅度および絞り値のうちの１つ以上の条件である。

本発明によれば、必要最小限の回数の撮影で、３種類以上の出力条件で得られる信号に基づく画像生成と、焦点検出を行うことができる。

本発明に係る撮像装置のシステム構成を示すブロック図である。本発明に係る撮像素子の構成を示すブロック図である。本発明の第１の実施例に係る撮像素子の画素構成と配列を示す図である。射出瞳と撮像素子の受光との関係を示す模式図である。撮像素子の回路構成図である。画素の露光条件のパターンを示す図である。画素の露光条件のパターンを示す図である。ダイナミックレンジ拡大処理について説明する図である。本実施例における動作処理を説明するフローチャートである。実施例２における画素の露光条件のパターンを示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。本実施形態の撮像装置は、動画機能付き電子スチルカメラやビデオカメラ等に適用可能である。
（実施形態の概要）
まず、本発明の実施形態に係る撮像素子および撮像装置、撮像信号処理方法の概要を説明してから、各実施例を詳細に説明する。本発明は、画素部が複数の光電変換部を有する撮像素子と、該撮像素子を備える撮像装置に適用可能である。複数の画素部はそれぞれ第１および第２の光電変換部を有し、画素信号の出力条件が独立に設定される。画素信号の出力条件とは、例えば画素のＩＳＯ感度、露光時間、光学絞り値、ゲインアンプの増幅度等の各条件や、複数の条件を組合せた条件であり、露出設定値については任意に変更可能である。撮像素子内または撮像装置の信号処理部は、以下に示す第１および第２の信号処理を行う。

第１の信号処理は、第１ないし第３の出力条件に設定された第１および第２の光電変換部の信号を用いて行われる。以下の実施形態では、画像生成の信号処理の具体例として画像信号のダイナミックレンジ拡大処理（ＨＤＲ処理）を説明する。例えば、出力条件の異なる複数の信号を合成して広ダイナミックレンジな画像信号を生成することができる。また第２の信号処理では、第１ないし第３の出力条件のいずれかに設定された第１および第２の光電変換部の信号が処理される。以下の実施形態では、具体例として撮像光学系の焦点検出処理を説明する。第２の信号処理によって焦点検出用信号が生成され、焦点調節制御が可能となる。第１の信号処理は、第１および第２の撮影に係る複数の撮影フレームで得られる複数の出力条件の信号に基づいて実行される。また、第２の信号処理は、単一フレーム内で得られる同一の出力条件の信号に基づいて実行される。

また、撮像素子の制御モードについては、焦点検出演算のみを行う第１の制御モードと、焦点検出演算およびＨＤＲ処理を行う第２の制御モードがある。制御部は制御モードの切り替えによって、撮像部から取得される信号に対する信号処理の内容を変更する。例えば、第１の制御モードで位相差検出方式の焦点検出演算が行われる場合、画素部内の複数の光電変換部がそれぞれ出力する視差を有する画像（視差画像）から位相差が検出される。第１の光電変換部の出力からＡ像信号が取得され、第２の光電変換部の出力からＢ像信号が取得される場合、Ａ像信号およびＢ像信号に対する相関演算が行われ、演算結果から焦点ずれ量が算出される。また第２の制御モードでは、撮像動作で取得される画像信号に対する位相差検出方式の演算およびＨＤＲ処理が実行される。なお、本発明の実施形態としては位相差検出方式に限定されない。シフト加算によるリフォーカス処理に基づく焦点検出処理やコントラスト検出処理、あるいは複数の検出方式を組合せた併用方式への適用が可能である。

画素部の構成に関して、瞳分割方向である水平方向に２分割された光電変換部を例示する。もちろん、本発明は、水平方向および垂直方向にそれぞれ２分割された光電変換部に適用可能である。本発明の実施形態としては、さらに分割数を増やして６、９等とする実施例がある。また光電変換部の形状が矩形に限定されることはなく、六角形等の多角形に設計する実施例にも適用可能である。

（第１の実施例）
本実施例の撮像装置は、第１、第２の撮影で取得された画像から位相差検出を行いつつ、２段分以上のＨＤＲ画像を生成することが可能である。本実施例の撮像装置は、複数の画素部が２次元アレイ状に配列された撮像素子を用いる。各画素部は、撮像光学系における異なる瞳部分領域を通過する光をそれぞれ受光する２つの光電変換部を備える。

図１を参照して、撮像装置の構成を説明する。光学鏡筒１０１は、複数のレンズと、フォーカス機構部１０１１、ズーム機構部１０１２、絞り機構部１０１３、シャッタ機構部１０１４等から構成される。光学鏡筒１０１内のレンズを通過する被写体からの光は、絞り機構部１０１３により適切な光量に調整され、撮像素子１０２上の撮像面に結像される。フォーカス機構部１０１１は、制御部１０７からの制御信号に基づいて駆動され、焦点調節用のフォーカスレンズの移動制御により、焦点調節を行う。ズーム機構部１０１２は、制御部１０７からの制御信号に基づいて駆動され、ユーザのズーム操作に応じて変倍用レンズの移動制御により、画角変更を行う。絞り機構部１０１３、シャッタ機構部１０１４は、制御部１０７からの制御信号に基づいて駆動され、絞り値やシャッタ時間をそれぞれ変更する。

撮像素子１０２では、制御部１０７からの制御信号に応じて、露光や信号読み出しやリセット等の撮像動作が実施され、対応する画像信号を出力する。その詳細については後述する。映像信号処理部１０４は、撮像素子１０２から画像信号を取得して、撮像素子１０２に起因する画素の欠陥や信号のばらつき等を補正する補正処理、ＨＤＲ処理やホワイトバランス調整処理、ガンマ処理、色補正処理等の各種信号処理を施して映像信号を出力する。また、映像信号処理部１０４は撮像素子１０２の露出制御のために各領域の明るさを検出し、適正な露出を算出するＡＥ（自動露出）処理も行う。

圧縮伸長部１０５は、制御部１０７の制御下で動作し、映像信号処理部１０４からの映像信号に対して、所定の方式の静止画像データフォーマットで圧縮符号化処理を行う。例えば、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式等がある。また圧縮伸長部１０５は、画像記録部１１１から制御部１０７を介して供給された静止画像の符号化データを伸長復号化処理する。さらに、ＭＰＥＧ（Moving Picture Experts Group）方式等により動画像の圧縮符号化／伸長復号化処理が実行可能である。

位相差信号処理部１０６は、制御部１０７からの制御信号に従い、撮像素子１０２からの異なる瞳面に対応する画素信号である位相差信号に基づいて、位相差検出処理を行う。位相差検出信号を算出する際には、異なる瞳面に対応する画素信号の間で瞳面が異なること以外の要因により出力レベルに差がある信号を用いる場合に、出力レベル補正を行った上で位相差信号処理部１０６が位相差検出処理を行う。位相差検出信号の生成処理は公知であるため、その説明を省略し、出力レベル補正処理について後述する。位相差信号処理部１０６が算出した位相差検出信号（像ずれ量）は、制御部１０７へ送られる。

制御部１０７は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されるマイクロコントローラである。制御部１０７は、ＲＯＭ等に記憶されたプログラムを実行して、撮像装置の各部を統括的に制御する。例えば、制御部１０７は、取得した位相差検出信号に基づいて撮像光学系の焦点状態を示すデフォーカス量を算出する。制御部１０７は、算出したデフォーカス量から、合焦状態を得るために必要なフォーカスレンズの駆動量を算出し、フォーカス機構部１０１１へ駆動制御信号を送る。フォーカス機構部１０１１は制御部１０７からの駆動制御信号に従って、ＡＦ（自動焦点調節）機構を駆動させて目標位置までフォーカスレンズを移動させる。

発光部１０８は、映像信号処理部１０４のＡＥ処理によって被写体の露出値が低いと判断された場合に、被写体に対して光を照射する装置である。発光部１０８はキセノン管を用いたストロボ装置やＬＥＤ発光装置等である。

操作部１０９は、例えばシャッタレリーズボタン等の各種操作キーやレバー、ダイヤル、タッチパネル等から構成される。操作部１０９は、ユーザによる入力操作に応じた制御信号を制御部１０７に出力する。画像表示部１１０は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスおよび該デバイスに対するインタフェース回路等を備える。画像表示部１１０は制御部１０７から供給された映像信号から表示デバイスに表示させるための信号を生成して表示デバイスに供給し、画面に画像を表示する。

画像記録部１１１は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープ等の記録媒体を備える。画像記録部１１１は、圧縮伸長部１０５により符号化された画像データファイルを制御部１０７から取得して記録媒体に記録する。また画像記録部１１１は、制御部１０７からの制御信号に基づき、指定されたデータを記録媒体から読み出して制御部１０７に出力する。

次に図２を参照して、本実施例における撮像素子１０２の構成を説明する。図２は撮像素子１０２の構成例を説明する図である。撮像素子１０２は、例えばシリコン（Si）を用いた半導体基板に、画素部２０１が行列状に複数配列された画素アレイ部２０２と、その周辺回路部から構成される。周辺回路部は、垂直駆動回路２０３、カラム信号処理回路２０４、水平駆動回路２０５、タイミング制御回路２０６等を含む。

画素部２０１は、光電変換部としてのフォトダイオードと、複数の画素トランジスタを備える。複数の画素トランジスタは、例えば、転送トランジスタ、増幅トランジスタ、選択トランジスタ、リセットトランジスタ等のМＯＳ（金属酸化膜半導体）トランジスタである。

垂直駆動回路２０３は、例えばシフトレジスタによって構成される。垂直駆動回路２０３は画素駆動配線２０８を選択し、選択された画素駆動配線２０８に画素部２０１を駆動するためのパルスを供給し、行単位で画素部２０１を駆動する。垂直駆動回路２０３は、画素アレイ部２０２上の各画素部２０１を行単位で順次垂直方向に選択走査する。各画素部２０１の光電変換部において入射光量に応じて生成された信号電荷に基づく画素信号は、垂直信号線２０７を通してカラム信号処理回路２０４に供給される。

カラム信号処理回路２０４は、画素部２０１の列ごとに配置されており、１行分の画素部２０１から出力される画素信号に対し、画素列ごとにノイズ除去等の信号処理を行う。例えば、カラム信号処理回路２０４は、画素固有の固定パターンノイズを除去するためのＣＤＳ処理および垂直信号線２０７を通して出力された画素部２０１の画素信号の増幅処理とＡＤ変換等の信号処理を行う。ＣＤＳは、“Correlated Double Sampling”（相関２重サンプリング) の略号である。

水平駆動回路２０５は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路２０４の各々を順番に選択する。カラム信号処理回路２０４の各々から画素信号は水平信号線２０９に出力される。タイミング制御回路２０６は、入力クロック信号と動作モード等を指令するデータを、制御部１０７から受け取る。タイミング制御回路２０６は垂直同期信号、水平同期信号およびマスタクロック信号に基づいて、垂直駆動回路２０３、カラム信号処理回路２０４および水平駆動回路２０５等の動作の基準となるクロック信号や制御信号を生成する。

図３を参照して、撮像素子１０２の画素部２０１の構成および画素配列について説明する。図３（Ａ）は、撮像光学系の異なる瞳部分領域をそれぞれ通過した光を受光する光電変換部２０１Ｌ、２０１Ｒの構成例を示す概略図である。光電変換部２０１Ｌ、２０１Ｒは、フォトダイオード２１１、２１２をそれぞれ備える。Ｌは正面から見て左側に配置されることを意味し、Ｒは正面から見て右側に配置されることを意味する。以下、フォトダイオードを「ＰＤ」と略記する。

光電変換部２０１Ｌは撮像光学系の瞳領域の一部（第１の瞳部分領域）を通過した光を受光する。光電変換部２０１Ｒは第１の瞳部分領域とは異なる瞳領域の一部（第２の瞳部分領域）を通過した光を受光する。光電変換部２０１Ｌと光電変換部２０１Ｒは、１つのマイクロレンズ２１０下に構成され、それぞれＰＤ２１１、ＰＤ２１２を１つずつ有する。転送トランジスタ２１３、２１４は、ＰＤ２１１とＰＤ２１２の各々の画素信号を読み出す。ＰＤ２１１、ＰＤ２１２は、画素信号を一時的に蓄積するフローティングディフュージョン（ＦＤ）部２１５、２１６を有している。撮像光学系の異なる瞳部分領域を通過した光から光電変換される信号をＰＤ２１１とＰＤ２１２がそれぞれ読み出すこと以外、２つの光電変換部の構成は同じである。

光電変換部２０１Ｌと光電変換部２０１Ｒから取得される画素信号は、それぞれ垂直信号線２０７、カラム信号処理回路２０４を通り（図２）、水平駆動回路２０５によって行単位で随時水平信号線２０９へ読み出される。各画素部は、図示した構成要素以外にも後述する複数の構成要素を備えるが、それらは本発明の説明において重要でないので省略する。

図３（Ｂ）は撮像素子１０２内における画素配列を概略的に示す平面図である。２次元の画像を提供するために、図３（Ａ）に示す構成をもつ複数の画素部２０１は、所定の方向に沿って２次元アレイ状に配列される。所定の方向とは水平および垂直方向である。画素部３０１内のＰＤ３０１Ｌ、３０１Ｒは、瞳分割方向（本例では水平方向）にて２つに分割された光電変換部を構成している。また、行３０５は画素３０１、３０２、３０３、３０４が含まれる行を示している。行３０５を例にとって説明すると、３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは、図３（Ａ）のＰＤ２１１に対応し、３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは、図３（Ｂ）のＰＤ２１２に対応している。

図４は、撮影レンズの射出瞳から出た光束（被写体光）が撮像素子１０２に入射する様子を示す概念図である。画素部の断面部４０１には、マイクロレンズ２１０、カラーフィルタ４０３、およびＰＤ２１１、ＰＤ２１２を示す。射出瞳４０６には、撮影レンズの射出瞳の一部領域４０７、４０８を示しており、これらの領域は、受光する各ＰＤから見たときの瞳部分領域である。中央のマイクロレンズ２１０を有する画素に対して、射出瞳４０６から出た光束の中心である光軸４０９を、一点鎖線で示す。光線４１０、４１１は、瞳部分領域４０７を通過する光の最外周の光線であり、光線４１２、４１３は瞳部分領域４０８を通過する光の最外周の光線である。

射出瞳４０６から出射した光は、光軸４０９を中心として撮像素子１０２に入射される。図４（Ａ）からわかるように、射出瞳４０６から出る光束のうち、光軸４０９を境にして上側の光束はマイクロレンズ２１０、カラーフィルタ４０３を通過してＰＤ２１２に入射する。また、光軸４０９を境にして下側の光束はマイクロレンズ２１０、カラーフィルタ４０３を通過してＰＤ２１１に入射する。つまり、ＰＤ２１１とＰＤ２１２はそれぞれ、撮影レンズの射出瞳４０６の異なる瞳部分領域４０８、４０７を通過した光を受光する。

図３を参照すると、例えば行３０５に含まれる画素部３０１の場合、ＰＤ３０１Ｌは、光軸４０９を挟んで一方の射出瞳（部分領域）から出る光束を受光するＰＤ２１１に対応する。ＰＤ３０１Ｌから得られる像をＡ像とし、その画像信号をＡ像信号と呼ぶ。また、ＰＤ３０１Ｒは、光軸４０９を挟んで他方の射出瞳（部分領域）から出る光束を受光するＰＤ２１２に対応する。ＰＤ３０１Ｒから得られる像をＢ像とし、その画像信号をＢ像信号と呼ぶ。

このように射出瞳４０６に対して光軸４０９を中心に等分に瞳部分領域４０７、４０８に分割して、ＰＤ２１１、ＰＤ２１２の受光が行われることにより、ＰＤ２１１とＰＤ２１２とで出力信号に位相差が生じる。この位相差により瞳部分領域４０７、４０８に対応するＡ像信号とＢ像信号とで、同一の被写体像に由来する画素信号が現れる画素部２０１のアドレスに変化が現れ、アドレス間隔として検出される。このアドレス間隔を検出（位相差検出）することで、デフォーカス量が算出される。ＰＤ２１１、ＰＤ２１２は光軸４０９に対して等分に分割された配置である。つまり、射出瞳４０６に対して偏芯していないため、光学鏡筒１０１内の構成部品等によって一部光線が遮られたとしても、Ａ像もしくはＢ像の信号欠損（シェーディング）に対して対処しやすいという利点がある。

図５は、撮像素子の回路構成と基本的動作の例を説明する図である。
図５では、画素２０１Ｌにおける回路構成を例にとって説明するが、画素２０１Ｒにおいても同様の回路構成となる。

図５に示すように、画素２０１Ｌには、ＰＤ２１１、転送トランジスタ２１３、増幅トランジスタ５１０、選択トランジスタ５１１、およびリセットトランジスタ５１２が設けられている。なお、この例では、各トランジスタは、ｎチャネルＭＯＳＦＥＴ（MOS Field-Effect Transistor）である。

また、転送トランジスタ２１３、選択トランジスタ５１１およびリセットトランジスタ５１２の各ゲートには、転送信号線５１３Ｌ、行選択信号線５１４Ｌ、リセット制御信号線５１５Ｌが接続されている。なお、画素２０１Ｒにも、同様に転送信号線５１３Ｒ、行選択信号線５１４Ｒ、リセット制御信号線５１５Ｒが接続されている。図２では、これらと転送信号線５１３Ｌ、行選択信号線５１４Ｌ、リセット制御信号線５１５Ｌを画素駆動配線２０８にてまとめて図示している。これらの信号線は、水平方向に延在して、同一行に含まれる画素を同時に駆動するようになっており、これによりライン順次動作型のローリングシャッタや、全行同時動作型のグローバルシャッタの動作を制御することが可能になっている。また、転送信号線５１３は、画素２０１Ｌ、２０１Ｒで別々に構成することで、画素２０１Ｌと画素２０１Ｒとで別々に露光時間を設定することが可能になる。さらに、選択トランジスタ５１１のソースには、垂直信号線２０７Ｌが接続され、垂直信号線２０７Ｌの一方の端部は、定電流源５１６を介して接地されている。なお、図２では、画素２０１Ｌ、２０１Ｒにそれぞれ接続される垂直信号線２０７Ｌ、２０７Ｒを垂直信号線２０７にてまとめて図示している。

ＰＤ２１１は、光電変換により生成された電荷を蓄積する。ＰＤ２１１は、Ｐ側が接地され、Ｎ側が転送トランジスタ２１３のソースに接続されている。転送トランジスタ２１３がＯＮすると、ＰＤ２１１の電荷がＦＤ部分である２１５に転送されるが、ＦＤ２１５には寄生容量Ｃ５１があるので、この部分に電荷が蓄積される。増幅トランジスタ５１０のドレインは、電源電圧Ｖｄｄとされ、ゲートは、ＦＤ２１５に接続されている。この増幅トランジスタ５１０は、ＦＤ２１５の電圧を電気信号に変換する。選択トランジスタ５１１は、信号を読み出す画素を行単位で選択する。選択トランジスタ５１１のドレインは増幅トランジスタ５１０のソースに、ソースは垂直信号線２０７に接続されている。この選択トランジスタ５１１がＯＮしたときには、増幅トランジスタ５１０と定電流源５１６とがソースフォロアを構成するので、ＦＤ２１５の電圧に対応する電圧が垂直信号線２０７に出力される。リセットトランジスタ５１２のドレインは、電源電圧Ｖｄｄとされ、ソースは、ＦＤ２１５に接続されている。このリセットトランジスタ５１２は、ＦＤ２１５の電圧を電源電圧Ｖｄｄにリセットする。

図６および図７は、画素２０１Ｌ、２０１Ｒの露光条件のパターンを示す図である。本実施例においては、２枚のフレーム撮影が生じ、偶奇フレーム毎に露光条件のパターンが異なる。図６は、第１枚目のフレーム（第１のフレーム）における露光条件のパターンを示す。図７は、第２枚目のフレーム（第２のフレーム）における露光条件のパターンを示す。

図６および図７に示す各画素には、それぞれ、赤・青・緑のカラーフィルタが配置されている。赤の色成分カラーフィルタに対応した画素２０１Ｌ、２０１ＲＲ画素をＲ（以後、Ｒ画素）、青の色成分カラーフィルタに対応した画素２０１Ｌ、２０１ＲＢ画素をＢＬ（以後、ＢＬ画素）とする。緑の色成分カラーフィルタに対応した画素２０１Ｌ、２０１ＲＧ画素を、ＧｒあるいはＧｂ（以後、それぞれＧｒ画素あるいはＧｂ画素）とする。なお、Ｇｒ画素とはＲ画素のある行にあるＧ画素を示しており、Ｇｂ画素とは、ＢＬ画素のある行にあるＧ画素を示している。また、ｎ行目においてｍ列目の画素は、Ｒ画素、ｍ＋１列目はＧｒ画素、ｍ＋２列目はＲ画素と繰り返し構成される。ｎ＋１行目においては、ｍ列目の画素はＧｂ画素、ｍ＋１列目はＢＬ画素、ｍ＋２列目はＧｂ画素と繰り返し構成される。

本実施例においては、適正露光秒時で撮影された画素を中出力画素、適正露光に対して露光時間を長くして撮影した画素を高出力画素、短くして撮影した画素を低出力画素とする。図６、図７において、３種類の異なるハッチング線を付して示す各部分は、以下のとおりである。
・横線で示す光電変換部：中出力レベル（適正出力レベル）の画素（中出力画素）である。
・粗い斜線で示す光電変換部：低出力レベルの画素（低出力画素）である。
・縦線で示す光電変換部：高出力レベルの画素（高出力画素）である。

低出力画素、中出力画素、高出力画素は、それぞれ画素２０１Ｌもしくは画素２０１Ｒと同様の構成である。したがって、上述のＲ画素、Ｇｂ画素、Ｇｒ画素、ＢＬ画素は、図６、図７に示すように、中出力画素と低出力画素、もしくは中出力画素と高出力画素とで構成される。１つの画素部内では、複数の画素は、複数の画素部の配置方向（第１の方向）とは異なる第２の方向に配置されている。

また、本実施例では、低出力画素の露光時間は、中出力画素の露光時間の半分に設定し、高露光画素の露光時間は適正露光に対して倍に設定することで、ＨＤＲ処理後のダイナミックレンジは±１段拡張することができるが、他の設定にしても良い。

図６に示す第１のフレームは、低出力画素と中出力画素で構成される。ｎ行目とｎ＋１行目において、画素２０１Ｌにあたる画素が、中出力画素、画素２０１Ｒにあたる画素が、低出力画素である。ｎ＋２行目、ｎ＋３行目においては、Ｒ、Ｇｒ、Ｇｂ、Ｂ画素が、ｎ行目、ｎ＋１行目と同様に繰り返し構成されるが、露光条件のパターンが異なる。ｎ＋２行目とｎ＋３行目において、画素２０１Ｌにあたる画素が、低出力画素、画素２０１Ｒにあたる画素が、中出力画素である。ｎ＋４行目以降は、ｎ行目、ｎ＋１行目、ｎ＋２行目、ｎ＋３行目と同様の露光条件とカラーフィルタのパターンで繰り返し構成される。

図７に示す第２のフレームは、高出力画素と中出力画素で構成される。ｎ行目とｎ＋１行目において、画素２０１Ｌにあたる画素が、中出力画素、画素２０１Ｒにあたる画素が、高出力画素である。ｎ＋２行目、ｎ＋３行目においては、Ｒ、Ｇｒ、Ｇｂ、Ｂ画素はｎ行目、ｎ＋１行目と同様に繰り返し構成されるが、露光条件のパターンが異なる。ｎ＋２行目とｎ＋３行目において、画素２０１Ｌにあたる画素が、高出力画素、画素２０１Ｒにあたる画素が、中出力画素である。ｎ＋４行目以降はｎ行目、ｎ＋１行目、ｎ＋２行目、ｎ＋３行目と同様のパターンで繰り返し構成される。なお、第１のフレームを高出力画素と中出力画素、第２のフレームを低出力画素と中出力画素で構成してもかまわない。

本発明においては、ＨＤＲ信号処理をするために、Ａ像信号とＢ像信号の露光差が出るように撮影を実行する。Ａ像信号とＢ像信号において露光差を発生させる場合は、例えば、露光時間をＡ像とＢ像とで別々の設定にしてもよいし、Ａ像とＢ像の出力にそれぞれに対してカラム信号処理回路２０４内で増幅処理を別々の増倍度設定にして露光差を発生させても構わない。

図６において、位相差検出に用いる画素は、例えば、ｎ行目、ｎ＋４行目、ｎ＋８行目のＡ像画素とｎ＋２行目、ｎ＋６行目、ｎ＋１０行目のＢ像画素である。ＨＤＲ信号処理には全画素を用いる。Ａ像信号とＢ像信号に露光差をつけて読み出された撮像信号は、撮像素子１０２から出力された後に、信号選択部１０３を通じて、映像信号処理部１０４と位相差信号処理部１０６へと送出され、ＨＤＲ信号処理と位相差検出処理が実行される。映像信号処理部１０４は、例えば、図６に示す第１のフレームについての中出力画素の信号と、低出力画素の信号と、図７に示す第２のフレームについての高出力画素の信号とに基づいて、ＨＤＲ信号処理を実行する。なお、制御部１０７（図１）が、ＨＤＲ信号処理を行うかを判定し、ＨＤＲ信号処理を行うと判定された場合に、映像信号処理部１０４が、ＨＤＲ信号処理を実行するようにしてもよい。

映像信号処理部１０４による前フレームのＡＥ算出結果から、制御部１０７が、位相差検出をする際に適切な露光条件を決定する。制御部１０７が、決定した条件に基づき、第１、第２のフレームについて、位相差検出に用いる画素が同一の出力条件（露光）になるように撮像設定されて複数の信号が読み出される。具体的には、ｎ行目、ｎ＋４行目、ｎ＋８行目のＲ画素のＡ像信号と、ｎ＋２行目、ｎ＋６行目、ｎ＋１０行目のＲ画素のＢ像信号とに対して、位相差信号処理部１０６が、公知の位相差検出処理を実行することで、位相差検出信号を生成する。つまり位相差信号処理部１０６は、Ａ像信号、Ｂ像信号を用いて２像を相対的にシフトしながら相関演算を行い、相関演算結果から像ずれ量を検出する公知の位相差検出を行う。本実施例では、図６と図７とを参照するとわかるように、位相差検出処理に用いる複数の画素（例えば、中出力画素）の配置関係は、第１および第２の撮影で同じである。

信号選択部１０３は、映像信号の中から、Ｒ画素のＡ像信号と、Ｂ像信号とを選択して位相差信号処理部１０６へ送る。なお、本実施例では、位相差検出処理はＲ画素の信号に対して行っているが、ＲＧＢ各色の画素信号および各色の画素信号を演算した信号に対して行っても良い。上記のような画素２０１の信号読み出しを、上から下の行へと順次読みだすことで１フレーム分のデータを撮像素子１０２から出力する。そして、信号選択部１０３にてＨＤＲ処理用の映像信号と位相差検出用の信号とを振り分けて、それぞれ映像信号処理部１０４と、位相差信号処理部１０６へと同時に出力する。このように、位相差検出に用いる画素において、映像信号処理部１０４内に含まれる映像信号処理部１０４の情報を用いて位相差検出に適切な露光条件を決めることで、信号の白飛びやＳＮが劣る露光条件を回避しやすくすることができる。

次に、図８を参照して、ダイナミックレンジ拡大処理について説明する。図８は、ダイナミックレンジ拡大処理における入射光量（横軸Ｘ）と画素信号量（縦軸Ｙ）との関係を示す図である。横軸ＸにはＸ^* １〜３、Ｘ１〜３を示し、縦軸ＹにはＹ１〜３を示す。Ｙ１はノイズレベルを表し、Ｙ２は飽和信号量を表す。Ｘ^* １〜３は、高出力画素、中出力画素、低出力画素の各画素信号レベルが、ノイズレベルＹ１にそれぞれ到達するときの入射光量を表す。Ｘ１〜３は、高出力画素、中出力画素、低出力画素の各画素信号レベルが、飽和信号量Ｙ２にそれぞれ到達するときの入射光量を表す。

高出力画素では、入射光量がＸ１となった時点で飽和信号量Ｙ２に到達する。中出力画素では、入射光量がＸ２となった時点で飽和信号量Ｙ２に到達する。低出力画素では、入射光量がＸ３となった時点で飽和信号量Ｙ２に到達する。一方、受光により得られる画素信号量がＹ１以下である場合にはノイズレベルに相当するため、その画素信号は利用することができない。よって、高出力画素のダイナミックレンジは、入射光量がＸ^* １からＸ１までの範囲である。中出力画素のダイナミックレンジは、入射光量がＸ^* ２からＸ２までの範囲である。低出力画素のダイナミックレンジは、入射光量がＸ^* ３からＸ３までの範囲である。

一例として低出力画素、中出力画素、高出力画素の出力レベルの比が１：２：４である場合を説明する。映像信号処理部１０４は、画素部２０１について、入射光量に応じて下記式（１）〜式（５）により、ＨＤＲ処理後の画素信号ＨＤＲを求める。
・Ｘ^* １＜（入射光量）≦Ｘ^* ２のとき
画素信号ＨＤＲ＝（高出力画素信号）（１）
・Ｘ^* ２＜（入射光量）≦Ｘ^* ３のとき
画素信号ＨＤＲ＝（高出力画素信号）×（１−α）＋（中出力画素信号）×α×２
（２）
・Ｘ^* ３＜（入射光量）≦Ｘ１のとき
画素信号ＨＤＲ＝ (高出力画素信号）×β＋（中出力画素信号）×γ×２＋（低出力画素信号）×（１−β−γ）×４（３）
・Ｘ１＜（入射光量）≦Ｘ２のとき
画素信号ＨＤＲ＝（中出力画素信号）×（１−δ）×２＋（低出力画素信号）×δ×４
（４）
・Ｘ２＜（入射光量）≦Ｘ３のとき
画素信号ＨＤＲ＝（低出力画素信号）×４（５）

上式中のα、β、γ、δ、β＋γは合成用の係数であり、それらの値はいずれも１以下の正の実数とする。入射光量に応じて、低出力画素信号、中出力画素信号、高出力画素信号からＨＤＲ処理後の信号が生成される。映像信号処理部１０４は、画素アレイ部２０２の各画素部２０１の信号量（入射光量）に応じて、式（１）〜式（５）を用いて、ダイナミックレンジ拡大処理後の画素信号を算出する。これにより、撮影した異なる３種類の出力レベルの信号を取得して合成することで信号量がＹ１からＹ３までに拡大され、入射光量としてＸ^* １からＸ３まで対応できる広ダイナミックレンジな画像を生成できる。本実施例においては、図６、図７の露光条件パターンで撮影した２枚のフレームにおいて、Ｒ、Ｇｒ、Ｇｂ、ＢＬのそれぞれの画素から低出力画素信号、中出力画素信号、高出力画素信号を得ることができ、これらの信号から先述のＨＤＲ信号処理を行う。

図９は、本実施例における動作処理を説明するフローチャートである。
撮影が開始されると、Ｓ８０１において、制御部１０７が、撮影条件を設定する。この撮影条件は初期であれば初期条件が適用されるが、後述するステップＳ８０７からのフィードバックにより、撮影条件は更新される。

次にＳ８０２において、制御部１０７が、Ｓ８０１で設定した撮影条件で撮像素子１０２を駆動させて、図６に示すセンサ配列における画素毎の露光条件のパターンで、第１のフレームの撮影を行う。続いて、Ｓ８０３において、制御部１０７が、図７に示すセンサ配列における画素毎の露光条件のパターンで、第２のフレームの撮影を行う。

Ｓ８０４において、映像信号処理部１０４が、撮影された第１のフレームと第２のフレームの信号から、ＡＥ値を算出する。続いて、Ｓ８０５において、映像信号処理部１０４が、ＨＤＲ信号処理を実行する。ＨＤＲ信号処理は、図６、図７に示す第１のフレームと第２のフレームでの、３種類（中出力画素、低出力画素、高出力画素）の画素の信号に基づいて実行される。また、この例では、図６または図７で横線のハッチで示される中出力画素を位相差検出に用いる画素（位相差画素）とする。位相差画素の信号（位相差画素信号）については、第１、第２のフレームでの信号値を加算平均することでランダムノイズを低減させてＨＤＲ信号処理を行う。

Ｓ８０６において、位相差信号処理部１０６が、Ｓ８０３で撮影された第２のフレームにおける位相差画素信号から位相差検出を実行する。位相差検出処理部１０６が、第１のフレームにおける位相差画素信号から位相差検出を実行してもよい。また、位相差検出処理部１０６が、第１、第２のフレームの信号値を加算平均することでランダムノイズを低減させた位相差画素信号から位相差検出を実行しても構わない。なお、Ｓ８０４とＳ８０５とＳ８０６の処理は、並行もしくは順不同に実行しても構わない。

次に、Ｓ８０７において、制御部１０７が、撮影を終了するか否かを判断する。撮影を終了する場合は、待機状態へと遷移する。撮影を続ける場合は、処理がＳ８０１に戻り、制御部１０７が、Ｓ８０４で得られたＡＥ値から露光条件を更新する。また、フォーカス機構部１０１１が、Ｓ８０６で得られた位相差検出結果からオートフォーカス制御を実行する。以上のように、撮影条件が再設定されて撮影が繰り返される。

以上のような本実施例の動作をさせることで、ＨＤＲ処理をした映像信号データと位相差検出動作を同時に両立させ、かつ撮影枚数より多い露光条件で、ランダムノイズを低減したＨＤＲ撮影を行うことができる。また、位相差検出用画素において、映像信号処理部１０４のＡＥ情報を用いて位相差検出に適切な露光条件を決めることで、信号の白飛びやＳＮが劣る露光条件を回避しやすくすることができる。

（実施例２）
次に、実施例２について説明する。実施例２の撮像装置は、その構成が実施例１の撮像装置と同じである。したがって、実施例１と同様の部分については、同一の符号を用いてその説明を省略する。

図１０は、実施例２における画素の露光条件のパターンを示す図である。図１０では、第１のフレームに係るセンサ配列を示す。低出力画素については、図６に示すセンサ配列と同様であるが、実施例２では、画素信号を読み出さない画素２０１Ｒおよび画素２０１Ｌを設ける。図１０に示す例では、画素信号を読み出さない画素２０１Ｒおよび画素２０１Ｌは、白抜きになっており（ハッチが掛かっていない）、Ｒ画素、Ｇｒ画素、Ｇｂ画素、ＢＬ画素の文字に対しては取り消し線を施している。

実施例２では、図１０に示すパターンのように、第１のフレームの位相差検出に用いる画素の画素信号を読み出さず、ＨＤＲ撮像に用いる画素のみを読み出す。これにより、読みださない画素のカラム信号処理回路２０４をスリープさせたり、垂直駆動回路２０３や水平駆動回路２０５を余計に動作させたりする必要が無くなるので、省電力効果を得ることができる。すなわち、撮像素子は、第２の撮影については、複数の画素部が有する全ての画素から信号を読み出し、第１の撮影については、位相差検出処理に用いられる画素のみから信号を読み出す。以上のことから、実施例２によれば、ＨＤＲ撮像と位相差検出を両立させ、かつ撮影枚数より多い露光条件でＨＤＲ撮影ができ、かつ省電力効果を狙うことができる。もちろん、撮像素子が、第１の撮影については、複数の画素部が有する全ての画素から信号を読み出し、第２の撮影については、位相差検出処理に用いられる画素のみから信号を読み出すようにしてもよい。

第１および第２の実施例では、撮像素子１０２に対して映像信号処理部１０４、位相差信号処理部１０６が撮像装置内に設けられた構成例を説明したが、これらの信号処理部の機能の少なくとも一部を撮像素子内に設けた構成でもよい。この場合、例えば撮像素子には多数の画素部を行列状に配列した画素アレイ部（撮像部）と、各画素部の信号を処理する信号処理部が集積回路チップ上に実装される。例えば、積層型撮像素子の場合、撮像素子は信号処理部を構成する第１の集積回路チップ上に撮像部を構成する第２の集積回路チップが積層された構成である。このとき、第１の集積回路チップ上に構成される信号処理部として、焦点検出用には２像の相関演算を行う相関演算部と相関演算結果から像ずれ量を算出する算出部を備えるとよい。これにより、撮像素子１０２からの出力としては像ずれ量（あるいはデフォーカス量）やその分布を出力すればよいので、センサの製造コストを下げたり、後段の画像処理部の帯域を確保することができる。またこのとき、ＨＤＲ処理用には撮像素子１０２に起因する画素の欠陥や信号のばらつき等を補正する補正処理部とＨＤＲ合成を行う合成処理部を備えるとよい。これにより、撮像素子１０２からの出力としては合成後の１フレーム分の画像信号が出力されるので、上記と同様の効果がある上に、画質を決める重要な処理を、より高精度な解析や処理が可能であろう後段の画像処理部に任せることができる。もちろん上記に限らず、焦点検出用、ＨＤＲ処理用に他の処理の一部あるいは全部を撮像素子１０２内の信号処理部に設けてもよい。また、信号処理部の具体的な構成例としては、ＨＤＲ処理にてビットレンジ伸長処理を行う第１の信号処理と、位相差検出を行う第２の信号処理を並列に実行する１つの信号処理部を設けてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２撮像素子
１０４映像信号処理部
１０６位相差信号処理部
１０７制御部

Claims

複数の画素部から信号を取得して、焦点検出および画像生成の信号処理を行うことが可能な撮像素子であって、
第１および第２の画素部がそれぞれ有する第１および第２の光電変換部に対して、信号の出力条件を設定する設定手段と、
第１および第２の撮影について前記第１および第２の画素部から得られる、第１ないし第３の出力条件の画素信号に基づいて、前記画像生成の信号処理を行い、前記第１および第２の画素部がそれぞれ有する前記第１および第２の光電変換部のうち、出力条件の設定が同じである光電変換部から得られる複数の信号を用いて、前記焦点検出の信号処理を行う信号処理手段と、を備え、
前記画像生成の信号処理において、前記出力条件の設定が同じである光電変換部から前記第１および第２の撮影で得られる複数の信号を加算平均して用い、
前記設定手段は、
前記第１の撮影については、前記第１の画素部が有する前記第１の光電変換部を前記第２の出力条件に設定し、前記第２の光電変換部を前記第２の出力条件での前記第１の光電変換部の出力レベルよりも出力レベルが低い前記第１の出力条件に設定し、
前記第２の撮影については、前記第１の画素部が有する前記第１の光電変換部を前記第２の出力条件に設定し、前記第２の光電変換部を前記第２の出力条件での前記第１の光電変換部の出力レベルよりも出力レベルが高い前記第３の出力条件に設定し、
前記画素信号の出力条件は、前記光電変換部の感度、露光時間、信号の増幅度および絞り値のうちの１つ以上の条件である
ことを特徴とする撮像素子。
前記画像生成の信号処理は、露出の異なる前記第１ないし第３の出力条件の画素信号に基づいてダイナミックレンジの拡大された画像を生成する信号処理であることを特徴とする請求項１に記載の撮像素子。
前記複数の画素部から画素信号を読み出す読み出し手段を備え、
前記読み出し手段は、前記第２の撮影については、前記複数の画素部が有する全ての光電変換部から信号を読み出し、前記第１の撮影については、前記焦点検出の信号処理に用いられる光電変換部のみから信号を読み出すことを特徴とする請求項１又は２に記載の撮像素子。
前記第１および第２の画素部は、第１の方向に配置され、前記第１および第２の光電変換部は、画素部内で前記第１の方向とは異なる第２の方向に配置されており、
前記信号処理手段は、前記第１の撮影についての前記第１の画素部が有する第１の光電変換部の信号と、前記第２の光電変換部の信号と、前記第２の撮影についての前記第２の光電変換部の信号とに基づいて、画像信号のダイナミックレンジ拡大の信号処理を行うことを特徴とする請求項１から３のいずれか１項に記載の撮像素子。
前記画像信号のダイナミックレンジ拡大の信号処理を行うかを判定する判定手段を備え、
前記信号処理手段は、前記画像信号のダイナミックレンジ拡大の信号処理を行うと判定された場合に、前記画像信号のダイナミックレンジ拡大の信号処理を行うことを特徴とする請求項４に記載の撮像素子。
前記第１および第２の画素部は、マイクロレンズと、前記マイクロレンズに対応する前記第１および第２の光電変換部をそれぞれ有し、
前記第１および第２の光電変換部は、撮像光学系の異なる射出瞳を通った被写体光を光電変換する
ことを特徴とする請求項１から５のいずれか１項に記載の撮像素子。
撮像素子を構成する複数の画素部の信号を取得して、焦点検出および画像生成の信号処理を行う撮像信号処理方法であって、
第１および第２の画素部がそれぞれ有する第１および第２の光電変換部に対して、信号の出力条件を設定する工程と、
第１および第２の撮影について前記第１および第２の画素部から得られる、第１ないし第３の出力条件の画素信号に基づいて、前記画像生成の信号処理を行い、前記第１および第２の画素部がそれぞれ有する前記第１および第２の光電変換部のうち、出力条件の設定が同じである光電変換部から得られる複数の信号を用いて、前記焦点検出の信号処理を行う工程と、を有し、
前記画像生成の信号処理において、前記出力条件の設定が同じである光電変換部から前記第１および第２の撮影で得られる複数の信号を加算平均して用い、
前記設定する工程は、
前記第１の撮影については、前記第１の画素部が有する前記第１の光電変換部を前記第２の出力条件に設定し、前記第２の光電変換部を前記第２の出力条件での前記第１の光電変換部の出力レベルよりも出力レベルが低い前記第１の出力条件に設定し、
前記第２の撮影については、前記第１の画素部が有する前記第１の光電変換部を前記第２の出力条件に設定し、前記第２の光電変換部を前記第２の出力条件での前記第１の光電変換部の出力レベルよりも出力レベルが高い前記第３の出力条件に設定し、
前記画素信号の出力条件は、前記光電変換部の感度、露光時間、信号の増幅度および絞り値のうちの１つ以上の条件である
ことを特徴とする撮像信号処理方法。