JP7417560B2 - 光電変換装置、光電変換システム、輸送機器および信号処理装置 - Google Patents

Description

本発明は、光電変換装置、光電変換システム、輸送機器および信号処理装置に関する。

近年、デジタルスチルカメラやデジタルビデオカメラなどの撮像システムに搭載される撮像装置の多機能化が進んでいる。特許文献１には、信号を読み出す際に画素行によって画素を異なるモードで駆動し、撮像画像用データに加えて焦点検出用データを出力することが可能な撮像装置が示されている。

特開２０２０－１６７５４２号公報

画素アレイから信号を読み出す際に画素によって異なるモードで駆動した場合、読み出された信号に対する補正処理を行う際の補正量が、駆動モードごとに異なりうる。様々な駆動モードに対応可能な補正処理が望まれる。

本発明は、補正処理の精度の向上に有利な技術を提供することを目的とする。

上記課題に鑑みて、本発明の実施形態に係る光電変換装置は、複数の画素が行列状に配された画素アレイと、前記画素アレイから読み出された信号を処理する信号処理部と、を含む光電変換装置であって、前記複数の画素は、信号の読み出し方が異なる複数の駆動モードで動作可能に構成され、前記信号処理部は、補正値を生成するために指定された前記画素アレイの領域から、前記複数の駆動モードのうちそれぞれの画素に設定された駆動モードに基づいて前記複数の画素のうち第１画素群および第２画素群を選択する選択手段と、前記第１画素群から読み出された信号に基づいた第１代表値と、前記第２画素群から読み出された信号に基づいた第２代表値と、に応じて前記補正値を生成する補正値生成手段と、前記画素アレイから読み出された信号を、前記補正値に基づいて補正する補正手段と、を含み、前記光電変換装置は、連続したフレームにわたって前記画素アレイから信号が読み出されるように構成されており、前記補正値生成手段は、複数のフレームでそれぞれ生成された複数の前記補正値を保持する保持手段を含み、前記補正手段は、複数の前記補正値のうち同じフレームで生成された補正値、または、複数の前記補正値のうち１つ以上前のフレームで生成された補正値を、前記画素アレイから読み出された信号に適用可能に構成されていることを特徴とする。

本発明によれば、補正処理の精度の向上に有利な技術を提供することができる。

本実施形態の光電変換装置の構成例を示す図。 図１の光電変換装置の画素の構成例を示す図。 図１の光電変換装置の読出動作の例を示すタイミング図。 図１の光電変換装置の読出動作の例を示すタイミング図。 図１の光電変換装置の出力信号の概念を示す図。 図１の光電変換装置の補正部の構成例を示す図。 図１の光電変換装置の補正値の生成に使用する画素群の位置の例を示す図。 図１の光電変換装置の補正値取得部の構成例を示す図。 図１の光電変換装置の領域制御部の構成例を示す図。 図１の光電変換装置の補正適用部の構成例を示す図。 図１の光電変換装置の補正処理の設定例を示す図。 図１の光電変換装置の補正値取得部の構成例を示す図。 図１の光電変換装置の補正値の生成に使用する画素群の位置の例を示す図。 図１の光電変換装置が組み込まれた撮像システムの構成例を示す図。 図１の光電変換装置が組み込まれた輸送機器の構成例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１～図１５を参照して、本開示の実施形態による光電変換装置について説明する。まず、本実施形態による光電変換装置の構造について、図１および図２を用いて説明する。図１は、本実施形態による光電変換装置１００の概略構成を示すブロック図である。図２は、光電変換装置１００の画素１０２の構成例を示す回路図である。図１に示されるように、光電変換装置１００は、画素アレイ１０１、垂直走査回路１０３、制御部１０４、読出回路１０５、ＡＤ変換回路１０６、メモリ１０７、水平走査回路１０８、処理部１０９を含む。

画素アレイ１０１には、複数の行および複数の列にわたって、複数の画素１０２が行列状に配されている。図１には、第０列から第ｍ列まで、および、第０行から第ｎ列までの、（ｍ＋１）列×（ｎ＋１）行に配列された画素１０２を有する画素アレイ１０１が示されている。画素１０２のそれぞれには、符号Ｐに対応する列番号と行番号とを示す座標を付記した符号Ｐ（ｍ、ｎ）が記載されている。画素１０２のそれぞれは、複数の光電変換部を含む。より具体的には、本実施形態において、画素１０２のそれぞれは、２つの光電変換部１１２Ａ、１１２Ｂを含む。光電変換装置１００は、光電変換部１１２Ａから出力される信号と光電変換部１１２Ｂから出力される信号とを比較することによって位相差の検知が可能である。本実施形態において、画素１０２のそれぞれは、２つの光電変換部１１２Ａ、１１２Ｂを備えるが、３つ以上の光電変換部１１２を備えていてもよい。

画素アレイ１０１には、行ごとに行選択線１１０が配されている。行選択線１１０のそれぞれは、対応する行に配された（ｍ＋１）個の画素１０２に接続されている。行選択線１１０は、垂直走査回路１０３に接続されている。

画素アレイ１０１には、列ごとに垂直出力線１１１が配されている。垂直出力線１１１のそれぞれは、対応する列に配された（ｎ＋１）個の画素１０２に接続されている。垂直出力線１１１は、読出回路１０５に接続されている。

垂直走査回路１０３は、画素アレイ１０１の画素１０２に対して行単位で駆動信号を与える動作（垂直走査）を行うための制御回路である。垂直走査回路１０３によって選択された行において、選択された行に含まれる（ｍ＋１）個の画素１０２から、それぞれ対応する列の垂直出力線１１１を介して同時に画素１０２から信号が出力される。このようにして画素アレイ１０１から行単位で出力された信号（アナログ信号）は、読出回路１０５に入力される。

読出回路１０５は、画素アレイ１０１から読み出されたアナログの信号に対して所定の処理を行う回路である。読出回路１０５は、画素アレイ１０１の各列（垂直出力線１１１）に対応する複数の増幅回路や複数の信号保持回路を含みうる。例えば、読出回路１０５は、画素アレイ１０１の各列の垂直出力線１１１から出力されるアナログの信号を対応する列の増幅回路で増幅し、増幅した信号を対応する列の信号保持回路で保持する。

ＡＤ変換回路１０６は、読出回路１０５から出力される各列の信号をアナログ信号からデジタル信号に変換する回路である。メモリ１０７は、ＡＤ変換回路１０６でＡＤ変換された各列のデジタルの信号を一時的に保持する信号保持回路である。

水平走査回路１０８は、メモリ１０７の各列の列メモリに記憶されたデジタル画素信号を処理部１０９に出力するための制御信号をメモリ１０７に供給する回路である。すなわち、水平走査回路１０８によってアドレス指定された列の列メモリに記憶されたデジタルの信号がメモリ１０７から順次読み出され、処理部１０９へと転送される。

処理部１０９は、メモリ１０７から読み出されたデジタルの信号に対して所定の処理を行う。処理部１０９が行う処理には、デジタル相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）や、後述する補正処理などが含まれる。また、処理部１０９は、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）などの外部インターフェースを含み、処理後のデジタル信号を光電変換装置１００の外部へと出力する。

制御部１０４（タイミングジェネレータとも呼ばれうる。）は、垂直走査回路１０３、読出回路１０５、ＡＤ変換回路１０６、メモリ１０７、水平走査回路１０８、処理部１０９に対して、動作やそのタイミングを制御する制御信号を供給するための制御回路である。これら制御信号の少なくとも一部は、光電変換装置１００の外部から供給されてもよい。また、制御部１０４には、外部からの通信によって光電変換装置１００の設定情報を与えることができる。この場合、制御部１０４は、外部から入力された設定情報に基づき、垂直走査回路１０３、読出回路１０５、ＡＤ変換回路１０６、メモリ１０７、水平走査回路１０８、処理部１０９の制御を行う。制御部１０４の機能は、ＣＰＵやＭＰＵなどがプログラムを読み出して実行することによって実現されてもよいし、ＡＳＩＣやＦＰＧＡなどの機能を実現する回路によって実現されてもよい。

ここで、光電変換部１１２Ａから得られる信号、すなわち光電変換部１１２Ａで生じた電荷に応じた信号をＡ像信号と呼ぶ。また、光電変換部１１２Ｂから得られる信号、すなわち光電変換部１１２Ｂで生じた電荷に応じた信号をＢ像信号と呼ぶ。Ａ像信号およびＢ像信号は、例えば、焦点検出用の信号として用いることができる。また、Ａ像信号とＢ像信号とを合成した信号、すなわち光電変換部１１２Ａで生じた電荷と光電変換部１１２Ｂで生じた電荷とを合成することによって得られる電荷に応じた信号をＡ＋Ｂ像信号と呼ぶ。Ａ＋Ｂ像信号は、例えば、撮像画像用の信号として用いることができる。

また、画素アレイ１０１を構成する複数の行のうち、Ａ像信号とＡ＋Ｂ像信号とが読み出される画素１０２を含む行を、焦点検出用データ行と呼ぶ。また、画素アレイ１０１を構成する複数の行のうち、画素１０２からＡ＋Ｂ像信号のみが読み出される行を、撮像画像用データ行と呼ぶ。本実施形態による光電変換装置１００では、画素アレイ１０１内に焦点検出用データ行と撮像画像用データ行とが、撮像パラメータ（撮像条件）などに応じて適宜設定される。

画素１０２のそれぞれは、例えば、図２に示される回路によって構成されうる。図２に示されるように、画素１０２のそれぞれは、２つのフォトダイオードＰＤＡ、ＰＤＢ、転送トランジスタＭ１Ａ、Ｍ１Ｂ、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４を含みうる。

２つのフォトダイオードＰＤＡ、ＰＤＢは、上述の光電変換部１１２Ａ、１１２Ｂにそれぞれ対応している。１つの画素１０２のフォトダイオードＰＤＡ、ＰＤＢは、１つのマイクロレンズ（図示せず）を共有し、撮像レンズの射出瞳の異なる瞳領域を通過した光が入射するように構成されている。これによって、フォトダイオードＰＤＡで生じた電荷に基づく信号とフォトダイオードＰＤＢで生じた電荷に基づく信号とは、焦点距離検出用の信号として使用することができる。また、フォトダイオードＰＤＡで生じた電荷とフォトダイオードＰＤＢで生じた電荷とをそれぞれ加えた総電荷に基づく信号は、画像取得用の信号として使用することができる。

フォトダイオードＰＤＡは、アノードが接地ノード（ＧＮＤ）に接続され、カソードが転送トランジスタＭ１Ａのソースに接続されている。フォトダイオードＰＤＢは、アノードが接地ノード（ＧＮＤ）に接続され、カソードが転送トランジスタＭ１Ｂのソースに接続されている。転送トランジスタＭ１Ａ、Ｍ１Ｂのドレインは、リセットトランジスタＭ２のソースおよび増幅トランジスタＭ３のゲートに接続されている。転送トランジスタＭ１Ａ、Ｍ１Ｂのドレイン、リセットトランジスタＭ２のソースおよび増幅トランジスタＭ３のゲートの接続ノードは、いわゆるフローティングディフュージョンＦＤである。フローティングディフュージョンＦＤは、容量成分を含み、電荷保持部として機能するとともに、この容量成分によって電荷電圧変換部を構成する。リセットトランジスタＭ２のドレインおよび増幅トランジスタＭ３のドレインは、電源ノード（電圧ＶＤＤ）に接続されている。増幅トランジスタＭ３のソースは、選択トランジスタＭ４のドレインに接続されている。選択トランジスタＭ４のソースは、垂直出力線１１１に接続されている。ここで、トランジスタの２つの主端子におけるソースおよびドレインの呼称は、トランジスタの導電型や着目する機能などに応じて異なることがあり、上述のソースおよびドレインは逆の名称で呼ばれることもある。

各行の行選択線１１０は、転送トランジスタＭ１Ａのゲートに接続された信号線、転送トランジスタＭ１Ｂのゲートに接続された信号線、リセットトランジスタＭ２のゲートに接続された信号線、選択トランジスタＭ４のゲートに接続された信号線を含む。転送トランジスタＭ１Ａのゲートに接続された信号線には、垂直走査回路１０３から、制御信号ＰＴＸＡが供給される。転送トランジスタＭ１Ｂのゲートに接続された信号線には、垂直走査回路１０３から、制御信号ＰＴＸＢが供給される。リセットトランジスタＭ２のゲートに接続された信号線には、垂直走査回路１０３から、制御信号ＰＲＥＳが供給される。選択トランジスタＭ４のゲートに接続された信号線には、垂直走査回路１０３から、制御信号ＰＳＥＬが供給される。それぞれのトランジスタがＮ型トランジスタで構成される場合、垂直走査回路１０３からハイレベルの制御信号が供給されると、対応するトランジスタがオン（導通）状態になり、垂直走査回路１０３からローレベルの制御信号が供給されると対応するトランジスタがオフ（不導通）状態になる。

画素アレイ１０１に光が入射すると、それぞれの画素１０２のフォトダイオードＰＤＡ、ＰＤＢは、入射光の光量に応じた量の電荷を生成（光電変換）するとともに、生じた電荷を蓄積する。転送トランジスタＭ１Ａ、Ｍ１Ｂは、オン動作することによってフォトダイオードＰＤＡ、ＰＤＢの電荷をフローティングディフュージョンＦＤに転送する。フローティングディフュージョンＦＤは、フォトダイオードＰＤＡ、ＰＤＢから転送された電荷を保持する。Ａ像信号を読み出す際には、フォトダイオードＰＤＡにおいて光電変換された電荷が、転送トランジスタＭ１Ａを介してフローティングディフュージョンＦＤに転送される。Ｂ像信号を読み出す際には、フォトダイオードＰＤＢにおいて光電変換された電荷が、転送トランジスタＭ１Ｂを介してフローティングディフュージョンＦＤに転送される。Ａ＋Ｂ像信号を読み出す際には、フォトダイオードＰＤＡ、ＰＤＢにて光電変換された総電荷が、転送トランジスタＭ１Ａ、Ｍ１Ｂを介してフローティングディフュージョンＦＤに転送される。これによって、フローティングディフュージョンＦＤは、その容量成分による電荷電圧変換によって、フォトダイオードＰＤＡ、ＰＤＢから転送された電荷の量に応じた電圧になる。

増幅トランジスタＭ３には、ドレインに電圧ＶＤＤが供給され、ソースに選択トランジスタＭ４を介して図示しない電流源からバイアス電流が供給される構成になっており、ゲートを入力ノードとする増幅部（ソースフォロワ回路）を構成する。これによって増幅トランジスタＭ３は、フローティングディフュージョンＦＤの電圧に基づく信号を、選択トランジスタＭ４を介して垂直出力線１１１に出力する。リセットトランジスタＭ２は、オン動作することによってフローティングディフュージョンＦＤを電圧ＶＤＤに応じた電圧にリセットする。

画素１０２の転送トランジスタＭ１Ａ、Ｍ１Ｂ、リセットトランジスタＭ２および選択トランジスタＭ４は、垂直走査回路１０３から供給される制御信号ＰＴＸＡ、ＰＴＸＢ、ＰＲＥＳ、ＰＳＥＬによって行単位で制御される。制御信号ＰＳＥＬによって選択された行（選択行）に接続された複数の画素１０２の画素信号は、各列の垂直出力線１１１に同時に出力される。

次に、本実施形態による撮像装置の画素アレイ１０１の動作について、図３および図４を用いて説明する。図３は、撮像画像用データ行に属する画素１０２から信号を読み出す場合のタイミング図である。図４は、焦点検出用データ行に属する画素１０２から信号を読み出す場合のタイミング図である。図３および図４には、一例として、垂直走査回路１０３によってｎ行目の画素１０２が選択された際の読出動作が示されている。画素１０２のそれぞれのトランジスタは、上述のように、垂直走査回路１０３からハイレベルの制御信号が供給されるとオン状態になり、垂直走査回路１０３からローレベルの制御信号が供給されるとオフ状態になるものとする。

まず、撮像画像用データ行に対する読出動作について、図３を用いて説明する。図３には、水平同期信号ＳＹＮＣ、制御信号ＰＳＥＬ（ｎ）、ＰＲＥＳ（ｎ）、ＰＴＸＡ（ｎ）、ＰＴＸＢ（ｎ）、ＡＤ変換の期間、水平走査パルス信号が示されている。撮像画像用データ行からのデータの読み出しは、フォトダイオードＰＤＡ、ＰＤＢで生成された電荷を合成することによって得られる電荷に応じたＡ＋Ｂ像信号を読み出す駆動モードで行われる。一方、撮像画像用データ行からのデータの読み出しにおいて、フォトダイオードＰＤＡのみで生成された電荷に応じたＡ像信号、または、フォトダイオードＰＤＢのみで生成された電荷に応じたＢ像信号を読み出す駆動モードは実施されない。

時刻ｔ３０１において、制御部１０４から垂直走査回路１０３に供給される水平同期信号ＳＹＮＣがローレベルからハイレベルへと遷移する。この水平同期信号ＳＹＮＣの立ち上がりに応じて、垂直走査回路１０３は、第ｎ行の制御信号ＰＳＥＬ（ｎ）をローレベルからハイレベルへと制御する。これによって、第ｎ行に属する画素１０２は、選択トランジスタＭ４がオン状態になり、選択トランジスタＭ４を介して垂直出力線１１１に信号を出力可能な状態になる。すなわち、垂直走査回路１０３からの制御信号ＰＳＥＬ（ｎ）によって第ｎ行が選択される。

次に、時刻ｔ３０２において、垂直走査回路１０３は、選択された行、すなわち第ｎ行の制御信号ＰＲＥＳ（ｎ）をローレベルからハイレベルへと制御する。これによって、第ｎ行に属する画素１０２は、リセットトランジスタＭ２がオン状態になり、フローティングディフュージョンＦＤが電圧ＶＤＤに応じた電位にリセットされる。

続く時刻ｔ３０３において、垂直走査回路１０３は、第ｎ行の制御信号ＰＲＥＳ（ｎ）をハイレベルからローレベルへと制御する。これによって、第ｎ行に属する画素１０２は、リセットトランジスタＭ２がオフ状態になり、フローティングディフュージョンＦＤのリセットが解除される。このとき、第ｎ行に属する画素１０２の選択トランジスタＭ４はオン状態のままであるため、フローティングディフュージョンＦＤのリセットが解除された際の増幅トランジスタＭ３のゲートの電位に応じた出力信号が、垂直出力線１１１に出力される。このようにして画素１０２から出力されるリセットレベルの画素信号を、Ｎ信号（ノイズ信号）と呼ぶ。

次いで、時刻ｔ３０４から時刻ｔ３０５の期間は、垂直出力線１１１に出力されたＮ信号に対してＡＤ変換処理を行う期間である。垂直出力線１１１に出力されたＮ信号は、読出回路１０５に読み出され、ＡＤ変換回路１０６でデジタル信号に変換される。ＡＤ変換回路１０６によって得られたＮ信号のデジタル信号は、メモリ１０７に保持される。時刻ｔ３０４から時刻ｔ３０５において行われる動作、すなわちＮ信号をデジタル信号に変換する動作をＮ変換と呼ぶ。

次に、時刻ｔ３０６において、垂直走査回路１０３は、第ｎ行の制御信号ＰＴＸＡ（ｎ）、ＰＴＸＢ（ｎ）をそれぞれローレベルからハイレベルへと制御する。これによって、第ｎ行に属する画素１０２は、転送トランジスタＭ１Ａ、Ｍ１Ｂがオン状態になり、フォトダイオードＰＤＡ、ＰＤＢに蓄積されていた電荷がフローティングディフュージョンＦＤに転送される。これによって、フローティングディフュージョンＦＤ、すなわち増幅トランジスタＭ３のゲートの電位が、フォトダイオードＰＤＡ、ＰＤＢから転送された電荷の量に応じた電位になる。このとき、第ｎ行に属する画素１０２の選択トランジスタＭ４はオン状態のままであるため、垂直出力線１１１には、フォトダイオードＰＤＡ、ＰＤＢで発生した電荷の総量に応じた信号であるＡ＋Ｂ像信号が出力される。

続く時刻ｔ３０７において、垂直走査回路１０３は、第ｎ行の制御信号ＰＴＸＡ（ｎ）、ＰＴＸＢ（ｎ）をそれぞれハイレベルからローレベルへと制御する。これによって、第ｎ行に属する画素１０２の転送トランジスタＭ１Ａ、Ｍ１Ｂがオフ状態になる。転送トランジスタＭ１Ａ、Ｍ１Ｂがオフ状態になった後も、垂直出力線１１１にはＡ＋Ｂ像信号が出力され続ける。

次いで、時刻ｔ３０８から時刻ｔ３０９の期間は、垂直出力線１１１に出力されたＡ＋Ｂ像信号に対してＡＤ変換処理を行う期間である。垂直出力線１１１に出力されたＡ＋Ｂ像信号は、読出回路１０５に読み出され、ＡＤ変換回路１０６でデジタル信号に変換される。ＡＤ変換回路１０６によって得られたＡ＋Ｂ像信号のデジタル信号は、メモリ１０７のＮ信号が保持されたメモリ領域とは異なるメモリ領域に保持される。時刻ｔ３０８から時刻ｔ３０９において行われる動作、すなわちＡ＋Ｂ像信号をデジタル信号に変換する動作をＡ＋Ｂ変換と呼ぶ。

続く時刻ｔ３１０から時刻ｔ３１１の期間は、メモリ１０７に保持されたＮ信号およびＡ＋Ｂ像信号を処理部１０９へと転送する期間である。水平走査回路１０８は、メモリ１０７に水平走査パルス信号を出力する。メモリ１０７は、水平走査パルス信号で選択されたアドレス（列）に対応するＮ信号およびＡ＋Ｂ像信号を処理部１０９へと転送する。この動作を水平走査パルス信号が選択するアドレスを変えながら第０列から第ｍ列まで繰り返し行う（水平走査を行う）ことによって、読み出し対象になっている行の１行分のＮ信号とＡ＋Ｂ像信号とを読み出すことができる。処理部１０９は、Ａ＋Ｂ像信号から当該Ａ＋Ｂ像信号に対応するＮ信号を減算する処理を行い、Ａ＋Ｂ像信号に重畳するノイズを抑制する。

その後、垂直走査回路１０３は、第ｎ行の制御信号ＰＳＥＬ（ｎ）をハイレベルからローレベルへと制御して第ｎ行の選択を解除し、撮像画像用データ行の１行分の読出動作を完了し、次の行の読出動作へと移行する。

次に、焦点検出用データ行に対する読出動作について、図４を用いて説明する。図４には、水平同期信号ＳＹＮＣ、制御信号ＰＳＥＬ（ｎ）、ＰＲＥＳ（ｎ）、ＰＴＸＡ（ｎ）、ＰＴＸＢ（ｎ）、ＡＤ変換の期間、水平走査パルス信号が示されている。

焦点検出用データ行からの読み出しは、フォトダイオードＰＤＡで生成された電荷に応じたＡ像信号と、フォトダイオードＰＤＡ、ＰＤＢで生成された電荷を合成することによって得られる合成電荷に応じたＡ＋Ｂ像信号と、を読み出す駆動モードで行われる。

時刻ｔ４０１において、制御部１０４から垂直走査回路１０３に供給される水平同期信号ＳＹＮＣがローレベルからハイレベルへと遷移する。この水平同期信号ＳＹＮＣの立ち上がりに応じて、垂直走査回路１０３は、第ｎ行の制御信号ＰＳＥＬ（ｎ）をローレベルからハイレベルへと制御する。これによって、第ｎ行に属する画素１０２の選択トランジスタＭ４がオン状態になり、第ｎ行が選択される。

次に、時刻ｔ４０２において、垂直走査回路１０３は、第ｎ行の制御信号ＰＲＥＳ（ｎ）をローレベルからハイレベルへと制御する。これによって、第ｎ行に属する画素１０２は、リセットトランジスタＭ２がオン状態になり、フローティングディフュージョンＦＤが電圧ＶＤＤに応じた電位にリセットされる。

続く時刻ｔ４０３において、垂直走査回路１０３は、第ｎ行の制御信号ＰＲＥＳ（ｎ）をハイレベルからローレベルへと制御する。これによって、第ｎ行に属する画素１０２は、リセットトランジスタＭ２がオフ状態になり、フローティングディフュージョンＦＤのリセットが解除される。このとき、第ｎ行に属する画素１０２の選択トランジスタＭ４はオン状態のままであるため、リセットレベルの画素信号（Ｎ信号）が垂直出力線１１１に出力される。

次いで、時刻ｔ４０４から時刻ｔ４０５の期間は、垂直出力線１１１に出力されたＮ信号に対してＡＤ変換処理（Ｎ変換）を行う期間である。垂直出力線１１１に出力されたＮ信号は、読出回路１０５に読み出され、ＡＤ変換回路１０６でデジタル信号に変換される。ＡＤ変換回路１０６によって得られたＮ信号のデジタル信号は、メモリ１０７に保持される。

次の時刻ｔ４０６において、垂直走査回路１０３は、第ｎ行の制御信号ＰＴＸＡ（ｎ）をローレベルからハイレベルへと制御する。これによって、第ｎ行に属する画素１０２は、転送トランジスタＭ１Ａがオン状態になり、フォトダイオードＰＤＡに蓄積されていた電荷がフローティングディフュージョンＦＤに転送される。これによって、フローティングディフュージョンＦＤ、すなわち増幅トランジスタＭ３のゲートの電位が、フォトダイオードＰＤＡから転送された電荷の量に応じた電位になる。このとき、第ｎ行に属する画素１０２の選択トランジスタＭ４はオン状態のままであるため、垂直出力線１１１には、フォトダイオードＰＤＡで発生した電荷の量に応じた画素信号であるＡ像信号が出力される。

続く時刻ｔ４０７において、垂直走査回路１０３は、第ｎ行の制御信号ＰＴＸＡ（ｎ）をハイレベルからローレベルへと制御する。これによって、第ｎ行に属する画素１０２の転送トランジスタＭ１Ａがオフ状態になる。転送トランジスタＭ１Ａがオフ状態になった後も、垂直出力線１１１にはＡ像信号が出力され続ける。

次いで、時刻ｔ４０８から時刻ｔ４０９の期間は、垂直出力線１１１に出力されたＡ像信号に対してＡＤ変換処理を行う期間である。垂直出力線１１１に出力されたＡ像信号は、読出回路１０５に読み出され、ＡＤ変換回路１０６でデジタル信号に変換される。ＡＤ変換回路１０６によって得られたＡ像信号のデジタル信号は、メモリ１０７のＮ信号が保持されたメモリ領域とは異なるメモリ領域に保持される。時刻ｔ４０８から時刻ｔ４０９において行われる動作、すなわちＡ像信号をデジタル信号に変換する動作をＡ変換と呼ぶ。

続く時刻ｔ４１０から時刻ｔ４１１の期間は、メモリ１０７に保持されたＮ信号およびＡ像信号を処理部１０９へと転送する期間である。水平走査回路１０８は、メモリ１０７に水平走査パルス信号を出力する。メモリ１０７は、水平走査パルス信号で選択されたアドレス（列）に対応するＮ信号およびＡ像信号を処理部１０９へと転送する。この動作を水平走査パルス信号が選択するアドレスを変えながら第０列から第ｍ列まで繰り返し行う（水平走査を行う）ことによって、読み出し対象になっている行の１行分のＮ信号とＡ像信号とを読み出すことができる。

次に、時刻ｔ４１２において、制御部１０４から垂直走査回路１０３に供給される水平同期信号ＳＹＮＣが、再びローレベルからハイレベルへと遷移する。このとき、第ｎ行に属する画素１０２の選択トランジスタＭ４はオン状態のままであり、第ｎ行が選択された状態が維持される。

続く時刻ｔ４１３から時刻ｔ４１４の期間において、垂直走査回路１０３は、第ｎ行の制御信号ＰＲＥＳ（ｎ）をローレベルのまま維持する。すなわち、時刻ｔ４１３から時刻ｔ４１４の期間では、フローティングディフュージョンＦＤのリセットおよびＮ変換を実施しない。フローティングディフュージョンＦＤには、時刻ｔ４０６から時刻ｔ４１５の期間、フォトダイオードＰＤＡから転送された電荷がそのまま保持された状態である。

次いで、時刻ｔ４１５において、垂直走査回路１０３は、第ｎ行の制御信号ＰＴＸＡ（ｎ）、ＰＴＸＢ（ｎ）をローレベルからハイレベルへと制御する。これによって、第ｎ行に属する画素１０２は、転送トランジスタＭ１Ａ、Ｍ１Ｂがオン状態になり、フォトダイオードＰＤＢに蓄積されていた電荷がフローティングディフュージョンＦＤに転送される。これによって、フローティングディフュージョンＦＤでは、フォトダイオードＰＤＡから転送された電荷に、フォトダイオードＰＤＢから転送された電荷が加算される。フローティングディフュージョンＦＤの電位、すなわち増幅トランジスタＭ３のゲートの電位は、フォトダイオードＰＤＡ、ＰＤＢから転送された電荷の総量に応じた電位になる。このとき、第ｎ行に属する画素１０２の選択トランジスタＭ４はオン状態のままであるため、垂直出力線１１１には、フォトダイオードＰＤＡ、ＰＤＢで発生した電荷の総量に応じた画素信号であるＡ＋Ｂ像信号が出力される。

次に、時刻ｔ４１６において、垂直走査回路１０３は、第ｎ行の制御信号ＰＴＸＡ（ｎ）、ＰＴＸＢ（ｎ）をハイレベルからローレベルへと制御する。これによって、第ｎ行に属する画素１０２の転送トランジスタＭ１Ａ、Ｍ１Ｂがオフ状態になる。転送トランジスタＭ１Ａ、Ｍ１Ｂがオフ状態になった後も、垂直出力線１１１にはＡ＋Ｂ像信号が出力され続ける。

続く時刻ｔ４１７から時刻ｔ４１８の期間は、垂直出力線１１１に出力されたＡ＋Ｂ像信号に対してＡＤ変換処理（Ａ＋Ｂ変換）を行う期間である。垂直出力線１１１に出力されたＡ＋Ｂ像信号は、読出回路１０５に読み出され、ＡＤ変換回路１０６でデジタル信号に変換される。ＡＤ変換回路１０６によって得られたＡ＋Ｂ像信号のデジタル信号は、メモリ１０７のＡ像信号を保持していたメモリ領域と同じメモリ領域に保持されてもよい。

次いで、時刻ｔ４１９から時刻ｔ４２０の期間は、メモリ１０７に保持されたＮ信号およびＡ＋Ｂ像信号を処理部１０９へと転送する期間である。水平走査回路１０８は、メモリ１０７に水平走査パルス信号を出力する。メモリ１０７は、水平走査パルス信号で選択されたアドレス（列）に対応するＮ信号およびＡ＋Ｂ像信号を処理部１０９へと転送する。この動作を水平走査パルス信号が選択するアドレスを変えながら第０列から第ｍ列まで繰り返し行う（水平走査を行う）ことによって、読み出し対象になっている行の１行分のＮ信号とＡ＋Ｂ像信号とを読み出すことができる。

このようにして、読み出し対象になっている行の１行分のＡ像信号と、当該Ａ像信号に対応するＮ信号と、Ａ＋Ｂ像信号と、当該Ａ＋Ｂ像信号に対応するＮ信号と、を読み出すことができる。

処理部１０９は、Ａ像信号から当該Ａ像信号に対応するＮ信号を減算する処理を行い、Ａ像信号に重畳するノイズを抑制する。また、処理部１０９は、Ａ＋Ｂ像信号から当該Ａ＋Ｂ像信号に対応するＮ信号を減算する処理を行い、Ａ＋Ｂ像信号に重畳するノイズを抑制する。焦点検出を行うために必要になるＢ像信号は、Ａ＋Ｂ像信号からＡ像信号を減算することによって得ることができる。

その後、垂直走査回路１０３は、第ｎ行の制御信号ＰＳＥＬ（ｎ）をハイレベルからローレベルへと制御して第ｎ行の選択を解除し、焦点検出用データ行の１行分の読出動作を完了し、次の行の読出動作へと移行する。

撮像画像用データ行の画素１０２から画素信号を読み出す際には、図３に示したように、Ａ＋Ｂ像信号を読み出す。一方、焦点検出用データ行の画素１０２から画素信号を読み出す際には、図４に示すように、同じ行からＡ像信号とＡ＋Ｂ像信号とを読み出す。

図５（ａ）、５（ｂ）は、本実施形態の光電変換装置１００における読出動作を概念的に説明する図である。図５（ａ）は、画素アレイ１０１の構成例を示している。図５（ｂ）は、光電変換装置１００から出力される信号を、水平同期信号ＳＹＮＣを基準に改行しながら、出力される順番で左から順に並べた概念図である。図５（ｂ）における水平方向の幅が、水平同期信号ＳＹＮＣの間隔で規定される１水平期間の長さに対応している。

画素アレイ１０１を構成する複数の画素１０２は、フォトダイオードＰＤＡ、ＰＤＢが遮光されていない受光画素と、フォトダイオードＰＤＡ、ＰＤＢが遮光されたオプティカルブラック（ＯＢ）画素と、を含む。画素アレイ１０１のうち、受光画素が配された領域が受光画素領域５０２であり、ＯＢ画素が配された領域が基準画素領域（オプティカルブラック領域とも言う）５０１である。図５（ａ）、５（ｂ）において、基準画素領域５０１と受光画素領域５０２とを視覚的に区別しやすいように、基準画素領域５０１にドットパターンが付されている。基準画素領域５０１には、任意の領域を設定することができ、設定した領域は、受光画素の出力データに対する補正処理において用いられる補正値（クランプ値）を生成するために使用することができる。この領域をクランプ値取得領域と呼ぶ。

また、基準画素領域５０１のうち、画素アレイ１０１の上側の辺に接する領域をＶＯＢ画素領域５０６とよび、画素アレイ１０１の左側の辺に接する領域をＨＯＢ画素領域５０７と呼ぶ。ＶＯＢ画素領域５０６は、受光画素領域５０２の受光画素が配された行とは異なる行に配されたＯＢ画素を含む領域である。ＨＯＢ画素領域５０７は、受光画素領域５０２の受光画素が配された行と同じ行の異なる列に配されたＯＢ画素を含む領域である。一例では、クランプ値取得領域は、ＶＯＢ画素領域５０６のうちの一部の行に設定される。

図５（ｂ）は、画素アレイ１０１から読み出された画素信号の内訳が示されている。図５（ｂ）において、撮像画像用データ行から読み出された信号と焦点検出用データ行から読み出された信号とを視覚的に区別しやすいように、焦点検出用データ行から読み出された信号に線影を付している。例えば、画素アレイ１０１のある撮像画像用データ行から、図３に示されるタイミングに従って、水平期間５０３の間にＡ＋Ｂ像信号が出力される。また、画素アレイ１０１のある焦点検出用データ行から、図４に示されるタイミングに従って、水平期間５０４の間にＡ像信号が出力され、水平期間５０５の間にＡ＋Ｂ像信号が出力される。このように、本実施形態による光電変換装置１００の読出動作において、撮像画像用データの出力中に焦点検出用データが離散的に出力される。

次に、処理部１０９において行われる信号処理について説明する。処理部１０９では、まず、Ａ＋Ｂ像信号から当該Ａ＋Ｂ像信号に対応するＮ信号を減算する処理が行われる。これによって、Ａ＋Ｂ像信号からノイズが抑制される。次に、ノイズが抑制されたＡ＋Ｂ像信号に対して、後述する汎用補正処理が実施される。その後に、基準画素領域５０１から生成されたクランプ値を減算する処理が行われる。このクランプ値を減算する処理は、黒レベルを基準レベルに合わせる補正処理である。

図６には、本実施形態の光電変換装置１００における汎用補正処理を実施する処理部１０９に配された補正部６００の構成例を示すブロック図が示されている。補正部６００に入力された信号に対して、補完部６０１、補正値取得部６０２、補正適用部６０３を含む補正部６００によって汎用補正処理が実施される。補正部６００を含む処理部１０９の機能は、ＣＰＵやＭＰＵなどがプログラムを読み出して実行することによって実現されてもよいし、ＡＳＩＣやＦＰＧＡなどの機能を実現する回路によって実現されてもよい。

補完部６０１は、故障や突発性のノイズなどによって外れ値をもった信号（キズデータと呼ばれうる。）が後述する汎用補正処理に影響しないようにするために、キズデータの値を基準値に置き替える。補完部６０１は、例えば、画素アレイ１０１から出力され補正部６００に入力された信号のうち所定の閾値を超える信号データをキズデータとして検出できる。基準値は、例えば、所定の領域内の平均値や中央値を用いることができる。

補正値取得部６０２は、補正値を生成するために指定された画素アレイ１０１の領域から出力された信号から補正値を生成する。図６に示されるように、複数の補正値取得部６０２ａ、６０２ｂが、補正部６００に配されていてもよい。複数の補正値取得部６０２ａ、６０２ｂが補正部６００に配されている場合、複数の補正値取得部６０２ａ、６０２ｂのそれぞれが、独立して補正値を求めることができる。補正適用部６０３は、画素アレイ１０１から読み出された信号を、補正値取得部６０２が生成した補正値に基づいて補正する。

以下、上述のように、撮像画像用のデータ（Ａ＋Ｂ像信号）を出力する駆動モードと、焦点検出用（Ａ像信号およびＡ＋Ｂ像信号）を出力する駆動モードと、でそれぞれの画素１０２の駆動が行われる場合を例に説明する。図７は、補正値を生成するために指定された画素アレイ１０１の領域Ｐｏｓ、Ｎｅｇ、および、補正値を適用するために指定された画素アレイの領域Ｃｏｒの例を示す図である。領域Ｐｏｓと領域Ｎｅｇとは、図７に示されるように、一部が重なるように指定されていてもよいし、異なる場所が指定されていてもよいし、同じ場所が指定されていてもよい。それぞれの領域Ｐｏｓ、Ｎｅｇ、Ｃｏｒの指定は、ユーザが適宜指定してもよいし、ユーザによって設定された撮像パラメータ（それぞれの画素行における駆動モードや露光時間、読み出す際のゲインの設定など）に応じて、後述する領域制御部７０１が設定してもよい。

補正値取得部６０２について、図８を用いて詳細に説明する。補正値取得部６０２は、領域制御部７０１、代表値生成部７０２、７０３、補正値生成部７０４を含む。領域制御部７０１は、補正値を生成するために指定された画素アレイ１０１の領域Ｐｏｓ、Ｎｅｇから、複数の駆動モードのうちそれぞれの画素に設定された駆動モードに基づいて複数の画素１０２のうち補正値の生成に信号を使用する画素群を選択する。

代表値生成部７０２は、領域Ｐｏｓから選択された画素群から読み出された信号に基づいた領域Ｐｏｓ代表値を生成する。代表値生成部７０３は、領域Ｎｅｇから選択された画素群から読み出された信号に基づいた領域Ｎｅｇ代表値を生成する。領域Ｐｏｓ代表値および領域Ｎｅｇ代表値は、例えば、領域Ｐｏｓおよび領域Ｎｅｇから選択された画素群からそれぞれ読み出された信号の平均値や中央値でありうる。

補正値生成部７０４は、領域Ｐｏｓ代表値と、領域Ｎｅｇ代表値と、に応じて補正値を生成する。補正値生成部７０４は、例えば、領域Ｐｏｓ代表値と領域Ｎｅｇ代表値との差分を補正値として算出してもよい。また、例えば、補正値生成部７０４が、領域Ｐｏｓ代表値と領域Ｎｅｇ代表値との差分に所定の係数を乗算するなど調整演算を行うことによって、補正値が生成されてもよい。代表値生成部７０２、７０３および補正値生成部７０４は、協働して、領域Ｐｏｓ代表値を生成するために選択された画素群から領域Ｐｏｓ代表値を生成し、領域Ｎｅｇ代表値を生成するために選択された画素群から領域Ｎｅｇ代表値を生成し、領域Ｐｏｓ代表値と領域Ｎｅｇ代表値とに応じて補正値を生成する補正値生成手段として機能する。

補正値生成部７０４は、複数のフレームでそれぞれ生成された複数の補正値を保持する保持部７０５を含んでいてもよい。光電変換装置１００は、連続したフレームにわたって画素アレイ１０１から信号が読み出されるように構成されうる。これによって、補正部６００は、複数の補正値のうち同じフレームで生成された補正値、または、複数の補正値のうち１つ以上前のフレームで生成された補正値を、画素アレイ１０１から読み出された信号に適用可能に構成される。このように、保持部７０５は、複数のフレームでそれぞれ生成された複数の補正値を保持する保持手段として機能する。

例えば、図８に示されるように、補正値取得部６０２が、補正値を保持する２つの保持部７０５を備え、現フレームの信号から取得した補正値と１つ前のフレームの信号から取得した補正値との何れかを、画素アレイ１０１から出力された信号に適用できてもよい。例えば、撮像パラメータなどの設定に基づいて、何れのフレームで取得した補正値を出力するかが選択されうる。

図９を用いて領域制御部７０１について説明する。領域制御部７０１は、位置設定およびフラグ設定を組み合わせて、領域Ｐｏｓから領域Ｐｏｓ代表値を生成するための画素群を選択する。同様に、領域制御部７０１は、位置設定およびフラグ設定を組み合わせて、領域Ｎｅｇから領域Ｎｅｇ代表値を生成するための画素群を選択する。

位置設定は、信号を出力した画素１０２の画素アレイ１０１における座標に基づく領域判定である。例えば、画素アレイ１０１内に矩形領域を指定（垂直方向および水平方向の開始と終了を指定）し、その領域内の画素１０２から出力された信号を領域Ｐｏｓ、領域Ｎｅｇから出力された信号であると判定する。

フラグ設定は、画素１０２から出力される信号に付随して入力されたフラグ（メタデータ）が、所定の値に一致するか否かを判定する。領域制御部７０１は、例えば、フラグが一致した信号を、領域Ｐｏｓ代表値、領域Ｎｅｇ代表値をそれぞれ生成するための画素群として選択する。フラグは、画素１０２の駆動モードなど信号の特性を識別するものである。例えば、フラグは、Ａ像信号であるかＡ＋Ｂ像信号であるかを示す信号であってもよい。また、例えば、フラグは、焦点検出用の駆動モードで読み出された行の画素１０２の信号であるか、撮像画像用の駆動モードで読み出された行の画素１０２の信号であるかを示す信号であってもよい。さらに、例えば、フラグは、１つの画素出力に対して異なるゲインで出力するなど、それぞれの駆動モードにおけるゲインを識別する信号であってもよい。また、例えば、フラグは、ＶＯＢ画素領域５０６、ＨＯＢ画素領域５０７、受光画素領域５０２の何れの画素から出力された信号であるかを示す信号であってもよい。また、例えば、フラグとして、垂直ブランキング期間中であるか否かを示す信号、フレーム番号などが挙げられる。また、フラグとして、当該画素のみならず周囲の画素の駆動モード（例えば、焦点検出用の画素に隣接する画素か否かなど）を含めてもよい。

領域制御部７０１は、位置設定およびフラグ設定を組み合わせることによって、画素アレイ１０１に配される複数の画素１０２のうち領域Ｐｏｓ代表値、領域Ｎｅｇ代表値をそれぞれ生成するための画素群を構成する画素１０２を最終判定する。例えば、位置設定によって画素アレイ１０１の領域Ｐｏｓの位置判定が行われ、フラグ設定によって、領域Ｐｏｓから撮像画素用の駆動モードで信号を読み出された画素１０２によって構成される領域Ｐｏｓ代表値を生成するための画素群が選択される。このように、領域制御部７０１は、補正値を生成するために指定された画素アレイ１０１の領域Ｐｏｓから、複数の駆動モードのうちそれぞれの画素１０２に設定された駆動モードに基づいて複数の画素のうち領域Ｐｏｓ代表値を生成するための画素群を選択する選択手段として機能する。

領域制御部７０１は、位置設定およびフラグ設定だけではなく、さらに、パターン設定を組み合わせて、領域Ｐｏｓ代表値、領域Ｎｅｇ代表値をそれぞれ生成するための画素群を選択してもよい。画素アレイ１０１において、図５（ｂ）に示されるように、複数の駆動モードのそれぞれの駆動モードで駆動される画素１０２が、周期的なパターンを有するように配される場合がある。パターン設定は、所定の周期的なパターンに基づいて、領域Ｐｏｓ代表値、領域Ｎｅｇ代表値をそれぞれ生成するための画素群を選択する。例えば、パターン設定を用いる事で、図５（ｂ）に示されるパターンにおいて、焦点検出用の駆動モードで信号が読み出される画素行の前後行を、領域Ｐｏｓ代表値や領域Ｎｅｇ代表値を生成するための画素群として選択できるなど、柔軟な設定が可能になる。

次いで、補正適用部６０３について、図１０を用いて説明する。補正適用部６０３は、領域制御部８０１、適用部８０２を含む。領域制御部８０１は、領域制御部７０１と同様の構成を有しうる。領域制御部８０１は、指定された画素アレイ１０１の領域Ｃｏｒから、複数の駆動モードのうちそれぞれの画素１０２に設定された駆動モードに基づいて複数の画素１０２のうち補正値取得部６０２によって生成された補正値を適用する画素群を選択する。領域制御部８０１は、上述のように、位置設定、フラグ設定、パターン設定などを組み合わせて、補正値を適用する領域Ｃｏｒ内に配された画素によって構成される画素群を選択する。

適用部８０２は、領域制御部８０１によって選択された画素群を構成する画素１０２から出力された信号に対して、それぞれ補正値を適用する。例えば、適用部８０２は、領域制御部８０１によって選択された画素１０２から出力された信号に対して、補正値取得部６０２によって生成された補正値を加算、減算、乗算、除算するなど、四則演算を用いて補正を行ってもよい。例えば、補正値生成部７０４において、領域Ｐｏｓ代表値と領域Ｎｅｇ代表値との差分に基づいて補正値を生成する。この場合、適用部８０２は、領域制御部８０１によって選択された画素１０２から読み出された信号に対して、補正値を加算してもよい。また、例えば、補正値生成部７０４において、領域Ｐｏｓ代表値と領域Ｎｅｇ代表値との比に基づいて補正値を生成する。この場合、適用部８０２は、補正値を乗算することによってゲイン成分を補正できる。このように、補正適用部６０３は、画素アレイ１０１から読み出された信号を、補正値に基づいて補正する補正手段として機能する。

また、補正適用部６０３の適用部８０２は、領域制御部８０１によって選択された画素群以外から読み出された信号に補正値を適用しなくてもよい。例えば、画素アレイ１０１から読み出された信号のうち、領域制御部８０１によって選択された画素群以外から読み出された信号は、汎用補正処理を実施せずに出力されてもよい。

図６に示されるように複数の補正値取得部６０２が存在する場合、それぞれの補正値取得部６０２に対応して複数の適用部８０２ａ、８０２ｂが、図８に示されるように配されうる。複数の適用部８０２ａ、８０２ｂが、連続してそれぞれの補正値１、２を適用した結果が、補正適用部６０３から出力される。この場合、補正値が適用される画素群は、それぞれの補正値１、２に対して独立に設定可能である。画素アレイ１０１から出力される全ての信号に対して補正が行われる場合、領域制御部８０１は、配されていなくてもよい。

図１１（ａ）、１１（ｂ）には、本実施形態の補正部６００における汎用補正処理の例が示されている。例えば、ＶＯＢ画素領域５０６において、焦点検出用データと撮像画像用データとの差分から補正値を求め、受光画素領域５０２の焦点検出用データの補正に用いる場合が考えられる。この場合、図１１（ａ）に示されるように、領域Ｐｏｓ代表値を生成するための画素群の選択として、位置設定としてＶＯＢ画素領域５０６、フラグ設定として撮像画像用の駆動モードで読み出された信号がそれぞれ設定される。これによって、ＶＯＢ画素領域５０６、かつ、撮像画像用データ行に配された画素１０２によって構成される画素群が、領域Ｐｏｓ代表値を生成するための画素群として選択される。また、領域Ｎｅｇ代表値を生成するための画素群の選択として、位置設定としてＶＯＢ画素領域５０６、フラグ設定として焦点検出用の駆動モードで読み出された信号がそれぞれ設定される。これによって、ＶＯＢ画素領域５０６、かつ、焦点検出用データ行に配された画素１０２によって構成される画素群が、領域Ｎｅｇ代表値を生成するための画素群として選択される。このように、領域Ｐｏｓ代表値を生成するための画素群および領域Ｎｅｇ代表値を生成するための画素群が、複数の画素１０２のうち基準画素領域５０１（オプティカルブラック領域）に配されている画素１０２によって構成されていてもよい。

領域Ｐｏｓ代表値および領域Ｎｅｇ代表値に応じて生成された補正値を適用する画素群の選択として、位置設定として受光画素領域５０２、フラグ設定として焦点検出用の駆動モードで読み出された信号がそれぞれ設定される。これによって、受光画素領域５０２、かつ、焦点検出用データ行に配された画素１０２によって構成される画素群が、補正値が適用される画素群として選択される。また、図８に示されるように、補正値取得部６０２が、補正値を保持する２つの保持部７０５を備える場合、受光画素領域５０２、かつ、焦点検出用データ行に配された画素１０２によって構成される画素群から読み出された信号に対して、同じフレームで生成された信号から取得された補正値が適用されうる。

また、例えば、垂直シェーディングが大きく、ＶＯＢ画素領域５０６と受光画素領域５０２との間でオフセット量が異なってくる可能性もある。この場合、図１１（ｂ）に示されるように、領域Ｐｏｓ代表値を生成するための画素群の選択として、位置設定としてＨＯＢ画素領域５０７、フラグ設定として撮像画像用の駆動モードで読み出された信号がそれぞれ設定される。これによって、ＨＯＢ画素領域５０７、かつ、撮像画像用データ行に配された画素１０２によって構成される画素群が、領域Ｐｏｓ代表値を生成するための画素群として選択される。また、領域Ｎｅｇ代表値を生成するための画素群の選択として、位置設定としてＨＯＢ画素領域５０７、フラグ設定として焦点検出用の駆動モードで読み出された信号がそれぞれ設定される。これによって、ＨＯＢ画素領域５０７、かつ、焦点検出用データ行に配された画素１０２によって構成される画素群が、領域Ｎｅｇ代表値を生成するための画素群として選択される。

領域Ｐｏｓ代表値および領域Ｎｅｇ代表値に応じて生成された補正値を適用する画素群の選択として、位置設定として画素アレイ１０１、フラグ設定として焦点検出用の駆動モードで読み出された信号がそれぞれ設定される。これによって、画素アレイ１０１、かつ、焦点検出用データ行に配された画素１０２によって構成される画素群が、補正値が適用される画素群として選択される。また、図８に示されるように、補正値取得部６０２が、補正値を保持する２つの保持部７０５を備える場合、受光画素領域５０２、かつ、焦点検出用データ行に配された画素１０２によって構成される画素群から読み出された信号に対して、１つ前のフレームで生成された信号から取得された補正値が適用されうる。

以上、説明したように、本実施形態の汎用補正処理を実施するための補正部６００を備える光電変換装置１００は、領域Ｐｏｓ代表値および領域Ｎｅｇ代表値を生成するための領域Ｐｏｓおよび領域Ｎｅｇの位置設定を柔軟に制御することが可能である。これによって、様々な駆動モードやそれぞれの駆動モードで動作する画素行の配置パターンなどに対応可能な汎用的な補正処理が実現できる。

次いで、補正値が画素アレイ１０１内で一様でない場合に対して、上述の汎用補正処理を適用する方法について説明する。光電変換装置１００において、理想的には全ての座標位置において、補正値が直接計測されれば、補正処理の精度は高くなる。しかしながら、補正値を取得するための計算コストが高くなるため、離散的に計測した補正値から補間によって各座標位置における補正値（補間補正値）を求める。

図１２には、図８に示される補正値取得部６０２の変形例である補正値取得部１００２の構成が示されている。図１２に示される補正値取得部１００２は、図８に示される補正値取得部６０２と比較して、補間部１００５が追加されている。補間部１００５を含む補正値取得部１００２以外の光電変換装置１００の構成は、上述の各構成と同様であってもよいため、ここでは、補正値取得部１００２を中心に説明する。

また、補正値取得部１００２を備える光電変換装置１００の動作として、補正値を生成するフレームと補正値が適用されるフレームとは、別のフレームであるとして説明する。例えば、領域制御部７０１、代表値生成部７０２、７０３、補正値生成部７０４は、補正値を生成するフレームにおいて動作し、補間部１００５は、補正適用部６０３が画素アレイ１０１から読み出された信号に補正値を適用するフレームで動作する。補正値を生成するフレームには、通常の撮像を行うフレームが用いてもよい。また、例えば、遮光した状態、あるいは、制御信号ＰＴＸＡ、ＰＴＸＢをローレベルに固定した状態で画素アレイ１０１から信号が読み出される補正値生成用のフレームを用いて、補正値が生成されてもよい。

まず、補正値を生成するフレームにおける動作を説明する。領域制御部７０１は、位置設定において、複数の領域Ｐｏｓおよび複数の領域Ｎｅｇを設定し、複数の領域内の画素１０２から出力された信号を領域Ｐｏｓ、領域Ｎｅｇから出力された信号であると判定する。例えば、領域Ｐｏｓおよび領域Ｎｅｇは、１フレームにおいて、図１３（ａ）に示される９か所の領域１～９に設定できるものとする。図１３（ａ）に示される領域１に１つ目の領域Ｐｏｓおよび領域Ｎｅｇが設定され、領域２に２つ目の領域Ｐｏｓおよび領域Ｎｅｇが設定され、領域９に９つ目の領域Ｐｏｓおよび領域Ｎｅｇが設定される。また、フラグ設定を組み合わせることによって、領域Ｐｏｓとして設定された領域１から、例えば、撮像画像用の駆動モードで信号が読み出される画素１０２によって構成される画素群が選択される。また、領域Ｎｅｇとして設定された領域１から、例えば、焦点検出用の駆動モードで信号が読み出される画素１０２によって構成される画素群が選択される。同様に、それぞれの領域２～９から、それぞれ領域Ｐｏｓ代表値および領域Ｎｅｇ代表値を生成するための画素群が選択される。つまり、図１３（ａ）に示されるように、領域Ｐｏｓ代表値、領域Ｎｅｇ代表値を生成するための画素群が、画素アレイ１０１の複数の領域にわたって配されている。

次いで、代表値生成部７０２は、領域１～９のそれぞれの領域Ｐｏｓ代表値、領域Ｎｅｇ代表値を生成する。領域１～９のそれぞれの領域Ｐｏｓ代表値、領域Ｎｅｇ代表値を用いて、補正値生成部７０４は、領域１～９ごとに領域Ｐｏｓ代表値および領域Ｎｅｇ代表値に応じて、領域１～９それぞれの補正値を生成する。補正値生成部７０４は、例えば、上述のように、領域Ｐｏｓ代表値および領域Ｎｅｇ代表値の差分や比を、補正値として生成する。これによって、補正値を生成するフレームにおいて、図１３（ａ）の複数の領域１～９のそれぞれに対応した複数の補正値が生成される。

次に、補正値が適用されるフレームにおける動作を説明する。補間部１００５は、複数の領域１～９の画素アレイ１０１における位置と、複数の補正値と、に基づいて、画素アレイ１０１における複数の画素１０２のそれぞれの位置に対応する補間補正値を生成する補間手段として機能する。補間部１００５は、例えば、領域１～９の補正値、領域１～９の画素アレイ１０１における重心位置、それぞれの画素１０２の座標に基づいて、補間処理によって画素１０２ごとの補間補正値を求める。補間処理は、例えば、図１３（ｂ）に示されるように、注目する画素１０２の座標Ｐを囲む４つの領域２、３、５、６の重心位置Ｃ２、Ｃ３、Ｃ５、Ｃ６からバイリニア補間によって補正値を求めてもよい。補間処理を行う際の領域の数や補間方法は、上述の方法に限られるわけではない。補間部１００５は、任意の領域の補正値から、所定の曲線近似によって補間補正値を生成してもよい。また、補間部１００５は、図１３（ｂ）に示される内挿だけでなく、外挿を利用して補間補正値を生成してもよい。

画素アレイ１０１に配されたそれぞれの画素１０２に対応する補間補正値が生成されると、補正適用部６０３は、画素アレイ１０１から読み出された信号に補間補正値を適用して補正を行う。この、補正値が適用されるフレームにおいて、次のフレームで補正に用いるための新たな補正値が生成、取得されてもよい。

このように、画素アレイ１０１の面内において補正値が一様でない場合においても、補正処理の精度を向上させることができる。また、この場合においても、本実施形態の汎用補正処理を実施するための補正部６００を備える光電変換装置１００は、領域Ｐｏｓ代表値および領域Ｎｅｇ代表値を生成するための領域Ｐｏｓおよび領域Ｎｅｇの位置設定を柔軟に制御することが可能である。これによって、様々な駆動モードやそれぞれの駆動モードで動作する画素行の配置パターンなどに対応可能な汎用的な補正処理が実現できる。

上述の各実施形態において、Ａ＋Ｂ像信号を取得する撮像画像用の駆動モードと、Ａ像信号およびＡ＋Ｂ像信号を取得する焦点検出用の駆動モードと、で、画素アレイ１０１に配された画素１０２から信号を読み出す場合について説明した。しかしながら、汎用補正処理の適用は、これに限られることはなく、画素アレイ１０１に配された複数の画素１０２が、信号の読み出し方が異なる複数の駆動モードで動作可能に構成されている場合に適用できる。例えば、光電変換装置１００によって得られる画像のダイナミックレンジを拡大するために、画素アレイ１０１の画素行によって信号を読み出す際のゲインを変化させる場合や、画素アレイ１０１の画素行によって露光時間（蓄積時間）を変化させる場合が考えられる。また、例えば、光電変換装置１００の読出速度向上のために、複数の画素行から同時に信号を読み出す場合や、信号を読み出す画素行と信号を読み出さない画素行とが混在する場合などが考えられる。これら、画素１０２から信号を読み出す際に複数の駆動モードを備える場合、上述のように、補正部６００に領域制御部７０１が配されることによって、領域Ｐｏｓや領域Ｎｅｇの位置を自由に指定することが可能になる。これによって、様々な駆動モードに対応し、精度が高い補正処理を実施することが可能になる。

また、駆動モードの種類や補正処理の精度の要求などによって、領域制御部７０１が、画素アレイ１０１における１つの領域から、複数の駆動モードのうちそれぞれの画素に設定された駆動モードに基づいて１つの画素群を選択し、補正値が生成されてもよい。この場合であっても、補正値を生成するための領域を自由に指定することが可能であり、様々な駆動モードに対応し、精度が高い補正処理を実施することが可能になる。

ここで、本実施形態の光電変換装置１００の応用例について説明する。図１４は、光電変換装置１００が組み込まれた光電変換システム１４００の概略構成を示すブロック図である。

上述した本実施形態の光電変換装置１００は、種々の光電変換システムに適用可能である。適用可能な光電変換システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と光電変換装置とを備えるカメラモジュールも、光電変換システムに含まれる。図１４には、これらのうちの一例として、デジタルスチルカメラのブロック図が例示されている。

図１４に例示される光電変換システム１４００は、光電変換装置１００、被写体の光学像を光電変換装置１００の光電変換部（例えば、画素アレイ１０１、また、例えば、受光画素領域５０２）に結像させるレンズ１４０２、レンズ１４０２を通過する光量を可変にするための絞り１４０３、レンズ１４０２の保護のためのバリア１４０１を有する。レンズ１４０２および絞り１４０３は、光電変換装置１００に光を集光する光学系である。光電変換装置１００は、レンズ１４０２により結像された光学像を電気信号に変換する。

光電変換システム１４００は、また、光電変換装置１００よって出力される出力信号の処理を行うことで画像を生成する画像生成部である信号処理部１４０７を有する。信号処理部１４０７は、必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。信号処理部１４０７は、光電変換装置１００が設けられた半導体基板に形成されていてもよいし、光電変換装置１００とは別の半導体基板に形成されていてもよい。また、光電変換装置１００と信号処理部１４０７とが同一の半導体基板に形成されていてもよい。

光電変換システム１４００は、さらに、画像データを一時的に記憶するためのメモリ部１４１０、外部コンピュータなどと通信するための外部インターフェース部（外部Ｉ／Ｆ部）１４１３を有する。さらに光電変換システム１４００は、撮像データの記録または読み出しを行うための半導体メモリなどの記録媒体１４１２、記録媒体１４１２に記録または読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）１４１１を有する。なお、記録媒体１４１２は、光電変換システム１４００に内蔵されていてもよく、着脱可能であってもよい。

さらに光電変換システム１４００は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部１４０９、光電変換装置１００と信号処理部１４０７とに各種タイミング信号を出力するタイミング発生部１４０８を有する。ここで、タイミング信号などは外部から入力されてもよく、光電変換システム１４００は少なくとも光電変換装置１００と、光電変換装置１００から出力された出力信号を処理する信号処理部１４０７とを有すればよい。

光電変換装置１００は、撮像信号を信号処理部１４０７に出力する。信号処理部１４０７は、光電変換装置１００から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部１４０７は、撮像信号を用いて、画像を生成する。

このように、本実施形態によれば、上述の光電変換装置１００（例えば、撮像装置）を適用した光電変換システムを実現することができる。

次いで、本実施形態の光電変換装置１００が組み込まれた光電変換システムおよび輸送機器について、図１５（ａ）、１５（ｂ）を用いて説明する。図１５（ａ）、１５（ｂ）は、本実施形態の光電変換装置１００が組み込まれた光電変換システム１５００、および、光電変換システム１５００が組み込まれた輸送機器１５０１の構成を示す図である。

図１５（ａ）は、車載カメラに関する光電変換システム１５００の一例を示したものである。光電変換システム１５００は、本実施形態の光電変換装置１００によって取得された複数の画像データに対し、画像処理などの信号処理を行う画像処理部１５１２と、画像処理部１５１２によって信号処理された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部１５１４を有する。また、光電変換システム１５００は、算出された視差に基づいて対象物までの距離を算出する距離取得部１５１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部１５１８と、を有する。ここで、視差取得部１５１４や距離取得部１５１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離などに関する情報である。衝突判定部１５１８はこれらの距離情報の何れかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などによって実現されてもよいし、これらの組合せによって実現されてもよい。

光電変換システム１５００は、駆動装置を具備する輸送機器１５０１（例えば、車両）の車両情報取得装置１５２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、光電変換システム１５００は、衝突判定部１５１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ１５３０が接続されている。また、光電変換システム１５００は、衝突判定部１５１８での判定結果に基づいて、ドライバーへ警報を発する警報装置１５４０とも接続されている。例えば、衝突判定部１５１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ１５３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置１５４０は音などの警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、輸送機器１５０１の周囲、例えば前方または後方を光電変換システム１５００で撮像する。図１５（ｂ）に、輸送機器１５０１の前方（撮像範囲１５５０）を撮像する場合の光電変換システム１５００を示した。車両情報取得装置１５２０が、光電変換システム１５００ないしは光電変換装置１００に指示を送る。このような構成によって、測距の精度をより向上させることができる。

上記では、他の車両と衝突しないように光電変換装置１００で得られた情報に基づいて輸送機器１５０１のブレーキ、アクセル、エンジンなどの駆動装置１５６０を制御する例を説明した。しかし、これに限られることはなく他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。また、光電変換装置１００が組み込まれた光電変換システム１５００が、輸送機器１５０１に組み込まれる例を示したが、光電変換装置１００は、車両情報取得装置１５２０や制御ＥＣＵ１５３０、警報装置１５４０に組み込まれていてもよい。さらに、光電変換装置１００が組み込まれた光電変換システム１５００は、自動車などの車両に限らず、例えば、船舶、航空機、鉄道車両あるいは産業用ロボットなどの駆動装置を具備する輸送機器に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）など、広く物体認識を利用する機器に適用することができる。

発明は上記実施形態に制限されるものではなく、発明の精神および範囲から離脱することなく、様々な変更および変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：光電変換装置、１０１：画素アレイ、１０２：画素、１０９：処理部

Claims (14)

1. 複数の画素が行列状に配された画素アレイと、前記画素アレイから読み出された信号を処理する信号処理部と、を含む光電変換装置であって、
   前記複数の画素は、信号の読み出し方が異なる複数の駆動モードで動作可能に構成され、
   前記信号処理部は、
   補正値を生成するために指定された前記画素アレイの領域から、前記複数の駆動モードのうちそれぞれの画素に設定された駆動モードに基づいて前記複数の画素のうち第１画素群および第２画素群を選択する選択手段と、
   前記第１画素群から読み出された信号に基づいた第１代表値と、前記第２画素群から読み出された信号に基づいた第２代表値と、に応じて前記補正値を生成する補正値生成手段と、
   前記画素アレイから読み出された信号を、前記補正値に基づいて補正する補正手段と、
   を含み、
   前記光電変換装置は、連続したフレームにわたって前記画素アレイから信号が読み出されるように構成されており、
   前記補正値生成手段は、複数のフレームでそれぞれ生成された複数の前記補正値を保持する保持手段を含み、
   前記補正手段は、複数の前記補正値のうち同じフレームで生成された補正値、または、複数の前記補正値のうち１つ以上前のフレームで生成された補正値を、前記画素アレイから読み出された信号に適用可能に構成されていることを特徴とする光電変換装置。
2. 前記選択手段は、指定された前記画素アレイの領域から、前記複数の駆動モードのうちそれぞれの画素に設定された駆動モードに基づいて前記複数の画素のうち第３画素群を選択し、
   前記補正手段は、前記第３画素群から読み出された信号に、複数の前記補正値のうち同じフレームで生成された補正値、または、複数の前記補正値のうち１つ以上前のフレームで生成された補正値を適用することを特徴とする請求項１に記載の光電変換装置。
3. 前記補正手段は、前記第３画素群以外から読み出された信号に前記補正値を適用しないことを特徴とする請求項２に記載の光電変換装置。
4. 前記複数の画素のそれぞれは、複数の光電変換部を含み、
   前記複数の駆動モードは、前記複数の光電変換部で生成された電荷をそれぞれ加えた第１電荷に応じた信号が読み出される第１モードと、前記複数の光電変換部のうち一部の光電変換部で生成された電荷に応じた第２信号および前記第１電荷に応じた信号がそれぞれ読み出される第２モードと、を含むことを特徴とする請求項１乃至３の何れか１項に記載の光電変換装置。
5. 前記複数の画素のそれぞれは、複数の光電変換部を含み、
   前記複数の駆動モードは、前記複数の光電変換部で生成された電荷をそれぞれ加えた第１電荷に応じた信号が読み出される第１モードと、前記複数の光電変換部のうち一部の光電変換部で生成された電荷に応じた第２信号および前記第１電荷に応じた信号がそれぞれ読み出される第２モードと、を含み、
   前記第１画素群が、前記複数の画素のうち前記第１モードで駆動する画素によって構成され、
   前記第２画素群が、前記複数の画素のうち前記第２モードで駆動する画素によって構成されることを特徴とする請求項１乃至３の何れか１項に記載の光電変換装置。
6. 前記補正値生成手段は、前記第１代表値と前記第２代表値との差分に基づいて前記補正値を生成することを特徴とする請求項５に記載の光電変換装置。
7. 前記補正値生成手段は、前記第１代表値と前記第２代表値との比に基づいて前記補正値を生成することを特徴とする請求項５に記載の光電変換装置。
8. 前記画素アレイは、遮光されたオプティカルブラック領域を含み、
   前記第１画素群および前記第２画素群が、前記複数の画素のうち前記オプティカルブラック領域に配されている画素によって構成されていることを特徴とする請求項１乃至７の何れか１項に記載の光電変換装置。
9. 前記画素アレイにおいて、前記複数の駆動モードのそれぞれの駆動モードで駆動される画素が、周期的なパターンを有するように配され、
   前記選択手段は、さらに、前記周期的なパターンに基づいて前記第１画素群を選択することを特徴とする請求項１乃至８の何れか１項に記載の光電変換装置。
10. 前記第１画素群が、前記画素アレイの複数の領域にわたって配されており、
    前記補正値生成手段は、前記複数の領域のそれぞれに対応した複数の前記補正値を生成し、
    前記複数の領域の前記画素アレイにおける位置と、複数の前記補正値と、に基づいて、前記画素アレイにおける前記複数の画素のそれぞれの位置に対応する補間補正値を生成する補間手段をさらに含み、
    前記補正手段は、前記画素アレイから読み出された信号に前記補間補正値を適用して補正を行うことを特徴とする請求項１乃至９の何れか１項に記載の光電変換装置。
11. 請求項１乃至１０の何れか１項に記載の光電変換装置と、
    前記光電変換装置から出力された信号を処理する信号処理部と、
    を備えることを特徴とする光電変換システム。
12. 駆動装置を具備する輸送機器であって、請求項１乃至１０の何れか１項に記載の光電変換装置を搭載し、前記光電変換装置で得られた情報に基づいて前記駆動装置を制御する制御装置を備えることを特徴とする輸送機器。
13. 信号の読み出し方が異なる複数の駆動モードで動作可能な複数の画素が行列状に配された画素アレイから読み出された信号を処理する信号処理装置であって、
    補正値を生成するために指定された前記複数の画素の前記画素アレイにおける領域から、前記複数の駆動モードのうちそれぞれの画素に設定された駆動モードに基づいて前記複数の画素のうち第１画素群および第２画素群を選択する選択手段と、
    前記第１画素群から読み出された信号に基づいた第１代表値と、前記第２画素群から読み出された信号に基づいた第２代表値と、に応じて前記補正値を生成する補正値生成手段と、
    前記画素アレイから読み出された信号を、前記補正値に基づいて補正する補正手段と、
    を含み、
    前記補正値生成手段は、連続したフレームにわたって前記画素アレイから読み出された複数のフレームでそれぞれ生成された複数の前記補正値を保持する保持手段を含み、
    前記補正手段は、複数の前記補正値のうち同じフレームで生成された補正値、または、複数の前記補正値のうち１つ以上前のフレームで生成された補正値を、前記画素アレイから読み出された信号に適用可能に構成されていることを特徴とする信号処理装置。
14. 前記選択手段は、指定された前記画素アレイの領域から、前記複数の駆動モードのうちそれぞれの画素に設定された駆動モードに基づいて前記複数の画素のうち第３画素群を選択し、
    前記補正手段は、前記第３画素群から読み出された信号に、複数の前記補正値のうち同じフレームで生成された補正値、または、複数の前記補正値のうち１つ以上前のフレームで生成された補正値を適用することを特徴とする請求項１３に記載の信号処理装置。

Images