JP7218193B2

JP7218193B2 - 撮像装置

Info

Publication number: JP7218193B2
Application number: JP2019016309A
Authority: JP
Inventors: 隆幸安田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-01-31
Filing date: 2019-01-31
Publication date: 2023-02-06
Anticipated expiration: 2039-01-31
Also published as: US11122213B2; JP2020123930A; US20200252534A1

Description

本発明は、撮像装置に関する。

従来、撮像レンズによって結像する被写体像に基づいて撮像信号を取得可能な撮像素子において、撮像信号を取得するための撮像用画素に加えて、撮像レンズの焦点検出のための検出用画素を配置するものが知られている。そして、そのような撮像素子において撮像用画素と検出用画素とを独立制御する技術が知られている。

例えば、特許文献１では撮像用画素と検出用画素とを独立制御して、検出用画素に対して撮像用画素をより早いタイミングで読み出し、その結果として焦点検出をより高速化する技術が開示されている。

特開２０１７－５４４３号公報

しかしながら、上述の特許文献１に開示された従来技術では、検出用画素の露光と読み出し制御を行った後に、撮像用画素の露光と読み出し制御を行う処理をしている。そのため、撮像用画素の露光時間が適正になるように制御すると、検出用画素の露光時間は適切ではなくなってしまう場合がある。

そこで、本発明の目的は、撮像用画素の露光時間への影響および画素開口への影響を抑え、検出用画素の露光時間を適切に制御することを可能にした撮像装置を提供することである。

上記目的を達成するために、本発明は、撮像光学系の射出瞳から入射する光束をアバランシェ効果に基づいて第１の電圧パルスに変換する第１の受光部と、前記撮像光学系の射出瞳の一部から入射する光束をアバランシェ効果に基づいて第２の電圧パルスに変換する第２の受光部とを行列方向に複数有する撮像素子と、前記第１の電圧パルスに基づいて画像データを生成する生成手段と、前記第２の電圧パルスに基づいて前記撮像光学系の焦点状態を検出する検出手段と、前記第１の受光部及び前記第２の受光部の露光時間を制御する制御手段とを備え、前記制御手段は、前記第２の電圧パルスに基づいて複数の第２の受光部に対するヒストグラムを生成する生成手段と、前記生成手段が生成したヒストグラムに基づいて前記複数の第２の受光部の露出状態を判定する判定手段とを含み、前記制御手段は、前記判定手段による判定結果に基づいて前記第２の受光部の露光時間を制御することを特徴とする。

本発明によれば、撮像用画素の露光時間への影響および画素開口への影響を抑え、検出用画素の露光時間を適切に制御することを可能にした撮像装置を提供することができる。

本発明の実施形態に係る撮像装置の構成を示す図である。本発明の実施形態に係る制御部の構成を示す図である。本発明の実施形態に関わる撮像用画素および検出用画素の構成を示す図である。本発明の実施形態に係る撮像用画素の構成を示す回路図である。本発明の実施形態に係る検出用画素の構成を示す回路図である。本発明の実施形態に係る駆動を示すタイミングチャートである。本発明の実施形態に係る検出用画素のラインのヒストグラムを示す回路図である。本発明の実施形態に係る撮像装置の動作を示すフローチャートである。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。

図１は、本発明の実施形態に係わる撮像装置の構成を示すブロック図である。図１において、第１レンズ１００は撮像光学系１２０の先端に配置されている。絞り１０１は、その開口径を調節することで撮像時の光量調節を行う。第２レンズ１０２、第３レンズ１０３は、後述のフォーカスアクチュエータ１１６によって駆動され、光軸方向に進退することにより、撮像光学系１２０の焦点を調節する。

フォーカルプレーンシャッタ１０４は、静止画撮像時に露光秒時を調節する。光学的ローパスフィルタ１０５は撮像画像の偽色やモアレを低減するために用いられる。撮像素子１０６は、撮像光学系１２０で形成された被写体の光学像を電気信号に光電変換する。撮像素子１０６は、後述する制御部１０９によって制御される。なお、本実施形態における撮像素子１０６はアバランシェ効果（増倍）を用いた画素を備えるいわゆるフォトンカウンティング型の撮像素子である。また、詳細は後述するが、撮像素子１０６には撮像光学系１２０の射出瞳における瞳領域全域からの光束を受光する撮像用画素と、瞳領域の一部からの光束を受光する検出用画素とを備えている。ここで、被写体からの光束が透過する射出瞳の瞳領域における重心位置は撮像光学系１２０の光軸と略一致する。一方で検出用画素が受光する光束が透過する瞳領域の一部の重心位置は光軸から偏心している。検出用画素が受光する口側が透過する瞳領域の一部の重心位置は射出瞳の重心位置から所定の方向に偏心している。本実施形態においては行方向に偏心しているとして説明するが、これに限られるものではなく列方向に偏心してもよいし、複数の偏心パターを含むように構成してもよい。また、各画素を行方向と列方向の２次元状に配列した画素アレイを備え、行ごとに順次走査することによって撮像用画素からの画像データと検出用画素からの検出データとを出力する。

ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）１０７は撮像素子１０６で撮像された画像データの、補正・圧縮等の処理を行う。ＲＡＭ１０８は、撮像素子１０６からの出力データを保持する信号保持手段の機能と、ＤＳＰ１０７で処理された画像データまたは検出データを記録するデータ記録手段の機能と、後述の制御部１０９が動作を行う際のワークメモリの機能を兼備する。なお、本実施形態では、これらの機能はＲＡＭ１０８を用いて実現する構成であるが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また本実施形態では、ＲＡＭ１０８は、ＤＳＰ１０７、制御部１０９の外部に配置されているが、その一部または全部の機能をＤＳＰ１０７や制御部１０９に内蔵する構成であってもよいし、撮像素子１０６に内蔵する構成であってもよい。

制御部１０９は、撮像装置の動作を統括的に制御する。制御部１０９はＣＰＵを含み、撮像装置の各部を制御するためのプログラムを実行する。また、ＤＳＰ１０７から出力される相関演算の結果を用いて、後述のフォーカス駆動回路１１５を制御し、撮像光学系１２０の焦点を調節する機能も有する。表示部１１０は、撮像した静止画像や動画像およびメニュー等の表示を行う。操作部１１１は、撮像命令や撮像条件等の設定を制御部１０９に対して行う。記録媒体１１２は、静止画データ及び動画データを記録する着脱可能な記録媒体である。ＲＯＭ１１３は、制御部１０９が各部の動作を制御するためにロードして実行するプログラムを格納する。

シャッター駆動回路１１４は、フォーカルプレーンシャッタ１０４を駆動制御する。フォーカス駆動回路１１５は、撮像光学系１２０の焦点位置を変更する焦点位置変更手段であり、制御部１０９の出力に基づいてフォーカスアクチュエータ１１６を制御し、第２レンズ１０２及び第３レンズ１０３を光軸方向に進退駆動して焦点調節を行なう。絞り駆動回路１１７は、絞りアクチュエータ１１８を制御して絞り１０１の開口を制御する。

図２は、本発明の実施形態に係る制御部１０９の構成の一部を示す図である。各ブロックは制御部１０９に含まれるＣＰＵによって制御されるハードウェア回路であってもよいし、ＣＰＵが所定のプログラムを実行することで実現する構成としてもよい。２０１は、撮像素子１０６またはＤＳＰ１０７から得られた各データに対してヒストグラムを生成するヒストグラム生成部である。特に、本実施形態において、ヒストグラム生成部２０１は画素アレイ上において、検出用画素を含む領域から出力された画像データまたは検出データについてヒストグラムを生成する。本実施形態においてヒストグラムの生成は画素アレイ上で検出用画素を含む行（以下、検出用画素ラインと称することがある）に対して行う例を示す。だが、これに限られるものではなく検出用画素の画素アレイ上の配置、被写体種類、撮像モード（間引数または加算数）などによって変更するようにしてもよいし、複数行を含む領域を検出用画素ラインとしてもよい。

２０２は、ヒストグラム生成部２０１から得られた対象の検出用画素ラインにおけるヒストグラムから、露出状態を判定する判定部である。例えば、検出用画素ラインがオーバー露出（飽和している）か否か、またはアンダー露出（低輝度）か否かを判定する。

２０３は、判定部２０２から得られた対象の検出用画素ラインの露出状態の判定結果をもとに、露光時間が適正になるように露光時間を決定し、撮像素子１０６を制御する露光時間制御部である。露光時間制御部２０３は決定した露光時間に基づいて撮像素子１０６またはシャッター駆動回路１１４に対してＣＰＵの制御の基で各種パラメータの設定を行う。

２０４は、焦点検出部であり、撮像素子１０６またはＤＳＰ１０７から得られた検出データに基づいて、所定の相関演算を実行する。そして、演算結果に対して三角測距の原理に基づいてデフォーカス量の算出等の撮像光学系１２０の焦点状態の検出を行う。算出結果はフォーカスレンズ駆動量に変換されフォーカス駆動回路１１５に出力される。

２０５は、撮像素子１０６またはＤＳＰ１０７から入力されるデータから検出データを抽出し、当該検出データが出力された検出用画素に近接する撮像用画素から出力された画像データを用いて補完処理を行う画素補完部である。検出用画素は撮像光学系１２０における瞳領域の一部からの光しか受光しないため、そのままでは静止画データまたは動画データとして使用することができない。そのため、本実施形態においては画像データで補完することで、検出用画素の影響を低減している。

なお、本実施形態において図２で示した各ブロックは制御部１０９に含まれるとして説明したが、ＤＳＰ１０７に一部または全部の機能を備えるようにしてもよい。

次に、撮像素子１０６の構成について、図３を参照しながら説明する。３００は、撮像素子１０６の画素アレイにおけるベイヤー配列を構成する画素配列の一部を示した図である。行列方向に画素が複数配列され、当該配列内において白く表示した画素である３０１は、画像データを取得する為の撮像用画素である。また、グレーで表示した画素である３０２は、焦点検出部２０４にて、焦点検出を行うための検出データを取得する為の検出用画素である。

本実施形態における撮像素子１０６は少なくとも行方向に６０００個以上の単位画素を備え、撮像光学系１２０からの光を受光する受光面は１６：９または３：２のアスペクト比を有している。また、それぞれの画素は、マイクロレンズを有する。なお、各画素において一つの光電変換手段を有する構成を説明したが、これに限られず撮像光学系１２０の焦点検出を行うために複数の光電変換手段を備える構成（光電変換手段を複数に分割した構成）としてもよい。

本実施形態では、検出用画素は、撮像用画素の配列の一部を置き換えて配置され、離散的なライン上の一部が撮像用画素に置き換えて複数個が配置されている。例えば、２ライン目、１２ライン目のＢ画素の位置に４画素おきに検出用画素が配置されている。なお検出用画素には受光する瞳領域が異なる複数種類が配置されている。本実施形態においてはＡｐｉｘで示す画素とＢｐｉｘで示す２種類の検出用画素が配置されている。この２種類の検出用画素から取得する一対の検出データに対して相関演算を行うことで、焦点検出を行うことができる。なお、検出用画素の配置はこれに限られるものではなく、行方向に連続して配置してもよいし、ＡｐｉｘとＢｐｉｘを隣接して配置してもよい。また、Ｂ画素以外のＲ画素またはＧ画素に配置してもよい。なお、本実施形態の検出用画素のそれぞれには、マイクロレンズと光電変換手段の間には入射する光束を遮蔽するための遮蔽マスクを備える。当該遮蔽マスクは遮蔽部に相当し、ＡｐｉｘとＢｐｉｘにおいて遮蔽マスクで遮蔽する領域を異ならせることによって、入射する光束が透過する瞳領域を制限し、視差情報を取得可能とする。

本実施形態において、以下では説明のために検出用画素ラインとして、画素配列３００から検出用画素３０２から出力される検出データのみを抽出したデータ列として説明する。具体的にはライン２の列２、列６、列１０からなる検出用画素のみで構成されるラインまたはライン１２の列２、列６、列１０からなる検出用画素のみで構成されるラインが相当する。

次に、図４を用いて撮像用画素３０１の構成について詳細に説明する。撮像用画素回路４００は、アバランシェフォトダイオード（以下、ＡＰＤとする）４０１、クエンチ抵抗４０２、波形整形回路４０３、カウンタ４０４により構成される。ＡＰＤ４０１はクエンチ抵抗４０２を介して逆バイアス電圧Ｖ_ＡＰＤと接続されており、光子が入射するとアバランシェ増倍による電荷を発生させる。発生した電荷はクエンチ抵抗４０２を介して排出される。つまり、ＡＰＤ４０１に入射した光子の数に応じてアバランシェ増倍による電荷の発生とクエンチ抵抗４０２を介しての電荷の排出が繰り返されることになる。ＡＰＤ４０１のカソード側の電圧を基準に見れば光子の入射がない場合には逆バイアス電圧Ｖ_ＡＰＤと略同一の電圧値であり、ＡＰＤ４０１に対する光子の入射に伴って発生する電荷によってその電圧は低下することとなる。波形整形回路４０３は、光子の入射に応じた電荷の生成・排出によるＡＰＤ４０１のカソード側の電圧の変化に対し増幅・エッジ検出を行うことにより、電圧パルスＰＬＳを生成する。なお、本実施形態においてＡＰＤ４０１は撮像光学系の射出瞳から入射する光束をアバランシェ効果に基づいて電圧パルスに変換する受光部に相当する。

カウンタ部としてのカウンタ４０４は、波形整形回路４０３の出力の電圧パルスＰＬＳの数を所定時間の間カウントし、画素の外部へデジタル値としてカウント結果を出力する。本実施形態のカウンタ４０４は後述する駆動信号であるＣＮＴ＿ＲＳＴ及びＣＮＴ＿ＥＮにより、カウンタのリセット及びカウントのイネーブルが制御される。これらの駆動信号は制御部１０９より直接または所定のドライバ経由で供給される。なお、本実施形態において、カウンタ４０４は撮像用画素に対応して露光時間内に発生する電圧パルスの発生数をカウントする第１のカウント部に相当する。

カウント結果であるデジタル値は、不図示の走査回路からの制御によって撮像素子１０６に設けられたメモリに読み出される。画素アレイ上の所定の領域の撮像用画素回路４００からカウント値を取得することによって１フレーム分の画像を生成することが可能となる。

なお、本実施形態においては撮像用画素回路４００内に波形整形回路４０３および対応するカウンタ４０４を設ける構成としたが、複数の画素で共有としてもよい。

次に、図５を用いて検出用画素３０２の構成について説明するが、撮像用画素回路４００と同様の構成については同一の符号を付しその説明を省略する。検出用画素回路５００において撮像用画素回路４００と異なる構成はカウンタ５０４を含む点である。具体的には本実施形態のカウンタ５０４は後述する駆動信号であるＣＮＴ＿ＲＳＴ、ＣＮＴ＿ＲＳＴ＿ＭＳＫ、ＣＮＴ＿ＥＮ、ＣＮＴ＿ＥＮ＿ＭＳＫにより、カウンタのリセット及びカウントのイネーブルが制御される。これらの駆動信号は制御部１０９より直接または所定のドライバ経由で供給される。なお、本実施形態において、カウンタ５０４は検出用画素に対応して露光時間内に発生する電圧パルスの発生数をカウントする第２のカウント部に相当する。

図６を参照して、本発明に係る撮像用画素３０１および検出用画素３０２の駆動方法についてタイミングに沿って説明する。

図６（Ａ）は撮像用画素３０１の駆動を示すタイミングチャートである。図６（Ａ）は１つの撮像用画素３０１における撮像駆動を示しており、当該駆動を複数の撮像用画素３０１を、例えば同一行内にて並列して行うことにより、光学像をデジタル信号に変換を行う。本実施形態においては図３におけるライン２に含まれる撮像用画素３０１を駆動する場合について説明する。なお、並列して駆動する単位は行内に限られるものではなく、複数行に対して同時に行ってもよいし、同一列内にて並行して行ってもよい。図中、ＣＮＴ＿ＲＳＴ及びＣＮＴ＿ＥＮは駆動信号であり、それぞれリセット制御線及びイネーブル制御線に相当しカウンタ４０４の制御を行う。ＣＮＴ＿ＲＳＴはＨｉｇｈレベル（以下、“Ｈ”とする）になることにより、カウンタ４０４のカウント値を０にリセットする。また、ＣＮＴ＿ＥＮが“Ｈ”となるカウント期間のみ、カウンタ４０４はパルス数を計数する。ＣＮＴはカウンタ４０４のカウント値を表す。本実施形態では０～１６３８３の１４ビットでカウント値を表現している。

続いてタイミングに沿って、撮像用画素回路４００の駆動を説明する。

タイミングｔ６００では、ＣＮＴ＿ＲＳＴが“Ｈ”となりカウンタ４０４のカウント値が０にリセットされる。次に、タイミングｔ６０１では、ＣＮＴ＿ＲＳＴがＬｏｗレベル（以下、“Ｌ”とする）になり、カウンタ４０４のリセットが終了する。同時にＣＮＴ＿ＥＮが“Ｈ”となりカウンタ４０４の電圧パルスのカウンタが有効となる。これによりＡＰＤ４０１に入射した光子に応じた電圧パルスをカウントする露光時間である撮像期間が開始する。タイミングｔ６０２では、ＡＰＤ４０１に光子が入射したことにより、アバランシェ増倍された電荷が発生しＡＰＤ４０１のカソード側の電位（ＡＰＤ）が変化する。この際に、クエンチ抵抗４０２を介して電荷が排出されるので、ＡＰＤが再び一定の電位になるまでは所定の時間がかかる。波形整形回路４０３では、ＡＰＤの立下りエッジを検出し、短時間の電圧パルスを生成する。この電圧パルスはカウンタ４０４に入力され、カウンタ４０４のカウント値がカウントアップされる。

タイミングｔ６０２からｔ６０３では、光子の入射に応じて波形整形回路４０３で生成された電圧パルスはカウンタ４０４でカウントとされる。タイミングｔ６０３では、ＣＮＴ＿ＥＮが“Ｌ”となり、撮像期間が終了する。終了した際のカウンタ４０４のカウント値は撮像用画素３０１から画像データとして撮像用画素回路４００外へと出力される。

次に、図６（Ｂ）および（Ｃ）を参照して、本実施形態に係る検出用画素回路５００の駆動方法についてタイミングに沿って説明する。

図６（Ｂ）は検出用画素３０２からなるラインが飽和している時の駆動を示すタイミングチャートである。１つの検出用画素回路５００における撮像駆動を示しており、当該駆動を複数の検出用画素回路５００にて並列して行うことにより、光学像をデジタル信号に変換を行う。

図中、ＣＮＴ＿ＲＳＴ、ＣＮＴ＿ＲＳＴ＿ＭＳＫ、ＣＮＴ＿ＥＮ、ＣＮＴ＿ＥＮ＿ＭＳＫは駆動信号であり、カウンタ５０４の制御を行う。ＣＮＴ＿ＲＳＴはＨｉｇｈレベル（以下、“Ｈ”とする）になることにより、カウンタ５０４のカウント値を０にリセットする。また、ＣＮＴ＿ＥＮが“Ｈ”となる期間のみ、カウンタ５０４はパルス数をカウントする。また、ＣＮＴはカウンタ５０４のカウント値を表す。本実施形態では０～１６３８３の１４ビットで計数値を表現している。検出用画素３０２を含むライン（例えばライン２）が飽和である時のタイミングに沿って、検出用画素回路５００の駆動を説明する。本実施形態においては。タイミングｔ６００～ｔ６０２では、図６（Ａ）で示した撮像用画素回路４００と同様のタイミングで駆動が行われる。

タイミングｔ６０２からｔ６０４では、光子の入射に応じて波形整形回路４０３で生成された電圧パルスはカウンタ５０４でカウントとされる。タイミングｔ６０４では、ＣＮＴ＿ＥＮが“Ｌ”となり、撮像期間が終了する。終了した際のカウンタ５０４のカウント値は検出用画素３０２から検出データとして検出用画素回路５００外へと出力される。

ここで、タイミングｔ６０４で、露光時間制御部２０３からの制御により、検出用画素ラインが飽和判定されないようにＣＮＴ＿ＥＮ＿ＭＳＫを“Ｈ”としている。これによって、ＣＮＴ＿ＥＮが“Ｌ”となるように制御される。そして、カウンタ５０４でカウント動作を止めて、検出用画素からなるラインの撮像期間は終了する。このように撮像用画素回路４００と検出用画素回路５００で共通の制御線であるＣＮＴ＿ＥＮに加えて、検出用画素回路５００に対して追加の制御線であるＣＮＴ＿ＥＮ＿ＭＳＫを備えることによって、少ない制御線で適切に制御することが可能となる。

図６（Ｃ）は検出用画素３０２からなるラインが低輝度である時の駆動を示すタイミングチャートである。１つの検出用画素回路５００における撮像駆動を示しており、当該駆動を複数の検出用画素回路５００にて並列して行うことにより、光学像をデジタル信号に変換を行う。本実施形態においては。タイミングｔ６００～ｔ６０２では、図６（Ａ）で示した撮像用画素回路４００と同様のタイミングで駆動が行われる。この時に、タイミングｔ６０１において露光時間制御部２０３は、ＣＮＴ＿ＲＳＴの“Ｈ”をマスクする為の、ＣＮＴ＿ＲＳＴ＿ＭＳＫを“Ｈ”に制御する。

タイミングｔ６０２からｔ６０５では、光子の入射に応じて波形整形回路４０３で生成された電圧パルスはカウンタ５０４でカウントとされる。図６（Ｃ）に示す駆動において、タイミングｔ６０５では、露光時間制御部２０３からの制御により、検出用画素ラインが低輝度判定されないようにＣＮＴ＿ＲＳＴ＿ＭＳＫを“Ｈ”となっていてＣＮＴ＿ＲＳＴをマスクしている。そのため、カウンタ５０４はカウント動作をし続ける。つまり、撮像用画素回路４００はカウント動作を停止しているタイミングにおいても検出用画素回路５００はカウント動作を引き続き行う。

タイミングｔ６０６で、露光時間制御部２０３からの制御により、ＣＮＴ＿ＥＮ＿ＭＳＫとＣＮＴ＿ＥＮを“Ｌ”にして、カウンタ５０４でカウント動作を止めて、検出用画素３０２における撮像期間は終了する。

このように、撮像用画素回路４００のカウンタ４０４の制御による露光時間制御とは独立に、検出用画素回路５００のカウンタ５０４の制御を行う。つまり、露光時間制御部２０３からの制御により短くしたり、長くしたりする事で、撮像用画素３０１の露光時間に影響をあたえる事なく、検出用画素３０２の露光時間を適切に制御することを可能になる。

次に、図７（Ａ）、（Ｂ）、及び表１を用いて検出用画素ラインの露光時間の制御方法を詳細に説明する。図７（Ａ）と（Ｂ）は、ヒストグラム生成部２０１が撮像素子１０６から取得した検出用画素ラインの輝度値から生成したヒストグラムを示す図である。図７（Ａ）と（Ｂ）において、横軸に示した輝度値が閾値ＴＨ１以上の領域においては飽和画素であることを示しており、輝度値が閾値ＴＨ２以下の領域においては低輝度画素であることを示している。

例えば、輝度値がとりうる値が、０～１６３８３の１４ビットで示される場合に、閾値ＴＨ１が１４０００の時、検出用画素ライン中の検出用画素のうち、輝度値が１４０００以上の画素は飽和画素としてカウントされる。また例えば、閾値ＴＨ２が２０００の時、検出用画素ライン中の検出用画素のうち、輝度値が１２００以下の画素は低輝度画素としてカウントされる。図７（Ａ）は検出用画素ラインが飽和している事を示す図であり、図７（Ｂ）は検出用画素ラインが低輝度である事を示す図である。

表１（Ａ）と（Ｂ）は、露出状態を判定する判定部２０２が、ヒストグラム生成部２０１によって生成されたヒストグラムから、対象の検出用画素ラインが飽和しているか、または低輝度であるかの判定に用いるための閾値との比較を表している。

表１（Ａ）と（Ｂ）の表において、判定部２０２は、輝度値が閾値ＴＨ１以上である画素の個数が閾値の個数以上ある場合、検出用画素ラインが飽和していると判定する。また、輝度値が閾値ＴＨ２以下である画素の個数が閾値の個数以上ある場合、検出用画素ラインが低輝度であると判定する。またその結果を露光時間制御部２０３へ出力する。

本実施形態において一例として、表１（Ａ）において、１ライン中の検出用画素ラインが１０００画素の場合に、飽和画素数（輝度値≧ＴＨ１の画素の個数）の個数が７４６個あり、閾値個数の２５０個以上あるとする。この場合においては、検出用画素ラインは飽和しているラインと判定する。また、別の例として表１（Ｂ）において、低輝度画素数（ＴＨ２≧輝度値の画素の個数）の個数が８８０個あり、閾値個数の２５０個以上あるので、検出用画素ラインは低輝度のラインと判定する。

なお、これらの輝度値に対する閾値及び個数に対する閾値個数は事前に決定されており、パラメータとして保持されている。しかしいずれも、複数個のパターンを備え、所定の条件に応じて変更するようにしてもよい。所定の条件には撮影条件を含み、例えば、露出条件であるＩＳＯ感度や露光時間、ユーザ等によって設定される撮像モード、撮像素子１０６の温度等を含む。

露光時間制御部２０３は、判定部２０２からの検出用画素を含むラインの判定結果から、マスク制御線によりＣＮＴ＿ＲＳＴ＿ＭＳＫ、ＣＮＴ＿ＥＮ＿ＭＳＫ信号を検出用画素回路５００に出力して、カウンタ５０４を制御する。これによって、撮像画像の露光時間に影響をあたえる事なく、検出用画素３０２の露光時間を適切に制御することを可能にする。

以下に図８のフローチャートを用いて、本発明の実施形態に係る撮像装置において、検出用画素の露光時間を適切に制御することを可能にした動作シーケンスを説明する。なお、各処理については制御部１０９が行う。

まず、ステップＳ１０００において、制御部１０９は、ユーザの操作により撮像装置の電源がオンされることにより処理を開始する。そして、ステップＳ１００１およびステップＳ１００２に処理を進める。

ステップＳ１００１において、制御部１０９は、ユーザからの操作部１１１等の操作により撮像指示を受け付ける。受け付けた撮像指示に基づいて、撮像レンズ１０１を介して撮像素子１０６上に結像された被写体像が光電変換される。光電変換された被写体像は画像データとして表示用の画像生成の為に撮像用画素３０１から読み出される。なお、表示用画像生成の際には画像データと同時に読み出される検出用画素３０２に対しては画素補完部２０５によって補正する。本動作は後述するステップＳ１００２～ステップＳ１００６の検出・撮像シーケンスと並行して行われる。

ステップＳ１００２において、制御部１０９は、図２におけるライン２の列２、列６、列１０からなる検出用画素ライン、ライン１２の列２、列６、列１０からなるライン検出用画素ラインを対象とする。そして、ヒストグラム生成部２０１において、ヒストグラムを生成する。そして、ステップＳ１００３に処理を進める。

ステップＳ１００３において、制御部１０９は、ステップＳ１００２にて生成したヒストグラムにおいて、判定部２０２を制御して、検出用画素ラインが飽和しているか、または低輝度であるかの判定を行う。そして、ステップＳ１００４に処理を進める。

ステップＳ１００４において、制御部１０９は、ステップＳ１００３における判定結果に基づいて、検出用画素ラインにおける露光時間（露光量）が適正か否かを判定する。判定結果として飽和または低輝度であり適正露光でなかった場合にはステップＳ１００５に処理を進め、判定結果として適正露光であった場合にはステップＳ１００６に処理を進める。

ステップＳ１００５において、制御部１０９は、ステップＳ１００４における判定結果として検出用画素ラインの露光時間が適正ではない場合に、検出用画素ラインの露光時間の変更を行う。具体的には、図７（Ａ）で示すように飽和であると判定された場合には、図６（Ｂ）に示すようＣＮＴ＿ＥＮ＿ＭＳＫ信号を制御して露光時間を短く制御する。一方で、図７（Ｂ）で示すように飽和であると判定された場合には、図６（Ｃ）に示すようＣＮＴ＿ＲＳＴ＿ＭＳＫ信号を制御して露光時間を長く制御する。その後、ステップＳ１００２に処理を戻す。

ステップＳ１００６において、制御部１０９は、ステップＳ１００４における判定の結果として、対象の検出用画素ラインの露光時間が適正である場合、焦点検出部２０４は、撮像素子１０６から出力された、対象の検出用画素ラインに基づいて焦点検出を行う。焦点検出結果はフォーカス駆動回路１１５等に出力され撮像光学系１２０の焦点を調節する。そして、ステップＳ１００７に処理を進める。

ステップＳ１００７において、制御部１０９は、ユーザからの電源オフの指示等を受け付けるまでは上記動作を繰り返し行う。ユーザからの電源オフの指示を受け付けた場合にはその後、本フローチャートの動作を終了する。

このように、撮像用画素回路４００のカウンタ４０４の制御による露光時間制御とは独立に、検出用画素回路５００のカウンタ５０４の制御を、露光時間制御部２０３からの制御により短くしたり、長くしたりする事が可能となる。その結果、各画素の開口を確保して、撮像画像の露光時間に影響をあたえる事なく、検出用画素の露光時間を適切に制御することを可能になる。

１０６撮像素子
１０９制御部
２０１ヒストグラム生成部
２０２判定部
２０３露光時間制御部
２０４焦点検出部

Claims

撮像光学系の射出瞳から入射する光束をアバランシェ効果に基づいて第１の電圧パルスに変換する第１の受光部と、前記撮像光学系の射出瞳の一部から入射する光束をアバランシェ効果に基づいて第２の電圧パルスに変換する第２の受光部とを行列方向に複数配列する撮像素子と、
前記第１の電圧パルスに基づいて画像データを生成する生成手段と、
前記第２の電圧パルスに基づいて前記撮像光学系の焦点状態を検出する検出手段と、
前記第１の受光部及び前記第２の受光部の露光時間を制御する制御手段とを備え、
前記制御手段は、前記第２の電圧パルスに基づいて複数の第２の受光部に対するヒストグラムを生成する生成手段と、前記生成手段が生成したヒストグラムに基づいて前記複数の第２の受光部の露出状態を判定する判定手段とを含み、
前記制御手段は、前記判定手段による判定結果に基づいて前記第２の受光部の露光時間を制御することを特徴とする撮像装置。
前記撮像素子は前記第１の受光部のそれぞれに対応する第１のカウント部と前記第２の受光部のそれぞれに対応する第２のカウント部とを備え、
前記第１のカウント部は露光時間内に発生する第１の電圧パルスの数をカウントし、前記第２のカウント部は露光時間内に発生する第２の電圧パルスの数をカウントし、
前記生成手段は、前記第２のカウント部のカウントした露光時間内に発生する第２の電圧パルスの数に基づいてヒストグラムを生成することを特徴とする請求項１に記載の撮像装置。
前記第１の受光部が受光する光束が透過する射出瞳の重心位置に対して、前記第２の受光部が受光する光束が透過する射出瞳の一部の重心位置は所定の方向に偏心していることを特徴とする請求項１または２に記載の撮像装置。
前記撮像素子は前記第２の受光部に対して入射する光束を遮蔽する遮蔽部をさらに備えることを特徴とする請求項３に記載の撮像装置。
前記第２の受光部は複数に分割していることを特徴とする請求項３に記載の撮像装置。
前記第２の受光部は同一行内に複数個が配置されていることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
前記制御手段は、前記判定手段の判定結果により、前記複数の第２の受光部の露出状態が飽和と判定された場合、前記複数の第２の受光部に対して隣接する前記第１の受光部の露光時間より短い露光時間に制御し、前記複数の第２の受光部の露出状態が低輝度と判定された場合、前記複数の第２の受光部に対して隣接する前記第１の受光部の露光時間より長い露光時間に制御することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記制御手段は前記第１の受光部に対して、前記判定手段の判定結果を用いずに露光時間を制御することを特徴とする請求項７に記載の撮像装置。
前記判定手段は事前に決められた所定の閾値と前記生成手段が生成したヒストグラムとの比較によって前記複数の第２の受光部の露出状態を判定し、
前記判定手段は撮影条件に応じて前記所定の閾値を切り替えることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
前記制御手段は前記第２の受光部に対応する画像データを前記第１の電圧パルスに基づいて生成することと特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
撮像光学系の射出瞳から入射する光束に基づくアバランシェ効果による第１の電圧パルスの発生数をカウントする第１のカウント部と、前記撮像光学系の射出瞳の一部から入射する光束に基づくアバランシェ効果による第２の電圧パルスの発生数をカウントする第２のカウント部とを行列方向に複数配列する撮像素子と、
前記第１のカウント部のカウント値に基づいて画像データを生成する生成手段と、
前記第２のカウント部のカウント値に基づいて前記撮像光学系の焦点状態を検出する検出手段と、
前記第１のカウント部及び前記第２のカウント部のカウント期間を制御する制御手段とを備え、
前記制御手段は、複数の第２のカウント部におけるカウント値に対するヒストグラムを生成する生成手段と、前記生成手段が生成したヒストグラムに基づいて前記複数の第２のカウント部が対応する第２の受光部の露出状態を判定する判定手段とを含み、
前記制御手段は、前記判定手段による判定結果に基づいて前記第２のカウント部のカウント期間を制御することを特徴とする撮像装置。
前記制御手段は前記第１のカウント部及び前記第２のカウント部のカウント値をリセットするためのリセット制御線と、前記第１のカウント部及び前記第２のカウント部のカウント動作を有効にするイネーブル制御線と、前記第２のカウント部に対しての前記リセット制御線または前記イネーブル制御線に基づく制御をマスクするマスク制御線を含むことを特徴とする請求項１１に記載の撮像装置。