JP6806494B2 - 撮像装置、撮像システム、移動体及び撮像装置の駆動方法 - Google Patents

Description

本発明は、撮像装置、撮像システム、移動体及び撮像装置の駆動方法に関する。

特許文献１には、焦点検出用画素が配置された行を間引いて画像生成のための読み出しを行う撮像装置が開示されている。当該撮像装置は、画像生成のための読み出しの前、又は後に、焦点検出用画素が配置された行の読み出しを行う。

特許文献２には、測距対象を決定するために、画像中から人物の頭部を検出する測距装置が開示されている。

特開２０１４−２４１５７７号公報 特開２００１−２５５４５５号公報

特許文献１の撮像装置においては、間引かれる画素が固定されている。そのため、所望の領域についての測距情報が得られない可能性がある。そのため、測距の精度が不十分となる場合がある。

特許文献２の測距装置においては、被写体を検出した領域で測距を行うことが可能である。しかしながら、動きの激しい被写体に対する測距を行う場合、あるいは撮像装置の動きにより撮影範囲が変化する場合には、測距領域の検出を行うための画像中の被写体像と実際の測距を行う際の被写体像との差が大きくなる可能性がある。この差に起因して、測距の精度が不十分となる場合がある。

本発明は、上述の課題の少なくとも１つに鑑みてなされたものであり、測距の精度をより向上することが可能な撮像装置を提供することを目的とする。

本発明の一実施形態に係る撮像装置は、撮像用信号及び測距用信号の少なくとも１つを各々が出力する複数の画素と、制御回路とを有し、前記制御回路は、前記複数の画素のうちの第１の画素群の前記画素から前記撮像用信号を読み出す第１の読み出し動作と、前記第１の読み出し動作の後であって、次に前記撮像用信号を取得するための読み出し動作が行われる前において、前記複数の画素のうちの第２の画素群の前記画素から前記測距用信号を読み出す第２の読み出し動作とを行い、前記第１の読み出し動作で読み出された前記撮像用信号に基づいて、前記複数の画素から前記第２の画素群が選択され、前記第２の画素群に含まれる画素を含み、複数行に配された少なくとも２つの画素が光電変換による電荷の蓄積を同時に開始することを特徴とする。

本発明の一実施形態に係る撮像装置は、撮像用信号及び位相差検出による測距に用いられる信号である測距用信号の少なくとも１つを各々が出力する複数の画素を有し、前記複数の画素のそれぞれは１つのマイクロレンズを有し、前記複数の画素のうちの第１の画素群の前記画素から前記撮像用信号を読み出す第１の読み出し動作と、前記第１の読み出し動作の後であって、次に前記撮像用信号を取得するための読み出し動作が行われる前において、前記複数の画素のうち、複数行複数列に配された複数の光電変換部を含む画素である第２の画素群の前記画素から前記測距用信号を読み出す第２の読み出し動作とを行う撮像装置であって、前記第１の読み出し動作で読み出された前記撮像用信号に基づいて、前記複数の画素からの前記第２の画素群の選択と、前記第２の画素群の１つの画素が有する複数の光電変換部の中からの、前記測距用信号が基づく信号として個別に信号を取得する少なくとも２つの光電変換部の選択とが行われることを特徴とする。

測距の精度をより向上させることができる。

本発明の第１実施形態に係る撮像システムのブロック図である。 本発明の第１実施形態に係る撮像装置のブロック図である。 本発明の第１実施形態に係る画素の回路図である。 本発明の第１実施形態に係る画素の断面図である。 本発明の第１実施形態に係る撮像システムの動作フローチャートである。 本発明の第１実施形態に係る画素アレイの配置図及び駆動タイミングの模式図である。 本発明の第１実施形態の変形例に係る画素アレイの配置図及び駆動タイミングの模式図である。 本発明の第２実施形態に係る画素アレイの配置図及び駆動タイミングの模式図である。 本発明の第２実施形態の変形例に係る画素アレイの配置図及び駆動タイミングの模式図である。 本発明の第３実施形態に係る撮像システムの動作フローチャートである。 本発明の第４実施形態に係る撮像システム及び移動体の構成を示す図である。

（第１実施形態）
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図１は、本実施形態における撮像システムの構成を示すブロック図である。本実施形態による撮像システムは、特に限定されるものではないが、例えば、デジタルスチルカメラ、デジタルカムコーダ、カメラヘッド、複写機、ファックス、携帯電話、車載カメラ、観測衛星等に適用可能である。

撮像システムは、撮像装置１００、レンズユニット２００、信号処理部３００、メモリ４００、測距部５００及び選択部６００を有する。撮像装置１００はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像装置である。レンズユニット２００は、被写体の光学像を撮像装置１００の画素アレイに結像させるための光学系である。レンズユニット２００は、レンズ、絞りなどの光学部材を含む。また、レンズユニット２００は、レンズの位置を変化させることにより、焦点位置を変更する機構を備える。

撮像装置１００は、画素アレイに結像された入射光に基づく信号を信号処理部３００に出力する。信号処理部３００は、撮像装置１００から出力される信号に対して、補正、データ圧縮等の信号処理を行う。信号処理部３００は、例えば、これらの処理を行うデジタルシグナルプロセッサにより構成される。信号処理部３００で処理された信号は、画像データとしてメモリ４００に記録される。また、信号処理部３００で処理された信号は、測距部５００に供給される。測距部５００は、当該信号を用いて撮像システムと被写体の間の測距を行う。測距部５００で得られた測距の結果に基づき、レンズユニット２００のレンズが駆動され、焦点位置の調整が行われる。

更に、信号処理部３００で処理された信号は、選択部６００にも供給される。選択部６００は、信号処理部３００で処理された信号を用いて、測距領域の選択、測距の方向の選択等を行い、その結果を撮像装置１００の駆動に反映させる。

なお、撮像システムには、更に、撮像システムの全体の駆動等を司る全体制御部（不図示）及び撮像装置１００及び信号処理部３００に各種タイミング信号を出力するタイミング発生部（不図示）が含まれる。また、測距部５００及び選択部６００の機能は、信号処理部３００、撮像装置１００、又は全体制御部の一機能としてこれらのいずれかに内包されていてもよい。

図２は、本発明の第１実施形態に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、画素アレイ１１０、垂直走査回路１３０、列増幅回路１４０、水平走査回路１５０、制御回路１６０、出力回路１７０を有する。これらの回路は１又は２以上の半導体基板上に形成される。画素アレイ１１０は、複数の行及び複数の列をなすように配置された複数の画素１２０を備える。垂直走査回路１３０は、画素１２０に含まれるトランジスタをオン（導通状態）又はオフ（非導通状態）に制御するための制御信号を画素１２０の各行に対応して設けられた制御信号線１８０を介して供給する走査回路である。ここで、各画素１２０に供給される制御信号は複数の種類の制御信号を含むため、各行の制御信号線１８０は複数の駆動配線の組として構成される。更に、撮像装置１００には画素１２０の各列に対応して列信号線１９０が設けられており、画素１２０からの信号が列ごとに列信号線１９０に読み出される。

列増幅回路１４０は列信号線１９０に出力された信号に対し、増幅、相関二重サンプリング処理等の処理を行う。水平走査回路１５０は、列増幅回路１４０の増幅器に接続されたスイッチをオン又はオフに制御することにより、列増幅回路１４０から各列に対応する信号を出力回路１７０に順次出力させるための制御信号を供給する。出力回路１７０はバッファアンプ、差動増幅器等から構成され、列増幅回路１４０からの信号を撮像装置１００の外部の信号処理部３００に出力する。なお、撮像装置が、ＡＤ変換部を更に有していてもよく、その場合、撮像装置は、デジタル信号を出力する。例えば、列増幅回路１４０はＡＤ変換部を含む。また、出力回路１７０がＡＤ変換部を含む構成であってもよい。制御回路１６０は、垂直走査回路１３０、列増幅回路１４０、水平走査回路１５０の動作タイミング等を制御する。

次に、図３（ａ）及び図３（ｂ）を参照して画素１２０の回路構成の具体例を説明する。図３（ａ）の画素１２０ａと図３（ｂ）の画素１２０ｂは、図２の画素１２０に対応する。図３（ａ）は、本実施形態に係る撮像装置における画素１２０ａの回路図である。画素１２０ａは、フォトダイオードＰＤＡ、ＰＤＢ、フローティングディフュージョンＦＤ、転送トランジスタＭ１Ａ、Ｍ１Ｂ、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４を備える。これらのトランジスタは、制御電極としてゲート電極を有するＭＯＳトランジスタにより構成される。転送トランジスタＭ１Ａ、Ｍ１Ｂ、リセットトランジスタＭ２、選択トランジスタＭ４のゲートには、垂直走査回路１３０から制御信号線１８０を介して、これらのトランジスタを制御するための制御信号が入力される。

フォトダイオードＰＤＡ、ＰＤＢは、光電変換により入射光に応じた電荷を生成するとともに、当該電荷を蓄積する光電変換素子である。フォトダイオードＰＤＡ、ＰＤＢは半導体基板内に形成されたＰＮ接合により構成される。転送トランジスタＭ１Ａは、オンになることによりフォトダイオードＰＤＡの電荷をフローティングディフュージョンＦＤに転送する。転送トランジスタＭ１Ｂは、オンになることによりフォトダイオードＰＤＢの電荷をフローティングディフュージョンＦＤに転送する。すなわち、２つのフォトダイオードＰＤＡ、ＰＤＢ及び２つの転送トランジスタＭ１Ａ、Ｍ１Ｂが１つのフローティングディフュージョンＦＤを共有している。

フローティングディフュージョンＦＤは、増幅トランジスタＭ３のゲート電極に接続される拡散領域である。フローティングディフュージョンＦＤに生じる容量により、フローティングディフュージョンＦＤの電位はフォトダイオードＰＤＡ、ＰＤＢから転送された電荷に応じて変化する。増幅トランジスタＭ３のドレインは電源電圧ＶＤＤを有する電源電圧線に接続される。増幅トランジスタＭ３のソースは選択トランジスタＭ４を介して列信号線１９０に接続される。増幅トランジスタＭ３は、列信号線１９０に接続された不図示の定電流源とともにソースフォロア回路を構成する。このソースフォロア回路は、フローティングディフュージョンＦＤの電圧に基づく信号を選択トランジスタＭ４を介して列信号線１９０に出力する。リセットトランジスタＭ２は、オンになることによりフローティングディフュージョンＦＤの電位をリセットする。

本回路構成によれば、画素１２０ａが２つのフォトダイオードＰＤＡ、ＰＤＢを有することにより、１つの画素１２０ａから撮像用信号及び測距用信号を読み出すことができる。具体的には、転送トランジスタＭ１Ａ又は転送トランジスタＭ１Ｂの一方のみをオンにして読み出すことで測距用信号を取得できる。また、転送トランジスタＭ１Ａ及び転送トランジスタＭ１Ｂの両方をオンにして読み出すことでフォトダイオードＰＤＡ、ＰＤＢが受光した信号を加算し、撮像用信号を取得できる。

図３（ｂ）は、本実施形態に係る撮像装置における画素１２０ｂの回路図である。図３（ｂ）に示す画素１２０ｂは、フォトダイオードＰＤ及び転送トランジスタＭ１を１つのみ有している点が図３（ａ）に示す画素１２０ａと異なる。その他の回路構成については図３（ａ）と同様であるため説明を省略する。画素１２０ｂは、撮像用信号及び測距用信号のいずれか一方を出力することができる。

図４（ａ）は、画素１２０ａの断面図であり、図４（ｂ）は画素１２０ｂの断面図である。また、図４（ａ）及び図４（ｂ）には、瞳７０１、瞳７０１の一部である瞳７０２及び瞳７０３、並びに瞳７０２、７０３をそれぞれ通過した光束７０４、７０５も示されている。

図４（ａ）を参照して画素１２０ａの構成の一例を説明する。画素１２０ａは、基板１２２、基板１２２上に形成された層間膜１２３及び層間膜１２３上に形成されたマイクロレンズ１２１を有する。基板１２２中には、半導体領域１２４Ａ、１２４Ｂが形成されている。基板１２２は、シリコン等の半導体材料で構成される。なお、基板１２２は光電変換部を形成することが可能であればよく、例えば、光電変換膜等であってもよい。半導体領域１２４Ａ、１２４Ｂは、フォトダイオードＰＤＡ、ＰＤＢを構成する不純物拡散領域である。層間膜１２３は不図示の配線層の層間に形成された層間絶縁膜である。層間膜１２３は入射光を透過する材料で構成される。マイクロレンズ１２１は、入射光を半導体領域１２４Ａ、１２４Ｂに集光する。

瞳の一領域７０２を通過した光束７０４はマイクロレンズ１２１を経由して半導体領域１２４Ａに入射する。瞳の他の一領域７０３を通過した光束７０５はマイクロレンズ１２１を経由して半導体領域１２４Ｂに入射する。これにより、光束７０４、７０５を光電変換することにより得られた信号を、それぞれ個別に取得することができる。このようにして得られた複数の信号は位相差検出方式による測距用信号として用いられる。また、光束７０４、７０５を光電変換することにより得られた信号を加算又は平均することにより、撮像用信号として取得することもできる。

図４（ｂ）を参照して画素１２０ｂの構成の一例を説明する。この構成例は、測距用信号を取得可能な画素１２０ｂの一例である。画素１２０ｂは、基板１２２、基板１２２上に形成された層間膜１２３及び層間膜１２３上に形成されたマイクロレンズ１２１を有する。基板１２２中には、半導体領域１２４が形成されている。更に、画素１２０ｂは、半導体領域１２４の一部を遮光するように、基板１２２とマイクロレンズ１２１の間に遮光部１２５を有する。

図４（ｂ）のように半導体領域１２４の右側が遮光されている場合、瞳の一領域７０２を通過した光束７０４はマイクロレンズ１２１を経由して半導体領域１２４に入射される。しかしながら、瞳の他の一領域７０３を通過した光束７０５は遮光部１２５で遮光されるため、半導体領域１２４には入射されない。したがって、図４（ｂ）に示す画素１２０ｂは、光束７０４を光電変換することにより得られた信号を取得することができる。また、図４（ｂ）の構造を変形して半導体領域１２４の左側が遮光されるようにすることで、光束７０５を光電変換することにより得られた信号を取得することができる画素構成とすることもできる。このように遮光される位置が異なる画素を画素アレイ１１０内に配置することにより、瞳の異なる領域を通過した光束に基づく信号を測距用信号として個別に取得することができる。このようにして得られた信号は位相差検出方式による測距用信号として用いられる。

また、画素１２０ｂは、遮光部１２５を有しない構成とすることもできる。遮光部１２５を有しない画素１２０ｂから取得された信号は、撮像用信号として用いられる。

瞳の一領域７０２と瞳の他の一領域７０３が並ぶ向きは、図２に示す画素アレイ１１０の縦方向（垂直方向）であってもよく、横方向（水平方向）であってもよい。瞳の一領域７０２と瞳の他の一領域７０３が並ぶ向きに応じた検出方向で位相差検出方式による測距が可能となる。また、本実施形態では瞳７０１は瞳の一領域７０２と瞳の他の一領域７０３の２つに分割されているが、３つ以上の領域に分割されていてもよい。

本実施形態では、測距用信号を取得可能な画素が画素アレイ１１０の一部又は全部に配列されている。例えば、図３（ａ）、図４（ａ）に示す画素１２０ａは、読み出しの駆動方法に応じて、撮像用信号又は測距用信号を出力可能である。そのため、画素アレイ１１０に画素１２０ａを用いた場合には、画素１２０ａは、駆動方法に応じて、撮像用画素又は測距用画素として機能する。したがって、撮像及び測距が可能な撮像装置１００が提供される。

画素アレイ１１０に図３（ｂ）、図４（ｂ）に示す画素１２０ｂを用いる場合には、例えば、画素アレイ１１０の一部に半導体領域１２４の一部が遮光部１２５で遮光された画素を測距用画素として設ける。画素アレイ１１０のその他の部分のうちの一部には、半導体領域１２４が遮光されていない画素を撮像用画素として設ける。これにより、撮像及び測距が可能な撮像装置１００が提供される。

図５は、本実施形態に係る撮像システムの動作のフローチャートである。本フローチャートは、動画撮影モード、ライブビュー動作モード等の測距と撮像を繰り返す動作モードにおける処理を示す。本処理の開始後、ステップＳ１１において、撮像装置１００の撮像用画素（第１の画素群）から信号処理部３００への撮像用信号の読み出しが行われる（第１の読み出し動作）。ステップＳ１２において、選択部６００は、信号処理部３００において撮像用信号から生成された画像を用いて、測距用信号を読み出す測距領域を選択し、その情報を撮像装置１００に供給する（選択動作）。ステップＳ１３において、ステップＳ１２において定められた測距領域に対応する測距用画素（第２の画素群）から信号処理部３００への測距用信号の読み出しが行われる（第２の読み出し動作）。ステップＳ１４において、測距部５００は、測距用信号に基づき、測距領域の被写体と撮像システムの間の距離を検出する。ステップＳ１５において、レンズユニット２００内のレンズは、ステップＳ１４において検出された距離で合焦するように駆動される。その後ステップＳ１１からステップＳ１５の動作が繰り返される。

ここで、ステップＳ１１からステップＳ１３の動作は、１つのフレーム期間内に行われる。フレーム期間とは、撮像装置１００中の特定の画素（例えば画素アレイ１１０の左上の画素１２０）がリセットされてから、当該特定の画素が次に再びリセットされるまでの期間と定義される。

図６（ａ）は、第１実施形態に係る画素アレイ１１０の配置図であり、図６（ｂ）は、第１実施形態に係る撮像装置１００の駆動タイミングの模式図である。

撮像装置１００の駆動方法においては、行ごとに順次読み出しを行うローリングシャッタと呼ばれる方式が用いられる。以下の説明では、画素アレイ１１０の上方の行から順次ローリングシャッタによる読み出しが行われるものとするが、読み出しの方式はこれに限られない。例えば、画面の下方の行から順次読み出す駆動方法も採用される。

まず図６（ａ）を参照して画素アレイ１１０の構成を説明する。画素アレイ１１０は、実際には数千行以上の行数の画素１２０を含む場合があるが、説明の簡略化のために、図６（ａ）には、画素アレイ１１０が行Ｖ０〜Ｖ４５までの４６行を含んでいる場合を例示している。また、本実施形態の読み出し方法は、一部の領域を除いて、画素アレイ１１０の３行ごとに１行を読み出し、残りの２行は読み出さない方式（間引き読み出し）であるものとする。しかしながら、撮像装置１００の読み出し方法は、これ以外の間引き読み出しであってもよく、間引きを行わずすべての行を読み出す方式であってもよい。

画素アレイ１１０の上端及び左端にはＯＢ（Optical Black）画素が配列されたＯＢ画素領域１１１が設けられている。ＯＢ画素は、暗電流等に起因するノイズに相当する信号を取得するための画素であり、フォトダイオードの上部が完全に遮光された構造を有する。本実施形態では、ＯＢ画素領域１１１に含まれる行Ｖ０、Ｖ１、Ｖ２の画素は、間引かれずにいずれも読み出される。

行Ｖ１１、Ｖ１６、Ｖ２３、Ｖ２８、Ｖ３５、Ｖ４０の６行は、測距用画素を含む測距用画素配置行１１２である。ＯＢ画素領域１１１及び測距用画素配置行１１２を除く領域には撮像用画素が設けられる。また、図６（ａ）には、画素アレイ１１０中の測距を行うことが可能な全範囲が測距領域１１３として示されている。

画素アレイ１１０に図３（ａ）、図４（ａ）に示す画素１２０ａが用いられている場合には、測距用画素配置行１１２及びその他の行のいずれにも同種の画素１２０ａが設けられる。読み出し方法の違いにより、測距用画素配置行１１２の画素１２０ａからは測距用信号が読み出され、その他の行の画素１２０ａからは撮像用信号が読み出される。言い換えると、測距用画素配置行１１２の画素１２０ａは、測距用画素として用いられ、その他の行の画素１２０ａは、撮像用画素として用いられる。

画素アレイ１１０に図３（ｂ）、図４（ｂ）に示す画素１２０ｂが用いられている場合には、測距用画素配置行１１２には遮光部１２５を有する測距用画素が設けられる。その他の行には遮光部１２５を有しない撮像用画素が設けられる。

なお、測距用画素が設けられている測距用画素配置行１１２からは撮像用信号が得られない場合があるが、周囲の撮像用画素の信号を用いて補間することにより、当該測距用画素の位置に対応する画像データを得ることができる。

図６（ｂ）は、撮像装置１００の１フレーム期間における駆動タイミングを示す模式図であり、各行の画素１２０のリセット及び読み出しの期間が示されている。図６（ｂ）の横軸は時間経過を示す。図６（ｂ）の縦軸は、図６（ａ）の行番号に対応するものである。白抜きの長方形は撮像用画素のリセット又は測距用画素のリセットを示しており、長方形の左辺が画素アレイ１１０左端の画素のリセット時刻、右辺が画素アレイ１１０右端の画素のリセット時間を表している。また、黒色の長方形は撮像用画素の読み出し又は測距用画素の読み出しを示しており、左辺と右辺はリセットと同様にアレイ左端と右端の画素の読み出し時刻を表している。

まず、各撮像用画素のリセットが順次行われる。その後、撮像用画素ごとに蓄積時間Ｔ１（第１の蓄積時間）が経過したタイミングで、撮像用画素（第１の画素群）からの読み出しが行われる（第１の読み出し動作）。時刻ｔ２において、撮像用画素の最終行の読み出しが行われ、その後、撮像用画素の読み出しが終了する。これらの動作は、図５のステップＳ１１に対応する。この読み出し動作において、複数の測距用画素（第３の画素群）を含む行Ｖ１１、Ｖ１６、Ｖ２３、Ｖ２８、Ｖ３５、Ｖ４０に設けられた画素からは撮像用信号の読み出しは行われない。

撮像用画素の読み出しと並行して、時刻ｔ１において、複数の測距用画素のリセットが行われる。すなわち、時刻ｔ１は、撮像用画素の読み出しの完了よりも前の時刻である。このとき、複数の測距用画素に対し、同時にリセットが行われる。その後、蓄積時間Ｔ２（第２の蓄積時間）が経過した時刻ｔ３において、複数の測距用画素のうちの選択された測距用画素（第２の画素群）から読み出しが行われる（第２の読み出し動作）。これらの動作は、図５のステップＳ１３に対応する。なお、撮像用画素の読み出しと測距用画素のリセットとが並行して行われることは必須ではなく、撮像用画素がリセットされた後、次に再びリセットされるまでの期間に、測距用画素のリセットが行われていればよい。例えば、撮像用画素の読み出しの終了後に測距用画素のリセットが行われてもよい。

時刻ｔ２から時刻ｔ３の間の領域選択時間Ｔ３において、選択部６００は、時刻ｔ２までに読み出された撮像用信号に基づき測距領域１１３から測距用画素の読み出しを行う領域を選択する。この動作は、図５のステップＳ１２に対応する。本実施形態の説明においては、一例として、図６（ａ）に斜線で示されている行Ｖ２３が測距領域として選択されたものとする。当該選択には撮像用信号が用いられるので、測距用画素の読み出しを行う時刻ｔ３は、撮像用画素の最終行の読み出しが行われる時刻ｔ２よりも後の時刻となる。その後、測距部５００は、測距用信号に基づき、図５のステップＳ１４に対応する測距を行い、図５のステップＳ１５のようにレンズユニット２００内のレンズが駆動される。

本実施形態では、撮像用画素からの読み出し、測距領域の選択、及び測距用画素からの読み出しが同一のフレーム期間に行われるため、測距領域の検出を行うための信号を取得する時刻と、測距を行うための信号を取得する時刻が近い。そのため、測距領域の検出を行うための画像中の被写体像と実際の測距を行う際の被写体像との差が小さくなる。したがって、測距の精度をより向上し得る撮像装置が提供される。

上述の図６（ａ）及び図６（ｂ）に示す例では、測距用画素配置行１１２の中の選択された行全体にわたって読み出されているが、行内の一部のみを選択して読み出すように駆動方法を変形することもできる。図７（ａ）は、当該変形例に係る画素アレイ１１０の配置図であり、図７（ｂ）は、当該変形例に係る撮像装置１００の駆動タイミングの模式図である。

本変形例においては、図７（ａ）の行Ｖ１６の斜線で示されている領域が測距領域として選択される。その他は図６（ａ）及び図６（ｂ）と同様であるため説明を省略する。本変形例では、図６（ａ）及び図６（ｂ）に示す例と比べて測距領域を狭くすることができる。これにより、測距用画素の読み出し時間を短くすることができる。また、読み出し時間の短縮により、測距領域の検出を行うための画像中の被写体像と実際の測距を行う際の被写体像との差が更に小さくなり、測距の精度をより向上し得る撮像装置が提供される。

また、本変形例の構成は、撮像用画素を水平方向に間引き読み出し又は加算読み出しする場合にも用いられる。この場合、測距の精度を維持するために、測距用画素については間引き読み出し又は加算読み出しをしない方がよい場合がある。本変形例を用いることにより、測距領域を狭くすることにより、撮像用画素を水平方向に間引き読み出し又は加算読み出しする場合であっても撮像用信号の１行あたりの読み出し時間と測距用信号の１行あたりの読み出し時間を揃えることができる。

なお、本変形例において、選択部６００は、図５のステップＳ１２において撮像用信号から生成された画像を用いて、行内のどの領域から測距用信号の読み出しを行うかを選択する。図７（ａ）では、選択部６００が、行Ｖ１６内の３つの領域（左側、中央、右側）から右側の領域を選択した場合が例示されている。

（第２実施形態）
第１実施形態においては、時刻ｔ１において、全ての測距用画素のリセットが同時に行われている。この場合、測距用画素が含まれる行を複数個選択し、複数の行を順に読み出すと、複数の行の読み出し時刻が異なる時刻となる。そのため、行ごとに蓄積時間Ｔ２の長さが異なり、測距の精度に影響を及ぼす。第２実施形態は、測距用画素を読み出す行が複数である場合においても、蓄積時間Ｔ２の長さを一定とすることで測距の精度をより向上し得る撮像装置を提供する。

図８（ａ）は、第２実施形態に係る画素アレイ１１０の配置図であり、図８（ｂ）は、第２実施形態に係る撮像装置１００の駆動タイミングの模式図である。本実施形態において、図８（ａ）に示されるように、測距用画素が配置される行が２つの画素群に分かれている。測距用画素配置行１１２ａ（行Ｖ１１、Ｖ２３、Ｖ３５）の複数の測距用画素を第４の画素群とし、測距用画素配置行１１２ｂ（行Ｖ１６、Ｖ２８、Ｖ４０）の複数の測距用画素を第５の画素群とする。

図８（ｂ）に示すように、測距用画素配置行１１２ａの複数の測距用画素は時刻ｔ１ａにリセットされ、その後、測距用画素配置行１１２ｂの複数の測距用画素は時刻ｔ１ｂにリセットされる。時刻ｔ１ａと時刻ｔ１ｂの間隔は、１行の読み出し時間程度とする。その後、時刻ｔ１ａから蓄積時間Ｔ２が経過した後の時刻ｔ３ａにおいて、測距用画素配置行１１２ａから選択された測距用画素の読み出しが行われる。更にその後、時刻ｔ１ｂから蓄積時間Ｔ２が経過した後の時刻ｔ３ｂにおいて、測距用画素配置行１１２ｂから選択された測距用画素の読み出しが行われる。

このように、本実施形態では、測距用画素配置行が２つの画素群に分けられており、画素群ごとに同時にリセットされる。これにより、各画素群から測距用信号を１行分ずつ読み出すことができ、２つの行から測距用信号を読み出すことができる。また、２つの行の測距用画素の蓄積時間Ｔ２の長さは揃っている。したがって、複数の列から測距用信号を得つつ、測距の精度をより向上し得る撮像装置が提供される。なお、画素群の個数は、３つ以上であってもよい。

上述の図８（ａ）及び図８（ｂ）に示す例では、測距用画素配置行１１２ａ、１１２ｂの中の選択された行全体にわたって読み出されているが、行内の一部の列のみを読み出すように駆動方法を変形することもできる。図９（ａ）は、当該変形例に係る画素アレイ１１０の配置図であり、図９（ｂ）は、当該変形例に係る撮像装置１００の駆動タイミングの模式図である。

第１実施形態の変形例と同様に、本変形例においては、図９（ａ）の行Ｖ３５、Ｖ４０の斜線で示されている領域が測距領域として選択される。本変形例においても、図８（ａ）及び図８（ｂ）に示す例と比べて測距領域を狭くすることができ、第１実施形態の変形例と同様の効果が得られる。

（第３実施形態）
瞳７０２と瞳７０３が並ぶ向きは撮像装置１００の構成により定まる。そのため、第１実施形態及び第２実施形態において、位相差検出方式による測距を行うための検出方向は一定であることが前提となっていた。

位相差検出方式の測距においては、瞳像を横方向（水平方向）に分離して位相差を検出する方式（縦線検出）だけでなく、瞳像を縦方向に分離して位相差を検出する方式（横線検出）もある。一般的に、横線よりも縦線を多く含む被写体が多い。そのため、瞳像の分離を一方向のみで行う場合は縦線検出が採用される場合が多い。しかしながら、横線を多く含む被写体に対しては縦線検出では測距が困難な場合もある。

そこで、第３実施形態においては、撮像装置１００を縦線検出と横線検出を切り替えることが可能な構成とする。例えば、撮像装置の画素１２０を、２行２列に配列された４個のフォトダイオードを含む構成とし、４個のフォトダイオードのうちの２個を用いることで、縦線検出又は横線検出を行うことができる。このように、撮像装置１００が縦線検出又は横線検出の両方を行い得る構成である場合、縦線検出と横線検出の両方を行ってもよいが、縦線検出と横線検出のうちのいずれか一方を選択して位相差検出を行うことで読み出し時間を短縮化することができる。

上述のように縦線検出と横線検出のうちのいずれか一方を選択して位相差検出を行うことが可能な撮像装置及びこれを備えた撮像システムを第３実施形態として説明する。図１０は、第３実施形態に係る撮像システムの動作のフローチャートである。図１０に示すフローチャートでは、図５におけるステップＳ１２がステップＳ１６に置換されている。以下の説明において、図５の説明と重複する部分については説明を省略する。

ステップＳ１６において、選択部６００は、信号処理部３００において撮像用信号から生成された画像を用いて、測距用信号を読み出す測距領域を選択する。更に、選択部６００は、当該画像を用いて、検出方向、すなわち縦線検出と横線検出のいずれを行うかを選択する。選択部６００は、これらの選択結果についての情報を撮像装置１００に供給する。ステップＳ１３において、ステップＳ１６において定められた測距領域に対応する測距用画素から信号処理部３００への測距用信号の読み出しが行われる。当該測距用信号は、ステップＳ１６において定められた検出方向に対応するフォトダイオードからの信号を含む。

ここで、選択部６００における検出方向の選択は、撮像用信号から生成された画像中の被写体像の特徴等に基づいて行うことができる。本実施形態では、撮像用画素からの読み出し、測距方向の選択、及び測距用画素からの読み出しが同一のフレーム期間に行われる。そのため、検出方向の選択を行うための画像中の被写体像と実際の測距を行う際の被写体像との差が小さくなる。したがって、本実施形態では、第１実施形態の効果に加えて、検出方向の選択の精度をより向上し得る撮像装置が提供される。

選択部６００における検出方向の選択の具体的方法としては、画像の水平方向及び垂直方向等の２方向に対応する射影データを取得し、これらに基づいて被写体の特徴を解析してより好ましい検出方向を選択する方法が挙げられる。より具体的には、各射影データの最大値及び最小値の大きさ又は各射影データをフーリエ変換して得た空間周波数スペクトルにおける特定の周波数の強度を用いて検出方向を選択することができる。ここで、「射影データ」とは、２次元データをいずれか１つの次元について加算あるいは平均化することにより得られた１次元配列のデータを意味する。なお、射影データを取得することは必須ではなく、元のデータを２次元フーリエ変換することによって得られた空間周波数スペクトルに基づいて被写体の特徴を解析して検出方法を選択してもよい。

なお、検出方向は縦方向と横方向に限定されるものではなく、例えば斜め方向等の縦横以外の方向を含んでもよい。

（第４実施形態）
図１１（Ａ）及び図１１（Ｂ）は、車戴カメラに関する撮像システムの一例を示したものである。撮像システム２０００は、上述した実施形態の撮像装置２０１０を有する。撮像システム２０００は、撮像装置２０１０により取得された複数の画像データに対し、画像処理を行う画像処理部２０３０と、撮像システム２０００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差算出部２０４０を有する。また、撮像システム２０００は、算出された視差に基づいて対象物までの距離を算出する距離計測部２０５０と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部２０６０と、を有する。ここで、視差算出部２０４０や距離計測部２０５０は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部２０６０はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

撮像システム２０００は車両情報取得装置２３１０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム２０００は、衝突判定部２０６０での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ２４１０が接続されている。また、撮像システム２０００は、衝突判定部２０６０での判定結果に基づいて、ドライバーへ警報を発する警報装置２４２０とも接続されている。例えば、衝突判定部２０６０の判定結果として衝突可能性が高い場合、制御ＥＣＵ２４１０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置２４２０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。撮像システム２０００は上述のように車両を制御する動作の制御を行う制御手段として機能する。

本実施形態では車両の周囲、例えば前方又は後方を撮像システム２０００で撮像する。図１１（Ｂ）に、車両前方（撮像範囲２５１０）を撮像する場合の撮像システムを示した。撮像制御手段としての車両情報取得装置２３１０が、上述の第１乃至第３の実施形態に記載した動作を行うように撮像システム２０００ないしは撮像装置２０１０に指示を送る。撮像装置２０１０の動作は、第１乃至第３の実施形態と同じなので、ここでは説明を省略する。このような構成により、測距の精度をより向上させることができる。

上述では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

（その他の実施形態）
なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明の適用された実施形態であると理解されるべきである。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１１２ 測距用画素配置行
１２０ 画素

Claims (16)

1. 撮像用信号及び測距用信号の少なくとも１つを各々が出力する複数の画素と、制御回路とを有し、
   前記制御回路は、前記複数の画素のうちの第１の画素群の前記画素から前記撮像用信号を読み出す第１の読み出し動作と、
   前記第１の読み出し動作の後であって、次に前記撮像用信号を取得するための読み出し動作が行われる前において、前記複数の画素のうちの第２の画素群の前記画素から前記測距用信号を読み出す第２の読み出し動作と、を行い、
   前記第１の読み出し動作で読み出された前記撮像用信号に基づいて、前記複数の画素から前記第２の画素群が選択され、
   前記第２の画素群に含まれる画素を含み、複数行に配された少なくとも２つの画素が光電変換による電荷の蓄積を同時に開始することを特徴とする撮像装置。
2. 前記第１の読み出し動作において、前記複数の画素のうちの第３の画素群の前記画素からは前記撮像用信号の読み出しが行われず、
   前記第３の画素群の前記画素は、前記第１の読み出し動作が完了する前に光電変換による電荷の蓄積を開始し、
   前記第２の画素群は、前記第３の画素群の中から選択される
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第３の画素群に対応する前記撮像用信号は、前記第１の読み出し動作により得られた前記撮像用信号を用いた補間により得られる
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記第３の画素群は、第４の画素群及び第５の画素群を含み、
   前記第４の画素群に含まれる前記画素が同時に光電変換による電荷の蓄積を開始し、
   前記第５の画素群に含まれる前記画素が、前記第４の画素群に含まれる前記画素の光電変換による電荷の蓄積の開始後に同時に光電変換による電荷の蓄積を開始する
   ことを特徴とする請求項２又は３に記載の撮像装置。
5. 前記複数の画素は、複数の行及び複数の列をなすように配置されており、
   前記第３の画素群は、前記複数の画素のうちの複数の行に対応する領域に配置された前記画素で構成された群である
   ことを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記第２の画素群は、前記第３の画素群のうちの一部の行に対応する領域に配置された前記画素で構成された群である
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記第２の画素群は、前記第３の画素群のうちの一部の行かつ一部の列に対応する領域に配置された前記画素で構成された群である
   ことを特徴とする請求項５に記載の撮像装置。
8. 前記測距用信号は位相差検出による測距に用いられる信号であり、
   前記位相差検出における検出方向は、前記第１の読み出し動作で読み出された前記撮像用信号に基づいて、選択される
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記位相差検出における前記検出方向の選択は、前記第１の読み出し動作で読み出された前記撮像用信号から得られた射影データに基づいて行われる
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記位相差検出における前記検出方向の選択は、前記第１の読み出し動作で読み出された前記撮像用信号を２次元フーリエ変換して得られた空間周波数スペクトルに基づいて行われる
    ことを特徴とする請求項８に記載の撮像装置。
11. 前記第１の画素群の前記画素の光電変換による電荷の蓄積が開始された後、前記撮像用信号が読み出されるまでの第１の蓄積時間と、前記第２の画素群の前記画素の電荷の光電変換による蓄積が開始された後、前記測距用信号が読み出されるまでの第２の蓄積時間とが同一の長さである
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 撮像用信号及び位相差検出による測距に用いられる信号である測距用信号の少なくとも１つを各々が出力する複数の画素を有し、
    前記複数の画素のそれぞれは１つのマイクロレンズを有し、
    前記複数の画素のうちの第１の画素群の前記画素から前記撮像用信号を読み出す第１の読み出し動作と、
    前記第１の読み出し動作の後であって、次に前記撮像用信号を取得するための読み出し動作が行われる前において、前記複数の画素のうち、複数行複数列に配された複数の光電変換部を含む画素である第２の画素群の前記画素から前記測距用信号を読み出す第２の読み出し動作と
    を行う撮像装置であって、
    前記第１の読み出し動作で読み出された前記撮像用信号に基づいて、前記複数の画素からの前記第２の画素群の選択と、前記第２の画素群の１つの画素が有する複数の光電変換部の中からの、前記測距用信号が基づく信号として個別に信号を取得する少なくとも２つの光電変換部の選択とが行われることを特徴とする撮像装置。
13. 請求項１乃至１２のいずれか１項に記載の撮像装置と、
    前記撮像装置から出力される信号を処理する信号処理部と、
    を有する撮像システム。
14. 撮像用信号及び測距用信号の少なくとも１つを各々が出力する複数の画素を有する撮像装置の駆動方法であって、
    前記複数の画素のうちの第１の画素群の前記画素から前記撮像用信号を読み出す第１の読み出し動作と、
    前記第１の読み出し動作で読み出された前記撮像用信号に基づいて、前記複数の画素から第２の画素群を選択する選択動作と、
    前記第２の画素群に含まれる前記画素を含み、複数行に配された少なくとも２つの画素が光電変換による電荷の蓄積を同時に開始する動作と、
    前記第１の読み出し動作の後であって、次に前記撮像用信号を取得するための読み出し動作が行われる前において、前記第２の画素群の前記画素から前記測距用信号を読み出す第２の読み出し動作と、を行うことを特徴とする撮像装置の駆動方法。
15. 撮像用信号及び測距用信号の少なくとも１つを各々が出力する複数の画素を有する撮像装置を制御する撮像制御手段を備えた移動体であって、
    前記撮像制御手段が、
    前記撮像装置に対して、前記複数の画素のうちの第１の画素群の前記画素から前記撮像用信号を読み出す第１の読み出し動作を指示し、
    前記撮像装置に対して、前記第１の読み出し動作の後であって、次に前記撮像用信号を取得するための読み出し動作が行われる前において、前記複数の画素のうちの第２の画素群の前記画素から前記測距用信号を読み出す第２の読み出し動作を指示し、
    前記第１の読み出し動作で読み出された前記撮像用信号に基づいて、前記複数の画素から前記第２の画素群を選択する、動作を行い、
    前記第２の画素群に含まれる画素を含み、複数行に配された少なくとも２つの画素が光電変換による電荷の蓄積を同時に開始することを特徴とする移動体。
16. 前記撮像装置からの前記測距用信号に基づいて、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と、
    を有することを特徴とする請求項１５に記載の移動体。

Images