JP7260990B2 - 撮像装置及び撮像システム - Google Patents

Description

本発明は、撮像装置及び撮像システムに関する。

車載用カメラや監視用カメラなどに用いられる撮像装置では、相対的に露光時間の長い画像（長秒画像）と相対的に露光時間の短い画像（短秒画像）とを合成してダイナミックレンジの広い画像を生成する手法が一般的に用いられている。特許文献１には、長秒画像と短秒画像とを合成する際に、長秒画像の信号が飽和しているか否かを示す飽和フラグを参照し、長秒画像の信号が飽和している場合には長秒画像の信号に換えて短秒画像の信号を用いて合成処理を行う方法が記載されている。

特開２００６－１９１５３６号公報

しかしながら、特許文献１に記載の方法では、長秒画像と短秒画像とのつなぎ部分に発生するオフセットに起因して、長秒画像と短秒画像とを合成した画像の画質が劣化することがあった。

本発明の目的は、高品質のハイダイナミックレンジ画像を取得しうる撮像装置及び撮像システムを提供することにある。

本発明の一観点によれば、
複数の行及び複数の列に渡って配され、各々が光電変換部を有する複数の画素と、前記複数の画素の各々から、第１の露光時間の間に前記光電変換部で生じる電荷に基づく第１の信号と、前記第１の露光時間よりも短い第２の露光時間の間に前記光電変換部で生じる電荷に基づく第２の信号と、を出力するように、前記複数の画素を制御する制御部と、前記複数の画素から出力される前記第１の信号の各々に対して、所定の値を超えているか否かを判定する判定処理を実行し、判定の結果を示す判定信号を出力する判定部と、前記複数の画素の各々の画像形成用の信号として、前記第１の信号及び前記第２の信号のうちの一方をそれぞれ選択する信号選択部と、を有し、前記信号選択部は、対象となる画素の前記判定信号及び前記対象となる画素を含む所定の領域に配された他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていないことを示している場合に、前記対象となる画素の前記画像形成用の信号として前記第１の信号を選択し、前記他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていることを示している場合、及び、前記対象となる画素の前記判定信号が、前記第１の信号が前記所定の値を超えていることを示しており、且つ、前記他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていないことを示している場合に、前記対象となる画素の前記画像形成用の信号として前記第２の信号を選択する撮像装置が提供される。

また、本発明の他の一観点によれば、各々が光電変換部を有する複数の画素を有し、前記複数の画素の各々から、第１の露光時間の間に前記光電変換部で生じる電荷に基づく第１の信号と、前記第１の露光時間よりも短い第２の露光時間の間に前記光電変換部で生じる電荷に基づく第２の信号と、を出力する撮像素子から出力される信号を処理する信号処理装置であって、前記複数の画素から出力される前記第１の信号の各々に対して、所定の値を超えているか否かを判定し、判定の結果を示す判定信号を出力する判定部と、前記複数の画素の各々の画像形成用の信号として、前記第１の信号及び前記第２の信号のうちの一方をそれぞれ選択する信号選択部と、を有し、前記信号選択部は、対象となる画素の前記判定信号及び前記対象となる画素を含む所定の領域に配された他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていないことを示している場合に、前記対象となる画素の前記画像形成用の信号として前記第１の信号を選択し、前記他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていることを示している場合、及び、前記対象となる画素の前記判定信号が、前記第１の信号が前記所定の値を超えていることを示しており、且つ、前記他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていないことを示している場合に、前記対象となる画素の前記画像形成用の信号として前記第２の信号を選択する信号処理装置が提供される。

また、本発明の更に他の一観点によれば、各々が光電変換部を有する複数の画素を有し、前記複数の画素の各々から、第１の露光時間の間に前記光電変換部で生じる電荷に基づく第１の信号と、前記第１の露光時間よりも短い第２の露光時間の間に前記光電変換部で生じる電荷に基づく第２の信号と、を出力する撮像素子を有する撮像装置と、前記撮像装置から出力される信号を処理する信号処理部と、を有し、前記信号処理部は、前記複数の画素から出力される前記第１の信号の各々に対して、所定の値を超えているか否かを判定し、判定の結果を示す判定信号を出力する判定部と、前記複数の画素の各々の画像形成用の信号として、前記第１の信号及び前記第２の信号のうちの一方をそれぞれ選択する信号選択部と、を有し、前記信号選択部は、対象となる画素の前記判定信号及び前記対象となる画素を含む所定の領域に配された他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていないことを示している場合に、前記対象となる画素の前記画像形成用の信号として前記第１の信号を選択し、前記他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていることを示している場合、及び、前記対象となる画素の前記判定信号が、前記第１の信号が前記所定の値を超えていることを示しており、且つ、前記他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていないことを示している場合に、前記対象となる画素の前記画像形成用の信号として前記第２の信号を選択する撮像システムが提供される。

本発明によれば、長秒画像と短秒画像とを用いてハイダイナミックレンジ画像を合成する際に、長秒画像と短秒画像との間のつなぎ部分における画質を向上することができる。

本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。 本発明の第１実施形態による撮像装置における撮像素子の概略構成を示すブロック図である。 本発明の第１実施形態による撮像装置における撮像素子の画素の構成例を示す回路図である。 本発明の第１実施形態による撮像装置における撮像素子の読み出し動作を示すタイミング図である。 本発明の第１実施形態による撮像装置における長秒飽和判定部の動作を説明する図である。 本発明の第１実施形態による撮像装置における信号選択部の構成及び動作を説明する図である。 本発明の第１実施形態による撮像装置におけるＨＤＲ合成部の動作を説明する図である。 本発明の第１実施形態による撮像装置の効果を説明する図である。 本発明の第２実施形態による撮像装置における長短選択信号の生成方法を説明する図（その１）である。 本発明の第２実施形態による撮像装置における長短選択信号の生成方法を説明する図（その２）である。 本発明の第３実施形態による撮像装置における撮像素子の概略構成を示すブロック図である。 本発明の第３実施形態による撮像装置における撮像素子の画素の構成例を示す回路図である。 本発明の第３実施形態による撮像装置における撮像素子の読み出し動作を示すタイミング図である。 本発明の第３実施形態による撮像装置における撮像素子の１行分の読み出し動作を示すタイミング図である。 本発明の第３実施形態による撮像装置における信号処理部の構成及び動作を説明する図である。 本発明の第４実施形態による撮像装置における撮像素子の概略構成を示すブロック図である。 本発明の第４実施形態による撮像装置における撮像素子の１行分の読み出し動作を示すタイミング図である。 本発明の第４実施形態による撮像装置における撮像素子の信号処理部の構成例を示す回路図である。 本発明の第５実施形態による撮像システムの概略構成を示すブロック図である。 本発明の第６実施形態による撮像システム及び移動体の構成例を示す図である。

［第１実施形態］
本発明の第１実施形態による撮像装置の構造について、図１乃至図３を用いて説明する。図１は、本実施形態による撮像装置の概略構成を示すブロック図である。図２は、本実施形態による撮像装置における撮像素子の概略構成を示すブロック図である。図３は、本実施形態による撮像装置における撮像素子の画素の構成例を示す回路図である。

本実施形態による撮像装置３００は、図１に示すように、撮像素子１００と、信号処理部２００と、を有する。

撮像素子１００は、図示しない光学系を介して入射した光信号（被写体像）を電気信号に変換して出力する。撮像素子１００は、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ上にカラーフィルタ（以下、「ＣＦ」とも表記する）が配置された、いわゆる単板式のカラーセンサにより構成されうる。撮像素子１００は、必ずしもカラーセンサである必要はなく、モノクロセンサであってもよい。

撮像素子１００は、第１の露光時間の間に生成された電荷に基づく信号と、第２の露光時間の間に生成された電荷に基づく信号と、を出力する。第１の露光時間は、第２の露光時間と比較して相対的に長い時間である。第２の露光時間は、第１の露光時間と比較して相対的に短い時間である。以後の説明においては、第１の露光時間の間に生成された電荷に基づく信号を「長秒信号」と呼び、第２の露光時間の間に生成された電荷に基づく信号を「短秒信号」と呼ぶことがある。長秒信号及び短秒信号は、ダイナミックレンジの広い画像信号を得るために用いられる信号である。

信号処理部２００は、前段処理部２１０と、長秒飽和判定部２２０と、長秒信号・判定信号保持部２３０と、短秒信号保持部２４０と、信号選択部２５０と、ＨＤＲ合成部２６０と、を有する。

前段処理部２１０は、撮像素子１００からの出力信号に対して、信号処理の前処理を実施する。撮像素子１００からの出力信号がアナログ信号の場合には、撮像素子１００の出力信号に対するＡ／Ｄ変換処理を前段処理部２１０で実施してもよい。本実施形態では、撮像素子１００の出力信号に対して１２ビットのＡ／Ｄ変換を行うものとする。前段処理部２１０は、撮像素子１００の出力信号（入力信号Ｄｉｎ）に対して、オフセット（ＯＦＦＳＥＴ）補正、ゲイン（ＧＡＩＮ）補正、等の補正（前段処理）を適宜実施して、補正後の出力信号（データＤｏｕｔ）を作成する。この処理は、典型的には以下の式（１）のように表される。
Ｄｏｕｔ＝（Ｄｉｎ－ＯＦＦＳＥＴ）×ＧＡＩＮ …（１）

前段処理部２１０における補正は、さまざまな単位で行うことが可能である。例えば、画素１２毎に補正を行う場合、列増幅器毎に補正を行う場合、アナログデジタル変換部（ＡＤＣ）部毎に補正を行う場合、出力増幅器毎に補正を行う場合、等が挙げられる。撮像素子１００の出力信号の補正を行うことで、いわゆる固定パターンノイズを低減することができ、より高品質な画像を得ることができる。

前段処理部２１０は、撮像素子１００から出力される長秒信号及び短秒信号の各々に対して前段処理を行い、処理後の長秒信号と短秒信号とを分離して後段の処理部へと送信する。具体的には、前段処理部２１０は、処理後の長秒信号を長秒飽和判定部２２０に送信し、処理後の短秒信号を短秒信号保持部２４０に送信する。

長秒飽和判定部２２０は、長秒信号が飽和しているか否かを判定する判定処理を実行し、判定結果を示す飽和判定信号を長秒信号とともに後段の処理部に送信する。

長秒信号・判定信号保持部２３０は、長秒飽和判定部２２０から送信される長秒信号と飽和判定信号とを保持する。また、短秒信号保持部２４０は、前段処理部２１０から送信される短秒信号を保持する。同じ画素１２から長秒信号が送信されるタイミングと短秒信号が送信されるタイミングとは異なる。長秒信号・判定信号保持部２３０は、同じ画素の長秒信号と短秒信号とを後段の処理部に同時に出力するために長秒信号及び判定信号を一時的に保持するメモリである。同様に、短秒信号保持部２４０は、同じ画素の長秒信号と短秒信号とを後段の処理部に同時に出力するために短秒信号を一時的に保持するメモリである。長秒信号・判定信号保持部２３０及び短秒信号保持部２４０は、例えば、ＳＲＡＭで構成される１０行分のラインメモリを有する。

信号選択部２５０は、長秒信号・判定信号保持部２３０が保持する飽和判定信号に基づいて、長秒飽和判定部２２０から送信される長秒信号及び短秒信号保持部２４０から送信される短秒信号のうちの一方を選択し、選択した信号をＨＤＲ合成部２６０に出力する。選択された信号は、当該画素における画像形成用の信号として用いられる。

ＨＤＲ合成部２６０は、信号選択部２５０から送信される選択フラグと選択された信号とを用いてハイダイナミックレンジ画像を合成するハイダイナミックレンジ処理を行い、ＨＤＲ圧縮データを出力する。

撮像素子１００は、図２に示すように、画素部１０と、垂直走査回路２０と、読み出し回路部３０と、メモリ部４０と、カウンタ４６と、水平走査回路５０と、信号処理部６０と、タイミング発生回路７０と、を有する。

画素部１０には、複数の行及び複数の列に渡ってマトリクス状に配された複数の画素１２が設けられている。画素部１０には、例えば、列方向に１９２０画素、行方向に１０８０画素の合計２０７３６００画素が配される。画素部１０に配される画素数は限定されず、より多い画素数、若しくはより少ない画素数でもよい。

画素部１０の各行には、第１の方向（図２において横方向）に延在して、制御線１４が配されている。制御線１４は、第１の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。制御線１４の延在する第１の方向は、行方向或いは水平方向と呼ぶことがある。

画素部１０の各列には、第１の方向と交差する第２の方向（図２において縦方向）に延在して、垂直信号線１６が配されている。垂直信号線１６は、第２の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。垂直信号線１６の延在する第２の方向は、列方向或いは垂直方向と呼ぶことがある。

図２では、画素部１０が第１列から第ｎ列までのｎ列の画素１２を有する場合を想定し、各列の垂直信号線１６の符号に列番号を付記している。例えば、第１列の垂直信号線１６には「１６－１」の符号を付し、第ｎ列の垂直信号線１６には「１６－ｎ」の符号を付している。以後の説明において、画素部１０の列に対応して設けられた要素については、同様の表記を用いるものとする。

各行の制御線１４は、垂直走査回路２０に接続されている。垂直走査回路２０は、画素信号を読み出す際に画素１２内の読み出し回路を駆動するための制御信号を、制御線１４を介して行単位で画素１２に供給する制御部である。垂直走査回路２０から供給される制御信号によって選択された行（選択行）に属する画素１２の画素信号は、これら画素１２の各々に対応する列の垂直信号線１６に同時に出力される。

各列の垂直信号線１６は、読み出し回路部３０に接続されている。読み出し回路部３０は、増幅部３２と、比較部３４と、参照信号発生回路３６と、を有する。増幅部３２は、画素部１０の各列に対応して設けられたｎ個の増幅器３３－１～３３－ｎを有する。増幅器３３－１～３３－ｎは、各々に対応する列の垂直出力線１６－１～１６－ｎを介して画素１２から出力される画素信号を増幅する。比較部３４は、画素部１０の各列に対応して設けられたｎ個の比較器３５－１～３５－ｎを有する。比較器３５－１～３５－ｎは、各々に対応する列の増幅器３３－１～３３－ｎから出力される画素信号のレベルと、参照信号発生回路３６から出力される参照信号のレベルとを比較し、比較結果を出力する。

メモリ部４０は、画素部１０の各列に対応して設けられたｎ個のメモリ４２－１～４２－ｎを有する。メモリ４２－１～４２－ｎは、各々に対応する列の比較器３５－１～３５－ｎから出力される信号を受信し、受信した信号に応じてカウンタ４６から出力されるカウント信号をラッチし保持する。参照信号発生回路３６から出力される参照信号は、時間の経過とともに信号レベルが一定の割合で変化する信号である。メモリ４２－１～４２－ｎに保持されるカウント信号は、画素１２から出力されるアナログの画素信号をＡＤ変換したデジタル画素信号に相当する。

水平走査回路５０は、メモリ部４０の各列のメモリ４２－１～４２－ｎを順次選択するための制御信号をメモリ部４０に供給する制御部である。水平走査回路５０から制御信号を受信したメモリ４２－１～４２－ｎは、保持するデジタル画素信号を信号処理部６０へと転送する。信号処理部６０は、メモリ部４０から転送される各列のデジタル画素信号に対して、所定のデジタル信号処理を実行し、撮像素子１００の外部へと出力する。

タイミング発生回路７０は、垂直走査回路２０、読み出し回路部３０、メモリ部４０及び水平走査回路５０等に、それらの動作やタイミングを制御する制御信号を供給するための回路部である。垂直走査回路２０、読み出し回路部３０、メモリ部４０及び水平走査回路５０等に供給する制御信号の一部又は総ては、撮像素子１００の外部から供給してもよい。

各々の画素１２は、図３に示すように、フォトダイオードＰＤと、転送トランジスタＭＴＸと、リセットトランジスタＭＲＳと、増幅トランジスタＭＳＦと、選択トランジスタＭＳＥＬと、を有する。フォトダイオードＰＤは、アノードが基準電圧ノードに接続され、カソードが転送トランジスタＭＴＸのソースに接続されている。転送トランジスタＭＴＸのドレインは、リセットトランジスタＭＲＳのソース及び増幅トランジスタＭＳＦのゲートに接続されている。転送トランジスタＭＴＸのドレイン、リセットトランジスタＭＲＳのソース及び増幅トランジスタＭＳＦのゲートの接続ノードは、いわゆるフローティングディフュージョンＦＤである。フローティングディフュージョンＦＤは、容量成分を含み、電荷保持部として機能するとともに、この容量成分からなる電荷電圧変換部を構成する。リセットトランジスタＭＲＳのドレイン及び増幅トランジスタＭＳＦのドレインは、電源電圧ノード（電圧ＶＤＤ）に接続されている。増幅トランジスタＭＳＦのソースは、選択トランジスタＭＳＥＬのドレインに接続されている。画素１２の出力ノードでもある選択トランジスタＭＳＥＬのソースは、垂直信号線１６に接続されている。

フォトダイオードＰＤは、入射光の光量に応じた電荷を生じる光電変換部である。被写体の光学像が画素部１０に入射すると、各画素１２のフォトダイオードＰＤは、入射光をその光量に応じた量の電荷に変換（光電変換）するとともに、生じた電荷を蓄積する。転送トランジスタＭＴＸは、オンすることによりフォトダイオードＰＤが保持する電荷をフローティングディフュージョンＦＤに転送する。フローティングディフュージョンＦＤは、その容量成分による電荷電圧変換によって、フォトダイオードＰＤから転送された電荷の量に応じた電圧となる。増幅トランジスタＭＳＦは、ドレインに電圧ＶＤＤが供給され、ソースに選択トランジスタＭＳＥＬを介して図示しない電流源からバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部（ソースフォロワ回路）を構成している。これにより増幅トランジスタＭＳＦは、フローティングディフュージョンＦＤの電圧に基づく信号を、選択トランジスタＭＳＥＬを介して垂直信号線１６に出力する。リセットトランジスタＭＲＳは、オンすることによりフローティングディフュージョンＦＤを電圧ＶＤＤに応じた電圧にリセットする。

図３に示す回路構成の画素１２の場合、各行の制御線１４は、転送トランジスタＭＴＸのゲートに接続された信号線と、リセットトランジスタＭＲＳのゲートに接続された信号線と、選択トランジスタＭＳＥＬのゲートに接続された信号線と、を含む。転送トランジスタＭＴＸには、制御線１４を介して垂直走査回路２０から制御信号φＴＸが供給される。リセットトランジスタＭＲＳには、制御線１４を介して垂直走査回路２０から制御信号φＲＥＳが供給される。選択トランジスタＭＳＥＬには、制御線１４を介して垂直走査回路２０から制御信号φＳＥＬが供給される。画素部１０内の複数の画素１２は、垂直走査回路２０から供給される制御信号φＴＸ，φＲＥＳ，φＳＥＬにより、行単位で制御される。画素１２の各トランジスタがＮ型トランジスタで構成される場合、これら制御信号がＨｉｇｈレベル（Ｈレベル）のときに対応するトランジスタはオン状態となり、これら制御信号がＬｏｗレベル（Ｌレベル）のときに対応するトランジスタはオフ状態となる。

次に、撮像素子１００の動作タイミングについて、図４を用いて説明する。図４は、本実施形態による撮像装置における撮像素子の読み出し動作を示すタイミング図である。

撮像素子１００は、図４に示すように、１フレームの間に長秒信号の読み出し動作と短秒信号の読み出し動作とを行単位で交互に行うラインインターリーブ駆動を行う。

あるフレームにおける信号の読み出し動作は、例えば時刻Ｔ４０から開始される。時刻Ｔ４０は、当該フレームにおける１行目の画素１２の長秒信号の読み出し動作が開始する時刻である。２行目以降の画素１２の長秒信号の読み出し動作は、１行毎に所定の間隔を開けて順次行われる。

１行目の画素１２の短秒信号の読み出し動作は、例えば３行目の画素１２の長秒信号の読み出し動作が終了した後の時刻Ｔ４１から開始される。４行目の画素１２の長秒信号の読み出し動作は、１行目の画素１２の短秒信号の読み出し動作が終了した後の時刻Ｔ４２に開始する。

このようにして、時刻Ｔ４１以降、１行目の画素１２の短秒信号の読み出し、４行目の画素１２の長秒信号の読み出し、２行目の短秒信号の読み出し、５行目の長秒信号の読み出し、の順に、長秒信号と短秒信号の読み出し動作を行単位で交互に行う。最終行であるｍ行目の画素１２の短秒信号の読み出し動作が終了することで、当該フレームの読み出し動作が完了する。

ｍ行目の画素１２の短秒信号の読み出し動作が終了した後の時刻Ｔ４３において、次のフレームの読み出し動作が開始する。時刻Ｔ４３以降の動作は、前のフレーム、すなわち時刻Ｔ４０から時刻Ｔ４３までの期間における読み出し動作と同様である。時刻Ｔ４３から時刻Ｔ４４までの期間が、１行目の画素１２の長秒信号の読み出し動作が行われる期間である。時刻Ｔ４２から時刻Ｔ４４までの期間の長さが、１行目の画素１２において長秒信号となる信号電荷を生成するための露光時間（蓄積時間）Ｔ１である。時刻Ｔ４５から時刻Ｔ４６までの期間が、１行目の画素１２の短秒信号の読み出し動作が行われる期間である。時刻Ｔ４４から時刻Ｔ４６までの期間の長さが、１行目の画素１２において短秒信号となる信号電荷を生成するための露光時間（蓄積時間）Ｔ２である。

このようにして撮像素子１００から読み出された長秒信号及び短秒信号は、信号処理部２００の前段処理部２１０に入力される。前段処理部２１０は、長秒信号及び短秒信号の各々に対して所定の前段処理を行ったのち、処理後の長秒信号を長秒飽和判定部２２０へと送信し、処理後の短秒信号を短秒信号保持部２４０へと送信する。

次に、長秒飽和判定部２２０の動作について、図５を用いて説明する。図５は、本実施形態による撮像装置における長秒飽和判定部２２０の動作を説明する図である。

図５に示すように、長秒信号及び短秒信号の信号レベルは、画素１２への入射光量が多いほど増加する。フォトダイオードＰＤで生成される信号電荷の量がフォトダイオードＰＤに蓄積可能な電荷量の上限（飽和電荷量）を超えると、信号レベルは飽和する。短秒信号に対して信号電荷の蓄積時間が相対的に長い長秒信号は、同一光量における信号レベルが短秒信号よりも大きいため、短秒信号と比較してより少ない光量で飽和する。

長秒飽和判定部２２０には、出力信号が飽和しているかどうかを判定するための基準となる飽和閾値が予め設定されている。飽和閾値は、例えば図５に示すように、フォトダイオードＰＤの飽和電荷量に対応する出力信号レベルよりも若干低い信号レベルに設定することができる。

長秒飽和判定部２２０は、前段処理部２１０から受信した長秒信号のデータと、予め設定されている飽和閾値とを比較する。その結果、長秒信号のデータの値が飽和閾値を超えている場合には飽和判定信号ＪＬを１に設定し、長秒信号のデータの値が閾値以下の場合には飽和判定信号ＪＬを０に設定する。その後、長秒飽和判定部２２０は、長秒信号と、その判定結果を示す飽和判定信号ＪＬとを、長秒信号・判定信号保持部２３０へと送信する。長秒信号・判定信号保持部２３０は、長秒飽和判定部２２０から受信した長秒信号及び飽和判定信号を保持する。

次に、信号選択部２５０の動作について、図６を用いて説明する。図６は、本実施形態による撮像装置における信号選択部２５０の構成例及び動作を説明する図である。

信号選択部２５０は、図６（ａ）に示すように、長短選択信号生成部２５２と、セレクタ２５４と、を有する。長短選択信号生成部２５２は、長秒信号・判定信号保持部２３０から受信した飽和判定信号ＪＬを、複数画素分保持する。モノクロセンサの場合、長短選択信号生成部２５２は、隣り合う複数列を含む所定の領域の画素１２に対応する飽和判定信号ＪＬを保持する。例えば、長短選択信号生成部２５２は、Ｎ－１列目の画素１２に対応する飽和判定信号ＪＬ（Ｎ－１）と、Ｎ列目の画素１２に対応する飽和判定信号ＪＬ（Ｎ）と、Ｎ＋１列目の画素１２に対応する飽和判定信号ＪＬ（Ｎ＋１）と、を保持する。そして、長短選択信号生成部２５２は、飽和判定信号ＪＬ（Ｎ－１），ＪＬ（Ｎ），ＪＬ（Ｎ＋１）に基づき、Ｎ列目の画素１２に対応する長短選択信号ＪＪ（Ｎ）を生成し、セレクタ２５４に送信する。

図６（ｂ）は、入力信号である飽和判定信号ＪＬ（Ｎ－１），ＪＬ（Ｎ），ＪＬ（Ｎ＋１）と出力信号である長短選択信号ＪＪ（Ｎ）との関係を表す真理値表の一例である。表中、φはドントケアである。

長短選択信号生成部２５２は、飽和判定信号ＪＬ（Ｎ）が１の場合は、無条件で長短選択信号ＪＪ（Ｎ）として１を出力する。飽和判定信号ＪＬ（Ｎ）が０の場合でも、飽和判定信号ＪＬ（Ｎ－１）及び飽和判定信号ＪＬ（Ｎ＋１）のうちの一方が１であれば、長短選択信号ＪＪ（Ｎ）として１を出力する。飽和判定信号ＪＬ（Ｎ－１），ＪＬ（Ｎ），ＪＬ（Ｎ＋１）の総てが０の場合にだけ、長短選択信号ＪＪ（Ｎ）として０を出力する。

セレクタ２５４は、長短選択信号生成部２５２から受信した長短選択信号ＪＪ（Ｎ）に応じて、長秒信号・判定信号保持部２３０から受信した長秒信号（Ｎ）及び短秒信号保持部２４０から受信した短秒信号（Ｎ）のうちの一方を選択して出力する。例えば、長短選択信号ＪＪ（Ｎ）が０の場合には長秒信号（Ｎ）を出力し、長短選択信号ＪＪ（Ｎ）が１の場合には短秒信号（Ｎ）を出力する。

すなわち、信号選択部２５０は、Ｎ列目の画素１２の長秒信号（Ｎ）が飽和判定されている場合には、Ｎ列目の画素１２の短秒信号（Ｎ）を選択する。Ｎ列目の画素１２の長秒信号（Ｎ）が飽和判定されていない場合でも、隣り合う列の画素１２の長秒信号（Ｎ－１）又は長秒信号（Ｎ＋１）が飽和判定されている場合は、短秒信号を選択する。信号選択部２５０は、Ｎ列目の画素１２の長秒信号（Ｎ）と、これに隣り合う画素１２の長秒信号（Ｎ－１）及び長秒信号（Ｎ＋１）とが飽和判定されていない場合にだけ、Ｎ列目の画素１２の長秒信号（Ｎ）を選択する。

図６（ｃ）は、信号選択部２５０における処理の一例を示している。図６（ｃ）には、Ｎ－３列目からＮ＋３列目までの画素１２から出力される長秒信号及び短秒信号の値、これら長秒信号に対応する飽和判定信号ＪＬ、長短選択信号生成部２５２が生成する長短選択信号ＪＪの一例を示している。図６（ｃ）の例において、飽和判定信号ＪＬ（Ｎ－１），ＪＬ（Ｎ），ＪＬ（Ｎ＋１）は、点線で囲まれた枠内に示されるように、１，０，１である。この場合、長短選択信号ＪＪ（Ｎ）は、図６（ｂ）の真理値表に示されるように、１となる。

このようにして、信号選択部２５０は、長短選択信号生成部２５２が生成した長短選択信号ＪＪ（Ｎ）と、長秒信号（Ｎ）及び短秒信号（Ｎ）のうちセレクタ２５４により選択された信号と、をＨＤＲ合成部２６０に出力する。

次に、ＨＤＲ合成部２６０の動作について、図７を用いて説明する。図７は、本実施形態による撮像装置におけるＨＤＲ合成部２６０の動作を説明する図である。

ＨＤＲ合成部２６０では、まず、ＨＤＲ合成処理が行われる。図７（ａ）は、ＨＤＲ合成部２６０において行われるＨＤＲ合成処理の概略を示す模式図である。ＨＤＲ合成処理では、画素１２毎に、長短選択信号ＪＪに応じたデータを生成する。すなわち、長短選択信号ＪＪが０の場合には、対応する画素１２のデータとして、長秒信号Ｄ１の値をそのまま用いる。長短選択信号ＪＪが１の場合には、対応する画素１２のデータとして、短秒信号Ｄ２に比率Ｔ１／Ｔ２を掛けた値を用いる。ここで、Ｔ１は長秒信号の元となる信号電荷の蓄積時間であり、Ｔ２は短秒信号の元となる信号電荷の蓄積時間である。

ＨＤＲ合成部２６０では、ＨＤＲ合成処理に続いて、ＨＤＲ圧縮処理が行われる。図７（ｂ）は、ＨＤＲ合成部２６０において行われるＨＤＲ圧縮処理の概略を示す模式図である。ＨＤＲ圧縮処理では、ＨＤＲ合成処理によって生成されるデータ（例えば２０ビット）を、例えば１２ビット（＝４０９６［ＬＳＢ］）のデータに圧縮する。図７（ｂ）には、ＨＤＲ合成処理によって生成されるデータを、４回の折れ線圧縮により１２ビットのデータに圧縮する例を示している。

次に、本実施形態による撮像装置の効果について、図８を用いて説明する。図８は、本実施形態による撮像装置の効果を説明する図である。

長秒信号Ｄ１の値と、短秒信号Ｄ２に比率Ｔ１／Ｔ２を掛けた値とは、理想的には等しくなるはずである。しかしながら、実際には回路のリニアリティのずれや黒レベルのずれ等により、これらは必ずしも等しくはならない。

このような場合、例えば図７（ａ）に示すように、Ｄ１で示される直線とＤ２×Ｔ１／Ｔ２で示される直線との間のつなぎ目には段差が生じることになる。直線のつなぎ目に段差が生じると、飽和閾値の近傍において、長秒信号Ｄ１に基づく値と、短秒信号Ｄ２に基づく値との間のばらつきが目立つことになる。

図８（ａ）は、図６（ｃ）のＮ－３列目からＮ＋３列目までの画素１２の信号を、飽和判定信号ＪＬを用いてＨＤＲ合成処理した結果を示すグラフである。この例では、Ｎ－１列目からＮ＋３列目までの画素１２の値として、短秒信号Ｄ２に基づく値と、長秒信号Ｄ１に基づく値と、が交互に現れている。このような場合に直線のつなぎ目に図７（ａ）に示すような段差が生じていると、隣接する画素１２間における値のばらつきが強調されてしまう。

図８（ｂ）は、図６（ｃ）のＮ－３列目からＮ＋３列目までの画素１２の信号を、長短選択信号ＪＪを用いてＨＤＲ合成処理した結果を示すグラフである。本実施形態では、長秒信号Ｄ１が飽和していない画素１２の信号であっても、隣接する画素１２の長秒信号Ｄ１が飽和している場合には、短秒信号Ｄ２の値を用いて画素値を算出している。したがって、Ｎ－１列目からＮ＋３列目までの画素１２の値は、いずれも短秒信号Ｄ２に基づく値となる。したがって、本実施形態による撮像装置では、図８（ｂ）に示すように、空間的なばらつきの小さいＨＤＲ合成信号を得ることができる。

このように、本実施形態によれば、長秒画像と短秒画像とを用いてハイダイナミックレンジ画像を合成する際に、長秒画像と短秒画像との間のつなぎ部分における画質を向上することができる。

［第２実施形態］
本発明の第２実施形態による撮像装置について、図９及び図１０を用いて説明する。第１実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図９及び図１０は、本実施形態による撮像装置における長短選択信号の生成方法を説明する図である。

本実施形態による撮像装置は、長短選択信号ＪＪを生成する際に用いる飽和判定信号ＪＬを提供する画素１２が異なるほかは、第１実施形態による撮像装置と同様である。すなわち、第１実施形態では、対象となる画素１２と同じ行に配された隣接する２つの画素１２の飽和判定信号ＪＬに基づいて生成した長短選択信号ＪＪを考慮してＨＤＲ合成処理を行う例を示した。これに対し、本実施形態では、対象となる画素１２を含む所定の領域に含まれる他の画素１２の飽和判定信号ＪＬに基づいて生成した長短選択信号ＪＪを考慮してＨＤＲ合成処理を行う。当該所定の領域は、隣り合う複数列及び隣り合う複数行を含む。

図９は、モノクロセンサへの適用例を示している。図９（ａ）は、モノクロセンサにおける画素配列を示している。モノクロセンサの画素部１０には、可視波長域に渡って感度を有する画素（図９（ａ）中、Ｗで表す）が行列状に配されている。図９（ａ）には、画素部１０を構成する複数の画素１２のうち、Ｍ－４行～Ｍ＋３行、Ｎ－３列～Ｎ＋４列に配された６４個の画素１２を示している。なお、モノクロセンサの総ての画素１２は、同じ色のカラーフィルタを備えていると考えることもできる。

ここで、Ｍ行Ｎ列に配された画素（図９（ａ）中、太線で囲った画素）に着目すると、この画素の周囲には、８個の画素１２が隣接している。これら８個の画素１２から提供される飽和判定信号ＪＬに基づいて長短選択信号ＪＪを生成することで、より空間的なばらつきの小さいＨＤＲ合成信号を得ることが可能となる。

図９（ｂ）は、モノクロセンサの場合における信号選択部２５０の処理の一例を示している。図９（ｂ）の例では、注目画素を中心に含む３行３列の領域を抽出し、注目画素の周囲の８つの画素のうち１つでも飽和判定信号ＪＬが１の画素があれば長短選択信号ＪＪを１に設定するように構成している。

図１０は、カラーセンサへの適用例を示している。図１０（ａ）は、カラーセンサにおける画素配列を示している。カラーセンサの画素部１０には、例えば、赤色に高い感度を有するＲ画素、緑色に高い感度を有するＧ画素、青色の高い感度を有するＢ画素が、図１０（ａ）に示すような、いわゆるＲＧＢベイヤーカラーフィルタ配列に従って配されている。図１０（ａ）には、画素部１０を構成する複数の画素１２のうち、Ｍ－４行～Ｍ＋３行、Ｎ－４列～Ｎ＋３列に配された６４個の画素１２を示している。

図１０（ｂ）は、カラーセンサの場合における信号選択部２５０の処理の一例を示している。図１０（ｂ）の例においても、注目画素を中心に含む３行３列の領域を抽出している。ただし、カラーセンサでは、同じ色のカラーフィルタを備えた画素毎に処理を行うため、飽和判定信号ＪＬを取得する画素は、注目画素と同じ色のカラーフィルタを備えた画素から選択する。例えばＲ画素に着目すると、Ｒ画素は、Ｍ－４行、Ｍ－２行、Ｍ行及びＭ＋２行の、Ｎ－４列、Ｎ－２列、Ｎ列及びＮ＋２列に配されている。そこで、例えばＭ行Ｎ列に配されたＲ画素（図９（ａ）中、太線で囲った画素）を注目画素とした場合には、このＲ画素の周囲の行としてＭ－２行とＭ＋２行を選択し、このＲ画素の周囲の列としてＮ－２列とＮ＋２列を選択する。

このようにして選択された３行３列の領域には、注目画素を中心として、その周囲に８個のＲ画素が配置されている。したがって、これら８個のＲ画素から提供される飽和判定信号ＪＬに基づいて長短選択信号ＪＪを生成することにより、より空間的なばらつきの小さいＨＤＲ合成信号を得ることが可能となる。図１０（ｂ）の例では、注目画素の周囲の８つの画素のうち１つでも飽和判定信号ＪＬが１の画素があれば長短選択信号ＪＪを１に設定するように構成している。

ここではＲ画素の場合について説明したが、Ｇ画素及びＢ画素についても同様に処理することができる。

なお、本実施形態では、注目画素を中心に含む３行３列の領域を抽出し、この領域に含まれる他の画素の飽和判定信号ＪＬに基づいて長短選択信号ＪＪを取得する例を示したが、飽和判定信号ＪＬを取得する領域はこれに限定されるものではない。例えば、５行５列の領域を抽出し、より多くの画素から飽和判定信号ＪＬを取得するようにしてもよい。

また、本実施形態では、抽出した領域に含まれる他の画素のうち１つでも飽和判定信号ＪＬが１の画素があれば長短選択信号ＪＪを１に設定するように構成したが、長短選択信号ＪＪを生成する基準もこれに限定されるものではない。例えば、飽和判定信号ＪＬが０である画素の数よりも飽和判定信号ＪＬが１である画素の数が多い場合に、長短選択信号ＪＪを１に設定するようにしてもよい。

このように、本実施形態によれば、長秒画像と短秒画像とを用いてハイダイナミックレンジ画像を合成する際に、長秒画像と短秒画像との間のつなぎ部分における画質を向上することができる。

［第３実施形態］
本発明の第３実施形態による撮像装置について、図１１乃至図１５を用いて説明する。第１及び第２実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

はじめに、本実施形態による撮像装置の構造について、図１１及び図１２を用いて説明する。図１１は、本実施形態による撮像装置における撮像素子の概略構成を示すブロック図である。図１２は、本実施形態による撮像装置における撮像素子の画素の構成例を示す回路図である。なお、本実施形態による撮像装置の全体構成は、図１に示す第１実施形態による撮像装置と基本的には同じである。

本実施形態による撮像装置の撮像素子１００は、図１１に示すように、画素部１０の各列に対応して長秒飽和判定部３８を更に有するほかは、図２に示す第１実施形態による撮像装置の撮像素子１００と基本的に同様である。すなわち、本実施形態による撮像装置は、長秒信号の飽和判定を撮像素子１００において列並列で行う点で、長秒信号の飽和判定を信号処理部２００において行う第１実施形態による撮像装置とは異なっている。

各列のメモリ４２は、ＪＬメモリ４４－１、Ｎメモリ４４－２、Ｓメモリ４４－３、Ｎメモリ４４－４、Ｓメモリ４４－５を有している。ＪＬメモリ４４－１は、長秒飽和判定部３８から出力される飽和判定信号ＪＬを保持するためのメモリである。Ｎメモリ４４－２は、画素１２から出力される長秒信号のＮ信号をデジタル信号Ｎ１として保持するためのメモリである。Ｓメモリ４４－３は、画素１２から出力される長秒信号のＳ信号をデジタル信号Ｓ１として保持するためのメモリである。Ｎメモリ４４－４は、画素１２から出力される短秒信号のＮ信号をデジタル信号Ｎ２として保持するためのメモリである。Ｓメモリ４４－５は、画素１２から出力される短秒信号のＳ信号をデジタル信号Ｓ２として保持するためのメモリである。

各々の画素１２の信号Ｖｖｌは、垂直走査回路２０によって行毎に対応する列の垂直信号線１６へと読み出される。各列の増幅器３３は、対応する列の垂直信号線１６を介して画素１２から読み出された信号Ｖｖｌを所定のゲインで増幅し、増幅した信号Ｖａｍｐを比較器３５及び長秒飽和判定部３８に出力する。各列の長秒飽和判定部３８は、対応する列の増幅器３３で増幅された長秒信号のレベルが予め設定された所定の飽和閾値のレベルを超えたか否かを判定し、判定結果を示す飽和判定信号ＪＬを出力する。飽和判定信号ＪＬは、対応する列のメモリ４２のＪＬメモリ４４－１に保持される。

参照信号発生回路３６は、時間とともに信号レベルが一定の変化量で変化する参照信号Ｖｒを比較器３５に出力する。各列の比較器３５は、対応する列の増幅器３３から出力される信号Ｖａｍｐの信号レベルと参照信号Ｖｒの信号レベルとを比較し、比較結果を示す信号Ｖｃｍｐを出力する。カウンタ４６は、クロック信号の計数値であるカウント値を示すカウント信号を、各列のメモリ４２に出力する。各列のメモリ４２は、信号Ｖｃｍｐの信号レベルが変化したときにカウンタ４６から受信しているカウント信号を、信号ＶｃｍｐをＡＤ変換したデジタル信号として保持する。メモリ４２は、ＡＤ変換したデジタル信号を、信号の種類に応じて、Ｎメモリ４４－２、Ｓメモリ４４－３、Ｎメモリ４４－４及びＳメモリ４４－５の何れかに保持する。

各々の画素１２は、図１２に示すように、フォトダイオードＰＤと、転送トランジスタＭＧＳ１，ＭＧＳ２，ＭＴＸ１，ＭＴＸ２と、電荷排出トランジスタＭＯＦＤと、を有する。また、各々の画素１２は、リセットトランジスタＭＲＳと、増幅トランジスタＭＳＦと、選択トランジスタＭＳＥＬと、を更に有する。

フォトダイオードＰＤは、アノードが基準電圧ノードに接続され、カソードが転送トランジスタＭＧＳ１のソース、転送トランジスタＭＧＳ２のソース、及び電荷排出トランジスタＭＯＦＤのソースに接続されている。転送トランジスタＭＧＳ１のドレインは、転送トランジスタＭＴＸ１のソースに接続されている。転送トランジスタＭＧＳ１のドレインと転送トランジスタＭＴＸ１のソースとの接続ノードは、容量成分を含み、電荷保持部ＭＥＭ１として機能する。転送トランジスタＭＧＳ２のドレインは、転送トランジスタＭＴＸ２のソースに接続されている。転送トランジスタＭＧＳ２のドレインと転送トランジスタＭＴＸ２のソースとの接続ノードは、容量成分を含み、電荷保持部ＭＥＭ２として機能する。

転送トランジスタＭＴＸ１のドレイン及び転送トランジスタＭＴＸ２のドレインは、リセットトランジスタＭＲＳのソース及び増幅トランジスタＭＳＦのゲートに接続されている。転送トランジスタＭＴＸ１のドレイン、転送トランジスタＭＴＸ２のドレイン、リセットトランジスタＭＲＳのソース及び増幅トランジスタＭＳＦのゲートの接続ノードは、いわゆるフローティングディフュージョンＦＤである。フローティングディフュージョンＦＤは、容量成分を含み、電荷保持部として機能するとともに、この容量成分からなる電荷電圧変換部を構成する。電荷排出トランジスタＭＯＦＤのドレイン、リセットトランジスタＭＲＳのドレイン及び増幅トランジスタＭＳＦのドレインは、電源ノード（電圧ＶＤＤ）に接続されている。増幅トランジスタＭＳＦのソースは、選択トランジスタＭＳＥＬのドレインに接続されている。画素１２の出力ノードでもある選択トランジスタＭＳＥＬのソースは、垂直信号線１６に接続されている。

被写体の光学像が画素部１０に入射すると、各画素１２のフォトダイオードＰＤは、入射光をその光量に応じた量の電荷に変換（光電変換）するとともに、生じた電荷を蓄積する。電荷排出トランジスタＭＯＦＤは、オンすることによりフォトダイオードＰＤの電荷を排出し、フォトダイオードＰＤを電圧ＶＤＤに応じた電圧にリセットする。電荷排出トランジスタＭＯＦＤをオフにすることで、フォトダイオードＰＤにおける電荷の蓄積を開始することができる。転送トランジスタＭＧＳ１は、オンすることによりフォトダイオードＰＤの電荷を電荷保持部ＭＥＭ１に転送する。転送トランジスタＭＴＸ１は、オンすることにより電荷保持部ＭＥＭ１の電荷をフローティングディフュージョンＦＤに転送する。同様に、転送トランジスタＭＧＳ２は、オンすることによりフォトダイオードＰＤの電荷を電荷保持部ＭＥＭ２に転送する。転送トランジスタＭＴＸ２は、オンすることにより電荷保持部ＭＥＭ２の電荷をフローティングディフュージョンＦＤに転送する。

フローティングディフュージョンＦＤは、その容量成分による電荷電圧変換によって、電荷保持部ＭＥＭ１，ＭＥＭ２から転送された電荷の量に応じた電圧となる。増幅トランジスタＭＳＦは、ドレインに電圧ＶＤＤが供給され、ソースに選択トランジスタＭＳＥＬを介して図示しない電流源からバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部（ソースフォロワ回路）を構成する。これにより増幅トランジスタＭＳＦは、フローティングディフュージョンＦＤの電圧に基づく信号Ｖｖｌを、選択トランジスタＭＳＥＬを介して垂直信号線１６に出力する。リセットトランジスタＭＲＳは、オンすることによりフローティングディフュージョンＦＤを電圧ＶＤＤに応じた電圧にリセットする。

図１２に示す回路構成の画素１２の場合、各行の制御線１４は、転送トランジスタＭＧＳ１のゲートに接続された信号線と、転送トランジスタＭＧＳ２のゲートに接続された信号線と、を含む。また、各行の制御線１４は、転送トランジスタＭＴＸ１のゲートに接続された信号線と、転送トランジスタＭＴＸ２のゲートに接続された信号線と、を更に含む。また、各行の制御線１４は、電荷排出トランジスタＭＯＦＤのゲートに接続された信号線と、リセットトランジスタＭＲＳのゲートに接続された信号線と、選択トランジスタＭＳＥＬのゲートに接続された信号線と、を更に含む。

転送トランジスタＭＧＳ１には、制御線１４を介して垂直走査回路２０から制御信号φＧＳ１が供給される。転送トランジスタＭＧＳ２には、制御線１４を介して垂直走査回路２０から制御信号φＧＳ２が供給される。転送トランジスタＭＴＸ１には、制御線１４を介して垂直走査回路２０から制御信号φＴＸ１が供給される。転送トランジスタＭＴＸ２には、制御線１４を介して垂直走査回路２０から制御信号φＴＸ２が供給される。電荷排出トランジスタＭＯＦＤには、制御線１４を介して垂直走査回路２０から制御信号φＯＦＤが供給される。リセットトランジスタＭＲＳには、制御線１４を介して垂直走査回路２０から制御信号φＲＥＳが供給される。選択トランジスタＭＳＥＬには、制御線１４を介して垂直走査回路２０から制御信号φＳＥＬが供給される。画素部１０内の複数の画素１２は、垂直走査回路２０から供給される制御信号φＧＳ１，φＧＳ２，φＴＸ１，φＴＸ２，φＲＥＳ，φＳＥＬにより、行単位で制御される。画素１２の各トランジスタがＮ型トランジスタで構成される場合、これら制御信号がＨｉｇｈレベル（Ｈレベル）のときに対応するトランジスタはオン状態となり、これら制御信号がＬｏｗレベル（Ｌレベル）のときに対応するトランジスタはオフ状態となる。

次に、撮像素子１００の動作タイミングについて、図１３を用いて説明する。図１３は、本実施形態による撮像装置における撮像素子の読み出し動作を示すタイミング図である。

あるフレームにおける信号の読み出し動作は、例えば時刻Ｔ４０から開始される。時刻Ｔ４０は、当該フレームにおける１行目の画素１２の長秒信号の読み出し動作が開始する時刻である。

時刻Ｔ４０において、制御信号φＯＦＤをＨレベルとし、フォトダイオードＰＤをリセットしたのち、制御信号φＯＦＤをＬレベルとし、フォトダイオードＰＤにおける電荷の蓄積を開始する。

次いで、時刻Ｔ４１において、制御信号φＧＳ１をＨレベルとし、時刻Ｔ４０から時刻Ｔ４１までの期間の間にフォトダイオードＰＤに蓄積した電荷を電荷保持部ＭＥＭ１に転送する。ここで、時刻Ｔ４０から時刻Ｔ４１までの期間が、長秒信号に対応する蓄積時間Ｔ１である。制御信号φＧＳ１をＬレベルとして電荷保持部ＭＥＭ１への電荷の転送を終了したのち、制御信号φＯＦＤをＨレベルとし、フォトダイオードＰＤをリセットする。その後、制御信号φＯＦＤをＬレベルとし、フォトダイオードＰＤにおける電荷の蓄積を再度開始する。

次いで、時刻Ｔ４２において、制御信号φＧＳ２をＨレベルとし、時刻Ｔ４１から時刻Ｔ４２までの期間の間にフォトダイオードＰＤに蓄積した電荷を電荷保持部ＭＥＭ２に転送する。ここで、時刻Ｔ４１から時刻Ｔ４２までの期間が、短秒信号に対応する蓄積時間Ｔ２である。制御信号φＧＳ２をＬレベルとして電荷保持部ＭＥＭ２への電荷の転送を終了したのち、制御信号φＯＦＤをＨレベルとし、フォトダイオードＰＤをリセットする。その後、制御信号φＯＦＤをＬレベルとし、フォトダイオードＰＤにおける電荷の蓄積を再度開始する。

次いで、時刻Ｔ４２から時刻Ｔ４５の期間において、各々の画素１２に対し、電荷保持部ＭＥＭ１に保持された電荷に基づく信号（長秒信号）の読み出しと、電荷保持部ＭＥＭ２に保持された電荷に基づく信号（短秒信号）の読み出しと、を行毎に順次行う。例えば、時刻Ｔ４２から時刻Ｔ４３の期間が、１行目の画素１２の電荷保持部ＭＥＭ１に蓄積された電荷に基づく信号（長秒信号）の読み出しを行う期間である。時刻Ｔ４３から時刻Ｔ４４の期間が、１行目の画素１２の電荷保持部ＭＥＭ２に蓄積された電荷に基づく信号（短秒信号）の読み出しを行う期間である。２行目以降の画素１２からの長秒信号及び短秒信号の読み出しは、時刻Ｔ４４以降、行毎に順次行う。

長秒信号の読み出しでは、フローティングディフュージョンＦＤをリセットしたのち、電荷保持部ＭＥＭ１に蓄積された電荷をフローティングディフュージョンＦＤに転送し、フローティングディフュージョンＦＤの電圧に応じた信号を垂直信号線１６に出力する。短秒信号の読み出しでは、フローティングディフュージョンＦＤをリセットしたのち、電荷保持部ＭＥＭ２に蓄積された電荷をフローティングディフュージョンＦＤに転送し、フローティングディフュージョンＦＤの電圧に応じた信号を垂直信号線１６に出力する。この一連の読み出し動作を、垂直走査回路２０による制御のもとで各行に対して行い、最終行であるｍ行目の画素１２の読み出しが終了した時刻が、時刻Ｔ４５である。

次に、撮像素子１００における１行分の読み出し動作について、図１４を用いてより具体的に説明する。図１４は、本実施形態による撮像装置における撮像素子の１行分の読み出し動作を示すタイミング図である。

前述のように、１行目の画素において、時刻Ｔ４２から時刻Ｔ４３は蓄積時間Ｔ１に対応する長秒信号の読み出し期間であり、時刻Ｔ４３から時刻Ｔ４４は蓄積時間Ｔ２に対応する短秒信号の読み出し期間である。なお、ここでは長秒信号を読み出した後に短秒信号を読み出す例を説明するが、短秒信号を読み出した後に長秒信号を読み出すようにしてもよい。

まず、１行目の画素１２の長秒信号の読み出し期間である時刻Ｔ４２から時刻Ｔ４３までの動作について説明する。

１行目の画素１２が選択された初期状態において、垂直走査回路２０により、制御信号φＲＥＳが一時的にＨレベルに制御され、画素１２のフローティングディフュージョンＦＤの電圧がリセットされる。これにより、フローティングディフュージョンＦＤのリセット電圧に応じた信号（Ｎ信号）が、垂直信号線１６に信号Ｖｖｌとして出力される。なお、ここでは長秒信号に対応するＮ信号を、「Ｎ１信号」と呼ぶものとする。

また、フローティングディフュージョンＦＤのリセットと並行して、増幅器３３のリセット信号が一時的にＨレベルへと制御され、増幅器３３の出力（信号Ｖａｍｐ）がリセットされる。垂直走査回路２０により制御信号φＲＥＳがＬレベルに制御され、画素１２のフローティングディフュージョンＦＤのリセットが終了した後、増幅器３３のリセット信号がＬレベルへと制御され、増幅器３３のリセットが終了する。これにより、増幅器３３に設定された所定のゲイン（ここでは１倍とする）で増幅されたＮ１信号が、信号Ｖａｍｐとして増幅器３３から出力される。

次いで、増幅器３３から出力された信号Ｖａｍｐに対してＡＤ変換処理を行う。以下、Ｎ１信号に対して行うＡＤ変換を、「Ｎ１変換」と呼ぶものとする。参照信号発生回路３６は、一定の変化量で参照信号Ｖｒの変化を開始する。また、カウンタ４６は、参照信号Ｖｒの変化の開始と同期してカウントを開始し、カウント値を示すカウント信号を各列のメモリ４２へと出力する。

比較器３５は、信号Ｖａｍｐの信号レベルと参照信号Ｖｒの信号レベルとを比較し、これらの信号レベルが同じになったタイミングでラッチ信号Ｖｃｍｐをメモリ４２に出力する。メモリ４２は、比較器３５からラッチ信号Ｖｃｍｐを受信したタイミングにおいてカウンタ４６から受信しているカウント値をラッチし、その値をＮメモリ４４－２に保持する。Ｎメモリ４４－２に保持されたカウント値が、Ｎ１信号をＡＤ変換したデジタルＮ１信号である。

次いで、垂直走査回路２０により、制御信号φＴＸ１が一時的にＨレベルに制御され、電荷保持部ＭＥＭ１に保持されている電荷がフローティングディフュージョンＦＤへと転送される。これにより、フローティングディフュージョンＦＤに転送された電荷の量に応じた信号（Ｓ信号）が、垂直信号線１６に信号Ｖｖｌとして出力される。なお、ここでは長秒信号に対応するＳ信号を、「Ｓ１信号」と呼ぶものとする。そして、増幅器３３に設定された所定のゲイン（ここでは１倍とする）で増幅されたＳ１信号が、信号Ｖａｍｐとして増幅器３３から出力される。これにより、信号Ｖａｍｐの出力電圧は、Ｓ１信号に対応する電圧ΔＶ１だけ増加する。

次いで、増幅器３３から出力された信号Ｖａｍｐに対してＡＤ変換処理を行う。以下、Ｓ１信号に対して行うＡＤ変換を、「Ｓ１変換」と呼ぶものとする。参照信号発生回路３６は、一定の変化量で参照信号Ｖｒの変化を開始する。また、カウンタ４６は、参照信号Ｖｒの変化の開始と同期してカウントを開始し、カウント値を各列のメモリ４２へと出力する。

比較器３５は、信号Ｖａｍｐの信号レベルと参照信号Ｖｒの信号レベルとを比較し、これらの信号レベルが同じになったタイミングでラッチ信号Ｖｃｍｐをメモリ４２に出力する。メモリ４２は、比較器３５からラッチ信号Ｖｃｍｐを受信したタイミングにおいてカウンタ４６から受信しているカウント値をラッチし、その値をＳメモリ４４－３に保持する。Ｓメモリ４４－３に保持されたカウント値が、Ｓ１信号をＡＤ変換したデジタルＳ１信号である。

一方、信号Ｖａｍｐの信号レベルが予め設定されている飽和レベル以上であり、Ｓ１変換期間において常にＶａｍｐ＞Ｖｒとなる場合には、長秒飽和判定部３８は、Ｓ１変換期間の終了時にＨレベルの飽和判定信号ＪＬをメモリ４２に出力する。飽和判定信号ＪＬは、メモリ４２のＪＬメモリ４４－１に保持される。

次に、１行目の画素１２の短秒信号の読み出し期間である時刻Ｔ４３から時刻Ｔ４４までの動作について説明する。

長秒信号の読み出し期間に引き続き、１行目の画素１２が選択された状態である。この状態で、垂直走査回路２０により、制御信号φＲＥＳが一時的にＨレベルに制御され、画素１２のフローティングディフュージョンＦＤの電圧がリセットされる。これにより、フローティングディフュージョンＦＤのリセット電圧に応じた信号（Ｎ信号）が、垂直信号線１６に信号Ｖｖｌとして出力される。なお、ここでは短秒信号に対応するＮ信号を、「Ｎ２信号」と呼ぶものとする。

また、フローティングディフュージョンＦＤのリセットと並行して、増幅器３３のリセット信号が一時的にＨレベルへと制御され、増幅器３３の出力（信号Ｖａｍｐ）がリセットされる。垂直走査回路２０により制御信号φＲＥＳがＬレベルに制御され、画素１２のフローティングディフュージョンＦＤのリセットが終了した後、増幅器３３のリセット信号がＬレベルへと制御され、増幅器３３のリセットが終了する。これにより、増幅器３３に設定された所定のゲイン（ここでは１倍とする）で増幅されたＮ２信号が、信号Ｖａｍｐとして増幅器３３から出力される。

次いで、増幅器３３から出力された信号Ｖａｍｐに対してＡＤ変換処理を行う。以下、Ｎ２信号に対して行うＡＤ変換を、「Ｎ２変換」と呼ぶものとする。参照信号発生回路３６は、一定の変化量で参照信号Ｖｒの変化を開始する。また、カウンタ４６は、参照信号Ｖｒの変化の開始と同期してカウントを開始し、カウント値を示すカウント信号を各列のメモリ４２へと出力する。

比較器３５は、信号Ｖａｍｐの信号レベルと参照信号Ｖｒの信号レベルとを比較し、これらの信号レベルが同じになったタイミングでラッチ信号Ｖｃｍｐをメモリ４２に出力する。メモリ４２は、比較器３５からラッチ信号Ｖｃｍｐを受信したタイミングにおいてカウンタ４６から受信しているカウント値をラッチし、その値をＮメモリ４４－４に保持する。Ｎメモリ４４－４に保持されたカウント値が、Ｎ２信号をＡＤ変換したデジタルＮ２信号である。

次いで、垂直走査回路２０により、制御信号φＴＸ２が一時的にＨレベルに制御され、電荷保持部ＭＥＭ２に保持されている電荷がフローティングディフュージョンＦＤへと転送される。これにより、フローティングディフュージョンＦＤに転送された電荷の量に応じた信号（Ｓ信号）が、垂直信号線１６に信号Ｖｖｌとして出力される。なお、ここでは短秒信号に対応するＳ信号を、「Ｓ２信号」と呼ぶものとする。そして、増幅器３３に設定された所定のゲイン（ここでは１倍とする）で増幅されたＳ２信号が、信号Ｖａｍｐとして増幅器３３から出力される。これにより、信号Ｖａｍｐの出力電圧は、Ｓ２信号に対応する電圧ΔＶ２だけ増加する。

次いで、増幅器３３から出力された信号Ｖａｍｐに対してＡＤ変換処理を行う。以下、Ｓ２信号に対して行うＡＤ変換を、「Ｓ２変換」と呼ぶものとする。参照信号発生回路３６は、一定の変化量で参照信号Ｖｒの変化を開始する。また、カウンタ４６は、参照信号Ｖｒの変化の開始と同期してカウントを開始し、カウント値を示すカウント信号を各列のメモリ４２へと出力する。

比較器３５は、信号Ｖａｍｐの信号レベルと参照信号Ｖｒの信号レベルとを比較し、これらの信号レベルが同じになったタイミングでラッチ信号Ｖｃｍｐをメモリ４２に出力する。メモリ４２は、比較器３５からラッチ信号Ｖｃｍｐを受信したタイミングにおいてカウンタ４６から受信しているカウント値をラッチし、その値をＳメモリ４４－５に保持する。Ｓメモリ４４－５に保持されたカウント値が、Ｓ２信号をＡＤ変換したデジタルＳ２信号である。

このようにして、各列のメモリ４２に、飽和判定信号ＪＬ、デジタルＮ１信号、デジタルＳ１信号、デジタルＮ２信号及びデジタルＳ２信号が保持される。各列のメモリ４２に保持されたこれらデジタル信号は、水平走査回路５０から供給される制御信号に応じて列毎に順次、信号処理部６０へと転送される。

次に、信号処理部２００の構成及び動作について、図１５を用いて説明する。図１５は、本実施形態による撮像装置における信号処理部２００の構成及び動作を説明する図である。

本実施形態による撮像装置の信号処理部２００は、図１５に示すように、信号選択部２５０と、ＨＤＲ合成部２６０と、を有する。信号選択部２５０は、長短選択信号生成部２５２と、セレクタ２５４と、を有する。

長短選択信号生成部２５２は、撮像素子１００から受信した飽和判定信号ＪＬを、複数画素分保持する。モノクロセンサの場合、長短選択信号生成部２５２は、Ｎ－１列目の画素１２に対応する飽和判定信号ＪＬ（Ｎ－１）と、Ｎ列目の画素１２に対応する飽和判定信号ＪＬ（Ｎ）と、Ｎ＋１列目の画素１２に対応する飽和判定信号ＪＬ（Ｎ＋１）と、を保持する。そして、長短選択信号生成部２５２は、飽和判定信号ＪＬ（Ｎ－１），ＪＬ（Ｎ），ＪＬ（Ｎ＋１）に基づき、Ｎ列目の画素１２に対応する長短選択信号ＪＪ（Ｎ）を生成し、セレクタ２５４に送信する。

飽和判定信号ＪＬ（Ｎ）が１の場合は、無条件で長短選択信号ＪＪ（Ｎ）として１を出力する。飽和判定信号ＪＬ（Ｎ）が０の場合でも、飽和判定信号ＪＬ（Ｎ－１）及び飽和判定信号ＪＬ（Ｎ＋１）のうちの一方が１であれば、長短選択信号ＪＪ（Ｎ）として１を出力する。飽和判定信号ＪＬ（Ｎ－１），ＪＬ（Ｎ），ＪＬ（Ｎ＋１）の総てが０の場合にだけ、長短選択信号ＪＪ（Ｎ）として０を出力する。

セレクタ２５４は、長短選択信号生成部２５２から受信した長短選択信号ＪＪ（Ｎ）に応じて、撮像素子１００から受信した長秒信号（Ｎ）及び短秒信号（Ｎ）のうちの一方を選択して出力する。ここで、長秒信号（Ｎ）は、Ｎメモリ４４－２から転送されるデジタルＮ１信号と、Ｓメモリ４４－３から転送されるデジタルＳ１信号である。また、短秒信号（Ｎ）は、Ｎメモリ４４－４から転送されるデジタルＮ２信号と、Ｓメモリ４４－５から転送されるデジタルＳ２信号である。例えば、長短選択信号ＪＪ（Ｎ）が０の場合には長秒信号（Ｎ）を出力し、長短選択信号ＪＪ（Ｎ）が１の場合には短秒信号を出力する。

このようにして、信号選択部２５０は、長短選択信号生成部２５２が生成した長短選択信号ＪＪ（Ｎ）と、長秒信号（Ｎ）及び短秒信号（Ｎ）のうちセレクタ２５４により選択された信号と、をＨＤＲ合成部２６０に出力する。

ＨＤＲ合成部２６０は、Ｓ信号からＮ信号を減算する演算処理を行ってノイズ成分を除去した後、例えば第１実施形態において説明した手法により、ＨＤＲ合成処理とＨＤＲ圧縮処理とを行い、ＨＤＲ圧縮データを出力する。

本実施形態による撮像装置においても、第１実施形態と同様、長秒信号が飽和していない画素の信号であっても、隣接する画素の長秒信号が飽和している場合には、短秒信号を用いて画素値を算出する。したがって、本実施形態の撮像装置によっても、空間的なばらつきの小さいＨＤＲ合成信号を得ることができる。更に、本実施形態においては撮像素子の内部で列並列により飽和判定処理を行うため、判定処理の高速化が可能となる。また、撮像装置の内部で信号選択処理を行うため、撮像装置の外部へ送信するデータの帯域を削減することも可能である。

このように、本実施形態によれば、長秒画像と短秒画像とを用いてハイダイナミックレンジ画像を合成する際に、長秒画像と短秒画像との間のつなぎ部分における画質を向上することができる。

［第４実施形態］
本発明の第４実施形態による撮像装置について、図１６乃至図１８を用いて説明する。第１乃至第３実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

はじめに、本実施形態による撮像装置の構造について、図１６を用いて説明する。図１６は、本実施形態による撮像装置における撮像素子の概略構成を示すブロック図である。なお、本実施形態による撮像装置の全体構成は、図１に示す第１実施形態による撮像装置と基本的には同じである。

本実施形態による撮像装置の撮像素子１００は、図１６に示すように、第１乃至第３実施形態における信号選択部２５０に対応する信号選択部４８を各列に有している。また、ＪＬメモリ４４－１は、メモリ４２とは別に設けられており、信号選択部４８を介してメモリ４２に接続されている。また、メモリ４２は、長秒信号のＮ１信号及び短秒信号のＮ２信号を保持するためのメモリとしてＮメモリ４４－２を共用し、長秒信号のＳ１信号及び短秒信号のＳ２信号を保持するためのメモリとしてＳメモリ４４－３を共用するように構成されている。また、メモリ４２は、ＪＪメモリ４４－６を更に有している。その他の点は、図１１に示す第３実施形態による撮像装置の撮像素子と基本的には同じである。

画素１２の各々から出力される信号Ｖｖｌは、垂直走査回路２０によって行毎に対応する列の垂直信号線１６へと読み出される。各列の増幅器３３は、対応する列の垂直信号線１６を介して画素１２から読み出された信号Ｖｖｌを所定のゲインで増幅し、増幅した信号Ｖａｍｐを比較器３５及び長秒飽和判定部３８に出力する。各列の長秒飽和判定部３８は、対応する列の増幅器３３で増幅された信号のレベルが予め設定された所定の飽和閾値のレベルを超えたか否かを判定し、判定結果を示す飽和判定信号ＪＬを対応する列のＪＬメモリ４４－１に出力する。ＪＬメモリ４４－１は、長秒飽和判定部３８から受信した飽和判定信号ＪＬを保持する。

参照信号発生回路３６は、時間とともに信号レベルが一定の変化量で変化する参照信号Ｖｒを比較器３５に出力する。各列の比較器３５は、対応する列の増幅器３３から受信した信号Ｖａｍｐの信号レベルと参照信号Ｖｒの信号レベルとを比較し、比較結果を示す信号Ｖｃｍｐをメモリ４２及び信号選択部４８に出力する。カウンタ４６は、クロック信号の計数値であるカウント値を示すカウント信号を、各列のメモリ４２に出力する。

信号選択部４８は、比較器３５から受信したラッチ信号Ｖｃｍｐ及びＪＬメモリ４４－１に保持されている飽和判定信号ＪＬに基づき長短選択信号ＪＪを生成し、メモリ４２に出力する。メモリ４２は、信号選択部４８により生成された長短選択信号ＪＪをＪＪメモリ４４－６に保持する。

各列のメモリ４２は、信号Ｖｃｍｐの信号レベルが変化したときにカウンタ４６から受信しているカウント信号を、信号ＶｃｍｐをＡＤ変換したデジタル信号として保持する。メモリ４２は、ＡＤ変換したデジタル信号を、信号の種類に応じて、Ｎメモリ４４－２又はＳメモリ４４－３に保持する。

水平走査回路５０は、各列のメモリ４２に保持された長短選択信号ＪＪ及びデジタル信号Ｎ，Ｓを列毎に順次読み出し、信号処理部６０へと転送する。信号処理部６０は、メモリ４２から順次読み出された長短選択信号ＪＪ及びデジタル信号Ｎ，Ｓに対して演算処理を行い、デジタル信号Ｄを出力する。

次に、撮像素子１００における１行分の読み出し動作について、図１７を用いて説明する。図１７は、本実施形態による撮像装置における撮像素子の１行分の読み出し動作を示すタイミング図である。

まず、１行目の画素１２の長秒信号の読み出し期間である時刻Ｔ５２から時刻Ｔ５３までの動作について説明する。

１行目の画素１２が選択された初期状態において、垂直走査回路２０により、制御信号φＲＥＳが一時的にＨレベルに制御され、画素１２のフローティングディフュージョンＦＤの電圧がリセットされる。これにより、フローティングディフュージョンＦＤのリセット電圧に応じた信号（Ｎ１信号）が、垂直信号線１６に信号Ｖｖｌとして出力される。

また、フローティングディフュージョンＦＤのリセットと並行して、増幅器３３のリセット信号が一時的にＨレベルへと制御され、増幅器３３の出力（信号Ｖａｍｐ）がリセットされる。垂直走査回路２０により制御信号φＲＥＳがＬレベルに制御され、画素１２のフローティングディフュージョンＦＤのリセットが終了した後、増幅器３３のリセット信号がＬレベルへと制御され、増幅器３３のリセットが終了する。これにより、増幅器３３に設定された所定のゲイン（ここでは１倍とする）で増幅されたＮ１信号が、信号Ｖａｍｐとして増幅器３３から出力される。

次いで、増幅器３３から出力された信号Ｖａｍｐに対してＡＤ変換処理（Ｎ１変換）を行う。参照信号発生回路３６は、一定の変化量で参照信号Ｖｒの変化を開始する。また、カウンタ４６は、参照信号Ｖｒの変化の開始と同期してカウントを開始し、カウント値を示すカウント信号を各列のメモリ４２へと出力する。

比較器３５は、信号Ｖａｍｐの信号レベルと参照信号Ｖｒの信号レベルとを比較し、これらの信号レベルが同じになったタイミングでラッチ信号Ｖｃｍｐをメモリ４２に出力する。メモリ４２は、比較器３５からラッチ信号Ｖｃｍｐを受信したタイミングにおいてカウンタ４６から受信しているカウント値をラッチし、その値をＮメモリ４４－２に保持する。Ｎメモリ４４－２に保持されたカウント値が、Ｎ１信号をＡＤ変換したデジタルＮ１信号である。

次いで、垂直走査回路２０により、制御信号φＴＸ１が一時的にＨレベルに制御され、電荷保持部ＭＥＭ１に保持されている電荷がフローティングディフュージョンＦＤへと転送される。これにより、フローティングディフュージョンＦＤに転送された電荷の量に応じた信号（Ｓ１信号）が、垂直信号線１６に信号Ｖｖｌとして出力される。そして、増幅器３３に設定された所定のゲイン（ここでは１倍とする）で増幅されたＳ１信号が、信号Ｖａｍｐとして増幅器３３から出力される。これにより、信号Ｖａｍｐの出力電圧は、Ｓ１信号に対応する電圧ΔＶ１だけ増加する。

次いで、増幅器３３から出力された信号Ｖａｍｐに対してＡＤ変換処理（Ｓ１変換）を行う。参照信号発生回路３６は、一定の変化量で参照信号Ｖｒの変化を開始する。また、カウンタ４６は、参照信号Ｖｒの変化の開始と同期してカウントを開始し、カウント値を各列のメモリ４２へと出力する。

比較器３５は、信号Ｖａｍｐの信号レベルと参照信号Ｖｒの信号レベルとを比較し、これらの信号レベルが同じになったタイミングでラッチ信号Ｖｃｍｐをメモリ４２に出力する。メモリ４２は、比較器３５からラッチ信号Ｖｃｍｐを受信したタイミングにおいてカウンタ４６から受信しているカウント値をラッチし、その値をＳメモリ４４－３に保持する。Ｓメモリ４４－３に保持されたカウント値が、Ｓ１信号をＡＤ変換したデジタルＳ１信号である。

一方、信号Ｖａｍｐの信号レベルが予め設定されている飽和レベル以上であり、Ｓ１変換期間において常にＶａｍｐ＞Ｖｒとなる場合には、長秒飽和判定部３８は、Ｓ１変換期間の終了時にＨレベルの飽和判定信号ＪＬをＪＬメモリ４４－１に出力する。

次に、時刻Ｔ５３から時刻Ｔ５４の期間において、Ｎメモリ４４－２及びＳメモリ４４－３に長秒信号を保持するか短秒信号を保持するかの基準となる長短選択信号ＪＪを生成する。信号選択部４８は、飽和判定信号ＪＬに基づき長短選択信号ＪＪを生成し、メモリ４２のＪＪメモリ４４－６に保持する。例えばモノクロセンサの場合、信号選択部４８は、飽和判定信号ＪＬ（Ｎ－１），ＪＬ（Ｎ），ＪＬ（Ｎ＋１）に基づき、Ｎ列目の画素１２に対応する長短選択信号ＪＪ（Ｎ）を生成し、Ｎ列目のメモリのＪＪメモリ４４－６に保持する。飽和判定信号ＪＬ（Ｎ）が１の場合は、無条件で長短選択信号ＪＪ（Ｎ）として１を出力する。飽和判定信号ＪＬ（Ｎ）が０の場合でも、飽和判定信号ＪＬ（Ｎ－１）及び飽和判定信号ＪＬ（Ｎ＋１）のうちの一方が１であれば、長短選択信号ＪＪ（Ｎ）として１を出力する。飽和判定信号ＪＬ（Ｎ－１），ＪＬ（Ｎ），ＪＬ（Ｎ＋１）の総てが０の場合にだけ、長短選択信号ＪＪ（Ｎ）として０を出力する。

例えば、信号選択部４８は、Ｎメモリ４４－２及びＳメモリ４４－３に短秒信号を保持する場合にはＨレベルの長短選択信号ＪＪ（Ｎ）を出力する。Ｎメモリ４４－２及びＳメモリ４４－３に長秒信号を保持する場合にはＬレベルの長短選択信号ＪＪ（Ｎ）を出力する。

次に、１行目の画素１２の短秒信号の読み出し期間である時刻Ｔ５４から時刻Ｔ５５までの動作について説明する。

長秒信号の読み出し期間に引き続き、１行目の画素１２が選択された状態である。この状態で、垂直走査回路２０により、制御信号φＲＥＳが一時的にＨレベルに制御され、画素１２のフローティングディフュージョンＦＤの電圧がリセットされる。これにより、フローティングディフュージョンＦＤのリセット電圧に応じた信号（Ｎ２信号）が、垂直信号線１６に信号Ｖｖｌとして出力される。

また、フローティングディフュージョンＦＤのリセットと並行して、増幅器３３のリセット信号が一時的にＨレベルへと制御され、増幅器３３の出力（信号Ｖａｍｐ）がリセットされる。垂直走査回路２０により制御信号φＲＥＳがＬレベルに制御され、画素１２のフローティングディフュージョンＦＤのリセットが終了した後、増幅器３３のリセット信号がＬレベルへと制御され、増幅器３３のリセットが終了する。これにより、増幅器３３に設定された所定のゲイン（ここでは１倍とする）で増幅されたＮ２信号が、信号Ｖａｍｐとして増幅器３３から出力される。

次いで、増幅器３３から出力された信号Ｖａｍｐに対してＡＤ変換処理（Ｎ２変換）を行う。参照信号発生回路３６は、一定の変化量で参照信号Ｖｒの変化を開始する。また、カウンタ４６は、参照信号Ｖｒの変化の開始と同期してカウントを開始し、カウント値を示すカウント信号を各列のメモリ４２へと出力する。

比較器３５は、信号Ｖａｍｐの信号レベルと参照信号Ｖｒの信号レベルとを比較し、これらの信号レベルが同じになったタイミングで信号選択部４８にラッチ信号Ｖｃｍｐを出力する。信号選択部４８は、ラッチ信号Ｖｃｍｐ及びＪＪメモリ４４－６に保持されている長短選択信号ＪＪに応じた書き込み信号Ｖｃｍｐ２を生成し、メモリ４２に出力する。メモリ４２は、信号選択部４８からＨレベルの書き込み信号Ｖｃｍｐ２を受信したタイミングにおいてカウンタ４６から受信しているカウント値をラッチし、その値をＮメモリ４４－２に保持する。

具体的には、信号選択部４８は、ラッチ信号Ｖｃｍｐ及び長短選択信号ＪＪがともにＨレベルの場合に、Ｈレベルの書き込み信号Ｖｃｍｐ２を出力する。つまり、メモリ４２は、長短選択信号ＪＪがＨレベルの場合に、ラッチ信号Ｖｃｍｐの出力タイミングに応じたカウント値（デジタルＮ２信号）を、Ｎメモリ４４－２に保持する。一方、長短選択信号ＪＪがＬレベルの場合には、デジタルＮ２信号はＮメモリ４４－２に保持されない。

次いで、垂直走査回路２０により、制御信号φＴＸ２が一時的にＨレベルに制御され、電荷保持部ＭＥＭ２に保持されている電荷がフローティングディフュージョンＦＤへと転送される。これにより、フローティングディフュージョンＦＤに転送された電荷の量に応じた信号（Ｓ２信号）が、垂直信号線１６に信号Ｖｖｌとして出力される。そして、増幅器３３に設定された所定のゲイン（ここでは１倍とする）で増幅されたＳ２信号が、信号Ｖａｍｐとして増幅器３３から出力される。これにより、信号Ｖａｍｐの出力電圧は、Ｓ２信号に対応する電圧ΔＶ２だけ増加する。

次いで、増幅器３３から出力された信号Ｖａｍｐに対してＡＤ変換処理（Ｓ２変換）を行う。参照信号発生回路３６は、一定の変化量で参照信号Ｖｒの変化を開始する。また、カウンタ４６は、参照信号Ｖｒの変化の開始と同期してカウントを開始し、カウント値を示すカウント信号を各列のメモリ４２へと出力する。

比較器３５は、信号Ｖａｍｐの信号レベルと参照信号Ｖｒの信号レベルとを比較し、これらの信号レベルが同じになったタイミングで信号選択部４８にラッチ信号Ｖｃｍｐを出力する。信号選択部４８は、ラッチ信号Ｖｃｍｐ及びＪＪメモリ４４－６に保持されている長短選択信号ＪＪに応じた書き込み信号Ｖｃｍｐ２を生成し、メモリ４２に出力する。メモリ４２は、信号選択部４８からＨレベルの書き込み信号Ｖｃｍｐ２を受信したタイミングにおいてカウンタ４６から受信しているカウント値をラッチし、その値をＳメモリ４４－３に保持する。

具体的には、信号選択部４８は、ラッチ信号Ｖｃｍｐ及び長短選択信号ＪＪがともにＨレベルの場合に、Ｈレベルの書き込み信号Ｖｃｍｐ２を出力する。つまり、メモリ４２は、長短選択信号ＪＪがＨレベルの場合に、ラッチ信号Ｖｃｍｐの出力タイミングに応じたカウント値（デジタルＳ２信号）を、Ｓメモリ４４－３に保持する。一方、長短選択信号ＪＪがＬレベルの場合には、デジタルＳ２信号はＳメモリ４４－３に保持されない。

この結果、長短選択信号ＪＪがＨレベルの場合、Ｎメモリ４４－２には、デジタルＮ信号としてデジタルＮ２信号が保持され、Ｓメモリ４４－３にはデジタルＳ信号としてデジタルＳ２信号が保持される。また、長短選択信号ＪＪがＬレベルの場合、Ｎメモリ４４－２には、デジタルＮ信号としてデジタルＮ１信号が保持され、Ｓメモリ４４－３にはデジタルＳ信号としてデジタルＳ１信号が保持される。

各列のメモリ４２に保持された長短選択信号ＪＪ、デジタルＮ信号及びデジタルＳ信号は、水平走査回路５０から供給される制御信号に応じて列毎に順次、信号処理部６０へと転送される。信号処理部６０は、第３実施形態におけるＨＤＲ合成部２６０と同じ処理を行い、ＨＤＲ圧縮データＤを出力する。

次に、信号選択部４８の構成例について、図１８を用いて説明する。図１８は、信号選択部４８の構成例を示す回路図である。図１８（ａ）が長短選択信号ＪＪの生成回路であり、図１８（ｂ）が書き込み信号Ｖｃｍｐ２の生成回路である。

信号選択部４８は、長短選択信号ＪＪの生成回路と、書き込み信号Ｖｃｍｐ２の生成回路と、を有する。長短選択信号ＪＪの生成回路は、例えば図１８（ａ）に示すように、隣り合う３列毎の飽和判定信号ＪＬの論理積をとる複数のＯＲ回路により構成される。例えば、飽和判定信号ＪＬ（Ｎ－１），ＪＬ（Ｎ），ＪＬ（Ｎ＋１）に対する論理積が、Ｎ列目の長短選択信号ＪＪ（Ｎ）となる。書き込み信号Ｖｃｍｐ２の生成回路は、例えば図１８（ｂ）に示すように、長短選択信号ＪＪとラッチ信号Ｖｃｍｐとの論理和をとるＡＮＤ回路により構成される。例えば、長短選択信号ＪＪ（Ｎ）及びラッチ信号Ｖｃｍｐ（Ｎ）に対する論理積が、Ｎ列目の書き込み信号Ｖｃｍｐ２（Ｎ）となる。

本実施形態による撮像装置においても、第１実施形態と同様、長秒信号が飽和していない画素の信号であっても、隣接する画素の長秒信号が飽和している場合には、短秒信号を用いて画素値を算出する。したがって、本実施形態の撮像装置によっても、空間的なばらつきの小さいＨＤＲ合成信号を得ることができる。更に、本実施形態においては撮像素子の内部で列並列により飽和判定と信号選択とを行うため、判定処理の高速化が可能となる。また、長秒信号及び短秒信号の各々に対応して列メモリを設ける必要はないため、撮像素子の周辺回路面積を削減することができる。また、撮像装置の内部で信号選択処理を行うため、撮像装置の外部へ送信するデータの帯域を削減することも可能である。

このように、本実施形態によれば、長秒画像と短秒画像とを用いてハイダイナミックレンジ画像を合成する際に、長秒画像と短秒画像との間のつなぎ部分における画質を向上することができる。

［第５実施形態］
本発明の第５実施形態による撮像システムについて、図１９を用いて説明する。図１９は、本実施形態による撮像システムの概略構成を示すブロック図である。

上記第１乃至第４実施形態で述べた撮像装置３００は、種々の撮像システムに適用可能である。適用可能な撮像システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図１９には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。

図１９に例示した撮像システム４００は、撮像装置４０１、被写体の光学像を撮像装置４０１に結像させるレンズ４０２、レンズ４０２を通過する光量を可変にするための絞り４０４、レンズ４０２の保護のためのバリア４０６を有する。レンズ４０２及び絞り４０４は、撮像装置４０１に光を集光する光学系である。撮像装置４０１は、第１乃至第４実施形態のいずれかで説明した撮像装置３００であって、レンズ４０２により結像された光学像を画像データに変換する。

撮像システム４００は、また、撮像装置４０１から出力される出力信号の処理を行う信号処理部４０８を有する。信号処理部４０８は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。例えば、信号処理部４０８は、入力信号に対して、ＲＧＢの画素出力信号をＹ，Ｃｂ，Ｃｒ色空間へ変換する変換処理や、ガンマ補正などの所定の画像処理を施す。また、信号処理部４０８は、第１乃至第４実施形態において説明した撮像装置３００における信号処理部２００の一部又は総ての機能を備えていてもよい。

撮像システム４００は、更に、画像データを一時的に記憶するためのメモリ部４１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）４１２を有する。さらに撮像システム４００は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体４１４、記録媒体４１４に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）４１６を有する。なお、記録媒体４１４は、撮像システム４００に内蔵されていてもよく、着脱可能であってもよい。

更に撮像システム４００は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部４１８、撮像装置４０１と信号処理部４０８に各種タイミング信号を出力するタイミング発生部４２０を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム４００は少なくとも撮像装置４０１と、撮像装置４０１から出力された出力信号を処理する信号処理部４０８とを有すればよい。全体制御・演算部４１８及びタイミング発生部４２０は、撮像装置４０１の制御機能の一部又は総てを実施するように構成してもよい。

撮像装置４０１は、画像用信号を信号処理部４０８に出力する。信号処理部４０８は、撮像装置４０１から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部４０８は、画像用信号を用いて、画像を生成する。信号処理部４０８で生成された画像は、例えば記録媒体４１４に記録される。また、信号処理部４０８で生成された画像は、液晶ディスプレイなどからなるモニターに動画或いは静止画として映し出される。記録媒体４１４に記憶された画像は、プリンタなどによってハードコピーすることができる。

なお、信号処理部４０８が備える機能は、撮像装置３００とは別の信号処理装置により実現してもよい。また、信号処理部４０８が備える機能を、撮像装置３００が有していてもよい。

このように、本実施形態によれば、第１乃至第４実施形態による撮像装置３００を適用した撮像システムを実現することができる。

［第６実施形態］
本発明の第６実施形態による撮像システム及び移動体について、図２０を用いて説明する。図２０は、本実施形態による撮像システム及び移動体の構成例を示す概略図である。

図２０（ａ）は、車載カメラに関する撮像システムの一例を示したものである。撮像システム５００は、撮像装置５１０を有する。撮像装置５１０は、上記第１乃至第４実施形態のいずれかに記載の撮像装置３００である。撮像システム５００は、撮像装置５１０により取得された複数の画像データに対し、画像処理を行う画像処理部５１２と、撮像装置５１０により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部５１４を有する。また、撮像システム５００は、算出された視差に基づいて対象物までの距離を算出する距離取得部５１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部５１８と、を有する。ここで、視差取得部５１４や距離取得部５１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部５１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

撮像システム５００は、車両情報取得装置５２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム５００は、衝突判定部５１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ５３０が接続されている。すなわち、制御ＥＣＵ５３０は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム５００は、衝突判定部５１８での判定結果に基づいて、ドライバーへ警報を発する警報装置５４０とも接続されている。例えば、衝突判定部５１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ５３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置５４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム５００で撮像する。図２０（ｂ）に、車両前方（撮像範囲５５０）を撮像する場合の撮像システム５００を示した。車両情報取得装置５２０は、撮像システム５００を動作させ撮像を実行させるように指示を送る。このような構成により、測距の精度をより向上させることができる。第１乃至第４実施形態の撮像装置を撮像装置５１０として用いることにより、本実施形態の撮像システム５００は、測距の精度をより向上させることができる。

以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。

例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

また、上記第５及び第６実施形態に示した撮像システムは、本発明の撮像装置を適用しうる撮像システム例を示したものであり、本発明の撮像装置を適用可能な撮像システムは図１９及び図２０に示した構成に限定されるものではない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００…撮像素子
２００…信号処理部
２１０…前段処理部
２２０，３８…長秒飽和判定部
２３０…長秒信号・判定信号保持部
２４０…短秒信号保持部
２５０，４８…信号選択部
２５２…長短選択信号生成部
２６０…ＨＤＲ合成部
３００…撮像装置
４００，５００…撮像システム

Claims (15)

1. 複数の行及び複数の列に渡って配され、各々が光電変換部を有する複数の画素と、
   前記複数の画素の各々から、第１の露光時間の間に前記光電変換部で生じる電荷に基づく第１の信号と、前記第１の露光時間よりも短い第２の露光時間の間に前記光電変換部で生じる電荷に基づく第２の信号と、を出力するように、前記複数の画素を制御する制御部と、
   前記複数の画素から出力される前記第１の信号の各々に対して、所定の値を超えているか否かを判定する判定処理を実行し、判定の結果を示す判定信号を出力する判定部と、
   前記複数の画素の各々の画像形成用の信号として、前記第１の信号及び前記第２の信号のうちの一方をそれぞれ選択する信号選択部と、を有し、
   前記信号選択部は、
   対象となる画素の前記判定信号及び前記対象となる画素を含む所定の領域に配された他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていないことを示している場合に、前記対象となる画素の前記画像形成用の信号として前記第１の信号を選択し、
   前記他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていることを示している場合、及び、前記対象となる画素の前記判定信号が、前記第１の信号が前記所定の値を超えていることを示しており、且つ、前記他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていないことを示している場合に、前記対象となる画素の前記画像形成用の信号として前記第２の信号を選択する
   ことを特徴とする撮像装置。
2. 前記所定の領域は、隣り合う複数列を含む
   ことを特徴とする請求項１記載の撮像装置。
3. 前記所定の領域は、隣り合う複数行を含む
   ことを特徴とする請求項１又は２記載の撮像装置。
4. 前記他の画素は、前記対象となる画素に隣接する画素である
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記他の画素は、前記対象となる画素と同じ色のカラーフィルタを備えた画素である
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記信号選択部は、前記対象となる画素の前記判定信号が、前記第１の信号が前記所定の値を超えていないことを示しており、且つ、前記他の画素のうち、前記第１の信号が前記所定の値を超えていないことを示している前記判定信号が得られた前記他の画素の数が、前記第１の信号が前記所定の値を超えていることを示している前記判定信号が得られた前記他の画素の数以上の場合に、前記対象となる画素の前記画像形成用の信号として前記第１の信号を選択する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記所定の値は、前記第１の信号の飽和閾値である
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記複数の列の各々に対応して設けられた複数のメモリを更に有し、
   前記複数のメモリの各々は、対応する列に配された前記画素から出力される前記第１の信号及び前記第２の信号を保持する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記複数の列の各々に対応して設けられた複数のメモリを更に有し、
   前記複数のメモリの各々は、対応する列に配された前記画素から出力される前記第１の信号及び前記第２の信号のうち、前記信号選択部により前記画像形成用の信号として選択された信号を保持する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
10. 前記信号選択部は、各列の前記画素から出力される信号に対して列並列で信号選択処理を実行する
    ことを特徴とする請求項９記載の撮像装置。
11. 前記判定部は、各列の前記画素から出力される前記第１の信号に対して列並列で前記判定処理を実行する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記複数の画素の前記画像形成用の信号として選択された前記第１の信号及び前記第２の信号を用いてハイダイナミックレンジ画像を合成する合成部を更に有する
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 各々が光電変換部を有する複数の画素を有し、前記複数の画素の各々から、第１の露光時間の間に前記光電変換部で生じる電荷に基づく第１の信号と、前記第１の露光時間よりも短い第２の露光時間の間に前記光電変換部で生じる電荷に基づく第２の信号と、を出力する撮像素子から出力される信号を処理する信号処理装置であって、
    前記複数の画素から出力される前記第１の信号の各々に対して、所定の値を超えているか否かを判定し、判定の結果を示す判定信号を出力する判定部と、
    前記複数の画素の各々の画像形成用の信号として、前記第１の信号及び前記第２の信号のうちの一方をそれぞれ選択する信号選択部と、を有し、
    前記信号選択部は、
    対象となる画素の前記判定信号及び前記対象となる画素を含む所定の領域に配された他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていないことを示している場合に、前記対象となる画素の前記画像形成用の信号として前記第１の信号を選択し、
    前記他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていることを示している場合、及び、前記対象となる画素の前記判定信号が、前記第１の信号が前記所定の値を超えていることを示しており、且つ、前記他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていないことを示している場合に、前記対象となる画素の前記画像形成用の信号として前記第２の信号を選択する
    ことを特徴とする信号処理装置。
14. 各々が光電変換部を有する複数の画素を有し、前記複数の画素の各々から、第１の露光時間の間に前記光電変換部で生じる電荷に基づく第１の信号と、前記第１の露光時間よりも短い第２の露光時間の間に前記光電変換部で生じる電荷に基づく第２の信号と、を出力する撮像素子を有する撮像装置と、
    前記撮像装置から出力される信号を処理する信号処理部と、を有し、
    前記信号処理部は、
    前記複数の画素から出力される前記第１の信号の各々に対して、所定の値を超えているか否かを判定し、判定の結果を示す判定信号を出力する判定部と、
    前記複数の画素の各々の画像形成用の信号として、前記第１の信号及び前記第２の信号のうちの一方をそれぞれ選択する信号選択部と、を有し、
    前記信号選択部は、
    対象となる画素の前記判定信号及び前記対象となる画素を含む所定の領域に配された他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていないことを示している場合に、前記対象となる画素の前記画像形成用の信号として前記第１の信号を選択し、
    前記他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていることを示している場合、及び、前記対象となる画素の前記判定信号が、前記第１の信号が前記所定の値を超えていることを示しており、且つ、前記他の画素の前記判定信号が、前記第１の信号が前記所定の値を超えていないことを示している場合に、前記対象となる画素の前記画像形成用の信号として前記第２の信号を選択する
    ことを特徴とする撮像システム。
15. 移動体であって、
    請求項１乃至１２のいずれか１項に記載の撮像装置と、
    前記撮像装置の前記画素から出力される信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と
    を有することを特徴とする移動体。

Images