JP4888081B2 - 撮像装置、撮像方法、撮像システム及び画像処理装置 - Google Patents

撮像装置、撮像方法、撮像システム及び画像処理装置 Download PDF

Info

Publication number
JP4888081B2
JP4888081B2 JP2006316726A JP2006316726A JP4888081B2 JP 4888081 B2 JP4888081 B2 JP 4888081B2 JP 2006316726 A JP2006316726 A JP 2006316726A JP 2006316726 A JP2006316726 A JP 2006316726A JP 4888081 B2 JP4888081 B2 JP 4888081B2
Authority
JP
Japan
Prior art keywords
image data
pixel
pixel data
data
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006316726A
Other languages
English (en)
Other versions
JP2007221757A (ja
Inventor
治久 倉根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006316726A priority Critical patent/JP4888081B2/ja
Priority to US11/625,528 priority patent/US7884868B2/en
Publication of JP2007221757A publication Critical patent/JP2007221757A/ja
Application granted granted Critical
Publication of JP4888081B2 publication Critical patent/JP4888081B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals

Description

本発明は、光電変換素子からの電荷の読み出しを、破壊読み出し方式及び非破壊読み出し方式を用いて行うことが可能な撮像装置、撮像方法及び撮像システム並びに、破壊読出方式及び非破壊読出方式によって読み出された電荷に基づき撮像画像データを生成することが可能な画像処理装置に関する。
従来、撮像装置のイメージセンサ（光電変換素子）からの電荷の読み出し方式としては、破壊読み出し方式と非破壊読み出し方式とがある。
ここで、破壊読み出し方式は、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にするリセット処理を伴うものである。
また、非破壊読み出し方式は、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出すものである。つまり、電荷読み出し時にリセット処理を行わないため、設定された露光時間に至るまで、電荷の蓄積途中において、異なる露光時間に対して何度でも電荷の読み出しを行うことができる。従って、非破壊読み出し方式には、多段階露光を容易に実現することができるという利点がある。
また、従来、屋外の監視カメラシステムにおいて、夜間の監視のために、カメラの近くに光源を設置して、それにより特定監視領域に光を照射して、その領域に進入物があったかどうかを監視する方法が知られている。考え方としては、夜景を背景に、人物撮影をストロボをたいて行うことに近い。すなわち、光源に近い注目する被写体の反射光をカメラにより受光して、注目被写体画像を記録する。一方、遠景となる暗い背景の撮影は、ストロボ光が届かないので、露光時間を長くして撮影することで、背景画像を記録する。
前述の監視カメラシステムにおいては、遠景と特定領域（近景）の双方の画像が取得出来る方が望ましく、このようなコントラストの高い画像を撮像するために、ワイドダイナミックレンジカメラ(撮像素子)が使用されることがある。このワイドダイナミックレンジカメラを実現する為の撮像素子として、非破壊型撮像素子が提案されている。ワイドダイナミックレンジの非破壊型撮像素子に関する特許文献として、例えば、特許文献１に記載の撮像装置及び特許文献２に記載の固体撮像素子がある。
特許文献１に記載の撮像装置は、複数の各画素が増幅型の光電変換素子を備えた撮像装置において、露光時間の異なる複数の画素信号を読み出し、露光時間の長い一の画素信号の中から飽和画素信号を検出した場合に、該飽和画素信号を露光時間のより短い該画素の非飽和画素信号と置換することでワイドダイナミックレンジ化を実現するものである。
また、特許文献２に記載の固体撮像装置は、光電変換素子を画素として行列状に２次元に配列した受光部に対して、水平有効期間内でタイミングの異なる第１及び第２の読み出し信号を出力する垂直走査回路と、水平有効期間内で２度のスタート信号を入力する水平走査回路とを設け、２度の読み出し動作を水平走査期間内で時間をずらして行うようにして、垂直信号線を複数設けることなく、独立に取り出すように構成することでワイドダイナミックレンジ化を実現するものである。
特開平５―２２６７０号公報 特開平７―３８８１５号公報
しかしながら、上記特許文献１及び上記特許文献２の従来技術にあっては、ワイドダイナミックレンジ化は可能であるが、例えば、暗い背景に対して手前にある監視対象に動きがある場合に、この監視対象の動きにフレームレート（露光時間）を合わせると、撮像画像は、背景が黒つぶれし背景内容を認識することができない画像となってしまうといった問題が生じる恐れがある。一方、背景に露光を合わせて撮像を行うと、フレームレート（露光時間）が長くなるため、撮像画像は、監視対象の動きが判定できない画像になるといった問題が生じる恐れがある。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、背景と当該背景の手前にある動きのある被写体との双方を高コントラストで且つ双方の撮像内容を認識し易い画像を撮像するのに好適な撮像装置、撮像方法、撮像システム及び画像処理装置を提供することを目的としている。
〔形態１〕 上記目的を達成するために、形態１の撮像素子は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像素子であって、
前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段が全露光領域から電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、複数回電荷を非破壊読み出し方式で読み出す第２読出手段と、を備えることを特徴としている。
このような構成であれば、第１読出手段によって、前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出すことが可能であり、第２読出手段によって、前記第１読出手段が全露光領域から電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、複数回電荷を非破壊読み出し方式で読み出すことが可能である。
つまり、第１読出手段によって、所定露光時間の露光で光電変換部における全露光領域（全走査領域）の画素から電荷の破壊読み出しを行い、一方、所定露光時間の露光が行われている期間中に、第２読出手段によって、前記全露光領域における一部の領域から構成される特定領域に対して、前記所定露光時間以下で且つそれぞれ異なる複数種類の露光時間で露光された画素の電荷の非破壊読み出しを行うことができる。
従って、例えば、動きのある被写体及び比較的暗い背景から構成される撮像対象に対して、第１読出手段によって、当該暗い背景に対して露光領域全体の画素を、例えば、暗い背景内容を認識可能な撮像画像を得るのに十分な長さの長露光時間で露光して、当該露光領域全体の各画素の電荷を読み出すことで長露光時間で露光された背景画像を得ることができる。一方、前記長露光時間による露光期間中において、前記動きのある被写体の領域を含むその周辺領域を特定領域として、当該特定領域の画素に対して、例えば、前記長露光時間よりも短い、複数種類（例えば、５種類など）の露光時間で順次露光される各画素から電荷を非破壊で順次読み出すことで、長露光時間時のフレームレートよりも高速なフレームレートで複数種類の露光時間で露光された特定領域の画像を得ることができる。これにより、十分に露光された背景画像（露光領域全体の画像）と、多段露光された、動きのある被写体を含む特定領域の画像とを得ることができるので、これらの画像を合成することで、背景と被写体とのコンストラストが高く、且つ動きのある被写体をはっきりと捉えた画像を生成することができるという効果が得られる。また、動きのある被写体を特定領域で捉えるようにしたので、動き検出処理等において処理量を低減することも可能である。
ここで、上記「光電変換部」は、例えば、ＣＭＯＳ技術を用いて構成されており、ＣＭＯＳ技術を利用した非破壊読み出し可能な撮像素子としては、閾値変調型撮像素子（例えば、ＶＭＩＳ（Threshold Voltage Modulation Image Sensor））などがある。以下、撮像装置、撮像方法、撮像システム及び画像処理装置に関する形態においても同様である。
〔形態２〕 一方、上記目的を達成するために、形態２の撮像装置は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置であって、
前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、複数回電荷を非破壊読み出し方式で読み出す第２読出手段と、
前記第１読出手段で読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、第１の画像データを生成する第１画像データ生成手段と、
前記第１画像データ生成手段で生成された第１の画像データを記憶する第１画像データ記憶手段と、
前記第２読出手段で読み出された前記特定領域に対するそれぞれ露光時間の異なる電荷から構成される複数種類の第２画素データに基づき、第２の画像データを生成する第２画像データ生成手段と、
前記第２画像データ生成手段で生成された第２の画像データを記憶する第２画像データ記憶手段と、
前記記憶された第２の画像データと、前記記憶された第１の画像データとを合成して撮像画像データを生成する撮像画像データ生成手段と、を備えることを特徴としている。
このような構成であれば、第１読出手段によって、前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出すことが可能であり、第２読出手段によって、前記第１読出手段が全露光領域から電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、複数回電荷を非破壊読み出し方式で読み出すことが可能である。
また、第１画像データ生成手段によって、前記第１読出手段で読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、第１の画像データを生成することが可能であり、第１画像データ記憶手段によって、前記第１画像データ生成手段で生成された第１の画像データを記憶することが可能であり、第２画像データ生成手段によって、前記第２読出手段で読み出された前記特定領域に対するそれぞれ露光時間の異なる電荷から構成される複数種類の第２画素データに基づき、第２の画像データを生成することが可能であり、第２画像データ記憶手段によって、前記第２画像データ生成手段で生成された第２の画像データを記憶することが可能である。
また、撮像画像データ生成手段によって、前記記憶された第２の画像データと、前記記憶された第１の画像データとを合成して撮像画像データを生成することが可能である。
従って、例えば、動きのある被写体及び比較的暗い背景から構成される撮像対象に対して、第１読出手段によって、当該暗い背景に対して露光領域全体の画素を、例えば、暗い背景内容を認識可能な撮像画像を得るのに十分な長さの長露光時間で露光して、当該露光領域全体の各画素の電荷を読み出すことで長露光時間で露光された背景画像を得ることができる。一方、前記長露光時間による露光期間中において、前記動きのある被写体の領域を含むその周辺領域を特定領域として、当該特定領域の画素に対して、例えば、前記長露光時間よりも短い、複数種類（例えば、５種類など）の露光時間で順次露光される各画素から電荷を非破壊で順次読み出すことで、長露光時間時のフレームレートよりも高速なフレームレートで複数種類の露光時間で露光された特定領域の画像を得ることができる。更に、このようにして得られた、十分に露光された背景画像（露光領域全体の画像）と、多段露光された、動きのある被写体を含む特定領域の画像とを合成することができるので、背景と被写体とのコンストラストが高く、且つ動きのある被写体をはっきりと捉えた画像を生成することができるという効果が得られる。
〔形態３〕 更に、形態３の撮像装置は、形態２の撮像装置において、
前記全露光領域における前記特定領域の範囲を指定する基準信号を生成する特定領域基準信号生成手段を備えることを特徴としている。
このような構成であれば、特定領域基準信号生成手段によって、前記全露光領域における前記特定領域の範囲を指定する基準信号を生成することが可能である。
従って、例えば、全露光領域を与える基準信号（垂直同期信号０）とは非同期に、特定領域の範囲を指定する基準信号（垂直同期信号１）を、撮像装置に自動的に生成させることができるので、前記垂直同期信号１から、容易に特定領域のライン番号、画素番号を計数することができるという効果が得られる。
〔形態４〕 更に、形態４の撮像装置は、形態２又は３の撮像装置において、
前記第２画素データは、前記第２読出手段において前記複数回の読み出しで得られる複数種類の露光時間における各露光時間で読み出された電荷から構成される画素データの画素値と、前記第２読出手段において前記各露光時間よりも短い露光時間で読み出された電荷から構成される画素データの画素値とのそれぞれの差分値に基づき構成されることを特徴としている。
このような構成であれば、複数種類の露光時間における各２つの露光時間の画素データの差分に基づき第２画素データを構成することが可能となるので、短い露光時間、すなわち高速フレームレートの画像が取得できる。更に、非破壊読み出し方式で問題となる固定パターンノイズを除去又は低減することが可能となる。
従って、固定パターンノイズによる画質劣化を防ぐ又は低減することができるという効果が得られる。
ここで、「固定パターンノイズ」には、長時間露光時に問題になる暗電流シェーディングや、画素ごとのセンサ感度の違いによって発生するものなどがある。
また、上記第２画素データは、前記差分値そのものから構成しても良いし、差分値を補正するなどの差分値を加工した値から構成しても良い。
〔形態５〕 更に、形態５の撮像装置は、形態４の撮像装置において、
前記各露光時間よりも短い露光時間で読み出された電荷は、前記各露光時間の電荷よりも１つ前の露光時間で読み出された電荷であることを特徴としている。
このような構成であれば、複数種類の露光時間における各露光時間で読み出された画素データと、これらの各１つ前の露光時間で読み出された画素データとの差分値に基づき第２画素データを構成することが可能となるので、より高速なフレームレートの画像を取得することができる。
〔形態６〕 更に、形態６の撮像装置は、形態２乃至５のいずれか１の撮像装置において、
前記第２画像データ生成手段は、前記第２読出手段で読み出された前記特定領域に対する前記各第２画素データの画素値と所定閾値との比較結果に基づき各第２画素データが有効であるか否かを判定すると共に、有効であると判定された第２画素データに基づき前記第２画像データ記憶手段に記憶された第２の画像データを更新することを特徴としている。
このような構成であれば、例えば、夜間において、動きのある被写体及びその背景から構成される撮像対象に対して、第２読出手段によって特定領域の画素から読み出された電荷に対応する第２画素データの示す輝度値が、例えば所定の輝度値以上の場合に当該第２画素データを有効とし、この第２画素データに基づき第２画像データ記憶手段に記憶された第２の画像データを更新することが可能である。
つまり、夜間であることに加え、背景は被写体よりも遠い位置にあるため、被写体と背景とには大きな輝度差が発生する。そのため、輝度値が比較的高い第２画素データは被写体のデータである可能性が高いので、この第２画素データに基づき、当該第２画素データと同じ画素位置の第２画像データ記憶手段に記憶された第２の画像データを構成する第２画素データを更新する。
これにより、特定領域における動きのある被写体の撮像画像データを簡易に生成することができる。なお、所定閾値は、被写体と背景との輝度差などに応じて適切な値を設定することで、様々な環境下の撮像対象に適応させることができる。
〔形態７〕 更に、形態７の撮像装置は、形態６の撮像装置において、
前記第２画像データ生成手段は、前記比較結果に基づき無効であると判定された第２画素データと同じ画素位置に対応する前記第１画像データ記憶手段に記憶された第１画素データに基づき、前記第２画像データ記憶手段に記憶された第２の画像データを更新することを特徴としている。
このような構成であれば、例えば、夜間において、動きのある被写体及びその背景から構成される撮像対象に対して、第２読出手段によって特定領域の画素から読み出された電荷に対応する第２画素データの示す輝度値が、例えば所定の輝度値より低い場合に当該第２画素データを無効とし、この第２画素データと同じ画素位置に対応する第１画像データ記憶手段に記憶された第１画素データに基づき第２画像データ記憶手段に記憶された第２の画像データを更新することが可能である。
つまり、夜間であることに加え、背景は被写体よりも遠い位置にあるため、被写体と背景とには大きな輝度差が発生する。そのため、輝度値が比較的低い第２画素データは背景のデータである可能性が高いので、このような第２画素データに対して、この第２画素データと同じ画素位置の第１画像データ記憶手段に記憶された第１画素データを用いて第２画像データ記憶手段に記憶された第２の画像データを構成する第２画素データを更新することで、背景と被写体とのコンストラストが高く、且つ動きのある被写体をはっきりと捉えた特定領域画像を生成することができるという効果が得られる。
〔形態８〕 更に、形態８の撮像装置は、形態６又は７の撮像装置において、
前記第２画像データ生成手段は、前記第２画素データの画素値の示す輝度が、前記所定閾値の示す輝度以上のときに、当該第２画素データを有効と判定することを特徴としている。
このような構成であれば、例えば、夜間において、動きのある被写体及びその背景から構成される撮像対象に対して、第２読出手段によって特定領域の画素から読み出された電荷に対応する第２画素データの示す輝度値が、所定輝度値以上の場合に当該第２画素データを有効とする。
つまり、夜間であることに加え、背景は被写体よりも遠い位置にあるため、被写体と背景とには大きな輝度差が発生する。そのため、輝度値が比較的高い第２画素データは被写体のデータである可能性が高いので、この第２画素データによって、当該第２画素データと同じ画素位置の第２画像データ記憶手段に記憶された第２の画像データを構成する第２画素データを更新することで、特定領域における動きのある被写体の撮像画像データを簡易に生成することができる。
〔形態９〕 更に、形態９の撮像装置は、形態３乃至８のいずれか１の撮像装置において、
前記第２画像データ生成手段は、前記第２読出手段における前記特定領域の各画素からの電荷の読み出し回数に応じて、前記第２画素データの画素値を補正することを特徴としている。
このような構成であれば、第２画素データを、第１画素データと同じ露光時間で露光したときと同等の輝度レベルに補正することができ、輝度レベルの不足による画質劣化を低減できるという効果が得られる。
例えば、第１読出手段に対する所定露光時間の露光期間において、第２読出手段で複数種類の露光時間でそれぞれ露光された画素信号を取得したときに、第２読出手段では、所定露光時間よりも短い露光時間による露光を複数回行うことになるので、このようにして得られる第２画素データは、露光時間が短い分だけ、第１画素データに対して輝度レベルが低くなってしまう。そのため、第２画素データの輝度レベルを複数種類の露光時間における各露光時間に応じてそれぞれ補正する。なお、上記形態５のように、差分データとして第２画素データを生成する場合は、例えば、差分値を種類数倍して輝度レベルを補正することが可能である。例えば、５種類の露光時間で露光した場合は、差分値を単純に５倍するだけで第１画素データと同等の輝度レベルに補正することができる。
〔形態１０〕 更に、形態１０の撮像装置は、形態３乃至９のいずれか１の撮像装置において、
前記第１画像データ生成手段は、前記第１読出手段で読み出された前記全露光領域における前記各第１画素データの画素値と所定閾値との比較結果に基づき各第１画素データが有効であるか否かを判定すると共に、有効であると判定された第１画素データに基づき前記背景画像記憶手段に記憶された第１の画像データを更新することを特徴としている。
このような構成であれば、例えば、夜間において、動きのある被写体及びその背景から構成される撮像対象に対して、第１読出手段によって全露光領域の画素から読み出された電荷に対応する第１画素データの示す輝度値が、例えば、所定輝度値以下の場合に当該第１画素データを有効とし、この第１画素データに基づき背景画像記憶手段に記憶された第１の画像データを更新することが可能である。
つまり、夜間であることに加え、背景は被写体よりも遠い位置にあるため、被写体と背景とには大きな輝度差が発生する。そのため、輝度値が比較的低い第１画素データは背景のデータである可能性が高いので、この第１画素データによって、当該第１画素データと同じ画素位置の第１画像データ記憶手段に記憶された第１の画像データを構成する第１画素データを更新することで、背景の撮像画像データを簡易に生成することができる。
〔形態１１〕 更に、形態１１の撮像装置は、形態１０の撮像装置において、
前記第１画像データ生成手段は、前記第１画素データの画素値の示す輝度が、前記所定閾値の示す輝度以下のときに、当該第１画素データを有効と判定することを特徴としている。
このような構成であれば、例えば、夜間において、動きのある被写体及びその背景から構成される撮像対象に対して、第１読出手段によって全露光領域の画素から読み出された電荷に対応する第１画素データの示す輝度値が、所定輝度値以下の場合に当該第１画素データを有効とすることが可能である。
つまり、夜間であることに加え、背景は被写体よりも遠い位置にあるため、被写体と背景とには大きな輝度差が発生する。そのため、輝度値が比較的低い第１画素データは背景のデータである可能性が高いので、この第１画素データによって、当該第１画素データと同じ画素位置の第１画像データ記憶手段に記憶された第１の画像データを構成する第１画素データを更新することで、背景の撮像画像データを簡易に生成することができる。
〔形態１２〕 更に、形態１２の撮像装置は、形態１１の撮像装置において、
前記第１画像データ生成手段は、前記第１画素データの画素値が示す輝度が、前記所定閾値の示す輝度より高いときに、当該第１画素データを無効と判定すると共に、当該無効と判定されたときに当該第１画素データによる前記第１画像データ記憶手段に記憶された第１の画像データの更新処理を行わないことを特徴としている。
このような構成であれば、例えば、夜間において、動きのある被写体及びその背景から構成される撮像対象に対して、第１読出手段によって全露光領域の画素から読み出された電荷に対応する第１画素データの示す輝度が、所定輝度より高い場合に当該第１画素データを無効とし、この第１画素データによる第１の画像データの更新処理を行わないようにすることが可能である。
つまり、夜間であることに加え、背景は被写体よりも遠い位置にあるため、被写体と背景とには大きな輝度差が発生する。そのため、輝度値が比較的高い第１画素データは被写体のデータである可能性が高いので、このような場合に、第１画像データ記憶手段に記憶された第１の画像データの更新処理を行わないようにすることで第１の画像データの生成処理を軽減することができるという効果が得られる。
〔形態１３〕 更に、形態１３の撮像装置は、形態３乃至１２のいずれか１の撮像装置において、
前記撮像画像データ生成手段は、前記第２画像データ記憶手段から第２の画像データを読み出し、前記第１画像データ記憶手段から前記特定領域以外の領域に対応する第１の画像データ部分を読み出し、これら読み出した第２の画像データ及び第１の画像データ部分を合成して前記撮像画像データを生成することを特徴としている。
このような構成であれば、例えば、表示装置等の出力装置からの各種同期信号に同期して、特定領域の画像データと、第１の画像データから特定領域の画像データ部分を差し引いた画像データとを読み出すことで、簡易にこれらを合成した撮像画像を生成することができるという効果が得られる。
〔形態１４〕 一方、上記目的を達成するために、形態１４の撮像方法は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像素子に用いられる撮像方法であって、
前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出ステップと、
前記第１読出ステップで全露光領域から電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、複数回電荷を非破壊読み出し方式で読み出す第２読出ステップと、を含むことを特徴としている。
これにより、形態１の撮像素子と同等の作用及び効果が得られる。
〔形態１５〕 また、上記目的を達成するために、形態１５の撮像方法は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置に用いられる撮像方法であって、
前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出ステップと、
前記第１読出ステップで電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、複数回電荷を非破壊読み出し方式で読み出す第２読出ステップと、
前記第１読出ステップで読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、第１の画像データを生成する第１画像データ生成ステップと、
前記第１画像データ生成ステップで生成された第１の画像データを記憶する第１画像データ記憶ステップと、
前記第２読出ステップで読み出された前記特定領域に対するそれぞれ露光時間の異なる電荷から構成される複数種類の第２画素データに基づき、第２の画像データを生成する第２画像データ生成ステップと、
前記第２画像データ生成ステップで生成された第２の画像データを記憶する第２画像データ記憶ステップと、
前記記憶された第２の画像データと、前記記憶された第１の画像データとを合成して撮像画像データを生成する撮像画像データ生成ステップと、を含むことを特徴としている。
これにより、形態２の撮像装置と同等の作用及び効果が得られる。
〔形態１６〕 また、上記目的を達成するために、形態１６の撮像システムは、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像システムであって、
前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、複数回電荷を非破壊読み出し方式で読み出す第２読出手段と、
前記第１読出手段で読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、第１の画像データを生成する第１画像データ生成手段と、
前記第１画像データ生成手段で生成された第１の画像データを記憶する第１画像データ記憶手段と、
前記第２読出手段で読み出された前記特定領域に対するそれぞれ露光時間の異なる電荷から構成される複数種類の第２画素データに基づき、第２の画像データを生成する第２画像データ生成手段と、
前記第２画像データ生成手段で生成された第２の画像データを記憶する第２画像データ記憶手段と、
前記記憶された第２の画像データと、前記記憶された第１の画像データとを合成して撮像画像データを生成する撮像画像データ生成手段と、を備えることを特徴としている。
これにより、形態２の撮像装置と同等の作用及び効果が得られる。
ここで、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし（この場合は、形態１と同等となる）、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
〔形態１７〕 また、上記目的を達成するために、形態１７の画像処理装置は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部の全露光領域における前記光電変換素子の構成する各画素から、破壊読み出し方式で読み出された所定露光時間で露光された電荷から構成される第１画素データに基づき、第１の画像データを生成する第１画像データ生成手段と、
前記第１画像データ生成手段で生成された第１の画像データを記憶する第１画像データ記憶手段と、
前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、非破壊読み出し方式で複数回読み出された電荷から構成される複数種類の第２画素データに基づき、第２の画像データを生成する第２画像データ生成手段と、
前記第２画像データ生成手段で生成された第２の画像データを記憶する第２画像データ記憶手段と、
前記記憶された第２の画像データと、前記記憶された第１の画像データとを合成して撮像画像データを生成する撮像画像データ生成手段と、を備えることを特徴としている。
このような構成であれば、第１画像データ生成手段によって、露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部の全露光領域における前記光電変換素子の構成する各画素から、破壊読み出し方式で読み出された所定露光時間で露光された電荷から構成される第１画素データに基づき、第１の画像データを生成することが可能であり、第１画像データ記憶手段によって、前記第１画像データ生成手段で生成された第１の画像データを記憶することが可能である。
また、第２画像データ生成手段によって、前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、非破壊読み出し方式で複数回読み出された電荷から構成される複数種類の第２画素データに基づき、第２の画像データを生成することが可能であり、第２画像データ記憶手段によって、前記第２画像データ生成手段で生成された第２の画像データを記憶することが可能である。
更に、撮像画像データ生成手段によって、前記記憶された第２の画像データと、前記記憶された第１の画像データとを合成して撮像画像データを生成することが可能である。
これにより、形態２の撮像装置と同様に、十分に露光された背景画像（露光領域全体の画像）と、多段露光された、動きのある被写体を含む特定領域の画像とを合成することができるので、背景と被写体とのコンストラストが高く、且つ動きのある被写体をはっきりと捉えた画像を生成することができるという効果が得られる。
以下、本発明に係る撮像装置の実施の形態を、図面に基づいて説明する。図１〜図１５は、本発明に係る撮像装置１の実施の形態を示す図である。
この撮像装置１は、１フレーム期間（１回の露光期間）に、センサセルアレイの全露光領域（全走査領域）に対する通常露光時間（ユーザ等によって任意に設定される時間）の露光による画像を撮像すると共に、同じ１フレーム期間に、センサセルアレイの特定領域（露光領域の一部から構成）に対する複数種類の露光時間の露光による画像を撮像する機能を備えた撮像素子を有する撮像処理系を備える。つまり、特定領域に対しては、通常露光時間の露光時における画素信号の読み出し速度よりも高速に且つ複数回の画素信号の読み出しが行われる。そして、画素列毎に順次、光電変換された画素信号が出力される。また、本実施の形態において、撮像装置１は、動きのある被写体の存在する領域及びその周辺領域を動き領域とし（例えば、ユーザにより任意に設定）、この動き領域を撮像するセンサセルの領域を前記特定領域として設定する。以降は、特定領域を動き領域と称して説明を行う。
以下、図１に基づき、本発明に係る撮像装置１の概略構成を説明する。ここで、図１は、本発明に係る撮像装置１の概略構成を示すブロック図である。
撮像装置１は、図１に示すように、通常露光時間の露光期間において、センサセルアレイ５６（後述）の全露光領域における通常露光時間で露光された各画素のラインから破壊読み出し方式で画素信号を読み出すと共に、動き領域における複数種類の露光時間（本実施の形態においては、いずれも通常露光時間以下の時間で且つ重複無し）で露光された各画素のラインから非破壊読み出し方式によって各種類毎の画素信号を読み出し、これら読み出した画素のライン毎の画素信号の画素データ（デジタルデータ）を順次出力する領域走査対応撮像処理系１０（以下、撮像処理系１０と称す）と、領域走査対応撮像処理系１０から出力された、全露光領域の各画素からの通常露光時間の露光に対応する画素データに基づき背景画像を生成し、特定領域の各画素からの複数種類の露光時間の露光にそれぞれ対応する画素データに基づき動き領域の画像（以下、動き領域画像という）を生成し、これら生成した背景画像及び動き領域画像を合成して撮像画像を生成する映像処理系１２と、動き領域画像データ、動き領域背景画像データ、背景画像データなどの各種画像データを記憶するフレームメモリ１４とを含んで構成される。
更に、図２〜図５に基づき、撮像処理系１０の内部構成を説明する。ここで、図２は、撮像処理系１０の内部構成を示すブロック図である。また、図３は、第１のＡＦＥ(Analog Front End)１０２の内部構成を示す図である。また、図４は、領域別走査対応型撮像素子１００の内部構成を示すブロック図である。また、図５は、走査ラインスキャナ５４の内部構成を示す図である。
図２に示すように、撮像処理系１０は、領域別走査対応型撮像素子１００と、第１のＡＦＥ１０２と、第２のＡＦＥ１０４とを含んで構成される。
領域別走査対応型撮像素子１００（以下、撮像素子１００と称す）は、被写体からの光を撮像レンズ（不図示）でセンサセルアレイ５６（後述）に集光し、その集光量に応じた電荷をセンサセルアレイ５６の各画素に蓄積させる。また、撮像素子１００は、映像処理系１２のタイミング制御器１２ｂ（後述）から出力される駆動信号（ピクセルクロック、水平同期信号及び垂直同期信号）に基づいて、センサセルアレイ５６の全露光領域の各画素列に蓄積されている電荷群を電圧群に順次変換する。また、後述する走査ラインスキャナ５４の生成する特定領域＿垂直同期信号に基づいて、センサセルアレイ５６の動き領域の各画素列に蓄積されている電荷群を電圧群に順次変換する。そして、動き領域に対する複数種類の露光時間で露光された電荷群を変換してなる電圧群は、第１水平転送部５８（後述）の有する、第１ラインメモリを含んで構成される第１出力チャンネル（以下、ＣＨ１と称す）を介して第１のＡＦＥ１０２に順次出力させ、他方の全露光領域に対する通常露光時間で露光された電荷群を変換してなる電圧群は、第２水平転送部６０（後述）の有する、第２ラインメモリＳ及び第２ラインメモリＮを含んで構成される第２出力チャンネル（以下、ＣＨ２と称す）を介して第２のＡＦＥ１０ｄに順次出力させる。また、本実施の形態においては、全露光領域に対して、ＣＨ２を介して破壊読み出し方式で各画素からの電荷の読み出しを行い、特定（動き）領域に対して、ＣＨ１を介して非破壊読み出し方式で各画素からの電荷の読み出しを行うことによって、電子シャッタ機能による１回の露光期間（通常露光時間）において、全露光領域における通常露光時間での露光時の電荷群と、動き領域における複数種類の露光時間での露光時の電荷群とをそれぞれ独立に読み出すようになっている。
ここで、破壊読出しと非破壊読出しの動作の違いを説明する。破壊読出しは、読み出し後、直ちにリセット処理（センサセル内に蓄積された電荷をクリア）を行い、再び読み出し動作を行う。リセット前の読出し信号（アナログデータ）は第２ラインメモリＳに、リセット後の読出し信号は第２ラインメモリＮに格納される。そして、差動増幅回路６２（後述）において、対応する画素信号の減算処理を行って信号レベル検出及びノイズ除去を行う。一方、非破壊読出しは読出し後、リセット処理は行わない。読出し後の信号（アナログデータ）は各々第１ラインメモリに格納される。第１ラインメモリ及び第２ラインメモリにそれぞれ格納された画素信号はピクセルクロックに同期して、第１のＡＦＥ１０２及び第２のＡＦＥ１０４にそれぞれ出力される。
第１のＡＦＥ１０２及び第２のＡＦＥ１０４は、第１水平転送部５８のＣＨ１及び第２水平転送部６０のＣＨ２を介して出力されるそれぞれ異なる露光時間に対応する電圧信号（アナログデータ）を、デジタルデータ（以下、画素データと称す）に変換する。そして、第１のＡＦＥ１０２及び第２のＡＦＥ１０４は、その生成された画素データを映像処理系１２の高速走査画像生成器１２ｃ（後述）及び背景画素判定・更新器１２ｅ（後述）にそれぞれ出力する。
更に、図３に基づき、第１のＡＦＥ１０２の内部構成を説明する。
第１のＡＦＥ１０２は、図３に示すように、クランプ回路１０２ａと、増幅回路１０２ｂと、Ａ／Ｄ変換回路１０２ｃとを含んで構成される。
クランプ回路１０２ａは、撮像素子１００からの画素信号を受信し、それが遮光領域の信号かを検出し、遮光領域と検出された場合はその信号レベルが黒（基準）レベルになるように、入力信号全てに対してクランプ処理を行い、このクランプ処理後の画素信号を増幅回路１０２ｂに出力する。
増幅回路１０２ｂは、クランプ後の画素信号を、Ａ／Ｄ変換器の入力レンジと整合するように増幅し、この増幅後の画素信号をＡ／Ｄ変換回路１０２ｃに出力する。
Ａ／Ｄ変換回路１０２ｃは、増幅回路１０２ｂからの画素信号（アナログデータ）を、画素データ（デジタルデータ）に変換して映像処理系１２へと出力する。
なお、第１のＡＦＥ１０２及び第２のＡＦＥ１０４は、同一の内部構成となるので、第２のＡＦＥ１０４に対する内部構成の説明は省略する。
更に、図４に基づき、撮像素子１００の内部構成を説明する。
撮像素子１００は、図４に示すように、基準タイミング発生器５０と、駆動パルス発生器５２と、走査ラインスキャナ５４と、センサセルアレイ５６と、第１水平転送部５８と、第２水平転送部６０とを含んで構成される。
基準タイミング発生器５０は、映像処理系１２のタイミング制御器１２ｂ（後述）からの垂直同期信号及び水平同期信号に基づき、基準タイミング信号を発生する。
駆動パルス発生器５２は、基準タイミング発生器５０からの基準タイミング信号と、走査ラインスキャナ５４からのリセットライン選択信号及び読出しライン選択信号とに基づき駆動パルスを発生してセンサセルアレイ５６に供給する。
走査ラインスキャナ５４は、映像処理系１２の通信器１２ａ（後述）からの開始ライン番号及び走査領域幅を指定する各種駆動制御信号に基づき、全露光領域に対するリセットラインの位置を選択してリセットライン選択信号を生成し、全露光領域及び特定（動き）領域に対する読み出しラインの位置をそれぞれ選択して読み出しライン選択信号（２ライン分）を生成し、これら生成した選択信号を駆動パルス発生器５２に出力する。
センサセルアレイ５６は、ＣＭＯＳ技術を用いて各画素が構成されており、駆動パルス発生器５２から供給される駆動パルスに基づき、全露光領域における各画素を通常露光時間で露光すると共に、当該露光により各画素に蓄積された電荷を、各画素のライン毎に破壊読み出し方式で読み出して第２水平転送部６０に順次出力する。一方、この通常露光時間の露光期間において、特定（動き）領域における複数種類の露光時間における各画素に蓄積された電荷を、各画素のライン毎且つ各露光時間の種類毎に順次非破壊読み出し方式で読み出して第１水平転送部５８に順次出力する。
第１水平転送部５８は、センサセルアレイ５６の特定（動き）領域における複数種類の露光時間にそれぞれ対応する画素信号データを、各画素のライン毎にＣＨ１の第１ラインメモリに記憶し、当該記憶した画素信号データを第１のＡＦＥ１０２に出力する。
第２水平転送部６０は、センサセルアレイ５６の全露光領域における通常露光時間に対応する画素信号データ（リセット直前のデータ）及びリセット直後の画素信号データを、各画素のライン毎にＣＨ２の第２ラインメモリＳ及び第２ラインメモリＮにそれぞれ記憶し、当該記憶した通常露光時間及びリセット直後の画素信号データを、差動増幅回路６２を介して第２のＡＦＥ１０４に出力する。
更に、図５に基づき、走査ラインスキャナ５４の内部構成を説明する。
走査ラインスキャナ５４は、図５に示すように、全露光領域走査カウンタ５４ａと、全露光領域走査アドレスデコーダ５４ｂと、特定（動作）領域走査カウンタ５４ｃと、特定領域走査アドレスデコーダ５４ｄと、ＯＲロジック５４ｅとを含んで構成される。
全露光領域走査カウンタ５４ａは、基準タイミング発生器５０からの垂直同期信号及び水平同期信号に基づいて、カウントアップ動作を繰り返す。ここで、カウンタの値は、全露光領域の画素のライン番号に対応しており、このライン番号は、全露光領域走査アドレスデコーダ５４ｂに出力される。
全露光領域走査アドレスデコーダ５４ｂは、全露光領域走査カウンタ５４ａからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、有効としたライン位置（アドレス）を示す読み出しライン制御信号をＯＲロジック５４ｅに出力すると共に、この読み出しライン制御信号をリセットライン選択信号として駆動パルス発生器５２に出力する。
特定（動作）領域走査カウンタ５４ｃは、通信器１２ａからの開始ライン番号と走査領域幅を示す情報に基づき、全露光領域走査カウンタ５４ａとは非同期にカウントアップ動作を繰り返す。ここで、カウンタの値は、特定（動作）領域の画素のライン番号に対応しており、このライン番号は、特定（動作）領域走査アドレスデコーダ５４ｄに出力される。また、特定（動作）領域走査カウンタ５４ｃは、特定領域における垂直同期信号である特定領域＿垂直同期信号を生成し、当該生成した特定領域＿垂直同期信号を映像処理系１２のタイミング制御器１２ｂに出力する。
特定（動作）領域走査アドレスデコーダ５４ｄは、特定（動作）領域走査カウンタ５４ａからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、有効としたライン位置（アドレス）を示す読み出しライン制御信号をＯＲロジック５４ｅに出力する。
ＯＲロジック５４ｅは、全露光領域走査アドレスデコーダ５４ｂからの読み出しライン制御信号と、特定（動作）領域走査アドレスデコーダ５４ｄからの読み出しライン制御信号とに基づき、各ライン毎にＯＲ演算を行い、全露光領域に対する最終的な読み出しライン選択信号を生成すると共に、特定（動作）領域に対する最終的な読み出しライン選択信号を生成する。これら生成した読み出しライン選択信号は駆動パルス発生器５２に出力される。
更に、図６に基づき、撮像素子１００の露光時間の制御方法、及びセンサセルアレイ５６からの画素信号の読み出し方法について説明する。ここで、図６は、撮像素子１００のセンサセルアレイ５６における各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。
ここで、本発明の露光時間の制御は、センサセルアレイ５６の全露光領域（全走査領域）に対して、全露光領域における各画素のラインの蓄積電荷のクリア（リセット）及び通常露光時間の画素信号の読み出しを行う通常走査ライン（読み出しライン）Ｌ２を設定すると共に、センサセルアレイ５６の特定（動作）領域（特定走査領域）に対して、複数種類の露光時間の画素信号の非破壊読み出しを行う高速走査ライン（読み出しライン）Ｌ１を設定する。そして、１回の露光期間（通常露光時間）において、通常露光時間時の画素信号の読み出し及びリセット並びに複数種類の露光時間時の画素信号の非破壊読み出しがそれぞれ独立に実行されるように行われる。つまり、通常走査ラインＬ２及び高速走査ラインＬ１は、図６に示すように、全露光領域における画素のライン（例えば、第１〜第１８ライン）に順次通常露光時間分の電荷が蓄積されると、通常走査ラインＬ２が各画素のラインの画素信号を順次読み出すと共に、その蓄積電荷を順次クリアするように設定される。一方、特定領域の画素のライン（例えば、第９〜第１２ライン）においては、通常露光時間分の電荷が蓄積される期間中、複数種類の露光時間の各露光時間において各画素のラインの画素信号を非破壊で順次読み出すように高速走査ラインＬ１がそれぞれ設定される。
なお、本実施の形態においては、図６に示すように、全露光領域に対する通常露光時間時の画素信号（アナログデータ）は、ＣＨ２の第２ラインメモリＳに読み出され、一方、リセット直後の画素信号は、ＣＨ２の第２ラインメモリＮに読み出される。そして、これら読み出された画素信号は、図６に示すように、第２水平転送部６０の出力側に設けられた差動増幅回路６２に出力され、当該差動増幅回路６２において、リセット前及びリセット後のそれぞれ対応する画素信号同士の減算処理を行って信号レベルの検出及びノイズ除去を行う。そして減算処理後の画素信号は、第２のＡＦＥ１０４に出力されそこでデジタルデータ（画素データ）に変換される。一方、特定（動作）領域に対する複数種類の露光時間時の画素信号は、ＣＨ１の第１ラインメモリに読み出されて第１のＡＦＥ１０２に出力されそこでデジタルデータ（画素データ）に変換される。
また、上記通常走査ラインＬ２及び高速走査ラインＬ１の画素信号の読み出しタイミングの制御は、図６に示すように、全露光領域に対しては、各画素のライン毎に、通常走査ラインＬ２を順次走査し（図６では上方向）、当該通常走査ラインＬ２においては、蓄積電荷のクリア（リセット）を行うとともに、蓄積電荷のクリア（リセット）前後に通常露光時間の露光が行われた画素の画素信号の読み出しを行う。そして、第１ラインにおいて画素信号の読み出し及びリセットを行い、画素信号がラインメモリから全て外部に読み出された後に、通常走査ラインＬ２の走査が順次行われ、通常走査ラインＬ２が再び第１ラインに到達したときに、丁度通常露光時間が経過するタイミングで通常走査ラインＬ２の走査が行われる。このような手順で、センサセルアレイの全領域の画素のラインに対して、各画素のライン毎に、通常露光時の画素信号の読み出し及び蓄積電荷のクリア（リセット）を順次行う。一方、特定（動作）領域においては、通常走査ラインＬ２によって蓄積電荷がクリア（リセット）されると、当該クリア（リセット）後の画素のラインに対して、高速走査ラインＬ１において複数種類の各露光時間の露光が行われた画素の画素信号の非破壊読み出しを露光時間の短い順に順次行う。このような手順で、センサセルアレイの特定領域の画素のラインに対して、ライン毎に、複数種類の露光時間による露光時の画素信号の非破壊読み出しを順次行う。
なお、本実施の形態において、通常走査ラインＬ２の画素信号の読み出しと、高速走査ラインＬ１の画素信号の読み出しとがバッティングしたとき（例えば、双方が通常露光時間での読み出しを行うとき）には、例えば、水平同期信号によって設定される読み出し期間を２つの期間に分けて、一方の期間で通常走査ラインＬ２によりＣＨ２の第２ラインメモリに画素信号を読み出し、他方の期間で高速走査ラインＬ１によりＣＨ１の第１ラインメモリに画素信号を読み出すことで回避するようになっている。
更に、図７〜図９に基づき、映像処理系１２の内部構成を説明する。ここで、図７は、映像処理系１２の内部構成を示すブロック図である。また、図８（ａ）は、高速走査画像生成器１２ｃの内部構成を示す図であり、（ｂ）は、動き領域画素判定・更新器１２ｄの内部構成を示す図であり、（ｃ）は、背景画素判定・更新器１２ｅの内部構成を示す図である。また、図９（ａ）は、破壊読み出し方式における高輝度画素の蓄積電荷量の推移を示す図であり、（ｂ）は、破壊読み出し方式における低輝度画素の蓄積電荷量の推移を示す図である。
映像処理系１２は、図７に示すように、通信器１２ａと、タイミング制御器１２ｂと、高速走査画像生成器１２ｃと、動き領域画素判定・更新器１２ｄと、背景画素判定・更新器１２ｅと、メモリアクセス調停器１２ｆと、出力読出器１２ｇとを含んで構成される。
通信器１２ａは、外部システムコントローラ（不図示）から、センサセルアレイ５６の特定（動作）領域に対する開始ライン番号と走査領域幅とに関する情報を取得し、当該取得した開始ライン番号と走査領域幅とを示す駆動制御信号を、撮像処理系１０の走査ラインスキャナ５４に出力する。
タイミング制御器１２ｂは、撮像素子１００の駆動信号（ピクセルクロック、水平同期信号、垂直同期信号）を生成し、それを撮像素子１００の基準タイミング発生器５０に出力する。また、タイミング制御器１２ｂは、水平同期信号、垂直同期信号から、撮像処理系１０のＣＨ２から出力される画素信号の、撮像素子１００のセンサセルアレイ５６における画素位置（画素列（ライン）番号、画素番号）が分かるので、その画素列(ライン)番号（以下、「アドレス情報」とも呼ぶ。）を生成し、そのアドレス情報を背景画素判定・更新器１２ｅに出力する。また、タイミング制御器１２ｂは、撮像処理系１０からの特定領域＿垂直信号から、撮像処理系１０のＣＨ１から出力される画素信号の、撮像素子１００のセンサセルアレイ５６における画素位置が分かるので、そのアドレス情報を生成し、当該アドレス情報を動き領域画素判定・更新器１２ｄに出力する。
高速走査画像生成器１２ｃは、図８（ａ）に示すように、飽和画像判定部７０と、差分画像生成部７２と、レベル補正部７４とを含んで構成される。
飽和画像判定部７０は、１つ前の露光時間で取得したレベル補正前の生のデータである動き領域の画素データ（以下、基準画素データと称す）の輝度値が、特定の閾値以上の場合は、動き領域の画像生成は無効であると判定して動き領域の画像生成処理を行わず、一方、特定の閾値より小さい場合は、動き領域の画像生成は有効であると判定して動き領域の画像生成処理に移行する。ここで、特定の閾値とは飽和レベルを指し、飽和レベルを超えた画素は無効とする（詳細は後述）。また、飽和画像判定部７０は、基準画素データから構成される動き領域の基準画像データ（生データ）をフレームメモリ１４に記憶保持するようになっている。
差分画像生成部７２は、撮像処理系１０において高速走査ラインＬ１によって走査され且つ読み出された複数種類の露光時間にそれぞれ対応する画素信号の画素データをＣＨ１を介して取得すると共に、当該取得した画素データの位置情報（アドレス）に対応するフレームメモリ１４に記憶された基準画素データを、メモリアクセス調停器１２ｆを介して取得する。そして、前記取得した画素データと、基準画素データとの差分値から動き領域の画素データ（以下、高速走査画素データと称す）を生成する。このように、差分値から高速走査画素データを生成することによって、画素の特性のばらつきなどが原因で発生する固定パターンノイズを除去することができる。
以下、差分画像生成部７２の動作説明の為、図９に基づき、センサセルアレイ５６の各画素における蓄積電荷量の推移について説明する。
図９（ａ）及び（ｂ）に示すように、１フレーム（通常露光時間）の露光において、センサセルアレイ５６の各画素に蓄積される電荷量は時間の経過と共に増加する。動き領域においては、非破壊読み出し方式で各画素から電荷を読み出すので、露光中に電荷の読み出しを何度行っても各画素の蓄積電荷量が維持される。そして、図９（ａ）は動きのある高輝度の画素値の増加を示し、一方、図９（ｂ）は低輝度の背景領域の増加を示す。すなわち、図９（ａ）の例では、撮像対象の光量が図９（ｂ）の例の撮像対象よりも大きく、図９（ｂ）の例よりも蓄積電荷量の増加率が高くなる。この増加率の違いから動きのある画素か背景領域かを判定する。なお、図９中のリセットタイミングは、センサセルアレイ５６に蓄積された電荷を空にするタイミングであり、このタイミングが通常露光時間を決定する。
また、動き領域に対して、例えば、図９（ａ）に示す（１）〜（５）のタイミングで電荷を読み出し、そして前述の如く、差分から画像を生成する。すなわち、（２）以降の各タイミングでそれぞれ読み出した電荷量と、これら各タイミングの１つ前のタイミングで読み出した電荷量とのそれぞれの差分から画像を生成する。そのために、動き（高速走査）領域の画像データの画素値をフレームメモリに格納する（これを基準画素データとする）。この差分による画像生成は、通常のフレームレートの５倍のレートの画像生成を意味し、それは露光時間が１／５の画像を生成していることを意味する。
レベル補正部７４は、全露光領域（背景画像）の画素データと、動き領域の高速走査画素データとの露光時間の違いによる輝度レベル差を補正する。すなわち、高速走査画素データは、前述したように、連続する各２つのサンプリング（露光）時間の画素データの差分値から構成される、露光時間が１／５の画像と等価なので各差分値の輝度レベルは、通常露光時の輝度レベルに比べて１／５の輝度レベルとなる。従って、高速走査画素データの輝度レベルを５倍にするレベル補正が行われることになる。
動き領域画素判定・更新器１２ｄは、図８（ｂ）に示すように、画素データ判定部８０と、画素データ選択部８２と、画素データ更新部８４とを含んで構成される。
画素データ判定部８０は、高速走査画像生成器１２ｃから高速走査画素データを取得し、この高速走査画素データの示す輝度値が特定の閾値以上か否かを判定する。そして、特定の閾値以上であると判定した場合は、当該高速走査画素データを「有効」とし、特定の閾値より小さいと判定した場合は、当該高速走査画素データを「無効」とする。すなわち、閾値以下のときは背景領域、と判定する。この「有効」又は「無効」のフラグ情報は、画素データ選択部８２に入力される。
画素データ選択部８２は、画素データ判定部８０からの「有効」又は「無効」のフラグ情報と、高速走査画像生成器１２ｃからの高速走査画素データと、更に、この高速画素データのアドレスに対応する（同じ画素位置の）フレームメモリ１４に記憶された背景画像データの画素データ（以下。背景画素データと称す）とをメモリアクセス調停器１２ｆを介して取得する。そして、フラグ情報が「有効」である場合は、前記取得した背景画素データ及び高速走査画素データから高速走査画素データを選択し、当該選択した画素データから更新データを生成する。一方、フラグ情報が「無効」である場合は、前記取得した背景画素データ及び高速走査画素データから背景画素データを選択し、当該選択した画素データから更新データを生成する。この生成された更新データは、画素データ更新部８４に入力される。
画素データ更新部８４は、メモリアクセス調停器１２ｆに対して、画素データ選択部８２から取得した更新データを書き込むように書き込み命令を与え、フレームメモリ１４に記憶された動き領域画像データにおける、前記更新データと同じアドレス位置の画素データを更新する。
背景画素判定・更新器１２ｅは、図８（ｃ）に示すように、画素データ判定部９０と、画素データ選択部９２と、画素データ更新部９４とを含んで構成される。
画素データ判定部９０は、撮像処理系１０からの背景画素データ（通常走査ラインＬ２により読み出された画素信号の画素データ）をＣＨ２を介して取得し、この背景画素データの示す輝度値が特定の閾値以下か否かを判定する。そして、特定の閾値以下であると判定した場合は、当該背景画素データを「有効」とし、特定の閾値より大きいと判定した場合は、当該背景画素データを「無効」とする。すなわち、閾値以上のときは動き領域と判定する。この「有効」又は「無効」のフラグ情報は、画素データ選択部９２に入力される。
画素データ選択部９２は、画素データ判定部９０からの「有効」又は「無効」のフラグ情報と、撮像処理系１０からの背景画素データ（新）と、更に、この背景画素データのアドレスに対応する（同じ画素位置の）フレームメモリ１４に記憶された背景画像データの画素データ（以下、旧背景画素データと称す）をメモリアクセス調停器１２ｆを介して取得する。そして、フラグ情報が「有効」である場合は、前記取得した背景画素データから、撮像処理系１０から取得した背景画素データ（新）を選択し、当該選択した画素データから更新データを生成する。一方、フラグ情報が「無効」である場合は、前記取得した背景画素データから、前記フレームメモリ１４から取得した旧背景画素データを選択し、当該選択した画素データから更新データを生成する。これにより、背景画像のみが保持され続ける。この生成された更新データは、画素データ更新部９４に入力される。
画素データ更新部９４は、メモリアクセス調停器１２ｆに対して、画素データ選択部９２から取得した更新データを書き込むように書き込み命令を与え、フレームメモリ１４に記憶された背景画像データにおける、前記更新データと同じアドレス位置の画素データを更新する。
図７に戻って、メモリアクセス調停器１２ｆは、背景画素判定・更新器１２ｅ、高速走査画像生成器１２ｃ、動き領域画素判定・更新器１２ｄ及び出力読出器１２ｇの４系統からのフレームメモリ１４に対する読み込み・書き込み命令に応じて、これら４系統のフレームメモリ１４の画像データへのアクセス要求を調停しアクセスを行う。
出力読出器１２ｇは、外部の出力（表示）装置からの出力タイミングに同期して、メモリアクセス調停器１２ｆを介してフレームメモリ１４内の画像データを読み出し、この読み出した画像データを出力装置に出力する。
フレームメモリ１４は、図７に示すように、動き領域基準画像データ、動き領域画像データ、動き領域背景画像データ、背景画像データ等の各種画像データを記憶するメモリであり、メモリアクセス調停器１２ｆから読み出し要求があると、その要求が示す画素データを読み出させる。また、フレームメモリ１４は、メモリアクセス調停器１２ｆから書き込み要求があると、その書き込み要求が示す画素データを書き込ませる。
次に、図１０〜図１５に基づき、本実施形態の撮像装置１の実際の動作を説明する。ここで、図１０は、撮像対象画像の一例を示す図である。また、図１１は、撮像画像に対する通常走査領域（全露光領域）及び高速走査領域（動き領域）を示す図である。また、図１２は、通常露光時間による露光によって得られる通常走査領域の画像の一例を示す図である。また、図１３は、短い露光時間による露光によって得られる高速走査領域の画像の一例を示す図である。また、図１４（ａ）〜（ｅ）は、高速走査領域における複数種類の露光時間の画像の、差分処理によって得た高速走査画素データによる画像の一例を示す図である。また、図１５は、最終的に得られる背景画像の一例を示す図である。
以下、図１０に示す、魚、水草、砂利等の入った水槽を撮像対象として撮像装置１の動作を説明する。図１０の例では、魚が動きのある被写体となり、魚以外が背景となる。従って、まず、被写体である魚の存在する領域を含むその周辺領域を動き領域として設定する必要がある。例えば、図１１に示すように、センサセルアレイ５６の全露光領域に対して、魚の存在する領域とその周辺の領域からなる矩形の領域を動き領域として設定する。つまり、図１１に示すように、センサセルアレイ５６の全露光領域が通常露光時間による露光を行う通常走査領域となり、前記設定した動き領域が高速走査領域となる。また、本実施の形態においては、高速走査領域のサンプリング時間を、上記図９（ａ）に示す（１）〜（５）と同様に、通常露光時間を均等に５分割した時間とする。また、撮像対象における魚以外の背景は暗いため、通常露光時間は、魚以外の背景に対して十分な露光ができるように適切な時間を設定する。このようにして、動き領域の領域範囲、動き領域におけるサンプリング時間、通常露光時間が決まると、これらの情報を、外部ホストシステムを介して、撮像装置１に送信する。
撮像装置１は、電源が投入され、映像処理系１２において、外部ホストシステムから露光時間に関する情報と、動き領域に対する開始ライン番号及び走査領域幅に関する情報とを取得すると、通信器１２ａによって、動き領域の開始ライン番号と走査領域幅とを指定する駆動制御信号を撮像処理系１０に送信する。更に、タイミング制御器１２ｂにおいて、全露光領域に対する通常露光時間の画素信号が得られるように撮像素子を駆動する駆動信号（ピクセルクロック、垂直同期信号及び水平同期信号）を撮像処理系１０に出力する。
撮像処理系１０は、駆動制御信号を受信すると、走査ラインスキャナ５４において、垂直同期信号及び水平同期信号に同期してリセットライン選択信号と、全露光領域に対する読み出しライン制御信号を生成する。また、開始ライン番号、走査領域幅及び水平同期信号に基づき、動き領域に対する読み出しライン制御信号を生成する。更に、これら生成した読み出し制御信号をＯＲロジック５４ｅに入力し、全露光領域及び動き領域に対する読み出しライン選択信号をそれぞれ生成する。そして、これら生成したリセットライン選択信号、読み出しライン選択信号（２種類）を駆動パルス発生器５２に出力する。駆動パルス発生器５２は、基準タイミング発生器からの基準タイミング信号及び走査ラインスキャナ５４からの各種選択信号に基づき、駆動パルスを発生してセンサセルアレイ５６に供給する。
センサセルアレイ５６は、駆動パルス発生器５２からの駆動パルスに基づき、通常走査ラインＬ２及び高速走査ラインＬ１を走査して、全露光領域の各画素のラインから通常露光時間の露光により蓄積した電荷の破壊読み出しをし（蓄積電荷のクリアを行う）、この破壊読み出し動作とは独立に、動き領域の各画素のラインから複数種類の露光時間の露光により蓄積した電荷の非破壊読み出しを行う。そして、高速走査ラインＬ１の走査によって読み出した電荷から構成される画素信号を第１水平転送部５８のＣＨ１を介して第１のＡＦＥ１０２に出力し、通常走査ラインＬ２の走査によって読み出した電荷から構成される画素信号を第２水平転送部６０のＣＨ２を介して第２のＡＦＥ１０４に出力する。
第１のＡＦＥ１０２は、ＣＨ１を介して順次出力される複数種類の露光時間の露光に対する画素信号（アナログデータ）をデジタルデータに変換してなる画素データを生成し映像処理系１２に出力する。一方、第２のＡＦＥ１０４は、ＣＨ２を介して順次出力される通常露光時間の露光に対する画素信号（アナログデータ）をデジタルデータに変換してなる画素データを生成し映像処理系１２に出力する。
映像処理系１２では、第１のＡＦＥ１０２から出力された動き領域の画素データを高速走査画像生成器１２ｃに入力し、第２のＡＦＥ１０４から出力された全露光領域の画素データを背景画素判定・更新器１２ｅに入力する。
高速走査画像生成器１２ｃは、複数種類の露光時間にそれぞれ対応する高速走査画素データをＣＨ１を介して取得すると、飽和画像判定部７０において、この高速走査画素データの輝度値が、特定の閾値（飽和値）以上の場合は、動き領域の画像生成は無効であると判定して動き領域の画像生成処理を行わず、一方、特定の閾値より小さい場合は、動き領域の画像生成は有効であると判定して動き領域の画像生成処理に移行する。
一方、複数種類の露光時間のいずれかに対する基準画素データがフレームメモリ１４に記憶されており且つこの基準画素データの示す輝度値が特定の閾値より小さい場合は、差分画像生成部７２において、前記取得した画素データの位置情報（アドレス）に対応するフレームメモリ１４に記憶された基準画素データを取得し、前記取得した画素データと、当該取得した基準画素データとの差分値から高速走査画素データを生成する。
上記生成された高速走査画素データは、いずれもレベル補正部７４において、輝度レベルの補正が行われる。ここでは、通常露光時間を５分割し、且つ差分値から高速走査画素データを生成しているので、高速走査画素データの輝度値を５倍にするレベル補正を行う。
このように生成されたレベル補正後の高速走査画素データは、動き領域画素判定・更新器１２ｄに出力される。
動き領域画素判定・更新器１２ｄは、高速走査画像生成器１２ｃから高速走査画素データを取得すると、画素データ判定部８０において、この取得した高速走査画素データの示す輝度値が特定の閾値以上か否かを判定する。そして、特定の閾値以上であると判定した場合は、当該高速走査画素データを「有効」とし、特定の閾値より小さいと判定した場合は、当該高速走査画素データを「無効」とする。一方、画素データ選択部８２において、高速走査画像生成器１２ｃから取得した高速走査画素データのアドレスに対応する（同じ画素位置の）フレームメモリ１４に記憶された通常露光時間の露光時の背景画素データをメモリアクセス調停器１２ｆを介して取得する。そして、前記取得した高速走査画素データが「有効」と判定された場合は、前記取得した背景画素データ及び高速走査画素データから高速走査画素データを選択し、当該選択した画素データから更新データを生成する。図１３に示すように、動き領域においては、輝度の高い被写体は短露光時間でも比較的良好な露出となるが、輝度の低い背景部分は短露光時間では輝度レベルが不十分となり黒つぶれしてしまう。従って、高速走査画素データが特定の閾値以上であるということは、その画素データは被写体の画素データである可能性が高いので、このようなときは、「有効」と判定して高速走査画素データを用いて更新データを生成し、画素データ更新部８４において、この更新データを用いてフレームメモリ１４に記憶された動き領域画像データの対応する画素位置の画素データを更新する。
なお、動き領域においては、ＣＨ１を介して順次取得される５種類の露光時間の画素データから、差分処理により高速走査画素データを順次生成するようになっている。被写体に動きがある場合は、各露光時間毎の差分画像は、図１４に示すように、それぞれ被写体の位置が異なるものとなる。つまり、本発明では、通常露光時間以下の露光時間で露光を行うことで、通常のフレームレートよりも高速なレートの画素データを取得することができる。すなわち、高速な被写体の動きに追随した映像を取得することができる。
一方、前記取得した高速走査画素データが「無効」と判定された場合は、前記取得した背景画素データ及び高速走査画素データから背景画素データを選択し、当該選択した画素データから更新データを生成する。図１３に示すように、動き領域において被写体以外の背景部分は低輝度で黒つぶれするので、このような背景部分では、高速走査画素データの輝度値は特定の輝度値よりも低くなる可能性が高くなる。従って、このようなときは、「無効」と判定して通常露光時間での露光時の背景画素データを用いて更新データを生成し、画素データ更新部８４において、この更新データを用いてフレームメモリ１４に記憶された動き領域画像データの対応する画素位置の画素データを更新する。
このように、高速走査画素データが高輝度の場合は、この高速走査画素データを用いて更新データを生成し、高速走査画素データが低輝度の場合は、この高速走査画素データと同じ画素位置の背景画素データを用いて更新データを生成し、これら生成した更新データを用いて動き領域画像データの各画素データを更新する。これにより、被写体の画像は、動き領域から高速走査で読み出した画素データで構成し、被写体以外の背景部分の画像は、全露光領域から通常走査で読み出した画素データで構成される動き領域画像データを生成することができる。
一方、背景画素判定・更新器１２ｅは、背景画素データをＣＨ２を介して取得すると、画素データ判定部９０において、この取得した背景画素データの示す輝度値が特定の閾値以下か否かを判定する。そして、特定の閾値以下であると判定した場合は、当該背景画素データを「有効」とし、特定の閾値より大きいと判定した場合は、当該背景画素データを「無効」とする。一方、画素データ選択部９２においては、撮像処理系１０からの背景画素データと、この背景画素データのアドレスに対応する（同じ画素位置の）フレームメモリ１４に記憶された旧背景画素データとを、メモリアクセス調停器１２ｆを介して取得する。そして、画素データ判定部９０からのフラグ情報が「有効」である場合は、撮像処理系１０から取得した背景画素データを選択し、当該選択した画素データから更新データを生成する。図１２に示すように、全露光領域においては、露光時間が長いために明るい被写体（目標物）は高輝度となり、一方、背景部分は被写体に比べ低輝度になる。つまり、背景画素データの輝度値が特定の輝度値よりも低い場合は、その画素データは背景部分の画素データである可能性が高い。従って、このようなときは、「有効」と判定して撮像処理系１０から取得した背景画素データを用いて更新データを生成し、画素データ更新部９４において、この更新データを用いてフレームメモリ１４に記憶された背景画像データの対応する画素位置の画素データを更新する。
一方、フラグ情報が「無効」である場合は、撮像処理系１０から取得した背景画素データではなく、前記フレームメモリ１４から取得した旧背景画素データを選択し、当該選択した画素データから更新データを生成する。つまり、図１２に示すように、背景画素データの輝度値が特定の輝度値よりも大きい場合は、その画素データは被写体（目標物）の画素データである可能性が高い。従って、このようなときは、「無効」と判定して撮像処理系１０から取得した背景画素データを用いて更新データを生成し、画素データ更新部９４において、この更新データを用いてフレームメモリ１４に記憶された背景画像データの対応する画素位置の画素データを更新する。
このように、背景画素データが低輝度の場合は、この背景画素データを用いて更新データを生成し、背景画素データが高輝度の場合は、この背景画素データと同じ画素位置のフレームメモリ１４に記憶された背景画像データの旧背景画素データを用いて更新データを生成し、これら生成した更新データを用いて背景画像データの各画素データを更新することで、最終的に、図１５に示すように、被写体の存在しない、通常露光時間の露光で撮像された背景画像を得ることが可能である。
上記高速走査画素データの生成処理、上記動き領域画像データの更新処理、上記背景画像データの更新処理を繰り返し行うことによって、フレームメモリ１４において、各フレームの動き領域の画像データ及び背景画像データが構成される。
出力読出器１２ｇは、このようにして、フレームメモリ１４内に構成された動き領域画像データ及び背景画像データを、外部の出力（表示）装置からの出力タイミングに同期して、メモリアクセス調停器１２ｆを介して読み出し、この読み出した画像データを出力装置に出力する。具体的には、出力装置からのピクセルクロック、水平同期信号及び素直同期信号に基づき、読み出す画素データのアドレス番号を計数し、アドレス番号が背景画像データの番号であれば、フレームメモリ１４内の背景画像データを、画素のライン毎に順次読み出して出力装置に出力し、アドレス番号が動き領域画像データの番号であれば、フレームメモリ１４内の動き領域画像データを画素のライン毎に順次読み出して出力装置に出力する。これにより、通常走査（通常露光時間の露光）で得られた画素データから構成される背景画像データと、高速走査（複数種類の露光時間の露光）で得られた画素データから構成される動き領域画像データとが合成された画像を出力することが可能である。
このように、本実施の形態の撮像装置１では、１つの撮像素子において、撮像対象の背景画像を通常露光時間の露光で破壊読み出しにより撮像し、この通常露光時間の露光期間において、撮像対象の動きのある被写体の存在する領域とその周辺の領域を動き領域として、当該動き領域の画像を複数種類の露光時間の露光で非破壊読み出しによりそれぞれ撮像し、これら撮像された背景画像及び動き領域の画像を合成して撮像対象の撮像画像を生成することができる。つまり、高速走査で被写体の動きに追随した画素データを取得し、通常走査で暗い背景に対して十分な露出量が確保された画素データを取得し、これら取得した画素データを合成して撮像画像を生成することができるので、暗い背景で動きのある被写体に対して、当該被写体の内容及び当該背景の内容が同時に認識でき、且つコントラストの高い明瞭な撮像画像を得ることが可能である。
上記実施の形態において、撮像処理系１０の領域別走査対応型撮像素子１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２、第１水平転送部５８によるセンサセルアレイ５６の全露光領域からの電荷の読み出し処理は、形態１、２、９、１０、１１、１２、１６及び１７のいずれか１の第１読出手段、又は形態１４若しくは１５の第１読出ステップに対応し、撮像処理系１０の領域別走査対応型撮像素子１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２、第２水平転送部６０によるセンサセルアレイ５６の全露光領域からの電荷の読み出し処理は、形態１、２、４、６、７、８、９及び１６のいずれか１の第２読出手段、又は形態１４若しくは１５の第２読出ステップに対応し、走査ラインスキャナ５４における特定領域＿垂直同期信号の生成処理は、形態３の特定領域基準信号生成手段に対応する。
また、上記実施の形態において、センサセルアレイ５６は、形態１、２、１４、１５、１６及び１７のいずれか１の光電変換部に対応し、動き領域画像データは、形態２、５、６、７、１３、１５、１６及び１７のいずれか１の第２の画像データに対応し、背景画像データは、形態２、１０、１２、１３、１５、１６及び１７のいずれか１の第１の画像データに対応し、映像処理系１２における、タイミング制御器１２ｂ、背景画素判定・更新器１２ｅ、メモリアクセス調停器１２ｆ及びフレームメモリ１４による背景画像データの生成処理（更新処理）は、形態２、１０、１１、１２、１６及び１７のいずれか１の第１画像データ生成手段、又は形態１５の第１画像データ生成ステップに対応し、映像処理系１２における、タイミング制御器１２ｂ、高速走査画像生成器１２ｃ、動き領域画素判定・更新器１２ｄ、メモリアクセス調停器１２ｆ及びフレームメモリ１４による動き領域画像データの生成処理（更新処理）は、形態２、６、７、８、９、１６及び１７のいずれか１の第２画像データ生成手段、又は形態１５の第２画像データ生成ステップに対応し、フレームメモリ１４は、形態２、７、１２、１３、１６及び１７のいずれか１の第１画像データ記憶手段、形態１５の第１画像データ記憶ステップ、形態２、６、７、１３、１６及び１７のいずれか１の第２画像データ記憶手段、並びに形態１５の第２画像データ生成ステップに対応し、出力読出器１２ｇは、形態２、１３、１６及び１７のいずれか１の撮像画像データ生成手段、又は形態１５の撮像画像データ生成ステップに対応する。
なお、上記実施の形態においては、撮像処理系１０、映像処理系１２及びフレームメモリ１４を１つの装置内に収めた構成としたが、これに限らず、例えば、撮像処理系１０と、映像処理系１２及びフレームメモリ１４とをそれぞれ別々の装置で構成し、通信ネットワーク等を介して両者をデータ通信可能に接続した構成（形態１６の撮像システムに対応）としても良い。これにより、撮像処理系と、映像処理系（フレームメモリを含む）とを離れた位置に設置する構成が可能となる。例えば、複数の撮像処理系の装置と、１つの映像処理系の装置とをインターネットを介してデータ通信可能に接続し、複数の撮像処理系からの撮像データを、これら撮像処理系の装置から遠く離れた位置に設置された１つの映像処理系の装置で処理する構成とすることで、撮像データの一括管理などが可能となる。また、この構成において、映像処理系１２及びフレームメモリ１４を含む装置が形態１７の画像処理装置に対応する。
また、上記実施の形態においては、全走査領域（全露光領域）に対して、１つの特定走査領域（特定領域）を設定する構成を例に挙げて説明したが、これに限らず、正常な電荷の非破壊読み出しが可能な範囲内で、２以上の特定走査領域を設定する構成としても良い。
また、上記実施の形態においては、動き領域画像データを生成（更新）するときに、輝度値と特定の閾値とに基づき、高速走査画素データ及び背景画素データのいずれか一方を選択して更新データを生成し、当該生成した更新データを用いて行うようにしたがこれに限らず、判定処理を行わずに高速走査画素データのみを用いて更新データを生成し、動き領域画像データの生成（更新）を行うようにしても良い。
また、上記実施の形態においては、画像データの読み出しタイミングから、読み出す画素データのアドレス番号を計数し、背景画素データのアドレス番号であればフレームメモリ１４に記憶された背景画像データから該当画素データを読み出してこれを出力装置に出力し、一方、動き領域画像データのアドレス番号であればフレームメモリ１４に記憶された動き領域画像データから該当画素データを読み出してこれを出力装置に出力することで、背景画像データと動き領域画像データとをそれぞれ別々に読み出して合成するようにしたが、これに限らず、予め映像処理系１２において、背景画像データと動き領域画像データとを合成してから出力装置に出力するようにしても良い。
本発明に係る撮像装置１の概略構成を示すブロック図である。 撮像処理系１０の内部構成を示すブロック図である。 第１のＡＦＥ(Analog Front End)１０２の内部構成を示す図である。 領域別走査対応型撮像素子１００の内部構成を示すブロック図である。 走査ラインスキャナ５４の内部構成を示す図である。 撮像素子１００のセンサセルアレイ５６における各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。 映像処理系１２の内部構成を示すブロック図である。 （ａ）は、高速走査画像生成器１２ｃの内部構成を示す図であり、（ｂ）は、動き領域画素判定・更新器１２ｄの内部構成を示す図であり、（ｃ）は、背景画素判定・更新器１２ｅの内部構成を示す図である。 （ａ）は、破壊読み出し方式における高輝度画素の蓄積電荷量の推移を示す図であり、（ｂ）は、破壊読み出し方式における低輝度画素の蓄積電荷量の推移を示す図である。 撮像対象画像の一例を示す図である。 撮像画像に対する通常走査領域（全露光領域）及び高速走査領域（動き領域）を示す図である。 通常露光時間による露光によって得られる通常走査領域の画像の一例を示す図である。 短い露光時間による露光によって得られる高速走査領域の画像の一例を示す図である。 （ａ）〜（ｅ）は、高速走査領域における複数種類の露光時間の画像の、差分処理によって得た高速走査画素データによる画像の一例を示す図である。 最終的に得られる背景画像の一例を示す図である。
符号の説明
１は撮像装置、１０は撮像処理系、１２は映像処理系（ＤＳＰ）、１４はフレームメモリ、１００は領域別走査対応型撮像素子、１０２は第１のＡＦＥ、１０４は第２のＡＦＥ、５０は基準タイミング発生器、５２は駆動パルス発生器、５４は走査ラインスキャナ、５６はセンサセルアレイ、５８は第１水平転送部、６０は第２水平転送部、５４ａは全露光領域走査カウンタ、５４ｂは全露光領域走査アドレスデコーダ、５４ｃは特定（動作）領域走査カウンタ、５４ｄは特定（動作）領域走査アドレスデコーダ、５４ｅはＯＲロジック、１２ａは通信器、１２ｂはタイミング制御器、１２ｃは高速走査画像生成器、１２ｄは動き領域画素判定・更新器、１２ｅは背景画素判定・更新器、１２ｆはメモリアクセス調停器、１２ｇは出力読出器

Claims (10)

  1. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置であって、
    連続して入力される同期信号に基づき、前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で繰り返し読み出す第１読出手段と、
    前記第１読出手段が電荷の読み出しを行っている各フレーム期間において、前記光電変換部の前記全露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、複数回電荷を非破壊読み出し方式で読み出す第２読出手段と、
    前記第１読出手段で読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、第１の画像データを生成する第１画像データ生成手段と、
    前記第１画像データ生成手段で生成された第１の画像データを記憶する第１画像データ記憶手段と、
    前記第２読出手段で読み出された前記特定領域に対するそれぞれ露光時間の異なる電荷から構成される複数種類の第２画素データに基づき、第２の画像データを生成する第２画像データ生成手段と、
    前記第２画像データ生成手段で生成された第２の画像データを記憶する第２画像データ記憶手段と、
    前記記憶された第２の画像データと、前記記憶された第１の画像データとを合成して撮像画像データを生成する撮像画像データ生成手段と、を備え、
    前記第１画像データ生成手段は、前記第１読出手段で読み出された前記全露光領域における前記各第１画素データの画素値の示す輝度と所定閾値とを比較し、前記第１画素データの画素値の示す輝度が所定閾値以下であると判定したときに、当該第１画素データを有効と判定し、前記第１画素データの画素値の示す輝度が前記所定閾値より高いと判定したときに、当該第１画素データを無効と判定し、有効であると判定した場合は、当該有効であると判定した第１画素データに基づき前記第１画像データ記憶手段に記憶された第１の画像データを更新し、無効であると判定した場合は、当該無効であると判定した第１の画素データによる第１の画像データの更新処理を行わないようになっており、
    前記第２画像データ生成手段は、前記第２読出手段で読み出された前記特定領域に対する前記各第２画素データの画素値の示す輝度と所定閾値との比較結果に基づき各第２画素データが有効であるか否かを判定すると共に、有効であると判定された第２画素データに基づき前記第２画像データ記憶手段に記憶された第２の画像データを更新するようになっていることを特徴とする撮像装置。
  2. 前記第２画素データは、前記第２読出手段において前記複数回の読み出しで得られる複数種類の露光時間における各露光時間で読み出された電荷から構成される画素データの画素値と、前記第２読出手段において前記各露光時間よりも短い露光時間で読み出された電荷から構成される画素データの画素値とのそれぞれの差分値に基づき構成され、
    前記各露光時間よりも短い露光時間で読み出された電荷は、前記各露光時間の電荷よりも１つ前の露光時間で読み出された電荷であり、
    前記第２画像データ生成手段は、前記第２読出手段で前記１つ前の露光時間で読み出された前記特定領域に対する前記各第２画素データである各基準画素データの画素値の示す輝度と前記所定閾値とを比較し、前記基準画素データの画素値の示す輝度が前記所定閾値より小さいと判定したときに、当該基準画素データを用いた画像生成が有効であると判定し、前記基準画素データの画素値の示す輝度が前記所定閾値以上であると判定したときに、当該基準画素データを用いた画像生成が無効であると判定し、前記画像生成が有効であると判定した場合に、当該有効であると判定された基準画素データに対応する差分値を用いた前記第２画素データの更新処理を行うようになっていることを特徴とする請求項１に記載の撮像装置。
  3. 前記第２画像データ生成手段は、前記基準画素データを用いた前記差分値を前記特定領域の各画素からの電荷の読み出し回数倍することでレベル補正した第２画素データを生成し、前記画像生成が有効であると判定した場合に、前記レベル補正後の第２画素データの画素値の示す輝度と前記所定閾値とを比較し、前記レベル補正後の第２画素データの画素値の示す輝度が前記所定閾値以上であると判定したときに、当該第２画素データを有効と判定し、前記レベル補正後の第２画素データの画素値の示す輝度が前記所定閾値よりも小さいと判定したときに、当該第２画素データを無効と判定し、有効であると判定された場合は、当該有効であると判定された第２画素データに基づき前記第２画像データ記憶手段に記憶された第２の画像データを更新し、無効であると判定された場合は、当該無効であると判定された第２画素データと同じ画素位置に対応する前記第１画像データ記憶手段に記憶された第１画素データに基づき、前記第２画像データ記憶手段に記憶された第２の画像データを更新することを特徴とする請求項２に記載の撮像装置。
  4. 前記撮像画像データ生成手段は、前記第２画像データ記憶手段から第２の画像データを読み出し、前記第１画像データ記憶手段から前記特定領域以外の領域に対応する第１の画像データ部分を読み出し、これら読み出した第２の画像データ及び第１の画像データ部分を合成して前記撮像画像データを生成することを特徴とする請求項３に記載の撮像装置。
  5. 前記所定閾値は、飽和レベルであることを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
  6. 前記特定領域は、撮像領域における動きのある被写体の存在する領域とその周辺の領域とに基づき設定されることを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像装置。
  7. 前記全露光領域における前記特定領域の範囲を指定する基準信号を生成する特定領域基準信号生成手段を備えることを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
  8. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置に用いられる撮像方法であって、
    連続して入力される同期信号に基づき、前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で繰り返し読み出す第１読出ステップと、
    前記第１読出ステップで電荷の読み出しを行っている各フレーム期間において、前記光電変換部の前記全露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、複数回電荷を非破壊読み出し方式で読み出す第２読出ステップと、
    前記第１読出ステップで読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、第１の画像データを生成する第１画像データ生成ステップと、
    前記第１画像データ生成ステップで生成された第１の画像データを記憶する第１画像データ記憶ステップと、
    前記第２読出ステップで読み出された前記特定領域に対するそれぞれ露光時間の異なる電荷から構成される複数種類の第２画素データに基づき、第２の画像データを生成する第２画像データ生成ステップと、
    前記第２画像データ生成ステップで生成された第２の画像データを記憶する第２画像データ記憶ステップと、
    前記記憶された第２の画像データと、前記記憶された第１の画像データとを合成して撮像画像データを生成する撮像画像データ生成ステップと、を含み、
    前記第１画像データ生成ステップにおいては、前記第１読出ステップで読み出された前記全露光領域における前記各第１画素データの画素値の示す輝度と所定閾値とを比較し、前記第１画素データの画素値の示す輝度が所定閾値以下であると判定したときに、当該第１画素データを有効と判定し、前記第１画素データの画素値の示す輝度が前記所定閾値より高いと判定したときに、当該第１画素データを無効と判定し、有効であると判定した場合は、当該有効であると判定した第１画素データに基づき前記第１画像データ記憶ステップにおいて記憶された第１の画像データを更新し、無効であると判定した場合は、当該無効であると判定した第１の画素データによる第１の画像データの更新処理を行わないようになっており、
    前記第２画像データ生成ステップにおいては、前記第２読出ステップで読み出された前記特定領域に対する前記各第２画素データの画素値の示す輝度と所定閾値との比較結果に基づき各第２画素データが有効であるか否かを判定すると共に、有効であると判定された第２画素データに基づき前記第２画像データ記憶ステップにおいて記憶された第２の画像データを更新するようになっていることを特徴とする撮像方法。
  9. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像システムであって、
    連続して入力される同期信号に基づき、前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で繰り返し読み出す第１読出手段と、
    前記第１読出手段が電荷の読み出しを行っている各フレーム期間において、前記光電変換部の前記全露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、複数回電荷を非破壊読み出し方式で読み出す第２読出手段と、
    前記第１読出手段で読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、第１の画像データを生成する第１画像データ生成手段と、
    前記第１画像データ生成手段で生成された第１の画像データを記憶する第１画像データ記憶手段と、
    前記第２読出手段で読み出された前記特定領域に対するそれぞれ露光時間の異なる電荷から構成される複数種類の第２画素データに基づき、第２の画像データを生成する第２画像データ生成手段と、
    前記第２画像データ生成手段で生成された第２の画像データを記憶する第２画像データ記憶手段と、
    前記記憶された第２の画像データと、前記記憶された第１の画像データとを合成して撮像画像データを生成する撮像画像データ生成手段と、を備え、
    前記第１画像データ生成手段は、前記第１読出手段で読み出された前記全露光領域における前記各第１画素データの画素値の示す輝度と所定閾値とを比較し、前記第１画素データの画素値の示す輝度が所定閾値以下であると判定したときに、当該第１画素データを有効と判定し、前記第１画素データの画素値の示す輝度が前記所定閾値より高いと判定したときに、当該第１画素データを無効と判定し、有効であると判定した場合は、当該有効であると判定した第１画素データに基づき前記第１画像データ記憶手段に記憶された第１の画像データを更新し、無効であると判定した場合は、当該無効であると判定した第１の画素データによる第１の画像データの更新処理を行わないようになっており、
    前記第２画像データ生成手段は、前記第２読出手段で読み出された前記特定領域に対する前記各第２画素データの画素値の示す輝度と所定閾値との比較結果に基づき各第２画素データが有効であるか否かを判定すると共に、有効であると判定された第２画素データに基づき前記第２画像データ記憶手段に記憶された第２の画像データを更新するようになっていることを特徴とする撮像システム。
  10. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部の全露光領域における前記光電変換素子の構成する各画素から、連続して入力される同期信号に基づき、破壊読み出し方式で繰り返し読み出された所定露光時間で露光された電荷から構成される第１画素データに基づき、第１の画像データを生成する第１画像データ生成手段と、
    前記第１画像データ生成手段で生成された第１の画像データを記憶する第１画像データ記憶手段と、
    前記第１読出手段が電荷の読み出しを行っている各フレーム期間において、前記光電変換部の前記全露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、非破壊読み出し方式で複数回読み出された電荷から構成される複数種類の第２画素データに基づき、第２の画像データを生成する第２画像データ生成手段と、
    前記第２画像データ生成手段で生成された第２の画像データを記憶する第２画像データ記憶手段と、
    前記記憶された第２の画像データと、前記記憶された第１の画像データとを合成して撮像画像データを生成する撮像画像データ生成手段と、を備え、
    前記第１画像データ生成手段は、前記第１読出手段で読み出された前記全露光領域における前記各第１画素データの画素値の示す輝度と所定閾値とを比較し、前記第１画素データの画素値の示す輝度が所定閾値以下であると判定したときに、当該第１画素データを有効と判定し、前記第１画素データの画素値の示す輝度が前記所定閾値より高いと判定したときに、当該第１画素データを無効と判定し、有効であると判定した場合は、当該有効であると判定した第１画素データに基づき前記第１画像データ記憶手段に記憶された第１の画像データを更新し、無効であると判定した場合は、当該無効であると判定した第１の画素データによる第１の画像データの更新処理を行わないようになっており、
    前記第２画像データ生成手段は、前記第２読出手段で読み出された前記特定領域に対する前記各第２画素データの画素値の示す輝度と所定閾値との比較結果に基づき各第２画素データが有効であるか否かを判定すると共に、有効であると判定された第２画素データに基づき前記第２画像データ記憶手段に記憶された第２の画像データを更新するようになっていることを特徴とする画像処理装置。
JP2006316726A 2006-01-23 2006-11-24 撮像装置、撮像方法、撮像システム及び画像処理装置 Expired - Fee Related JP4888081B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006316726A JP4888081B2 (ja) 2006-01-23 2006-11-24 撮像装置、撮像方法、撮像システム及び画像処理装置
US11/625,528 US7884868B2 (en) 2006-01-23 2007-01-22 Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006013598 2006-01-23
JP2006013598 2006-01-23
JP2006316726A JP4888081B2 (ja) 2006-01-23 2006-11-24 撮像装置、撮像方法、撮像システム及び画像処理装置

Publications (2)

Publication Number Publication Date
JP2007221757A JP2007221757A (ja) 2007-08-30
JP4888081B2 true JP4888081B2 (ja) 2012-02-29

Family

ID=38285116

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006316726A Expired - Fee Related JP4888081B2 (ja) 2006-01-23 2006-11-24 撮像装置、撮像方法、撮像システム及び画像処理装置

Country Status (2)

Country Link
US (1) US7884868B2 (ja)
JP (1) JP4888081B2 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5078458B2 (ja) * 2007-06-22 2012-11-21 キヤノン株式会社 撮像装置及びその制御方法並びに撮像システム
JP5063234B2 (ja) * 2007-07-20 2012-10-31 キヤノン株式会社 撮像装置、撮像システム、及び、撮像装置の動作方法
US8026955B2 (en) * 2007-08-30 2011-09-27 Honda Motor Co., Ltd. Camera exposure controller including imaging devices for capturing an image using stereo-imaging
US8253810B2 (en) * 2007-12-05 2012-08-28 Aptina Imaging Corporation Method, apparatus and system for image stabilization using a single pixel array
JP4556993B2 (ja) 2007-12-07 2010-10-06 セイコーエプソン株式会社 状態検査システム
JP5247397B2 (ja) * 2008-12-05 2013-07-24 キヤノン株式会社 撮像装置及び撮像方法
JP2010142605A (ja) * 2008-12-22 2010-07-01 Hoya Corp 内視鏡装置
US8179466B2 (en) 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
JP2010279016A (ja) * 2009-04-30 2010-12-09 Sony Corp 固体撮像素子とその駆動方法および撮像装置
JP5219934B2 (ja) * 2009-06-17 2013-06-26 キヤノン株式会社 撮像装置およびその制御方法
US8970721B2 (en) * 2009-10-07 2015-03-03 Panasonic Intellectual Property Corporation Of America Imaging device, solid-state imaging element, image generation method, and program
JP2011199351A (ja) * 2010-03-17 2011-10-06 Mitsubishi Electric Corp 撮像装置
JP2013005017A (ja) * 2011-06-13 2013-01-07 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
US8754972B2 (en) 2012-02-01 2014-06-17 Kla-Tencor Corporation Integrated multi-channel analog front end and digitizer for high speed imaging applications
KR101926490B1 (ko) * 2013-03-12 2018-12-07 한화테크윈 주식회사 이미지 처리 장치 및 방법
JP6226536B2 (ja) * 2013-03-12 2017-11-08 キヤノン株式会社 撮像装置及びその制御方法
TWI512593B (zh) * 2013-11-26 2015-12-11 Mstar Semiconductor Inc 畫面繪製方法、畫面更新方法、與相關行動電子裝置
US9961271B2 (en) * 2013-11-26 2018-05-01 Nikon Corporation Electronic device, imaging device, and imaging element
JP2015164284A (ja) * 2014-01-28 2015-09-10 キヤノン株式会社 固体撮像素子、動き情報取得装置、および撮像装置
US10509977B2 (en) * 2014-03-05 2019-12-17 Sick Ivp Ab Image sensing device and measuring system for providing image data and information on 3D-characteristics of an object
JP6261430B2 (ja) * 2014-04-01 2018-01-17 キヤノン株式会社 撮像装置及び画像処理システム
JP6511780B2 (ja) * 2014-11-13 2019-05-15 カシオ計算機株式会社 画像取得装置、及びプログラム
CN107211092B (zh) * 2014-12-15 2020-07-21 Gvbb控股有限责任公司 用于生成图像的相机、相机系统以及方法
US9860466B2 (en) 2015-05-14 2018-01-02 Kla-Tencor Corporation Sensor with electrically controllable aperture for inspection and metrology systems
EP3425898A1 (en) * 2016-03-02 2019-01-09 Sony Corporation Imaging control device, imaging control method, and program
US10778925B2 (en) 2016-04-06 2020-09-15 Kla-Tencor Corporation Multiple column per channel CCD sensor architecture for inspection and metrology
US10313622B2 (en) 2016-04-06 2019-06-04 Kla-Tencor Corporation Dual-column-parallel CCD sensor and inspection systems using a sensor
JP6643658B2 (ja) * 2016-12-27 2020-02-12 パナソニックＩｐマネジメント株式会社 撮像装置、カメラ及び撮像方法
JP7162200B2 (ja) 2018-02-09 2022-10-28 パナソニックＩｐマネジメント株式会社 カメラシステム、及び車両走行制御システム
EP3893485A4 (en) * 2018-12-06 2021-12-29 Sony Semiconductor Solutions Corporation Reception device and transmission device
CN114982223A (zh) * 2020-02-05 2022-08-30 松下知识产权经营株式会社 摄像装置及图像处理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738815A (ja) * 1993-07-19 1995-02-07 Olympus Optical Co Ltd 固体撮像素子
US6529241B1 (en) * 1998-02-27 2003-03-04 Intel Corporation Photodetecting device supporting saturation detection and electronic shutter
JP4356134B2 (ja) * 1999-04-16 2009-11-04 ソニー株式会社 画像処理装置及び画像処理方法
JP4403635B2 (ja) * 2000-05-31 2010-01-27 パナソニック株式会社 ダイナミックレンジ拡大カメラ
JP2002027328A (ja) * 2000-07-07 2002-01-25 Matsushita Electric Ind Co Ltd 固体撮像素子の駆動方法および固体撮像装置
JP4399693B2 (ja) * 2000-09-21 2010-01-20 ソニー株式会社 撮像装置
JP3731729B2 (ja) * 2000-12-20 2006-01-05 松下電器産業株式会社 画像合成回路
JP4511066B2 (ja) * 2001-03-12 2010-07-28 オリンパス株式会社 撮像装置
JP4742453B2 (ja) * 2001-06-20 2011-08-10 ソニー株式会社 撮像方法および装置
JP2005333265A (ja) * 2004-05-18 2005-12-02 Olympus Corp 固体撮像素子および装置

Also Published As

Publication number Publication date
US7884868B2 (en) 2011-02-08
US20070171298A1 (en) 2007-07-26
JP2007221757A (ja) 2007-08-30

Similar Documents

Publication Publication Date Title
JP4888081B2 (ja) 撮像装置、撮像方法、撮像システム及び画像処理装置
JP2007194687A (ja) 撮像装置
CN100539648C (zh) 摄像元件及摄像装置和方法
JP4792976B2 (ja) 撮像装置
JP4998056B2 (ja) 撮像装置、撮像システム及び撮像方法
CN105049685B (zh) 摄像设备和摄像设备的控制方法
JP3748267B2 (ja) 撮像装置
JP5455798B2 (ja) 画像処理装置
CN100566381C (zh) 摄像元件及其装置、摄像方法、摄像系统及图像处理装置
JP2008205530A (ja) 撮像装置、撮像システム及び撮像方法
CN101296315A (zh) 图像降噪装置和方法
JP4793059B2 (ja) 撮像装置及び撮像システム
JP2011109281A5 (ja)
JP2007281555A (ja) 撮像装置
JP2007174266A (ja) 撮像装置
CN110832846B (zh) 像素单元、图像传感器及其运行方法、摄像装置
JP5219933B2 (ja) 撮像装置およびその制御方法
JP2010093759A (ja) 撮像センサ及び撮像装置
JP3853891B2 (ja) 電子スチルカメラ
JP5127510B2 (ja) 撮像装置、及び撮像装置の制御方法
JP4606989B2 (ja) 撮影装置
JP3796421B2 (ja) 撮像装置及び撮像方法
JP2005341261A (ja) 撮像装置
JP6223166B2 (ja) 画像合成装置、画像合成方法、撮像装置、プログラム及び記憶媒体
JP2011004321A (ja) 撮像装置、その制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111115

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111128

R150 Certificate of patent or registration of utility model

Ref document number: 4888081

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141222

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees