JP4792976B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4792976B2
JP4792976B2 JP2006002145A JP2006002145A JP4792976B2 JP 4792976 B2 JP4792976 B2 JP 4792976B2 JP 2006002145 A JP2006002145 A JP 2006002145A JP 2006002145 A JP2006002145 A JP 2006002145A JP 4792976 B2 JP4792976 B2 JP 4792976B2
Authority
JP
Japan
Prior art keywords
area
region
pixel
line
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006002145A
Other languages
English (en)
Other versions
JP2007184814A (ja
Inventor
治久 倉根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006002145A priority Critical patent/JP4792976B2/ja
Publication of JP2007184814A publication Critical patent/JP2007184814A/ja
Application granted granted Critical
Publication of JP4792976B2 publication Critical patent/JP4792976B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮像素子及び撮像装置に係り、特に、撮像領域内に含まれる撮像対象の内容に応じた露光時間で撮像対象を撮像することが可能な撮像素子及び撮像装置に関する。
従来、例えば、車載カメラにおいては、例えばVGAサイズ(640画素×480画素)の撮像素子を用い、車両前方を撮影する。そして、撮像画像の領域を上下に分けて(下側の方が広くなるように分ける)、下側の画像だけを認識領域として使用することが多い。即ち、車載カメラで撮像される撮像対象のうち下側の画像は主に路面の画像、ガードレールの画像、前方の車両の画像等が含まれている。従って、車載カメラの撮像画像の下側の画像を解析して、センターライン、ガードレール、前方の車両等を監視する。例えば、センターラインのみを監視する場合は、例えば下側の画像領域を640×200と上側よりも狭くして、解析画素数を減らすことで画像解析処理にかかる負荷を軽くしている。
また、例えば、監視カメラにおいては、一般的に固定位置に設置されるカメラを用いて、例えば建物の出入り口全体とその周辺を撮影して不審人物等の侵入の監視を行っている。このように監視を用途とする場合は、不審人物の認識等のため非常にコントラストの高い画像を撮影する必要があることから、ワイドダイナミックレンジカメラが使用されることがある。
ワイドダイナミックレンジカメラの撮像素子に関する従来技術として、例えば、特許文献1に記載の撮像装置、特許文献2に記載の固体撮像素子、並びに特許文献3に記載の固体撮像装置および固体撮像装置の駆動方法がある。
特許文献1に記載の撮像装置は、複数の各画素が増幅型の光電変換素子を備えた撮像装置において、露光時間の異なる複数の画素信号を読み出し、露光時間の長い一の画素信号の中から飽和画素信号を検出した場合に、該飽和画素信号を露光時間のより短い該画素の非飽和画素信号と置換することでワイドダイナミックレンジ化を実現するものである。
また、特許文献2に記載の固体撮像装置は、光電変換素子を画素として行列状に2次元に配列した受光部に対して、水平有効期間内でタイミングの異なる第1及び第2の読み出し信号を出力する垂直走査回路と、水平有効期間内で2度のスタート信号を入力する水平走査回路とを設け、2度の読み出し動作を水平走査期間内で時間をずらして行うようにして、垂直信号線を複数設けることなく、独立に取り出すように構成することでワイドダイナミックレンジ化を実現するものである。
また、特許文献3に記載の固体撮像装置および固体撮像装置の駆動方法は、1フレームを任意に3分割し、そのうち2期間の信号をそれぞれ独立に出力する。この2期間の一方において出力された信号から生成される画像が、電荷の蓄積時間の長い、低照度の領域を鮮明に撮った画像となるようにし、他方において出力された信号から生成される画像が、蓄積規間の短い、高照度の領域を高ダイナミックレンジで飽和せずに撮った画像となるようにする。そして、これら撮影された各画像を合成することにより、ワイドダイナミックレンジ化を実現するものである。
特開平5―22670号公報 特開平7―38815号公報 特開2003−198948号公報
しかしながら、上記特許文献1〜3の従来技術にあっては、ワイドダイナミックレンジ化は可能であるが、例えば、背景に対して上側又は下側等にある監視対象に動きがある場合に、この監視対象の動きにフレームレート(露光時間)を合わせると、撮像画像は、背景が黒つぶれし背景内容を認識することができない画像となってしまうといった問題が生じる恐れがある。一方、背景に露光を合わて撮像を行うと、フレームレートが遅く(露光時間が長く)なるため、撮像画像は、監視対象の動きが認識できない画像になるといった問題が生じる恐れがある。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、露光領域を分割することで撮像領域内に含まれる撮像対象の内容に応じた露光時間で撮像対象を撮像することが可能な撮像素子及び撮像装置を提供することを目的としている。
〔形態1〕 上記目的を達成するために、形態1の撮像素子は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、前記各光電変換素子の露光時間の制御を行う電子シャッタ機能とを備えた撮像素子であって、
前記光電変換部の露光領域を複数の領域に分割する領域分割手段と、
前記複数の領域の各領域毎に、前記電子シャッタ機能で制御する露光時間を設定する露光時間設定手段と、
前記光電変換部の前記各領域における前記光電変換素子の構成する各画素から、各領域毎に設定された露光時間の露光により蓄積された電荷から構成される画素信号をそれぞれ独立に読み出す画素信号読出手段と、を備えることを特徴としている。
このような構成であれば、領域分割手段によって、前記光電変換部の露光領域を複数の領域に分割することが可能であり、露光時間設定手段によって、前記複数の領域の各領域毎に、前記電子シャッタ機能で制御する露光時間を設定することが可能であり、画素信号読出手段によって、前記光電変換部の前記各領域における前記光電変換素子の構成する各画素から、各領域毎に設定された露光時間の露光により蓄積された電荷から構成される画素信号をそれぞれ独立に読み出すことが可能である。
従って、被写体(例えば、動きのある)及びそれに比して非常に暗いもしくは逆に明るい背景から構成される撮像対象に対して、露光領域を複数の領域に分割し、各領域毎に、露光時間を設定できる。すなわち、被写体を含まない領域に対しては、背景内容を認識可能な撮像画像を得る露光時間で露光した各画素の画素信号を読み出すことで、背景内容を認識できる輝度レベルの背景画像から構成される領域画像を得ることができる。例えば、背景が暗い場合は、長露光時間で露光した各画素の画素信号を読み出し、逆に背景が明るい場合は、短かい露光時間で露光した各画素の画素信号を読み出すことができる。一方、前記動きのある被写体を含む領域に対して、前記背景画像の露光時間と異なる露光時間で画素信号を読み出すことで、被写体を含む領域画像に対して最適な露出が得られ、更に前記背景画像を読み出すフレームレートと異なるフレームレートで被写体を含む領域画像を得ることができる。
これにより、例えば、背景が暗い場合は、十分な露光時間で露光された領域画像(非飽和)と、高速なフレームレートで得られた、動きのある被写体を含む領域画像とを得ることができるので、例えば、これらの画像を合成することで、背景と被写体とのコンストラストが高く、且つ動きのある被写体を鮮明に捉えた画像を生成することができるという効果が得られる。
〔形態2〕 一方、上記目的を達成するために、形態2の撮像装置は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、前記各光電変換素子の露光時間の制御を行う電子シャッタ機能とを備えた撮像素子を有する撮像装置であって、
前記光電変換部の露光領域を複数の領域に分割する領域分割手段と、
前記複数の領域の各領域毎に、前記電子シャッタ機能で制御する露光時間を設定する露光時間設定手段と、
前記光電変換部の前記各領域における前記光電変換素子の構成する各画素から、各領域毎に設定された露光時間の露光により蓄積された電荷から構成される画素信号をそれぞれ独立に読み出す画素信号読出手段と、
前記読出手段によって前記各領域から読み出された画素信号から構成される画素データに基づき、撮像画像データを出力する撮像画像データ出力手段と、を備えることを特徴としている。
このような構成であれば、領域分割手段によって、前記光電変換部の露光領域を複数の領域に分割することが可能であり、露光時間設定手段によって、前記複数の領域の各領域毎に、前記電子シャッタ機能で制御する露光時間を設定することが可能であり、画素信号読出手段によって、前記光電変換部の前記各領域における前記光電変換素子の構成する各画素から、各領域毎に設定された露光時間の露光により蓄積された電荷から構成される画素信号をそれぞれ独立に読み出すことが可能であり、撮像画像データ出力手段によって、前記読出手段によって前記各領域から読み出された画素信号から構成される画素データに基づき、撮像画像データを出力することが可能である。
従って、被写体(例えば、動きのある)及びそれに比して非常に暗いもしくは逆に明るい背景から構成される撮像対象に対して、露光領域を複数の領域に分割し、各領域毎に露光時間を設定できる。すなわち、被写体を含まない領域に対しては、背景内容を認識可能な撮像画像を得る露光時間で露光した各画素の画素信号を読み出すことで、背景内容を認識できる輝度レベルの背景画像から構成される領域画像を得ることができる。例えば、背景が暗い場合は、長露光時間で露光した各画素の画素信号を読み出し、逆に背景が明るい場合は、短かい露光時間で露光した各画素の画素信号を読み出すことができる。一方、前記動きのある被写体を含む領域に対して、前記背景画像の露光時間と異なる露光時間で画素信号を読み出すことで、被写体を含む領域画像に対して最適な露出が得られ、更に前記背景画像を読み出すフレームレートと異なるフレームレートで被写体を含む領域画像を得ることができる。
これにより、例えば、背景が暗い場合は、十分な露光時間で露光された領域画像(非飽和)と、高速なフレームレートで得られた、動きのある被写体を含む領域画像とを得ることができるので、これらの画像を合成することで、背景と被写体とのコンストラストが高く、且つ動きのある被写体を鮮明に捉えた画像を生成することができるという効果が得られる。
ここで、撮像画像データ出力手段は、本形態の撮像装置が表示装置等の出力装置を有していれば、当該出力装置に撮像画像データを出力し、本形態の撮像装置が出力装置を有していなければ、外部の出力装置に撮像画像データを出力する。
〔形態3〕 更に、形態3の撮像装置は、形態2の撮像装置において、
前記露光領域における前記分割された各領域の範囲を指定する基準信号を生成する分割領域基準信号生成手段を備えることを特徴としている。
このような構成であれば、分割領域基準信号生成手段によって、前記分割された各領域の範囲を指定する基準信号を生成することが可能である。
従って、分割後の各領域毎に、各領域の範囲を指定する基準信号(例えば、垂直同期信号)を、撮像装置に自動的に生成させることができるので、前記各領域の垂直同期信号から、容易に各領域のライン番号、画素番号を計数することができるという効果が得られる。
〔形態4〕 更に、形態4の撮像装置は、形態2又は3の撮像装置において、
前記領域分割手段によって、前記露光領域を、注目する被写体を含む領域と含まない領域とに分割したときに、前記各領域から読み出される画素信号から構成される画素データに基づき、前記注目する被写体を含む領域の範囲を、当該注目する被写体の変化に応じて自動的に変更する領域範囲変更手段を備えることを特徴としている。
このような構成であれば、領域範囲変更手段によって、前記領域分割手段によって、前記露光領域を、注目する被写体を含む領域と含まない領域とに分割したときに、前記各領域から読み出される画素信号から構成される画素データに基づき、前記注目する被写体を含む領域の範囲を、当該注目する被写体の変化に応じて自動的に変更することが可能である。
つまり、例えば、露光領域を、注目被写体を含む下側領域と当該注目被写体を含まない上側領域との2つの領域に分割した場合に、注目被写体が移動又は注目被写体の範囲(サイズ)が拡大して、当該注目被写体が、例えば上側領域と下側領域とにまたがって撮像されてしまうような状態になったときに、そのことを各領域から読み出される画素信号の画素データの変化(例えば、輝度値の変化)に基づいて感知して、例えば、下側領域の範囲を注目被写体が含まれるように自動的に変更することが可能である。これにより、注目被写体に変化が生じても、当該変化に自動的に追随して領域範囲を変更し適切な露光時間で露光された注目被写体の画像を得ることができるという効果が得られる。
例えば、車載カメラによって撮像される画像のように、移動しながら撮影を行うような場合は、空などの比較的明るい画像部分と、注目被写体となる路面等の比較的暗い画像部分との面積比が車両の移動に応じて変化するので、このように撮像対象の撮像範囲が変化するような場合に、各領域の範囲を適切な範囲に自動的に変更することができる。
また、注目被写体の変化(例えば、注目被写体の位置、注目被写体のサイズなど)は、各領域の画素から読み出される画素データの示す画素値の急激な変化等によって簡易に知ることができるので、各領域から読み出される画素信号の画素データの画素値(輝度値あるいは濃度値など)と、所定の閾値とを比較し、当該比較結果に基づいて注目被写体が変化したか否かを判定する。例えば、比較的輝度の高い注目被写体の場合は、画素データの示す輝度値と所定の輝度値とを比較して、画素データの示す輝度値が所定の輝度値以上であれば、その画素データは注目被写体を構成するものであると判定し、これにより、注目被写体がどの領域にどのような範囲で存在するのかを判定できる。
〔形態5〕 更に、形態5の撮像装置は、形態4の撮像装置において、
前記複数の領域における隣り合う領域間で重複する領域部分に対し、一方の領域における画素信号の読出処理において所定のダミー処理を実行して、前記隣り合う領域の露光期間を調整する露光期間調整手段を備えることを特徴としている。
このような構成であれば、露光時期間整手段によって、前記複数の領域における隣り合う領域間で重複する領域部分に対し、一方の領域における画素信号の読出処理において所定のダミー処理を実行して、前記隣り合う領域の露光期間を調整することが可能である。
つまり、例えば、領域範囲の変更などによって2つの領域間で重複するようになった領域部分に対し、一方の領域に対しては、例えば、画素信号の読出しのみ行ってリセットは行わない処理(例えば出願番号2004−336989号公報のようにライン単位でリセットの有無を制御)、また、画素信号の読出しは行うがリセットは行わない処理(非破壊読み出し)などのダミー処理を実行することで、他方の領域の範囲を広げる変更が行われたとしても、一方の領域の露光期間を領域範囲の変更前と同じ期間に簡易に維持することが可能である。従って、各領域の範囲が隣り合う領域間で重複しているときに、当該隣り合う領域の露光期間の調整を簡易に行うことができるという効果が得られる。
〔形態6〕 更に、形態6の撮像装置は、形態5の撮像装置において、
前記所定のダミー処理は、前記重複する領域に対する各画素の蓄積電荷を空にするリセット動作の制御処理を含み、
前記リセット動作の制御処理は、前記重複する領域の一方のリセット動作を実行し、他方のリセット動作を実行させない処理であることを特徴としている。
このような構成であれば、例えば、領域範囲の変更後において、領域範囲全体を撮像する必要のある一方の領域における他方の領域との重複部分においては、画素信号の読み出し後にリセット動作を行い、領域範囲の変更後の他方の領域における一方の領域との重複部分においては画素信号の読出し後にリセット動作を行わないダミー処理を実行することができるので、一方の領域の重複部分においては、当該領域に設定された露光時間の画素信号を得ることができる。また、一方の領域の範囲が広がっても、他方の領域の範囲を狭めることなく、当該他方の領域の露光期間を領域範囲の変更前と同じ期間に維持することができる。
従って、各領域の範囲が隣り合う領域間で重複しているときに、当該隣り合う領域の露光期間の調整を簡易に行うことができるという効果が得られる。
〔形態7〕 更に、形態7の撮像装置は、形態2乃至6のいずれか1の撮像装置において、
前記撮像画像データ出力手段は、前記各領域毎に読み出された画素信号から構成される画素データを合成して撮像画像データを生成し、当該生成した撮像画像データを出力することを特徴としている。
このような構成であれば、露光領域を複数の領域に分割した各領域から、当該各領域にそれぞれに設定された露光時間で露光された各画素の画素データを合成して撮像画像データを生成し、当該生成した撮像画像データを出力することが可能であるので、複数の領域の画素データを1系統で出力することができるという効果が得られる。
〔形態8〕 更に、形態8の撮像装置は、形態2乃至6のいずれか1の撮像装置において、
前記撮像画像データ出力手段は、前記各領域毎に読み出された画素信号から構成される画素データを、各領域毎に別々に出力することを特徴としている。
このような構成であれば、露光領域を複数の領域に分割した各領域から、当該各領域にそれぞれに設定された露光時間で露光された各画素の画素データを各領域毎に別々に出力することが可能となるので、処理負荷が重くなる可能性のある画素データの合成処理を、外部装置に任せることができるので処理負荷の軽減及び画素データの高速転送を行うことができるという効果が得られる。
〔形態9〕 更に、形態9の撮像装置は、形態2乃至8のいずれか1の撮像装置において、
前記光電変換部の露光領域全体に対して、前記露光時間設定手段で露光時間を設定し、当該設定された露光時間で露光された各画素から前記画素信号読出手段で画素信号の読み出しを行う通常読出動作モードと、前記光電変換部の露光領域を前記領域分割手段で複数に分割し、当該分割後の各領域に対して、前記露光時間設定手段で前記各領域毎に露光時間を設定し、当該設定された各露光時間で露光された各画素から前記画素信号読出手段で画素信号の読み出しを行う分割読出動作モードとを備えることを特徴としている。
このような構成であれば、通常読出動作モードと、分割読出動作モードとを兼ね備えているので、撮像対象の内容に応じて、いずれか適切な方の動作モードを選択して使用することができるという効果が得られる。
〔第1の実施形態〕
以下、本発明に係る撮像装置の第1の実施形態を、図面に基づいて説明する。図1〜図9は、本発明に係る撮像装置1の第1の実施形態を示す図である。
この撮像装置1は、センサセルアレイ58(後述)の露光領域を任意の範囲の2つの領域に分割し、これら2つの領域の各領域毎に任意の露光時間を設定して、各領域における各画素の露光及び画素信号の読出しをそれぞれ独立に行うことができる領域走査対応撮像処理系10(後述)を備える。また、本実施の形態において、撮像装置1は、画素列毎(単位)に露光時間が変えられる撮像素子を有している。
以下、図1に基づき、本発明に係る撮像装置1の概略構成を説明する。ここで、図1は、本発明に係る撮像装置1の概略構成を示すブロック図である。
撮像装置1は、図1に示すように、センサセルアレイ58の露光領域を2つの領域に分割すると共に、映像処理系12からの各種同期信号に基づき前記各領域の露光時間を設定し、各領域毎に、前記設定した露光時間で露光された各領域の各画素のラインからそれぞれ独立に画素信号を読み出し、これら読み出した画素のライン毎の画素信号の画素データ(デジタルデータ)を各領域毎にそれぞれ独立に順次出力する領域走査対応撮像処理系10(以下、撮像処理系10と称す)と、前記各領域の露光時間を設定すると共に、撮像処理系10から出力された、各領域毎の画素データから構成される撮像画像データを外部装置に出力する映像処理系12と、各領域毎に読み出した画素データなどの各種画像データを記憶するフレームメモリ14とを含んで構成される。
更に、図2〜図7に基づき、撮像処理系10及び映像処理系12の内部構成を説明する。ここで、図2は、撮像装置1の内部構成を示すブロック図である。また、図3は、AFE(Analog Front End)102の内部構成を示す図である。また、図4は、領域別走査対応型撮像素子100の内部構成を示すブロック図である。また、図5は、読出しラインスキャナ54の内部構成を示す図である。また、図6は、リセットラインスキャナ56の内部構成を示す図である。また、図7は、センサセルアレイ58の詳細構成を示す図である。また、図8は、撮像素子100のセンサセルアレイ58における各画素のライン毎の露光、画素信号の読み出し及び蓄積電荷のリセット動作の一例を示す図である。
図2に示すように、撮像処理系10は、領域別走査対応型撮像素子100と、第1のAFE102と、第2のAFE104とを含んで構成される。
領域別走査対応型撮像素子100(以下、撮像素子100と称す)は、被写体からの光を撮像レンズ(不図示)でセンサセルアレイ58(後述)に集光し、その集光量に応じた電荷をセンサセルアレイ58の各画素に蓄積させる。また、撮像素子100は、映像処理系12のタイミング制御器12b(後述)から出力される駆動信号(ピクセルクロック、水平同期信号及び垂直同期信号)に基づいて、センサセルアレイ58の各画素列に蓄積されている電荷群を電圧群に順次変換する。そして、2つの領域に分割された露光領域の上側の領域(以下、第1走査領域と称す)の電荷群を変換してなる電圧群を、第1水平転送部60(後述)の有する、第1ラインメモリを含んで構成される第1出力チャンネル(以下、CH1と称す)を介して第1のAFE102に順次出力させ、2つの領域に分割された露光領域の下側の領域(以下、第2走査領域と称す)の電荷群を変換してなる電圧群を、第2水平転送部62(後述)の有する、第2ラインメモリを含んで構成される第2出力チャンネル(以下、CH2と称す)を介して第2のAFE10dに順次出力させる。
ここで、本実施形態においては、例えば、露光領域の画素の総ライン数をN(Nは2以上の自然数)とし、ライン番号n(N>n)の画素のラインで領域を2つに分割した場合、ライン番号1〜ライン番号nの画素のラインのある領域が上側の領域となり、ライン番号n+1〜Nの画素のラインのある領域が下側の領域となる。
また、本実施の形態においては、各領域において、それぞれ設定された露光時間で露光された各画素からの電荷の読み出しとほぼ同時に当該各画素に蓄積されている電荷をリセットする(電荷を空にする)。
第1のAFE102及び第2のAFE104は、第1水平転送部60のCH1及び第2水平転送部62のCH2を介して出力される2つの領域の各領域に対応する画素信号(アナログデータ)を、デジタルデータ(画素データ)に変換する。そして、第1のAFE102及び第2のAFE104は、変換後の画素データを映像処理系12の第1データ処理部12d(後述)及び第2データ処理部12e(後述)にそれぞれ出力する。
更に、図3に基づき、第1のAFE102の内部構成を説明する。
第1のAFE102は、図3に示すように、クランプ回路102aと、差動増幅回路102bと、A/D変換回路102cとを含んで構成される。
クランプ回路102aは、撮像素子100からの画素信号を受信し、それが遮光領域の信号かを検出し、遮光領域と検出された場合はその信号レベルが黒(基準)レベルになるように、入力信号全てに対してクランプ処理を行い、このクランプ処理後の画素信号を増幅回路102bに出力する。
増幅回路102bは、クランプ後の画素信号を、A/D変換器の入力レンジと整合するように増幅し、この増幅後の画素信号をA/D変換回路102cに出力する。
A/D変換回路102cは、差動増幅回路102bからの画素信号(アナログデータ)を、画素データ(デジタルデータ)に変換して映像処理系12へと出力する。
なお、第1のAFE102及び第2のAFE104は、同一の内部構成となるので、第2のAFE104に対する内部構成の説明は省略する。
更に、図4に基づき、撮像素子100の内部構成を説明する。
撮像素子100は、図4に示すように、基準タイミング発生器50と、駆動パルス発生器52と、同時に2本の走査線(読出し用)を有効にする読出しラインスキャナ54と、同時に2本の走査線(リセット用)を有効にするリセットラインスキャナ56と、センサセルアレイ58と、第1水平転送部60と、第2水平転送部62とを含んで構成される。
基準タイミング発生器50は、映像処理系12のタイミング制御器12b(後述)からの垂直同期信号及び水平同期信号に基づき、基準タイミング信号を発生する。
駆動パルス発生器52は、基準タイミング発生器50からの基準タイミング信号と、読出しラインスキャナ54からの読出しライン選択信号と、リセットラインスキャナ56からのリセットライン選択信号とに基づき駆動パルスを発生してセンサセルアレイ58に供給する。
読出しラインスキャナ54は、映像処理系12の通信器12a(後述)からの第1走査領域及び第2走査領域に対する読出し開始ライン番号及び走査領域幅を指定する各種駆動制御信号に基づき、第1走査領域に対する第1読出しラインの位置と、第2走査領域に対する第2読み出しラインの位置とをそれぞれ選択し、1読み出しラインの位置を示す第1読出しライン選択信号と、第2読出しラインの位置を示す第2読出しライン選択信号とを生成し、これら生成した第1及び第2読出しライン選択信号を駆動パルス発生器52に出力する。つまり、本実施の形態においては、外部システムコントローラ(不図示)等の外部装置において、撮像素子100の露光領域を2つの領域に分割する際の各領域の開始ライン番号及び走査領域幅を任意に設定し、これらの情報を通信器12aを介して撮像素子100に送信することで、露光領域を任意の走査領域幅の2つの領域に分割することが可能である。
リセットラインスキャナ56は、映像処理系12の通信器12a(後述)からの第1走査領域及び第2走査領域に対する読出し開始ライン番号、走査領域幅、第1読出しラインと第1リセットラインとのオフセット量(時間差)及び第2読出しラインと第2リセットラインとのオフセット量(時間差)を指定する各種駆動制御信号、並びに読出しラインスキャナ54からの第1読出しカウンタ値及び第2読出しカウンタ値に基づき、第1走査領域に対する第1リセットラインの位置と、第2走査領域に対する第2リセットラインの位置とをそれぞれ選択し、第1リセットラインの位置を示す第1リセットライン選択信号と、第2リセットラインの位置を示す第2リセットライン選択信号とを生成し、これら生成した第1及び第2リセットライン選択信号を駆動パルス発生器52に出力する。
センサセルアレイ58は、CMOS技術を用いて各画素が構成されており、駆動パルス発生器52から供給される駆動パルスに基づき、露光領域における第1走査領域を当該領域に設定された露光時間で露光すると共に、当該露光により各画素に蓄積された電荷を、各画素のライン毎に読み出して第1水平転送部60に順次出力する。一方、露光領域における第2走査領域を当該領域に設定された露光時間で露光すると共に、当該露光により各画素に蓄積された電荷を、各画素のライン毎に順次読み出して第2水平転送部60に順次出力する。
第1水平転送部60は、センサセルアレイ58の第1走査領域における各画素から読み出された画素信号データを、各画素のライン毎にCH1の第1ラインメモリに記憶し、当該記憶した画素信号データを第1のAFE102に出力する。
第2水平転送部62は、センサセルアレイ58の第2走査領域における各画素から読み出された画素信号データを、各画素のライン毎にCH2の第2ラインメモリに記憶し、当該記憶した画素信号データを第2のAFE104に出力する。
更に、図5に基づき、読出しラインスキャナ54の内部構成を説明する。
読出しラインスキャナ54は、図5に示すように、第1読出しカウンタ54aと、第1読出しアドレスデコーダ54bと、第2読出しカウンタ54cと、第2読出しアドレスデコーダ54dと、ORロジック54eとを含んで構成される。
第1読出しカウンタ54aは、通信器12aからの第1走査領域に対する開始ライン番号及び走査領域幅の情報に基づき、カウントアップ動作を繰り返す。ここで、カウンタの値は、第1走査領域の画素のライン番号に対応しており、このライン番号は、第1読出しアドレスデコーダ54bに出力される。また、第1読出しカウンタ54aは、第1走査領域における垂直同期信号である第1垂直同期信号を生成し、当該生成した第1垂直同期信号を映像処理系12のタイミング制御器12bに出力する。
第1読出しアドレスデコーダ54bは、第1読出しカウンタ54aから出力されるライン番号のラインを第1走査領域における「第1読み出しライン」として有効にし、第1走査領域におけるそれ以外のラインを無効にする。更に、有効としたライン番号を示す第1読み出しライン制御信号をORロジック54eに出力する。
第2読出しカウンタ54cは、通信機12aからの第2走査領域に対する開始ライン番号及び走査領域幅の情報に基づき、カウントアップ動作を繰り返す。ここで、カウンタの値は、第2走査領域の画素のライン番号に対応しており、このライン番号は、第2読出しアドレスデコーダ54dに出力される。また、第2読出しカウンタ54cは、第2走査領域における垂直同期信号である第2垂直同期信号を生成し、当該生成した第2垂直同期信号を映像処理系12のタイミング制御器12bに出力する。
第2読出しアドレスデコーダ54dは、第2読出しカウンタ54cから出力されるライン番号のラインを第2走査領域における「第2読み出しライン」として有効にし、第2走査領域におけるそれ以外のラインを無効にする。更に、有効としたライン番号を示す第2読み出しライン制御信号をORロジック54eに出力する。
ORロジック54eは、第1読出しアドレスデコーダ54bからの第1読み出しライン制御信号と、第2読出しアドレスデコーダ54dからの第2読み出しライン制御信号とに基づき、露光領域の各ライン位置毎にOR演算を行い、第1走査領域及び第2走査領域に対する読出しライン位置(アドレス)を示す読み出しライン選択信号を生成する。これら生成した第1読み出しライン選択信号及び第2読出しライン選択信号は駆動パルス発生器52に出力される。
更に、図6に基づき、リセットラインスキャナ56の内部構成を説明する。
リセットラインスキャナ56は、図6に示すように、第1飽和処理器・加算器56aと、第1リセットレジスタ56bと、第1リセットアドレスデコーダ56cと、第2飽和処理器・加算器56dと、第2リセットレジスタ56eと、第2リセットアドレスデコーダ56fと、ORロジック56gとを含んで構成される。
第1飽和処理器・加算器56aは、通信器12aの第1オフセットレジスタから取得した第1走査領域に対する第1オフセット量と、第1読出しカウンタ54aからのカウンタ値(第1読出しライン番号)とに基づき、第1走査領域における前記カウンタ値の第1読出しラインに対応する第1リセットラインの位置を示す第1リセットライン番号を算出する。具体的に、第1飽和処理器・加算器56aは、読出しカウンタのカウンタ値とオフセット量を加算し、リセットライン番号を算出する。このとき、第1飽和処理器・加算器56aには、通信器12aからの第1走査領域における第1読出しラインの読出し開始ライン番号及び第1走査領域の走査領域幅の情報も入力され、算出された加算結果が最大値(開始ライン番号+走査領域幅−1)になると、演算結果を開始ライン番号に戻す演算処理を行う。すなわち、リセットライン番号が、常に走査領域の範囲内になるような演算処理を行う。そして、演算結果(第1リセットライン番号)を第1リセットレジスタ56bに格納する。なお、第1オフセットレジスタには、第1読出しラインと第1リセットラインとのオフセット量(時間差)である第1オフセット量が格納されており、この第1オフセット量によって、第1走査領域の露光時間が決定される。
第1リセットレジスタ56bは、第1飽和処理器・加算器56aから出力された第1リセットライン番号を格納するレジスタである。
第1リセットアドレスデコーダ56cは、第1リセットレジスタ56bに格納された第1リセットライン番号に基づき、第1走査領域に対する第1リセットライン番号に対応するライン番号を有効にし、第1走査領域におけるそれ以外のライン番号を無効にする。
第2飽和処理器・加算器56dは、通信器12aの第2オフセットレジスタから取得した第2走査領域に対する第2オフセット量と、第2読出しカウンタ54aからのカウンタ値(読出しライン番号)とに基づき、第2走査領域における前記カウンタ値の第2読出しラインに対応する第2リセットラインの位置を示す第2リセットライン番号を算出する。具体的に、第2飽和処理器・加算器56dは、読出しカウンタのカウンタ値とオフセット量を加算し、リセットライン番号を算出する。このとき、第2飽和処理器・加算器56dには、通信器12aからの第2走査領域における第2読出しラインの読出し開始ライン番号及び第2走査領域の走査領域幅を指定する駆動制御信号も入力され、算出された加算結果が最大値(開始ライン番号+走査領域幅−1)になると、演算結果を開始ライン番号に戻す演算処理を行う。すなわち、リセットライン番号が、常に走査領域の範囲内になるような演算処理を行う。そして、演算結果(第2リセットライン番号)を第2リセットレジスタ56eに格納する。なお、第2オフセットレジスタには、第2読出しラインと第2リセットラインとのオフセット量(時間差)である第2オフセット量が格納されており、この第2オフセット量によって、第2走査領域の露光時間が決定する。
第2リセットレジスタ56eは、第2飽和処理器・加算器56dから出力された第2リセットライン番号を格納するレジスタである。
第2リセットアドレスデコーダ56fは、第2リセットレジスタ56eに格納された第2リセットライン番号に基づき、第2走査領域に対する第2リセットライン番号に対応するライン番号を有効にし、第2走査領域におけるそれ以外のライン番号を無効にする。
ORロジック56gは、第1リセットアドレスデコーダ56cから出力される有効な第1リセットラインのライン番号を示す信号と、第2リセットアドレスデコーダ56fから出力される有効な第2リセットラインのライン番号を示す信号とに基づき、これら信号と露光領域の各ライン位置とのOR演算を行い、第1走査領域及び第2走査領域に対する最終的なリセットライン選択信号を生成する。これら生成した第1リセットライン選択信号及び第2リセットライン選択信号は駆動パルス発生器52に出力される。
ここで、図6中のリセット制御レジスタ56hについては、第2の実施形態において詳述する。
更に、図7に基づき、センサセルアレイ58の詳細構成を説明する。
図7に示すように、センサセルアレイ58は、CMOSを用いて構成された複数のセンサセル(画素)58aをマトリクス状に配設し、各ライン毎のセンサセル58aに対して、アドレス線、リセット線及び読出し線が共通に接続され、前記3つの制御線を介して各種駆動信号が各ラインを構成するセンサセル58aに送信される。そして、アドレス線及び読出し線が有効になると、図7の信号線を介して蓄積電荷を水平転送器に転送する構成となっている。このような構成によって、アドレス線により、リセット動作又は読出し動作を行わせる画素のラインを有効に(選択)し、当該選択信号で選択したラインの各センサセル58aに対して、リセット動作を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力する。選択信号によって選択された各センサセル58aは、リセット動作を指示する信号が入力されたときはリセット動作を行い、蓄積電荷の転送を指示する信号が入力されたときは、信号線を介して水平転送部への蓄積電荷の転送を行う。
更に、図8に基づき、撮像素子100の露光時間の制御方法、及びセンサセルアレイ58からの画素信号の読み出し方法について説明する。
ここで、本発明の露光時間の制御は、まずセンサセルアレイ58の第1走査領域(設定後)に対して、画素信号の読み出しを行う第1読み出しラインを選択する。また、この読み出しラインを基準として前記飽和処理器・加算器の処理を行い、第1オフセットレジスタの第1オフセット量の位相(時間)差がある第1リセットラインを選択する。第1リセットラインにおいて蓄積電荷を空にするので第1オフセット量が第1走査領域の露光時間(以下、第1有効露光時間と称す)を決める。同様に、センサセルアレイ58の第2走査領域(設定後)に対して、第2読み出しラインを選択し、この読み出しラインを基準として前記飽和処理器・加算器の処理を行い、第2オフセットレジスタの第2オフセット量の位相(時間)差がある第2リセットラインを選択する。よって、第2オフセット量が第2走査領域の露光時間(以下、第2有効露光時間と称す)を決める。
そして、第1走査領域及び第2走査領域において、第1有効露光時間で露光時の画素信号及び第2有効露光時間で露光時の画素信号の読み出しを、それぞれが並列に実行する。つまり、所定位置の画素のライン(例えば、第1ライン)が第1読出しラインとして選択されると、当該第1読出しラインから第1有効露光時間分の時間を空けて第1リセットラインが選択される。すなわち、第1リセットラインの走査が、第1読出しラインの走査に対し先行して行われ、第1リセットラインが先に第1ラインに到達する。一方、所定位置の画素のライン(例えば、第100ライン)が第2読出しラインとして選択されると、当該第2読出しラインから第2有効露光時間分の時間を空けて第2リセットラインが選択される。すなわち、第2リセットラインの走査が、第2読出しラインの走査に対し先行して行われ、第2リセットラインが先に第100ラインに到達する。なお、本実施の形態において、第1走査領域に対する第1有効露光時間時の画素信号は、CH1の第1ラインメモリに転送され、CH1を介して第1のAFE102に出力されそこでデジタルデータ(以下、画素データと称す)に変換される。一方、第2走査領域に対する第2有効露光時間時の画素信号は、CH2の第2ラインメモリに転送され、CH2を介して第2のAFE104に出力されそこでデジタルデータ(画素データ)に変換される。
また、上記第1読み出しライン及び第2読み出しラインの画素信号の読み出しは、第1走査領域においては、上記の選択手順で第1リセットライン及び第1読出しラインを順次走査し(図8では上方向)、そして、第1リセットラインでの電荷のクリア後、第1有効露光時間が経過した画素のライン(第1読み出しライン)の画素信号の読み出しを行う。一方、これと並列して、第2走査領域においては、上記の選択手順で第2リセットライン及び第2読出しラインを順次走査し(図8では上方向)、そして、第2リセットラインでの電荷のクリア後、第2有効露光時間が経過した画素のライン(第2読み出しライン)の画素信号の読み出しを行う。このような走査手順で、センサセルアレイ58の第1走査領域及び第2走査領域の全画素のラインに対して、各画素のライン毎に、電荷のクリア、第1有効露光時間及び第2有効露光時間で露光時の画素信号の読み出しをそれぞれ順次行う。
更に、図2に戻って、映像処理系12の内部構成を説明する。
映像処理系12は、図2に示すように、通信機12aと、タイミング制御器12bと、露出時間制御部(ALC)12cと、第1データ処理部12dと、第2データ処理部12eと、メモリアクセス調停器12fとを含んで構成される。
通信機12aは、外部システムコントローラ(不図示)から、センサセルアレイ58の第1走査領域及び第2走査領域に対する開始ライン番号、走査領域幅に関する情報を取得し、当該取得した開始ライン番号及び走査領域幅を示す駆動制御信号を、撮像処理系10の読出しラインスキャナ54及びリセットラインスキャナ56にそれぞれ出力し、露出時間制御部12c(後述)から第1走査領域及び第2走査領域の露光時間を決定するオフセット量を内部の第1オフセットレジスタ及び第2オフセットレジスタにそれぞれ格納し、当該格納した第1オフセット量及び第2オフセット量をリセットラインスキャナ56に出力する。
タイミング制御器12bは、撮像素子100の駆動信号(ピクセルクロック、水平同期信号、垂直同期信号)を生成し、これらを撮像素子100の基準タイミング発生器50に出力する。また、タイミング制御器12bは、水平同期信号、撮像素子100からの第1垂直同期信号及び第2垂直同期信号から、撮像処理系10のCH1及びCH2からそれぞれ出力される第1走査領域及び第2走査領域の画素信号の、撮像素子100のセンサセルアレイ58における画素位置(画素列(ライン)番号、画素番号)が分かるので、その画素列(ライン)番号及び画素番号(以下、「アドレス情報」とも呼ぶ。)を生成し、そのアドレス情報をALC12c、第1データ処理部12d及び第2データ処理部12eにそれぞれ出力する。また、撮像素子100からの第1垂直同期信号及び第2垂直同期信号をALC12c、第1データ処理部及び第2データ処理部にそれぞれ出力する。
ALC12cは、第1走査領域及び第2走査領域の露光制御をそれぞれ独立で行う。即ち、タイミング制御器12bからの第1垂直同期信号及び第2垂直同期信号(または画素データのアドレス情報)に基づき、第1のAFE102及び第2のAFE104からそれぞれ出力される第1走査領域及び第2走査領域の画素データをライン単位もしくはフレーム単位で評価し(明るさを計測してその評価を行う)、その評価結果に基づいて、ライン単位もしくはフレーム単位に第1走査領域及び第2走査領域の適切な露光時間(第1オフセット量及び第2オフセット量)をそれぞれ算出し、これら算出した第1オフセット量及び第2オフセット量を通信器12aに出力する。このようにALC12cによって露光時間の制御(オフセット量の書き換え)を行うことで、第1走査領域及び第2走査領域の画像を常に最適な画像(未飽和・高S/N)とすることが可能となる。なお、本実施の形態において、通信器12aには、第1オフセット量及び第2オフセット量の初期値として最大値を出力するようになっている。
第1データ処理部12dは、第1のAFE102から出力される第1走査領域の画素データをALC12cに出力したり、フレームメモリアクセス部12fに対して、フレームメモリ14に格納された第1走査領域の画素データを更新する命令を発行したりする。
第2データ処理部12eは、第2のAFE104から出力される第2走査領域の画素データをALC12cに出力したり、フレームメモリアクセス部12fに対して、フレームメモリ14に格納された第2走査領域の画素データを更新する命令を発行したりする。
フレームメモリアクセス部12fは、第1データ処理部12dからの画素データの更新命令に応じて、フレームメモリ14に格納された第1走査領域の画素データの更新を行い、
一方、第2データ処理部12eからの画素データの更新命令に応じて、フレームメモリ14に格納された第2走査領域の画素データの更新を行う。つまり、第1データ処理部12d及び第2データ処理部12eの2系統からのメモリアクセス要求を調停し、フレームメモリ14へのアクセスを行う。具体的には、第1データ処理部12d又は第2データ処理部12eからの画素データの書き込み要求(更新命令)に対して、その画素データを内部に蓄え、適当なタイミングでフレームメモリ14にデータ書き込み処理(更新処理)を行う。また、外部装置(例えば、システムコントローラ)への画素データの読み出し要求に対しては、フレームメモリ14から画素データの読み出しを行い、外部装置からの同期信号に同期して前記読み出した画素データ(撮像画像データ)を当該外部装置に出力する。
次に、図9に基づき、本実施形態の撮像装置1の実際の動作を説明する。ここで、図9は、第1の実施形態の撮像対象画像の一例を示す図である。
以下、図9に示す、建物の一部を撮像対象(監視領域)とし、撮像装置1を監視目的に用いた場合の動作を説明する。図9の例では、入口(ドア)全体、入口横の窓、フロアの一部、壁の一部、天井の一部が監視領域に含まれており、入口を出入りする人物など(不図示)を監視対象とする。従って、図9に示すように、まず、監視領域における監視対象の入口の出入りの様子が解る入口全体を含んだ注目領域範囲(ここでは、入口全体、入り口横の窓及びフロアの一部を含む監視領域の下側の領域)と、この領域以外の領域範囲である監視領域の上側の領域との2つの領域に露光領域を分割するようにそれぞれの領域の開始ライン番号及び走査領域幅を決定する。ここでは、監視領域の上側の領域(壁及び天井の一部)を第1走査領域とし、監視領域の下側の領域を第2走査領域とする。ここでは、露光領域が640画素×480画素のサイズで、第1走査領域を上側640画素×200画素とし、第2走査領域を下側640画素×280画素とする。つまり、露光領域におけるライン番号1〜200の画素のラインが第1走査領域となり、ライン番号201〜480の画素のラインが第2走査領域となる。従って、第1走査領域の開始ライン番号は「1」、走査領域幅は「200」となり、第2走査領域の開始ライン番号は「201」、走査領域幅は「280」となる。
第1走査領域及び第2走査領域を決定する開始ライン番号及び走査領域幅の情報(命令)は、外部装置である不図示のシステムコントローラから撮像装置1へと送信される。
撮像装置1は、システムコントローラからの第1走査領域及び第2走査領域の開始ライン番号及び走査領域幅の情報(命令)を、映像処理系12の通信器12aを介して受信すると、通信器12aを通じて、撮像処理系10の撮像素子100内のレジスタ(不図示)の内容を書き換える命令を発行する。これにより、撮像素子100内のレジスタの内容が前記受信した内容に書き換えられる。また、映像処理系12は、通信器12a内の第1及び第2オフセットレジスタの値を初期値(ここでは最大値)にセットする。
更に、映像処理系12は、タイミング制御器12bにおいて駆動信号(ピクセルクロック、水平同期信号、垂直同期信号)を生成し、撮像素子100に出力する。
撮像素子100は、駆動信号が供給されると、読出しラインスキャナ54の第1読出しカウンタ54aにおいて、第1走査領域に対する開始ライン番号及び走査領域幅を指定する駆動制御信号に基づき、カウントアップ動作を開始し、カウント値を第1読出しアドレスデコーダ54bに出力する。また、第1走査領域の垂直同期信号である第1垂直同期信号を生成してタイミング制御器12bに出力する。第1読出しアドレスデコーダ54bは、第1読出しカウンタ54aから出力されるライン番号のラインを第1走査領域における「第1読み出しライン」として有効にし、第1走査領域におけるそれ以外のラインを無効にする。
例えば、ライン番号1を第1読出しラインとして有効にした場合は、ライン番号1以外の残りのラインであるライン番号2〜200のラインを無効にする。更に、ライン番号1が有効であることを示す第1読み出しライン制御信号をORロジック54eに出力する。
一方、第2読出しカウンタ54cも第1読出しカウンタ54aと同様に、第2走査領域に対する開始ライン番号及び走査領域幅を指定する駆動制御信号に基づき、カウントアップ動作を開始し、カウント値を第2読出しアドレスデコーダ54dに出力する。また、第2走査領域の垂直同期信号である第2垂直同期信号を生成してタイミング制御器12bに出力する。そして、第2読出しアドレスデコーダ54dは、第1読出しアドレスデコーダ54bと同様に、例えば、ライン番号201を第2読出しラインとして有効にし、ライン番号201以外の残りのラインであるライン番号202〜480のラインを無効にする。そして、ライン番号201が有効であることを示す第2読み出しライン制御信号をORロジック54eに出力する。
ORロジック54eは、第1読出しアドレスデコーダ54bからの第1読み出しライン制御信号と、第2読出しアドレスデコーダ54dからの第2読み出しライン制御信号とに基づき、露光領域の各ライン位置毎にOR演算を行い、第1走査領域及び第2走査領域に対する最終的な読み出しライン選択信号を生成する。そして、これら生成した第1読み出しライン選択信号及び第2読出しライン選択信号を駆動パルス発生器52に出力する。
一方、リセットラインスキャナ56は、第1飽和処理器・加算器56aにおいて、通信器12aの第1オフセットレジスタから取得した第1走査領域に対する第1オフセット量と、第1読出しカウンタ54aからのカウンタ値(ライン番号1に対応)とに基づき、第1走査領域における前記カウンタ値の第1読出しラインに対応する第1リセットラインの位置を示す第1リセットライン番号を算出し、算出した第1リセットライン番号を第1リセットレジスタ56bに格納する。本実施の形態における第1飽和処理器・加算器56aの飽和処理は、第1リセットライン番号は、読出しライン番号(カウンタ値)であるライン番号1に対して、第1オフセット量の示すライン数を減算することで算出され、例えば、第1オフセット量が19であれば「1−19=−18」と算出され、第1リセットライン番号は「200−18=182」となる。つまり、図8に示すように、読出しライン及びリセットラインは共に、第1走査領域を上方向にループしながら画素のラインの走査を行うため、ライン番号1のラインを走査すると次はライン番号200のラインへと飛び、ライン番号200のラインからライン番号1のラインに向かって画素のラインを上方向に順次走査する。従って、読出しラインがライン番号1であればリセットライン番号はライン番号192となる。同様に、第2飽和処理器・加算器56dにおいても、第2オフセットレジスタから取得した第2走査領域に対する第2オフセット量と、第2読出しカウンタ54cからのカウンタ値(ライン番号201に対応)とに基づき、第2リセットライン番号を算出し、算出した第2リセットライン番号を第2リセットレジスタ56eに格納する。例えば、第2オフセット量が39であれば、「201−239=−38」と算出され、第2リセットライン番号は「480−38=442」となる。
このように第1リセットライン番号及び第2リセット番号が算出されると、第1リセットアドレスデコーダ56cは、第1走査領域に対する第1リセット番号に対応するライン番号182を有効にし、第1走査領域におけるそれ以外のライン番号(1〜181、183〜200)を無効にする。同様に、第2リセットアドレスデコーダ56fは、第2リセットレジスタ56eに格納された第2リセット番号に基づき、第2走査領域に対する第2リセット番号に対応するライン番号442を有効にし、第2走査領域におけるそれ以外のライン番号(201〜441、443〜480)を無効にする。
ORロジック56gは、第1リセットアドレスデコーダ56cから出力される有効な第1リセットラインのライン番号182を示す信号と、第2リセットアドレスデコーダ56fから出力される有効な第2リセットラインのライン番号442を示す信号とに基づき、これら信号と露光領域の各ライン位置とのOR演算を行い、第1走査領域及び第2走査領域に対する最終的なリセットライン選択信号を生成する。これら生成した第1リセットライン選択信号及び第2リセットライン選択信号は駆動パルス発生器52に出力される。
上記のような読出しライン選択信号及びリセットライン選択信号の生成動作は、第1読出しカウンタ54a及び第2読出しカウンタ54cがカウントアップする毎に順次行われ、これら生成された選択信号は駆動パルス発生器52に順次出力される。
駆動パルス発生器52は、基準タイミング発生器50からの基準タイミング信号と、読出しラインスキャナ54からの第1及び第2読出しライン選択信号と、リセットラインスキャナ56からの第1及び第2リセットライン選択信号とに基づき駆動パルスを発生してセンサセルアレイ58に供給する。
これにより、センサセルアレイ58の第1走査領域(ライン番号1〜200の画素ライン)に対しては、第1リセットラインの走査に対して19ライン分の走査期間を空けて第1読出しラインが第1リセットラインに後続して順次走査を行うように動作が行われ、第1読出しラインの走査ラインにおいては各画素から画素信号を読み出して第1水平転送部60に転送する。この19ライン分の走査期間が第1有効露光時間となる。一方、センサセルアレイ58の第2走査領域(ライン番号201〜480の画素ライン)に対しては、第2リセットラインの走査に対して39ライン分の走査期間を空けて第2読出しラインが第2リセットラインに後続して順次走査を行うように動作が行われ、第2読出しラインの走査ラインにおいては各画素から画素信号を読み出して第2水平転送部62に転送する。この39ライン分の走査期間が第2有効露光時間となる。
第1水平転送60及び第2水平転送部62はそれぞれ内部のCH1及びCH2を介して前記読み出した画素信号を第1のAFE102及び第2のAFE104にそれぞれ出力する。第1のAFE102及び第2のAFE104は、画素信号をデジタルデータである画素データに変換して、映像処理系12の第1データ処理部12d及び第2データ処理部12eにそれぞれ出力する。
第1データ処理部12d及び第2データ処理部12eは、第1のAFE102及び第2のAFE104からの画素データを、ALC12cに出力すると共にフレームメモリアクセス部12fに対して、フレームメモリ14に格納された第1走査領域及び第2走査領域の画素データの更新命令を発行する。これにより、フレームメモリ14に格納された第1走査領域及び第2走査領域の画素データが更新される。
一方、ALC12cでは、第1データ処理部12dからの第1走査領域の画素データの示す輝度値に基づき、監視領域の第1走査領域に対応する画像(壁のみ)の明るさを計測して、この画像に対して適切な露光量となる露光時間(第1オフセット量)を算出し、当該算出した第1オフセット量を通信器12aに出力し、通信器12a内部の第1オフセットレジスタの値を書き換える。また、第2データ処理部12eからの第2走査領域の画素データの示す輝度値に基づき、監視領域の第2走査領域に対応する画像(入口、窓及びフロアの一部を含む)の明るさを計測して、この画像に対して適切な露光量となる露光時間(第2オフセット量)を算出し、当該算出した第2オフセット量を通信器12aに出力し、通信器12a内部の第2オフセットレジスタの値を書き換える。
通信器12a内部の第1オフセットレジスタ及び第2オフセットレジスタの値が書き換えられると、リセットラインスキャナ56において、第1読出しライン及び第2読出しラインに対する第1リセットライン及び第2リセットラインの位置が、前記書き換えられたオフセット量に応じて変更される。
このようにして、ALC12cにおいて、画素データの評価及び適切な露光時間の計算を行い、露光時間を制御することで第1走査領域及び第2走査領域の露光時間が適切なものに設定され続ける。
一方、フレームメモリアクセス部12fは、システムコントローラからの撮像画像データの出力要求を受信すると、フレームメモリ14に格納された第1走査領域及び第2走査領域の画素データを読出し、システムコントローラからの同期信号(ピクセルクロック、水平同期信号及び垂直同期信号)に同期して、各走査領域の画素データをそれぞれ別々に(2系統で)出力する。
システムコントローラは、撮像装置1から撮像画像データを受信すると、当該撮像画像データを計算機や表示装置などに出力する。
このように、本実施形態の撮像装置1では、1つのセンサセルアレイ58の露光領域を、2つの領域に分割し、各領域に対してそれぞれ適切な露光時間を独立に設定して露光を行い、露光後の各領域の画素データをそれぞれ独立に読み出すことができるので、撮像領域に、それぞれ輝度の大きく異なる2つの撮像対象が存在するようなときに、これらの存在する領域に合わせて、それぞれが別の領域に含まれるように露光領域を2つの領域に分割し、それぞれの領域毎に撮像対象の輝度に合わせた適切な露光時間を設定して露光を行うことができるので、輝度差のある2つの撮像対象が明瞭に撮像された撮像画像を得ることが可能である。
上記第1の実施形態において、センサセルアレイ58は、形態1又は2の光電変換部に対応し、映像処理系12における通信器12aを介して、第1走査領域及び第2走査領域に対する読出し開始ライン番号及び走査領域幅を撮像素子100の内部レジスタに書き込む処理、並びに開始ライン番号及び走査領域幅の情報に基づく読出しラインスキャナ54の第1読出しカウンタ54a及び第2読出しカウンタ54bのカウント値の制御処理は、形態1又は2の領域分割手段に対応する。
また、上記第1の実施形態において、撮像処理系10の領域別走査対応型撮像素子100における基準タイミング発生器50、読出しラインスキャナ54、リセットラインスキャナ56、駆動パルス発生器52、第1水平転送部60及び第2水平転送部62によるセンサセルアレイ58の第1走査領域及び第2走査領域からの画素信号の読み出し処理は、形態1、2及び3のいずれか1の画素信号読出手段に対応する。
また、上記第1の実施形態において、第1読出しカウンタ54a及び第2読出しカウンタ54bにおける第1垂直同期信号及び第2垂直同期信号の生成処理は、形態3の分割領域基準信号生成手段に対応し、フレームメモリアクセス部12f及びフレームメモリ14による、外部装置(システムコントローラなど)への2系統での撮像画像データの出力処理は、形態2又は8の撮像画像データ出力手段に対応する。
〔第2の実施形態〕
以下、本発明に係る撮像装置の第2の実施形態を、図面に基づいて説明する。図10及び図11は、本発明に係る撮像装置1の第2の実施形態を示す図である。
本実施形態は、撮像装置1の露出時間制御部(ALC)12cにおいて、第1走査領域及び第2走査領域の画素データに対する評価結果に基づき、露光時間の制御だけでなく、第1走査領域又は第2走査領域の走査領域幅の制御を行う点と、リセットラインスキャナ56において、ALC12での走査領域幅の変更後の露光時間の調整を行う点と、フレームメモリアクセス部14fにおいて、第1走査領域の画素データと第2走査領域の画素データとを合成して撮像画像データを生成し、当該撮像画像データを1系統で外部システムコントローラに出力する点とが上記第1の実施形態と異なる。更に、本実施形態においては、センサセルアレイ58の露光領域を分割することなく全領域に対して1つの露光時間を設定して通常の走査を行う全領域走査モードと、上記第1の実施形態と同様にセンサセルアレイ58の露光領域を2つの領域に分割して各領域毎に露光時間を設定してそれぞれ独立に走査を行う領域別走査モードとの2つの走査モードを備えている点も上記第1の実施形態と異なる。なお、本実施形態の撮像装置は、上記第1の実施形態の撮像装置1と一部動作が異なるが同様の構成となる。従って、以下、上記第1の実施形態と異なる点のみを説明する。
本実施形態の撮像装置1は、撮像対象における注目領域の位置が変化したり、注目領域の範囲が変化したりした場合に、分割した2つの領域の範囲をこれら注目領域の変化に応じて適切な範囲に変更することができる。注目領域の変化は、例えば、所定輝度値以下の画素データが多く存在する画像部分を注目領域とすると、ALC12cにおいて、第1のデータ処理部12d及び第2のデータ処理部12eからの第1走査領域及び第2走査領域の画素データに基づき、各画素データの示す輝度値が所定輝度値以下か否かを判定すると共に、所定輝度値以下の画素データの総数の増加量が所定量以上か否かを判定することで行う。本実施の形態においては、所定輝度値以下の画素データが多く存在する画像部分を注目領域とし、所定輝度値よりも大きい輝度値の画素データが多く存在する領域を通常領域とし、センサセルアレイ58の露光領域を、注目領域及び通常領域の2つの領域に分割する。そして、通常領域において、所定輝度値以下の画素データの総数が、所定量以上増加した場合に、注目領域の範囲に変化があった(広がった)と判断する。
ALC12は、注目領域に変化があると、この変化に応じて、当該変化によって範囲が拡大した部分が注目領域内に収まるように適切な走査領域幅を計算し、当該計算した走査領域幅の情報を撮像素子100の内部レジスタに書き込む命令を、通信器12aを通じて、撮像素子100に与える。本実施形態においては、通常領域を第1走査領域とし、注目領域を第2走査領域とする。また、本実施の形態においては、第2走査領域の走査領域幅が広がっても、第1走査領域の走査領域幅は狭めず、第2走査領域の増加分を第1走査領域との重複領域として扱う。また、重複領域の情報をリセットラインスキャナ56のリセット制御レジスタ56hに書き込む命令を、通信器12aを通じて、撮像素子100に与える。
リセットラインスキャナ56は、リセット制御レジスタ56hに格納された、第1走査領域における前記重複領域の画素のライン番号の情報に基づき、第1走査領域の重複領域に対する第1リセットラインの走査を実行させないように制御する。つまり、重複領域に対しては、第1リセットレジスタの値を無効(0)に書き換えるダミー処理を行う。
リセット制御レジスタ56hは、第1走査領域又は第2走査領域における重複領域の画素のライン番号の情報を格納するレジスタである。
第1リセットアドレスデコーダ56cは、リセット制御レジスタ56hによって、第1リセットレジスタ56bに格納されたリセットライン番号が「0」に書き換えられると、第1走査領域に対する全ライン番号を無効にする。この処理は、重複領域の幅分行われることになり、第1走査領域における重複部分に対しては第1リセットラインの走査が行われないことになる。つまり、重複領域においては、第2走査領域に対して設定された露光時間で露光が行われることになり、この重複領域に対して第1読出しラインの走査で取得した画素データは第1走査領域の露光時間で露光されていないため破棄することになる。あるいは、読出しラインスキャナ54を制御して、第1読出しラインの走査による重複部分に対する画素信号の読出し動作自体をさせないように制御しても良い。
第2リセットアドレスデコーダ56fも第1リセットアドレスデコーダ56cと同様に、リセット制御レジスタ56hによって、第2リセットレジスタ56eに格納されたリセットライン番号が「0」に書き換えられると、第2走査領域に対する全ライン番号を無効にする。この処理は、重複領域の幅分行われることになり、第2走査領域における重複部分に対しては第2リセットラインの走査が行われないことになる。つまり、重複領域においては、第1走査領域に対して設定された露光時間で露光が行われることになり、この重複領域に対して第2読出しラインの走査で取得した画素データは第2走査領域の露光時間で露光されていないため破棄することになる。あるいは、読出しラインスキャナ54を制御して、第2読出しラインの走査による重複部分に対する画素信号の読出し動作自体をさせないように制御しても良い。
以下、図10に基づき、領域幅の変更による重複領域が発生した場合の撮像素子100の露光時間の制御方法、及びセンサセルアレイ58からの画素信号の読み出し方法について説明する。ここで、図10は、領域幅の変更による重複領域が発生した場合の撮像素子100の露光時間の制御方法、及びセンサセルアレイ58からの画素信号の読み出し方法を示す図である。
図10の例では、第1走査領域と第2走査領域とに2ライン分の重複領域がある。ここでは、第2走査領域をの走査領域幅を広げたことで2ライン分の重複領域が発生したこととする。また、第1走査領域及び第2走査領域に対しては、ALC12cによって、最適な露光時間が設定されている状態であるとする。
上記第1の実施形態で説明したように、露光時間は、読出しラインの読出し位置と、これに対するリセットラインのリセット位置との関係によって決定する。つまり、読出しラインの読出しタイミングに対して、目的の露光時間(オフセット量)に応じたライン数の走査期間だけ先行して、読出しラインの読出し位置の画素のラインに対してリセットを行うようにリセットラインの走査を行うことによって、この走査期間分の画素のラインを空けて第1読出しラインがリセットラインを追いかける形で走査を行うようにする。これにより、第1読出しラインは、リセットラインでリセットされたラインに対して、前記露光時間に応じたライン数の走査を経た後に到達することになり、丁度目的の露光時間で露光された電荷群を読み出すことができる。
ここで、第2走査領域の走査領域幅が広がったことにより、第1走査領域の走査領域幅を狭めてしまうと、読出しラインスキャナ54のカウンタの値が変化してしまうため、1フレームの露光期間が変化する。具体的には、走査領域幅が狭まれば露光期間は短くなる。
このようなときに、第1走査領域幅を狭めずに、重複領域に対して上記リセットラインスキャナ56によってダミー処理を行うことで、撮像素子100内のレジスタの値を書き換えることなく第1走査領域の1フレームの露光期間を第2走査領域幅の変更前の状態に維持することが可能である。
つまり、図10に示す重複部分(2ライン)に対して、リセットラインスキャナ56において前述したダミー処理を実行する。
これにより、図10に示す重複領域に対して、第1リセットラインによるリセット動作は実行されず、第2リセットラインによるリセット動作のみが実行される。これにより、重複部分の画素のラインに対しては、第2走査領域に対して設定された第2有効露光時間での露光が行われ、第2読出しラインの走査によって第2有効露光時間で露光された重複部分の画素から画素信号が読み出される。
また、本実施形態の撮像装置1は、フレームメモリアクセス部12fにおいて、外部システムコントローラからの撮像画像データの出力要求を受信すると、フレームメモリ14から第1走査領域の画素データ及び第2走査領域の画素データを読み出し、これら読み出した画素データを合成して撮像画像データを生成する。そして、システムコントローラからの同期信号(ピクセルクロック、水平同期信号及び垂直同期信号)に同期して、前記生成した撮像画像データを1系統でシステムコントローラに出力する。
また、本実施形態の撮像装置1は、外部システムコントローラからの全領域走査モード及び領域別走査モードのいずれかのモードを指示する信号に応じて、走査モードを選択する。領域別走査モードを選択した場合は、上記したように露光領域を2つに分割して各領域毎に独立に走査を行う。
一方、全領域走査モードを選択した場合は、第1走査領域に対する走査領域幅情報を全ライン数分の幅とし、第2走査領域に対する領域幅情報を「0」とする(撮像素子100の内部レジスタに書き込む)。開始ライン番号は、第1走査領域に対する開始ライン番号を有効にし、第1走査領域に対する開始ライン番号は「0」とする。オフセット量も第1オフセットレジスタの値のみを用いる。
そして、読出しラインスキャナ54及びリセットラインスキャナ56は、第1走査領域に対する読出しライン選択信号及びリセットライン選択信号を生成し、駆動パルス発生器52に出力する。つまり、センサセルアレイ58に対して、第1読出しライン及び第1リセットラインによる走査が行われ、読み出された画素信号は第1水平転送部60を介して第1のAFE102に出力される。第1のAFE102は、画素信号を画素データに変換して第1データ処理部12dに出力し、第1データ処理部12dは、第1のAFE102からの画素データを、センサセルアレイ58の全露光領域の画像データとして、フレームメモリアクセス部12fを介して、フレームメモリ14に格納する。
次に、図11に基づき、本実施形態の撮像装置1の実際の動作を説明する。ここで、図11は、第2の実施形態の撮像対象画像の一例を示す図である。
まず、システムコントローラにおいて、撮像装置1に対して領域分割走査モードでの動作を指示する。これにより、撮像装置1は、領域分割走査モードで動作することになる。
以下、図11に示す、路面及び風景を撮像対象とし、撮像装置1を車載カメラとして用いた場合の動作を説明する。図11の例では、路面(センターライン含む)、ガードレール、風景が監視領域に含まれており、センターライン、ガードレール、他の車両を監視対象とする。従って、図11に示すように、まず、監視領域における監視対象の様子が解る路面及びガードレールを含んだ注目領域範囲(監視領域の下側の領域)と、この領域以外の領域範囲(主に風景)である監視領域の上側の領域との2つの領域に露光領域を分割するように、それぞれの領域の開始ライン番号及び走査領域幅を決定する。ここでは、監視領域の上側の領域(風景)を第1走査領域とし、監視領域の下側の領域を第2走査領域とする。上記第1の実施形態と同様に、露光領域が640画素×480画素のサイズで、第1走査領域を上側640画素×200画素とし、第2走査領域を下側640画素×280画素とする。つまり、露光領域におけるライン番号1〜200の画素のラインが第1走査領域となり、ライン番号201〜480の画素のラインが第2走査領域となる。従って、第1走査領域の開始ライン番号は「1」、走査領域幅は「200」となり、第2走査領域の開始ライン番号は「201」、走査領域幅は「280」となる。
図11の例では、第1走査領域は、撮像範囲に空などの明るい風景を多く含むため輝度が比較的高く、第2走査領域は、撮像範囲の大部分を路面が占めるため輝度が比較的低くなる。
また、撮像装置1は、車載カメラとして用いられているため、撮像対象画像は車両の移動によりその内容が刻々と変化する。従って、ALC12cは、第1データ処理部12d及び第2データ処理部12eから出力される画素データに基づき、第1走査領域及び第2走査領域の各画素データの示す輝度値と第1輝度閾値及び第2輝度閾値とをそれぞれ比較し、第1走査領域において第1輝度閾値以下となる画素データの総数がいくつ増加したかをチェックすると共に、第2走査領域において第2輝度閾値以上となる画素データの総数がいくつ増加したかをチェックする。そして、各増加量と増加閾値とを比較して、この比較結果に基づき撮像対象画像の内容に大きな変化があるか否かを判定する。具体的には、前記増加量が増加閾値以上であった場合に、撮像対象画像の内容が大きく変化したと判定する。そして、大きな変化があった場合は、該当の走査領域範囲の変更処理を実行する。
例えば、第1走査領域において、第1輝度閾値以下となる画素データが増加閾値以上増加した場合は、車両の移動によって輝度の比較的低い路面の画像が第1走査領域内に食い込んでしまったと予想できるので、この場合は、第2走査領域の範囲を広げて、食い込んだ部分が第2走査領域に含まれるようにする。つまり、ALC12cは、第1走査領域における第1輝度閾値以下となる画素データの位置情報から、第2走査領域の範囲(走査領域幅)をどれだけ広げれば良いかを計算する。このようにして計算された走査領域幅の情報は、通信器12aを通じて、撮像素子100の内部レジスタに書き込まれる。これにより、図11に示すように、領域幅の変更前は境界1できれいに2つに分割されていた第1走査領域と第2走査領域が、第2走査領域の範囲だけ境界2の位置まで拡大される。つまり、図11に示す境界1と境界2との間の画像部分が、第1走査領域と第2走査領域との重複領域となる。これにより、注目領域の範囲が変化しても、この変化に応じて該当する走査領域の範囲を自動的に変更し、この範囲の変化した画像の撮像に対して適切な露光時間での露光を行うことができる。
一方、リセットラインスキャナ56では、上記重複領域に対応する第1走査領域の画素ラインに対して、第1リセットラインの走査によるリセット動作を実行させないように制御する。例えば、重複部分がライン番号180〜200であれば、リセット制御レジスタ56hにライン番号180〜200の情報を書き込む。そして、第1読出しカウンタ54aのカウント値がライン番号180〜200を示す値となる範囲では、リセット制御レジスタ56hによって、第1リセットレジスタの値を「0」に書き換えて、第1走査領域の全画素ラインに対して第1リセットラインを無効とする。これにより、第1走査領域に対する第1リセットラインによるリセット動作は、ライン番号180〜200の画素ラインに対しては実行されなくなる。従って、第1走査領域の露光期間は、第2走査領域幅の変更前の状態のまま維持され、且つ領域幅を狭める処理も不要となる。
このように、本実施形態の撮像装置1では、1つのセンサセルアレイ58の露光領域を、2つの領域に分割し、各領域に対してそれぞれ適切な露光時間を独立に設定して露光を行い、露光後の各領域の画素データをそれぞれ独立に読み出すことができるので、撮像領域に、それぞれ輝度の大きく異なる2つの撮像対象が存在するようなときに、これらの存在する領域に合わせて、それぞれが別の領域に含まれるように露光領域を2つの領域に分割し、それぞれの領域毎に撮像対象の輝度に合わせた適切な露光時間を設定して露光を行うことができるので、輝度差のある2つの撮像対象が明瞭に撮像された撮像画像を得ることが可能である。
また、各領域内の撮像対象の変化(位置、サイズなど)に応じて各領域の範囲を適切な範囲に自動的に変更し、特に、注目する撮像対象が常に適切な露光時間で露光されるように制御することが可能である。
また、走査領域の範囲を変更しても、範囲の狭まった方の走査領域の露光期間を変更前の状態に維持することが可能であり、これにより撮像装置100内のレジスタの書き換え等を行う必要がなくなる。
また、全領域走査モード及び領域別走査モードの2つのモードから任意のモードを選択して動作させることが可能であり、撮像対象の内容や撮像装置1の用途に応じてこれらを使い分けることができる。
また、第1走査領域及び第2走査領域の画素データを合成して撮像画像データを生成し、当該生成した撮像画像データを1系統で外部装置に出力することが可能である。
上記第2の実施形態において、センサセルアレイ58は、形態1、2及び9のいずれか1の光電変換部に対応し、映像処理系12における通信器12aを介して、第1走査領域及び第2走査領域に対する読出し開始ライン番号及び走査領域幅を撮像素子100の内部レジスタに書き込む処理、並びに開始ライン番号及び走査領域幅の情報に基づく読出しラインスキャナ54の第1読出しカウンタ54a及び第2読出しカウンタ54bのカウント値の制御処理は、形態1、2、4及び9のいずれか1の領域分割手段に対応する。
また、上記第1の実施形態において、撮像処理系10の領域別走査対応型撮像素子100における基準タイミング発生器50、読出しラインスキャナ54、リセットラインスキャナ56、駆動パルス発生器52、第1水平転送部60及び第2水平転送部62によるセンサセルアレイ58の第1走査領域及び第2走査領域からの画素信号の読み出し処理は、形態1、2、3及び9のいずれか1の画素信号読出手段に対応する。
また、上記第1の実施形態において、第1読出しカウンタ54a及び第2読出しカウンタ54bにおける第1垂直同期信号及び第2垂直同期信号の生成処理は、形態3の分割領域基準信号生成手段に対応し、フレームメモリアクセス部12f及びフレームメモリ14による、第1走査領域及び第2走査領域の画素データを合成して撮像画像データを生成し、外部装置(システムコントローラなど)に1系統での撮像画像データを出力する処理は、形態2又は7の撮像画像データ出力手段に対応する。
なお、上記第1及び第2実施形態においては、センサセルアレイ58の露光領域を2分割する例を説明したが、これに限らず、3分割以上できる構成としても良い。この場合は、それぞれの領域から独立で画素信号を読み出すために、水平転送部、AFE、読出しラインスキャナ、リセットラインスキャナ、データ処理部などを3分割以上に対応させる必要がある。
また、上記第2の実施形態においては、走査領域の範囲を変更するときに、一方の範囲を広げても他方の範囲を狭めない構成とし、且つリセットラインスキャナ56でダミー処理を行って露光期間の調整をする構成としたが、これに限らず、一方の範囲を広げたら他方の範囲を狭め、各領域の領域範囲の変更を撮像素子100に通知し、読出しラインスキャナ54及びリセットラインスキャナ56で変更後の開始ライン番号及び走査領域幅情報に基づき変更後の各領域に対して改めて処理を行う構成としても良い。
また、上記第1及び第2の実施形態においては、第1走査領域及び第2走査領域共に、設定された有効露光時間で露光された画素から画素信号を読み出す構成としたが、これに限らず、例えば、注目領域に動きのある被写体が含まれるようなときに、その走査領域に対しては、非破壊読出し方式を用いて複数種類の露光時間で露光された画素信号を読出すようにして、注目領域に対しては多段露光を行うような構成としても良い。
本発明に係る撮像装置1の概略構成を示すブロック図である。 撮像装置1の内部構成を示すブロック図である。 AFE(Analog Front End)102の内部構成を示す図である。 領域別走査対応型撮像素子100の内部構成を示すブロック図である。 読出しラインスキャナ54の内部構成を示す図である。 リセットラインスキャナ56の内部構成を示す図である。 センサセルアレイ58の詳細構成を示す図である。 撮像素子100のセンサセルアレイ58における各画素のライン毎の露光、画素信号の読み出し及び蓄積電荷のリセット動作の一例を示す図である。 第1の実施形態の撮像対象画像の一例を示す図である。 領域幅の変更による重複領域が発生した場合の撮像素子100の露光時間の制御方法、及びセンサセルアレイ58からの画素信号の読み出し方法を示す図である。 第2の実施形態の撮像対象画像の一例を示す図である。
符号の説明
1は撮像装置、10は撮像処理系、12は映像処理系(DSP)、14はフレームメモリ、100は領域別走査対応型撮像素子、102は第1のAFE、104は第2のAFE、50は基準タイミング発生器、52は駆動パルス発生器、54は走査ラインスキャナ、56はリセットラインスキャナ、58はセンサセルアレイ、60は第1水平転送部、62は第2水平転送部、54aは第1読出しカウンタ、54bは第1読出しアドレスデコーダ、54cは第2読出しカウンタ、54dは第2読出しアドレスデコーダ、54eはORロジック、56aは第1飽和処理器・加算器、56bは第1リセットレジスタ、56cは第1リセットアドレスデコーダ、56dは第2飽和処理器・加算器、56eは第2リセットレジスタ、56fは第2リセットアドレスデコーダ、56gはORロジック、58aはセンサセル、12aは通信器、12bはタイミング制御器、12cは露出時間制御部(ALC)、12dは第1データ処理部、12eは第2データ処理部、12fはフレームメモリアクセス部

Claims (7)

  1. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光
    電変換部と、前記各光電変換素子の露光時間の制御を行う電子シャッタ機能とを備えた撮
    像素子を有する撮像装置であって、
    前記光電変換部の露光領域を複数の領域に分割する領域分割手段と、
    前記複数の領域の各領域毎に、前記電子シャッタ機能で制御する露光時間を設定する露
    光時間設定手段と、
    前記光電変換部の前記各領域における前記光電変換素子の構成する各画素から、各領域
    毎に設定された露光時間の露光により蓄積された電荷から構成される画素信号をそれぞれ
    独立に読み出す画素信号読出手段と、
    前記読出手段によって前記各領域から読み出された画素信号から構成される画素データ
    に基づき、撮像画像データを出力する撮像画像データ出力手段と、
    前記複数の領域における隣り合う領域間で重複する領域部分に対し、一方の領域におけ
    る画素信号の読出処理において所定のダミー処理を実行して、前記隣り合う領域の露光期
    間を調整する露光期間調整手段と、を備えることを特徴とする撮像装置。
  2. 前記露光領域における前記分割された各領域の範囲を指定する基準信号を生成する分割
    領域基準信号生成手段を備えることを特徴とする請求項記載の撮像装置。
  3. 前記領域分割手段によって、前記露光領域を、注目する被写体を含む領域と含まない領
    域とに分割したときに、前記各領域から読み出される画素信号から構成される画素データ
    に基づき、前記注目する被写体を含む領域の範囲を、当該注目する被写体の変化に応じて
    自動的に変更する領域範囲変更手段を備えることを特徴とする請求項又は請求項記載
    の撮像装置。
  4. 前記所定のダミー処理は、前記重複する領域に対する各画素の蓄積電荷を空にするリセ
    ット動作の制御処理を含み、
    前記リセット動作の制御処理は、前記重複する領域の一方のリセット動作を実行し、他
    方のリセット動作を実行させない処理であることを特徴とする請求項記載の撮像装置。
  5. 前記撮像画像データ出力手段は、前記各領域毎に読み出された画素信号から構成される
    画素データを合成して撮像画像データを生成し、当該生成した撮像画像データを出力する
    ことを特徴とする請求項乃至請求項のいずれか1項に記載の撮像装置。
  6. 前記撮像画像データ出力手段は、前記各領域毎に読み出された画素信号から構成される
    画素データを、各領域毎に別々に出力することを特徴とする請求項乃至請求項のいず
    れか1項に記載の撮像装置。
  7. 前記光電変換部の露光領域全体に対して、前記露光時間設定手段で露光時間を設定し、
    当該設定された露光時間で露光された各画素から前記画素信号読出手段で画素信号の読み
    出しを行う通常読出動作モードと、前記光電変換部の露光領域を前記領域分割手段で複数
    に分割し、当該分割後の各領域に対して、前記露光時間設定手段で前記各領域毎に露光時
    間を設定し、当該設定された各露光時間で露光された各画素から前記画素信号読出手段で
    画素信号の読み出しを行う分割読出動作モードとを備えることを特徴とする請求項1乃至
    請求項6のいずれか1項に記載の撮像装置。
JP2006002145A 2006-01-10 2006-01-10 撮像装置 Expired - Fee Related JP4792976B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006002145A JP4792976B2 (ja) 2006-01-10 2006-01-10 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006002145A JP4792976B2 (ja) 2006-01-10 2006-01-10 撮像装置

Publications (2)

Publication Number Publication Date
JP2007184814A JP2007184814A (ja) 2007-07-19
JP4792976B2 true JP4792976B2 (ja) 2011-10-12

Family

ID=38340503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006002145A Expired - Fee Related JP4792976B2 (ja) 2006-01-10 2006-01-10 撮像装置

Country Status (1)

Country Link
JP (1) JP4792976B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008003800A1 (de) * 2008-01-10 2009-07-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bilderfassung für Kraftfahrzeuge
JP5887840B2 (ja) * 2011-11-02 2016-03-16 株式会社リコー 画像処理装置
JP5860304B2 (ja) * 2012-02-23 2016-02-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
EP3490247B1 (en) * 2012-03-30 2022-09-07 Nikon Corporation Imaging unit and imaging apparatus
JP6155976B2 (ja) * 2013-08-28 2017-07-05 株式会社ニコン 撮像素子および撮像装置
KR101637637B1 (ko) * 2014-01-06 2016-07-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 비디오 센서 시스템의 영역 별 자동 노출 방법 및 그 장치
CN106537892B (zh) 2014-05-29 2021-01-05 株式会社尼康 摄像装置及车辆
JP6380986B2 (ja) * 2015-03-12 2018-08-29 富士フイルム株式会社 撮影装置および方法
JP6498493B2 (ja) * 2015-03-27 2019-04-10 オリンパス株式会社 画像撮像装置、画像撮像装置の制御方法および画像処理装置の制御プログラム
JP6771944B2 (ja) * 2016-04-27 2020-10-21 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP6402806B2 (ja) * 2017-06-08 2018-10-10 株式会社ニコン 撮像装置
JP6642641B2 (ja) * 2018-07-11 2020-02-05 株式会社ニコン 撮像装置
JP2019132847A (ja) * 2019-02-28 2019-08-08 株式会社ニコン 撮像装置
CN117336623B (zh) * 2023-11-24 2024-02-20 上海芯歌智能科技有限公司 机器视觉测量系统与传感器芯片模拟参数调整方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3832902B2 (ja) * 1996-08-30 2006-10-11 本田技研工業株式会社 半導体イメージセンサ
JP4665422B2 (ja) * 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
JP2006324834A (ja) * 2005-05-18 2006-11-30 Hitachi Ltd 撮像装置及び撮像方法

Also Published As

Publication number Publication date
JP2007184814A (ja) 2007-07-19

Similar Documents

Publication Publication Date Title
JP4792976B2 (ja) 撮像装置
JP4888081B2 (ja) 撮像装置、撮像方法、撮像システム及び画像処理装置
JP4154157B2 (ja) 撮像装置
JP2007194687A (ja) 撮像装置
EP2352279B1 (en) Multi-step exposure method using electronic shutter and photography apparatus using the same
JP4998232B2 (ja) 撮像装置及び映像記録装置
JP5655626B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4998056B2 (ja) 撮像装置、撮像システム及び撮像方法
JPH08124083A (ja) 移動体撮影装置
JP5167094B2 (ja) 撮像装置及び撮像方法
JP2007281555A (ja) 撮像装置
US20080136931A1 (en) Image correction apparatus, method thereof and electronics device
JP2007235893A (ja) 撮像装置及び固体撮像装置の制御方法
JP6478703B2 (ja) 撮像装置及び撮像システム
JP2020108022A (ja) 撮像装置、撮像システム、移動体及び撮像装置の制御方法
JP3848023B2 (ja) 動き適応型映像高感度化装置
JP4329677B2 (ja) 動き検出装置
JP2021082934A (ja) 撮像装置及び撮像システム
JP6141129B2 (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
JP2006319784A (ja) 画像処理装置および撮像装置
JP2003304453A (ja) 撮像装置
JP2019114956A (ja) 画像処理装置、撮像システム、移動体
JPH10173988A (ja) 電子スチルカメラ
JP3123884B2 (ja) 固体撮像装置
JP5533059B2 (ja) 撮像装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070405

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110711

R150 Certificate of patent or registration of utility model

Ref document number: 4792976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees