JP4984915B2 - 撮像装置、撮像システム及び撮像方法 - Google Patents

撮像装置、撮像システム及び撮像方法 Download PDF

Info

Publication number
JP4984915B2
JP4984915B2 JP2007014722A JP2007014722A JP4984915B2 JP 4984915 B2 JP4984915 B2 JP 4984915B2 JP 2007014722 A JP2007014722 A JP 2007014722A JP 2007014722 A JP2007014722 A JP 2007014722A JP 4984915 B2 JP4984915 B2 JP 4984915B2
Authority
JP
Japan
Prior art keywords
specific area
pixel
data
control data
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007014722A
Other languages
English (en)
Other versions
JP2007295525A (ja
Inventor
治久 倉根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2007014722A priority Critical patent/JP4984915B2/ja
Priority to US11/690,986 priority patent/US7834922B2/en
Publication of JP2007295525A publication Critical patent/JP2007295525A/ja
Application granted granted Critical
Publication of JP4984915B2 publication Critical patent/JP4984915B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions

Description

本発明は、光電変換素子からの電荷の読み出しを、破壊読み出し方式及び非破壊読み出し方式を用いて行うことが可能な撮像装置に関する。
近年、移動体に搭載される監視カメラが注目されている。例えば、車に搭載される監視用の車載カメラがある。車載カメラの用途としては、例えば、センターラインやガードレールの検出、車間検出、トンネルの出入り口におけるコントラストの急激な変化の検出などがある。これらの認識結果及び検出結果は、例えば、所定制御対象（例えば、ブレーキ、ステアリング、警報システムなど）の制御部に出力され、制御部は、この検出結果に基づき制御対象を制御して、人間の不注意による事故防止や、突発的な状況変化に対する対応などを行う。
また、車載カメラの用途として、人の目の性能では捉えきれない被写体の状態を検出し、この検出結果に基づき、制御対象の高速制御を行うことが考えられている。
前述の高速制御の例として、高速に移動する車において、前方車のブレーキランプの点灯・消灯の高速検出とブレーキング(自動)、また、突然の飛び出し、突然の飛来物と危険回避(自動)など、その応用が期待される。このような高速に移動する車などの移動体では、一瞬の状態の変化をすぐに捉え（検出し）、機械が自動的にブレーキングや事故の回避動作をしたり、また前方や側方の他車を安定にトラッキングしたりすることで、事前に対象物の動きを予測し、操縦者に警告を促すことが望ましい。
また、従来、ＦＡ（ファクトリーオートメーション）用途で使われるカメラがある。このカメラでは、フレーム間画像（背景）の差分をとり、その差分画像から変化を検出する。しかしながら、車載カメラでは、背景が不特定で常に変化するので高速制御に用いるのは難しい。
さて、近年、安価な高速度カメラの登場により、高速、安定な制御が可能になり、ロボットビジョンなどに応用されている。例えば１／１０００などのフレームレートの撮像を行う。高速フレームレート映像では被写体の動きが殆どなく、前後のフレームで相関が高く、被写体中の目標物（領域画像）の移動量が少ないので、フレーム差分画像の画素レベルが小さくなる。また、動きにより生ずるフレーム差分画像の目標物領域画像のエッジ検出が可能となる（差分画像のエッジ部の幅が小さくなるので）。また、目標物の動き（相対的動き）検出の精度が向上する。これにより、カメラを搭載した機器から目標物を瞬時に検出し、かつその変化(移動)を精度良く検出できる。つまり、高速フレームレート映像の差分処理で、エッジ検出が容易かつ高精度化でき、その結果、目標物の形状の推定が容易となった。更に、目標物の形状変化をより短いサイクルで推定可能である。なお、本応用は、目的が制御であることから、対象物の座標（位置）情報、対象物の形状が重要であり、階調性や広角な画像は必要としない（目標物の領域画像を高速に、かつエッジ部が正確に把握でき形状が認識できることが重要なため）。
一方、車載カメラの目的のひとつに、前述したように、センターライン検出、前方車との車間距離検出などがある。この検出のためには、ある程度Ｓ／Ｎが高く、コントラストの高い画像が必要である。また、搭載が進むドライブレコーダは、事故発生前後の映像を記録しているが、その場合、撮像した画像が、十分視認性の高い必要があり、露光時間を必要とする。すなわち、広角な画像全体を階調性よく取得することが期待されている（綺麗な画像を取得したい）。
このように、車載カメラには、視認性（Ｓ／Ｎ）の高さとマシンビジョンとしての高速性の両方が要求される。
従来、車載カメラの撮像画像から、車両前方や車両側方などの物体を認識する技術として、例えば、特許文献１に記載の物体認識装置がある。
特許文献１の従来技術は、車載カメラによって撮像された画面中の所定の種類の物体を認識するもので、画面から認識対象の物体が存在する範囲を切り出し、この切り出された範囲の画像について認識処理を行うことで処理効率を高めるものである。
特開平７―７８２５８号公報
しかしながら、上記特許文献１の従来技術においては、実施例の記載から、撮像画像として、視認も兼ねた画像を認識処理に用いていることが解る。つまり、被写体を露光量の十分なフレームレート（露光時間）で撮像することになるので、ここで用いられる車載カメラでは、高速制御用の高フレームレートの画像を取得することができない。従って、この従来技術において、高速制御を行うためには、例えば、高速制御用のカメラと、視認用のカメラとの２つのカメラを用いるなどの工夫が必要である。しかし、２つのカメラを用いると、コストや消費電力で問題が生じる恐れがあるため、一つのカメラで実現することが望ましい。しかし、一つのカメラで実現することは、前述の如く、制御の安定のために高速撮影すると、露光量不足から画像のＳ／Ｎが劣化し、その他の用途に使う品質の画像を取得できない。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、移動速度が比較的速い目標物体の検出及び形状抽出が可能な比較的高いフレームレートの画像である高フレームレート画像と、人が認識できる画質の得られる比較的低いフレームレートの通常画像との両者を１つの撮像素子において取得できると共に、前記高フレームレート画像に基づき、比較的速い制御速度（応答速度や検出速度等）を要する制御対象の制御用データを生成可能な撮像装置を提供することを目的とする。
〔形態１〕 上記目的を達成するために、形態１の撮像装置は、
露光した光を電荷に変換して蓄積する複数の光電変換素子から構成される光電変換部と、前記光電変換素子の露光時間を制御する露光時間制御機能とを備えた撮像装置であって、
前記光電変換部の前記光電変換素子の構成する画素から、所定露光時間で露光した結果蓄積した電荷を読み出す第１読出手段と、
前記第１読出手段が、前記光電変換部の所定領域の画素から電荷の読み出しを行っている期間に、前記所定領域のうちの特定領域の画素から、電荷を複数回読み出す第２読出手段と、
前記第１読出手段で読み出した電荷の構成する第１画素データに基づき、画像データを生成する画像データ生成手段と、
前記第２読出手段で複数回読み出した電荷の構成する第２画素データに基づき、所定のデータを生成する所定データ生成手段と、を備えることを特徴としている。
このような構成であれば、第１読出手段によって、前記光電変換部の前記光電変換素子の構成する画素から、所定露光時間で露光した結果蓄積した電荷を読み出すことが可能であり、第２読出手段によって、前記第１読出手段が、前記光電変換部の所定領域の画素から電荷の読み出しを行っている期間に、前記所定領域のうちの特定領域の画素から、電荷を複数回読み出すことが可能である。
また、画像データ生成手段によって、前記第１読出手段で読み出した電荷の構成する第１画素データに基づき、画像データを生成することが可能であり、所定データ生成手段によって、前記第２読出手段で複数回読み出した電荷の構成する第２画素データに基づき、所定のデータを生成することが可能である。
従って、例えば、高速移動体に本発明を適用し、移動体前方の動きのある注目被写体及びその背景から構成される撮像対象を撮像する場合に、この撮像対象に対して、第１読出手段によって、露光領域全体の画素を、例えば、撮像結果の全体内容を視認可能な撮像画像を得るのに十分な長さの長露光時間で露光して、当該露光領域全体の各画素の電荷を読み出すことで長露光時間で露光された撮像対象画像（全体画像）データを得ることができる。
また、前記長露光時間による露光期間中において、前記動きのある注目被写体の領域を含むその周辺領域を特定領域として、当該特定領域の画素に対して、例えば、前記長露光時間よりも短い、複数種類（例えば、５種類など）の露光時間で順次露光される各画素から電荷を非破壊で順次読み出すことで、長露光時間時のフレームレートよりも高速なフレームレートで複数種類の露光時間で露光された特定領域の画像データを得ることができる。
これにより、前記長露光時間で露光された電荷から構成される各画素データから画像データを生成することができるので、視認をするのに十分な露光時間で露光された撮像画像（露光領域全体の画像）を得ることができると共に、前記高フレームレートで取得された電荷から構成される各画素データに基づき所定のデータを生成することができるので、例えば、注目被写体の急接近などの高速な変化を検出して、移動体の駆動部（ブレーキ装置、操舵装置等）を、前記変化に追随して高速に制御することが可能な制御用データを生成することができるという効果が得られる。
また、特定領域の画素データの急激な変化等を監視できるので、常に特定の注目被写体を監視するだけでなく、特定領域内において突発的に生じる（撮像される）領域画像の変化（例えば、上向きライトの照射等による輝度の急激な変化、飛来物の接近、前方を高速に横切る物体、急な上り坂から下り坂になったときの前方障害物など）に対しても、高速に対応して制御用データを生成することが可能である。
ここで、上記「光電変換部」は、例えば、ＣＭＯＳ技術を用いて構成されており、ＣＭＯＳ技術を利用した非破壊読み出し可能な撮像素子としては、閾値変調型撮像素子（例えば、ＶＭＩＳ（Threshold Voltage Modulation Image Sensor））などがある。以下、撮像装置に関する形態、撮像システムに関する形態及び、撮像方法に関する形態においても同様である。
また、上記「制御対象」は、本発明の撮像装置の使用目的に応じて異なり、例えば、車両や船舶等の移動体の危険監視に用いるのであれば、移動体を構成するブレーキ装置、操舵装置、駆動装置（エンジン、モータ等）、警報装置などが制御対象となり、例えば、撮像装置の撮像姿勢の制御などに用いるのであれば、姿勢を制御する装置が制御対象となり、建物の侵入者（泥棒）や、ＡＴＭの不正利用者等の監視に用いるのであれば、警報装置、侵入を通知する装置等が制御対象となる。以下、撮像装置に関する形態、撮像システムに関する形態及び、撮像方法に関する形態においても同様である。
〔形態２〕 また、上記目的を達成するために、形態２の撮像装置は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された構成の光電変換部と、露光時間を制御する電子シャッタ機能とを備えた撮像装置であって、
前記光電変換部の前記光電変換素子の構成する画素から、所定露光時間で露光した結果蓄積した電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段が前記全露光領域から１フレーム分の電荷の読み出しを行っている期間に、前記光電変換部の前記全露光領域のうちの特定領域における前記光電変換素子の構成する画素から、電荷を非破壊読み出し方式で複数回読み出す第２読出手段と、
前記第１読出手段で読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、画像データを生成する画像データ生成手段と、
前記第２読出手段で読み出された前記特定領域に対する露光時間の異なる電荷から構成される第２画素データに基づき、制御用データを生成する制御用データ生成手段と、
前記制御用データを出力する制御用データ出力手段と、を備えることを特徴としている。
このような構成であれば、第１読出手段によって、前記光電変換部の前記光電変換素子の構成する画素から、所定露光時間で露光した結果蓄積した電荷を破壊読み出し方式で読み出すことが可能であり、第２読出手段によって、前記第１読出手段が前記全露光領域から１フレーム分の電荷の読み出しを行っている期間に、前記光電変換部の前記全露光領域のうちの特定領域における前記光電変換素子の構成する画素から、電荷を非破壊読み出し方式で複数回読み出すことが可能である。
更に、画像データ生成手段によって、前記第１読出手段で読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、画像データを生成することが可能であり、制御用データ生成手段によって、前記第２読出手段で読み出された前記特定領域に対する露光時間の異なる電荷から構成される第２画素データに基づき、制御用データを生成することが可能であり、制御用データ出力手段によって、前記制御用データを出力することが可能である。
従って、上記形態１と同様に、例えば、高速移動体に本発明を適用し、移動体前方の動きのある注目被写体及びその背景から構成される撮像対象を撮像した場合に、長露光時間で露光された電荷から構成される各画素データから画像データを生成することができるので、視認をするのに十分な露光時間で露光された撮像画像（露光領域全体の画像）を得ることができる。
更に、前記長露光時間による露光期間中において、前記長露光時間で露光時のフレームレートよりも高速なフレームレートで特定領域から取得される、複数種類の露光時間で露光された電荷から構成される各画素データに基づき制御用データを生成することができる。
以上より、例えば、注目被写体の急接近などの高速な変化を検出して、移動体の駆動部（ブレーキ装置、操舵装置等）などの制御対象を、前記変化に追随して高速に制御することが可能な制御用データを生成することができるという効果が得られる。
また、特定領域の画素データの急激な変化等を監視できるので、常に特定の注目被写体を監視するだけでなく、特定領域内において突発的に生じる（撮像される）領域画像の変化（例えば、上向きライトの照射等による輝度の急激な変化、飛来物の接近、前方を高速に横切る物体、急な上り坂から下り坂になったときの前方障害物など）に対しても、高速に対応して制御用データを生成することが可能である。
ここで、上記「破壊読み出し方式」は、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にするリセット処理を伴うものである。以下、撮像システムに関する形態及び、撮像方法に関する形態においても同様である。
また、上記「非破壊読み出し方式」は、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出すものである。つまり、電荷読み出し時にリセット処理を行わないため、設定された露光時間に至るまで、電荷の蓄積途中において、異なる露光時間に対して何度でも電荷の読み出しを行うことができる。以下、撮像装置に関する形態、撮像システムに関する形態及び、撮像方法に関する形態においても同様である。
また、上記「制御用データ」は、読み出した電荷に対応する画素データそのもの、読み出した画素データを加工したもの（ノイズ除去、差分値等）、読み出した画素データに基づいて抽出又は認識できる情報、当該情報から判断できる判断結果のデータなどとなる。以下、撮像装置に関する形態、撮像システムに関する形態及び、撮像方法に関する形態においても同様である。
〔形態３〕 また、上記目的を達成するために、形態３の撮像装置は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された構成の光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置であって、
前記光電変換部における露光可能な全領域である全露光領域における前記光電変換素子の構成する画素から、所定露光時間で露光した結果蓄積した電荷を、当該電荷の読み出し後に蓄積電荷を空にするリセット処理を行う読み出し方式である破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段が前記全露光領域から電荷の読み出しを行っている期間に、前記光電変換部の前記全露光領域のうちの特定領域における前記光電変換素子の構成する画素から、当該画素に蓄積した電荷を、当該蓄積した電荷を維持した状態で読み出す読み出し方式である非破壊読み出し方式で読み出す第２読出手段と、
前記第１読出手段で読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、画像データを生成する画像データ生成手段と、
前記第２読出手段で読み出された前記特定領域に対する複数種類の露光時間の電荷から構成される第２画素データに基づき、所定制御対象の制御に用いる制御用データを生成する制御用データ生成手段と、
前記制御用データ生成手段で生成した制御用データを出力する制御用データ出力手段と、を備えることを特徴としている。
このような構成であれば、第１読出手段によって、前記光電変換部における露光可能な全領域である全露光領域における前記光電変換素子の構成する画素から、所定露光時間で露光した結果蓄積した電荷を、当該電荷の読み出し後に蓄積電荷を空にするリセット処理を行う読み出し方式である破壊読み出し方式で読み出すことが可能であり、第２読出手段によって、前記第１読出手段が前記全露光領域から電荷の読み出しを行っている期間に、前記光電変換部の前記全露光領域のうちの特定領域における前記光電変換素子の構成する画素から、当該画素に蓄積した電荷を、当該蓄積した電荷を維持した状態で読み出す読み出し方式である非破壊読み出し方式で読み出すことが可能である。
また、画像データ生成手段によって、前記第１読出手段で読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、画像データを生成することが可能であり、制御用データ生成手段によって、前記第２読出手段で読み出された前記特定領域に対する複数種類の露光時間の電荷から構成される第２画素データに基づき、所定制御対象の制御に用いる制御用データを生成することが可能であり、制御用データ出力手段によって、前記制御用データ生成手段で生成した制御用データを出力することが可能である。
従って、上記形態１と同様に、例えば、高速移動体に本発明を適用し、移動体前方の動きのある注目被写体及びその背景から構成される撮像対象を撮像した場合に、長露光時間で露光された電荷から構成される各画素データから画像データを生成することができるので、視認をするのに十分な露光時間で露光された撮像画像（露光領域全体の画像）を得ることができる。
更に、前記長露光時間による露光期間中において、前記長露光時間で露光時のフレームレートよりも高速なフレームレートで特定領域から取得される、複数種類の露光時間で露光された電荷から構成される各画素データに基づき制御用データを生成することができる。
以上より、例えば、注目被写体の急接近などの高速な変化を検出して、移動体の駆動部（ブレーキ装置、操舵装置等）などの制御対象を、前記変化に追随して高速に制御することが可能な制御用データを生成することができるという効果が得られる。
また、特定領域の画素データの急激な変化等を監視できるので、常に特定の注目被写体を監視するだけでなく、特定領域内において突発的に生じる（撮像される）領域画像の変化（例えば、上向きライトの照射等による輝度の急激な変化、飛来物の接近、前方を高速に横切る物体、急な上り坂から下り坂になったときの前方障害物など）に対しても、高速に対応して制御用データを生成することが可能である。
〔形態４〕 更に、形態４の撮像装置は、形態２又は３の撮像装置において、
前記制御用データ生成手段は、前記フレーム毎に、前記複数回の読み出しで得られた複数種類の露光時間の前記第２画素データにおける、同じ画素位置で且つ露光時間の異なる各２つの前記第２画素データの一方の画素値と他方の画素値との差分値である第１差分値を算出する第１差分値算出部を有し、当該第１差分値算出部で算出した第１差分値に基づき前記制御用データを生成することを特徴としている。
このような構成であれば、例えば、現在、電荷の非破壊読み出しの行われている露光時間の１つ前の露光時間で読み出された画素データを、基準データとして保持しておき、現在読み出された画素データから前記基準データを減じてなる差分値（第１差分値）を算出し、この第１差分値に基づき、制御用データを生成することが可能である。
第１差分値からは、注目被写体の輝度レベルの変化が解るので、この輝度レベルの変化から、例えば、注目被写体の位置や動作内容、注目被写体の特定領域内への飛び込み、特定領域画像全体の急激な輝度変化（例えば、眩しい風景の突然の出現）など、注目被写体に関する様々な情報を知ることができる。つまり、これらの情報から所定制御対象に対して適切な制御を行うことができる制御用データを生成することができるので、制御対象に対してより適切な制御を行うことができる制御用データを生成することができるという効果が得られる。
また、光電変換部を構成する各光電変換素子（画素）は、その個々の特性のばらつきに起因する固定パターンノイズを発生するため、非破壊読み出し方式では、読み出した電荷から構成される画素データに、雑音が多く混入される。つまり、差分値を算出することによって、画素データに混入される雑音成分を除去することができるので、より正確な輝度レベルの変化に基づき、注目被写体に関する様々な情報を推定することができるという効果が得られる。
ここで、「固定パターンノイズ」には、例えば、長時間露光時に問題になる暗電流シェーディングや、画素ごとのセンサ感度の違いによって発生するものなどがある。以下、撮像システムに関する形態及び、撮像方法に関する形態においても同様である。
〔形態５〕 更に、形態５の撮像装置は、形態４の撮像装置において、
前記制御用データ生成手段は、現フレームにおいて、前記第１差分値算出部で算出された前記第１差分値に基づき現特定領域画像データを生成する現特定領域画像データ生成部と、前記現特定領域画像データのフレームよりも前のフレームにおいて、前記第１差分値算出部で算出された前記第１差分値に基づき前特定領域画像データを生成する前特定領域画像データ生成部と、前記現特定領域画像データの各画素データの画素値と、前記前特定領域画像データの各画素データの画素値との差分値である第２差分値を算出する第２差分値算出部とを有し、当該第２差分値算出部で算出した第２差分値に基づき前記制御用データを生成することを特徴としている。
このような構成であれば、例えば、現フレームの画像データと、これより前のフレームの画像データとの差分画像（フレーム間の差分画像（第２差分値からなる画像））に基づき、制御用データを生成することが可能である。
従って、注目被写体のフレーム間の輝度レベルの変化から、例えば、注目被写体の位置や形状など、注目被写体に関する様々な情報を知ることができるので、制御対象に対してより適切な制御を行うことができる制御用データを生成することができるという効果が得られる。
〔形態６〕 更に、形態６の撮像装置は、形態５の撮像装置において、
前記制御用データ生成手段は、前記現特定領域画像データ及び前記前特定領域画像データに対して、それぞれ２次元ローパスフィルタを用いたフィルタ処理を施すフィルタ処理部を有し、前記第２差分値算出部において、前記フィルタ処理の施された前記現特定領域画像データの各画素データの画素値と、前記フィルタ処理の施された前記前特定領域画像データの各画素データの画素値との差分値を、前記第２差分値として算出し、当該第２差分値算出部で算出した第２差分値に基づき前記制御用データを生成することを特徴としている。
このような構成であれば、例えば、線形ローパスフィルタなどの２次元ローパスフィルタ（以下、２次元ＬＰＦと称す）によって、特定領域の画像（以下、特定領域画像と称す）内の微妙な凹凸（例えば、路面上の小石等）などの、無視できる大きさの画面中の変化を除去することができるので、例えば、危険回避等に必要な情報をより正確に知ることができるので、制御対象に対してより適切な制御を行うことができる制御用データを生成することができるという効果が得られる。
〔形態７〕 更に、形態７の撮像装置は、形態４乃至６のいずれか１の撮像装置において、
前記制御用データ生成手段は、前記第２差分値の示す輝度値が特定値以上となる画素の数が所定数以上のときに、前記所定制御対象の制御部に前記所定数以上となったことを通知するデータを生成することを特徴としている。
このような構成であれば、例えば、車両に本発明の撮像装置を搭載して前方車両を注目被写体として撮像するようなときに、例えば、特定領域内に前方車両（注目被写体）がいないときや、前方車両と車間距離を保って通常走行をしているときなどは、特定領域画像の前記第２差分値（輝度レベルの変化量に相当）は、比較的少なくなる。一方、例えば、前方車両がブレーキを踏んだときにはブレーキランプの点灯によって、注目被写体画像の輝度レベルが上がるため、前記第２差分値が増加し、また第２差分値が特定の値以上となる画素の総数が増加する。このことから、前方車両の急ブレーキなどの危険な状態を前記第２差分値（輝度レベルの変化）から簡易に検出し、このことを制御部に通知する通知用の制御用データ（例えば、アラームデータ等の異常検知を知らせるデータ）を生成することができる。
つまり、当該生成した制御用データを即座に制御部に送信するようにすることで、危険の接近等（あるいは、それを判断するためのデータ）を即座に制御部に通知することができるので、制御部に制御対象の高速制御を行わせることができるという効果が得られる。
〔形態８〕 更に、形態８の撮像装置は、形態４乃至７のいずれか１の撮像装置において、
前記制御用データ生成手段は、前記複数種類の第２画素データに基づき、前記特定領域で撮像される所定の被写体に関する情報を推定する推定部を有し、当該推定部の推定結果に基づき前記制御用データを生成することを特徴としている。
このような構成であれば、特定領域内の注目被写体に関する情報を推定し、この推定結果に基づき制御用データを生成することができるので、例えば、注目被写体画像の輝度値の変化から注目被写体の動きを推定し、この推定結果に基づき、注目被写体が接近している等の動作内容を示すデータや、危険等を示すアラームデータ等を制御用データとして生成することができる。従って、注目被写体の詳細な状態を高速に推定し、より適切な制御を行うことができる制御用データを生成することができるという効果が得られる。
〔形態９〕 更に、形態９の撮像装置は、形態８の撮像装置において、
前記制御用データ生成手段は、前記特定領域の各画素に対応する画素データが前記第１差分値から構成される差分画像データから、エッジ情報を抽出するエッジ情報抽出部を有し、前記推定部は、前記エッジ情報抽出部で抽出したエッジ情報に基づき前記所定の被写体の形状を推定することを特徴としている。
このような構成であれば、特定領域内から、差分画像のエッジ情報を抽出することが可能となるので、これにより、注目被写体の形状を推定することができる。従って、この形状情報から注目被写体の正確な位置情報を推定したり、形状情報から解る形状変化から注目被写体の正確な動作内容を推定したりするなど、注目被写体に関する様々な情報を推定することができるという効果が得られる。
ここで、エッジ情報とは、画像における輝度が急激に変化する箇所の輝度変化を示す情報である。例えば、特定領域における注目被写体画像とその背景画像との境界部分などは急激な輝度変化が生じる。このエッジ情報から構成される画像は、注目被写体画像などの輪郭を形成する。また、エッジ情報（輝度の変化値）は、微分演算を利用することで算出できる。微分には、グラディエント (１次微分) とラプラシアン (２次微分)と がある。しかし、デジタル画像からエッジ情報を抽出する場合、デジタル画像は連続ではないため、厳密には微分演算が行えない。そこで、隣接する画素の微分値の近似値を差分により算出する必要がある。隣接する画素の差分は、微分パラメータを用いて画素に重み付けをすることにより算出できる。この差分値が隣接する画素の微分値の近似値となる。
〔形態１０〕 更に、形態１０の撮像装置は、形態８又は９の撮像装置において、
前記エッジ情報抽出部は、前記画像データからエッジ情報を抽出すると共に、前記特定領域の各画素の画素データが前記第１差分値から構成される差分画像データからエッジ情報を抽出し、前記推定部は、前記エッジ情報抽出部で抽出したエッジ情報に基づき前記所定の被写体の形状を推定することを特徴としている。
このような構成であれば、撮像内容を正確に視認できる画像のエッジ情報と、高速なサンプリングで得られた差分画像のエッジ情報とから注目被写体の形状を推定することができるので、より正確に注目被写体の形状を推定することができるという効果が得られる。
〔形態１１〕 更に、形態１１の撮像装置は、形態９又は１０の撮像装置において、
前記制御用データ生成手段は、前記所定の被写体の形状の推定結果に基づき、当該所定の被写体の形状変化の大きさが特定値以上又は特定値未満になったときに、前記所定制御対象の制御部に前記特定値以上又は特定値未満になったことを通知するデータを生成することを特徴としている。
このような構成であれば、例えば、車両に本発明の撮像装置を搭載して前方車両を注目被写体として撮像するようなときに、注目被写体の形状変化の大きさが、注目被写体のサイズが大きくなる方向に特定値以上となったときに、その注目被写体は、撮像装置に近い位置にある可能性が高いので、このようなときに、そのことを制御部に通知するデータ（例えば、アラームデータ等の異常検知を知らせるデータ）を生成することができる。
つまり、当該生成した制御用データを即座に制御部に送信するようにすることで、危険の接近等（あるいは、それを判断するためのデータ）を即座に制御部に通知することができるので、制御部に制御対象の高速制御を行わせることができるという効果が得られる。
〔形態１２〕 更に、形態１２の撮像装置は、形態１乃至１１のいずれか１の撮像装置において、
当該撮像装置を搭載する移動体の速度情報に基づき、前記特定領域の幅を設定する特定領域幅設定手段を備えることを特徴としている。
このような構成であれば、当該撮像装置を搭載する移動体の速度情報に基づき、前記特定領域の幅を設定することが可能である。
従って、例えば、移動体の速度が特定速度以上のときに、特定領域の幅を、例えば、移動体の速度が特定速度よりも遅いときの幅よりも狭くすることで、第２読出手段が電荷をより高速にサンプリング（より高フレームレートで電荷を読み出し）できるようにすることが可能である。つまり、移動体の速度が上がることによって、注目被写体との相対速度が上がるため、より高速に画素データの取得及び注目被写体に関する情報の推定等を行う必要があるので、特定領域の幅を狭めることによって、電荷を読み出す画素数を減少させてフレームレートを高速化（画素データの取得速度を高速化）すると共に、差分値の計算処理、エッジの抽出処理、２次元ＬＰＦ処理などの制御用データの生成処理に必要な処理の処理量を低減することで各処理を高速化し、注目被写体の高速な変化に追従できるようにすることができるという効果が得られる。また、移動体の速度が特定速度よりも遅い場合は、その速度に応じて、特定領域幅を、例えば、当該速度よりも速い場合に比して広い幅に設定することで、特定領域内に注目被写体を捉えやすくする（広範囲に監視する）ことができるという効果が得られる。つまり、特定領域の幅を広げることで、注目被写体が特定領域内に位置されやすくなり、また、注目被写体が形状変化をしても、当該変化後の注目被写体が特定領域からはみ出しにくくなる。
〔形態１３〕 更に、形態１３の撮像装置は、形態１乃至１２のいずれか１の撮像装置において、
前記制御用データ生成手段は、前記複数種類の第２画素データに基づき、前記露光領域中の前記注目被写体の位置を推定するようになっており、
前記推定された位置に基づき、前記特定領域の位置を変更する位置変更手段を備えることを特徴としている。
このような構成であれば、位置変更手段によって、推定された注目被写体の位置に基づき、前記特定領域の位置を変更することが可能である。
従って、注目被写体が移動して特定領域の範囲から飛び出してしまっても、露光領域内に注目被写体が入っていれば、当該注目被写体の動きに追従して特定領域の位置を変更することができるので、特定領域内に注目被写体を捉え続けやすくすることができるという効果が得られる。
〔形態１４〕 一方、上記目的を達成するために、形態１４の撮像システムは、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された構成の光電変換部と、露光時間を制御する電子シャッタ機能とを備えた撮像システムであって、
前記光電変換部の前記光電変換素子の構成する画素から、所定露光時間で露光した結果蓄積した電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段が前記全露光領域から１フレーム分の電荷の読み出しを行っている期間に、前記光電変換部の前記全露光領域のうちの特定領域における前記光電変換素子の構成する画素から、電荷を非破壊読み出し方式で複数回読み出す第２読出手段と、
前記第１読出手段で読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、画像データを生成する画像データ生成手段と、
前記第２読出手段で読み出された前記特定領域に対する露光時間の異なる電荷から構成される第２画素データに基づき、制御用データを生成する制御用データ生成手段と、
前記制御用データを出力する制御用データ出力手段と、を備えることを特徴としている。
このような構成であれば、上記形態２の撮像装置と同様の作用及び効果が得られる。
ここで、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし（この場合は、形態１と同等となる）、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
〔形態１５〕 また、上記目的を達成するために、形態１５の撮像方法は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された構成の光電変換部と、露光時間を制御する電子シャッタ機能とを備えた撮像装置に用いられる撮像方法であって、
前記光電変換部の前記光電変換素子の構成する画素から、所定露光時間で露光した結果蓄積した電荷を破壊読み出し方式で読み出す第１読出ステップと、
前記第１読出ステップにおいて前記全露光領域から１フレーム分の電荷の読み出しを行っている期間に、前記光電変換部の前記全露光領域のうちの特定領域における前記光電変換素子の構成する画素から、電荷を非破壊読み出し方式で複数回読み出す第２読出ステップと、
前記第１読出ステップで読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、画像データを生成する画像データ生成ステップと、
前記第２読出ステップで読み出された前記特定領域に対する露光時間の異なる電荷から構成される第２画素データに基づき、制御用データを生成する制御用データ生成ステップと、
前記制御用データを出力する制御用データ出力ステップと、を含むことを特徴としている。
これにより、上記形態２の撮像装置と同等の効果が得られる。
以下、本発明に係る撮像装置の実施の形態を、図面に基づいて説明する。図１〜図１３は、本発明に係る撮像装置１の実施の形態を示す図である。
以下、図１に基づき、本発明に係る撮像装置１を適用した撮像システム３の概略構成を説明する。ここで、図１は、本発明に係る撮像システム３の概略構成を示すブロック図である。なお、本発明に係る撮像システム３は、撮像装置１を移動体に搭載し、移動体前方の注目被写体（目標物）を監視することを目的としている。
撮像システム３は、図１に示すように、１フレーム期間（１回の露光期間）に、センサセルアレイ５６（後述）の全露光領域（全領域）に対する通常露光時間（ユーザ等によって任意に設定される時間）の露光による画像を撮像すると共に、同じ１フレーム期間に、センサセルアレイ５６の特定領域（露光領域の一部から構成）に対する複数種類の露光時間の露光による画像を撮像し、且つ特定領域の撮像画像データに基づき制御用データを生成する撮像装置１と、撮像装置１から通常露光時間の撮像画像データを取得し、当該撮像画像データの画像を表示したり、当該撮像画像データを記録保持したり、撮像装置１から制御用データを取得し、当該制御用データに基づき制御対象を制御したりするホストシステム２とを含んで構成される。
撮像装置１は、図１に示すように、通常露光時間の露光期間において、センサセルアレイ５６（後述）の全露光領域における通常露光時間で露光された各画素のラインから破壊読み出し方式で画素信号を読み出すと共に、特定領域における複数種類の露光時間（本実施の形態においては、いずれも通常露光時間以下の時間で且つ重複無し）で露光された各画素のラインから非破壊読み出し方式によって各種類毎の画素信号を読み出し、これら読み出した画素のライン毎の画素信号の画素データ（デジタルデータ）を順次出力する領域走査対応撮像処理系１０（以下、撮像処理系１０と称す）と、領域走査対応撮像処理系１０から出力された、全露光領域の各画素からの通常露光時間の露光に対応する画素データに基づき通常画像データ（視認用画像データ）を生成し、特定領域の各画素からの複数種類の露光時間の露光にそれぞれ対応する画素データに基づき特定領域画像データを生成し、当該生成した特定領域画像データに基づき制御用データを生成する映像処理系１２と、通常画像データ、特定領域画像データなどの各種画像データを記憶するフレームメモリ１４とを含んで構成される。
更に、図２〜図６に基づき、撮像処理系１０の内部構成を説明する。ここで、図２は、撮像処理系１０の内部構成及びホストシステム２の内部構成を示すブロック図である。また、図３は、ＡＦＥ(Analog Front End)１０２の内部構成を示す図である。また、図４は、領域別走査対応型撮像素子１００の内部構成を示すブロック図である。また、図５は、走査ラインスキャナ５４の内部構成を示す図である。また、図６は、センサセルアレイ５６の詳細構成を示す図である。
図２に示すように、撮像処理系１０は、領域別走査対応型撮像素子１００と、第１のＡＦＥ１０２と、第２のＡＦＥ１０４とを含んで構成される。
領域別走査対応型撮像素子１００（以下、撮像素子１００と称す）は、被写体からの光を撮像レンズ（不図示）でセンサセルアレイ５６（後述）に集光し、その集光量に応じた電荷をセンサセルアレイ５６の各画素に蓄積させる。また、撮像素子１００は、映像処理系１２のタイミング制御器１２ｂ（後述）から出力される駆動信号（ピクセルクロック、水平同期信号及び垂直同期信号）に基づいて、センサセルアレイ５６の全露光領域の各画素列に蓄積されている電荷群を電圧群に順次変換する。また、後述する走査ラインスキャナ５４の生成する特定領域＿垂直同期信号に基づいて、センサセルアレイ５６の特定領域の各画素列に蓄積されている電荷群を電圧群に順次変換する。
そして、撮像素子１００は、全露光領域に対する通常露光時間で露光された電荷群を変換してなる電圧群は、第１水平転送部５８（後述）の有する、第１ラインメモリＳ及び第１ラインメモリＮを含んで構成される第１出力チャンネル（以下、ＣＨ１と称す）を介して第１のＡＦＥ１０２に順次出力させ、他方の特定領域に対する複数種類の露光時間で露光された電荷群を順次変換してなる電圧群は、第２水平転送部６０（後述）の有する、第２ラインメモリを含んで構成される第２出力チャンネル（以下、ＣＨ２と称す）を介して第２のＡＦＥ１０４に順次出力させる。また、本実施の形態においては、全露光領域に対して、ＣＨ１を介して破壊読み出し方式で各画素からの電荷の読み出しを行い、特定領域に対して、ＣＨ２を介して非破壊読み出し方式で各画素からの電荷の読み出しを行うことによって、電子シャッタ機能による１回の露光期間（通常露光時間）において、全露光領域における通常露光時間での露光時の電荷群と、特定領域における複数種類の露光時間での露光時の電荷群とをそれぞれ独立に読み出すようになっている。
ここで、破壊読み出しと非破壊読み出しの動作の違いを説明する。破壊読み出しは、読み出し後、直ちにリセット処理（センサセル内に蓄積された電荷を空にする処理）を行い、再び読み出し動作を行う。リセット前の読み出し信号（アナログデータ）は第１ラインメモリＳに、リセット直後の読み出し信号は第１ラインメモリＮに格納される。そして、差動増幅器６２（後述）において、対応する画素信号の減算処理を行って信号レベル検出及びノイズ除去を行う。一方、非破壊読み出しは、読み出し後にリセット処理は行わない。読み出し後の信号（アナログデータ）は各々第２ラインメモリに格納される。第１ラインメモリ及び第２ラインメモリにそれぞれ格納された画素信号はピクセルクロックに同期して、第１のＡＦＥ１０２及び第２のＡＦＥ１０４にそれぞれ出力される。
第１のＡＦＥ１０２及び第２のＡＦＥ１０４は、第１水平転送部５８のＣＨ１及び第２水平転送部６０のＣＨ２を介して出力されるそれぞれ異なる露光時間に対応する電圧信号（アナログデータ）を、デジタルデータ（以下、画素データと称す）に変換する。そして、第１のＡＦＥ１０２及び第２のＡＦＥ１０４は、その生成された画素データを映像処理系１２の高速・特定領域画像生成部１２ｄ（後述）及び通常画像生成部１２ｃ（後述）にそれぞれ出力する。
更に、図３に基づき、第１のＡＦＥ１０２の内部構成を説明する。
第１のＡＦＥ１０２は、図３に示すように、クランプ回路１０２ａと、増幅回路１０２ｂと、Ａ／Ｄ変換回路１０２ｃとを含んで構成される。
クランプ回路１０２ａは、撮像素子１００からの画素信号を受信し、それが遮光領域の信号かを検出し、遮光領域と検出された場合はその信号レベルが黒（基準）レベルになるように、入力信号全てに対してクランプ処理を行い、このクランプ処理後の画素信号を増幅回路１０２ｂに出力する。
増幅回路１０２ｂは、クランプ後の画素信号を、Ａ／Ｄ変換器の入力レンジと整合するように増幅し、この増幅後の画素信号をＡ／Ｄ変換回路１０２ｃに出力する。
Ａ／Ｄ変換回路１０２ｃは、増幅回路１０２ｂからの画素信号（アナログデータ）を、画素データ（デジタルデータ）に変換して映像処理系１２へと出力する。
なお、第１のＡＦＥ１０２及び第２のＡＦＥ１０４は、同一の内部構成となるので、第２のＡＦＥ１０４に対する内部構成の説明は省略する。
更に、図４に基づき、撮像素子１００の内部構成を説明する。
撮像素子１００は、図４に示すように、基準タイミング発生器５０と、駆動パルス発生器５２と、走査ラインスキャナ５４と、センサセルアレイ５６と、第１水平転送部５８と、第２水平転送部６０とを含んで構成される。
基準タイミング発生器５０は、映像処理系１２のタイミング制御器１２ｂ（後述）からの垂直同期信号及び水平同期信号に基づき、基準タイミング信号を発生する。
駆動パルス発生器５２は、基準タイミング発生器５０からの基準タイミング信号と、走査ラインスキャナ５４からのリセットライン選択信号及び読出しライン選択信号とに基づき駆動パルスを発生してセンサセルアレイ５６に供給する。
走査ラインスキャナ５４は、各種駆動制御信号に基づき、全露光領域に対するリセットラインの位置を選択してリセットライン選択信号を生成し、また、全露光領域に対する読み出しラインの位置を選択して読み出しライン選択信号を生成する。また、映像処理系１２の通信器・ＤＳＰ動作制御部１２ａ（後述）からの開始ライン番号及び走査領域幅を指定する制御信号に基づき、特定領域に対する読み出しラインの位置を選択して読み出しライン選択信号を生成する。これら生成した選択信号は駆動パルス発生器５２に出力される。
センサセルアレイ５６は、ＣＭＯＳ技術を用いて各画素が構成されており、駆動パルス発生器５２から供給される駆動パルスに基づき、全露光領域における各画素を通常露光時間で露光すると共に、当該露光により各画素に蓄積された電荷を、各画素のライン毎に破壊読み出し方式で読み出して第１水平転送部５８に順次出力する。一方、この通常露光時間の露光期間において、特定領域における複数種類の露光時間における各画素に蓄積された電荷を、各画素のライン毎且つ各露光時間の種類毎に順次非破壊読み出し方式で読み出して第２水平転送部６０に順次出力する。
第１水平転送部５８は、センサセルアレイ５６の全露光領域における通常露光時間に対応する画素信号データ及びリセット直後の画素信号データを、各画素のライン毎にＣＨ１の第１ラインメモリＳ及び第１ラインメモリＮにそれぞれ記憶し、当該記憶した通常露光時間及びリセット直後の画素信号データを、差動増幅器６２（後述）に出力する。
第２水平転送部６０は、センサセルアレイ５６の特定領域における複数種類の露光時間にそれぞれ対応する画素信号データを、各画素のライン毎にＣＨ２の第２ラインメモリに記憶し、当該記憶した画素信号データを第２のＡＦＥ１０４に出力する。
更に、図５に基づき、走査ラインスキャナ５４の内部構成を説明する。
走査ラインスキャナ５４は、図５に示すように、全領域走査カウンタ５４ａと、全領域走査アドレスデコーダ５４ｂと、特定領域走査カウンタ５４ｃと、特定領域走査アドレスデコーダ５４ｄと、ＯＲロジック５４ｅとを含んで構成される。
全領域走査カウンタ５４ａは、基準タイミング発生器５０からの垂直同期信号及び水平同期信号に基づいて、カウントアップ動作を繰り返す。ここで、カウンタの値は、全露光領域の画素のライン番号に対応しており、このライン番号は、全領域走査アドレスデコーダ５４ｂに出力される。
全領域走査アドレスデコーダ５４ｂは、全領域走査カウンタ５４ａからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、有効としたライン位置（アドレス）を示す読み出しライン制御信号をＯＲロジック５４ｅに出力すると共に、この読み出しライン制御信号をリセットライン選択信号として駆動パルス発生器５２に出力する。
特定領域走査カウンタ５４ｃは、通信器・ＤＳＰ動作制御部１２ａからの開始ライン番号と走査領域幅を示す情報に基づき、全領域走査カウンタ５４ａとは非同期にカウントアップ動作を繰り返す。ここで、カウンタの値は、特定領域の画素のライン番号に対応しており、このライン番号は、特定領域走査アドレスデコーダ５４ｄに出力される。また、特定領域走査カウンタ５４ｃは、特定領域における垂直同期信号である特定領域＿垂直同期信号を生成し、当該生成した特定領域＿垂直同期信号を映像処理系１２のタイミング制御器１２ｂに出力する。
特定領域走査アドレスデコーダ５４ｄは、特定領域走査カウンタ５４ｃからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、有効としたライン位置（アドレス）を示す読み出しライン制御信号をＯＲロジック５４ｅに出力する。
ＯＲロジック５４ｅは、全領域走査アドレスデコーダ５４ｂからの読み出しライン制御信号と、特定領域走査アドレスデコーダ５４ｄからの読み出しライン制御信号とに基づき、各ライン毎にＯＲ演算を行い、全露光領域に対する最終的な読み出しライン選択信号を生成すると共に、特定領域に対する最終的な読み出しライン選択信号を生成する。これら生成した読み出しライン選択信号は駆動パルス発生器５２に出力される。
更に、図６に基づき、センサセルアレイ５６の詳細構成を説明する。
図６に示すように、センサセルアレイ５６は、ＣＭＯＳを用いて構成された複数のセンサセル（画素）５６ａをマトリクス状に配設し、各画素列毎に、各画素列を構成するセンサセル５６ａに対して、アドレス線、リセット線及び読出し線が共通に接続され、この３本の制御線を介して各種駆動信号が各画素列を構成するセンサセル５６ａに送信される。そして、アドレス線及び読出し線が有効になると、図６に示す信号線を介して蓄積電荷を第１又は第２水平転送部５８又は６０に転送する構成となっている。このような構成によって、アドレス線により、リセット動作又は読出し動作を行わせる画素列を有効に（選択）し、当該選択信号で選択した画素列の各センサセル５６ａに対して、リセット動作を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力する。
更に、図７に基づき、撮像素子１００の露光時間の制御方法、及びセンサセルアレイ５６からの画素信号の読み出し方法について説明する。ここで、図７は、撮像素子１００のセンサセルアレイ５６における各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。
ここで、本発明の露光時間の制御おいては、まず、センサセルアレイ５６の全露光領域（全走査領域）に対して、全露光領域における各画素のラインの蓄積電荷のクリア（リセット）及び通常露光時間の画素信号の読み出しを行う通常走査ライン（読み出しライン）Ｌ１が設定されると共に、センサセルアレイ５６の特定領域（特定走査領域）に対して、複数種類の露光時間の画素信号の非破壊読み出しを行う高速走査ライン（読み出しライン）Ｌ２が設定される。そして、１回の露光期間（通常露光時間）において、通常露光時間時の画素信号の読み出し及びリセット並びに複数種類の露光時間時の画素信号の非破壊読み出しがそれぞれ独立に実行される。つまり、通常走査ラインＬ１及び高速走査ラインＬ２は、図７に示すように、全露光領域における画素のライン（例えば、第１〜第１８ライン）に順次通常露光時間分の電荷が蓄積されると、通常走査ラインＬ１が各画素のラインの画素信号を順次読み出すと共に、その蓄積電荷を順次クリアするように設定される。一方、特定領域の画素のライン（例えば、第９〜第１２ライン）においては、通常露光時間分の電荷が蓄積される期間中、複数種類の露光時間の各露光時間において各画素のラインの画素信号を非破壊で順次読み出すように高速走査ラインＬ２がそれぞれ設定される。
なお、本実施の形態においては、図７に示すように、全露光領域に対する通常露光時間時の画素信号（アナログデータ）は、ＣＨ１の第１ラインメモリＳに読み出され、一方、リセット直後の画素信号は、ＣＨ１の第１ラインメモリＮに読み出される。そして、これら読み出された画素信号は、図７に示すように、第１水平転送部５８の出力側に設けられた差動増幅器６２に出力され、当該差動増幅器６２において、リセット前及びリセット後のそれぞれ対応する画素信号同士の減算処理を行って信号レベルの検出及びノイズ除去を行う。そして減算処理後の画素信号は、第１のＡＦＥ１０２に出力されそこでデジタルデータ（画素データ）に変換される。一方、特定領域に対する複数種類の露光時間時の画素信号は、ＣＨ２の第２ラインメモリに読み出されて第２のＡＦＥ１０４に出力されそこでデジタルデータ（画素データ）に変換される。
また、上記通常走査ラインＬ１及び高速走査ラインＬ２の画素信号の読み出しタイミングの制御は、図７に示すように、全露光領域に対しては、各画素のライン毎に、通常走査ラインＬ１を順次走査し（図７では上方向）、当該通常走査ラインＬ１においては、蓄積電荷のクリア（リセット）を行うとともに、蓄積電荷のクリア（リセット）前後に通常露光時間の露光が行われた画素の画素信号の読み出しを行う。そして、第１ラインにおいて画素信号の読み出し及びリセットを行い、画素信号がラインメモリから全て外部に読み出された後に、通常走査ラインＬ１の走査が順次行われ、通常走査ラインＬ１が再び第１ラインに到達したときに、丁度通常露光時間が経過するタイミングで通常走査ラインＬ１の走査が行われる。このような手順で、センサセルアレイ５６の全露光領域の画素のラインに対して、各画素のライン毎に、通常露光時の画素信号の読み出し及び蓄積電荷のクリア（リセット）を順次行う。一方、特定領域においては、通常走査ラインＬ１によって蓄積電荷がクリア（リセット）されると、当該クリア（リセット）後の画素のラインに対して、高速走査ラインＬ２において複数種類の各露光時間の露光が行われた画素の画素信号の非破壊読み出しを露光時間の短い順に順次行う。このような手順で、センサセルアレイ５６の特定領域の各画素のラインに対して、ライン毎に、複数種類の露光時間による露光時の画素信号の非破壊読み出しを順次行う。
なお、本実施の形態において、通常走査ラインＬ１の画素信号の読み出しと、高速走査ラインＬ２の画素信号の読み出しを同時に行う為に、例えば、水平同期信号によって設定される読み出し期間（ラインメモリへの転送期間）を２つの期間に分けて、一方の期間で通常走査ラインＬ１によりＣＨ１の第１ラインメモリＳに画素信号を読み出し、他方の期間で高速走査ラインＬ２によりＣＨ２の第２ラインメモリに画素信号を読み出すことで回避するようになっている。
更に、図８〜図１１に基づき、映像処理系１２の内部構成を説明する。ここで、図８は、映像処理系１２の内部構成を示すブロック図である。また、図９は、高速・特定領域画像生成部１２ｄの内部構成を示す図である。また、図１０は、破壊読み出し方式における画素の蓄積電荷量の推移を示す図である。また、図１１は、制御用データ生成部１２ｅの内部構成を示す図である。
映像処理系１２は、図８に示すように、通信器・ＤＳＰ動作制御部１２ａと、タイミング制御器１２ｂと、通常画像生成部１２ｃと、高速・特定領域画像生成部１２ｄと、制御用データ生成部１２ｅと、メモリアクセス調停器１２ｆと、出力読出器１２ｇとを含んで構成される。
通信器・ＤＳＰ動作制御部１２ａは、システムコントローラ２ａ（後述）から、センサセルアレイ５６の特定領域に対する開始ライン番号と走査領域幅とに関する情報を取得し、当該取得した開始ライン番号と走査領域幅とを示す駆動制御信号を、撮像処理系１０の走査ラインスキャナ５４に出力する。また、システムコントローラ２ａから、特定領域の開始位置及び幅が変更されたか否かを示すデータである特定領域スタート位置データを取得し、当該取得した特定領域スタート位置データを、高速・特定領域画像生成部１２ｄに出力する。
タイミング制御器１２ｂは、撮像素子１００の駆動信号（ピクセルクロック、水平同期信号、垂直同期信号）を生成し、それを撮像素子１００の基準タイミング発生器５０に出力する。また、タイミング制御器１２ｂは、水平同期信号、垂直同期信号から、撮像処理系１０のＣＨ１から出力される全露光領域の通常露光時間で露光時の画素信号に対応する、撮像素子１００のセンサセルアレイ５６における画素位置（画素列（ライン）番号、画素番号）が分かるので、その画素列(ライン)番号（以下、「アドレス情報」とも呼ぶ。）を生成し、そのアドレス情報を通常画像生成部１２ｃに出力する。また、タイミング制御器１２ｂは、撮像処理系１０からの特定領域＿垂直同期信号と水平同期信号とから、撮像処理系１０のＣＨ２から出力される特定領域の複数種類の露光時間で露光時の画素信号に対応する、撮像素子１００のセンサセルアレイ５６における画素位置が分かるので、そのアドレス情報を生成し、当該アドレス情報を高速・特定領域画像生成部１２ｄに出力する。
通常画像生成部１２ｃは、撮像処理系１０からの、通常走査ラインＬ１の走査によって読み出された画素信号から生成される画素データ（以下、通常走査画像データと称す）を第１のＡＦＥ１０２を介して取得する。そして、当該取得した通常走査画像データに基づき、視認用の画像である通常画像のデータ（以下、通常画像データと称す）を生成し、当該生成した通常画像データを、メモリアクセス調停器１２ｆを介してフレームメモリ１４に記憶する。
高速・特定領域画像生成部１２ｄは、図９に示すように、データ処理部７０と、差分画像生成部７２とを含んで構成される。
データ処理部７０は、撮像処理系１０からの、高速走査ラインＬ２の走査によって読み出された画素信号から生成される画素データ（以下、高速走査領域画像データと称す）を第２のＡＦＥ１０４を介して取得し、一方、通信器・ＤＳＰ動作制御部１２ａから、特定領域スタート位置データを取得する。そして、特定領域スタート位置データに基づき、特定領域の開始位置及び幅が変更されたときは、特定領域における前記変更後の最初の１走査に対応する高速走査領域画像データに対して無効フラグを対応付ける。一方、スタート位置が変更されていないときは、取得した高速走査領域画像データに対して有効フラグを対応付ける。有効又は無効フラグが対応付けられた高速走査領域画像データは、差分画像生成部７２に出力されると共に、メモリアクセス調停器１２ｆを介してフレームメモリ１４に記憶される。即ち、特定領域の幅が変更されると露光時間が変化して、変更タイミングによっては走査の途中で幅が変わるため、変更後の最初の１走査において、変更後の露光時間で露光された画素データと、変更前の露光時間で露光された画素データとが混在してしまう恐れがある。そのため、変更後の最初の１走査に対応する高速走査領域画像データについては、そのデータを後段の処理で使用しないようにするため、無効フラグを対応付ける。また、撮像処理系１０から取得した高速走査領域画像データは、差分画像生成部７２において差分値の演算に使用するため、フレームメモリ１４に記憶保持する。以下、この記憶保持された高速走査領域画像データを、特定領域基準画像データと称す。
差分画像生成部７２は、データ処理部７０から、有効又は無効フラグの対応付けられた特定領域画像データを取得すると、当該取得した特定領域画像データに対して１つ前の走査（露光時間）で取得された特定領域基準画像データを、メモリアクセス調停器１２ｆを介してフレームメモリ１４から読み出し、特定領域画像データを構成する各画素データの示す画素値から、当該画素データと同じ画素位置の特定領域基準画像データを構成する各画素データの示す画素値を減算し、当該減算結果の差分値から特定領域画像データを生成する。
ここで、差分画像生成部７２の動作説明の為、図１０に基づき、センサセルアレイ５６の各画素における蓄積電荷量の推移について説明する。
図１０に示すように、１フレーム（通常露光時間）の露光において、センサセルアレイ５６の各画素に蓄積される電荷量は時間の経過と共に増加する。特定領域においては、非破壊読み出し方式で各画素から電荷を読み出すので、露光中に電荷の読み出しを何度行っても各画素の蓄積電荷量が維持される。なお、図１０中のリセットタイミングは、センサセルアレイ５６に蓄積された電荷を空にするタイミングであり、このタイミングが通常露光時間を決定する。また、特定領域に対して、例えば、図１０に示す（１）〜（５）のタイミングで電荷を読み出し、そして前述の如く、差分から画像を生成する。すなわち、（２）以降の各タイミングでそれぞれ読み出した電荷量と、これら各タイミングの１つ前のタイミングで読み出した電荷量とのそれぞれの差分から画像を生成する。この差分による画像生成は、通常のフレームレートの５倍のレートの画像生成を意味し、それは露光時間が通常露光時間の１／５の画像を生成していることを意味する。
また、撮像処理系１０から取得した高速走査領域画像データは、非破壊読み出しによって読み出された電荷から構成されるため固定パターンノイズが混合してしまう。そのため、差分値を算出することで固定パターンノイズを除去する。
更に、差分画像生成部７２は、前記生成した特定領域画像データ及び当該特定領域画像データに対応する有効又は無効フラグを、制御用データ生成部１２ｅに出力すると共にメモリアクセス調停器１２ｆを介してフレームメモリ１４に記憶する。
図８に戻って、制御用データ生成部１２ｅは、図１１に示すように、第１及び第２レベル変換部８０及び８１と、第１及び第２ＬＰＦ処理部８２及び８３と、ＨＰＦ処理部８４と、フレーム差分計算部８５と、目標物検出部８６と、目標物移動推定部８７とを含んで構成される。
第１レベル変換部８０は、高速・特定領域画像生成部１２ｄからの特定領域の現フレームにおける特定領域画像データ（以下、現特定領域画像データと称す）を取得すると、この特定領域画像データの多値の画素値（ここでは、輝度値とする）を、２値化、あるいは４値化して高速処理に適した形式へと変換する。当該変換後の現特定領域画像データは、第１ＬＰＦ処理部８２に出力される。
第２レベル変換部８１は、前記現フレームの特定領域画像データの１つ前のフレームの特定領域画像データ（以下、前特定領域画像データと称す）を、メモリアクセス調停器１２ｆを介してフレームメモリ１４から取得し、当該取得した前特定領域画像データの多値の画素値を、上記第１レベル変換部８０と同様に、２値化、あるいは４値化して高速処理に適した形式へと変換する。当該変換後の前特定領域画像データは、第２ＬＰＦ処理部８２に出力される。ここで、本実施の形態においては、少なくとも、現フレームに対して１つ前のフレームの特定領域画像データをフレームメモリ１４に記憶保持しておく。
第１ＬＰＦ処理部８２は、第１レベル変換部８０から入力された現特定領域画像データに対して、２次元ＬＰＦを用いてフィルタリング処理を行い、例えば、現特定領域画像中の微妙な凹凸など、注目被写体である目標物とは関係ない画像部分（無視できる変化部分）を画像データ中から除去する。このフィルタリング処理後の現特定領域画像データは、ＨＰＦ処理部８４及び目標物検出部８６にそれぞれ出力される。
第２ＬＰＦ処理部８３は、第２レベル変換部８１から入力された前特定領域画像データに対して、第１ＬＰＦ処理部８２と同様に、２次元ＬＰＦを用いてフィルタリング処理を施し、目標物とは関係ない画像部分（無視しても良い画像変化部分）を画像データ中から除去する。
ＨＰＦ処理部８４は、第１ＬＰＦ処理部８２から入力された現特定領域画像データに対して、２次元ハイパスフィルタ（以下、２次元ＨＰＦと称す）を用いてフィルタリング処理を行い、現特定領域画像中のエッジ部を検出し、当該検出したエッジ部の画像データから構成される第１エッジ画像データを生成する。この第１エッジ画像データは、目標物検出部８６に出力される。
フレーム差分計算部８５は、第１ＬＰＦ処理部８２から入力された現特定領域画像データの各画素値と、当該各画素値と同じ画素位置の第２ＬＰＦ処理部８３から入力された前特定領域画像データの各画素値との差分値を計算し、当該差分値から構成されるフレーム間差分画像データを生成する。この生成したフレーム間差分画像データは、目標物検出部８６に出力される。更に、フレーム差分計算部８５は、算出した各差分値と予め設定された特定の閾値とを比較して、特定の閾値以上となる差分値の数を計数する。そして、閾値以上となる差分値（画素）の総数が予め設定された閾値以上である場合に、異常が発生したと判断して、異常検知アラーム信号を生成し、当該生成した異常検知アラーム信号をシステムコントローラ２ａに出力する。つまり、差分画像に大きな変化があった場合（前記差分値の総数が閾値以上の場合）は、新しい物体が突如画像中に現れたことを意味する。
目標物検出部８６は、第１ＬＰＦ処理部８２から入力された現特定領域画像データと、ＨＰＦ処理部８４から入力された第１エッジ画像データと、フレーム差分計算部８５から入力されたフレーム間差分画像データとに基づき、現特定領域画像データから目標物を検出する。例えば、フレーム間差分画像データから第２エッジ画像データを生成し、この第２エッジ画像データと、第１エッジ画像データとから、これらを合わせたエッジ画像データから構成される検出画像データ（以下、現検出画像データと称す）を生成し、当該現検出画像データから目標物の位置や形状等を推定する。更に、この推定された形状から、目標物の大きさが予め設定された閾値以上であるか否かを判定し、閾値以上である場合は、第１接近アラーム信号を生成し、これをシステムコントローラ２ａに出力する。また、前記生成された現検出画像データは、目標物移動推定部８７に出力されると共に、メモリアクセス調停器１２ｆを介してフレームメモリ１４に記憶される。
目標物移動推定部８７は、目標物検出部８６から現検出画像データが入力されると、メモリアクセス調停器１２ｆを介して、フレームメモリ１４から現検出画像データの１つ前のフレームに対応する検出画像データ（以下、前検出画像データと称す）を取得する。そして、現検出画像データと前検出画像データとに基づき、両画像の目標物体の相対的な位置関係から大きさの変化や位置の変化などを推定する。この推定結果から、例えば、目標物が近づいてきていると判断された場合は、第２接近アラーム信号を生成し、これをシステムコントローラ２ａに出力する。
図８に戻って、メモリアクセス調停器１２ｆは、通常画像生成部１２ｃ、高速・特定領域画像生成部１２ｄ、制御用データ生成部１２ｅ及び出力読出器１２ｇの４系統からのフレームメモリ１４に対する読み込み・書き込み命令に応じて、これら４系統のフレームメモリ１４の画像データへのアクセス要求を調停しアクセスを行う。
出力読出器１２ｇは、システムコントローラ２ａからの出力タイミング信号に同期して、メモリアクセス調停器１２ｆを介してフレームメモリ１４内の通常画像データを読み出し、この読み出した通常画像データをシステムコントローラ２ａに出力する。
フレームメモリ１４は、図８に示すように、検出画像データ、特定領域画像データ、特定領域基準画像データ、通常画像データ等の各種画像データを記憶するメモリであり、メモリアクセス調停器１２ｆから読み出し要求があると、その要求が示す画素データを読み出させる。また、フレームメモリ１４は、メモリアクセス調停器１２ｆから書き込み要求があると、その書き込み要求が示す画素データを書き込ませる。
更に、図２に戻って、ホストシステム２の内部構成を説明する。
ホストシステム２は、システムコントローラ２ａと、表示装置２ｂと、記録装置２ｃと、警告装置２ｄとを含んで構成される。
システムコントローラ２ａは、映像処理系（ＤＳＰ）１２から視認用の通常画像データを取得し、当該取得した通常画像データに基づき表示装置２ｂに通常画像を表示したり、前記取得した通常画像データを記録装置２ｃに記録したりする。更に、映像処理系１２からの各種アラーム信号に基づき、各種制御対象を制御する。例えば、第１接近アラーム信号を取得した場合は、制御対象として警告音出力装置を制御して警告音を出力させ、異常検知アラーム信号又は第２接近アラーム信号を取得した場合は、警告音出力装置に加え、制御対象としてブレーキやステアリング装置等を制御して危険回避を行わせる。また、システムコントローラ２ａは、映像処理系１２の制御用データ生成部１２ｅから、目標物の位置情報及び形状情報を取得し、当該位置情報及び形状情報に基づき、目標物の現在位置及び大きさなどに合わせて特定領域の開始位置を変更（目標物をトラッキング）することが可能である。また、システムコントローラ２ａは、本システムが搭載される移動体の速度情報を取得し、当該速度情報に基づき、特定領域の開始位置及び走査領域幅を変更することが可能である。具体的には、速度が所定速度以上のときは走査領域幅をその速度に応じて標準時の幅よりも狭め、速度が所定速度よりも遅いときは走査領域幅をその速度に応じて標準時の幅よりも広げる。
表示装置２ｂは、液晶ディスプレイ等の表示デバイスから構成されており、映像処理系１２から取得した通常画像データの画像を表示したり、記録装置２ｃに記録された通常画像データの画像を表示したりする。
記録装置２ｃは、映像処理系１２から取得した通常画像データを記録するものである。なお、記録された通常画像データは、事故発生時の映像を事故後に再生したりするためなどに使用される。従って、通常画像データは、画像内容が理解できる視認性の良さを必要とする。つまり、記録装置２ｃは、ドライブレコーダとしての役割を有する。
次に、図１２〜図１３に基づき、本実施形態の実際の動作を説明する。ここで、図１２は、撮像対象画像（監視画像）の一例を示す図である。また、図１３（ａ）〜（ｅ）は、検出画像データの生成過程の一例を示す図である。
以下、図１２に示す、路面及び風景を撮像対象とし、撮像装置１を車両に搭載した場合の撮像システム３の動作を説明する。図１２の例では、路面（センターライン含む）、ガードレール、風景が撮像領域に含まれており、ここでは、センターライン、ガードレール、及び他の車両等を監視対象とする。従って、ホストシステム２において、図１２に示すように、まず、路面、ガードレール、前方車両等を同時に含む領域範囲を特定領域（監視領域）として決定する。ここでは、全露光領域が６４０画素×４８０画素のサイズとなっており、特定領域の開始ライン番号を「２８０」、走査領域幅を「７５」と決定する。つまり、全露光領域におけるライン番号２８０〜３５５の画素のラインの範囲を特定領域として決定する。これにより、図１２に示すように、センサセルアレイ５６の全露光領域が通常露光時間による露光を行う全走査領域となり、前記設定した特定領域が特定走査領域となる。
また、本実施の形態においては、特定走査領域のサンプリング時間を、上記図１０に示す（１）〜（５）と同様に、通常露光時間を均等に５分割した時間とする。また、通常露光時間は、全露光領域で撮像される全ての被写体に対して十分な露光ができるように適切な時間を設定する。このようにして、特定領域の領域範囲（開始位置、走査領域幅）、全露光領域の通常露光時間、特定領域におけるサンプリング時間が決まると、ホストシステム２は、これらの情報を、通信器・ＤＳＰ動作制御部１２ａを介して撮像装置１に送信する。
以下、車両の速度や目標物の移動に応じて、特定領域の開始位置及び走査領域幅を可変させずに固定としたままとする場合の動作を説明する。
撮像装置１は、電源が投入され、映像処理系１２において、ホストシステム２から露光時間に関する情報と、特定領域に対する開始ライン番号及び走査領域幅に関する情報とを取得すると、通信器・ＤＳＰ動作制御部１２ａによって、特定領域の開始ライン番号と走査領域幅とを指定する駆動制御信号を撮像処理系１０に送信する。更に、タイミング制御器１２ｂにおいて、全露光領域に対する通常露光時間の画素信号が得られるように撮像素子１００を駆動する駆動信号（ピクセルクロック、垂直同期信号及び水平同期信号）を撮像処理系１０に出力する。
撮像処理系１０は、駆動制御信号を受信すると、走査ラインスキャナ５４において、垂直同期信号及び水平同期信号に同期してリセットライン選択信号と、全露光領域に対する読み出しライン制御信号を生成する。また、開始ライン番号、走査領域幅及び水平同期信号に基づき、特定領域に対する読み出しライン制御信号を生成する。更に、これら生成した読み出し制御信号をＯＲロジック５４ｅに入力し、全露光領域及び特定領域に対する読み出しライン選択信号をそれぞれ生成する。そして、これら生成したリセットライン選択信号、読み出しライン選択信号（２種類）を駆動パルス発生器５２に出力する。駆動パルス発生器５２は、基準タイミング発生器からの基準タイミング信号及び走査ラインスキャナ５４からの各種選択信号に基づき、駆動パルスを発生してセンサセルアレイ５６に供給する。
センサセルアレイ５６は、駆動パルス発生器５２からの駆動パルスに基づき、通常走査ラインＬ１及び高速走査ラインＬ２を走査して、全露光領域の各画素のラインから通常露光時間の露光により蓄積した電荷の破壊読み出しを行い（読み出し後に蓄積電荷のリセットを行う）、この破壊読み出し動作とは独立に、特定領域の各画素のラインから複数種類の露光時間の露光により蓄積した電荷の非破壊読み出しを行う（読み出し後に蓄積電荷のリセットを行わない）。そして、通常走査ラインＬ１の走査によって読み出した電荷から構成される画素信号を第１水平転送部５８のＣＨ１を介して第１のＡＦＥ１０２に出力し、高速走査ラインＬ２の走査によって読み出した電荷から構成される画素信号を第２水平転送部６０のＣＨ２を介して第２のＡＦＥ１０４に出力する。
第１のＡＦＥ１０２は、ＣＨ１を介して順次出力される通常露光時間の露光に対する画素信号（アナログデータ）をデジタルデータに変換してなる画素データを生成し映像処理系１２に出力する。一方、第２のＡＦＥ１０４は、ＣＨ２を介して順次出力される複数種類の露光時間の露光に対する画素信号（アナログデータ）をデジタルデータに変換してなる画素データを生成し映像処理系１２に出力する。
映像処理系１２では、第１のＡＦＥ１０２から出力された全露光領域の画素データを通常画像生成部１２ｃに入力し、第２のＡＦＥ１０４から出力された特定領域の画素データを高速・特定領域画像生成部１２ｄに入力する。
通常画像生成部１２ｃは、通常走査画像データを第１のＡＦＥ１０２を介して取得すると共に、タイミング制御器１２ｂから、当該取得した通常走査画像データに対応するアドレス情報を取得し、当該アドレス情報と、通常走査画像データとを対応付けてなる通常画像データを生成し、当該通常画像データを、メモリアクセス調停器１２ｆを介してフレームメモリ１４に記憶する。
一方、高速・特定領域画像生成部１２ｄは、高速走査領域画像データを第２のＡＦＥ１０４を介して取得すると共に、タイミング制御器１２ｂから、当該取得した高速走査領域画像データ（特定領域における現フレームの高速走査領域画像データ）に対応するアドレス情報を取得し、当該アドレス情報と、高速走査領域画像データとを対応付ける。更に、通信器・ＤＳＰ動作制御部１２ａを介して、システムコントローラ２ａからの特定領域スタート位置データを取得し、当該特定領域スタート位置データに基づき、前記取得した高速特定領域画像データが有効か無効かを判定し、この判定結果に基づき、当該高速特定領域画像データに有効又は無効フラグを対応付ける。このようにして、アドレス情報及び有効又は無効フラグが対応付けられた高速特定領域画像データは、次の走査（特定領域における現フレームの次のフレーム）で取得される高速走査領域画像データに対する特定領域画像データを生成する際に使用するため、特定領域基準画像データとして、フレームメモリ１４に記憶する。以下、この特定領域基準画像データを、後基準画像データと称す。
更に、高速・特定領域画像生成部１２ｄは、前記取得した高速走査領域画像データの１つ前の走査（特定領域における現フレームの１つ前のフレーム）において取得した高速走査領域画像データからなる特定領域基準画像データ（以下、前基準画像データと称す）を、メモリアクセス調停器１２ｆを介してフレームメモリ１４から取得する。そして、前記取得した高速走査領域画像データを構成する各画素データの画素値から、当該取得した前基準画像データにおける対応する各画素データの画素値を減算して、差分値を算出する。更に、当該算出した差分値を画素値とした特定領域画像データを生成し、当該特定領域画像データを、制御用データ生成部１２ｅに出力すると共にメモリアクセス調停器１２ｆを介してフレームメモリ１４に記憶する。このとき、特定領域画像データに対応する有効又は無効フラグのデータも制御用データ生成部１２ｅに出力する。
制御用データ生成部１２ｅは、高速・特定領域画像生成部１２ｄから特定領域画像データ（現特定領域画像データ）を取得すると、これを第１レベル変換部８０において４ビット化（１６階調化）し、この４ビット化後の現特定領域画像データを第１ＬＰＦ処理部８２に出力する。一方、この現特定領域画像データの１つ前のフレームに対応する特定領域画像データ（前特定領域画像データ）を、メモリアクセス調停器１２ｆを介してフレームメモリ１４から取得し、これを第２レベル変換部８１において４ビット化し、この４ビット化後の前特定領域画像データを第２ＬＰＦ処理部８３に出力する。第１及び第２ＬＰＦ処理部８２及び８３では、２次元ＬＰＦを用いてフィルタリング処理を行い、現特定領域画像データ及び前特定領域画像データの各画像中における、目標物に対して無視できる画像変化部分を除去する。ここでは、特定領域に路面が含まれているので、例えば、路面上の石ころなどの画像部分が除去されることになる。
このようにフィルタリング処理の施された現特定領域画像データは、ＨＰＦ処理部８４及びフレーム差分計算部８５にそれぞれ出力され、同様に前特定領域画像データは、フレーム差分計算部８５に出力される。
ＨＰＦ処理部８４は、フィルタリング処理の施された現特定領域画像データが入力されると、この現特定領域画像データに対して２次元ＨＰＦを用いてフィルタリング処理を行い、現特定領域画像データの画像のエッジ部から構成される第１エッジ画像データを生成する。ここでは、車両前方の撮像領域に対して特定領域を設定しているので、当該特定領域内のガードレールのエッジ画像、センターラインのエッジ画像、前方車両のエッジ画像などを含んだ第１エッジ画像データが生成される。例えば、図１３（ａ）に示す形状の目標物が、特定領域内で撮像されているとすると、この第１エッジ画像は、図１３（ｂ）に示すように、目標物の輪郭部分に沿った形状のエッジ画像（図１３（ｂ）中の色の濃い部分）となる。当該生成された第１エッジ画像データは、目標物検出部８６に出力される。
一方、フレーム差分計算部８５は、第１ＬＰＦ処理部８２から現特定領域画像データが入力され、且つ第２ＬＰＦ処理部８３から前特定領域画像データが入力されると、現特定領域画像データの各画素値と、当該各画素値と同じ画素位置の前特定領域画像データの各画素値との差分値を計算し、当該差分値から構成されるフレーム間差分画像データを生成する。この生成したフレーム間差分画像データは、目標物検出部８６に出力される。
また、フレーム差分計算部８５は、前記算出した各差分値と予め設定された特定の閾値とを比較して、特定の閾値以上となる差分値の総数を計数する。そして、閾値以上となる差分値（画素）の総数が予め設定された閾値以上である場合に、異常が発生したと判断して、異常検知アラーム信号を生成し、当該生成した異常検知アラーム信号をシステムコントローラ２ａに出力する。つまり、前方車両のブレーキランプの点灯、急な障害物（飛来物、他車両を含む）の出現、自車両がトンネルなどを抜けたりすることによる急激な景色の変化など、新しい物体が突如画像中に現れたとき（急激な輝度変化があったとき）に、異常検知アラーム信号を生成する。
システムコントローラ２ａは、撮像装置１から異常検知アラーム信号を受信すると、自車両の前に何らかの物体が突然現れた、あるいは景色が急にまぶしくなったと判断し、警告音出力装置を制御して、警告音及び警告メッセージを車両内のスピーカから出力させたり、出現物体との衝突を避けるためにブレーキ装置やステアリング装置を制御して危険回避動作を行わせたりする。
一方、目標物検出部８６は、第１ＬＰＦ処理部８２からの現特定領域画像データ、ＨＰＦ処理部８４からの第１エッジ画像データ、及びフレーム差分計算部８５からのフレーム間差分画像データが入力されると、まず、フレーム間差分画像データから第２エッジ画像データを生成する。この第２エッジ画像データの画像は、例えば、図１３（ｃ）に示すように、目標物の移動に応じてこれらのエッジ部が重なった部分を除く残りの部分で構成されるエッジ画像となる。この図１３（ｃ）に示すような、フレーム間差分画像データのエッジ画像のデータと、図１３（ｂ）に示す第１エッジ画像（現特定領域画像のエッジ画像）のデータとを比較し、これらのエッジ部分を連結して最終的なエッジ画像データ（検出画像データ）を生成する。また、現特定領域画像データからは色情報を抽出する。そして、目標物検出部８６は、前記生成した検出画像データ及び前記抽出した色情報に基づき目標物の位置及びその形状を推定する。更に、推定した目標物の形状から解る当該目標物の大きさと、予め設定された特定閾値とを比較し、目標物の大きさが特定閾値以上である場合は、第１接近アラーム信号を生成して、これをシステムコントローラ２ａに出力する。また、前記生成された検出画像データ（現検出画像データ）を、目標物移動推定部８７に出力すると共に、メモリアクセス調停器１２ｆを介してフレームメモリ１４に記憶する。
一方、システムコントローラ２ａは、撮像装置１から第１接近アラーム信号を受信すると、目標物が自車両（撮像装置１）に近づいていると判断し、警告音出力装置を制御して、警告音及び警告メッセージを車両内のスピーカから出力したり、車両の速度制御を行って自車両の走行速度を遅くしたりする（目標物との距離を大きくする）。
目標物移動推定部８７は、目標物検出部８６から現検出画像データが入力されると、メモリアクセス調停器１２ｆを介して、フレームメモリ１４から前検出画像データを取得する。そして、現検出画像データと前検出画像データとに基づき、両画像のパターンマッチングによって、目標物体の相対的な位置関係を求め、この位置関係に基づき目標物の移動状況を推定する。例えば、位置変化の大きさが特定閾値より大きい場合に、第２接近アラーム信号を生成し、これをシステムコントローラ２ａに出力する。
システムコントローラ２ａは、撮像装置１から第２接近アラーム信号を受信すると、目標物が自車両（撮像装置１）に急激に近づいていると判断し、警告音出力装置を制御して、警告音及び警告メッセージを車両内のスピーカから出力させると共に、ブレーキ装置、ステアリング装置を制御して危険回避動作を行わせる。
また、システムコントローラ２ａは、撮像装置１に対して各種同期信号を出力して通常画像データの読み出し要求を行う。
出力読出器１２ｇは、システムコントローラ２ａからの各種同期信号に同期して、フレームメモリ１４内に記憶された通常画像データを、メモリアクセス調停器１２ｆを介して読み出し、この読み出した通常画像データをシステムコントローラ２ａに出力する。システムコントローラ２ａは、出力読出器１２ｇから出力された通常画像データを取得し、当該取得した通常画像データを記録装置２ｃに記録すると共に、自車両内に設置した表示装置２ｂに表示する。
このように、本実施の形態の撮像システム３の撮像装置１は、１つの撮像素子において、撮像対象を全露光領域において通常露光時間の露光で破壊読み出しにより撮像すると共に、この通常露光時間の露光期間において、特定領域の画像を複数種類の露光時間の露光で非破壊読み出しによりそれぞれ撮像することが可能であるので、視認用の通常画像データと、制御用の高フレームレート（通常露光の５倍のフレームレート）画像データとを同時に取得することができる。更に、撮像装置１は、高フレームレート画像データから目標物の位置、形状、移動状態を推測し、これら推測結果に基づき、制御用データを生成して、これをホストシステム２に出力することが可能である。つまり、目標物の突然の出現や、急激な変化などに即座に対応して制御用データを生成し、これをホストシステム２に出力することができる。
つまり、目標物のある画像領域（特定領域）を高速サンプリング（サブサンプリング）することで、高速なカメラ移動があっても、撮像画像には大きな移動（変化）が起きない。これにより、撮像画像の画像としての変化量（物体の位置関係）は小さくなり、フレーム差分処理を行ったときのエッジ抽出が容易となる（エッジの幅が小さくなる）。従って、移動体に本システムを搭載した場合の高速制御に適した制御用データを簡易に生成することが可能である。例えば、移動体の移動速度が時速１００ｋｍ（約２８ｍ／ｓｅｃ）で、撮像装置１において特定領域を３３ｍｓｅｃ間隔（１／３０）でサンプリングした場合、この間に移動体は約９０ｃｍ移動する。一方、サンプリングレートがその１０倍の場合は、約９ｃｍとなり、撮像画像の画像としての変化量（物体の位置関係）は小さくなり、フレーム差分処理を行ったときのエッジ抽出が容易となる（エッジの幅が小さくなる）。
このように、高速サンプリングによって取得した画像データを用いることで、高速に目標物を検出することが可能となる。移動体が高速移動をしている際の危険回避においては、高速な応答が必要であることから、高速に目標物の状態を検出することは非常に重要である。例えば、１／３０秒間隔(従来カメラや人の目の反応速度)で画像を取得し、目標物の検出に１／１００秒を要する場合、画像取得時間が律則条件となり、その間に移動体は約１ｍも進んでしまう。一方、サンプリングレートが１０倍の場合は、１／３００秒間隔で画像を取得することになり、検出に１／１００秒を要したとしても、画像取得から目標物を検出するまでにかかる時間は約４／３００秒で済むので、その間に移動体は約３０ｃｍしか進まない。表現を変えるならば、フレームレートのみで正規化すれば、約１０倍の高速性は、速度が１／１０になることと等価と考えることができる。すなわち、移動体が時速１００ｋｍで移動している場合は、時速１０ｋｍに換算することができる。つまり、上記実施の形態の撮像システム３を用いることで、危険回避の可能性を向上させることができる。
また、通常画像データを記録装置２ｃに記録するようにしたので、例えば、衝突事故などがあったときに、そのときの通常画像データを記録することができれば、事故後において、当該事故の発生時の視認性のある撮像画像（映像）を再生することができるので、この映像を、事故の分析時に利用したり、事故の証拠物件として利用したりなどすることができる。
上記実施の形態において、撮像処理系１０の領域別走査対応型撮像素子１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２、第１水平転送部５８によるセンサセルアレイ５６の全露光領域からの通常露光時間での電荷の破壊読み出し処理は、形態１、２、３及び１４のいずれか１の第１読出手段、又は形態１５の第１読出ステップに対応し、撮像処理系１０の領域別走査対応型撮像素子１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２、第２水平転送部６０によるセンサセルアレイ５６の特定領域からの複数種類の露光時間で露光時の電荷の非破壊読み出し処理は、形態１、２、３、１２及び１４のいずれか１の第２読出手段、又は形態１５の第２読出ステップに対応する。
また、上記実施の形態において、センサセルアレイ５６は、形態１、２、３、１４及び１５のいずれか１の光電変換部に対応し、通常画像生成部１２ｃは、形態１、２、３及び１４のいずれか１の画像データ生成手段、又は形態１５の画像データ生成ステップに対応し、高速・特定領域画像生成部１２ｄ及び制御用データ生成部１２ｅは、形態１〜９、１１、１３及び１４のいずれか１の制御用データ生成手段、又は形態１５の制御用データ生成ステップに対応する。
なお、これまでは、車両の速度や目標物の移動に応じて、特定領域の開始位置及び走査領域幅を可変させずに固定としたままとする場合の動作を説明してきたが、上記実施の形態の変形例として、以下、特定領域の開始位置及び走査領域幅を可変にする場合について説明する。
まず、自車両の速度情報に基づき、特定領域の範囲を可変にする場合を説明する。この場合は、ホストシステム２のシステムコントローラ２ａにおいて、自車両の速度情報を取得し、当該取得した速度情報と、予め設定された２種類の速度閾値とを比較する。つまり、低速度用の閾値を閾値１（例えば、時速４０ｋｍを示す数値）、高速度用の閾値を閾値２（例えば、時速８０ｋｍを示す数値）として予め設定しておき、取得した速度情報と、これら閾値１及び２とを比較する。なお、閾値１〜閾値２の範囲の示す速度（例えば、時速４０ｋｍ〜時速８０ｋｍ）に対しては、特定領域の走査領域幅を標準の幅とする（ここでは、７５ラインとする）。そして、比較により、速度情報の示す速度が閾値１の示す速度よりも遅い場合は、特定領域の幅を標準の幅よりも広げる（例えば、１００ライン）。つまり、自車両の移動速度が低速な場合は、危険回避等における応答速度もそれに比して遅くすることができるので、これにより、特定領域（監視領域）の範囲を広げることで監視対象の補足性の向上による安全性向上をはかることができる。
一方、速度情報の示す速度が閾値２の示す速度よりも速い場合は、特定領域の幅を標準の幅よりも狭める（例えば、５０ライン）。つまり、自車両の移動速度が高速な場合は、危険回避等における応答速度をより速くする必要があるので、特定領域（監視領域）の範囲を狭めてフレームレートを高速化（サンプリング速度を高速化）することでデータの取得速度を向上し、これにより、高速応答による安全性向上をはかることができる。
特定領域の走査領域幅の変更は、具体的に、システムコントローラ２ａにおいて、変更幅に応じた開始ライン番号及び走査領域幅を決定し、この情報を、通信器・ＤＳＰ動作制御部１２ａを介して、撮像装置１に出力することで行う。撮像装置１は、この取得した開始ライン番号及び走査領域幅の情報を、撮像処理系１０に出力し、上記同様に、走査ラインスキャナ５４において、開始ライン番号、走査領域幅及び水平同期信号に基づき、特定領域に対する読み出しライン選択信号をそれぞれ生成する。
次に、撮像装置１からの目標物の位置情報及び形状情報に基づき、特定領域の開始位置を可変にする場合を説明する。この場合は、ホストシステム２のシステムコントローラ２ａにおいて、撮像装置１の制御用データ生成部１２ｅから目標物の位置情報及び形状情報を取得し、これらの情報と、現在設定されている特定領域の開始位置及び走査領域幅の情報とに基づき、目標物が特定領域内に納まっているか否かを判定する。この判定により、例えば、特定領域からはみ出しているような場合に、目標物が特定領域内に納まるように特定領域の開始位置を決定し、この決定した開始位置に対応する開始ライン番号情報を、通信器・ＤＳＰ動作制御部１２ａを介して撮像装置１に出力する。撮像装置１は、この取得した開始ライン番号の情報を、撮像処理系１０に出力し、上記同様に、走査ラインスキャナ５４において、開始ライン番号、走査領域幅及び水平同期信号に基づき、特定領域に対する読み出しライン選択信号をそれぞれ生成する。このように、撮像装置１では、目標物の位置情報及び形状情報に応じて、特定領域における目標物の位置を把握し、この位置変化に追随して特定領域の位置を変更（目標物をトラッキング）することが可能である。これにより、監視対象の監視を正確に行うことができる。
一方、上記のように特定領域の開始位置及び走査領域幅を可変にした場合に、走査領域幅が変化するため、露光時間が変化してしまうといった問題が生じる。つまり、特定領域の開始位置及び走査領域幅の変更前の露光時間と、変更後の露光時間とが異なってしまい、同じフレームにおいて露光時間の異なる画素データが混在してしまう。本システムにおいては、前述したように、システムコントローラ２ａにおいて、特定領域の開始位置及び走査領域幅を変更したか否かを示す特定領域スタート位置データを、撮像装置１の制御用データ生成部１２ｅに出力している。撮像装置１は、特定領域スタート位置データを取得すると、このデータから変更されたか否かを判断し、変更されたと判断したときは、特定領域の現フレームの高速特定領域画像データから生成された特定領域画像データに対して、無効フラグを対応付ける。このように、無効フラグの対応付けられた特定領域画像データは、制御用データ生成部１２ｅにおける後段の処理で使用しないようになっている。従って、より正確な目標物の位置及び形状の推定ができると共に、より正確な制御用データを生成することができる。
上記実施の形態の変形例において、撮像処理系１０における、移動体の速度情報に基づき決定された開始ライン番号及び走査領域幅に基づき、特定領域の幅を変更する処理は、形態１２の特定領域幅設定手段に対応する。
また、上記実施の形態の変形例において、撮像処理系１０における、目標物の位置情報及び形状情報に基づき決定された開始ライン番号及び走査領域幅に基づき、特定領域の位置を変更する処理は、形態１３の位置変更手段に対応する。
なお、上記実施の形態においては、移動体に撮像装置１を搭載し、移動体に搭載された各種装置を制御対象にした例を説明したが、これに限らず、撮像装置１を移動体以外に搭載しても良い。
また、上記実施の形態においては、撮像装置１において、目標物の位置、形状、移動状態等を推定して、この推定結果に基づき各種アラーム信号（制御用データ）を生成し、これをホストシステム２に出力するようにしたが、これに限らず、特定領域から読み出した画像データそのものを制御用データとしてホストシステム２に出力し、推定処理等をホストシステム２側で行わせる構成としても良いし、目標物の位置、形状、移動状態に限らず、他のことを推定するようにしても良い。
また、上記実施の形態においては、撮像処理系１０、映像処理系１２及びフレームメモリ１４を１つの装置内に収めた構成としたが、これに限らず、例えば、撮像処理系１０と、映像処理系１２及びフレームメモリ１４とをそれぞれ別々の装置で構成し、通信ネットワーク等を介して両者をデータ通信可能に接続した構成（形態１２の撮像システムに対応）としても良い。これにより、撮像処理系と、映像処理系（フレームメモリを含む）とを離れた位置に設置する構成が可能となる。例えば、複数の撮像処理系の装置と、１つの映像処理系の装置とをインターネットを介してデータ通信可能に接続し、複数の撮像処理系からの撮像データを、これら撮像処理系の装置から遠く離れた位置に設置された１つの映像処理系の装置で処理する構成とすることで、撮像データの一括管理などが可能となる。
また、上記実施の形態においては、全走査領域（全露光領域）に対して、１つの特定走査領域（特定領域）を設定する構成を例に挙げて説明したが、これに限らず、正常な電荷の非破壊読み出しが可能な範囲内で、２以上の特定走査領域を設定する構成としても良い。
また、上記実施の形態においては、全露光領域（全露光領域）に対して破壊読み出しを行い、全露光領域の一部の領域を特定領域として、特定領域に対して非破壊読み出しを行う構成としたが、これに限らず、例えば、全露光領域の一部の領域である領域Ａを設定し、この領域Ａに対して破壊読み出しを行い、領域Ａの一部の領域である領域Ｂを特定領域として設定し、領域Ｂ対して非破壊読み出しを行う構成としても良い。
本発明に係る撮像システム３の概略構成を示すブロック図である。 撮像処理系１０の内部構成及びホストシステム２の内部構成を示すブロック図である。 ＡＦＥ(Analog Front End)１０２の内部構成を示す図である。 領域別走査対応型撮像素子１００の内部構成を示すブロック図である。 走査ラインスキャナ５４の内部構成を示す図である。 センサセルアレイ５６の詳細構成を示す図である。 撮像素子１００のセンサセルアレイ５６における各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。 映像処理系１２の内部構成を示すブロック図である。 高速・特定領域画像生成部１２ｄの内部構成を示す図である。 破壊読み出し方式における画素の蓄積電荷量の推移を示す図である。 制御用データ生成部１２ｅの内部構成を示す図である。 撮像対象画像（監視画像）の一例を示す図である。 （ａ）〜（ｅ）は、検出画像データの生成過程の一例を示す図である。
符号の説明
１は撮像装置、２はホストシステム、２ａはシステムコントローラ、２ｂは表示装置、２ｃは記録装置、３は撮像システム、１０は撮像処理系、１２は映像処理系（ＤＳＰ）、１４はフレームメモリ、１００は領域別走査対応型撮像素子、１０２は第１のＡＦＥ、１０４は第２のＡＦＥ、５０は基準タイミング発生器、５２は駆動パルス発生器、５４は走査ラインスキャナ、５６はセンサセルアレイ、５８は第１水平転送部、６０は第２水平転送部、５４ａは全領域走査カウンタ、５４ｂは全領域走査アドレスデコーダ、５４ｃは特定領域走査カウンタ、５４ｄは特定領域走査アドレスデコーダ、５４ｅはＯＲロジック、１２ａは通信器、１２ｂはタイミング制御器、１２ｃは通常画像生成部、１２ｄは高速・特定領域画像生成部、１２ｅは制御用データ生成部、１２ｆはメモリアクセス調停器、１２ｇは出力読出器

Claims (16)

  1. 露光した光を電荷に変換して蓄積する複数の光電変換素子から構成される光電変換部と、前記光電変換素子の露光時間を制御する露光時間制御機能とを備えた撮像装置であって、
    前記光電変換部の前記光電変換素子の構成する画素から、所定露光時間で露光した結果蓄積した電荷を読み出す第１読出手段と、
    前記第１読出手段が、前記光電変換部の所定領域の画素から電荷の読み出しを行っている期間に、前記所定領域のうちの特定領域の画素から、電荷を複数回読み出す第２読出手段と、
    前記第１読出手段で読み出した電荷の構成する第１画素データに基づき、画像データを生成する画像データ生成手段と、
    前記第２読出手段で複数回読み出した電荷の構成する第２画素データに基づき、所定制御対象の制御に用いる制御用データを生成する制御用データ生成手段と、
    前記特定領域の幅又は位置の変更を指示する指示データに基づき、前記特定領域の幅又は位置の少なくとも一方を変更する特定領域変更手段と、を備え、
    前記制御用データ生成手段は、前記特定領域から電荷を読み出し中に、前記特定領域変更手段によって前記特定領域の読み出し開始位置が異なる位置に変更されたと判定すると、前記特定領域から現フレームで読み出された電荷から構成される前記第２画素データを、前記制御用データの生成に用いないように制御用データの生成処理を制御することを特徴とする撮像装置。
  2. 露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された構成の光電変換部と、露光時間を制御する電子シャッタ機能とを備えた撮像装置であって、
    前記光電変換部の前記光電変換素子の構成する画素から、所定露光時間で露光した結果蓄積した電荷を破壊読み出し方式で読み出す第１読出手段と、
    前記第１読出手段が前記全露光領域から１フレーム分の電荷の読み出しを行っている期間に、前記光電変換部の前記全露光領域のうちの特定領域における前記光電変換素子の構成する画素から、電荷を非破壊読み出し方式で複数回読み出す第２読出手段と、
    前記第１読出手段で読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、画像データを生成する画像データ生成手段と、
    前記第２読出手段で読み出された前記特定領域に対する露光時間の異なる電荷から構成される第２画素データに基づき、所定制御対象の制御に用いる制御用データを生成する制御用データ生成手段と、
    前記特定領域の幅又は位置の変更を指示する指示データに基づき、前記特定領域の幅又は位置の少なくとも一方を変更する特定領域変更手段と、
    前記制御用データを出力する制御用データ出力手段と、を備え、
    前記制御用データ生成手段は、前記特定領域から電荷を読み出し中に、前記特定領域変更手段によって前記特定領域の読み出し開始位置が異なる位置に変更されたと判定すると、前記特定領域から現フレームで読み出された電荷から構成される前記第２画素データを、前記制御用データの生成に用いないように制御用データの生成処理を制御することを特徴とする撮像装置。
  3. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された構成の光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置であって、
    前記光電変換部における露光可能な全領域である全露光領域における前記光電変換素子の構成する画素から、所定露光時間で露光した結果蓄積した電荷を、当該電荷の読み出し後に蓄積電荷を空にするリセット処理を行う読み出し方式である破壊読み出し方式で読み出す第１読出手段と、
    前記第１読出手段が前記全露光領域から電荷の読み出しを行っている期間に、前記光電変換部の前記全露光領域のうちの特定領域における前記光電変換素子の構成する画素から、当該画素に蓄積した電荷を、当該蓄積した電荷を維持した状態で読み出す読み出し方式である非破壊読み出し方式で読み出す第２読出手段と、
    前記第１読出手段で読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、画像データを生成する画像データ生成手段と、
    前記第２読出手段で読み出された前記特定領域に対する複数種類の露光時間の電荷から構成される第２画素データに基づき、所定制御対象の制御に用いる制御用データを生成する制御用データ生成手段と、
    前記特定領域の幅又は位置の変更を指示する指示データに基づき、前記特定領域の幅又は位置の少なくとも一方を変更する特定領域変更手段と、
    前記制御用データ生成手段で生成した制御用データを出力する制御用データ出力手段と、を備え、
    前記制御用データ生成手段は、前記特定領域から電荷を読み出し中に、前記特定領域変更手段によって前記特定領域の読み出し開始位置が異なる位置に変更されたと判定すると、前記特定領域から現フレームで読み出された電荷から構成される前記第２画素データを、前記制御用データの生成に用いないように制御用データの生成処理を制御することを特徴とする撮像装置。
  4. 当該撮像装置は移動体に搭載されており、
    前記特定領域幅設定手段は、前記移動体の速度情報に基づき、前記特定領域の幅を設定することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
  5. 前記特定領域幅設定手段は、前記速度情報に基づき、前記移動体の速度が、予め設定された低速度用の閾値よりも小さいと判定すると、前記特定領域の幅を予め設定された標準の幅よりも狭い幅に設定し、前記移動体の速度が、予め設定された高速度用の閾値よりも大きいと判定すると、前記特定領域の幅を前記標準の幅よりも広い幅に設定し、前記移動体の速度が、前記低速度用の閾値以上でかつ前記高速度用の閾値以下と判定すると、前記特定領域の幅を前記標準の幅に設定することを特徴とする請求項４に記載の撮像装置。
  6. 前記制御用データ生成手段は、前記所定の被写体の位置及び形状を推定するようになっており、
    前記位置変更手段は、前記推定された位置及び形状と、現在設定されている特定領域の位置及び幅とに基づき、前記所定の被写体が特定領域内に納まっているか否かを判定し、納まっていないと判定すると、前記所定の被写体が前記特定領域内に納まるように前記特定領域の位置を変更することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
  7. 前記制御用データ生成手段は、前記フレーム毎に、前記複数回の読み出しで得られた複数種類の露光時間の前記第２画素データにおける、同じ画素位置で且つ露光時間の異なる各２つの前記第２画素データの一方の画素値と他方の画素値との差分値である第１差分値を算出する第１差分値算出部を有し、当該第１差分値算出部で算出した第１差分値に基づき前記制御用データを生成することを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
  8. 前記制御用データ生成手段は、現フレームにおいて、前記第１差分値算出部で算出された前記第１差分値に基づき現特定領域画像データを生成する現特定領域画像データ生成部と、前記現特定領域画像データのフレームよりも前のフレームにおいて、前記第１差分値算出部で算出された前記第１差分値に基づき前特定領域画像データを生成する前特定領域画像データ生成部と、前記現特定領域画像データの各画素データの画素値と、前記前特定領域画像データの各画素データの画素値との差分値である第２差分値を算出する第２差分値算出部とを有し、当該第２差分値算出部で算出した第２差分値に基づき前記制御用データを生成することを特徴とする請求項７記載の撮像装置。
  9. 前記制御用データ生成手段は、前記現特定領域画像データ及び前記前特定領域画像データに対して、それぞれ２次元ローパスフィルタを用いたフィルタ処理を施すフィルタ処理部を有し、前記第２差分値算出部において、前記フィルタ処理の施された前記現特定領域画像データの各画素データの画素値と、前記フィルタ処理の施された前記前特定領域画像データの各画素データの画素値との差分値を、前記第２差分値として算出し、当該第２差分値算出部で算出した第２差分値に基づき前記制御用データを生成することを特徴とする請求項８記載の撮像装置。
  10. 前記制御用データ生成手段は、前記第２差分値の示す輝度値が特定値以上となる画素の数が所定数以上のときに、前記所定制御対象の制御部に前記所定数以上となったことを通知するデータを生成することを特徴とする請求項８又は請求項９記載の撮像装置。
  11. 前記制御用データ生成手段は、前記複数種類の第２画素データに基づき、前記特定領域で撮像される所定の被写体に関する情報を推定する推定部を有し、当該推定部の推定結果に基づき前記制御用データを生成することを特徴とする請求項７乃至請求項１０のいずれか１項に記載の撮像装置。
  12. 前記制御用データ生成手段は、前記特定領域の各画素に対応する画素データが前記第１差分値から構成される差分画像データから、エッジ情報を抽出するエッジ情報抽出部を有し、前記推定部は、前記エッジ情報抽出部で抽出したエッジ情報に基づき前記所定の被写体の形状を推定することを特徴とする請求項１１記載の撮像装置。
  13. 前記エッジ情報抽出部は、前記画像データからエッジ情報を抽出すると共に、前記特定領域の各画素の画素データが前記第１差分値から構成される差分画像データからエッジ情報を抽出し、前記推定部は、前記エッジ情報抽出部で抽出したエッジ情報に基づき前記所定の被写体の形状を推定することを特徴とする請求項１１又は請求項１２記載の撮像装置。
  14. 前記制御用データ生成手段は、前記所定の被写体の形状の推定結果に基づき、当該所定の被写体の形状変化の大きさが特定値以上又は特定値未満になったときに、前記所定制御対象の制御部に前記特定値以上又は特定値未満になったことを通知するデータを生成することを特徴とする請求項１２又は請求項１３記載の撮像装置。
  15. 露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された構成の光電変換部と、露光時間を制御する電子シャッタ機能とを備えた撮像システムであって、
    前記光電変換部の前記光電変換素子の構成する画素から、所定露光時間で露光した結果蓄積した電荷を破壊読み出し方式で読み出す第１読出手段と、
    前記第１読出手段が前記全露光領域から１フレーム分の電荷の読み出しを行っている期間に、前記光電変換部の前記全露光領域のうちの特定領域における前記光電変換素子の構成する画素から、電荷を非破壊読み出し方式で複数回読み出す第２読出手段と、
    前記第１読出手段で読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、画像データを生成する画像データ生成手段と、
    前記第２読出手段で読み出された前記特定領域に対する露光時間の異なる電荷から構成される第２画素データに基づき、所定制御対象の制御に用いる制御用データを生成する制御用データ生成手段と、
    前記特定領域の幅又は位置の変更を指示する指示データに基づき、前記特定領域の幅又は位置の少なくとも一方を変更する特定領域変更手段と、
    前記制御用データを出力する制御用データ出力手段と、を備え、
    前記制御用データ生成手段は、前記特定領域から電荷を読み出し中に、前記特定領域変更手段によって前記特定領域の読み出し開始位置が異なる位置に変更されたと判定すると、前記特定領域から現フレームで読み出された電荷から構成される前記第２画素データを、前記制御用データの生成に用いないように制御用データの生成処理を制御することを特徴とする撮像システム。
  16. 露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された構成の光電変換部と、露光時間を制御する電子シャッタ機能とを備えた撮像装置に用いられる撮像方法であって、
    前記光電変換部の前記光電変換素子の構成する画素から、所定露光時間で露光した結果蓄積した電荷を破壊読み出し方式で読み出す第１読出ステップと、
    前記第１読出ステップにおいて前記全露光領域から１フレーム分の電荷の読み出しを行っている期間に、前記光電変換部の前記全露光領域のうちの特定領域における前記光電変換素子の構成する画素から、電荷を非破壊読み出し方式で複数回読み出す第２読出ステップと、
    前記第１読出ステップで読み出された前記全露光領域に対する所定露光時間の電荷から構成される第１画素データに基づき、画像データを生成する画像データ生成ステップと、
    前記第２読出ステップで読み出された前記特定領域に対する露光時間の異なる電荷から構成される第２画素データに基づき、所定制御対象の制御に用いる制御用データを生成する制御用データ生成ステップと、
    前記特定領域の幅又は位置の変更を指示する指示データに基づき、前記特定領域の幅又は位置の少なくとも一方を変更する特定領域変更ステップと、
    前記制御用データを出力する制御用データ出力ステップと、を含み、
    前記制御用データ生成手段は、前記特定領域から電荷を読み出し中に、前記特定領域変更手段によって前記特定領域の読み出し開始位置が異なる位置に変更されたと判定すると、前記特定領域から現フレームで読み出された電荷から構成される前記第２画素データを、前記制御用データの生成に用いないように制御用データの生成処理を制御することを特徴とする撮像方法。
JP2007014722A 2006-03-27 2007-01-25 撮像装置、撮像システム及び撮像方法 Expired - Fee Related JP4984915B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007014722A JP4984915B2 (ja) 2006-03-27 2007-01-25 撮像装置、撮像システム及び撮像方法
US11/690,986 US7834922B2 (en) 2006-03-27 2007-03-26 Image sensing apparatus, image sensing system, and image sensing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006084931 2006-03-27
JP2006084931 2006-03-27
JP2007014722A JP4984915B2 (ja) 2006-03-27 2007-01-25 撮像装置、撮像システム及び撮像方法

Publications (2)

Publication Number Publication Date
JP2007295525A JP2007295525A (ja) 2007-11-08
JP4984915B2 true JP4984915B2 (ja) 2012-07-25

Family

ID=38532958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007014722A Expired - Fee Related JP4984915B2 (ja) 2006-03-27 2007-01-25 撮像装置、撮像システム及び撮像方法

Country Status (2)

Country Link
US (1) US7834922B2 (ja)
JP (1) JP4984915B2 (ja)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4781127B2 (ja) * 2006-02-24 2011-09-28 オムロンオートモーティブエレクトロニクス株式会社 電動機制御装置
JP5048468B2 (ja) * 2007-11-28 2012-10-17 富士フイルム株式会社 撮像装置およびその撮像方法
JP4556993B2 (ja) * 2007-12-07 2010-10-06 セイコーエプソン株式会社 状態検査システム
DE202008002980U1 (de) * 2008-03-03 2008-09-18 Linguatec Sprachtechnologien Gmbh System zur Datenkorrelation und Mobilendgerät dafür
TWI458346B (zh) * 2008-06-10 2014-10-21 Univ Tohoku Solid - state photographic element and its driving method
EP2364575B1 (en) 2008-11-17 2016-01-27 Express Imaging Systems, LLC Electronic control to regulate power for solid-state lighting and methods thereof
JP2010183357A (ja) * 2009-02-05 2010-08-19 Panasonic Corp 固体撮像素子、カメラシステムおよび固体撮像素子の駆動方法
JP5524495B2 (ja) * 2009-03-10 2014-06-18 富士機械製造株式会社 撮像システムおよび電子回路部品装着機
US8926139B2 (en) 2009-05-01 2015-01-06 Express Imaging Systems, Llc Gas-discharge lamp replacement with passive cooling
WO2010129907A2 (en) * 2009-05-08 2010-11-11 Scientific Systems Company Inc. Method and system for visual collision detection and estimation
WO2010135575A2 (en) * 2009-05-20 2010-11-25 Express Imaging Systems, Llc Long-range motion detection for illumination control
US8541950B2 (en) * 2009-05-20 2013-09-24 Express Imaging Systems, Llc Apparatus and method of energy efficient illumination
JP5395512B2 (ja) * 2009-05-26 2014-01-22 オリンパスイメージング株式会社 撮影装置
JP5482154B2 (ja) * 2009-12-02 2014-04-23 セイコーエプソン株式会社 撮像装置、撮像方法および撮像プログラム
KR101386313B1 (ko) * 2009-12-30 2014-04-17 비와이디 컴퍼니 리미티드 이미지 센서에서 하이 다이나믹 레인지 이미지 프레임을 판독하는 방법 및 이를 이용한 장치
JP2011199351A (ja) * 2010-03-17 2011-10-06 Mitsubishi Electric Corp 撮像装置
JP5582945B2 (ja) * 2010-09-28 2014-09-03 キヤノン株式会社 撮像システム
JP5367749B2 (ja) * 2011-03-25 2013-12-11 株式会社東芝 サーバ装置、通信方法およびプログラム
US8901825B2 (en) 2011-04-12 2014-12-02 Express Imaging Systems, Llc Apparatus and method of energy efficient illumination using received signals
JP2012226513A (ja) * 2011-04-19 2012-11-15 Honda Elesys Co Ltd 検知装置、及び検知方法
US8610358B2 (en) 2011-08-17 2013-12-17 Express Imaging Systems, Llc Electrostatic discharge protection for luminaire
US8629621B2 (en) 2011-08-24 2014-01-14 Express Imaging Systems, Llc Resonant network for reduction of flicker perception in solid state lighting systems
JP5561333B2 (ja) 2011-11-02 2014-07-30 株式会社リコー 画像処理装置、撮像方法、プログラムおよび車両
EP2781138A4 (en) 2011-11-18 2015-10-28 Express Imaging Systems Llc SOLID BULB WITH SAFETY FEATURES AND ADAPTED OUTPUT
US9360198B2 (en) 2011-12-06 2016-06-07 Express Imaging Systems, Llc Adjustable output solid-state lighting device
DE102011088130B4 (de) * 2011-12-09 2023-03-02 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung einer Bremssituation
JP5680573B2 (ja) * 2012-01-18 2015-03-04 富士重工業株式会社 車両の走行環境認識装置
US9497393B2 (en) 2012-03-02 2016-11-15 Express Imaging Systems, Llc Systems and methods that employ object recognition
US9210751B2 (en) 2012-05-01 2015-12-08 Express Imaging Systems, Llc Solid state lighting, drive circuit and method of driving same
US9204523B2 (en) 2012-05-02 2015-12-01 Express Imaging Systems, Llc Remotely adjustable solid-state lamp
JP5909147B2 (ja) * 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US9131552B2 (en) 2012-07-25 2015-09-08 Express Imaging Systems, Llc Apparatus and method of operating a luminaire
US8878440B2 (en) 2012-08-28 2014-11-04 Express Imaging Systems, Llc Luminaire with atmospheric electrical activity detection and visual alert capabilities
US8896215B2 (en) 2012-09-05 2014-11-25 Express Imaging Systems, Llc Apparatus and method for schedule based operation of a luminaire
US9301365B2 (en) 2012-11-07 2016-03-29 Express Imaging Systems, Llc Luminaire with switch-mode converter power monitoring
US9210759B2 (en) 2012-11-19 2015-12-08 Express Imaging Systems, Llc Luminaire with ambient sensing and autonomous control capabilities
US9288873B2 (en) 2013-02-13 2016-03-15 Express Imaging Systems, Llc Systems, methods, and apparatuses for using a high current switching device as a logic level sensor
JP2014178603A (ja) * 2013-03-15 2014-09-25 Nikon Corp 撮像装置
US9466443B2 (en) 2013-07-24 2016-10-11 Express Imaging Systems, Llc Photocontrol for luminaire consumes very low power
WO2015022900A1 (ja) 2013-08-12 2015-02-19 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム
US9414449B2 (en) 2013-11-18 2016-08-09 Express Imaging Systems, Llc High efficiency power controller for luminaire
EP3094079B1 (en) 2014-01-09 2023-03-29 Sony Group Corporation Video signal processing device, video signal processing method, and camera device
US9185777B2 (en) 2014-01-30 2015-11-10 Express Imaging Systems, Llc Ambient light control in solid state lamps and luminaires
JPWO2015151523A1 (ja) * 2014-04-03 2017-04-13 パナソニックＩｐマネジメント株式会社 後方視界確認装置と、それを搭載した自動車
CN104144325A (zh) * 2014-07-08 2014-11-12 北京汉王智通科技有限公司 一种监控方法及监控设备
US9572230B2 (en) 2014-09-30 2017-02-14 Express Imaging Systems, Llc Centralized control of area lighting hours of illumination
US9445485B2 (en) 2014-10-24 2016-09-13 Express Imaging Systems, Llc Detection and correction of faulty photo controls in outdoor luminaires
JP6554280B2 (ja) * 2014-11-28 2019-07-31 株式会社デンソーテン データ処理装置、画像処理方法、及び、プログラム
US20160182866A1 (en) * 2014-12-19 2016-06-23 Sony Corporation Selective high frame rate video capturing in imaging sensor subarea
CN104506804B (zh) * 2014-12-22 2018-08-10 安徽三联交通应用技术股份有限公司 一种快速道路上的机动车异常行为监测装置及其方法
JP2016130099A (ja) * 2015-01-14 2016-07-21 株式会社ニコン 撮像装置
US9462662B1 (en) 2015-03-24 2016-10-04 Express Imaging Systems, Llc Low power photocontrol for luminaire
JP6464013B2 (ja) * 2015-04-01 2019-02-06 富士フイルム株式会社 撮影装置および方法
US9538612B1 (en) 2015-09-03 2017-01-03 Express Imaging Systems, Llc Low power photocontrol for luminaire
JP6775285B2 (ja) * 2015-09-24 2020-10-28 アルパイン株式会社 後側方車両検知警報装置
US9924582B2 (en) 2016-04-26 2018-03-20 Express Imaging Systems, Llc Luminaire dimming module uses 3 contact NEMA photocontrol socket
CN106204650A (zh) * 2016-07-11 2016-12-07 北京航空航天大学 一种基于空地视频关联技术的车辆目标跟踪方法
US9985429B2 (en) 2016-09-21 2018-05-29 Express Imaging Systems, Llc Inrush current limiter circuit
US10230296B2 (en) 2016-09-21 2019-03-12 Express Imaging Systems, Llc Output ripple reduction for power converters
JP6715463B2 (ja) 2016-09-30 2020-07-01 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、プログラムおよび記録媒体
US10098212B2 (en) 2017-02-14 2018-10-09 Express Imaging Systems, Llc Systems and methods for controlling outdoor luminaire wireless network using smart appliance
US10568191B2 (en) 2017-04-03 2020-02-18 Express Imaging Systems, Llc Systems and methods for outdoor luminaire wireless control
US11375599B2 (en) 2017-04-03 2022-06-28 Express Imaging Systems, Llc Systems and methods for outdoor luminaire wireless control
US10904992B2 (en) 2017-04-03 2021-01-26 Express Imaging Systems, Llc Systems and methods for outdoor luminaire wireless control
US10219360B2 (en) 2017-04-03 2019-02-26 Express Imaging Systems, Llc Systems and methods for outdoor luminaire wireless control
DE102018100895A1 (de) * 2018-01-16 2019-07-18 Zoe Life Technologies Holding AG Währungseinheiten für Wissen
JP7073769B2 (ja) * 2018-02-14 2022-05-24 いすゞ自動車株式会社 運転支援システム及び運転支援方法
WO2020101362A1 (en) * 2018-11-14 2020-05-22 Samsung Electronics Co., Ltd. Method for recording multimedia file and electronic device thereof
US11234304B2 (en) 2019-05-24 2022-01-25 Express Imaging Systems, Llc Photocontroller to control operation of a luminaire having a dimming line
JP7309451B2 (ja) * 2019-05-24 2023-07-18 キヤノン株式会社 撮像装置および制御方法
JP7176478B2 (ja) * 2019-06-14 2022-11-22 トヨタ自動車株式会社 画像認識装置
US11317497B2 (en) 2019-06-20 2022-04-26 Express Imaging Systems, Llc Photocontroller and/or lamp with photocontrols to control operation of lamp
JP2020013586A (ja) * 2019-08-13 2020-01-23 株式会社ニコン 撮像装置
US11212887B2 (en) 2019-11-04 2021-12-28 Express Imaging Systems, Llc Light having selectively adjustable sets of solid state light sources, circuit and method of operation thereof, to provide variable output characteristics
CN111246135B (zh) * 2020-02-28 2022-07-08 上海集成电路研发中心有限公司 一种基于忆阻器的图像传感器及其进行图像处理的方法
US11729318B2 (en) * 2020-11-18 2023-08-15 Micron Technology, Inc. Directing communication of data from an image sensor
FR3131163B1 (fr) * 2021-12-21 2024-01-05 Commissariat Energie Atomique Système d’observation et procédé d’observation associé

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5452004A (en) * 1993-06-17 1995-09-19 Litton Systems, Inc. Focal plane array imaging device with random access architecture
JP2870372B2 (ja) 1993-09-08 1999-03-17 住友電気工業株式会社 物体認識装置
US6809766B1 (en) * 1998-03-11 2004-10-26 Micro Technology, Inc. Look ahead rolling shutter system in CMOS sensors
JP2002027300A (ja) * 2000-07-05 2002-01-25 Minolta Co Ltd デジタルカメラ
US7365779B2 (en) * 2000-09-14 2008-04-29 Fujitsu Ten Limited Image processing apparatus for selectively storing specific regions of an image
US7408572B2 (en) * 2002-07-06 2008-08-05 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
JP4084991B2 (ja) * 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
JP4434797B2 (ja) * 2004-03-19 2010-03-17 オリンパス株式会社 撮像素子および撮像装置
JP2006069549A (ja) * 2004-08-31 2006-03-16 Shibaura Institute Of Technology 自動給油装置

Also Published As

Publication number Publication date
US7834922B2 (en) 2010-11-16
US20070222877A1 (en) 2007-09-27
JP2007295525A (ja) 2007-11-08

Similar Documents

Publication Publication Date Title
JP4984915B2 (ja) 撮像装置、撮像システム及び撮像方法
CN100574376C (zh) 摄像装置、摄像系统以及摄像方法
JP7105754B2 (ja) 撮像装置、及び、撮像装置の制御方法
JP4987573B2 (ja) 車外監視装置
CN109688388B (zh) 一种使用隧道巡检机器人全方位实时监控的方法
TWI821417B (zh) 感測器裝置及信號處理方法
US11818475B2 (en) Data processing device, data processing method, and program
CN103609101A (zh) 车辆周边监视装置
JP7151234B2 (ja) カメラシステムおよびイベント記録システム
JP2001216519A (ja) 交通監視装置
US11745749B2 (en) Vehicular system for testing performance of object detection algorithms
US20190362479A1 (en) Image generation device, image generation method, program and recording medium
JP2020088722A (ja) 固体撮像素子、および、撮像装置
JP2002120675A (ja) 車両周辺監視支援装置
US9524644B2 (en) Notification control method and notification control device
CN104488011B (zh) 图像处理设备、成像设备、可移动体及区域设定方法
JP2004312402A (ja) 道路監視システム，道路監視装置
JP2020170319A (ja) 検出装置
JPH1132253A (ja) 画像処理装置
WO2020195936A1 (ja) 固体撮像装置、及び電子機器
JP7057074B2 (ja) 車載器および運転支援装置
WO2022179124A1 (zh) 一种图像修复方法及装置
JP5149669B2 (ja) 運転支援装置
JP2008028478A (ja) 障害物検出システム、及び障害物検出方法
EP4258653A1 (en) Image processing device that can measure distance to object, movable apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120416

R150 Certificate of patent or registration of utility model

Ref document number: 4984915

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees