JP3712701B2 - イメージセンサ - Google Patents
イメージセンサ Download PDFInfo
- Publication number
- JP3712701B2 JP3712701B2 JP2002278170A JP2002278170A JP3712701B2 JP 3712701 B2 JP3712701 B2 JP 3712701B2 JP 2002278170 A JP2002278170 A JP 2002278170A JP 2002278170 A JP2002278170 A JP 2002278170A JP 3712701 B2 JP3712701 B2 JP 3712701B2
- Authority
- JP
- Japan
- Prior art keywords
- transfer means
- charge transfer
- vertical
- output
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【発明の属する技術分野】
本発明は、電荷転送素子(以下、CCDと略称する)を用いて、高速に画像を転送するイメージセンサに関するものである。
【0002】
【従来の技術】
画像情報を処理することで物体の位置などを計測する画像処理技術は、FA(factry automation)分野などで広く用いられている。これらの画像処理の高速化はFA装置の高速化や新たな用途の開発のために切望されており、画像データの処理速度は年々高速化している。このため、画像処理システムをより高速化するには、システムに画像を入力するためのイメージセンサでの処理速度を向上させることが不可欠である。このようなイメージセンサを得るためには、1フレームの画像をより高速に転送することが考えられる。
【0003】
一般に、CCDにより2次元のイメージを転送する場合には、CCDで得られる画像全体を順次転送する。この場合の手順を図36に示す。まず、光電変換受光素子1に光が照射され、得られた光量に応じて電荷が発生する。電荷転送信号線10に入力される電荷転送信号に制御されて、その電荷は一斉に垂直CCD2に転送される。転送された電荷は、垂直CCD駆動信号線11に入力される垂直CCD駆動信号に制御されて、最下部から水平1ライン分が水平CCD15に転送される。水平CCD15に転送された電荷は1画素分ずつ出力信号線16から出力される。以降、水平CCD15が1ライン分転送し終わる毎に垂直CCD2から1ライン分の転送が行われ、全ての電荷が転送されることで、1画面分の情報が出力される。
【0004】
しかしながら、例えば画面が横640画素×縦480画素で構成されているとすると、画面の画素数は640×480=307,200個であり、1秒間に60フレームの画像を転送する場合では、307,200個×60=18,432,000個もの画素を水平CCD15は転送していることになる。1フレームの画像をより高速に転送するためには、これ以上の速度で水平CCD15を動作させる必要がある。しかし、これ以上動作速度を高速にすることは、水平CCD15などの発熱が大きくなるなどの問題があるため困難とされている。
【0005】
そこで、特許文献1に、スロー再生に使用できるほどの高速なフレーム転送速度が可能なCCDカメラを実現するための技術が開示されている。上記公報では、水平CCDを複数のエリアに分けることによって、水平CCD内で得られる水平1ライン分の画像を複数に分割している。そして、各エリアからの出力を同じタイミングで読み出す並列動作を行って1画面全ての画像を得ることによって、画像を高速に転送させている。
【0006】
しかし、画像処理においては、画像の全画面の情報を処理する必要がある場合より、一部分の画像の情報を処理するだけでよい場合が非常に多いため、全ての画像情報を高速に転送するより、必要な情報のみを転送することでフレーム転送速度を速くする方が効果的である。
【0007】
例えば、図37に示すように、全画像領域100の範囲内に円形の物体101があり、この物体101が領域102の範囲にしか存在しないとわかっている場合には、物体101の位置計測に必要な画像領域は領域102の範囲のみであり、その他は必要ない。したがって、このような場合では、領域102以外の領域を転送する動作は無駄である。
【0008】
そこで、必要な画像の転送周期を速めるために、無駄な転送をなくし、領域102のみを転送する技術が提案されている。
【0009】
例えば、特許文献2には、図38に示すように、水平CCD15に転送された画像が必要でない場合には、水平1ライン分を転送せず、掃き捨てることで画像を高速に転送するイメージセンサが開示されている。つまり、このイメージセンサは、複数のオーバーフローゲート103が水平CCD15に接続され、各オーバーフローゲート103には掃出選択信号線106および掃出信号線105が接続された構成である。これにより、転送の必要がないラインが水平CCD15に入力されると、掃出選択信号線106を介して掃出信号が同時に各オーバーフローゲート103に入力され、それによって、1ライン分の画像が掃出信号線105から排出される。
【0010】
また、特許文献3には、図39に示すように、水平CCD15に転送する水平1ライン分を任意に選択することで、必要な水平ラインのみを転送して高速化するイメージセンサが開示されている。つまり、このイメージセンサは、一方の電極を光電変換受光素子1に接続し、他方の電極を垂直CCD108に接続したスイッチ素子107を有する構成である。このとき、上記他方の電極は列方向で共通して1つの垂直CCD108に接続されている。これにより、スイッチ素子107にて行単位で光電変換受光素子1が選択され、必要なラインのみが垂直CCD108に転送される。そして、水平CCD15の出力信号線16から1ライン分の画素が出力される。
【0011】
【特許文献1】
特開平3−124176号公報(公開日1991年5月27日)
【0012】
【特許文献2】
特開平2−97180号公報(公開日1990年4月9日)
【0013】
【特許文献3】
特開平2−295283号公報(公開日1990年12月6日)
【0014】
【発明が解決しようとする課題】
しかしながら、従来のイメージセンサでは、その処理速度を高速化することができないという問題を有している。
【0015】
すなわち、上述のような水平ライン単位での間引きの手法では、図40の横幅111・縦幅112で示される領域110のように縦幅112が長い画像領域の場合は、間引くことのできる水平ラインは少なく、全ての画像を転送する場合とほとんど同程度の時間が必要となる。また、他の領域例として、図41に示す領域113や、図42に示すように目的の領域110が2つある場合、図43に示す不定型領域114などに対しても同様に高速な転送ができない。
【0016】
高速転送を行うために、領域110だけを撮像する画素数の少ないイメージセンサを用いることが考えられる。しかし、この場合には高速に1フレームの転送が可能であるが、全体を把握することができないこと、撮像範囲が固定されており変更できないことなどの問題が発生する。
【0017】
ところで、全体を把握しながら特定領域のみを高速に転送しようとした場合、領域110だけを撮像する画素数の少ないイメージセンサと、領域全体を撮像する図36に示すような通常のイメージセンサとの2つのイメージセンサを設けることが考えられる。この場合、全体を把握する場合は通常のイメージセンサを用いて通常のフレーム転送速度で撮影し、領域110のみが必要な場合は画素数の少ないイメージセンサを用いて速いフレーム転送速度で撮影することで、全体および部分の両方の撮影が行える。
【0018】
しかし、このように複数のイメージセンサを用いるために複数の光学系を用いると、イメージセンサ毎に画像をとらえる角度や拡大率が違うので、別々のイメージセンサ間の画素の対応をとるための調整や画素間の対応を計算するためのソフトウェアが必要になる。そして、このような調整を要するため、イメージセンサ全体としての処理速度の低下を招くことになる。また、2台のイメージセンサが必要なため、高コストになること、2台のイメージセンサを設置するための空間がたくさん必要となることなどの問題も生じる。
【0019】
上記のように2台のイメージセンサを用いずに、1台のイメージセンサで全体を把握しながら特定領域のみを高速に転送しようとした場合、図38や図39に示すイメージセンサを用いた部分転送による高速転送と、全体画像の通常速度での転送とをスイッチなどを用いて切り換える構成が考えられる。しかし、高速な部分転送を行っている間には全体画像は転送できないため、部分転送による高速画像処理を行いながら、同時に全画像領域を用いた黙視などによる全体検査などを行うには、結局2台のイメージセンサを並行して用いるしかなく、問題を解決することはできない。
【0020】
本発明は、上記従来の問題点を解決するためになされたもので、その目的は、処理速度を低下させることなく、複数の出力系から並列して画像を出力することができる並列読み出しのイメージセンサを提供することにある。
【0021】
【課題を解決するための手段】
上記の目的を達成するために、本発明のイメージセンサは、マトリクス状に配置され、入射光量に応じて信号電荷を蓄積する複数の光電変換部と、該光電変換部の各列に沿って配置された複数の垂直電荷転送部からなり、光電変換部から取り込んだ信号電荷を各垂直電荷転送部から同時に1画素ずつ順次送り出すことが可能な垂直電荷転送手段と、該垂直電荷転送手段から送出された信号電荷を水平ライン単位で転送する複数の水平電荷転送手段と、該水平電荷転送手段の個数と同数またはそれより1つ少ない個数で、垂直電荷転送手段から送出される信号電荷を一時的に記憶した後、上記水平電荷転送手段に信号電荷を転送する電荷記憶転送手段(例えば、垂直CCD)と、垂直電荷転送手段からの信号電荷を上記電荷記憶転送手段に順次記憶させた後、垂直電荷転送手段と電荷記憶転送手段とが非導通状態となるように制御する制御手段とを備えることを特徴としている。
【0022】
上記構成によれば、光電変換部にて生成された信号電荷は垂直電荷転送手段を介して1つの電荷記憶転送手段に転送され、一時的に信号電荷が保持される。この間、他の電荷記憶転送手段がある場合には光電変換部に蓄積された新たな信号電荷が上記同様に他の電荷記憶転送手段に順次転送され一時的に保持される。すべての電荷記憶転送手段に信号電荷が記憶された後、制御手段によって垂直電荷転送手段と電荷記憶転送手段とが非導通状態となるように制御される。
【0023】
ここで、信号電荷が保持されている各電荷記憶転送手段には水平電荷転送手段がそれぞれ接続されているので、すべての水平電荷転送手段がそれぞれ独立の動作を行うことが可能となる。これにより、複数の水平電荷転送手段から並行して信号電荷を転送することができるので、1つのイメージセンサで複数の画像を同時に出力することが可能となる。
【0024】
この結果、領域ごとに光学系やイメージセンサを用意する必要がないので、コストおよび設置を行うための作業を低減することができる。また、それらを設置するための空間を要することもない。さらに、複数の光学系やイメージセンサを配置した場合に比べて、画素同士の対応をとるための複雑な処理や調整を行わなくてよいので、全体としての装置の処理速度を向上させることができる。
【0025】
また、各々の水平電荷転送手段の大きさなどを変更することで、各水平電荷転送手段の転送速度や転送範囲に相違を持たせ、複数の異なった特性の画像を並行して出力することもできる。これにより、通常の速度で全体画像を転送しながら高速に部分画像を転送することなどが可能となる。
【0026】
本発明のイメージセンサは、上記の構成に加えて、上記垂直電荷転送手段が各垂直電荷転送部の長手方向の一方の端部に出力端を有する単方向垂直電荷転送手段であり、上記制御手段が第1の水平電荷転送手段が接続された電荷記憶転送手段と第2の水平電荷転送手段とのどちらを単方向垂直電荷転送手段に接続するかを切り換える切換手段であることを特徴としている。
【0027】
上記構成によれば、単方向垂直電荷転送手段の出力端には切換手段が接続されることになる。このとき、まず、切換手段によって、単方向垂直電荷転送手段と電荷記憶転送手段とを接続しておく。電荷記憶転送手段に信号電荷が保持されると、第2の水平電荷転送手段と単方向垂直電荷転送手段とが接続される。これにより、容易に2つの水平電荷転送手段から並列して画像を出力することが可能となる。
【0028】
本発明のイメージセンサは、上記の構成に加えて、上記垂直電荷転送手段が、各垂直電荷転送部の長手方向の両端部に出力端を有し、2つの出力端にそれぞれ信号電荷を転送することが可能な双方向垂直電荷転送手段であり、上記制御手段が、第1の水平電荷転送手段が接続された第1の電荷記憶転送手段と双方向垂直電荷転送手段とを接続する接続手段と、第2の水平電荷転送手段が接続された第2の電荷記憶転送手段と第3の水平電荷転送手段とのどちらを双方向垂直電荷転送手段に接続するかを切り換える切換手段とを備え、上記接続手段により双方向垂直電荷転送手段と第1の電荷記憶転送手段とが導通状態のときには双方向垂直電荷転送手段を駆動して第1の電荷記憶転送手段に信号電荷を転送する一方、双方向垂直電荷転送手段と第1の電荷記憶転送手段とが非導通状態のときには双方向垂直電荷転送手段を駆動して切換手段に信号電荷を転送するように制御することを特徴としている。
【0029】
上記構成によれば、双方向垂直電荷転送手段の一方の出力端には接続手段が、他方の出力端には切換手段が接続されることになる。このとき、接続手段により双方向垂直電荷転送手段と第1の電荷記憶転送手段とが導通状態のときには、双方向垂直電荷転送手段に転送された信号電荷は駆動信号に制御されて第1の電荷記憶転送手段に入力される。一方、接続手段により双方向垂直電荷転送手段と第1の電荷記憶転送手段とが非導通状態のときには、双方向垂直電荷転送手段に転送された信号電荷は駆動信号に制御されて切換手段に入力される。そして、切換手段によって、第2の電荷記憶転送手段に信号電荷が保持された後に第3の水平電荷転送手段に双方向垂直電荷転送手段が接続される。これにより、容易に3つの水平電荷転送手段から並列して画像を出力することが可能となる。
【0030】
本発明のイメージセンサは、上記の構成に加えて、上記水平電荷転送手段の内の少なくとも1つを、垂直電荷転送手段から送出された信号電荷を画素単位で任意に選択して転送する選択転送手段に置き換えることを特徴としている。
【0031】
上記構成によれば、選択転送手段は水平1ライン中の画素を任意に選択できるので、本発明のイメージセンサは、上記の効果に加えて、固定範囲の画像を得る動作と任意の領域画像を高速に得る動作とを並行して行うことができる。
【0032】
本発明のイメージセンサは、上記の構成に加えて、上記選択転送手段が、出力選択信号に基づいて開閉を行うことにより各垂直電荷転送部から同時に送出された信号電荷を任意に選択する複数の選択用スイッチング素子と、掃出選択信号に基づいて開閉を行うことにより上記選択用スイッチング素子に選択されなかった信号電荷を掃き捨てる複数の掃出用スイッチング素子とからなることを特徴としている。
【0033】
上記構成によれば、選択転送手段に転送された信号電荷は、選択用スイッチング素子によって必要な信号電荷が選択される一方、掃出用スイッチング素子によって不要な信号電荷が掃き捨てられる。これにより、選択転送手段は複数のスイッチング素子のみで構成されているので、容易な構成で選択転送手段を構成することが可能となる。
【0034】
【発明の実施の形態】
〔参考形態1〕
本発明の参考形態1について図1ないし図20に基づくとともに、図36および図38を参照して説明すれば、以下の通りである。
【0035】
本参考形態にかかるイメージセンサは、図1に示すように、光電変換受光素子1、垂直CCD2、バッファ3、選択用スイッチング素子4、および掃出用スイッチング素子6を有する。
【0036】
光電変換受光素子(光電変換部)1は、縦n個×横m個のマトリクス状に配置され受光部を形成している。光電変換受光素子1は、入射光量に応じて信号電荷を蓄積し、あるタイミングで垂直CCD2にそれを転送する。なお、本参考形態では、説明を簡単にするために、n=6およびm=8として縦6画素×横8画素=全48画素で構成される受光部を例にして説明を行う。ただし、この数値は本参考形態を限定するものではない。
【0037】
垂直CCD(垂直電荷転送手段)2は、光電変換受光素子1の横の個数と同数個(ここでは、8個)の垂直CCD部(垂直電荷転送部)からなり、各垂直CCD部は光電変換受光素子1の各縦1列に隣接して垂直方向に配置される。垂直CCD2は、図中左隣の光電変換受光素子1から転送された上記電荷を、一方の端部に設けられた出力端からその電荷を1画素ずつ順次送り出す。つまり、8個の垂直CCD部から同時に電荷が送出されることによって、1行単位でバッファ3に電荷が転送される。
【0038】
また、図2に示すように、垂直CCD2には、光電変換受光素子1で生成された電荷を垂直CCD2内に転送させるための電荷転送信号C10を入力する電荷転送信号線10が接続されている。さらに、垂直CCD2には、垂直CCD2を駆動して、電荷を下方向へ移動させるための垂直CCD駆動信号C11を入力する垂直CCD駆動信号線11が接続されている。
【0039】
バッファ3は、図1に示すように、垂直CCD2の出力端に接続され、垂直CCD2からの電荷を一時的に保持する。また、バッファ3の利得を調整することで、垂直転送路ごとの感度の違いを調整することができる。
【0040】
選択用スイッチング素子4は、例えばFET(Field Effect Transistor)などからなり、そのドレインがバッファ3に接続され、ソースが出力信号線8に接続され、ゲートが出力選択信号線5に接続される。この選択用スイッチング素子4は、出力選択信号線5に入力される出力選択信号に基づいて、バッファ3内の必要な電荷のみを選択して出力信号線8に導く。
【0041】
掃出用スイッチング素子6は、例えばFETなどからなり、そのドレインがバッファ3に接続され、ソースが掃出信号線9に接続され、ゲートが掃出選択信号線7に接続される。上記掃出信号線9は接地されている。この掃出用スイッチング素子6は、選択用スイッチング素子4で選択されなかった電荷を、掃出選択信号線7に入力される掃出選択信号に基づいて選択して掃出信号線9に導く。
【0042】
なお、選択転送手段は、バッファ3、選択用スイッチング素子4、出力選択信号線5、掃出用スイッチング素子6、掃出選択信号線7、出力信号線8、および掃出信号線9に対応している。
【0043】
上記構成によるイメージセンサの動作を、図2に示すように、全48画素のうち中央部の縦3画素×横3画素の9画素で形成される有効領域12のみを出力する場合を例にあげて説明する。この動作を行う場合には、図3に示すような駆動クロックを発生させる。
【0044】
なお、この説明に際して上記選択用スイッチング素子4を図中右から4aないし4hとし、掃出用スイッチング素子6を6aないし6hとして説明する。また、図3におけるC4aないしC4hは選択用スイッチング素子4aないし4hに印加される出力選択信号を表し、C6aないしC6hは掃出用スイッチング素子6aないし6hに印加される掃出選択信号を表している。また、C8 は出力信号線8から出力される信号を示している。
【0045】
照射された光量に応じた電荷が光電変換受光素子1にて生成され(図5参照)、図3に示す電荷転送信号C10がHレベルになると全48画素の電荷が垂直CCD2に転送される(図6参照)。転送された電荷は垂直CCD駆動信号C11がHレベルになると、最下部の1行分からバッファ3に転送される。そして、垂直CCD駆動信号C11を一旦Lレベルにすると同時に掃出用スイッチング素子6aないし6hをONとする。つまり、最も下の1行目には必要な画素が存在しないため、選択用スイッチング素子4aないし4hは全てOFFとし、掃出用スイッチング素子6aないし6hを同時にONとして全ての電荷を一度に掃き出す(図7参照)。次の1行も同様に行う(図8参照)。
【0046】
下から3行目から5行目の画素には必要とする画素が3画素ずつ存在する。したがって、この場合、掃出用スイッチング素子6a・6b、6fないし6hをONにして計5画素を掃き捨て、選択用スイッチング素子4cないし4eを順次1つずつONにして3つの画素を順に1つずつ出力する(図9〜図11参照)。最後の行は、最初の行と同様に全て画素を掃き出す(図12参照)。
【0047】
このようにして、転送すべき電荷は選択用スイッチング素子4aないし4hに選択され出力信号線8より順次出力される一方、不要な画素の電荷は掃出用スイッチング素子6aないし6hにより掃出信号線9へ出力される。
【0048】
なお、図7や図12のように、全ての電荷を一度に放出する場合には掃出信号線9に流れる電流が大きくなる場合があるため、まず、掃出用スイッチング素子6aないし6dのみをONとして半分を掃き出し(図13(a)参照)、その後、掃出用スイッチング素子6eないし6hをONとして残りの半分を掃き出す構成としてもよい(図13(b)参照)。この場合の駆動クロックは、図4に示す通りである。
【0049】
上記図3に示すような駆動クロックを発生させる手法としては、図16に示すアルゴリズムを用いれば容易に行うことができる。まず、比較のために、従来のイメージセンサの動作を説明する。
【0050】
図36に示す従来のCCDイメージセンサで、縦6画素×横8画素の画像を転送する場合のフローチャートは、図14に示すようになる。
【0051】
ステップ(以下Sと略称する)101では、光電変換受光素子1に受光された光量に応じた電荷が発生する。これを垂直CCD2に転送し、下からの行数をカウントする縦カウンタの変数Iに1を代入する(S102)。その後、垂直CCD2を駆動し、下からIライン目の画素を表す電荷を水平CCD15に転送し(S103)、右からの列数をカウントする横カウンタの変数Jに1を代入する(S104)。そして、水平CCD15を駆動し、出力信号線16から1画素分の情報が出力される(S105)。変数Jに1を加え(S106)、S107で変数Jが8を越えていなければS105へ戻り処理を繰り返し、変数Jが8を越えていればS108へ進む。すなわち、水平CCD15に転送された水平1ライン分(8画素)の画像情報を全て出力するまで出力を繰り返す。
【0052】
S108では、変数Iに1を加え、S109で変数Iが6を越えていなければS103へ戻り、変数Iが6を越えていれば処理を終了する。すなわち、垂直ライン分だけS103〜S109の処理を繰り返すことで全ての画素を出力する。結局、必要とする画素数に関係なく、横の画素数×縦の画素数回(この場合は8×6=48回)の出力を行う。
【0053】
次に、図38に示す従来のイメージセンサで、縦6画素×横8画素の画像を水平1ライン単位で間引いて部分転送を行う場合のフローチャートは、図15に示すようになる。
【0054】
S201〜S203は、上記S101〜S103と同様に、発生した電荷を垂直CCD2に転送し、縦のカウント数を表す変数Iに1を代入すると、垂直CCD2が動作し、下からIライン目の画素を表す電荷が水平CCD15に転送される。ここで、変数Iは下から何番目の水平ラインの画素が水平CCD15に転送されたかを示しているため、S204では、変数Iが3から5の範囲(2<I<6)である場合にはS205へ、それ以外の場合にはS211の処理へと分岐する。
【0055】
S211では、掃出信号がONとなり、掃出信号線105より水平CCD15に転送された1ライン全ての電荷が一括して掃き捨てられる。このとき、掃き捨てが十分な時間以上この状態を保持したまま、掃出信号をOFFとし、S209の処理に移行する。
【0056】
一方、S204で変数Iが3から5の範囲である場合にはS205〜S208の処理を行うが、これは上述のS104〜S107の処理と同じである。すなわち、水平CCD15に転送された水平1ライン分(8画素)の画像情報を全て出力するまで出力を繰り返す。
【0057】
S209では、変数Iに1を加え、S210で変数Iが6を越えていなければS203へ戻り、変数Iが6を越えていれば処理を終了する。すなわち、垂直ライン分だけS203〜S210の処理を繰り返すことで必要な画素が存在する水平ラインのみを出力する。結局、必要とする画素数が存在する下から3・4・5番目の3つの水平ラインの全ての画素を出力するため、3×8(横画素数)=24回の出力を行う。なお、出力範囲を変更する場合には、S204での変数Iとの比較に用いた数値を変更する。例えば、有効な画素が下から2〜4ライン目に含まれているならば、S204の比較式を「1<I<5」に変更すればよい。
【0058】
これら従来例に対する本参考形態における図2のイメージセンサの部分転送の動作は、図16のフローチャートに示す通りである。
【0059】
光電変換受光素子1には受光された光量に応じた電荷が発生する。これを垂直CCD2に転送し(S1)、下からの行数をカウントする縦カウンタの変数Iに1を代入する(S2)。その後、垂直CCD2が駆動し、下からIライン目の画素を表す電荷をバッファ3に転送する(S3)。
【0060】
上記変数Iは、下から何番目の水平ラインの画素がバッファ3に転送されたかを示しているので、S4では変数Iが3から5の範囲である場合にはS5へ進み、それ以外の場合にはS13の処理へ分岐する。S13では、掃出用スイッチング素子6を全てONにすることにより、掃出信号線9から電荷を掃き出す。このとき、掃き捨てに十分な時間以上この状態を保持したまま、掃出用スイッチング素子6を全てOFFとし、S11の処理に移行する。
【0061】
一方、S5では、まず、掃き捨てるべき画素である右から1・2・6・7・8番目の5画素に対応する、掃出用スイッチング素子6a、6b、6f、6g、および6hのみをONとし、それ以外の掃出用スイッチング素子6cないし6eはOFFのままとする(図9参照)。次に、右からの列数をカウントする横カウンタの変数Jに3を代入し(S6)、選択用スイッチング素子4のうち右からJ番目のみをONとし、出力信号線8より出力を行う(S7)。一定期間後この選択用スイッチング素子4をOFFとしS7を終了する。横カウンタの変数Jの値に1を加え(S8)、S9で変数Jが5を越えていなければS7・S8を繰り返し、変数Jが5を越えていればS10へ進む。S10では、掃出用スイッチング素子6の全てをOFFとする。すなわち、S5〜S10の処理によって、水平1ライン分のうち有効な画素である右から3・4・5番目の画素のみの出力を行うことになる。
【0062】
このように、水平1ライン分のうち必要な部分のみ出力を行うので、3画素を出力するためには3回のみ出力を行えばよい。これは、図15のアルゴリズムを用いた従来例の場合のように、有効画素が含まれているラインは全て出力する場合(水平1ラインで8回の出力)に対し少ない回数しか出力しないため、従来と比較してさらに高速な動作が可能となっている。
【0063】
S10あるいはS13の処理の後、縦カウンタの変数Iに1を加え(S11)、S12で変数Iが6を越えていなければS3へ戻り、変数Iが6を越えていれば処理を終了する。
【0064】
以上の処理により、撮像した画素のうち、有効な画素が含まれている垂直ラインの数だけS4〜S11の処理を繰り返し、かつその中で有効な画素に対してのみS7〜S9の処理を行うことで、必要な画素のみ出力している。この場合は、必要な画素である縦3画素×横3画素=9画素のみ出力している。これは上記従来例の出力である48画素や24画素よりはるかに少なく、高速化されていることがわかる。
【0065】
なお、出力範囲を変更する場合は、S4やS9での変数I・Jとの比較に用いた数値、S5の掃き捨てる画素の指定、およびS6の変数Jに代入する値を変更すればよい。例えば、有効な画素が下から2〜4ライン目で右から2・3番目に含まれているならば、S4の比較式を「1<I<5」に、S9の比較式を「J>3」に、S5の掃出用スイッチング素子6を「6a・6d・6e・6f・6g・6h」に、S6の変数Jに代入する値を「2」に変更すればよい。
【0066】
また、動作に必要な時間を垂直CCD2が駆動している時間までで考えると、図5〜図12より、1フレーム分の画像を出力する場合に必要なクロック数は19クロックである。しかしながら、従来の全ての画素を出力する場合には、掃き捨てた残り48−9=39画素も転送しなければならないので、さらに39クロック分も必要となる。このとき、本参考形態のように水平3ラインを掃き捨てる3クロック分は必要ないので、結局、19+39−3=55クロック必要となる。また、水平ライン単位で掃き捨てを行う場合でも、下から3〜5ラインの画像は全て転送するため、1ライン当たり5画素分余分に転送することになり、19+3×5=34クロック必要である。実際のイメージセンサの画素数は遙に多いので、必要な部分の画素数と全体の画素数との差が大きいほど、全体を出力する場合に比べ部分出力時の速度は速くなる。
【0067】
また、上記参考形態では、有効領域12が長方形もしくは正方形の領域の場合について述べたが、以下の掃き出しデータ表および出力データ表に示すデータテーブルと図17に示すアルゴリズムを用いることにより、あらゆる形状の領域の出力が可能となる。
【0068】
表1は掃き出しデータを示すものであり、その行番号は下からの水平ライン番号を示すものである。表1では行番号が1・2・6番の値は全て「1」であり、全ての画素を掃き出すことを示す。行番号が3・4・5番の値は右から3・4・5番目が「0」であるので画素を掃き出さず、残りは掃き出すことを示す。この「0」の領域は図2で示した有効領域12の範囲を示す。
【0069】
【表1】
【0070】
表2は、出力すべきデータを示す。その行番号は表1の行番号に対応している。列番号は出力する位置を順に示したものであり、行番号が1・2・6番の値は全て「0」であり、全ての画素を出力しないことを示す。また、行番号が3・4・5番目の値は左から「3・4・5」の値となっているが、これは図2における下から3・4・5番目の水平ラインの各右から3・4・5番目の画素をこの順に出力することを示す。つまり、「0」以外の数値は図2の有効領域12の範囲を出力する順も合わせて示している。
【0071】
【表2】
【0072】
図17は、この表1および表2を用いて、任意の領域を出力する場合のアルゴリズムを示している。
【0073】
S21ないしS23では、上述のS1ないしS3と同様に、光電変換受光素子1で発生した電荷を垂直CCD2に転送し、変数Iに1を代入する。その後、垂直CCD2が動作し、下からIライン目の画素を表す電荷をバッファ3に転送する。
【0074】
次に、表1の掃き出しデータ表の行番号がI番目のデータを変数Bに入力する(S24)。変数Bに入力したデータを掃出選択信号線7に出力し掃出用スイッチング素子6を駆動する(S25)。出力を保持する時間をカンウトする第1タイマをセットし(S26)、横カウンタの変数Jに1を代入し(S27)、表2の出力表の列番号がJ番目のデータを変数Cに代入する(S28)。つまり、変数Cには、出力表のI行J列のデータが代入されることになる。S29で、この変数Cに代入した値が0ならばS30へ移行し、変数Cの値が0でないならばS34へ移行する。つまり、変数Cの値が0の場合は次の行に移行する。したがって、表2の「0」の右にある数値は参照されないので無効である。
【0075】
ここで、変数Cの値が0でない場合は出力すべき画素があるということであるので、選択用スイッチング素子4の右からC番目の出力のみをONにし(S34)、出力を保持する時間をカンウトする第2タイマをセットし(S35)、第2タイマが経過するのを待つ(S36)。第2タイマ経過後、ONにしていた選択用スイッチング素子4の選択出力をOFFにし(S37)、横カウンタの変数Jに1を加え(S38)、この値が8を越えていればS30に移行し、越えていなければS28へ戻り処理を繰り返す。
【0076】
S30では、第1タイマが経過するのを待ち、掃き出すべきデータを十分に掃き出し、その後掃出用スイッチング素子6の掃出出力を全てOFFにする(S31)。縦カウンタの変数Iに1を加えて(S32)、S33で変数Iが6を越えていなければS23へ戻り、変数Iが6を越えていれば水平6ライン全ての処理が終了する。
【0077】
なお、上記第1・第2タイマは、データを十分に掃き出すための時間をカウントするためのものである。第1タイマは、独立に時間をカウントしており、設定した時間が経過したかどうかを判断する機能を持つものとする。なお、このようなタイマ機能は一般的なものであるため詳細な説明は行わない。
【0078】
以上の動作により、必要な画素のみを出力する高速駆動が可能となる。上記有効領域12に対して表1・表2のデータおよび図17のアルゴリズムを用いると、電荷は図5〜図12で示したように移動し、図16のアルゴリズムの実行と同じ結果を生む。しかしながら、図17のアルゴリズムは、図16のアルゴリズムのような単純な長方形の領域に対してだけでなく、あらゆる形状の領域の出力を高速に実行することができる。
【0079】
例えば、図18に示される色の濃い部分で示されるような画像領域のみの情報が必要な場合でも、表3で示される掃き出しデータと表4で示される出力データとを用いて、図17のアルゴリズムを実行させれば、高速に部分出力が可能である。なお、図15で示される水平ライン単位の選択による高速化手法では、図18のように全ての水平ラインに必要な画素が含まれている場合には全く高速化できない。
【0080】
【表3】
【0081】
【表4】
【0082】
この場合の動作を考えると、図18の領域は下の水平ラインからそれぞれ〔2・3〕、〔3・4〕、〔4・5〕、〔5・6〕、〔6・7〕、〔7・8〕の2画素ずつの情報が必要である。それぞれ必要な部分以外を掃き出すのであるから、表3の掃き出しデータは、必要な部分が「0」、それ以外は「1」となり、「11111001、11110011、11100111、11001111、10011111、00111111」となる。また、表4の出力データは、必要な画素をそのまま並べればよく、それぞれ「2・3、3・4、4・5、5・6、6・7、7・8」となる。
【0083】
これらのデータに対して図17のアルゴリズムを用いると、<掃き出し(11111001)、出力(2)、出力(3)、掃き出し(11110011)、出力(3)、出力(4)、掃き出し(11100111)、出力(4)、出力(5)、掃き出し(11001111)、出力(5)、出力(6)、掃き出し(10011111)、出力(6)、出力(7)、掃き出し(00111111)、出力(7)、出力(8)>の順に動作を行う。この場合の出力回数も、必要な画素数である12回のみである。以上により、図18で示されるような全水平ラインに必要な画素が含まれている場合でも必要な画素のみの出力を行うことができることがわかる。
【0084】
次に、図19で示されるような場合を考える。これは縦2画素×横2画素の領域をそれぞれ1つの画素で代表させた出力を行う場合の出力画素を示しており、画素の代表により1/2に縮小された画像を出力することを意味する。このような場合でも、表5に示される掃き出しデータと表6で示される出力データとを用いて、図17のアルゴリズムを実行させれば、高速に部分出力を行うことが可能である。
【0085】
【表5】
【0086】
【表6】
【0087】
この場合の動作を考えると、図19の領域は下の水平ラインからそれぞれ〔なし〕、〔2・4・6・8〕、〔なし〕、〔2・4・6・8〕、〔なし〕、〔2・4・6・8〕の情報が必要であるから、表5の掃き出しデータは、「11111111、10101010、11111111、10101010、11111111、10101010」となる。また、表6の出力データは、「なし、2・4・6・8、なし、2・4・6・8、なし、2・4・6・8」となる。
【0088】
これらのデータに対して図17のアルゴリズムを用いると、<掃き出し(11111111)、掃き出し(10101010)、出力(2)、出力(4)、出力(6)、出力(8)、掃き出し(11111111)、掃き出し(10101010)、出力(2)、出力(4)、出力(6)、出力(8)、掃き出し(11111111)、掃き出し(10101010)、出力(2)、出力(4)、出力(6)、出力(8)>の順に動作を行う。この場合の出力回数も、必要な画素数である12回のみである。以上より図19で示されるような画素が連続していない場合でも必要な画素のみの出力を行うことができることがわかる。
【0089】
次に、図20で示されるような場合を考える。これは中央部の縦6画素×横4画素の領域を出力するだけである。この場合、表7に示される掃き出しデータと表8で示される出力データとを用いて、図17のアルゴリズムを実行させれば、左右に反転した画像を高速に出力が可能である。
【0090】
【表7】
【0091】
【表8】
【0092】
この場合の動作を考えると、図20の領域は全て〔3・4・5・6〕の情報が必要であるから、表7の掃き出しデータは全て「11000011」となる。また、表8の出力データは、全て「3・4・5・6」とするはずであるが、左右反転させるために全て逆順の「6・5・4・3」とする。
【0093】
これらのデータに対して図17のアルゴリズムを用いると、<掃き出し(11000011)、出力(6)、出力(5)、出力(4)、出力(3)、掃き出し(11000011)、出力(6)、出力(5)、出力(4)、出力(3)、掃き出し(11000011)、出力(6)、出力(5)、出力(4)、出力(3)、掃き出し(11000011)、出力(6)、出力(5)、出力(4)、出力(3)、掃き出し(11000011)、出力(6)、出力(5)、出力(4)、出力(3)、掃き出し(11000011)、出力(6)、出力(5)、出力(4)、出力(3)>の順に動作を行う。ここで水平画素の出力順序が3・4・5・6ではなく、逆の6・5・4・3になっているので、左右反転画像が出力されていることがわかる。また、この場合の出力回数も、必要な画素数である24回のみである。これにより、水平ライン内で左右反転など出力順序を変更した場合でも、必要な画素のみの出力を行うことができることがわかる。
【0094】
以上のように、本参考形態にかかるイメージセンサは、水平1ライン分の画素のうち必要な画素だけを選択して部分画像を出力することができるので、不要画素を転送する時間分だけ高速転送が可能となる。この結果、イメージセンサの処理速度を向上させることが可能となる。
【0095】
また、本イメージセンサは画素単位で間引きを行うため、水平ライン単位で出力する部分が違う不定型な領域がある場合や目的の領域が複数ある場合でも、全画像情報を出力するより十分に高速な転送が可能となる。また、ライン単位の間引きを行っていた従来のイメージセンサと比較しても、特に目的領域の画素数が少ない場合には目的領域の形にかかわらず、高速に出力することができる。
【0096】
さらに、選択転送手段での画素の選択を1つおきにして転送する画素数を1/2個とすることで1/2に縮小した画像を出力することも可能となる。また、複数を同時に選択して平均の値を出力する、すなわち、隣接した画素n個を同時に選択することで横方向に1/nに圧縮した画像を取り出すことも可能となる。
【0097】
以上のように、本参考形態のイメージセンサは、マトリクス状に配置され、入射光量に応じて信号電荷を蓄積する複数の光電変換部(例えば、光電変換受光素子)と、該光電変換部の各列に沿って配置された複数の垂直電荷転送部からなり、光電変換部から取り込んだ信号電荷を各垂直電荷転送部から同時に1画素ずつ順次送り出す垂直電荷転送手段(例えば、垂直CCD)と、該垂直電荷転送手段から送出された信号電荷を画素単位で任意に選択して転送する選択転送手段とを備えることを特徴としている。
【0098】
上記構成によれば、光電変換部によって、照射された光量に応じた信号電荷が生成される。信号電荷は、光電変換部の各列に隣接した各垂直電荷転送部によって引き込まれ、それぞれ同時に1画素ずつ選択転送手段へ送り出される。つまり、垂直電荷転送手段から送出された信号電荷は水平1ライン分の画素として選択転送手段に入力される。選択転送手段では必要な信号電荷のみを選択して転送すると共に、不要な信号電荷を外部へ排出する。各水平ライン毎に同様に選択転送を行うことによって1フレーム分の画像が転送されることになる。
【0099】
このとき、水平1ライン分の画素のうち必要な画素だけを選択して部分画像を出力することができるので、不要画素を転送する時間分だけ高速転送が可能となる。また、本発明のイメージセンサは、従来のような水平ライン単位の掃き捨てではなく、画素単位で間引きを行うため、いかなる形状の領域でも効率よく高速に出力することができる。さらに、選択転送手段での画素の選択の仕方を変えることによって、1/2に縮小した画像や、横方向に圧縮した画像を取り出すことも可能となる。
【0100】
〔参考形態2〕
本発明の参考形態2について図21および図22に基づいて説明すれば、以下の通りである。なお、説明の便宜上、前記の参考形態の図面に示した部材と同一の部材には同一の符号を付記し、その説明を省略する。
【0101】
本参考形態のイメージセンサは、図21に示すように、参考形態1の垂直CCD2の代わりに双方向垂直CCD13を備えるとともに、水平CCD15および垂直CCD駆動信号線14を加えており、その他の構成については参考形態1と同じである。
【0102】
双方向垂直CCD(双方向垂直電荷転送手段)13は上下双方向に電荷を移動することができるCCDであり、光電変換受光素子1の横の個数と同数個(ここでは、8個)の垂直CCD部からなる。各垂直CCD部は光電変換受光素子1の各縦1列に隣接して垂直方向に配置される。また、各垂直CCD部は、長手方向の両端部に出力端を有し、図において、双方向垂直CCD13の下部の出力端には水平CCD15が接続され、上部の出力端には選択転送手段が接続される。
【0103】
なお、選択転送手段は、バッファ3、選択用スイッチング素子4、出力選択信号線5、掃出用スイッチング素子6、掃出選択信号線7、および出力信号線8からなっている。また、選択転送手段と水平CCD15とは上下が逆になってもよいことは言うまでもない。
【0104】
上記双方向垂直CCD13には、光電変換受光素子1で生成された電荷を双方向垂直CCD13内に転送させる電荷転送信号C10を入力するための電荷転送信号線10が接続される。さらに、双方向垂直CCD13には、電荷を上方向に転送するように制御する垂直CCD駆動信号C14を入力するための垂直CCD駆動信号線14が接続されるとともに、電荷を下方向に転送するように制御する垂直CCD駆動信号C11を入力するための垂直CCD駆動信号11が接続されている。
【0105】
水平CCD(水平電荷転送手段)15は、入力された1ライン分の電荷を1画素ずつ順に出力信号線16から出力する。水平CCD15が1ライン分の電荷を出力信号線16から出力し終わる毎に双方向垂直CCD13から1ライン分の転送が行われ、全ての電荷が転送されることで1画面分の情報が出力される。なお、水平CCD15は、水平CCD駆動信号線21に入力される水平CCD駆動信号C21により駆動される。
【0106】
なお、駆動信号は、垂直CCD駆動信号C11および垂直CCD駆動信号C14に対応している。
【0107】
上記構成によれば、光電変換受光素子1によって生成された電荷は、隣接する垂直CCD部に転送される。双方向垂直CCD13では、下へ転送する垂直CCD駆動信号C11により水平CCD15に1行単位で電荷が転送されるか、あるいは上へ転送する垂直CCD駆動信号C14により選択転送手段へ1行単位で電荷が転送される。
【0108】
すなわち、本参考形態のイメージセンサは、垂直CCD駆動信号線14を用いずに、双方向垂直CCD13、垂直CCD駆動信号線11、および水平CCD15にて出力信号線16より通常の全画面の出力を通常の速度で得る場合と、垂直CCD駆動信号線11を用いずに、双方向垂直CCD13、垂直CCD駆動信号線14、および選択転送手段にて出力信号線8より任意の領域の出力を高速に得る場合との2種類の出力系を持つイメージセンサとなる。
【0109】
したがって、どちらの出力系に送られる情報も同一の受光面により得られたものであるため、双方の出力間の画素のずれや拡大率(1画素が表現する面積)の違いは基本的に存在しない。このため、どちらの出力系から得た画像であっても、画像処理などにより面積などの計測を行っても全く同じ結果が得られる。
【0110】
これにより、別の光学系やイメージセンサを用意した場合と比べて、2つの光学系やイメージセンサ間の複雑な調整や、2つの画像出力間の相関関係を求めるための複雑な計算を行う必要はない。また、温度や振動による調整後の両者のずれも全く気にする必要がなくなる。つまり、異なるアスペクト比や転送周期を持つ画像を容易かつ高精度に得ることができる。さらに、イメージセンサは1台でよいので、コスト、設置する空間、および設置にかかる作業を低減することができる。
【0111】
また、上部の選択転送手段により全領域を選択出力する場合と、下部の水平CCD15で全領域を転送する場合とでは転送する領域は同じになるが、それぞれの出力系から転送される画素の順序が異なるなどの違いがある。しかし、それ以上に2つの出力系を別々に持つということは以下の大きな特徴がある。
【0112】
すなわち、水平CCD15から出力を得ることは、通常のCCD撮像素子で映像を得ることと全く同じであるため、従来同様NTSC(National Television System Committee) などの規格に合致したタイミングで信号を出力することに特化させることができる。一方、選択転送手段を用いた部分読み出し動作による任意の範囲の画像出力は、NTSCなどの決まった形態で転送せずに、接続される画像処理装置に転送するのに都合のよいタイミングや速度に特化させる構成や、高速化のために特化させた構成など、自由に設計することができる。
【0113】
このように自由に設計しても、2つの出力の各々の性能を落とすことがないので、各々の目的に合わせて自由に選択して使用する多機能化が可能となる。なお、本参考形態では、高速化が目的である双方向垂直CCD13、垂直CCD駆動信号線14、および選択転送手段を用いた部分読み出しの高速動作に何ら影響を与えることなく通常の画面を得ることができる。
【0114】
なお、図21では、2つの出力系は全ての画素をその対象としていたが、これに限られることはない。例えば、図22に示すように、受光部の画素数(光電変換受光素子数)を縦6画素×横16画素として、双方向垂直CCD13の上部に接続され受光部の全ての画素を対象とした幅16画素分の水平CCD26と、双方向垂直CCD13の下部に接続され高速部分読出部として中央の縦6画素×横8画素を対象とした選択転送手段と、左右の縦6画素×横4画素の2つの部分それぞれから電荷を掃き出す電荷掃出部29・30とを備える構成としてもよい。なお、水平CCD26は、水平CCD駆動信号線28に入力される水平CCD駆動信号C28により駆動される。このようなイメージセンサは、高速な部分転送を行うべき領域が中央部に限定しているような場合に用いることができる。
【0115】
これによれば、垂直CCD駆動信号C14によって双方向垂直CCD13内の電荷を上方向に移動させ、水平CCD26に入力させると、水平CCD26の出力信号線27から全ての電荷が出力される。一方、垂直CCD駆動信号C11によって双方向垂直CCD13内の電荷を下方向へ移動させ、選択転送手段および電荷掃出部29・30に入力させる。すると、選択転送手段に入力された中央の縦6画素×横8画素分の電荷は出力信号線8から必要な電荷のみが選択出力されるとともに、電荷掃出部29・30に入力された左右の縦6画素×横4画素分の電荷は掃き捨てられる。
【0116】
これにより、図21の構成のイメージセンサと同様に、通常速度の転送と高速の転送との2種類の出力系を持つイメージセンサとすることができる。この場合、下部の選択転送手段の高速部分読出部が対象とする横方向の画素数を限定することで、横方向すべての画素に対応するように高速読出部の回路構成をする場合に比べて、回路が簡略化され、コスト的にも有利になる。
【0117】
なお、本参考形態では、双方向垂直CCD13に水平CCD15あるいは水平CCD26が接続されているが、双方向垂直CCD13の最端部の電荷がこれら水平CCDに流れ出たり、逆に流れ込んだりすることはない。
【0118】
また、本参考形態では、双方向垂直CCD13を用いて2つの出力系に電荷を移動させているが、単方向の垂直CCDとスイッチ回路を用いて、2つの出力系の切り換えを行う構成とすることも可能である。しかしながら、この場合、スイッチ回路を設けるため構成が複雑になるので、双方向垂直CCD13を用いる構成の方が望ましい。
【0119】
以上のように、本参考形態のイメージセンサは、マトリクス状に配置され、入射光量に応じて信号電荷を蓄積する複数の光電変換部と、該光電変換部の各列に沿って配置された複数の垂直電荷転送部からなり、光電変換部から取り込んだ信号電荷を各垂直電荷転送部から同時に1画素ずつ順次送り出すことが可能な垂直電荷転送手段と、該垂直電荷転送手段から送出された信号電荷を画素単位で任意に選択して転送する選択転送手段と、上記垂直電荷転送手段から送出された信号電荷を水平ライン単位で転送する水平電荷転送手段(例えば、水平CCD)と、上記垂直電荷転送手段からの信号電荷が選択転送手段と水平電荷転送手段とのどちらか一方に入力するように制御する制御手段とを備えることを特徴としている。
【0120】
上記構成によれば、光電変換部によって生成された信号電荷は、垂直電荷転送手段に引き込まれる。この信号電荷が選択転送手段に入力されるように制御手段にて制御されていると、水平1ライン分の画素が選択転送手段に入力される。選択転送手段では必要な信号電荷のみを選択して転送すると共に、不要な信号電荷を外部へ排出する。一方、垂直電荷転送手段からの信号電荷が水平電荷転送手段に入力されるように制御手段にて制御されていると、水平1ライン分の画素が水平電荷転送手段に入力される。水平電荷転送手段ではその信号電荷を全て1画素ずつ転送して出力する。
【0121】
したがって、選択転送手段によって部分画像を高速に転送するか、水平電荷転送手段によって全画像を通常の速度で転送するかを選択して出力することができる。これにより、1つのイメージセンサで2つの異なる転送速度で画像を出力するマルチ読み出しが可能となる。
【0122】
この結果、領域ごとに光学系やイメージセンサを用意する必要がないので、コストおよび設置を行うための作業を低減することができる。また、それらを設置するための空間を要することもない。さらに、複数の光学系やイメージセンサを配置した場合に比べて、画素同士の対応をとるための複雑な処理や調整を行わなくてよいので、全体としての装置の処理速度を向上させることができる。
【0123】
また、本参考形態のイメージセンサは、上記の構成に加えて、上記垂直電荷転送手段が各垂直電荷転送部の長手方向の両端部に出力端を有し、2つの出力端にそれぞれ信号電荷を転送することが可能な双方向垂直電荷転送手段(例えば、双方向垂直CCD)であり、上記選択転送手段が双方向垂直電荷転送手段の一方の出力端に接続されると共に、水平電荷転送手段が他方の出力端に接続され、上記制御手段が双方向垂直電荷転送手段を駆動して2つの出力端のどちらに信号電荷を転送するかを制御する駆動信号であることを特徴としている。
【0124】
上記構成によれば、双方向垂直電荷転送手段の一方の出力端には選択転送手段が、他方の出力端には水平電荷転送手段が接続されることになる。このとき、双方向垂直電荷転送手段に転送された信号電荷が駆動信号に制御されて選択転送手段に入力された場合には部分画像が出力される。一方、駆動信号により水平電荷転送手段に入力された場合には全画像が出力される。
【0125】
これにより、複雑な回路などを設けない容易な構成で、選択的に2つの異なる転送速度で画像を出力するマルチ読み出しのイメージセンサを実現することができる。
【0126】
なお、上記参考形態1および2では、垂直CCD2あるいは双方向垂直CCD13の出力をバッファ3を介して転送しているが、垂直CCD2の出力を選択用スイッチング素子4および掃出用スイッチング素子6に直接接続してもよい。
【0127】
〔参考形態3〕
本発明の参考形態3について図23ないし図25に基づいて説明すれば、以下の通りである。なお、説明の便宜上、前記の参考形態の図面に示した部材と同一の部材には同一の符号を付記し、その説明を省略する。
【0128】
本参考形態のイメージセンサは、図23に示すように、受光部の画素数を縦6画素×横16画素とする。したがって、双方向垂直CCD13における垂直CCD部の数は16個となる。双方向垂直CCD13の上部には接続手段23を介して垂直CCD(電荷記憶転送手段)24が接続され、垂直CCD24にはさらに水平CCD26が接続される。双方向垂直CCD13の下部には、中央8個の垂直CCD部に水平CCD15が接続されるとともに、左右4個の垂直CCD部にそれぞれ電荷掃出部29・30が接続される。
【0129】
垂直CCD24には、垂直CCD24を駆動して、電荷を固体内で上方向に移動させるための垂直CCD駆動信号C25を入力する垂直CCD駆動信号線25が接続される。そして、垂直CCD駆動信号C25がOFF状態のときには電荷は移動せずに固体内で保持され、ON状態となると移動を開始する。すなわち、垂直CCD24は、画像情報を一時的に記憶するものである。
【0130】
水平CCD26は、受光部の全ての画素を対象とした幅16画素分に対応しており、垂直CCD24からの1ライン分の電荷を1画素ずつ順次出力信号線27から出力する。この水平CCD26は、水平CCD駆動信号線28に入力される水平CCD駆動信号C28により駆動される。
【0131】
接続手段23は、垂直CCD24に電荷が記憶されている間は双方向垂直CCD13からの出力を垂直CCD24に入力し、垂直CCD24に電荷が記憶された後には双方向垂直CCD13からの出力が水平CCD15および電荷掃出部29・30に入力するように接続制御を行う。
【0132】
この接続手段23は、FETなどのスイッチング素子で構成すればよい。なお、垂直CCD24自身にこの接続手段23の機能を持たせることもできる。これは、CCDが素子の電位の変化によって電荷を移動させる素子であるため、ある一点を常時高いポテンシャルにしておくことでその点以降への電荷の移動を阻止することができるからである。
【0133】
さらに、上記イメージセンサには、光電変換受光素子1に照射される光量を制御するシャッター31が設けられる。このシャッター31は、それに接続されたシャッター駆動信号線32にシャッター駆動信号C32を入力することにより、その動作が制御される。
【0134】
なお、駆動信号は、垂直CCD駆動信号C11・C14・C25に対応している。
【0135】
上記構成によれば、双方向垂直CCD13に転送された電荷は、垂直CCD駆動信号C14で上部へ行単位で転送されるが、このとき、これと同期して垂直CCD駆動信号C25も動作させることで垂直CCD24に電荷を転送する。この処理を縦の画素数だけ行うことにより、双方向垂直CCD13の電荷を全て垂直CCD24に転送する。
【0136】
この後、上下の垂直CCDを結んでいる接続手段23を電気的もしくは機械的な手段などで切断すると、接続手段23より上の部分と下の部分とでは全く独立の動作となる。このとき、接続手段23より上部はイメージセンサから光電変換受光素子1を取り除いた構造であるが、すでに電荷が転送され記憶されているため、通常のイメージセンサが1フレームの画像を転送する場合と同等の動作で出力信号線27から1フレームの画像が出力することができる。
【0137】
一方、接続手段23より下部は、光電変換受光素子1を含む1つのイメージセンサとなる。そして、新たに受光した画像を垂直CCD駆動信号C11で下部へ行単位で転送し、電荷掃出部29・30にて電荷を掃き捨てるとともに、水平CCD15にて通常のイメージセンサと同等の動作を行い出力信号線16より1フレームの画像を出力する。
【0138】
図24のタイミングチャートに基づいて、上記並列イメージセンサの動作を説明する。なお、各垂直CCDの動作クロックは、各水平CCDの動作より遅くしてある。これは、水平CCDは1つのCCDが単独で動作するため比較的高い周波数での動作が容易であるが、垂直CCDは複数の垂直CCD部を互いに同期させて動作させなければならないので水平CCDほどの高速駆動が困難だからである。
【0139】
シャッター駆動信号C32がHレベルになるとシャッター31が1回目の動作を行い、光電変換受光素子1に光が当てられる。変換された電荷は電荷転送信号C10の制御により双方向垂直CCD13に転送されると、接続手段23がON状態になる(図24ではC23で示される)。このとき、垂直CCD駆動信号線14と垂直CCD駆動信号線25とに互いに同期した垂直CCD駆動信号C14および垂直CCD駆動信号C25を与えることにより、全ての電荷を垂直CCD24に転送する。この間並行してシャッター31が2回目の動作を行って、光電変換受光素子1に新たな電荷が生成される。
【0140】
2回目のシャッター駆動信号C32がLレベルとなるのと同期して接続手段23はOFF状態になり、接続手段23より下に配置された構成要素とは独立した動作が可能となる。よって、垂直CCD24に転送された電荷は水平CCD26と連動して、縦6画素×横16画素で構成される1フレーム分の画像を独立して出力信号線27から出力信号C27として順次転送することができる。この間、新たに生成された電荷は、双方向垂直CCD13に転送され、垂直CCD駆動信号C11によって受光部の下部にある水平CCD15と電荷掃出部29・30とに順次転送される。この水平CCD15と双方向垂直CCD13との連動により、中央の縦6画素×横8画素で構成される1フレームの画像が出力信号C16として転送される。
【0141】
さらに、シャッター31が3回目の動作を行って光電変換受光素子1にて電荷が生成され、同様に水平CCD15と双方向垂直CCD13との連動により、中央の縦6画素×横8画素で構成されるもう1フレームの画像が出力信号線16より出力される。
【0142】
出力信号線16から出力信号C16が出力されている間に、再びシャッター31が連動して、上部の垂直CCD24へ次に転送する電荷が生成され、以上の動作が繰り返される。
【0143】
図25は、図24のタイミングチャートのうち、シャッター駆動信号C32、電荷転送信号C10、出力信号C16、および出力信号C27のみを時間軸を拡大して表したものである。これにより、出力信号線16には周期T、出力信号線27には周期2×T(=2T)で画像が出力されていることがわかる。
【0144】
以上のように、本参考形態にかかるイメージセンサは、電荷を一時的に保持することができる垂直CCD24を用いることによって、2つの水平CCD15・26から並列して画像を出力することができる。
【0145】
したがって、並行して出力される画像は共通の受光部より撮影された画像であるため、出力間で共通の画素に関しては全くずれることなく出力する。よって、ここで得られる各出力を別々の画像処理装置を用いて処理しても面積や位置のずれは全くないので、2台のイメージセンサを用いる場合のようにカメラの位置合わせや倍率などの物理的調整や、複雑な相関関係の計算などの処理が不要となる。すなわち、扱う画素数の異なった複数の画像処理装置での並列処理においても、1台のイメージセンサで位置ずれや面積の相違のない正確でかつ効率のよい並列画像を出力することができる。これにより、2台のイメージセンサを用いた場合に比べて、調整などによる処理が必要ないので、高速な処理を行うことができる。
【0146】
また、本イメージセンサにおける2つの水平CCDからは、領域の異なる周期的な画像を出力することができる。このとき、本参考形態以外のアスペクト比の水平CCDを用いたり、縦横の画素比や画素数などを変えたりすることにより、各種の周期で出力が可能である。
【0147】
また、一方の水平CCDの動作をもう他方の水平CCDの動作に支障を与えない範囲で、非同期の動作を行うことなどの動作が実現できる。例えば、上記参考形態では中央の縦6画素×横8画素の部分転送は短時間で行えるので、受光領域全体の転送を妨げることなく、全体転送の倍の周期で行っている。しかし、特に部分転送を周期的に行う必要はなく、部分転送は全体転送を妨げないタイミングであれば自由に動作させることができる。
【0148】
これにより、全体転送を周期的に行いながら、部分転送を必要な場合のみ動作させることで、少ない待ち時間で部分転送を1フレームずつ行うことも可能となる。すなわち、通常の画像転送を行いながら、部分転送を高速に行うことができる。この結果、大きい領域を一度に見る必要があるような画像処理を遅い周期で行いながら、小さい画像の転送を短い周期で行うことで速い周期での高速な部分画像処理を並行して行うことができる。
【0149】
以上のように、本参考形態のイメージセンサは、垂直電荷転送手段が各垂直電荷転送部の長手方向の両端部に出力端を有し、2つの出力端にそれぞれ信号電荷を転送することが可能な双方向垂直電荷転送手段であり、第1の水平電荷転送手段が電荷記憶転送手段を介して双方向垂直電荷転送手段の一方の出力端に接続されると共に、第2の水平電荷転送手段が他方の出力端に直接接続され、制御手段が、双方向垂直電荷転送手段と電荷記憶転送手段とを接続する接続手段を備え、該接続手段により双方向垂直電荷転送手段と電荷記憶転送手段とが導通状態のときには双方向垂直電荷転送手段を駆動して電荷記憶転送手段に信号電荷を転送する一方、双方向垂直電荷転送手段と電荷記憶転送手段とが非導通状態のときには双方向垂直電荷転送手段を駆動して第2の水平電荷転送手段に信号電荷を転送するように制御することを特徴としている。
【0150】
上記構成によれば、双方向垂直電荷転送手段の一方の出力端には電荷記憶転送手段が、他方の出力端には第2の水平電荷転送手段が接続されることになる。このとき、接続手段により双方向垂直電荷転送手段と電荷記憶転送手段とが導通状態のときには、双方向垂直電荷転送手段に転送された信号電荷は駆動信号に制御されて電荷記憶転送手段に入力される。一方、接続手段により双方向垂直電荷転送手段と電荷記憶転送手段とが非導通状態のときには、双方向垂直電荷転送手段に転送された信号電荷は駆動信号に制御されて第2の水平電荷転送手段に入力される。これにより、容易に2つの水平電荷転送手段から並列して画像を出力することが可能となる。
【0151】
〔実施の形態1〕
本発明の実施の形態1について図26ないし図29に基づいて説明すれば、以下の通りである。なお、説明の便宜上、前記の参考形態の図面に示した部材と同一の部材には同一の符号を付記し、その説明を省略する。
【0152】
本実施の形態のイメージセンサは、参考形態3の双方向垂直CCD13を垂直CCD2に代えて、参考形態3と同様に2つの出力系を持つイメージセンサを提供する構成である。
【0153】
図26に示すように、垂直CCD(単方向垂直電荷転送手段)2の下部には切換手段35のa側を介して垂直CCD37が接続され、垂直CCD37にはさらに水平CCD38が接続される。また、切換手段35のb側を介して中央の縦6画素×横8画素に対応させて水平CCD15が接続されるとともに、左右の縦6画素×横4画素に対応させて電荷掃出部29・30が接続される。
【0154】
切換手段35は、垂直CCD2の出力を垂直CCD37に転送するか、水平CCD15および電荷掃出部29・30に転送するかを制御する。
【0155】
垂直CCD37は、前記参考形態3の垂直CCD24と同様に、撮像された1フレーム分の情報が保持可能であり、垂直CCD駆動信号線36に入力される垂直CCD駆動信号C36により水平CCD38へ電荷を転送する。
【0156】
水平CCD38は、水平CCD駆動信号線40に入力される水平CCD駆動信号C40により制御されて出力信号線39より電荷を転送する。
【0157】
図27のタイミングチャートに基づいて、上記イメージセンサの動作を説明する。
【0158】
シャッター駆動信号C32がHレベルになるとシャッター31が動作し、光電変換受光素子1に光が当てられる。変換された電荷は電荷転送信号C10により垂直CCD2に転送されると、切換手段35がa側になって垂直CCD2は垂直CCD37に接続される(図27ではC35で示される)。垂直CCD駆動信号線11と垂直CCD駆動信号線36とに互いに同期した垂直CCD駆動信号C11および垂直CCD駆動信号C36を与えることにより、全ての電荷を垂直CCD37に転送する。この間並行してシャッター31が動作して、光電変換受光素子1に新たな電荷が生成される。
【0159】
2回目のシャッター駆動信号C32がLレベルとなるのと同期して切換手段35がb側になって、垂直CCD2は水平CCD15および電荷掃出部29・30に接続される。一方、切換手段35により切断された垂直CCD37側の構成要素は単独動作が可能な状態となる。よって、先に垂直CCD37に転送された電荷は、水平CCD38と連動して、縦6画素×横16画素で構成される1フレーム分の画像を出力信号線39から出力信号C39として順次転送される。この間、新たに生成された電荷は、垂直CCD2に転送され、垂直CCD駆動信号C11によって水平CCD15と電荷掃出部29・30とに順次転送される。この水平CCD15と垂直CCD2との連動により、中央の縦6画素×横8画素で構成される1フレームの画像が出力信号線16より出力される。
【0160】
さらに、もう一度シャッター31が動作して、光電変換受光素子1にて電荷が生成され、同様に中央でのもう1フレームの画像が出力信号線16より出力される。
【0161】
出力信号線16から出力信号C16が出力されている間に、再びシャッター31が連動して、垂直CCD37へ次に転送する電荷が生成され、以上の動作を繰り返す。
【0162】
図28は、図27のタイミングチャートのうち、シャッター駆動信号C32、電荷転送信号C10、出力信号C16、および出力信号C39のみを時間軸を拡大して表したものである。出力信号線16には周期T、出力信号線39には周期2Tで画像が出力されていることがわかる。
【0163】
以上により、本実施の形態にかかるイメージセンサは、電荷を一時的に保持することができる垂直CCD37を用いることによって、参考形態3と同様に2つの水平CCD15・38から並列して画像を出力することができる。
【0164】
参考形態3との相違点は次の点にある。参考形態3では、垂直CCD24および水平CCD26から得られる画像の出力は受光部の上部のラインから順に転送されるとともに、双方向垂直CCD13および水平CCD15から得られる画像の出力は下部のラインから順に転送されるので、各々の出力においてラインの転送順序が逆になっている。これに対し、本実施の形態では2つの出力は共に下部のラインより転送される。
【0165】
また、本実施の形態では、切換手段35により垂直CCD37か水平CCD15かに転送先を切り換えるので、この切換手段35を含めた比較的複雑な配線を必要とする。これに対して、参考形態3では、双方向垂直CCD13の上部に接続するかしないかだけの単純なスイッチで構成できる接続手段23を設けるだけでよいので、参考形態3の構成の方が好ましい。
【0166】
なお、本実施の形態のイメージセンサは、図29に示す構成とすることも可能である。これは、垂直CCD2に、水平CCD45、垂直CCD37、および水平CCD38をこの順に直列に接続する構成である。水平CCD45は、水平CCD駆動信号線46に入力される水平CCD駆動信号によってその駆動を制御される。つまり、上記水平CCD駆動信号は、垂直CCD2からの電荷を出力信号線47から出力するか垂直CCD37へ転送するかの制御を行っている。
【0167】
この構成によると、垂直CCD2からの電荷はまず水平CCD45に転送される。転送された電荷は、水平CCD駆動信号がOFF状態のときには下部の垂直CCD37に転送される。垂直CCD37で一時的に保持された電荷は水平CCD38に転送され、出力信号線39から出力される。一方、水平CCD駆動信号がON状態のときには、垂直CCD2から転送された電荷は、垂直CCD37へは転送されずに水平CCD45の出力信号線47から出力される。
【0168】
この場合も図26のイメージセンサと同様に、垂直CCD37および水平CCD38により出力中に、垂直CCD2および水平CCD45により並列して出力可能である。
【0169】
しかしながら、以下の理由により、図29の構成より図26の構成のイメージセンサの方が望ましい。すなわち、図26の構成の場合には切換手段35により電荷の転送方向切り換えているため、垂直CCD2の電荷を垂直CCD37に転送する間において水平CCD15は自由に動作させることができるが、図29の構成の場合には水平CCD45を通して垂直CCD37へ転送するため、この間は水平CCD45は出力動作を行うことができない。したがって、図29の構成より図26の構成のイメージセンサの方が並列動作をより高速に行うことができる。
【0170】
また、図29の構成では、下部へも転送可能な水平CCD45が切換手段35の代わりをしているため、基本的に垂直CCD2と水平CCD45と垂直CCD37との3つのCCDの横の画素数は一致する必要があるが、図26の構成では切換手段35と電荷掃出部29・30を設けることにより、それぞれ自由に横方向の画素数を決定することができる。
【0171】
〔実施の形態2〕
本発明の実施の形態2について図30ないし図32に基づいて説明すれば、以下の通りである。なお、説明の便宜上、前記の参考形態または実施の形態の図面に示した部材と同一の部材には同一の符号を付記し、その説明を省略する。
【0172】
本実施の形態のイメージセンサは、参考形態3の構成に実施の形態1の構成を適用している。すなわち、図30に示すように、双方向垂直CCD13の上部には接続手段23を介して垂直CCD24および水平CCD26がこの順に接続される。一方、双方向垂直CCD13の下部には切換手段35のa側を介して垂直CCD37および水平CCD38がこの順に接続され、b側を介して水平CCD15および電荷掃出部29・30が接続される。これによって、本イメージセンサは、出力が出力信号線16・27・39から出力する3並列イメージセンサとして動作することになる。
【0173】
図31のタイミングチャートに基づいて、上記イメージセンサの動作を説明する。
【0174】
シャッター駆動信号C32がHレベルになるとシャッター31が動作し、光電変換受光素子1に光が当てられる。変換された電荷は電荷転送信号C10により双方向垂直CCD13に転送されると、切換手段35がa・b側のどちらにも非接続なOFF状態となり、双方向垂直CCD13より下の部分は独立した状態となる一方、接続手段23がON状態となって上部の垂直CCD24と双方向垂直CCD13とが導通状態となる。そして、垂直CCD駆動信号線14と垂直CCD駆動信号線25とに互いに同期した垂直CCD駆動信号C14および垂直CCD駆動信号C25を与えることにより、全ての電荷を垂直CCD24に転送する。この間並行してシャッター31が動作して、光電変換受光素子1に新たな電荷が生成される。
【0175】
2回目のシャッター駆動信号C32がLレベルとなるのと同期して接続手段23はOFF状態となり、垂直CCD24から上の構成要素は双方向垂直CCD13とは独立する。垂直CCD24で一時的に保持された電荷は、水平CCD26の出力信号線27により、縦6画素×横16画素で構成される1フレーム分の画像として転送される。
【0176】
出力信号線27より画像が出力されている間に、新しく生成された電荷は、双方向垂直CCD13に転送される。切換手段35は接続手段23がOFF状態となるのと同期してb側になって、双方向垂直CCD13は水平CCD15および電荷掃出部29・30に接続される。そして、垂直CCD駆動信号C11により水平CCD15および電荷掃出部29・30に電荷が転送され、出力信号線16から中央の縦6画素×横8画素で構成される1フレームの画像が出力される。
【0177】
この間にもシャッター31が動作して、光電変換受光素子1にて電荷が生成される。そして、切換手段35をa側とし、垂直CCD駆動信号C11・C36が互いに同期して動作することにより、新たに生成された電荷は垂直CCD37に1フレーム分の画像として転送される。この間にもまた、シャッター31が操作して光電変換受光素子1にて電荷が生成される。
【0178】
垂直CCD37へ転送終了後は、切換手段35は再びb側になり、水平CCD15の出力信号線16より、中央の縦6画素×横8画素で構成されるもう1フレームの画像が出力される。さらに、この間もまたシャッター31が動作して、垂直CCD24へ転送すべき電荷が生成され、以上の動作を繰り返す。
【0179】
図32は、図31のタイミングチャートのうち、シャッター駆動信号C32、電荷転送信号C10、出力信号C16、出力信号C27、および出力信号C39のみを時間軸を拡大して表したものである。出力信号線16には周期T、出力信号線27・39には周期2Tで画像が出力されていることがわかる。
【0180】
以上により、本実施の形態にかかるイメージセンサは、1台のイメージセンサで、並列して異なる周期的な3種以上の画像出力が可能となる。このとき、本実施の形態以外のアスペクト比の水平CCDを用いたり、縦横の画素比、画素数などにより、各種の周期で出力が可能となる。
【0181】
また、一方の動作を他方の動作に支障を与えない範囲で、非同期の動作を行うことなどの動作が実現できる。例えば、常時周期的に全画像を出力しながら、必要な場合のみ1フレーム単位で特定の部分の画像を出力させる動作を行うこともできる。図31・図32のタイミングチャートに示した例では、縦6画素×横16画素の周期2Tで画像が出力されている出力信号線27・39は周期Tだけずれて動作している。よって、この出力信号線27・39の出力を交互に出力することで、縦6画素×横16画素の画像、および縦6画素×横8画素の画像とも周期Tで出力可能となる。これは、1つの受光面から、縦横比の違う画像を同じ周期でも撮影可能であることを示す。この結果、参考形態3、実施の形態2の構成による効果に加えて、1台のイメージセンサで、ハイビジョン用の画像と通常の画像とを両方同時に得ることができる。
【0182】
〔実施の形態3〕
本発明の実施の形態3について図33ないし図35に基づいて説明すれば、以下の通りである。なお、説明の便宜上、前記の参考形態または実施の形態の図面に示した部材と同一の部材には同一の符号を付記し、その説明を省略する。
【0183】
本実施の形態のイメージセンサは、図33に示すように、実施の形態2の水平CCD15および電荷掃出部29・30の代わりに、選択転送手段を配置した構成である。すなわち、選択転送手段は、切換手段35のb側を介して双方向垂直CCD13と接続される。なお、選択転送手段には縦6画素×横16画素分の画素が転送される。
【0184】
また、切換手段35を通して得られる電荷は、出力選択信号により制御される選択用スイッチング素子4によって選択されて出力信号線8から出力されるか、あるいは掃出選択信号により制御される掃出用スイッチング素子6によって選択されて掃出信号線9に掃き捨てられる。このとき、出力信号線8を通過する出力信号C8 は、さらに、信号通過フィルタ41・43によって必要な部分の信号だけが選択され、それぞれ出力信号線42・44から出力される。これは、2つの領域を完全に同時に別の出力に転送するためのものである。
【0185】
図34・図35のタイミングチャートに基づいて、上記イメージセンサの実施の形態2と動作の異なる部分のみの動作を説明する。
【0186】
図34は、選択転送手段による出力が行われずに、水平CCD26および水平CCD38の出力信号線27および出力信号線39から周期的に画像出力が行われている場合のタイミングを示している。2つの出力信号線27・39からは実施の形態2と同様の動作により、同様の範囲の画像が同様の周期で出力される。
【0187】
この図において、シャッター駆動信号C32と垂直CCD駆動信号C11のFで示される時間帯は、これら2つの出力の動作に関係なく動作可能な時間帯を示している。すなわち、これらの時間帯Fでは、選択転送手段を用いる出力信号線8・42・44からの出力を得るために、自由にシャッター31や双方向垂直CCD13などを使用することができる。
【0188】
図35は、図34と同じ条件下で、シャッター31や双方向垂直CCD13を利用して、比較的小さな2つの任意の範囲の画像を同時に出力する場合のタイミングを示している。2つの出力信号線42・44からは周期Tにて別々の出力信号C42・C44が出力されており、周期2TのCCD全体の出力信号C27・C39と併せて周期的な計4つの出力を同じ受光部から得ていることがわかる。
【0189】
これにより、本実施の形態にかかるイメージセンサは、実施の形態2と同様に、共通の受光部より撮影された画像を並行して出力することが可能である。これに加えて、選択転送手段を設けているので、出力する画像の領域を任意に選択することできる。したがって、画素数の少ない画像は高速に出力することができるので、リアルタイムの視覚処理を行う入力システムに用いることができる。さらに信号通過フィルタ41・43を設けることによって、各種別の処理が必要とする違った大きさの領域の画像も同時に出力することができるため、1台のイメージセンサで複数の画像処理を並列して行う並列画像処理システムの入力装置を実現できる。
【0190】
なお、図35において、出力信号C42・C44は一定周期で小領域の画像を周期的に出力していることを示しているが、転送すべき領域の面積が同等であれば、毎回転送領域を変更しても周期的な動作は可能である。
【0191】
また、図34に示すように、周期的な画像を出力信号線27・39から出力している場合でも、時間帯Fは自由に使用できるため、この時間帯内であれば任意のタイミングで必要な任意の領域の画像を1フレーム毎に変更して得ることも可能である。
【0192】
さらに、出力信号線27・39からの出力の周期を長くしたり、可変とするなどの自由度を持たせれば、全体としてより複雑なタイミングでより複雑なパターンの画像を得ることができる。
【0193】
次に、本実施の形態のイメージセンサをハイビジョン撮影用装置に応用する場合を考える。ハイビジョン映像はこれまでの通常のTV映像の20万〜40万画素に比べて遙に多い約200万画素を持つため、同じ領域を撮影した場合、非常に高精細の画像を出力できるような仕様である。逆に同じ解像度であれば、通常のカメラを用いた場合に比べて遙に広い領域(約5〜10倍)を撮影することができる。つまり、ハイビジョン用のカメラをFAなどの工業分野で使用することで、一度により多くのものを対象とした画像処理応用システムを作ることが可能となる。
【0194】
しかしその反面、画素の多い分ハイビジョン画像を全て画像処理するには当然時間がかかることになる。また、ハイビジョン用のカメラの出力する1画面分の画素量が多い分、1画面分の画像の出力にかかる時間を短縮することは通常のこれまでのカメラより遙に困難である。つまり、単にハイビジョンカメラとその画素数を対象とした画像処理装置を組み合わせて画像応用装置を実現しても、その処理速度は現在FA装置などで求められてきている高速化に対応することは不可能であり、結果としてハイビジョンシステムを用いるメリットはあまりないと言える。
【0195】
また、先にも記したように、画像処理を必要とする部分は全体ではなく、局所的な場合が多いが、この局所的な部分を転送するためにハイビジョン用カメラの映し出す全ての領域を転送するのは、これまでのカメラシステムを用いた場合よりさらに無駄な動作であると言える。ただし、ハイビジョンシステムの応用は、1度に非常に多くの領域を撮影できるメリットがあることも事実である。
【0196】
ここで、本実施の形態の全体領域の転送を行いながら、高速な部分転送を実現できるイメージセンサを適用すれば、例えば、次のような動作を行うことができる。
【0197】
全体の領域(ハイビジョン全領域)を一定の決められた周期で転送し、その画像を黙視用画像表示装置や全体処理用の画像処理へ転送する。このとき、本実施の形態では全体画像を平行して出力可能なため、ハイビジョン画像をより速い周期で転送することが可能である。この全体処理用の画像処理装置では、目標のものがどこにあるかを判定するなどの処理を比較的遅い周期もしくは必要時のみ行う。そして並行して目標領域のみの部分画像の転送を早い周期で転送し、少ない画素ならではの高速な画像処理を実行して部分的な高速画像フィードバック制御を行う。本実施の形態では、部分転送できる範囲は任意であるため、目標物がずれた場合にはその部分転送範囲を目標に合わせて変更することで目標物が移動する場合にも使用可能となる。特に、ハイビジョンカメラを用いた場合には全体が広いため、カメラを移動させることなくこれまで以上に広く物体を追従することが可能である。
【0198】
このように、全画素でハイビジョン映像を撮影し、同時に部分転送をすることで、ハイビジョンの広範囲の画像と、無駄のない必要部分の高速周期の画像を同時に得ることが可能となっている。例えば、工場のラインの広範囲の部分を全体画像にて認識し、何がどこにあるかなどの認識を行い、同じカメラから得られる部分画像により視覚を用いた高速なフィードバックによる組み立てや調整作業を行うことが可能となる。しかも、部分転送領域を自由に変更できることにより、調整部分や組み立て部にバラツキがあっても対応できること、調整部分や組み立て部が複数あっても対応できることなどの特徴さえ持ち合わせる。
【0199】
また、この広範囲の画像を撮影できることは、これまで複数台のカメラを使用して初めて実現していたことを1台のカメラで行えることを意味する。したがって、前記実施の形態に述べたように、カメラの設置面積などが少なくなる効果に加えて、複数のカメラで行う場合のカメラ間の座標調整やカメラの物理的配置などの煩雑な作業を削除することが可能となる。
【0200】
なお、本実施の形態では、2つの領域を同時に出力するために、選択転送手段に2つの信号通過フィルタ41・43を接続してるがこれに限られることはない。すなわち、出力したい領域が1つであればフィルタは必要なく、また、出力したい領域が複数あれば、その数に応じてフィルタの数を変えればよい。これは、上記参考形態1、2における選択転送手段に対しても同様のことが言える。
【0201】
また、上記実施の形態1ないし3では、受光時間を制限するためにシャッター31およびそれを制御するためのシャッター駆動信号線32を用いているが、これらの手段の有無は本発明を限定するものではない。つまり、周期的な動作を行う場合などはこれらの手段を用いる必要がない場合もある。
【0202】
【発明の効果】
以上のように、本発明のイメージセンサは、マトリクス状に配置され、入射光量に応じて信号電荷を蓄積する複数の光電変換部と、該光電変換部の各列に沿って配置された複数の垂直電荷転送部からなり、光電変換部から取り込んだ信号電荷を各垂直電荷転送部から同時に1画素ずつ順次送り出すことが可能な垂直電荷転送手段と、該垂直電荷転送手段から送出された信号電荷を水平ライン単位で転送する複数の水平電荷転送手段と、該水平電荷転送手段の個数と同数またはそれより1つ少ない個数で、垂直電荷転送手段から送出される信号電荷を一時的に記憶した後、上記水平電荷転送手段に信号電荷を転送する電荷記憶転送手段と、垂直電荷転送手段からの信号電荷を上記電荷記憶転送手段に順次記憶させた後、垂直電荷転送手段と電荷記憶転送手段とが非導通状態となるように制御する制御手段とを備える構成である。
【0203】
これにより、すべての水平電荷転送手段がそれぞれ独立の動作を行うことが可能となるので、1つのイメージセンサで複数の画像を同時に出力することが可能となる。この結果、複数のイメージセンサを用いた場合に比べて、画像処理システムの処理速度を向上させることが可能となる。また、各水平電荷転送手段の転送速度や転送範囲に相違を持たせ、複数の異なった特性の画像を並行して出力することもできるという効果を奏する。
【0204】
本発明のイメージセンサは、上記の構成に加えて、上記垂直電荷転送手段が各垂直電荷転送部の長手方向の両端部に出力端を有し、2つの出力端にそれぞれ信号電荷を転送することが可能な双方向垂直電荷転送手段であり、第1の水平電荷転送手段が電荷記憶転送手段を介して双方向垂直電荷転送手段の一方の出力端に接続されると共に、第2の水平電荷転送手段が他方の出力端に直接接続され、上記制御手段が、上記双方向垂直電荷転送手段と電荷記憶転送手段とを接続する接続手段と、該接続手段により双方向垂直電荷転送手段と電荷記憶転送手段とが導通状態のときには双方向垂直電荷転送手段を駆動して電荷記憶転送手段に信号電荷を転送する一方、双方向垂直電荷転送手段と電荷記憶転送手段とが非導通状態のときには双方向垂直電荷転送手段を駆動して第2の水平電荷転送手段に信号電荷を転送するように制御する駆動信号とからなる構成である。
【0205】
これにより、容易に2つの水平電荷転送手段から並列して画像を出力することが可能となるという効果を奏する。
【0206】
本発明のイメージセンサは、上記の構成に加えて、上記垂直電荷転送手段が各垂直電荷転送部の長手方向の一方の端部に出力端を有する単方向垂直電荷転送手段であり、上記制御手段が第1の水平電荷転送手段が接続された電荷記憶転送手段と第2の水平電荷転送手段とのどちらを単方向垂直電荷転送手段に接続するかを切り換える切換手段である構成である。
【0207】
これにより、容易に2つの水平電荷転送手段から並列して画像を出力することが可能となるという効果を奏する。
【0208】
本発明のイメージセンサは、上記の構成に加えて、上記垂直電荷転送手段が、各垂直電荷転送部の長手方向の両端部に出力端を有し、2つの出力端にそれぞれ信号電荷を転送することが可能な双方向垂直電荷転送手段であり、上記制御手段が、第1の水平電荷転送手段が接続された第1の電荷記憶転送手段と双方向垂直電荷転送手段とを接続する接続手段と、第2の水平電荷転送手段が接続された第2の電荷記憶転送手段と第3の水平電荷転送手段とのどちらを双方向垂直電荷転送手段に接続するかを切り換える切換手段と、上記接続手段により双方向垂直電荷転送手段と第1の電荷記憶転送手段とが導通状態のときには双方向垂直電荷転送手段を駆動して第1の電荷記憶転送手段に信号電荷を転送する一方、双方向垂直電荷転送手段と第1の電荷記憶転送手段とが非導通状態のときには双方向垂直電荷転送手段を駆動して切換手段に信号電荷を転送するように制御する駆動信号とからなる構成である。
【0209】
これにより、容易に3つの水平電荷転送手段から並列して画像を出力することが可能となるという効果を奏する。
【0210】
本発明のイメージセンサは、上記の構成に加えて、上記水平電荷転送手段の内の少なくとも1つを、垂直電荷転送手段から送出された信号電荷を画素単位で任意に選択して転送する選択転送手段に置き換える構成である。
【0211】
これにより、選択転送手段は水平1ライン中の画素を任意に選択できるので、上記の効果に加えて、固定範囲の画像を得る動作と任意の領域画像を高速に得る動作とを並行して行うことができるという効果を奏する。
【0212】
本発明のイメージセンサは、上記の構成に加えて、上記選択転送手段が、出力選択信号に基づいて開閉を行うことにより各垂直電荷転送部から同時に送出された信号電荷を任意に選択する複数の選択用スイッチング素子と、掃出選択信号に基づいて開閉を行うことにより上記選択用スイッチング素子に選択されなかった信号電荷を掃き捨てる複数の掃出用スイッチング素子とからなる構成である。
【0213】
これにより、選択転送手段は複数のスイッチング素子のみで構成されているので、容易な構成で選択転送手段を構成することが可能となるという効果を奏する。
【図面の簡単な説明】
【図1】 参考形態1にかかるイメージセンサの構成を示す構成図である。
【図2】 上記イメージセンサの有効画素領域を示す説明図である。
【図3】 上記イメージセンサの駆動クロックを示すタイミングチャートである。
【図4】 上記イメージセンサの他の駆動クロックを示すタイミングチャートである。
【図5】 光電変換受光素子に電荷が蓄積された状態を示す説明図である。
【図6】 垂直CCDへ電荷が転送された状態を示す説明図である。
【図7】 最下位ラインの電荷がバッファに転送されたときの処理状態を示す説明図である。
【図8】 下から2ライン目の電荷がバッファに転送されたときの処理状態を示す説明図である。
【図9】 下から3ライン目の電荷がバッファに転送されたときの処理状態を示す説明図である。
【図10】 下から4ライン目の電荷がバッファに転送されたときの処理状態を示す説明図である。
【図11】 下から5ライン目の電荷がバッファに転送されたときの処理状態を示す説明図である。
【図12】 下から6ライン目の電荷がバッファに転送されたときの処理状態を示す説明図である。
【図13】 最下位ラインの電荷がバッファに転送されたときの他の処理状態を示す説明図であり、(a)は前半の処理、(b)は後半の処理である。
【図14】 図36の従来のイメージセンサによる動作を示すフローチャートである。
【図15】 図38の他の従来のイメージセンサによる動作を示すフローチャートである。
【図16】 図1のイメージセンサによって、方形領域の部分転送を行う場合の動作を示すフローチャートである。
【図17】 図1のイメージセンサによって、任意の形状の領域の部分転送を行う場合の動作を示すフローチャートである。
【図18】 転送領域の例を示す説明図である。
【図19】 転送領域の他の例を示す説明図である。
【図20】 転送領域のその他の例を示す説明図である。
【図21】 参考形態2にかかるイメージセンサの構成を示す構成図である。
【図22】 上記イメージセンサの他の構成を示す構成図である。
【図23】 参考形態3にかかるイメージセンサの構成を示す構成図である。
【図24】 上記イメージセンサの駆動クロックを示すタイミングチャートである。
【図25】 上記駆動クロックの周期的動作を示すタイミングチャートである。
【図26】 本発明の実施の形態1にかかるイメージセンサの構成を示す構成図である。
【図27】 上記イメージセンサの駆動クロックを示すタイミングチャートである。
【図28】 上記駆動クロックの周期的動作を示すタイミングチャートである。
【図29】 上記イメージセンサの他の構成を示す構成図である。
【図30】 本発明の実施の形態2にかかるイメージセンサの構成を示す構成図である。
【図31】 上記イメージセンサの駆動クロックを示すタイミングチャートである。
【図32】 上記駆動クロックの周期的動作を示すタイミングチャートである。
【図33】 本発明の実施の形態3にかかるイメージセンサの構成を示す構成図である。
【図34】 上記イメージセンサの動作の動作可能時間帯を示すタイミングチャートである。
【図35】 上記イメージセンサの駆動クロックを示すタイミングチャートである。
【図36】 従来のイメージセンサの構成を示す構成図である。
【図37】 撮像領域を示す説明図である。
【図38】 従来の水平ライン単位で間引きを行うイメージセンサの構成を示す構成図である。
【図39】 従来の水平ライン単位で間引きを行う他のイメージセンサの構成を示す構成図である。
【図40】 図38、図39のイメージセンサでは高速に転送することができない撮像領域の例を示す説明図である。
【図41】 撮像領域の他の例を示す説明図である。
【図42】 撮像領域のその他の例を示す説明図である。
【図43】 撮像領域のその他の例を示す説明図である。
【符号の説明】
1 光電変換受光素子(光電変換部)
2 垂直CCD(垂直電荷転送手段・単方向垂直電荷転送手段)
3 バッファ
4 選択用スイッチング素子
6 掃出用スイッチング素子
13 双方向垂直CCD(双方向垂直電荷転送手段)
15・26・38・45 水平CCD(水平電荷転送手段)
23 接続手段
24・37 垂直CCD(電荷記憶転送手段)
29・30 電荷掃出部
35 切換手段
Claims (4)
- マトリクス状に配置され、入射光量に応じて信号電荷を蓄積する複数の光電変換部と、
該光電変換部の各列に沿って配置された複数の垂直電荷転送部からなり、光電変換部から取り込んだ信号電荷を各垂直電荷転送部から同時に1画素ずつ順次送り出すことが可能な垂直電荷転送手段と、
該垂直電荷転送手段から送出された信号電荷を水平ライン単位で転送する複数の水平電荷転送手段と、
該水平電荷転送手段の個数と同数またはそれより1つ少ない個数で、垂直電荷転送手段から送出される信号電荷を一時的に記憶した後、上記水平電荷転送手段に信号電荷を転送する電荷記憶転送手段と、
垂直電荷転送手段からの信号電荷を上記電荷記憶転送手段に順次記憶させた後、垂直電荷転送手段と電荷記憶転送手段とが非導通状態となるように制御する制御手段とを備え、
上記垂直電荷転送手段は各垂直電荷転送部の長手方向の一方の端部に出力端を有する単方向垂直電荷転送手段であり、上記制御手段は第1の水平電荷転送手段が接続された電荷記憶転送手段と第2の水平電荷転送手段とのどちらを単方向垂直電荷転送手段に接続するかを切り換える切換手段であることを特徴とするイメージセンサ。 - マトリクス状に配置され、入射光量に応じて信号電荷を蓄積する複数の光電変換部と、
該光電変換部の各列に沿って配置された複数の垂直電荷転送部からなり、光電変換部から取り込んだ信号電荷を各垂直電荷転送部から同時に1画素ずつ順次送り出すことが可能な垂直電荷転送手段と、
該垂直電荷転送手段から送出された信号電荷を水平ライン単位で転送する複数の水平電荷転送手段と、
該水平電荷転送手段の個数と同数またはそれより1つ少ない個数で、垂直電荷転送手段から送出される信号電荷を一時的に記憶した後、上記水平電荷転送手段に信号電荷を転送する電荷記憶転送手段と、
垂直電荷転送手段からの信号電荷を上記電荷記憶転送手段に順次記憶させた後、垂直電荷転送手段と電荷記憶転送手段とが非導通状態となるように制御する制御手段とを備え、
上記垂直電荷転送手段は、各垂直電荷転送部の長手方向の両端部に出力端を有し、2つの出力端にそれぞれ信号電荷を転送することが可能な双方向垂直電荷転送手段であり、
上記制御手段は、第1の水平電荷転送手段が接続された第1の電荷記憶転送手段と双方向垂直電荷転送手段とを接続する接続手段と、第2の水平電荷転送手段が接続された第2の電荷記憶転送手段と第3の水平電荷転送手段とのどちらを双方向垂直電荷転送手段に接続するかを切り換える切換手段とを備え、上記接続手段により双方向垂直電荷転送手段と第1の電荷記憶転送手段とが導通状態のときには双方向垂直電荷転送手段を駆動して第1の電荷記憶転送手段に信号電荷を転送する一方、双方向垂直電荷転送手段と第1の電荷記憶転送手段とが非導通状態のときには双方向垂直電荷転送手段を駆動して切換手段に信号電荷を転送するように制御することを特徴とするイメージセンサ。 - 上記水平電荷転送手段の内の少なくとも1つを、垂直電荷転送手段から送出された信号電荷を画素単位で任意に選択して転送する選択転送手段に置き換えることを特徴とする請求項1又は2に記載のイメージセンサ。
- 上記選択転送手段は、出力選択信号に基づいて開閉を行うことにより各垂直電荷転送部から同時に送出された信号電荷を任意に選択する複数の選択用スイッチング素子と、掃出選択信号に基づいて開閉を行うことにより上記選択用スイッチング素子に選択されなかった信号電荷を掃き捨てる複数の掃出用スイッチング素子とからなることを特徴とする請求 項3に記載のイメージセンサ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002278170A JP3712701B2 (ja) | 2002-09-24 | 2002-09-24 | イメージセンサ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002278170A JP3712701B2 (ja) | 2002-09-24 | 2002-09-24 | イメージセンサ |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP34422595A Division JP3366518B2 (ja) | 1995-12-28 | 1995-12-28 | イメージセンサ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003125293A JP2003125293A (ja) | 2003-04-25 |
JP3712701B2 true JP3712701B2 (ja) | 2005-11-02 |
Family
ID=19197025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002278170A Expired - Fee Related JP3712701B2 (ja) | 2002-09-24 | 2002-09-24 | イメージセンサ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3712701B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100734599B1 (ko) | 2006-03-13 | 2007-07-02 | 주식회사 쎄이미지 | 다중 수평전하전송영역 방식을 채택한 고속 저전력 시시디 |
US8149285B2 (en) | 2007-09-12 | 2012-04-03 | Sanyo Electric Co., Ltd. | Video camera which executes a first process and a second process on image data |
-
2002
- 2002-09-24 JP JP2002278170A patent/JP3712701B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003125293A (ja) | 2003-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100435559C (zh) | 摄像装置 | |
CN106664350B (zh) | 用于与成像传感器帧同步的相机致动器驱动器模式控制的方法和装置 | |
US20100165176A1 (en) | Image sensing apparatus | |
US7697037B2 (en) | Image signal processing device and method | |
JP4692196B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
JPH07274071A (ja) | ビデオカメラ | |
US7528872B2 (en) | Image apparatus, driving method, and camera | |
US6903764B2 (en) | Image capturing apparatus, method for capturing image and camera | |
JPH0946600A (ja) | 撮像装置 | |
JP7320024B2 (ja) | 撮像素子、撮像装置、画像データ処理方法、及びプログラム | |
JP3712701B2 (ja) | イメージセンサ | |
JP3366518B2 (ja) | イメージセンサ | |
JP2004266709A (ja) | 撮像装置 | |
JP2005086245A (ja) | 固体撮像装置 | |
CN115225807A (zh) | 电子装置和图像处理方法 | |
KR20060103216A (ko) | 촬상 소자의 구동 제어 방법 및 촬상 장치 | |
JP2002199266A (ja) | ディジタル・カメラおよびその動作制御方法 | |
JPH0241082A (ja) | 電子式シャッタカメラ装置 | |
JP2006287913A (ja) | 固体撮像素子および撮像装置 | |
JP2004153710A (ja) | 撮像装置の制御方法および撮像装置 | |
JP2004147271A (ja) | ラインセンサカメラ装置 | |
EP0936809A2 (en) | Image sensing apparatus and driving method thereof | |
JP2000134547A (ja) | 固体撮像素子の駆動方法及び電子スチルカメラ | |
JP3598756B2 (ja) | 画像表示方法およびその方法を実施するための画像表示装置、ならびにその装置を用いた画像処理装置 | |
JPH01157678A (ja) | 固体撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050720 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050816 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050817 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |