JP4545334B2 - ロックイン撮像装置 - Google Patents
ロックイン撮像装置 Download PDFInfo
- Publication number
- JP4545334B2 JP4545334B2 JP2001074871A JP2001074871A JP4545334B2 JP 4545334 B2 JP4545334 B2 JP 4545334B2 JP 2001074871 A JP2001074871 A JP 2001074871A JP 2001074871 A JP2001074871 A JP 2001074871A JP 4545334 B2 JP4545334 B2 JP 4545334B2
- Authority
- JP
- Japan
- Prior art keywords
- light receiving
- switch element
- frame
- charge
- integration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、チャージフィードバック型ＣＭＯＳセンサを用いたロックイン撮像装置にする。
【０００２】
【従来の技術】
対象物に当たった光の反射光からその対象物を認識することができるが、反射光が背景光に比べて弱いと、反射光は背景光に埋もれてしまい、対象物の認識は困難となる。例えば、夜間走行中の車から歩行者をはっきりと視認することはできない。これは、太陽光のない夜間は、照明源が基本的に車のヘッドライトだけであり、走行中の車のヘッドライトによる歩行者からの反射光よりも対向車のライトが強いためである。このように、対向車のヘッドライトは、夜間の歩行者のような微弱光対象物を光検出する上では、妨害的に作用するバックグランド雑音に他ならない。
【０００３】
従来より、このようなバックグランド雑音を除去するための装置としてロックイン検出器が知られている。ロックイン検出器は、点滅光源を用いて対象物を一定の周波数で点滅照明し、点灯時の光センサの出力を正値、消灯時の光センサの出力を負値にして、光センサの出力を積分することで、バックグランドノイズ（点滅周波数と異なる周波数成分）を除去し、微弱光信号を抽出するものである。
このようなロックイン検出器は、従来、フォトダイオードや光電管等の光センサには使われてきた。
【０００４】
【発明が解決しようとする課題】
しかしながら、ロックイン検出機能を２次元センサに高密度、高精度に集積化することは困難であり、そのためロックイン検出機能を有する２次元センサを提供することは従来は不可能であった。
【０００５】
本発明は、同一出願人による同時係属中の特願平１１−３２８２２７号特許出願に記載したチャージフィードバック型ＣＭＯＳセンサを２次元センサに構成し、これにロックイン検出機能を集積化することで、夜間のヘッドライトに埋もれた歩行者の認識や、ノイズに埋もれやすい微弱光対象物の光検出、撮像等を可能にしたものである。
【０００６】
【課題を解決するための手段】
本発明に係るロックイン撮像装置は、
各々が、受光した光量に応じて電荷を発生する受光素子と、容量値Ｃ d を有し前記受光素子で発生した電荷を蓄積する受光容量部と、前記受光容量部に蓄積される電荷を外部との間で入出力するための入出力用スイッチ素子とを有し、２次元配列された複数の受光部と、
アンプと初期化用スイッチ素子と容量値Ｃ f1 の積分容量部（ただし、Ｃ f1 ＝Ｃ d ）とが入力端子と出力端子との間に並列的に設けられ、前記初期化用スイッチ素子が閉じているときに前記積分容量部を放電して初期化し、前記初期化用スイッチ素子が開いているときに前記入力端子に入力した電荷を前記積分容量部に蓄積して、その蓄積された電荷の量に応じた積分信号を前記出力端子より出力する積分回路と、
前記複数の受光部と前記積分回路の前記入力端子との間に設けられ、前記受光容量部に蓄積された電荷を前記積分容量部に移動させるための第１のスイッチ素子と、
前記積分回路の前記出力端子と前記複数の受光部との間に設けられ、前記積分回路から出力される積分信号の値に応じた電荷を前記受光容量部に蓄積させるための第２のスイッチ素子とを
備えるチャージフイードバック型センサと、
予め設定された複数のロックインアンプ周期の内の１つを選択して設定するためのロックインアンプ周期設定手段と、
前記ロックインアンプ周期設定手段で設定されたロックインアンプ周期に対応するフレームのうち奇数フレームに同期して点滅するパルス光源と、
前記ロックインアンプ周期に対応する周波数をフレームレートとして、１フレーム内で前記複数の受光部が順次受光するように制御する制御回路とを備え、
前記奇数フレーム及びこれに続く偶数フレームのそれぞれにおいて前記複数の受光部の各々の入出力用スイッチ素子が順次所定期間だけ閉状態となり、
前記奇数フレームの前記所定期間前に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、前記奇数フレームの前記所定期間中に前記第１のスイッチ素子が一旦閉状態となった後に開状態となり、その後に前記第２のスイッチ素子が一旦閉状態となった後に開状態となり、
前記偶数フレームの前記所定期間前に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、前記偶数フレームの前記所定期間中に前記第１のスイッチ素子が一旦閉状態となった後に開状態となり、その後に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、
前記複数の受光部の各々において、前記奇数フレームで発生する電荷を逆極性にして次の偶数フレームで発生する電荷に加算した電荷を前記積分回路に入力させることを特徴とするものである。
【０００７】
このようなロックイン撮像装置によれば、同装置に使用している受光部がチャージフィードバック機能を有し、パルス光源が点灯している状態で受光した奇数フレームにおける受光量を、例えば、正電荷として、また偶数フレームにおける受光量を負電荷として蓄積する。このため、パルス光源からの光で照射された撮像対象物は、観測したい部分のみをＳ／Ｎよく画像化することができる。
【０００９】
上記構成によれば、或る一定期間に、受光部の受光素子が受光した光の光量に応じて発生した電荷は受光容量部に蓄積されていく。この一定期間が経過した時点で第１のスイッチ素子が閉じると、それまで受光容量部に蓄積されていた電荷は、積分回路の積分容量部に移動する。その結果、受光素子の一方の端子の電位は、ΔＶだけ変化してリセットレベルとなり、積分回路から出力される積分信号は、積分容量部に蓄積された電荷に応じたレベルとなる。第１のスイッチ素子が開いた後に第２のスイッチ素子が閉じると、積分回路から出力される積分信号の値に応じた電圧が受光容量部に設定される。積分容量部の容量値は受光容量部の容量値と等しいので、この結果、受光素子の一方の端子の電位は、リセットレベルからΔＶだけ変化する。
【００１０】
その後の一定期間に、受光素子が受光した光の光量に応じて発生した電荷は受光容量部に蓄積されていく。この一定期間が経過した時点で受光容量部に蓄積されている電荷は、以前に第２のスイッチ素子が閉じたときに積分信号の値に応じて設定された電圧に比例した電荷と、この一定期間に受光素子が光を受光して発生した電荷とが重畳されたものである。ただし、重畳される電荷の符号は互いに異なる。したがって、この一定期間が経過した時点で第１のスイッチ素子が閉じると、積分回路から出力される積分信号は、受光素子が受光した光の光量の増減に応じたものである。
【００１１】
本発明に係るロックイン撮像装置は、
各々が、受光した光量に応じて電荷を発生する受光素子と、容量値Ｃ d を有し前記受光素子で発生した電荷を蓄積する受光容量部と、前記受光容量部に蓄積される電荷を外部との間で入出力するための入出力用スイッチ素子とを有し、２次元配列された複数の受光部と、
アンプと初期化用スイッチ素子と積分容量部とが入力端子と出力端子との間に並列的に設けられ、前記積分容量部の容量値を容量値Ｃ d およびこれより小さい値の何れかに切り替える容量値切替手段を有し、前記初期化用スイッチ素子が閉じているときに前記積分容量部を放電して初期化し、前記初期化用スイッチ素子が開いているときに前記入力端子に入力した電荷を前記積分容量部に蓄積して、その蓄積された電荷の量に応じた積分信号を前記出力端子より出力する積分回路と、
前記複数の受光部と前記積分回路の前記入力端子との間に設けられ、前記受光容量部に蓄積された電荷を前記積分容量部に移動させるための第１のスイッチ素子と、
前記積分回路の前記出力端子と前記複数の受光部との間に設けられ、前記積分回路から出力される積分信号の値に応じた電荷を前記受光容量部に蓄積させるための第２のスイッチ素子と、
予め設定された複数のロックインアンプ周期の内の１つを選択して設定するためのロックインアンプ周期設定手段と、
前記ロックインアンプ周期設定手段で設定されたロックインアンプ周期に対応するフレームのうち奇数フレームに同期して点滅するパルス光源とを
備えるチャージフイードバック型センサと、
前記ロックインアンプ周期に対応する周波数をフレームレートとして、１フレーム内で前記複数の受光部が順次受光するように制御する制御回路とを備え、
奇数フレーム及びこれに続く偶数フレームのそれぞれにおいて前記複数の受光部の各々の入出力用スイッチ素子が順次所定期間だけ閉状態となり、
前記奇数フレームの前記所定期間に前記積分容量部が容量値Ｃ d に設定され、前記偶数フレームの前記所定期間に前記積分容量部が容量値Ｃ d より小さい値に設定され、
前記奇数フレームの前記所定期間前に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、前記奇数フレームの前記所定期間中に前記第１のスイッチ素子が一旦閉状態となった後に開状態となり、その後に前記第２のスイッチ素子が一旦閉状態となった後に開状態となり、
前記偶数フレームの前前記所定期間前に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、前記偶数フレームの前記所定期間中に前記第１のスイッチ素子が一旦閉状態となった後に開状態となり、その後に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、
前記複数の受光部の各々において、前記奇数フレームで発生する電荷を逆極性にして次の偶数フレームで発生する電荷に加算した電荷を前記積分回路に入力させることを特徴とするものである。
【００１２】
上記構成では、或る一定期間に、受光部の受光素子が受光した光の光量に応じて発生した電荷は受光容量部に蓄積されていく。この一定期間が経過した時点で第１のスイッチ素子が閉じると、それまで受光容量部に蓄積されていた電荷は、積分回路の積分容量部に移動する。その結果、受光素子の一方の端子の電位は、ΔＶだけ変化してリセットレベルとなり、積分回路から出力される積分信号は、積分容量部に蓄積された電荷に応じたレベルとなる。第１のスイッチ素子が開いた後に第２のスイッチ素子が閉じると、積分回路から出力される積分信号の値に応じた電圧が受光容量部に設定される。このとき、容量値切替手段により、積分容量部の容量値は受光容量部の容量値と等しくされており、この結果、受光素子の一方の端子の電位は、リセットレベルからΔＶだけ変化する。
【００１３】
その後の一定期間に、受光素子が受光した光の光量に応じて発生した電荷は受光容量部に蓄積されていく。この一定期間が経過した時点で受光容量部に蓄積されている電荷は、以前に第２のスイッチ素子が閉じたときに積分信号の値に応じて設定された電圧に比例した電荷と、この一定期間に受光素子が光を受光して発生した電荷とが重畳されたものである。ただし、重畳される電荷の符号は互いに異なる。このとき、容量値切替手段により、積分容量部の容量値は受光容量部の容量値より小さい値とされている。したがって、この一定期間が経過した時点で第１のスイッチ素子が閉じると、積分回路から出力される積分信号は、受光素子が受光した光の光量の増減に応じたものであり、しかも、光量変化を高感度に検出するものである。
【００１４】
また、複数の受光部に対して、積分回路、第１のスイッチ素子および第２のスイッチ素子を１組備え、複数の受光部が順次に積分回路に接続される。
【００１５】
上記のような受光部は、１画素当たりに必要な回路規模が従来技術のものと比べて格段に小さい。特に、受光容量部として受光素子の接合容量を利用する場合には、更に回路規模が小さい。したがって、この受光部は、１画素当たりに占める回路部占有面積が小さく、各画素の開口率が高く、光応答特性が優れたものとなる。
【００１６】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１７】
図１は、本発明の実施の形態にかかわるロックイン撮像装置１の構成を示したブロック図である。ロックイン撮像装置１は、ロックインカメラ２と、パルス光源３と、ロックインカメラ２及びパルス光源３を制御するための制御回路４により構成されている。ロックインカメラ２は、後述する２次元配列されたチャージフィードバック型光センサを有し、チャージフィードバック型光センサの出力を表示部５に表示することで画像出力が得られる。ロックインカメラ２にはロックインアンプ周期設定部２Ａが設けられており、予め用意された複数のロックインアンプ周期のうちの１つを選択することができるようになっている。
【００１８】
制御回路４は、ロックインカメラ２とパルス光源３を制御するために各種のタイミング信号を発生する。制御回路４は、ロックインアンプ周期設定部２Ａで設定されたロックインアンプ周期でパルス光源３の点滅制御を行うと同時に、チャージフィードバック型光センサには各種のタイミング信号を送出する。
【００１９】
図２は、本発明に係わるロックイン撮像装置１で使用するチャージフィードバック型光センサ１Ａの回路図である。このチャージフィードバック型光センサ１Ａは、Ｎ個の受光部８０1〜８０N、積分回路１０、第１のスイッチ素子ＳＷ01および第２のスイッチ素子ＳＷ02を備える。
【００２０】
Ｎ個の受光部８０1〜８０Nそれぞれは、フォトダイオード（受光素子）ＰＤ、受光容量部Ｃdおよびスイッチ素子ＳＷ0を有する。フォトダイオードＰＤのアノード端子は接地されている。フォトダイオードＰＤのカソード端子は、受光容量部Ｃdを介して接地され、また、スイッチ素子ＳＷ0を介して、スイッチ素子ＳＷ01およびスイッチ素子ＳＷ02と接続されている。Ｎ個の受光部８０1〜８０Nそれぞれの受光容量部Ｃdの容量値は互いに等しい。なお、受光容量部Ｃdは、フォトダイオードＰＤの接合容量であってもよいし、これとは別に設けたものであってもよい。
【００２１】
積分回路１０は、入力端子と出力端子との間に互いに並列にアンプＡ1、積分容量部Ｃf1およびスイッチ素子ＳＷ11が接続されている。アンプＡ1は、その反転入力端子がスイッチ素子ＳＷ01と接続され、非反転入力端子が基準電圧値Ｖinp1とされている。積分容量部Ｃf1およびスイッチ素子ＳＷ11は、アンプＡ1の反転入力端子と出力端子との間に設けられている。積分容量部Ｃf1の容量値は、Ｎ個の受光部８０1〜８０Nそれぞれの受光容量部Ｃdの容量値と等しい。積分回路１０は、スイッチ素子ＳＷ11が閉じているときには、積分容量部Ｃf1を放電して初期化する。一方、積分回路１０は、スイッチ素子ＳＷ11が開いているときには、入力端子に入力した電荷を積分容量部Ｃf1に蓄積して、その蓄積された電荷に応じた電圧信号（これを積分信号と呼ぶ。）を出力端子から出力する。
【００２２】
スイッチ素子ＳＷ01は、Ｎ個の受光部８０1〜８０Nそれぞれのスイッチ素子ＳＷ0と積分回路１０の入力端子との間に設けられている。スイッチ素子ＳＷ02は、積分回路１０の出力端子とＮ個の受光部８０1〜８０Nそれぞれのスイッチ素子ＳＷ0との間に設けられている。なお、Ｎ個の受光部８０1〜８０Nそれぞれのスイッチ素子ＳＷ0、スイッチ素子ＳＷ01およびＳＷ02、積分回路１０のスイッチ素子ＳＷ11の開閉動作を制御する制御信号は、このチャージフィードバック型光センサ１Ａの動作を制御する制御回路４から所定のタイミングで出力される。
【００２３】
次に、第１例に係るチャージフィードバック型光センサ１Ａの動作について説明する。図３は、Ｎ個の受光部８０1〜８０Nそれぞれのスイッチ素子ＳＷ0の開閉タイミングを示すタイミングチャートである。この図に示すように、各フレーム期間内に、Ｎ個の受光部８０1〜８０Nそれぞれのスイッチ素子ＳＷ0は順次に閉じる。各受光部８０nのフォトダイオードＰＤおよび受光容量部Ｃdは、自己のスイッチ素子ＳＷ0が閉じている期間には、スイッチ素子ＳＷ01を介して積分回路１０の入力端子と接続され、スイッチ素子ＳＷ02を介して積分回路１０の出力端子と接続される。また、各受光部８０nは、自己のスイッチ素子ＳＷ0が開いている期間には、自己のフォトダイオードＰＤが光を受光して発生させた電荷を、自己の受光容量部Ｃdに蓄積する。
【００２４】
図４は、特に第ｎ番目の受光部８０nについてチャージフィードバック型光センサ１Ａの動作タイミングを示すタイミングチャートである。同図（ａ）は、各スイッチ素子の開閉タイミングを示す。同図（ｂ）は、パルス光源３の点灯状態を示す。同図（ｃ）は、第１フレーム以降所定フレーム数に亘り受光部８０nが受光した光量に対応した各信号レベルを示す。
【００２５】
時刻ｔ０に受光部８０nのスイッチ素子ＳＷ0は開く。これと同時にパルス光源３がオンとされ、短パルスに応答したパルス発光が行われる。このように、パルス光源３は、奇数フレームと偶数フレームの間の一定期間に点灯し(短パルス)、偶数フレーム期間中は消灯する。時刻ｔ０では、受光部８０nの受光容量部Ｃdに蓄積されている電荷は無く、受光部８０nのフォトダイオードＰＤのカソード端子の電位はリセットレベルである。時刻ｔ０以降、スイッチ素子ＳＷ0が閉じる時刻ｔ２まで、受光部８０nでは、自己のフォトダイオードＰＤが光を受光して発生した電荷は、自己の受光容量部Ｃdに蓄積されていく。時刻ｔ０と時刻ｔ２との間の時刻ｔ１に、積分回路１０のスイッチ素子ＳＷ11が一旦閉じた後に開くことで、積分回路１０は、積分容量部Ｃf1の電荷が放電されて初期化され、出力される積分信号はリセットレベルとなる。
【００２６】
第１フレームにおける時刻ｔ２から時刻ｔ４までの期間、受光部８０nのスイッチ素子ＳＷ0は閉じる。この期間中に、先ず時刻ｔ２にスイッチ素子ＳＷ01が一旦閉じた後に開き、続いて時刻ｔ３にスイッチ素子ＳＷ02が一旦閉じた後に開く。スイッチ素子ＳＷ01が閉じている期間には、それまで受光部８０nの受光容量部Ｃdに蓄積されていた電荷は、積分回路１０の積分容量部Ｃf1に移動する。その結果、受光部８０nのフォトダイオードＰＤのカソード端子の電位は、ΔＶだけ変化してリセットレベルとなり、また、積分回路１０から出力される積分信号は、積分容量部Ｃf1に蓄積された電荷に応じたレベルとなる。その後のスイッチ素子ＳＷ02が閉じている期間には、受光部８０nの受光容量部Ｃdに、積分回路１０から出力される積分信号の値に応じた電荷が蓄積される。積分容量部Ｃf1の容量値は受光部８０nの受光容量部Ｃdの容量値と等しいので、この結果、受光部８０nのフォトダイオードＰＤのカソード端子の電位は、リセットレベルからΔＶだけ変化する。
【００２７】
第２フレームの開始時刻ｔ４に受光部８０nのスイッチ素子ＳＷ0は開く。パルス光源３は、第１フレームにおける受光部８０１のスイッチ素子ＳＷ0の閉成前であって、第１フレームの直前フレームにおける最終受光素子８０Ｎのスイッチ素子ＳＷ0の閉成後に点灯するが、第２フレーム中には点灯しない。時刻ｔ４では、受光部８０nのフォトダイオードＰＤのカソード端子の電位はΔＶである。時刻ｔ４以降、スイッチ素子ＳＷ0が閉じる時刻ｔ６まで、受光部８０nでは、自己のフォトダイオードＰＤが光を受光して発生した電荷は、自己の受光容量部Ｃdに蓄積されていく。時刻ｔ４と時刻ｔ６との間の時刻ｔ５に、積分回路１０のスイッチ素子ＳＷ11が一旦閉じた後に開くことで、積分回路１０は、積分容量部Ｃf1の電荷が放電されて初期化され、出力される積分信号はリセットレベルとなる。
【００２８】
時刻ｔ０〜ｔ２までの時間と時刻ｔ４〜ｔ６までの時間とが等しく、第１フレームと第２フレームで受光部８０nが受光する光の光量が同じであれば、時刻ｔ６において受光部８０nの受光容量部Ｃdに蓄積されている電荷はリセットレベルとなり、第１フレームと第２フレームで受光部８０nが受光する光の光量が異なれば、時刻ｔ６において受光部８０nの受光容量部Ｃdに蓄積されている電荷は、時刻ｔ３に積分回路１０から出力される積分信号の値に応じて蓄積された電荷と、時刻ｔ４から時刻ｔ６までの期間にフォトダイオードＰＤが光を受光して発生した電荷との差分となる。一般に、第２フレームでフォトダイオードＰＤが発生する電荷は、パルス光源３からの光を受光していない分、第１フレームで発生する電荷に比べると少なくなる。そのため、図４に示したように、時刻ｔ６では、受光部８０nのフォトダイオードＰＤのカソード端子の電位はリセットレベルよりも高いレベルとなる。
【００２９】
第２フレームにおける時刻ｔ６から時刻ｔ８までの期間、受光部８０nのスイッチ素子ＳＷ0は閉じる。この期間中の時刻ｔ６にスイッチ素子ＳＷ01が一旦閉じた後に開く。スイッチ素子ＳＷ01が閉じる時刻ｔ６においては、受光部８０nのフォトダイオードＰＤのカソード端子の電位はリセットレベルより高いので、積分回路１０から出力される積分信号はリセットレベルより小さくなる。すなわち、第１フレームと第２フレームとで受光部８０nが受光する光の光量が異なれば、第２フレームの時刻ｔ６以降において、積分回路１０から出力される積分信号は、リセットレベルとは異なるレベルとなる。
【００３０】
このように、第１フレームでは、パルス光源３を点灯した上で撮像し、第２フレームでは、パルス光源３を消灯した状態で撮像する。そして、第１フレームで撮像した画像に対応する電荷の極性を反転して受光容量部Ｃdにチャージフィードバックし、第２フレームで撮像した画像に対応する電荷と足し合わせる。このような第１フレームと第２フレームで行った光検出処理を所定回数繰り返し、奇数フレームを正極性、偶数フレームを負極性として積分する。この結果、先に示した車のヘッドライトに埋もれた歩行者の例では、歩行者の背景光となる対向車のヘッドライトの影響を除去することができ、歩行者のみを強調した画像を得ることができる。積分信号が読み出された後、時刻Ｔ７で積分回路１０のスイッチ素子ＳＷ11を一旦閉じた後に開き、積分回路１０をリセットする。
【００３１】
上述した実施の形態では、偶数フレームの終了時に画像出力を得るようにしたが、奇数フレーム終了時の画像出力を同時に得るようにしてもよい。奇数フレームレート終了時の画像出力は、１つ前のフレームまでの差分結果と、その後の奇数フレームの画像出力が重なり合って出力されるため、ほぼ生画像に近い画像となるので、偶数フレームの終了時に得られる補正画像と生画像を並列表示したり、あるいは一方のみを選択表示することが可能となる。
【００３２】
上記のチャージフィードバック型光センサ１Ａは、１画素当たりに必要な素子がフォトダイオードＰＤ、受光容量部Ｃdおよびスイッチ素子ＳＷ0のみであり、従来技術のものと比べて回路規模が格段に小さい。特に、受光容量部ＣdとしてフォトダイオードＰＤの接合容量を利用する場合には、更に回路規模が小さい。
したがって、このチャージフィードバック型光センサ１Ａは、１画素当たりに占める回路部占有面積が小さく、各画素の開口率が高く、光応答特性が優れたものとなる。
【００３３】
次に、本発明に係るロックイン撮像装置に使用するチャージフィードバック型光センサの第２の例について説明する。図５は、第２例に係るチャージフィードバック型光センサ１Ｂの回路図である。第２例に係るチャージフィードバック型光センサ１Ｂは、第１例のものと比較すると、積分回路１０の回路構成が異なっている。
【００３４】
すなわち、このチャージフィードバック型光センサ１Ｂの積分回路１０は、入力端子と出力端子との間に互いに並列に、アンプＡ1、積分容量部Ｃf1、スイッチ素子ＳＷ11、ならびに、互いに直列的に接続されたスイッチ素子ＳＷ12（容量値切替手段）および積分容量部Ｃf2が接続されている。アンプＡ1は、その反転入力端子がスイッチ素子ＳＷ01と接続され、非反転入力端子が基準電圧値Ｖinp1とされている。積分容量部Ｃf1、スイッチ素子ＳＷ11、ならびに、互いに直列的に接続されたスイッチ素子ＳＷ12および積分容量部Ｃf2は、アンプＡ1の反転入力端子と出力端子との間に設けられている。積分容量部Ｃf1および積分容量部Ｃf2それぞれの容量値の和は、Ｎ個の受光部８０1〜８０Nそれぞれの受光容量部Ｃdの容量値と等しい。
【００３５】
なお、Ｎ個の受光部８０1〜８０Nそれぞれのスイッチ素子ＳＷ0、スイッチ素子ＳＷ01およびＳＷ02、積分回路１０のスイッチ素子ＳＷ11およびＳＷ12の開閉動作を制御する制御信号は、このチャージフィードバック型光センサ１Ｂの動作を制御する制御回路４から所定のタイミングで出力される。
【００３６】
次に、本例に係るチャージフィードバック型光センサ１Ｂの動作について説明する。Ｎ個の受光部８０1〜８０Nそれぞれのスイッチ素子ＳＷ0の開閉タイミングは、図３を用いて説明したものと同様である。
【００３７】
図６は、特に第ｎ番目の受光部８０nについてチャージフィードバック型光センサ１Ｂの動作タイミングを示すタイミングチャートである。同図（ａ）は、各スイッチ素子の開閉タイミングを示す。同図（ｂ）は、パルス光源３の点灯状態を示す。同図（ｃ）は、第１フレーム以降所定フレーム数に亘り受光部８０nが受光した光量に対応した各信号レベルを示す。このチャージフィードバック型光センサ１Ｂの動作は、第１例に係るチャージフィードバック型光センサ１Ａの動作と略同様である。本例では、積分回路１０のスイッチ素子ＳＷ12は、第１フレームでは閉じていて、第２フレームでは開いている。
【００３８】
積分回路１０のスイッチ素子ＳＷ12が閉じている第１フレーム（時刻ｔ４を経過するまで）では、積分回路１０において電荷を蓄積するものは、互いに並列的に設けられた積分容量部Ｃf1および積分容量部Ｃf2の双方である。また、積分容量部Ｃf1および積分容量部Ｃf2それぞれの容量値の和は、受光部８０nの受光容量部Ｃdの容量値と等しい。したがって、この第１フレームでは、チャージフィードバック型光センサ１Ｂの動作は、図４を用いて説明したものと同様である。
【００３９】
一方、積分回路１０のスイッチ素子ＳＷ12が開いている第２フレーム（時刻ｔ８を経過するまで）では、積分回路１０において電荷を蓄積するものは、積分容量部Ｃf1のみであって、その容量値が小さくなる。したがって、第１例の場合と同様の受光量変化があるとすると、本例に係るチャージフィードバック型光センサ１Ｂでは、時刻ｔ６以降に積分回路１０から出力される積分信号は、第１例のチャージフィードバック型光センサ１Ａの場合と比較して（（Ｃf1＋Ｃf2）／Ｃf1）倍だけ大きくなり、感度が高くなる。
【００４０】
以上のように、本例に係るチャージフィードバック型光センサ１Ｂは、第１例に係るチャージフィードバック型光センサ１Ａが奏する効果と同様の効果を奏する他、第１フレームよりも第２フレームにおいて積分回路１０の積分容量部の容量値を小さくすることにより、光像における画素毎の光量の増減を高感度に検出することができ、これにより動体を高感度に抽出することができる。
【００４１】
本発明は、上記実施形態に限定されることなく種々の変形が可能である。例えば、ロックイン検出の周波数を上昇させたい場合は、所望のフォトダイオードＰＤ列のみを読み出すランダムアクセスを実行すればよい。図７に示すように、受光部８０１のみのフォトダイオードＰＤについてロックイン検出を行い、それ以外のフォトダイオードＰＤについては、リセット用のタイミングにおいて全てのフォトダイオードアレイを読み出してフォトダイオードＰＤのチャージリセットを行う。例えば、チャージフィードバック型光センサが１２８画素の場合、解像度より高速化が重要な場合には、ｍ個に１つの割合でロックイン検出を行うことで、約ｍ倍の高速化を達成することができる。
【００４２】
【発明の効果】
以上、詳細に説明したとおり、本発明に係るロックイン撮像装置によれば、２次元のチャージフィードバック型光センサにロックイン検出機能を集積化することで、夜間のヘッドライトに埋もれた歩行者の認識や、ノイズに埋もれやすい微弱光対象物の光検出、撮像等を精度よくすることが可能になる。
【００４３】
また、同様のロックイン撮像装置からのパルス光を受光してもその影響を排除し、感度良く撮像対象物を撮像することが可能となる。
【００４４】
本発明に係わるロックイン撮像装置に使用するチャージフィードバック型光センサは、１画素当たりの回路規模が従来技術のものと比べて格段に小さい。特に、受光容量部として受光素子の接合容量を利用する場合には、更に回路規模が小さい。したがって、このチャージフィードバック型光センサは、１画素当たりに占める回路部占有面積が小さく、各画素の開口率が高く、光応答特性が優れる。
【００４５】
また、積分回路の積分容量部の容量値を切替可能とする場合には、光像における画素毎の光量の増減を高感度に検出することができ、これにより撮像対象物のみを高感度に撮像することができる。
【図面の簡単な説明】
【図１】本発明に係わるロックイン撮像装置のブロック図である。
【図２】本発明に係わるロックイン撮像装置に使用するチャージフィードバック型光センサの第１例を示した回路図である。
【図３】第１例及び第２例に係わるチャージフィードバック型光センサの動作を説明するタイミングチャートである。
【図４】第１例に係わるチャージフィードバック型光センサの動作を説明するタイミングチャートである。
【図５】本発明に係わるロックイン撮像装置に使用するチャージフィードバック型光センサの第２例を示した回路図である。
【図６】第２例に係わるチャージフィードバック型光センサの動作を説明するタイミングチャートである。
【図７】チャージフィードバック型光センサの変形動作を説明するタイミングチャートである。
【符号の説明】
１…ロックイン撮像装置
１Ａ、１Ｂ…チャージフィードバック型光センサ
１０…積分回路
８０…受光部
【発明の属する技術分野】
本発明は、チャージフィードバック型ＣＭＯＳセンサを用いたロックイン撮像装置にする。
【０００２】
【従来の技術】
対象物に当たった光の反射光からその対象物を認識することができるが、反射光が背景光に比べて弱いと、反射光は背景光に埋もれてしまい、対象物の認識は困難となる。例えば、夜間走行中の車から歩行者をはっきりと視認することはできない。これは、太陽光のない夜間は、照明源が基本的に車のヘッドライトだけであり、走行中の車のヘッドライトによる歩行者からの反射光よりも対向車のライトが強いためである。このように、対向車のヘッドライトは、夜間の歩行者のような微弱光対象物を光検出する上では、妨害的に作用するバックグランド雑音に他ならない。
【０００３】
従来より、このようなバックグランド雑音を除去するための装置としてロックイン検出器が知られている。ロックイン検出器は、点滅光源を用いて対象物を一定の周波数で点滅照明し、点灯時の光センサの出力を正値、消灯時の光センサの出力を負値にして、光センサの出力を積分することで、バックグランドノイズ（点滅周波数と異なる周波数成分）を除去し、微弱光信号を抽出するものである。
このようなロックイン検出器は、従来、フォトダイオードや光電管等の光センサには使われてきた。
【０００４】
【発明が解決しようとする課題】
しかしながら、ロックイン検出機能を２次元センサに高密度、高精度に集積化することは困難であり、そのためロックイン検出機能を有する２次元センサを提供することは従来は不可能であった。
【０００５】
本発明は、同一出願人による同時係属中の特願平１１−３２８２２７号特許出願に記載したチャージフィードバック型ＣＭＯＳセンサを２次元センサに構成し、これにロックイン検出機能を集積化することで、夜間のヘッドライトに埋もれた歩行者の認識や、ノイズに埋もれやすい微弱光対象物の光検出、撮像等を可能にしたものである。
【０００６】
【課題を解決するための手段】
本発明に係るロックイン撮像装置は、
各々が、受光した光量に応じて電荷を発生する受光素子と、容量値Ｃ d を有し前記受光素子で発生した電荷を蓄積する受光容量部と、前記受光容量部に蓄積される電荷を外部との間で入出力するための入出力用スイッチ素子とを有し、２次元配列された複数の受光部と、
アンプと初期化用スイッチ素子と容量値Ｃ f1 の積分容量部（ただし、Ｃ f1 ＝Ｃ d ）とが入力端子と出力端子との間に並列的に設けられ、前記初期化用スイッチ素子が閉じているときに前記積分容量部を放電して初期化し、前記初期化用スイッチ素子が開いているときに前記入力端子に入力した電荷を前記積分容量部に蓄積して、その蓄積された電荷の量に応じた積分信号を前記出力端子より出力する積分回路と、
前記複数の受光部と前記積分回路の前記入力端子との間に設けられ、前記受光容量部に蓄積された電荷を前記積分容量部に移動させるための第１のスイッチ素子と、
前記積分回路の前記出力端子と前記複数の受光部との間に設けられ、前記積分回路から出力される積分信号の値に応じた電荷を前記受光容量部に蓄積させるための第２のスイッチ素子とを
備えるチャージフイードバック型センサと、
予め設定された複数のロックインアンプ周期の内の１つを選択して設定するためのロックインアンプ周期設定手段と、
前記ロックインアンプ周期設定手段で設定されたロックインアンプ周期に対応するフレームのうち奇数フレームに同期して点滅するパルス光源と、
前記ロックインアンプ周期に対応する周波数をフレームレートとして、１フレーム内で前記複数の受光部が順次受光するように制御する制御回路とを備え、
前記奇数フレーム及びこれに続く偶数フレームのそれぞれにおいて前記複数の受光部の各々の入出力用スイッチ素子が順次所定期間だけ閉状態となり、
前記奇数フレームの前記所定期間前に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、前記奇数フレームの前記所定期間中に前記第１のスイッチ素子が一旦閉状態となった後に開状態となり、その後に前記第２のスイッチ素子が一旦閉状態となった後に開状態となり、
前記偶数フレームの前記所定期間前に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、前記偶数フレームの前記所定期間中に前記第１のスイッチ素子が一旦閉状態となった後に開状態となり、その後に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、
前記複数の受光部の各々において、前記奇数フレームで発生する電荷を逆極性にして次の偶数フレームで発生する電荷に加算した電荷を前記積分回路に入力させることを特徴とするものである。
【０００７】
このようなロックイン撮像装置によれば、同装置に使用している受光部がチャージフィードバック機能を有し、パルス光源が点灯している状態で受光した奇数フレームにおける受光量を、例えば、正電荷として、また偶数フレームにおける受光量を負電荷として蓄積する。このため、パルス光源からの光で照射された撮像対象物は、観測したい部分のみをＳ／Ｎよく画像化することができる。
【０００９】
上記構成によれば、或る一定期間に、受光部の受光素子が受光した光の光量に応じて発生した電荷は受光容量部に蓄積されていく。この一定期間が経過した時点で第１のスイッチ素子が閉じると、それまで受光容量部に蓄積されていた電荷は、積分回路の積分容量部に移動する。その結果、受光素子の一方の端子の電位は、ΔＶだけ変化してリセットレベルとなり、積分回路から出力される積分信号は、積分容量部に蓄積された電荷に応じたレベルとなる。第１のスイッチ素子が開いた後に第２のスイッチ素子が閉じると、積分回路から出力される積分信号の値に応じた電圧が受光容量部に設定される。積分容量部の容量値は受光容量部の容量値と等しいので、この結果、受光素子の一方の端子の電位は、リセットレベルからΔＶだけ変化する。
【００１０】
その後の一定期間に、受光素子が受光した光の光量に応じて発生した電荷は受光容量部に蓄積されていく。この一定期間が経過した時点で受光容量部に蓄積されている電荷は、以前に第２のスイッチ素子が閉じたときに積分信号の値に応じて設定された電圧に比例した電荷と、この一定期間に受光素子が光を受光して発生した電荷とが重畳されたものである。ただし、重畳される電荷の符号は互いに異なる。したがって、この一定期間が経過した時点で第１のスイッチ素子が閉じると、積分回路から出力される積分信号は、受光素子が受光した光の光量の増減に応じたものである。
【００１１】
本発明に係るロックイン撮像装置は、
各々が、受光した光量に応じて電荷を発生する受光素子と、容量値Ｃ d を有し前記受光素子で発生した電荷を蓄積する受光容量部と、前記受光容量部に蓄積される電荷を外部との間で入出力するための入出力用スイッチ素子とを有し、２次元配列された複数の受光部と、
アンプと初期化用スイッチ素子と積分容量部とが入力端子と出力端子との間に並列的に設けられ、前記積分容量部の容量値を容量値Ｃ d およびこれより小さい値の何れかに切り替える容量値切替手段を有し、前記初期化用スイッチ素子が閉じているときに前記積分容量部を放電して初期化し、前記初期化用スイッチ素子が開いているときに前記入力端子に入力した電荷を前記積分容量部に蓄積して、その蓄積された電荷の量に応じた積分信号を前記出力端子より出力する積分回路と、
前記複数の受光部と前記積分回路の前記入力端子との間に設けられ、前記受光容量部に蓄積された電荷を前記積分容量部に移動させるための第１のスイッチ素子と、
前記積分回路の前記出力端子と前記複数の受光部との間に設けられ、前記積分回路から出力される積分信号の値に応じた電荷を前記受光容量部に蓄積させるための第２のスイッチ素子と、
予め設定された複数のロックインアンプ周期の内の１つを選択して設定するためのロックインアンプ周期設定手段と、
前記ロックインアンプ周期設定手段で設定されたロックインアンプ周期に対応するフレームのうち奇数フレームに同期して点滅するパルス光源とを
備えるチャージフイードバック型センサと、
前記ロックインアンプ周期に対応する周波数をフレームレートとして、１フレーム内で前記複数の受光部が順次受光するように制御する制御回路とを備え、
奇数フレーム及びこれに続く偶数フレームのそれぞれにおいて前記複数の受光部の各々の入出力用スイッチ素子が順次所定期間だけ閉状態となり、
前記奇数フレームの前記所定期間に前記積分容量部が容量値Ｃ d に設定され、前記偶数フレームの前記所定期間に前記積分容量部が容量値Ｃ d より小さい値に設定され、
前記奇数フレームの前記所定期間前に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、前記奇数フレームの前記所定期間中に前記第１のスイッチ素子が一旦閉状態となった後に開状態となり、その後に前記第２のスイッチ素子が一旦閉状態となった後に開状態となり、
前記偶数フレームの前前記所定期間前に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、前記偶数フレームの前記所定期間中に前記第１のスイッチ素子が一旦閉状態となった後に開状態となり、その後に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、
前記複数の受光部の各々において、前記奇数フレームで発生する電荷を逆極性にして次の偶数フレームで発生する電荷に加算した電荷を前記積分回路に入力させることを特徴とするものである。
【００１２】
上記構成では、或る一定期間に、受光部の受光素子が受光した光の光量に応じて発生した電荷は受光容量部に蓄積されていく。この一定期間が経過した時点で第１のスイッチ素子が閉じると、それまで受光容量部に蓄積されていた電荷は、積分回路の積分容量部に移動する。その結果、受光素子の一方の端子の電位は、ΔＶだけ変化してリセットレベルとなり、積分回路から出力される積分信号は、積分容量部に蓄積された電荷に応じたレベルとなる。第１のスイッチ素子が開いた後に第２のスイッチ素子が閉じると、積分回路から出力される積分信号の値に応じた電圧が受光容量部に設定される。このとき、容量値切替手段により、積分容量部の容量値は受光容量部の容量値と等しくされており、この結果、受光素子の一方の端子の電位は、リセットレベルからΔＶだけ変化する。
【００１３】
その後の一定期間に、受光素子が受光した光の光量に応じて発生した電荷は受光容量部に蓄積されていく。この一定期間が経過した時点で受光容量部に蓄積されている電荷は、以前に第２のスイッチ素子が閉じたときに積分信号の値に応じて設定された電圧に比例した電荷と、この一定期間に受光素子が光を受光して発生した電荷とが重畳されたものである。ただし、重畳される電荷の符号は互いに異なる。このとき、容量値切替手段により、積分容量部の容量値は受光容量部の容量値より小さい値とされている。したがって、この一定期間が経過した時点で第１のスイッチ素子が閉じると、積分回路から出力される積分信号は、受光素子が受光した光の光量の増減に応じたものであり、しかも、光量変化を高感度に検出するものである。
【００１４】
また、複数の受光部に対して、積分回路、第１のスイッチ素子および第２のスイッチ素子を１組備え、複数の受光部が順次に積分回路に接続される。
【００１５】
上記のような受光部は、１画素当たりに必要な回路規模が従来技術のものと比べて格段に小さい。特に、受光容量部として受光素子の接合容量を利用する場合には、更に回路規模が小さい。したがって、この受光部は、１画素当たりに占める回路部占有面積が小さく、各画素の開口率が高く、光応答特性が優れたものとなる。
【００１６】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１７】
図１は、本発明の実施の形態にかかわるロックイン撮像装置１の構成を示したブロック図である。ロックイン撮像装置１は、ロックインカメラ２と、パルス光源３と、ロックインカメラ２及びパルス光源３を制御するための制御回路４により構成されている。ロックインカメラ２は、後述する２次元配列されたチャージフィードバック型光センサを有し、チャージフィードバック型光センサの出力を表示部５に表示することで画像出力が得られる。ロックインカメラ２にはロックインアンプ周期設定部２Ａが設けられており、予め用意された複数のロックインアンプ周期のうちの１つを選択することができるようになっている。
【００１８】
制御回路４は、ロックインカメラ２とパルス光源３を制御するために各種のタイミング信号を発生する。制御回路４は、ロックインアンプ周期設定部２Ａで設定されたロックインアンプ周期でパルス光源３の点滅制御を行うと同時に、チャージフィードバック型光センサには各種のタイミング信号を送出する。
【００１９】
図２は、本発明に係わるロックイン撮像装置１で使用するチャージフィードバック型光センサ１Ａの回路図である。このチャージフィードバック型光センサ１Ａは、Ｎ個の受光部８０1〜８０N、積分回路１０、第１のスイッチ素子ＳＷ01および第２のスイッチ素子ＳＷ02を備える。
【００２０】
Ｎ個の受光部８０1〜８０Nそれぞれは、フォトダイオード（受光素子）ＰＤ、受光容量部Ｃdおよびスイッチ素子ＳＷ0を有する。フォトダイオードＰＤのアノード端子は接地されている。フォトダイオードＰＤのカソード端子は、受光容量部Ｃdを介して接地され、また、スイッチ素子ＳＷ0を介して、スイッチ素子ＳＷ01およびスイッチ素子ＳＷ02と接続されている。Ｎ個の受光部８０1〜８０Nそれぞれの受光容量部Ｃdの容量値は互いに等しい。なお、受光容量部Ｃdは、フォトダイオードＰＤの接合容量であってもよいし、これとは別に設けたものであってもよい。
【００２１】
積分回路１０は、入力端子と出力端子との間に互いに並列にアンプＡ1、積分容量部Ｃf1およびスイッチ素子ＳＷ11が接続されている。アンプＡ1は、その反転入力端子がスイッチ素子ＳＷ01と接続され、非反転入力端子が基準電圧値Ｖinp1とされている。積分容量部Ｃf1およびスイッチ素子ＳＷ11は、アンプＡ1の反転入力端子と出力端子との間に設けられている。積分容量部Ｃf1の容量値は、Ｎ個の受光部８０1〜８０Nそれぞれの受光容量部Ｃdの容量値と等しい。積分回路１０は、スイッチ素子ＳＷ11が閉じているときには、積分容量部Ｃf1を放電して初期化する。一方、積分回路１０は、スイッチ素子ＳＷ11が開いているときには、入力端子に入力した電荷を積分容量部Ｃf1に蓄積して、その蓄積された電荷に応じた電圧信号（これを積分信号と呼ぶ。）を出力端子から出力する。
【００２２】
スイッチ素子ＳＷ01は、Ｎ個の受光部８０1〜８０Nそれぞれのスイッチ素子ＳＷ0と積分回路１０の入力端子との間に設けられている。スイッチ素子ＳＷ02は、積分回路１０の出力端子とＮ個の受光部８０1〜８０Nそれぞれのスイッチ素子ＳＷ0との間に設けられている。なお、Ｎ個の受光部８０1〜８０Nそれぞれのスイッチ素子ＳＷ0、スイッチ素子ＳＷ01およびＳＷ02、積分回路１０のスイッチ素子ＳＷ11の開閉動作を制御する制御信号は、このチャージフィードバック型光センサ１Ａの動作を制御する制御回路４から所定のタイミングで出力される。
【００２３】
次に、第１例に係るチャージフィードバック型光センサ１Ａの動作について説明する。図３は、Ｎ個の受光部８０1〜８０Nそれぞれのスイッチ素子ＳＷ0の開閉タイミングを示すタイミングチャートである。この図に示すように、各フレーム期間内に、Ｎ個の受光部８０1〜８０Nそれぞれのスイッチ素子ＳＷ0は順次に閉じる。各受光部８０nのフォトダイオードＰＤおよび受光容量部Ｃdは、自己のスイッチ素子ＳＷ0が閉じている期間には、スイッチ素子ＳＷ01を介して積分回路１０の入力端子と接続され、スイッチ素子ＳＷ02を介して積分回路１０の出力端子と接続される。また、各受光部８０nは、自己のスイッチ素子ＳＷ0が開いている期間には、自己のフォトダイオードＰＤが光を受光して発生させた電荷を、自己の受光容量部Ｃdに蓄積する。
【００２４】
図４は、特に第ｎ番目の受光部８０nについてチャージフィードバック型光センサ１Ａの動作タイミングを示すタイミングチャートである。同図（ａ）は、各スイッチ素子の開閉タイミングを示す。同図（ｂ）は、パルス光源３の点灯状態を示す。同図（ｃ）は、第１フレーム以降所定フレーム数に亘り受光部８０nが受光した光量に対応した各信号レベルを示す。
【００２５】
時刻ｔ０に受光部８０nのスイッチ素子ＳＷ0は開く。これと同時にパルス光源３がオンとされ、短パルスに応答したパルス発光が行われる。このように、パルス光源３は、奇数フレームと偶数フレームの間の一定期間に点灯し(短パルス)、偶数フレーム期間中は消灯する。時刻ｔ０では、受光部８０nの受光容量部Ｃdに蓄積されている電荷は無く、受光部８０nのフォトダイオードＰＤのカソード端子の電位はリセットレベルである。時刻ｔ０以降、スイッチ素子ＳＷ0が閉じる時刻ｔ２まで、受光部８０nでは、自己のフォトダイオードＰＤが光を受光して発生した電荷は、自己の受光容量部Ｃdに蓄積されていく。時刻ｔ０と時刻ｔ２との間の時刻ｔ１に、積分回路１０のスイッチ素子ＳＷ11が一旦閉じた後に開くことで、積分回路１０は、積分容量部Ｃf1の電荷が放電されて初期化され、出力される積分信号はリセットレベルとなる。
【００２６】
第１フレームにおける時刻ｔ２から時刻ｔ４までの期間、受光部８０nのスイッチ素子ＳＷ0は閉じる。この期間中に、先ず時刻ｔ２にスイッチ素子ＳＷ01が一旦閉じた後に開き、続いて時刻ｔ３にスイッチ素子ＳＷ02が一旦閉じた後に開く。スイッチ素子ＳＷ01が閉じている期間には、それまで受光部８０nの受光容量部Ｃdに蓄積されていた電荷は、積分回路１０の積分容量部Ｃf1に移動する。その結果、受光部８０nのフォトダイオードＰＤのカソード端子の電位は、ΔＶだけ変化してリセットレベルとなり、また、積分回路１０から出力される積分信号は、積分容量部Ｃf1に蓄積された電荷に応じたレベルとなる。その後のスイッチ素子ＳＷ02が閉じている期間には、受光部８０nの受光容量部Ｃdに、積分回路１０から出力される積分信号の値に応じた電荷が蓄積される。積分容量部Ｃf1の容量値は受光部８０nの受光容量部Ｃdの容量値と等しいので、この結果、受光部８０nのフォトダイオードＰＤのカソード端子の電位は、リセットレベルからΔＶだけ変化する。
【００２７】
第２フレームの開始時刻ｔ４に受光部８０nのスイッチ素子ＳＷ0は開く。パルス光源３は、第１フレームにおける受光部８０１のスイッチ素子ＳＷ0の閉成前であって、第１フレームの直前フレームにおける最終受光素子８０Ｎのスイッチ素子ＳＷ0の閉成後に点灯するが、第２フレーム中には点灯しない。時刻ｔ４では、受光部８０nのフォトダイオードＰＤのカソード端子の電位はΔＶである。時刻ｔ４以降、スイッチ素子ＳＷ0が閉じる時刻ｔ６まで、受光部８０nでは、自己のフォトダイオードＰＤが光を受光して発生した電荷は、自己の受光容量部Ｃdに蓄積されていく。時刻ｔ４と時刻ｔ６との間の時刻ｔ５に、積分回路１０のスイッチ素子ＳＷ11が一旦閉じた後に開くことで、積分回路１０は、積分容量部Ｃf1の電荷が放電されて初期化され、出力される積分信号はリセットレベルとなる。
【００２８】
時刻ｔ０〜ｔ２までの時間と時刻ｔ４〜ｔ６までの時間とが等しく、第１フレームと第２フレームで受光部８０nが受光する光の光量が同じであれば、時刻ｔ６において受光部８０nの受光容量部Ｃdに蓄積されている電荷はリセットレベルとなり、第１フレームと第２フレームで受光部８０nが受光する光の光量が異なれば、時刻ｔ６において受光部８０nの受光容量部Ｃdに蓄積されている電荷は、時刻ｔ３に積分回路１０から出力される積分信号の値に応じて蓄積された電荷と、時刻ｔ４から時刻ｔ６までの期間にフォトダイオードＰＤが光を受光して発生した電荷との差分となる。一般に、第２フレームでフォトダイオードＰＤが発生する電荷は、パルス光源３からの光を受光していない分、第１フレームで発生する電荷に比べると少なくなる。そのため、図４に示したように、時刻ｔ６では、受光部８０nのフォトダイオードＰＤのカソード端子の電位はリセットレベルよりも高いレベルとなる。
【００２９】
第２フレームにおける時刻ｔ６から時刻ｔ８までの期間、受光部８０nのスイッチ素子ＳＷ0は閉じる。この期間中の時刻ｔ６にスイッチ素子ＳＷ01が一旦閉じた後に開く。スイッチ素子ＳＷ01が閉じる時刻ｔ６においては、受光部８０nのフォトダイオードＰＤのカソード端子の電位はリセットレベルより高いので、積分回路１０から出力される積分信号はリセットレベルより小さくなる。すなわち、第１フレームと第２フレームとで受光部８０nが受光する光の光量が異なれば、第２フレームの時刻ｔ６以降において、積分回路１０から出力される積分信号は、リセットレベルとは異なるレベルとなる。
【００３０】
このように、第１フレームでは、パルス光源３を点灯した上で撮像し、第２フレームでは、パルス光源３を消灯した状態で撮像する。そして、第１フレームで撮像した画像に対応する電荷の極性を反転して受光容量部Ｃdにチャージフィードバックし、第２フレームで撮像した画像に対応する電荷と足し合わせる。このような第１フレームと第２フレームで行った光検出処理を所定回数繰り返し、奇数フレームを正極性、偶数フレームを負極性として積分する。この結果、先に示した車のヘッドライトに埋もれた歩行者の例では、歩行者の背景光となる対向車のヘッドライトの影響を除去することができ、歩行者のみを強調した画像を得ることができる。積分信号が読み出された後、時刻Ｔ７で積分回路１０のスイッチ素子ＳＷ11を一旦閉じた後に開き、積分回路１０をリセットする。
【００３１】
上述した実施の形態では、偶数フレームの終了時に画像出力を得るようにしたが、奇数フレーム終了時の画像出力を同時に得るようにしてもよい。奇数フレームレート終了時の画像出力は、１つ前のフレームまでの差分結果と、その後の奇数フレームの画像出力が重なり合って出力されるため、ほぼ生画像に近い画像となるので、偶数フレームの終了時に得られる補正画像と生画像を並列表示したり、あるいは一方のみを選択表示することが可能となる。
【００３２】
上記のチャージフィードバック型光センサ１Ａは、１画素当たりに必要な素子がフォトダイオードＰＤ、受光容量部Ｃdおよびスイッチ素子ＳＷ0のみであり、従来技術のものと比べて回路規模が格段に小さい。特に、受光容量部ＣdとしてフォトダイオードＰＤの接合容量を利用する場合には、更に回路規模が小さい。
したがって、このチャージフィードバック型光センサ１Ａは、１画素当たりに占める回路部占有面積が小さく、各画素の開口率が高く、光応答特性が優れたものとなる。
【００３３】
次に、本発明に係るロックイン撮像装置に使用するチャージフィードバック型光センサの第２の例について説明する。図５は、第２例に係るチャージフィードバック型光センサ１Ｂの回路図である。第２例に係るチャージフィードバック型光センサ１Ｂは、第１例のものと比較すると、積分回路１０の回路構成が異なっている。
【００３４】
すなわち、このチャージフィードバック型光センサ１Ｂの積分回路１０は、入力端子と出力端子との間に互いに並列に、アンプＡ1、積分容量部Ｃf1、スイッチ素子ＳＷ11、ならびに、互いに直列的に接続されたスイッチ素子ＳＷ12（容量値切替手段）および積分容量部Ｃf2が接続されている。アンプＡ1は、その反転入力端子がスイッチ素子ＳＷ01と接続され、非反転入力端子が基準電圧値Ｖinp1とされている。積分容量部Ｃf1、スイッチ素子ＳＷ11、ならびに、互いに直列的に接続されたスイッチ素子ＳＷ12および積分容量部Ｃf2は、アンプＡ1の反転入力端子と出力端子との間に設けられている。積分容量部Ｃf1および積分容量部Ｃf2それぞれの容量値の和は、Ｎ個の受光部８０1〜８０Nそれぞれの受光容量部Ｃdの容量値と等しい。
【００３５】
なお、Ｎ個の受光部８０1〜８０Nそれぞれのスイッチ素子ＳＷ0、スイッチ素子ＳＷ01およびＳＷ02、積分回路１０のスイッチ素子ＳＷ11およびＳＷ12の開閉動作を制御する制御信号は、このチャージフィードバック型光センサ１Ｂの動作を制御する制御回路４から所定のタイミングで出力される。
【００３６】
次に、本例に係るチャージフィードバック型光センサ１Ｂの動作について説明する。Ｎ個の受光部８０1〜８０Nそれぞれのスイッチ素子ＳＷ0の開閉タイミングは、図３を用いて説明したものと同様である。
【００３７】
図６は、特に第ｎ番目の受光部８０nについてチャージフィードバック型光センサ１Ｂの動作タイミングを示すタイミングチャートである。同図（ａ）は、各スイッチ素子の開閉タイミングを示す。同図（ｂ）は、パルス光源３の点灯状態を示す。同図（ｃ）は、第１フレーム以降所定フレーム数に亘り受光部８０nが受光した光量に対応した各信号レベルを示す。このチャージフィードバック型光センサ１Ｂの動作は、第１例に係るチャージフィードバック型光センサ１Ａの動作と略同様である。本例では、積分回路１０のスイッチ素子ＳＷ12は、第１フレームでは閉じていて、第２フレームでは開いている。
【００３８】
積分回路１０のスイッチ素子ＳＷ12が閉じている第１フレーム（時刻ｔ４を経過するまで）では、積分回路１０において電荷を蓄積するものは、互いに並列的に設けられた積分容量部Ｃf1および積分容量部Ｃf2の双方である。また、積分容量部Ｃf1および積分容量部Ｃf2それぞれの容量値の和は、受光部８０nの受光容量部Ｃdの容量値と等しい。したがって、この第１フレームでは、チャージフィードバック型光センサ１Ｂの動作は、図４を用いて説明したものと同様である。
【００３９】
一方、積分回路１０のスイッチ素子ＳＷ12が開いている第２フレーム（時刻ｔ８を経過するまで）では、積分回路１０において電荷を蓄積するものは、積分容量部Ｃf1のみであって、その容量値が小さくなる。したがって、第１例の場合と同様の受光量変化があるとすると、本例に係るチャージフィードバック型光センサ１Ｂでは、時刻ｔ６以降に積分回路１０から出力される積分信号は、第１例のチャージフィードバック型光センサ１Ａの場合と比較して（（Ｃf1＋Ｃf2）／Ｃf1）倍だけ大きくなり、感度が高くなる。
【００４０】
以上のように、本例に係るチャージフィードバック型光センサ１Ｂは、第１例に係るチャージフィードバック型光センサ１Ａが奏する効果と同様の効果を奏する他、第１フレームよりも第２フレームにおいて積分回路１０の積分容量部の容量値を小さくすることにより、光像における画素毎の光量の増減を高感度に検出することができ、これにより動体を高感度に抽出することができる。
【００４１】
本発明は、上記実施形態に限定されることなく種々の変形が可能である。例えば、ロックイン検出の周波数を上昇させたい場合は、所望のフォトダイオードＰＤ列のみを読み出すランダムアクセスを実行すればよい。図７に示すように、受光部８０１のみのフォトダイオードＰＤについてロックイン検出を行い、それ以外のフォトダイオードＰＤについては、リセット用のタイミングにおいて全てのフォトダイオードアレイを読み出してフォトダイオードＰＤのチャージリセットを行う。例えば、チャージフィードバック型光センサが１２８画素の場合、解像度より高速化が重要な場合には、ｍ個に１つの割合でロックイン検出を行うことで、約ｍ倍の高速化を達成することができる。
【００４２】
【発明の効果】
以上、詳細に説明したとおり、本発明に係るロックイン撮像装置によれば、２次元のチャージフィードバック型光センサにロックイン検出機能を集積化することで、夜間のヘッドライトに埋もれた歩行者の認識や、ノイズに埋もれやすい微弱光対象物の光検出、撮像等を精度よくすることが可能になる。
【００４３】
また、同様のロックイン撮像装置からのパルス光を受光してもその影響を排除し、感度良く撮像対象物を撮像することが可能となる。
【００４４】
本発明に係わるロックイン撮像装置に使用するチャージフィードバック型光センサは、１画素当たりの回路規模が従来技術のものと比べて格段に小さい。特に、受光容量部として受光素子の接合容量を利用する場合には、更に回路規模が小さい。したがって、このチャージフィードバック型光センサは、１画素当たりに占める回路部占有面積が小さく、各画素の開口率が高く、光応答特性が優れる。
【００４５】
また、積分回路の積分容量部の容量値を切替可能とする場合には、光像における画素毎の光量の増減を高感度に検出することができ、これにより撮像対象物のみを高感度に撮像することができる。
【図面の簡単な説明】
【図１】本発明に係わるロックイン撮像装置のブロック図である。
【図２】本発明に係わるロックイン撮像装置に使用するチャージフィードバック型光センサの第１例を示した回路図である。
【図３】第１例及び第２例に係わるチャージフィードバック型光センサの動作を説明するタイミングチャートである。
【図４】第１例に係わるチャージフィードバック型光センサの動作を説明するタイミングチャートである。
【図５】本発明に係わるロックイン撮像装置に使用するチャージフィードバック型光センサの第２例を示した回路図である。
【図６】第２例に係わるチャージフィードバック型光センサの動作を説明するタイミングチャートである。
【図７】チャージフィードバック型光センサの変形動作を説明するタイミングチャートである。
【符号の説明】
１…ロックイン撮像装置
１Ａ、１Ｂ…チャージフィードバック型光センサ
１０…積分回路
８０…受光部
Claims (3)
- 各々が、受光した光量に応じて電荷を発生する受光素子と、容量値Ｃ d を有し前記受光素子で発生した電荷を蓄積する受光容量部と、前記受光容量部に蓄積される電荷を外部との間で入出力するための入出力用スイッチ素子とを有し、２次元配列された複数の受光部と、
アンプと初期化用スイッチ素子と容量値Ｃ f1 の積分容量部（ただし、Ｃ f1 ＝Ｃ d ）とが入力端子と出力端子との間に並列的に設けられ、前記初期化用スイッチ素子が閉じているときに前記積分容量部を放電して初期化し、前記初期化用スイッチ素子が開いているときに前記入力端子に入力した電荷を前記積分容量部に蓄積して、その蓄積された電荷の量に応じた積分信号を前記出力端子より出力する積分回路と、
前記複数の受光部と前記積分回路の前記入力端子との間に設けられ、前記受光容量部に蓄積された電荷を前記積分容量部に移動させるための第１のスイッチ素子と、
前記積分回路の前記出力端子と前記複数の受光部との間に設けられ、前記積分回路から出力される積分信号の値に応じた電荷を前記受光容量部に蓄積させるための第２のスイッチ素子とを
備えるチャージフイードバック型センサと、
予め設定された複数のロックインアンプ周期の内の１つを選択して設定するためのロックインアンプ周期設定手段と、
前記ロックインアンプ周期設定手段で設定されたロックインアンプ周期に対応するフレームのうち奇数フレームに同期して点滅するパルス光源と、
前記ロックインアンプ周期に対応する周波数をフレームレートとして、１フレーム内で前記複数の受光部が順次受光するように制御する制御回路とを備え、
前記奇数フレーム及びこれに続く偶数フレームのそれぞれにおいて前記複数の受光部の各々の入出力用スイッチ素子が順次所定期間だけ閉状態となり、
前記奇数フレームの前記所定期間前に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、前記奇数フレームの前記所定期間中に前記第１のスイッチ素子が一旦閉状態となった後に開状態となり、その後に前記第２のスイッチ素子が一旦閉状態となった後に開状態となり、
前記偶数フレームの前記所定期間前に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、前記偶数フレームの前記所定期間中に前記第１のスイッチ素子が一旦閉状態となった後に開状態となり、その後に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、
前記複数の受光部の各々において、前記奇数フレームで発生する電荷を逆極性にして次の偶数フレームで発生する電荷に加算した電荷を前記積分回路に入力させることを特徴とするロックイン撮像装置。 - 各々が、受光した光量に応じて電荷を発生する受光素子と、容量値Ｃ d を有し前記受光素子で発生した電荷を蓄積する受光容量部と、前記受光容量部に蓄積される電荷を外部との間で入出力するための入出力用スイッチ素子とを有し、２次元配列された複数の受光部と、
アンプと初期化用スイッチ素子と積分容量部とが入力端子と出力端子との間に並列的に設けられ、前記積分容量部の容量値を容量値Ｃ d およびこれより小さい値の何れかに切り替える容量値切替手段を有し、前記初期化用スイッチ素子が閉じているときに前記積分容量部を放電して初期化し、前記初期化用スイッチ素子が開いているときに前記入力端子に入力した電荷を前記積分容量部に蓄積して、その蓄積された電荷の量に応じた積分信号を前記出力端子より出力する積分回路と、
前記複数の受光部と前記積分回路の前記入力端子との間に設けられ、前記受光容量部に蓄積された電荷を前記積分容量部に移動させるための第１のスイッチ素子と、
前記積分回路の前記出力端子と前記複数の受光部との間に設けられ、前記積分回路から出力される積分信号の値に応じた電荷を前記受光容量部に蓄積させるための第２のスイッチ素子とを
備えるチャージフイードバック型センサと、
予め設定された複数のロックインアンプ周期の内の１つを選択して設定するためのロックインアンプ周期設定手段と、
前記ロックインアンプ周期設定手段で設定されたロックインアンプ周期に対応するフレームのうち奇数フレームに同期して点滅するパルス光源と、
前記ロックインアンプ周期に対応する周波数をフレームレートとして、１フレーム内で前記複数の受光部が順次受光するように制御する制御回路とを備え、
奇数フレーム及びこれに続く偶数フレームのそれぞれにおいて前記複数の受光部の各々の入出力用スイッチ素子が順次所定期間だけ閉状態となり、
前記奇数フレームの前記所定期間に前記積分容量部が容量値Ｃ d に設定され、前記偶数フレームの前記所定期間に前記積分容量部が容量値Ｃ d より小さい値に設定され、
前記奇数フレームの前記所定期間前に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、前記奇数フレームの前記所定期間中に前記第１のスイッチ素子が一旦閉状態となった後に開状態となり、その後に前記第２のスイッチ素子が一旦閉状態となった後に開状態となり、
前記偶数フレームの前前記所定期間前に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、前記偶数フレームの前記所定期間中に前記第１のスイッチ素子が一旦閉状態となった後に開状態となり、その後に前記初期化用スイッチ素子が一旦閉状態となった後に開状態となり、
前記複数の受光部の各々において、前記奇数フレームで発生する電荷を逆極性にして次の偶数フレームで発生する電荷に加算した電荷を前記積分回路に入力させることを特徴とするロックイン撮像装置。 - 複数の前記受光部に対して、前記積分回路、前記第１のスイッチ素子および前記第２のスイッチ素子を１組備え、複数の前記受光部が順次に前記積分回路に接続されることを特徴とする請求項１または２記載のロックイン撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001074871A JP4545334B2 (ja) | 2001-03-15 | 2001-03-15 | ロックイン撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001074871A JP4545334B2 (ja) | 2001-03-15 | 2001-03-15 | ロックイン撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002281387A JP2002281387A (ja) | 2002-09-27 |
| JP4545334B2 true JP4545334B2 (ja) | 2010-09-15 |
Family
ID=18932055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001074871A Expired - Fee Related JP4545334B2 (ja) | 2001-03-15 | 2001-03-15 | ロックイン撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4545334B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4732317B2 (ja) * | 2006-12-08 | 2011-07-27 | 富士通株式会社 | 撮影制御装置、撮影装置、撮影制御プログラム、撮影制御方法 |
| JP5266709B2 (ja) * | 2007-10-19 | 2013-08-21 | 日産自動車株式会社 | 距離計測装置、距離計測方法および車両 |
| JP5167755B2 (ja) * | 2007-10-19 | 2013-03-21 | 日産自動車株式会社 | 光検出装置、光検出方法および車両 |
| JP5277650B2 (ja) * | 2008-02-05 | 2013-08-28 | 日産自動車株式会社 | 光検出装置及び光検出方法 |
| EP3605497A1 (en) * | 2017-03-21 | 2020-02-05 | Konica Minolta, Inc. | Illumination image capture device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0682875A (ja) * | 1992-09-02 | 1994-03-25 | Fuji Film Micro Device Kk | 露光量計測装置 |
| JPH06273230A (ja) * | 1993-03-19 | 1994-09-30 | Hamamatsu Photonics Kk | 光検出装置 |
| JPH08122149A (ja) * | 1994-10-24 | 1996-05-17 | Nissan Motor Co Ltd | イメージセンサ |
| JPH10248063A (ja) * | 1997-03-04 | 1998-09-14 | Toshiba Corp | 携帯型情報端末装置 |
| JP2001145030A (ja) * | 1999-11-18 | 2001-05-25 | Hamamatsu Photonics Kk | 光検出装置 |
-
2001
- 2001-03-15 JP JP2001074871A patent/JP4545334B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0682875A (ja) * | 1992-09-02 | 1994-03-25 | Fuji Film Micro Device Kk | 露光量計測装置 |
| JPH06273230A (ja) * | 1993-03-19 | 1994-09-30 | Hamamatsu Photonics Kk | 光検出装置 |
| JPH08122149A (ja) * | 1994-10-24 | 1996-05-17 | Nissan Motor Co Ltd | イメージセンサ |
| JPH10248063A (ja) * | 1997-03-04 | 1998-09-14 | Toshiba Corp | 携帯型情報端末装置 |
| JP2001145030A (ja) * | 1999-11-18 | 2001-05-25 | Hamamatsu Photonics Kk | 光検出装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002281387A (ja) | 2002-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10101155B2 (en) | Optical distance measuring device and method for optical distance measurement | |
| JP6823815B2 (ja) | 固体撮像装置、距離測定装置および距離測定方法 | |
| JP4424796B2 (ja) | 光検出装置 | |
| CN108010073B (zh) | 用于具有背景去除的有源深度成像仪的系统和方法 | |
| JP6480712B2 (ja) | 撮像装置及びその制御方法 | |
| US20090073292A1 (en) | Method for acquiring a digital image with a large dynamic range with a sensor of lesser dynamic range | |
| CN101371564A (zh) | 为成像器中的电子稳定提供像素存储栅极电荷感测的方法及设备 | |
| WO2010084493A1 (en) | Optical pixel and image sensor | |
| US10038869B2 (en) | Optical electronic device including enhanced global shutter pixel array and related methods | |
| JP5616106B2 (ja) | 固体撮像装置 | |
| CN111602386B (zh) | 缓解运动图片的led频闪 | |
| EP3758365A1 (en) | Pixel acquisition circuit, optical flow sensor, and optical flow and image information acquisition system | |
| JP2009514294A (ja) | イメージセンサ | |
| JP6539990B2 (ja) | 光飛行型測距装置 | |
| US10063796B2 (en) | Sensing pixel having sampling circuitry to sample photodiode signal multiple times before reset of photodiode | |
| JP3803924B2 (ja) | イメージセンサ | |
| JP4545334B2 (ja) | ロックイン撮像装置 | |
| EP4236298A1 (en) | Photoelectric conversion device and photoelectric conversion system | |
| JP6735515B2 (ja) | 固体撮像装置 | |
| CN115804102A (zh) | 像素元件和用于操作像素元件的方法 | |
| JP4390881B2 (ja) | 光検出装置 | |
| JP4628586B2 (ja) | 光検出装置 | |
| JP2022522952A (ja) | 飛行時間型装置および３ｄ光学検出器 | |
| JP4473425B2 (ja) | 光検出装置 | |
| CN219555081U (zh) | 图像传感器中光信号的采集电路和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100405 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100614 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100629 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100630 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4545334 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |