JP3878002B2 - 高感度撮像方法及びその装置 - Google Patents
高感度撮像方法及びその装置 Download PDFInfo
- Publication number
- JP3878002B2 JP3878002B2 JP2001349720A JP2001349720A JP3878002B2 JP 3878002 B2 JP3878002 B2 JP 3878002B2 JP 2001349720 A JP2001349720 A JP 2001349720A JP 2001349720 A JP2001349720 A JP 2001349720A JP 3878002 B2 JP3878002 B2 JP 3878002B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- signal
- noise
- accumulated
- column amplifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Heads (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、高感度な撮像方法及びその装置（イメージセンサ）に関するものである。
【０００２】
【従来の技術】
従来から、アナログ領域で、イメージセンサのリセットノイズや固定パターンノイズをキャンセルする方式は多く存在する。
【０００３】
また、画素内でＡ／Ｄ変換を行って、ダイナミックレンジの広いディジタル出力を得る方法が報告されている。さらに、コラムでＡ／Ｄ変換を行って、分解能の高いＡ／Ｄ変換を行う方法が報告されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、現状の最高性能固体イメージセンサの性能を超えるＳＮＲを達成するには至っていない。
【０００５】
そこで、本発明は、上記状況に鑑みて、イメージセンサのノイズレベルを支配するアンプ等の回路が発生するランダムノイズを、センサでの蓄積途中の信号を読み出して、ディジタル領域での処理で低減することにより、信号に対するノイズを極力低減することができる高感度撮像方法及びその装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、上記目的を達成するために、
〔１〕画素部の信号電荷蓄積途中の電圧を非破壊で読み出せる撮像方法において、通常のＮ倍（Ｎは２以上）で蓄積中間値の信号と、蓄積初期値のリセット直後の値をともに読み出し、そのＮ＋１点のデータを用いて、信号推定器により、蓄積最終値と、蓄積初期値を推定し、それらの差を求めることにより、ノイズの低減を行うことを特徴とする。
【０００７】
〔２〕上記〔１〕記載の高感度撮像方法において、前記信号推定処理を蓄積中間値と蓄積初期値による最小２乗法により行うことを特徴とする。
【０００８】
〔３〕上記〔１〕記載の高感度撮像方法において、前記画素部の信号をコラムアンプのコラムアンプにより増幅を行う際に、蓄積中間値の値に応じて前記コラムアンプのゲインを変化させ、等価的に前記コラムアンプ後の回路の雑音やＡ／Ｄ変換器の量子化雑音を低減することを特徴とする。
【０００９】
〔４〕上記〔１〕記載の高感度撮像方法において、前記コラムアンプで固定パターンノイズが増幅されることにより、アンプ出力が飽和するのを避けるため、前記コラムアンプ前において、フレームメモリに記憶された、画素ごとの固定パターン雑音の測定値をＤ／Ａ変換し、差し引くことを特徴とする。
【００１０】
〔５〕画素部の信号電荷蓄積途中の電圧を非破壊で読み出せる撮像装置において、画素部に接続されるコラムアンプと、このコラムアンプに接続されるＡ／Ｄ変換器と、このＡ／Ｄ変換器に接続され、通常のＮ倍（Ｎは２以上）で蓄積中間値の信号と、蓄積初期値のリセット直後の値をともに読み出し、そのＮ＋１点のデータを用いて蓄積最終値と蓄積初期値を推定し、それらの差を求めることにより信号推定処理を行う信号推定器とを備え、前記蓄積中間値からの推定値に基づいて前記コラムアンプのゲインを変更することによりノイズの低減を行うことを特徴とする。
【００１１】
〔６〕上記〔５〕記載の高感度撮像装置において、前記画素ごとの固定パターン雑音の測定値を記憶したフレームメモリと、このフレームメモリに接続されるＤ／Ａ変換器とを備え、前記フレームメモリに記憶された、画素ごとの固定パターン雑音の測定値を前記Ｄ／Ａ変換器でＤ／Ａ変換し、前記Ｄ／Ａ変換器の出力を前記コラムアンプ前において差し引くことを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１３】
図１は本発明の実施例を示す高感度撮像装置のブロック図、図２はその３トランジスタ画素回路図、図３は電荷蓄積ノードの波形と読み出しタイミング（その１）を示す図、図４は電荷蓄積ノードの波形と読み出しタイミング（その２）を示す図である。
【００１４】
これらの図において、１は画素部（ピクセル）であり、図２に示すような３トランジスタの画素回路からなる。すなわち、詳細に示すと、この３トランジスタの画素回路は、リセット用ＭＯＳトランジスタ（ＭＲ）２、フォトダイオード（ＰＤ）３、増幅用ＭＯＳトランジスタ（ＭＩＮ）４、画素選択用ＭＯＳトランジスタ（ＭＸ）５を有しており、さらに、信号線６、この信号線６に接続される電流源用ＭＯＳトランジスタ７を有し、８は出力を示している。なお、画素部は、蓄積中間値を読むことができれば、図２に示す３トランジスタ方式に限定するものではない。
【００１５】
また、図１において、１１は第１の加算器、１２はコラムアンプ、１３はＡ／Ｄ変換器（ＡＤＣ）、１４は信号推定器、１５は第２の加算器、１６は出力、１７は振幅推定器（ゲイン推定器）、１８は回路パターン雑音（ＦＰＮ）用フレームメモリ、１９はＤ／Ａ変換器（ＤＡＣ）である。
【００１６】
そこで、画素部（ピクセル）１は、フォトダイオード３のアノード部で電荷の蓄積を行う。電荷の蓄積に伴って電圧が変化するが、ソースフォロワを介して読み出すことにより、電荷を破壊することなく、その蓄積途中の電圧を読み出す。
【００１７】
アノード部を電荷蓄積ノードと呼ぶことにする。この電荷蓄積ノードの電圧変化波形と、これをリセットするためのパルス信号とをともに、図３に示す。
【００１８】
この図３に示すように、イメージセンサのある画素において、リセット直後の蓄積ノードの電圧（ＶFD）を読み出し、コラムアンプ１２で増幅後、Ａ／Ｄ変換器１３でＡ／Ｄ変換する。これをｙ0 とする。高速読み出し周期ＴH に対し、ＴH −ΔＴの時間経過後、蓄積途中のＶFDを読み出し、これをｙ1 とする。ここでΔＴは、蓄積最終値の読み出し時刻から、次のリセット直後の蓄積初期値の読み出し時刻までの時間差である。
【００１９】
同様に、ｉ×（ＴH −ΔＴ）経過後の出力をｙi とする。ビデオ速度のＭ倍の速度で中間画像を読み出す場合、１ビデオ周期に対して、ｙ0 からｙM までのＭ＋１点のデータを取得する。すなわち、ｉ＝０，１，…，Ｍとする。
【００２０】
これらのデータには信号に加えて雑音が重畳しているが、信号推定器１４により、この中のｙ0 とｙM からノイズを含まない信号成分を推定する。これらを、ｙ0 * 及びｙM * とする。最終的に、ｙM * −ｙ0 * を計算することで、雑音成分を減らした信号を求めることができる。
【００２１】
図３の例では、ビデオ速度の４倍で、中間画像を読み出す場合を示しており、この場合、各画素ごとにｙ0 からｙ4 までの５点のデータを利用する。ΔＴは、ＴH に比べて非常に短く、ｙM と次のビデオ周期のｙ0 は連続してＡ／Ｄ変換を行う。この時のＡ／Ｄ変換の稼働率は、他の部分に比べて２倍になる。つまり、このときのＡ／Ｄ変換の稼働率を１００％とすれば、他の読み出し（ｙ1 からｙM-1 ）のときは、Ａ／Ｄ変換全体の稼働率は５０％となっている。全ての中間画像の読み出しにおいて、ΔＴだけ隔てた時点の値も読み出すようにすれば、Ａ／Ｄ変換の稼働率を１００％としながら、信号推定に利用するデータ点数を増やすことができ、推定精度を向上させることができる。
【００２２】
この場合の読み出しを図４に示す。
【００２３】
図４の例では、ビデオ速度の画像の４倍の速度で中間画像を読み出すが、各中間画像は、ΔＴだけ隔てた時間差で、２点ずつ読み出し、蓄積初期値と蓄積最終値のみ１点の読み出しとなる。この結果、Ｍ倍の速度で中間画像を読み出す場合、２Ｍ点のデータを得る。図４の例では、８点となる。
【００２４】
この蓄積中間画像を用いたノイズ低減の原理を図５に示す。
【００２５】
この図では、回路の熱雑音だけが読み出された信号に重畳している場合を示している。蓄積初期値には、信号成分はなく、読み出された信号には、画素回路の特性ばらつきによる回路パターン雑音（ＦＰＮ）、蓄積ノードを初期化したときに残留する電荷の揺らぎによるリセットノイズ及び回路の熱雑音が乗っている。
【００２６】
このとき、固定パターン雑音（ＦＰＮ）は、画素ごとにばらつくが、１つの画素について考えれば、時間的に変化せず、すべての中間画像読み出しにおいて、同じ値となる。また、リセット雑音についても、一旦初期化されて、雑音電荷が残留したとすると、これは次の初期化が行われるまで、時間的に変化しない。
【００２７】
従って、あるビデオ速度画像の読み出しのためのすべての中間画像の読み出し時刻において、ＦＰＮ及びリセット雑音は、時間的に変化せず、オフセットとして影響する。信号の蓄積（つまり時間方向の変数Ｘの増加）に従って読み出される信号Ｙは上昇する。いまこれらの関係が線形であるとすると、図５のようになる。
【００２８】
すべての中間画像の読み出しにおいて、回路の雑音が重畳するため、図５のように、直線的に変化する信号が揺らぐ。しかし、雑音は、真値である直線を中心として揺らぐことになるため、その中心線を推定することができれば、雑音の影響を減らした信号成分を得ることができる。例えば、図５に示すように測定値をグラフ上にプロットした場合を考えると、視覚的にも、その中心線を推定することは容易に行えることが分かる。ＦＰＮとリセット雑音に関しては、蓄積初期値と蓄積最終値の差を取れば、完全に除去できる。
【００２９】
図５における中心線の推定（信号成分の推定）には、最小２乗法を用いることができる。イメージセンサの各画素で、蓄積による信号の変化は、画像に動きがあるときには直線にはならないが、まず簡単化のため、図５に示すように直線的に信号の蓄積がすすむものと考える。そこで、信号成分を直線でモデル化する。つまり、
【００３０】
【数１】
【００３１】
いま、ビデオ速度のＭ倍の中間画像を読み出す場合を考える。また、図３に示す読み出し方法とする。信号の読み出し時刻、ｘ0 からｘM までに対して、読み出された値をｙ0 からｙM とし、ｙi （ｉ＝０，…，Ｍ）の分散をσi 2 とすると、推定される直線は、
【００３２】
【数２】
【００３３】
を最小にするａとｂを求めることに相当する。これによって求めたｙ0 とｙM の推定値、ｙ0 * とｙM *は、
【００３４】
【数３】
【００３５】
【数４】
【００３６】
従って、蓄積された信号の推定値ｙ* ＝ｙM *−ｙ0 * は、
【００３７】
【数５】
【００３８】
係数ｂの推定値は、次式で計算される。
【００３９】
【数６】
【００４０】
【数７】
【００４１】
その推定誤差分散σb 2 は、
【００４２】
【数８】
【００４３】
【数９】
【００４４】
信号推定を行わない場合の出力は、
【００４５】
【数１０】
【００４６】
であり、その分散σy 2 は、
【００４７】
【数１１】
【００４８】
信号推定処理によるＳＭＲ改善度γは、
【００４９】
【数１２】
【００５０】
簡単な場合としてすべての点での読み出しにおける雑音の分散が等しいと仮定する。すなわち、σi 2 （ｉ＝０，…，Ｍ）を
【００５１】
【数１３】
【００５２】
とおく。ここでσ0 2 は、回路の熱雑音の分散である。この場合、γは次式となる。
【００５３】
【数１４】
【００５４】
図４に示すような読み出し方法の場合、すなわち中間値を２点ずつ用いる場合のＳＮＲ改善度についても同様に計算すると、理論式として次式を得る。
【００５５】
【数１５】
【００５６】
図３及び図４に示す読み出し方法と最小２乗法による雑音低減処理でのＳＮＲの改善度について、理論値とシミュレーションで得られた結果を表１に示す。
【００５７】
【表１】
【００５８】
なお、コラムアンプのゲインを、読み出す信号毎に変化する場合には、そのときに重畳される雑音の分散も変化するので、式（１２）により、ＳＮＲ改善度が決まる。
【００５９】
ここでは、直線回帰に対する最小２乗法を示したが、動きの大きい画像に対して３次以上の曲線への回帰に対する最小２乗法の利用も考えられる。なお、２次曲線については直線回帰との性能の違いはない。
【００６０】
（コラムアンプのゲイン設定の方法）
コラムアンプのゲインを、入力値を見ながら、適応的に変化させることができれば、読み出される信号のＳＮＲの向上に大きな効果がある。
【００６１】
ここでは、図１に示すように、Ａ／Ｄ変換器１３と信号推定器１４の間に接続した振幅推定器（ゲイン推定器）１７を設けて、その出力をコラムアンプ１２へ帰還するようにする。
【００６２】
従って、入力信号が小さければ、コラムアンプのゲインを大きくし、入力信号が大きければ、コラムアンプのゲインを小さくする。入力信号が小さいとき、コラムアンプの後で加わる回路の雑音やＡ／Ｄ変換器の量子化雑音の影響が大きい。
【００６３】
従って、コラムアンプで大きなゲインで信号を増幅すれば、これらの雑音の影響を相対的に低減できる。しかし、逆に入力信号が大きく、なおかつコラムアンプで大きなゲインで増幅すると、アンプの出力が飽和する。従って、コラムアンプのゲインは、入力信号に応じて変更する必要がある。
【００６４】
蓄積中間画像を読み出すイメージセンサでは、これが容易に行える。表２はコラムアンプのゲインの設定方法を示している。
【００６５】
【表２】
【００６６】
いまビデオ速度の８倍で、蓄積中間画像を読み出す場合を考える。簡単のため、蓄積は、完全に線形になされるものとする。全蓄積の場合の信号振幅は、最大でもＡ／Ｄ変換器のフルスケール（ＦＳ）を越えないものとする。コラムアンプのゲインは、１倍，２倍，４倍，８倍の４通りに設定できるものとする。
【００６７】
まず、最初の信号ｙ0 を読み出す。これはノイズのみを含むので振幅は小さく、最大ゲインである８倍とする。次の信号ｙ1 は、８倍の速度で読み出しているので蓄積時間が１／８であるので、８倍で増幅しても、Ａ／Ｄ変換器のＦＳを越えない。故にこの場合も最大ゲインである８倍とする。
【００６８】
ｙ2 以降に対するコラムアンプのゲインは、ｙ1 をＡ／Ｄ変換した値から判断して決める。例えば、ｙ1 ＜ＦＳ／２であるとすると、ｙ1 に比べて蓄積時間が２倍であるｙ2 に対して８倍のゲインに設定しても、ｙ2 ＞ＦＳを満たす。しかし、ｙ3 に対して８倍増幅すると、ＦＳを越える可能性があるので、４倍とする。
【００６９】
このように、蓄積が進むに従って、Ａ／Ｄ変換のＦＳを越えないようにゲインを下げていく。例えば、もしｙ1 ＜ＦＳ／８の場合には、すべての蓄積中間画像の読み出しにおいて、ゲインを８倍にしてもＦＳを越えることはないので、すべて８倍とする。このように信号が小さいときには、全体的に高いゲインを用いることができる。
【００７０】
表２の決め方は、あくまで一例であり、よりきめ細かい設定方法がいろいろと考えられる。
【００７１】
また、図１において、コラムアンプ１２で固定パターンノイズが増幅されることにより、コラムアンプ１２の出力が飽和するのを避けるため、コラムアンプ１２の前において、フレームメモリ１８に蓄積された、画素ごとの固定パターン雑音の測定値をＤ／Ａ変換器１９でＤ／Ａ変換し、第１の加算器１１で差し引くようにする。
【００７２】
上記のように構成したので、信号電荷蓄積途中の電圧を非破壊で読み出せる撮像装置において、
（１）その途中の信号を用いて、信号推定器により、蓄積最終値と蓄積初期値を推定し、それらの差を求めることにより、ノイズ低減を図ることができる。
【００７３】
（２）信号推定器には、最小２乗法を用いる。
【００７４】
（３）ノイズとしては、アンプ等の回路が発生するランダム雑音（熱雑音、１／ｆ雑音）、Ａ／Ｄ変換器の量子化雑音、回路特性のばらつきによる固定パターン雑音、画素部のリセット雑音（ｋＴＣ雑音）があり、これらの雑音を低減することができる。
【００７５】
（４）信号推定とそれによるノイズ低減処理は、Ａ／Ｄ変換後にディジタル領域で行う。
【００７６】
（５）付随的なものとして、Ａ／Ｄ変換前に（特に、イメージセンサのコラムで）、高ゲインの振幅を行うが、そのゲインを、蓄積途中の信号の推定結果に基づいて、画素ごとに可変にすることで、Ａ／Ｄ変換器の量子化雑音、コラムアンプの後の回路の雑音を低減することができる。さらに、これによって、信号のダイナミックレンジを広くすることができる。つまり、Ａ／Ｄ変換器の分解能が１０ビットであったとして、蓄積中間値を８点用いる場合には、１３ビットに相当する分解能が得られる。
【００７７】
（６）コラムアンプで固定パターンノイズが増幅されることにより、アンプ出力が飽和するのを避けるため、コラムアンプ前において、フレームメモリに蓄積された、画素ごとの固定パターン雑音の測定値をＤ／Ａ変換し、差し引くようにすることができる。
【００７８】
具体的には、
▲１▼ 信号蓄積途中の値を非破壊で読み出せるイメージセンサにおいて、通常のＮ倍（Ｎは１以上）の速度で、高速に画像を読み出す。
【００７９】
▲２▼ コラムにおいて高ゲインのアンプで増幅し、その出力をＡ／Ｄ変換する。
【００８０】
▲３▼ ディジタル化された各画素について、信号蓄積の初期値、何点かの信号蓄積の中間値、蓄積最終値を用いて、ノイズのない信号蓄積の初期値と最終値を推定する。
【００８１】
▲４▼ 推定した信号蓄積の最終値から初期値を差し引くことで、ディジタル領域で、固定パターン雑音、リセット雑音、画素部のアンプのランダム雑音、読み出し回路のランダム雑音、Ａ／Ｄ変換器の量子化雑音を低減する。
【００８２】
▲５▼ 上記のＡ／Ｄ変換器の前にコラムで高ゲインのアンプを用い、Ａ／Ｄ変換器出力の値を用いて、画素ごとに次に読み出せる信号の振幅を推定し、アンプのゲインを適応的に調整する。これによって、アンプの出力を飽和させることなく、高ゲインのアンプを利用できるので、Ａ／Ｄ変換器の前に接続される広帯域アンプが発生させる雑音や、Ａ／Ｄ変換器の量子化雑音をさらに低減できる。
【００８３】
この結果、ＣＣＤイメージセンサのランダムノイズレベルより約１０分の１のランダムノイズレベルが得られ、等価雑音電子数を２電子程度にすることができる。
【００８４】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
【００８５】
【発明の効果】
以上、詳細に説明したように、本発明によれば、以下のような効果を奏することができる。
【００８６】
（１）イメージセンサにおいて支配的であるアンプのランダムノイズ及びＡ／Ｄ変換器の量子化ノイズを大幅に低減することができる。
【００８７】
（２）ＣＣＤイメージセンサのランダムノイズレベルより約１０分の１のランダムノイズレベルが得られ、等価雑音電子数を２電子程度にすることができる。
【００８８】
（３）コラムアンプの効果により、固定パターン雑音及びリセット雑音の除去効果が高い。
【００８９】
（４）雑音を低減しながら、コラムアンプで高ゲインの増幅を行うため、感度が高い。
【００９０】
（５）特に、画素回路のアンプが発生する雑音も低減することができる。
【図面の簡単な説明】
【図１】本発明の実施例を示す高感度撮像装置のブロック図である。
【図２】本発明の実施例を示す３トランジスタ画素回路図である。
【図３】本発明の実施例を示す電荷蓄積ノードの波形と読み出しタイミング（その１）を示す図である。
【図４】本発明の実施例を示す電荷蓄積ノードの波形と読み出しタイミング（その２）を示す図である。
【図５】本発明の実施例を示す蓄積中間画像を用いたノイズ低減の原理を示す図である。
【符号の説明】
１ 画素部（ピクセル）
２ リセット用ＭＯＳトランジスタ（ＭＲ）
３ フォトダイオード（ＰＤ）
４ 増幅用ＭＯＳトランジスタ（ＭＩＮ）
５ 画素選択用ＭＯＳトランジスタ（ＭＸ）
６ 信号線
７ 電流源用ＭＯＳトランジスタ
８，１６ 出力
１１ 第１の加算器
１２ コラムアンプ
１３ Ａ／Ｄ変換器
１４ 信号推定器
１５ 第２の加算器
１７ 振幅推定器（ゲイン推定器）
１８ 回路パターン雑音（ＦＰＮ）用フレームメモリ
１９ Ｄ／Ａ変換器
【発明の属する技術分野】
本発明は、高感度な撮像方法及びその装置（イメージセンサ）に関するものである。
【０００２】
【従来の技術】
従来から、アナログ領域で、イメージセンサのリセットノイズや固定パターンノイズをキャンセルする方式は多く存在する。
【０００３】
また、画素内でＡ／Ｄ変換を行って、ダイナミックレンジの広いディジタル出力を得る方法が報告されている。さらに、コラムでＡ／Ｄ変換を行って、分解能の高いＡ／Ｄ変換を行う方法が報告されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、現状の最高性能固体イメージセンサの性能を超えるＳＮＲを達成するには至っていない。
【０００５】
そこで、本発明は、上記状況に鑑みて、イメージセンサのノイズレベルを支配するアンプ等の回路が発生するランダムノイズを、センサでの蓄積途中の信号を読み出して、ディジタル領域での処理で低減することにより、信号に対するノイズを極力低減することができる高感度撮像方法及びその装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、上記目的を達成するために、
〔１〕画素部の信号電荷蓄積途中の電圧を非破壊で読み出せる撮像方法において、通常のＮ倍（Ｎは２以上）で蓄積中間値の信号と、蓄積初期値のリセット直後の値をともに読み出し、そのＮ＋１点のデータを用いて、信号推定器により、蓄積最終値と、蓄積初期値を推定し、それらの差を求めることにより、ノイズの低減を行うことを特徴とする。
【０００７】
〔２〕上記〔１〕記載の高感度撮像方法において、前記信号推定処理を蓄積中間値と蓄積初期値による最小２乗法により行うことを特徴とする。
【０００８】
〔３〕上記〔１〕記載の高感度撮像方法において、前記画素部の信号をコラムアンプのコラムアンプにより増幅を行う際に、蓄積中間値の値に応じて前記コラムアンプのゲインを変化させ、等価的に前記コラムアンプ後の回路の雑音やＡ／Ｄ変換器の量子化雑音を低減することを特徴とする。
【０００９】
〔４〕上記〔１〕記載の高感度撮像方法において、前記コラムアンプで固定パターンノイズが増幅されることにより、アンプ出力が飽和するのを避けるため、前記コラムアンプ前において、フレームメモリに記憶された、画素ごとの固定パターン雑音の測定値をＤ／Ａ変換し、差し引くことを特徴とする。
【００１０】
〔５〕画素部の信号電荷蓄積途中の電圧を非破壊で読み出せる撮像装置において、画素部に接続されるコラムアンプと、このコラムアンプに接続されるＡ／Ｄ変換器と、このＡ／Ｄ変換器に接続され、通常のＮ倍（Ｎは２以上）で蓄積中間値の信号と、蓄積初期値のリセット直後の値をともに読み出し、そのＮ＋１点のデータを用いて蓄積最終値と蓄積初期値を推定し、それらの差を求めることにより信号推定処理を行う信号推定器とを備え、前記蓄積中間値からの推定値に基づいて前記コラムアンプのゲインを変更することによりノイズの低減を行うことを特徴とする。
【００１１】
〔６〕上記〔５〕記載の高感度撮像装置において、前記画素ごとの固定パターン雑音の測定値を記憶したフレームメモリと、このフレームメモリに接続されるＤ／Ａ変換器とを備え、前記フレームメモリに記憶された、画素ごとの固定パターン雑音の測定値を前記Ｄ／Ａ変換器でＤ／Ａ変換し、前記Ｄ／Ａ変換器の出力を前記コラムアンプ前において差し引くことを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１３】
図１は本発明の実施例を示す高感度撮像装置のブロック図、図２はその３トランジスタ画素回路図、図３は電荷蓄積ノードの波形と読み出しタイミング（その１）を示す図、図４は電荷蓄積ノードの波形と読み出しタイミング（その２）を示す図である。
【００１４】
これらの図において、１は画素部（ピクセル）であり、図２に示すような３トランジスタの画素回路からなる。すなわち、詳細に示すと、この３トランジスタの画素回路は、リセット用ＭＯＳトランジスタ（ＭＲ）２、フォトダイオード（ＰＤ）３、増幅用ＭＯＳトランジスタ（ＭＩＮ）４、画素選択用ＭＯＳトランジスタ（ＭＸ）５を有しており、さらに、信号線６、この信号線６に接続される電流源用ＭＯＳトランジスタ７を有し、８は出力を示している。なお、画素部は、蓄積中間値を読むことができれば、図２に示す３トランジスタ方式に限定するものではない。
【００１５】
また、図１において、１１は第１の加算器、１２はコラムアンプ、１３はＡ／Ｄ変換器（ＡＤＣ）、１４は信号推定器、１５は第２の加算器、１６は出力、１７は振幅推定器（ゲイン推定器）、１８は回路パターン雑音（ＦＰＮ）用フレームメモリ、１９はＤ／Ａ変換器（ＤＡＣ）である。
【００１６】
そこで、画素部（ピクセル）１は、フォトダイオード３のアノード部で電荷の蓄積を行う。電荷の蓄積に伴って電圧が変化するが、ソースフォロワを介して読み出すことにより、電荷を破壊することなく、その蓄積途中の電圧を読み出す。
【００１７】
アノード部を電荷蓄積ノードと呼ぶことにする。この電荷蓄積ノードの電圧変化波形と、これをリセットするためのパルス信号とをともに、図３に示す。
【００１８】
この図３に示すように、イメージセンサのある画素において、リセット直後の蓄積ノードの電圧（ＶFD）を読み出し、コラムアンプ１２で増幅後、Ａ／Ｄ変換器１３でＡ／Ｄ変換する。これをｙ0 とする。高速読み出し周期ＴH に対し、ＴH −ΔＴの時間経過後、蓄積途中のＶFDを読み出し、これをｙ1 とする。ここでΔＴは、蓄積最終値の読み出し時刻から、次のリセット直後の蓄積初期値の読み出し時刻までの時間差である。
【００１９】
同様に、ｉ×（ＴH −ΔＴ）経過後の出力をｙi とする。ビデオ速度のＭ倍の速度で中間画像を読み出す場合、１ビデオ周期に対して、ｙ0 からｙM までのＭ＋１点のデータを取得する。すなわち、ｉ＝０，１，…，Ｍとする。
【００２０】
これらのデータには信号に加えて雑音が重畳しているが、信号推定器１４により、この中のｙ0 とｙM からノイズを含まない信号成分を推定する。これらを、ｙ0 * 及びｙM * とする。最終的に、ｙM * −ｙ0 * を計算することで、雑音成分を減らした信号を求めることができる。
【００２１】
図３の例では、ビデオ速度の４倍で、中間画像を読み出す場合を示しており、この場合、各画素ごとにｙ0 からｙ4 までの５点のデータを利用する。ΔＴは、ＴH に比べて非常に短く、ｙM と次のビデオ周期のｙ0 は連続してＡ／Ｄ変換を行う。この時のＡ／Ｄ変換の稼働率は、他の部分に比べて２倍になる。つまり、このときのＡ／Ｄ変換の稼働率を１００％とすれば、他の読み出し（ｙ1 からｙM-1 ）のときは、Ａ／Ｄ変換全体の稼働率は５０％となっている。全ての中間画像の読み出しにおいて、ΔＴだけ隔てた時点の値も読み出すようにすれば、Ａ／Ｄ変換の稼働率を１００％としながら、信号推定に利用するデータ点数を増やすことができ、推定精度を向上させることができる。
【００２２】
この場合の読み出しを図４に示す。
【００２３】
図４の例では、ビデオ速度の画像の４倍の速度で中間画像を読み出すが、各中間画像は、ΔＴだけ隔てた時間差で、２点ずつ読み出し、蓄積初期値と蓄積最終値のみ１点の読み出しとなる。この結果、Ｍ倍の速度で中間画像を読み出す場合、２Ｍ点のデータを得る。図４の例では、８点となる。
【００２４】
この蓄積中間画像を用いたノイズ低減の原理を図５に示す。
【００２５】
この図では、回路の熱雑音だけが読み出された信号に重畳している場合を示している。蓄積初期値には、信号成分はなく、読み出された信号には、画素回路の特性ばらつきによる回路パターン雑音（ＦＰＮ）、蓄積ノードを初期化したときに残留する電荷の揺らぎによるリセットノイズ及び回路の熱雑音が乗っている。
【００２６】
このとき、固定パターン雑音（ＦＰＮ）は、画素ごとにばらつくが、１つの画素について考えれば、時間的に変化せず、すべての中間画像読み出しにおいて、同じ値となる。また、リセット雑音についても、一旦初期化されて、雑音電荷が残留したとすると、これは次の初期化が行われるまで、時間的に変化しない。
【００２７】
従って、あるビデオ速度画像の読み出しのためのすべての中間画像の読み出し時刻において、ＦＰＮ及びリセット雑音は、時間的に変化せず、オフセットとして影響する。信号の蓄積（つまり時間方向の変数Ｘの増加）に従って読み出される信号Ｙは上昇する。いまこれらの関係が線形であるとすると、図５のようになる。
【００２８】
すべての中間画像の読み出しにおいて、回路の雑音が重畳するため、図５のように、直線的に変化する信号が揺らぐ。しかし、雑音は、真値である直線を中心として揺らぐことになるため、その中心線を推定することができれば、雑音の影響を減らした信号成分を得ることができる。例えば、図５に示すように測定値をグラフ上にプロットした場合を考えると、視覚的にも、その中心線を推定することは容易に行えることが分かる。ＦＰＮとリセット雑音に関しては、蓄積初期値と蓄積最終値の差を取れば、完全に除去できる。
【００２９】
図５における中心線の推定（信号成分の推定）には、最小２乗法を用いることができる。イメージセンサの各画素で、蓄積による信号の変化は、画像に動きがあるときには直線にはならないが、まず簡単化のため、図５に示すように直線的に信号の蓄積がすすむものと考える。そこで、信号成分を直線でモデル化する。つまり、
【００３０】
【数１】
いま、ビデオ速度のＭ倍の中間画像を読み出す場合を考える。また、図３に示す読み出し方法とする。信号の読み出し時刻、ｘ0 からｘM までに対して、読み出された値をｙ0 からｙM とし、ｙi （ｉ＝０，…，Ｍ）の分散をσi 2 とすると、推定される直線は、
【００３２】
【数２】
を最小にするａとｂを求めることに相当する。これによって求めたｙ0 とｙM の推定値、ｙ0 * とｙM *は、
【００３４】
【数３】
【数４】
従って、蓄積された信号の推定値ｙ* ＝ｙM *−ｙ0 * は、
【００３７】
【数５】
係数ｂの推定値は、次式で計算される。
【００３９】
【数６】
【数７】
その推定誤差分散σb 2 は、
【００４２】
【数８】
【数９】
信号推定を行わない場合の出力は、
【００４５】
【数１０】
であり、その分散σy 2 は、
【００４７】
【数１１】
信号推定処理によるＳＭＲ改善度γは、
【００４９】
【数１２】
簡単な場合としてすべての点での読み出しにおける雑音の分散が等しいと仮定する。すなわち、σi 2 （ｉ＝０，…，Ｍ）を
【００５１】
【数１３】
とおく。ここでσ0 2 は、回路の熱雑音の分散である。この場合、γは次式となる。
【００５３】
【数１４】
図４に示すような読み出し方法の場合、すなわち中間値を２点ずつ用いる場合のＳＮＲ改善度についても同様に計算すると、理論式として次式を得る。
【００５５】
【数１５】
図３及び図４に示す読み出し方法と最小２乗法による雑音低減処理でのＳＮＲの改善度について、理論値とシミュレーションで得られた結果を表１に示す。
【００５７】
【表１】
なお、コラムアンプのゲインを、読み出す信号毎に変化する場合には、そのときに重畳される雑音の分散も変化するので、式（１２）により、ＳＮＲ改善度が決まる。
【００５９】
ここでは、直線回帰に対する最小２乗法を示したが、動きの大きい画像に対して３次以上の曲線への回帰に対する最小２乗法の利用も考えられる。なお、２次曲線については直線回帰との性能の違いはない。
【００６０】
（コラムアンプのゲイン設定の方法）
コラムアンプのゲインを、入力値を見ながら、適応的に変化させることができれば、読み出される信号のＳＮＲの向上に大きな効果がある。
【００６１】
ここでは、図１に示すように、Ａ／Ｄ変換器１３と信号推定器１４の間に接続した振幅推定器（ゲイン推定器）１７を設けて、その出力をコラムアンプ１２へ帰還するようにする。
【００６２】
従って、入力信号が小さければ、コラムアンプのゲインを大きくし、入力信号が大きければ、コラムアンプのゲインを小さくする。入力信号が小さいとき、コラムアンプの後で加わる回路の雑音やＡ／Ｄ変換器の量子化雑音の影響が大きい。
【００６３】
従って、コラムアンプで大きなゲインで信号を増幅すれば、これらの雑音の影響を相対的に低減できる。しかし、逆に入力信号が大きく、なおかつコラムアンプで大きなゲインで増幅すると、アンプの出力が飽和する。従って、コラムアンプのゲインは、入力信号に応じて変更する必要がある。
【００６４】
蓄積中間画像を読み出すイメージセンサでは、これが容易に行える。表２はコラムアンプのゲインの設定方法を示している。
【００６５】
【表２】
いまビデオ速度の８倍で、蓄積中間画像を読み出す場合を考える。簡単のため、蓄積は、完全に線形になされるものとする。全蓄積の場合の信号振幅は、最大でもＡ／Ｄ変換器のフルスケール（ＦＳ）を越えないものとする。コラムアンプのゲインは、１倍，２倍，４倍，８倍の４通りに設定できるものとする。
【００６７】
まず、最初の信号ｙ0 を読み出す。これはノイズのみを含むので振幅は小さく、最大ゲインである８倍とする。次の信号ｙ1 は、８倍の速度で読み出しているので蓄積時間が１／８であるので、８倍で増幅しても、Ａ／Ｄ変換器のＦＳを越えない。故にこの場合も最大ゲインである８倍とする。
【００６８】
ｙ2 以降に対するコラムアンプのゲインは、ｙ1 をＡ／Ｄ変換した値から判断して決める。例えば、ｙ1 ＜ＦＳ／２であるとすると、ｙ1 に比べて蓄積時間が２倍であるｙ2 に対して８倍のゲインに設定しても、ｙ2 ＞ＦＳを満たす。しかし、ｙ3 に対して８倍増幅すると、ＦＳを越える可能性があるので、４倍とする。
【００６９】
このように、蓄積が進むに従って、Ａ／Ｄ変換のＦＳを越えないようにゲインを下げていく。例えば、もしｙ1 ＜ＦＳ／８の場合には、すべての蓄積中間画像の読み出しにおいて、ゲインを８倍にしてもＦＳを越えることはないので、すべて８倍とする。このように信号が小さいときには、全体的に高いゲインを用いることができる。
【００７０】
表２の決め方は、あくまで一例であり、よりきめ細かい設定方法がいろいろと考えられる。
【００７１】
また、図１において、コラムアンプ１２で固定パターンノイズが増幅されることにより、コラムアンプ１２の出力が飽和するのを避けるため、コラムアンプ１２の前において、フレームメモリ１８に蓄積された、画素ごとの固定パターン雑音の測定値をＤ／Ａ変換器１９でＤ／Ａ変換し、第１の加算器１１で差し引くようにする。
【００７２】
上記のように構成したので、信号電荷蓄積途中の電圧を非破壊で読み出せる撮像装置において、
（１）その途中の信号を用いて、信号推定器により、蓄積最終値と蓄積初期値を推定し、それらの差を求めることにより、ノイズ低減を図ることができる。
【００７３】
（２）信号推定器には、最小２乗法を用いる。
【００７４】
（３）ノイズとしては、アンプ等の回路が発生するランダム雑音（熱雑音、１／ｆ雑音）、Ａ／Ｄ変換器の量子化雑音、回路特性のばらつきによる固定パターン雑音、画素部のリセット雑音（ｋＴＣ雑音）があり、これらの雑音を低減することができる。
【００７５】
（４）信号推定とそれによるノイズ低減処理は、Ａ／Ｄ変換後にディジタル領域で行う。
【００７６】
（５）付随的なものとして、Ａ／Ｄ変換前に（特に、イメージセンサのコラムで）、高ゲインの振幅を行うが、そのゲインを、蓄積途中の信号の推定結果に基づいて、画素ごとに可変にすることで、Ａ／Ｄ変換器の量子化雑音、コラムアンプの後の回路の雑音を低減することができる。さらに、これによって、信号のダイナミックレンジを広くすることができる。つまり、Ａ／Ｄ変換器の分解能が１０ビットであったとして、蓄積中間値を８点用いる場合には、１３ビットに相当する分解能が得られる。
【００７７】
（６）コラムアンプで固定パターンノイズが増幅されることにより、アンプ出力が飽和するのを避けるため、コラムアンプ前において、フレームメモリに蓄積された、画素ごとの固定パターン雑音の測定値をＤ／Ａ変換し、差し引くようにすることができる。
【００７８】
具体的には、
▲１▼ 信号蓄積途中の値を非破壊で読み出せるイメージセンサにおいて、通常のＮ倍（Ｎは１以上）の速度で、高速に画像を読み出す。
【００７９】
▲２▼ コラムにおいて高ゲインのアンプで増幅し、その出力をＡ／Ｄ変換する。
【００８０】
▲３▼ ディジタル化された各画素について、信号蓄積の初期値、何点かの信号蓄積の中間値、蓄積最終値を用いて、ノイズのない信号蓄積の初期値と最終値を推定する。
【００８１】
▲４▼ 推定した信号蓄積の最終値から初期値を差し引くことで、ディジタル領域で、固定パターン雑音、リセット雑音、画素部のアンプのランダム雑音、読み出し回路のランダム雑音、Ａ／Ｄ変換器の量子化雑音を低減する。
【００８２】
▲５▼ 上記のＡ／Ｄ変換器の前にコラムで高ゲインのアンプを用い、Ａ／Ｄ変換器出力の値を用いて、画素ごとに次に読み出せる信号の振幅を推定し、アンプのゲインを適応的に調整する。これによって、アンプの出力を飽和させることなく、高ゲインのアンプを利用できるので、Ａ／Ｄ変換器の前に接続される広帯域アンプが発生させる雑音や、Ａ／Ｄ変換器の量子化雑音をさらに低減できる。
【００８３】
この結果、ＣＣＤイメージセンサのランダムノイズレベルより約１０分の１のランダムノイズレベルが得られ、等価雑音電子数を２電子程度にすることができる。
【００８４】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
【００８５】
【発明の効果】
以上、詳細に説明したように、本発明によれば、以下のような効果を奏することができる。
【００８６】
（１）イメージセンサにおいて支配的であるアンプのランダムノイズ及びＡ／Ｄ変換器の量子化ノイズを大幅に低減することができる。
【００８７】
（２）ＣＣＤイメージセンサのランダムノイズレベルより約１０分の１のランダムノイズレベルが得られ、等価雑音電子数を２電子程度にすることができる。
【００８８】
（３）コラムアンプの効果により、固定パターン雑音及びリセット雑音の除去効果が高い。
【００８９】
（４）雑音を低減しながら、コラムアンプで高ゲインの増幅を行うため、感度が高い。
【００９０】
（５）特に、画素回路のアンプが発生する雑音も低減することができる。
【図面の簡単な説明】
【図１】本発明の実施例を示す高感度撮像装置のブロック図である。
【図２】本発明の実施例を示す３トランジスタ画素回路図である。
【図３】本発明の実施例を示す電荷蓄積ノードの波形と読み出しタイミング（その１）を示す図である。
【図４】本発明の実施例を示す電荷蓄積ノードの波形と読み出しタイミング（その２）を示す図である。
【図５】本発明の実施例を示す蓄積中間画像を用いたノイズ低減の原理を示す図である。
【符号の説明】
１ 画素部（ピクセル）
２ リセット用ＭＯＳトランジスタ（ＭＲ）
３ フォトダイオード（ＰＤ）
４ 増幅用ＭＯＳトランジスタ（ＭＩＮ）
５ 画素選択用ＭＯＳトランジスタ（ＭＸ）
６ 信号線
７ 電流源用ＭＯＳトランジスタ
８，１６ 出力
１１ 第１の加算器
１２ コラムアンプ
１３ Ａ／Ｄ変換器
１４ 信号推定器
１５ 第２の加算器
１７ 振幅推定器（ゲイン推定器）
１８ 回路パターン雑音（ＦＰＮ）用フレームメモリ
１９ Ｄ／Ａ変換器
Claims (6)
- 画素部の信号電荷蓄積途中の電圧を非破壊で読み出せる撮像方法において、
通常のＮ倍（Ｎは２以上）で蓄積中間値の信号と、蓄積初期値のリセット直後の値をともに読み出し、そのＮ＋１点のデータを用いて、信号推定器により、蓄積最終値と、蓄積初期値を推定し、それらの差を求めることにより、ノイズの低減を行うことを特徴とする高感度撮像方法。 - 請求項１記載の高感度撮像方法において、前記信号推定処理を蓄積中間値と蓄積初期値による最小２乗法により行うことを特徴とする高感度撮像方法。
- 請求項１記載の高感度撮像方法において、前記画素部の信号をコラムアンプにより増幅を行う際に、蓄積中間値の値に応じて前記コラムアンプのゲインを変化させ、等価的に前記コラムアンプ後の回路の雑音やＡ／Ｄ変換器の量子化雑音を低減することを特徴とする高感度撮像方法。
- 請求項１記載の高感度撮像方法において、前記コラムアンプで固定パターンノイズが増幅されることにより、アンプ出力が飽和するのを避けるため、前記コラムアンプ前において、フレームメモリに記憶された、画素ごとの固定パターン雑音の測定値をＤ／Ａ変換し、差し引くことを特徴とする高感度撮像方法。
- 画素部の信号電荷蓄積途中の電圧を非破壊で読み出せる撮像装置において、
（ａ）画素部に接続されるコラムアンプと、
（ｂ）該コラムアンプに接続されるＡ／Ｄ変換器と、
（ｃ）該Ａ／Ｄ変換器に接続され、通常のＮ倍（Ｎは２以上）で蓄積中間値の信号と、蓄積初期値のリセット直後の値をともに読み出し、そのＮ＋１点のデータを用いて蓄積最終値と蓄積初期値を推定し、それらの差を求めることにより信号推定処理を行う信号推定器とを備え、
（ｄ）前記蓄積中間値からの推定値に基づいて前記コラムアンプのゲインを変更することによりノイズの低減を行うことを特徴とする高感度撮像装置。 - 請求項５記載の高感度撮像装置において、前記画素ごとの固定パターン雑音の測定値を記憶したフレームメモリと、該フレームメモリに接続されるＤ／Ａ変換器とを備え、前記フレームメモリに記憶された、画素ごとの固定パターン雑音の測定値を前記Ｄ／Ａ変換器でＤ／Ａ変換し、前記Ｄ／Ａ変換器の出力を前記コラムアンプ前において差し引くことを特徴とする高感度撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001349720A JP3878002B2 (ja) | 2001-11-15 | 2001-11-15 | 高感度撮像方法及びその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001349720A JP3878002B2 (ja) | 2001-11-15 | 2001-11-15 | 高感度撮像方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003153085A JP2003153085A (ja) | 2003-05-23 |
| JP3878002B2 true JP3878002B2 (ja) | 2007-02-07 |
Family
ID=19162347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001349720A Expired - Fee Related JP3878002B2 (ja) | 2001-11-15 | 2001-11-15 | 高感度撮像方法及びその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3878002B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2001220B1 (en) * | 2006-03-24 | 2015-01-14 | Nikon Corporation | Signal processing method, signal processing system, coefficient generating device, and digital camera |
| KR101271303B1 (ko) | 2009-04-17 | 2013-06-04 | 고쿠리츠 다이가꾸 호우진 시즈오까 다이가꾸 | 센서 집적 회로 |
| JP6776011B2 (ja) * | 2016-06-10 | 2020-10-28 | キヤノン株式会社 | 撮像装置及び撮像システム |
-
2001
- 2001-11-15 JP JP2001349720A patent/JP3878002B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003153085A (ja) | 2003-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8553112B2 (en) | A/D converter and readout circuit | |
| JP4536901B2 (ja) | 拡大されたダイナミックレンジを有するｃｍｏｓイメージセンサ | |
| JP5014388B2 (ja) | 単一光子画像形成素子 | |
| WO2014097857A1 (ja) | 撮像素子、撮像装置、電子機器、閾値算出装置および撮像方法 | |
| Xu et al. | A 1/2.5 inch VGA 400 fps CMOS image sensor with high sensitivity for machine vision | |
| JP2007074447A (ja) | Ｃｍｏｓセンサ | |
| JP2010063096A6 (ja) | 単一光子画像形成素子 | |
| JP5479561B2 (ja) | 撮像装置及びその駆動方法 | |
| JP4546563B2 (ja) | 半導体集積回路 | |
| JP4370407B2 (ja) | イメージセンサ | |
| JP3878002B2 (ja) | 高感度撮像方法及びその装置 | |
| US20030231252A1 (en) | Image sensor with improved noise cancellation | |
| JP2011135451A (ja) | 固体撮像装置 | |
| JP4380403B2 (ja) | 固体撮像装置および固体撮像装置の駆動方法 | |
| JP4517638B2 (ja) | 固体撮像装置、画像入力装置、および、固体撮像装置のノイズ除去方法 | |
| JP4500147B2 (ja) | Ｘ線ｃｔ装置 | |
| JP2004356866A (ja) | 撮像装置 | |
| Fowler | High dynamic range image sensor architectures | |
| Kawahito et al. | Column parallel signal processing techniques for reducing thermal and RTS noises in CMOS image sensors | |
| JP6896788B2 (ja) | 撮像装置、撮像方法、コンピュータプログラム及び記憶媒体 | |
| JP4726616B2 (ja) | 赤外線撮像装置 | |
| Kawai et al. | A low-noise oversampling signal detection technique for CMOS image sensors | |
| JP3916901B2 (ja) | イメージセンシング方法及びそのためのディジタルｃｍｏｓイメージセンサ | |
| JPH09181977A (ja) | 固体撮像装置 | |
| JP4328508B2 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060718 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060818 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061004 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061031 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061101 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |