JP4340803B2 - 欠陥感光画素からの誤った画像信号を補正するためのシステム及び方法 - Google Patents
欠陥感光画素からの誤った画像信号を補正するためのシステム及び方法 Download PDFInfo
- Publication number
- JP4340803B2 JP4340803B2 JP2002103188A JP2002103188A JP4340803B2 JP 4340803 B2 JP4340803 B2 JP 4340803B2 JP 2002103188 A JP2002103188 A JP 2002103188A JP 2002103188 A JP2002103188 A JP 2002103188A JP 4340803 B2 JP4340803 B2 JP 4340803B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- current pixel
- image
- analog
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000002950 deficient Effects 0.000 title description 19
- 238000012545 processing Methods 0.000 description 21
- 238000006243 chemical reaction Methods 0.000 description 19
- 230000003111 delayed effect Effects 0.000 description 9
- 239000003086 colorant Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【発明の属する技術分野】
本発明は一般にデジタル画像形成に関するものであり、より具体的には欠陥感光画素からの誤った画像信号を補正するためのシステム及び方法に関する。
【0002】
【従来の技術】
民生品市場におけるデジタルカメラの需要は様々な理由から急速に増大している。その理由の1つは、デジタルカメラがインターネット等の電子媒体を介して容易に配信することが出来るデジタル写真を形成することが出来るという点である。デジタル写真は電子メールを交わすように簡単に友人間や家族間で交換することが出来る。需要増大のもう1つの理由は、デジタルカメラが作成するデジタル写真は画像処理ソフトを使用して画質を上げたり加工したりすることが出来るという点である。更なる理由として、デジタルカメラは撮影した画像のプレビューや不要な画像の削除といった従来のカメラよりも魅力的な機能を提供するということがあげられる。
【0003】
デジタルカメラは通常、被写シーンをデジタル的に取り込むために電荷結合素子(CCD)センサ又は相補型金属酸化膜半導体(CMOS)センサのいずれかである固体イメージセンサを採用したものである。固体イメージセンサは感光画素アレイを含んでいる。感光画素の各々は、デジタル的に取り込まれる画像の画素の1つ1つを表す。従って、デジタル的に取り込まれる画像の解像度は、イメージセンサに含まれる感光画素の数に依存するのである。この結果、より多数の感光画素を含むイメージセンサの開発に注目が集まっている。
【0004】
固体イメージセンサの問題点は、これが多数の欠陥感光画素を含んでいるかもしれないという可能性にある。欠陥感光画素は「ホットピクセル(hot pixel)」又は「コールドピクセル(cold pixel)」に分類される。ホットピクセルは、取り込まれたデジタル画像中に不自然に明るい画素を形成するが、これは、例えば被写体を撮影するための露光時間等の取り込み期間中に感光画素で生じたリーク電流が原因である。従って、ホットピクセルは、暗い背景上の際立って明るい画素による、明るいアーチファクトを含むデジタル画像を形成することになる。コールドピクセルは、ホットピクセルとは対照的に取り込まれたデジタル画像中に不自然に暗い画素を形成する。コールドピクセルとは、取り込み期間中に充分な電荷を蓄積することが出来なかった無反応感光画素のことである。従ってコールドピクセルは、明るい背景上の際立って暗い画素による、暗いアーチファクトを含むデジタル画像を形成することになる。より高密度の感光画素を持つ固体イメージセンサは、欠陥感光画素も多数含んでいることが予想されるため、固体イメージセンサの感光画素密度が高くなればなる程、これらのアーチファクトの数も増大すると考えられる。従って、ホットピクセル又はコールドピクセルに起因する明るい又は暗いアーチファクトは、メガピクセルタイプのセンサにとってはより大きい画像劣化要因となるのである。
【0005】
【発明が解決しようとする課題】
ホットピクセル及びコールドピクセルの問題を緩和するための従来手法の1つは、製造後にイメージセンサの全ての感光画素を試験することにより、個々のイメージセンサの欠陥感光画素をマッピングするというものである。このようにすれば、この欠陥感光画素のマップを使って欠陥感光画素が生成した誤った画像信号を補正することが出来る。従って、各デジタルカメラは、特定のイメージセンサのマッピングされた欠陥感光画素からの画像信号を補正するようにカスタマイズされるのである。しかしながらこの手法では複雑な試験処理及びカスタマイゼーション処理を必要とするため、デジタルカメラの全体的な製造コストが高くなってしまう。
【0006】
ホットピクセル及びコールドピクセル問題を緩和する他の従来手法は、アナログ画像信号がデジタル画像信号へと変換された後にアルゴリズムを用いて欠陥感光画素からの誤った画像信号を検出し、補正するというものである。この手法の利点は、全てのデジタルカメラに同じアルゴリズムを適用することが出来るという点にある。従って、各イメージセンサに基づくデジタルカメラのカスタマイゼーションは必要無い。しかしながら、この手法はアルゴリズム用に大量の処理リソースを必要とするため、デジタルカメラの消費電力が高くなると共に、デジタル的に取り込まれた画像の処理にかかるデジタルカメラの動作速度が遅くなるという傾向がある。
【0007】
ホット及びコールドピクセル問題を緩和するための従来方法における欠点を考えると、欠陥感光画素からの画像信号を効率的に補正することが出来るシステム及び方法が必要とされているのである。
【0008】
【課題を解決するための手段】
欠陥感光画素からの誤った画像信号を補正するためのシステム及び方法は、アナログ・デジタル(A/D)変換器構成を利用したものであり、これにより誤った画像信号の補正を、画像信号がアナログ信号からデジタル信号へと変換される間に行う。誤った画像信号の補正は、所与のアナログ画像信号の、以前に処理された画像信号からのずれを制限することにより実施される。A/D変換器構成は、A/D変換後に欠陥画素からの誤った画像信号の補正を行う必要性を排除するものである。更に、A/D変換器構成は10ビットの変換に3クロックサイクルしか必要とせず、従来のA/D変換器構成より8クロックサイクルだけ速い。
【0009】
誤った画像信号を補正するための本発明に基づくシステムは、以前に処理した画素に基づいてハイ(高)信号及びロー(低)信号を出力する回路または信号発生器と、ハイ及びロー信号を受けるハイ基準入力及びロー基準入力を有するA/D変換器とを含む。ハイ及びロー信号は、先に処理された画素の画像信号の信号範囲を定義するものである。A/D変換器は、現在の画素のアナログ信号をハイ及びロー信号を基準として用いてデジタル化することにより、その信号範囲内にある現在の画素のデジタル信号を得るものであるが、この処理は以前に処理した画素の信号と現在の画素の信号との差が事前定義の閾値よりも大きい場合に現在の画素のアナログ信号が制限されることになるように構成される。A/D変換器としては、いずれの周知のA/D変換器も使用可能であるが、出来れば高いフレームレートを得るためにフラッシュA/D変換器を利用することが望ましい。
【0010】
システムの回路または信号発生器は、以前に処理された画素の画像信号からハイ及びロー信号を生成するためのデジタル・アナログ(D/A)変換器を含むことができる。D/A変換器は、現在の画素のデジタル化信号よりも多数のビットを含む入力デジタル信号を変換するように構成することが出来る。一実施例においては、D/A変換器は10ビットD/A変換器であり、A/D変換器は7ビットA/D変換器である。
【0011】
ある実施例においては、回路はD/A変換器へと比較信号を出力する比較回路を含む。比較信号は現在の画素のアナログ信号と以前に処理した画素のアナログ信号との比較結果に基づくものである。この実施例においては、D/A変換器は10ビットD/A変換器であり、A/D変換器は6ビットA/D変換器である。
【0012】
誤った画像信号を補正するための本発明に基づく方法は、以前に処理した画素の画像信号に基づいてハイ信号及びロー信号を生成するステップと、ハイ信号及びロー信号を基準として用い、現在の画素のアナログ信号をハイ及びロー信号が定義する信号範囲においてデジタル化することで現在の画素のデジタル信号を得るステップとを含む。現在の画素のアナログ信号をデジタル化するステップは、以前に処理された画素の信号と現在の画素の信号との差が事前定義の閾値を超えている場合に現在の画素のアナログ信号をハイ及びロー信号によって制限することを含む。
【0013】
方法は更に、以前に処理した画素の画像信号をハイ及びロー信号へと変換するステップを含む。特に、以前に処理した画素の画像信号を変換するステップでは、D/A変換を実施しても良い。
【0014】
一実施例においては、方法は更に現在の画素のアナログ信号を以前に処理した画素のアナログ信号と比較するステップを含む。この実施例においては、ハイ及びロー信号は現在の画素のアナログ信号とその後の画素のアナログ信号との比較結果に基づくものである。
【0015】
本発明の更なる態様及び利点は、添付図を参照しつつ以下の詳細説明を読むことにより明らかとなる。図は本発明の原理を説明するための事例を描いたものである。
【0016】
【発明の実施の形態】
欠陥感光画素からの誤った画像信号を修正するためのデジタル画像形成システム及び方法は、画像信号をアナログ信号からデジタル信号へと変換する際に誤った画像信号を修正するA/D変換器(ADC)構成を採用したものである。このADC構成は、A/D変換後に欠陥画素からの誤った画素信号の補正を行なう必要性を排除するものである。更にこのADC構成は10ビットの変換に3クロックサイクルしか要さず、従来のADC構成より8クロックサイクルだけ速い。
【0017】
図1は、本発明の第1の実施例に基づくデジタル画像形成システム100を描いたものである。このデジタル画像形成システムは、イメージセンサモジュール102、プロセッサ104及びメモリ106を含む。イメージセンサモジュールは、センサアレイ108、列増幅器110、列復号器112そしてA/D変換器(ADC)ユニット114A及び114Bを含む。イメージセンサモジュールは更に、イメージセンサに一般的に設けられる他の従来部品を含んでいても良い。しかしながらこれらの従来部品についての詳細は、本発明をわかり易く説明するために本明細書においては記載しないものとする。
【0018】
イメージセンサモジュール102のセンサアレイ108はm×n個の感光画素を含んでいる。センサアレイに含まれる感光画素の数は、イメージセンサモジュールのタイプにより異なる。一例をあげると、イメージセンサがVGAセンサの場合、センサアレイには640×480個の感光画素が含まれる。一実施例においては、感光画素は相補型金属酸化膜半導体(CMOS)画素である。センサアレイ108の感光画素は約300nm〜1100nmまでの範囲の波長を持つ光に感度を持ち、従って異なる色の光を差別化することが出来ない。この結果、被写シーンを取り込む場合、センサアレイ中の各感光画素は、特定の原色光(例えば赤色、緑色又は青色光のいずれか)にのみ露光される。感光画素中に蓄積される電荷は、取り込んだシーンを表すアナログ画像信号である。
【0019】
この実施例においては、センサアレイ108は被写シーンを図2に示したベイヤーパターン(Bayer pattern)202のモザイク画像として取り込むように作られている。図2に示したように、ベイヤーパターンの一行は、交互に配置された赤色(R)及び緑色(G)画素、或いは交互に配置された青色(B)及び緑色(G)画素を含んでいる。従って、入射光による露光の間、センサアレイの感光画素はこの同じパターンでR、G及びBの電荷を蓄積する。よって図2に示したベイヤーパターンは、被写シーンをデジタル的に取り込むためにセンサアレイ中で生成されるアナログ画像信号の色を表すものでもある。
【0020】
イメージセンサモジュール102の列増幅器110は、感光画素行からアナログ画像信号を受けるためにセンサアレイ108へと電気的に結合している。列増幅器はn個の増幅回路(図示せず)を含み、これらによって読み出し期間中に感光画素行からのアナログ信号をサンプリングして記憶する。イメージセンサモジュールの列復号器112は列増幅器に結合している。列復号器は、列増幅器の各増幅回路を順次アドレス指定して行き、これにより列増幅器に記憶されたアナログ信号を順次取り出すものである。この第1の実施例においては、列増幅器は2本の出力線116及び118を持っている。出力線116は、偶数番の感光画素から列増幅器へと記憶されたアナログ画像信号(原色の1つを表す信号だけを含む)のためのものである。出力線118は、奇数番の感光画素から列増幅器へと記憶されたアナログ画像信号(他の2つの原色の一方を表す信号のみを含む)のためのものである。現在読み出し処理中の感光画素行に応じて、R及びGのアナログ画像信号のみ、又はB及びGのアナログ画像信号のみが読み出される。
【0021】
イメージセンサモジュール102のADCユニット114A及び114Bは、列増幅器に記憶された読み出し処理中の感光画素行のアナログ画像信号を逐次受信するために列増幅器100へと結合している。これらのADCユニットは基本的に同一のものである。しかしながら、ADCユニットの各々は2つの原色のうちのいずれか一方のみ(読み出されている感光画素行による)を処理するものである。センサアレイ108中のアナログ信号は図2に示したベイヤーパターンであるため、ADCユニットはR及びGのアナログ画像信号、又はB及びGのアナログ画像信号を処理する。これに準じ、ADCユニット114Aを選択された感光画素行中で偶数番の画素からのアナログ画像信号を処理するものとし、ADCユニット114Bはその感光画素行中で奇数番の画素からのアナログ画像信号を処理するものとすることが出来る。従って、これらのADCユニットは、列増幅器中のアナログ画像信号の逐次処理において、交互に作動するようになっている。これらのADCユニットは基本的に同一であるため、以下においてはADCユニット114Aのみについて詳細を説明する。
【0022】
図1に示したように、ADCユニット114Aは10ビットD/A変換器(DAC)120A及び7ビットフラッシュA/D変換器(ADC)122Aを含んでいる。列増幅器110を通じて現在読み出し中の感光画素行を描いた図3を参照しつつADCユニットのこれらの構成部品について説明する。画素[n]はA/D変換用に現在読み出されている画素を表す。10ビットDACは画素[n−2」の10ビットデジタル信号D10[n−2]を受けるように構成されている。画素は1つおきに同じ色の信号を含んでいるため、信号D10[n−2]は最も最近に変換された、画素[n]の信号と同じ色の画像信号である。画素番号で言えば、D10[n−2]は偶数番の感光画素の画像信号として最後に変換されたデジタル画像信号である。この信号D10[n−2]を用い、10ビットDACは高電圧(VREFP)及び低電圧(VREFN)を出力するが、これらの電圧は、
VREFP=D10[n−2]+64;及び
VREFN=D10[n−2]−64
に設定される。
【0023】
ADCユニット114Aの7ビットフラッシュADC122Aは、アナログ画像信号を順次受信するために出力線116を介して列増幅器110へと接続している。7ビットフラッシュADCは、信号D10[n−2]に依存するVREFP及びVREFN電圧を基準として用い、画素[n]からのアナログ画像信号A[n]を7ビットのデジタル信号D7[n]へと変換する。従って、7ビットフラッシュADCのA/D変換処理は、D10[n−2]−64からD10[n−2]+64の範囲でD7[n]信号を制限するものである。VREFP及びVREFN電圧により課せられるこれらの限界は、欠陥感光画素(例えばホットピクセルやコールドピクセル)からの画像信号を補正するものである。フラッシュADCの出力信号D7[n]は、デジタル画像形成システム100のプロセッサ104へと送られ、ここで7ビットの信号D7[n]が10ビットのデジタル画像信号D10[n]へと変換される。
【0024】
この実施例においては、ADCユニット114Aは各A/D変換処理を3クロックサイクルで実施する。第一のクロックサイクルにおいては、デジタル信号D10[n−2]を用いてVREFP及びVREFN電圧が生成される。第二のクロックサイクルにおいては、アナログ信号A[n]がサンプリングされる。第三のクロックサイクルにおいては、アナログ信号A[n]が7ビットのデジタル信号D7[n]へとデジタル化される。
【0025】
イメージセンサモジュールのもう一方のADCユニット114Bもまた、10ビットDAC120B及び7ビットフラッシュADC122Bを含んでいる。しかしながら、ADCユニット114Bは現在読み出されている画素行中の、奇数番の感光画素からのアナログ信号(例えば現在の画素行における、他方の原色をあらわすアナログ画像信号)を処理するものである。従って、7ビットフラッシュADC122Bへの入力は、画素[n−1]からのアナログ画像信号A[n−1]であり、これは列増幅器110からADCユニット114Bへと取り出されつつある奇数番画素からの現在のアナログ画像信号を表している。10ビットDAC120Bへの入力は、最も最近に変換された画素[n−3]の信号の10ビットデジタル画像信号D10[n−3]である。ADCユニット114Bの出力は、画素[n−1]の7ビットデジタル信号D7[n−1]であり、これがプロセッサ104により10ビットデジタル画像信号D10[n−1]へと変換されることになる。
【0026】
本明細書においては、ADCユニット114A及び114Bをアナログ画像信号から10ビットのデジタル画像信号へと変換するものとして説明しているが、ADCユニットはアナログ画像信号をより多数又は少数ビットの画像信号へと変換するものであっても良い。他の実施例においては、ADCユニットがVREFP及びVREFN電圧を生成するために用いるDACは、より多数又は少数ビットのものでも良い。更に、7ビットのフラッシュADC122A及び122Bの代わりにより多数又は少数ビットのADCを使用することで、欠陥感光画素からの誤った信号を補正する際のADCユニットの感度を調整することが出来る。
【0027】
デジタル画像形成システム100のプロセッサ104は、いずれの種類のデジタル信号プロセッサであっても良い。プロセッサは、信号D10[n−2]又はD10[n−3]を基準として用いることにより、ADCユニット114A及び114Bからの7ビット信号D7[n]及びD7[n−1]を10ビット信号D10[n]及びD10[n−1]へと変換する。従ってシステムのメモリ106は、信号D10[n−2]及びD10[n−3]を一時的に記憶するために使用される。画素[n]に関しては、7ビットフラッシュADCからの7ビット信号D7[n]の最上位ビット(MSB)が「1」の場合、この信号D7[n]は10ビット信号D10[n−2]に加算され、これにより10ビット信号D10[n]が得られる。しかしながら、7ビットフラッシュADCからの7ビット信号D7[n]のMSBが「0」であった場合、信号D7[n]は10ビット信号D10[n−2]から引き算され、これにより10ビット信号D10[n]が得られる。画素[n−1]についても同様に、7ビット信号D7[n−1]のMSBに応じてこの7ビット信号D7[n−1]が10ビット信号D10[n−3]に加算、又はこれから引き算され、10ビット信号D10[n−1]が得られる。
【0028】
デジタル画像形成システム100の動作について、図4のフローチャート及び図3に示した感光画素を参照しながら説明する。ステップ402において、センサアレイ108の感光画素が露光され、被写シーンがアナログ電気信号として取り込まれる。上述したように、各感光画素は特定の原色光(例えばR、G又はB)に露光される。事前定義の露光期間後、ステップ404にて1つの感光画素行が読み出し処理用に選択される。次に、ステップ406において選択された感光画素行からのアナログ画像信号が列増幅器110によりサンプリング及び記憶される。その後、記憶されたアナログ画像信号はA/D変換処理を行うために順次取り出される。
【0029】
次にステップ408においては、記憶されたアナログ画像信号の1つが処理のため、列復号器112によって選択される。選択されたアナログ画像信号が偶数番の感光画素からのものである場合、この選択されたアナログ画像信号はADCユニット114Aにより処理される。そうでない場合、この選択されたアナログ画像信号はADCユニット114Bにより処理される。ステップ410においては、選択されたアナログ画像信号と同じ色の信号で、最も最近に変換された10ビットデジタル画像信号が10ビットDAC120へと送られる。即ち、選択されたアナログ画像信号が偶数番の感光画素からのものであった場合、この最も最近に変換された信号とは、その1つ前に処理された偶数番の画素からの信号である。10ビットデジタル画像信号は、以前に選択された感光画素行から得ることも出来る。選択されたアナログ画像信号が、取り込まれた画像に関して一番最初に処理されるものである場合、10ビットデジタル画像信号をプロセッサ104により生成されたデフォルト信号とすることが出来る。次にステップ412においては、10ビットDACが最も最近に変換された10ビットデジタル画像信号を用いてVREFP及びVREFN電圧を生成する。ステップ414においては、VREFP及びVREFN電圧を基準として用い、7ビットフラッシュADC122が選択されたアナログ画像信号を7ビットデジタル画像信号へとデジタル化する。その後ステップ416において、この7ビットデジタル画像信号を、最後に変換された10ビットデジタル画像信号に加算又はこれから引き算する(7ビットデジタル画像信号のMSBによる)ことにより、7ビットデジタル画像信号は10ビットデジタル信号へと変換される。次にステップ418において、変換された10ビットデジタル信号がメモリ中に一時的に記憶され、これが偶数番もしくは奇数番(現在選択されている信号による)の感光画素からの次のアナログ信号用に使用される。
【0030】
ステップ420においては、選択されたアナログ画像信号が、列増幅器110中の信号で、最後に処理されるものであるかどうかが決定される。そうである場合、処理はステップ422へと進む。選択されたアナログ画像信号が最後の信号ではない場合、処理はステップ408へと戻り、次のアナログ画像信号が選択・処理される。ステップ422においては、選択された感光画素行がセンサアレイ108の感光画素行で、最後に読み出されるものであるかどうかが決定される。そうであった場合、処理は終了する。選択された行が最後の行ではない場合、処理はステップ404へと戻り、次の感光画素行が選択され、読み出し処理が実施される。
【0031】
図5は、本発明の第2の実施例に基づくデジタル画像形成システム500を描いたものである。このデジタル画像形成システムは、イメージセンサモジュール502、プロセッサ104及びメモリ106を含んでいる。イメージセンサモジュールは、センサアレイ108、列増幅器110、列復号器112、そしてA/D変換器(ADC)ユニット506A及び506Bを含む。この第2の実施例においては、列増幅器は更に2つの出力線508及び510を含んでいる。以下に説明するように、これらの追加出力線があることで、選択されたアナログ画像信号のA/D変換処理中に第2のアナログ画像信号を列増幅器からサンプリングすることが可能となる。
【0032】
ADCユニット506A及び506Bは、これらがセンサアレイ108からのアナログ画像信号をデジタル信号へと変換し、更に欠陥感光画素からの誤った信号の補正を実施するものであるという意味においては、図1に示したデジタル画像形成システム100のADCユニット114A及び114Bと似ている。ADCユニット114A及び114Bと同様に、ADCユニット506Aが偶数番の感光画素からのアナログ画像信号の処理を実施し、ADCユニット506Bが奇数番の感光画素からのアナログ画像信号の処理を実施する。ADCユニット506A及び506Bは、基本的に同一である。従って、ADC506Aのみについて詳細説明を行う。
【0033】
図5に描かれているように、イメージセンサモジュール502のADCユニット506Aは、10ビットDAC512A、比較器514A、6ビットフラッシュADC516A、及びレジスタ518Aを含む。ADCユニットのこれらの構成要素については、列増幅器110を通じて現在読み出し中の感光画素行を描いた図3を参照しつつ説明する。画素[n]はA/D変換用に読み出されつつある現在の画素である。10ビットDAC512Aは、画素[n−2]の10ビットデジタル信号D10[n−2]を受信するように構成されている。この信号D10[n−2]は、偶数番の画素として最も最近に変換された画素信号である。この信号D10[n−2]を用いて10ビットDACは、信号D10[n−2]と、レジスタ518Aからの比較器514Aの遅延出力とに依存するVREFP及びVREFN電圧を生成する。
【0034】
ADCユニット506Aの比較器514Aは、出力線116及び508を介して列増幅器110へと接続しており、1回のA/D変換処理用に一対のアナログ画像信号を受信する。比較器は、処理されつつある現在のアナログ画像信号(例えばアナログ信号A[n])を出力線116を介して受信する。比較器は更に、偶数番の画素からの次に処理すべきアナログ画像信号(例えば画素[n+2]からのアナログ信号A[n+2])も受信する。比較器は、信号A[n]と信号A[n+2]とを比較する。信号A[n]が信号A[n+2]よりも大きい場合、比較器は信号「1」を出力する。しかしながら、信号A[n]が信号A[n+2]よりも大きくない場合、比較器は信号「0」を出力する。比較器の出力信号はレジスタ518Aへと送られ、次の変換サイクルまでここに一時的に記憶される。次のクロック信号を受信するまで比較器の出力信号を一時的に記憶しておくためのレジスタ518Aとして、フリップフロップを利用することが出来る。クロック信号を受けると、比較器の遅延出力信号は10ビットDAC512A及びプロセッサ104へと送られる。従って、信号A[n−2]及び信号A[n]の比較結果である、以前の変換サイクルから得られた比較器の出力信号が、現在の信号A[n]の処理に使用されるのである。10ビットDACがレジスタ518Aから信号「1」を受けた場合、10ビットDACにより生成されるVREFP及びVREFNは、
VREFP=D10[n−2]+64;及び
VREFN=D10[n−2]
となる。10ビットDACがレジスタから信号「0」を受けた場合、10ビットDACにより生成されるVREFP及びVREFNは、
VREFP=D10[n−2];及び
VREFN=D10[n−2]−64
となる。
【0035】
ADCユニット506Aの6ビットフラッシュADC516Aは、10ビットDAC512Aから提供されるVREFP及びVREFN電圧を基準値として用い、画素[n]からの信号A[n]を6ビットデジタル信号D6[n]へと変換する。VREFP及びVREFN電圧は、6ビットフラッシュADCによるA/D変換処理の範囲を定義するものである。しかしながら、VREFP及びVREFN電圧は信号A[n−2]と信号A[n]との比較結果に依存するため、A/D変換処理の全体の範囲はD10[n−2]−64からD10[n−2]+64であり、これは第1の実施例に基づくデジタル画像形成システム100のADCユニット114AのA/D変換範囲と同一である。従って、信号A[n]が信号A[n−2]に匹敵するものであると仮定した場合、比較器514A、6ビットフラッシュADC516A及びレジスタ518Aは、図1に示したADCユニット114Aの7ビットフラッシュADC122Aに相当する機能を提供するものである。しかしながら、ADCユニット506Aの構成は、7ビットフラッシュADC122Aに代えて6ビットフラッシュADC516Aの使用を可能とするものである。これは、ADCユニット506Aから63個の比較器を削減できることを意味する。
【0036】
6ビットフラッシュADC516Aの出力信号D6[n]はプロセッサ104へと送られ、信号D6[n]はここで10ビットデジタル信号D10[n]へと変換される。プロセッサは、レジスタ518Aから得た比較器514Aの遅延出力に応じて、信号D6[n]をD10[n−2]信号に加算することにより、又は信号D6[n]をD10[n−2]から引き算することにより信号D6[n]を信号D10[n]へと変換する。比較器514Aの遅延出力信号が信号「1」である場合(すなわち信号A[n]が信号A[n+2]より大きい場合)、信号D6[n]は信号D10[n−2]に加算され、これにより信号D10[n]が得られる。しかし比較器の遅延出力信号が信号「0」である場合(すなわち信号A[n]が信号A[n+2]よりも大きくない場合)、信号D6[n]は信号D10[n−2]から引き算され、これにより信号D10[n]が得られる。その後、信号D10[n]は一時的にメモリ中に記憶され、次の偶数番画素からのアナログ画像信号(例えば信号A[n+2])に対して使用される。
【0037】
イメージセンサモジュール502の他方のADCユニット506Bも同様に10ビットDAC512B、比較器514B、6ビットフラッシュADC516B及びレジスタ518Bを含む。しかしこのADCユニット506Bは、センサアレイ108において現在読み出し中の画素行の奇数番感光画素から得られるアナログ信号を処理するものである。従って、6ビットフラッシュADC516Bへの入力は画素[n−1]からのアナログ画像信号A[n−1]であり、これは列増幅器110からADCユニット506Bへと取り出されつつある、奇数番感光画素からの現在のアナログ画像信号である。また、比較器514Bへの入力は、この信号A[n−1]と、画素[n+1]からのアナログ画像信号A[n+1]であるが、これらは列増幅器から出力線118及び510を介して送られる。更に、10ビットDAC512Bへの入力は、最も最近に変換された画素[n−3]のデジタル画像信号D10[n−3]であるが、これは最も最近に変換された奇数番画素の信号である。ADCユニット506Bの出力は、画素[n−1]の6ビットデジタル信号D6[n−1]であり、これがプロセッサ104によって10ビットのデジタル画像信号D10[n−1]へと変換される。
【0038】
本明細書においては、ADCユニット506A及び506Bはアナログ画像信号を10ビットデジタル画像信号へと変換するように構成されたものとして説明しているが、ADCユニットはアナログ画像信号をより多数又は少数ビットのデジタル画像信号に変換するものであっても良い。他の実施例においては、ADCユニットは、VREFP及びVREFN電圧生成用により多数又は少数ビットのDACを用いたものであっても良い。更に、欠陥感光画素からの誤った信号を補正する際のADCユニットの感度を調節するために、6ビットフラッシュADC516A及び516Bに代えて、より多数又はより少数ビットのフラッシュADCを使用することも出来る。
【0039】
図6のフローチャート及び図3に示した感光画素行を参照しつつデジタル画像形成システム500の処理について説明する。ステップ602において、センサアレイ108の感光画素は露光により被写シーンをアナログ電気画像信号として取り込む。事前定義の露光期間後、ステップ604にて読み出しを行う感光画素行が選択される。その後ステップ606において、選択された感光画素行のアナログ画像信号が列増幅器110によりサンプリングされ、記憶される。記憶されたアナログ画像信号はA/D変換処理を実施するために逐次取り出される。
【0040】
次にステップ608において、記憶されたアナログ画像信号の1つが処理のため、列復号器112によって選択される。選択されたアナログ画像信号が偶数番の感光画素からのものである場合、選択されたアナログ画像信号はADCユニット506Aによって処理される。そうでない場合、選択されたアナログ画像信号はADCユニット506Bによって処理される。ステップ610においては、選択されたアナログ画像信号が、それと同じ色の、次に処理されるべきアナログ画像信号と比較器514により比較される。選択されたアナログ画像信号が次に処理されるべきアナログ画像信号よりも大きい場合、比較器は信号「1」を出力する。選択されたアナログ画像信号が、次のアナログ画像信号よりも大きくない場合、比較器は信号「0」を出力する。
【0041】
次にステップ612において、レジスタ518から得られる比較器514の遅延出力と、選択されたアナログ画像信号と同じ色の信号で、最も最近に変換された10ビットデジタル画像信号(選択されたアナログ画像信号が偶数番画素からのものであれば、偶数番画素の信号で最も最近に変換されたデジタル画像信号)とを用い、10ビットDAC512がVREFP及びVREFN電圧を生成する。比較器の遅延出力信号は、選択されたアナログ画像信号と同じ色の信号を処理した最も最近の変換サイクル中に実施された比較処理によるものである。10ビットデジタル画像信号はその前に選択された感光画素行からのものであっても良い。選択されたアナログ画像信号が、その取り込まれた画像に関して一番最初に処理されるものである場合、10ビットデジタル画像信号はプロセッサ104が生成したデフォルト信号とすることが出来る。ステップ614においては、6ビットフラッシュADC516がVREFP及びVREFN電圧を基準として用い、選択されたアナログ画像信号を6ビットデジタル画像信号へとデジタル化する。その後6ビットデジタル画像信号はステップ616にてプロセッサにより10ビットデジタル信号へと変換される。比較器の遅延出力信号が「1」の場合、6ビットデジタル画像信号を最も最近に変換された10ビットデジタル信号に加算することにより現在の10ビットデジタル信号が得られる。比較器の遅延出力信号が「0」の場合、6ビットデジタル画像信号を最も最近に変換された10ビットデジタル信号から引き算することにより現在の10ビットデジタル信号が得られる。次にステップ618において、変換された10ビットデジタル信号はメモリ106へと一時的に記憶され、偶数番もしくは奇数番(現在選択されている信号による)の感光画素からの次のアナログ信号の処理に使用される。
【0042】
ステップ620においては、選択されたアナログ画像信号が列増幅器110中の最後の信号であるかどうかが決定される。これが最後の信号であった場合、処理はステップ622へと進む。選択されたアナログ画像信号が最後の信号ではない場合、処理はステップ608へと戻り、次のアナログ画像信号が選択・処理される。ステップ622においては、選択された感光画素行が、センサアレイ中の読み出すべき最後の行であるかどうかが決定される。これが最後の行であった場合、処理は終了する。選択されている行が最後の行ではない場合、処理はステップ604へと戻り、次の感光画素行が選択され、読み出される。
【図面の簡単な説明】
【図1】本発明の第1の実施例に基づくデジタル画像形成システムのブロック図である。
【図2】ベイヤーパターンのモザイク画像を描いた図である。
【図3】図1のデジタル画像形成システムのセンサアレイにおいてアナログ画像信号の読み出し処理用に選択された感光画素行を描いた図である。
【図4】図1のデジタル画像形成システムの処理を説明するフローチャートである。
【図5】本発明の第2の実施例に基づくデジタル画像形成システムのブロック図である。
【図6】図5のデジタル画像形成システムの処理を説明するフローチャートである。
【符号の説明】
120A、120B、512A、512B:D/A変換器
122A、122B、516A、516B:A/D変換器
Claims (10)
- 現在の画素と同じ色の画素であって最も最近に処理された画素の画像信号に基づき、前記最も最近に処理された画素の前記画像信号の信号範囲を定義するハイ信号及びロー信号を提供するステップと、
前記ハイ及びロー信号を基準として用い、現在の画素のアナログ信号をデジタル化することにより、前記信号範囲内において前記現在の画素の部分的にデジタル化された信号を得るステップであって、前記現在の画素と同じ色の画素であって最も最近に処理された画素と前記現在の画素との信号差が事前定義の閾値よりも大きい場合、前記現在の画素の前記アナログ信号を前記ハイ及びロー信号により制限することを含む、ステップと、
前記部分的にデジタル化された現在の画素と、前記現在の画素と同じ色の画素であって最も最近に処理された画素のデジタル化値とを結合させて、前記現在の画素のデジタル化値を得るステップと、
を含む、誤った画像信号を補正するための方法。 - 前記最も最近に処理された画素の前記画像信号を前記ハイ及びロー信号へと変換するステップを更に含む、請求項1に記載の方法。
- 前記最も最近に処理された画素の前記画像信号を変換する前記ステップが、前記最も最近に処理された画素の前記画像信号を前記ハイ及びロー信号へとD/A変換することを含み、前記ハイ及びロー信号は電圧である、請求項2に記載の方法。
- 前記現在の画素の前記アナログ信号を前記最も最近に処理された画素のアナログ信号と比較するステップを更に含む、請求項1、2又は3に記載の方法。
- 前記最も最近に処理された画素の前記画像信号を前記ハイ及びロー信号へと変換するステップを更に含み、前記ハイ及びロー信号は、前記現在の画素の前記アナログ信号と前記最も最近に処理された画素の前記アナログ信号との比較結果に依存する、請求項4に記載の方法。
- 現在の画素と同じ色の画素であって最も最近に処理された画素の信号に基づき、前記最も最近に処理された画素の前記画像信号の信号範囲を定義するハイ信号及びロー信号を出力するための信号発生器と、
前記ハイ及びロー信号を受信するためにハイ基準入力及びロー基準入力を有し、前記ハイ及びロー信号を基準として用いて前記現在の画素のアナログ信号をデジタル化することにより前記信号範囲内において前記現在の画素の部分的にデジタル化された信号を得るためのA/D変換器であって、前記最も最近に処理された画素と前記現在の画素との信号差が事前定義の閾値よりも大きい場合に前記現在の画素の前記アナログ信号を制限するように構成されたA/D変換器と、
前記部分的にデジタル化された現在の画素と、前記現在の画素と同じ色の画素であって最も最近に処理された画素のデジタル化値とを結合させて、前記現在の画素のデジタル化値を得るプロセッサと、
を含む、誤った画像信号を補正するためのシステム。 - 前記信号発生器が、前記最も最近に処理された画素の前記画像信号から前記ハイ及びロー信号を生成するためのD/A変換器を含むことを特徴とする、請求項6に記載のシステム。
- 前記D/A変換器が、前記現在の画素の前記デジタル化信号よりも多数のビットを有する入力デジタル信号を変換するように構成されていることを特徴とする、請求項7に記載のシステム。
- 前記信号発生器が、前記D/A変換器へと比較信号を出力する比較器を含み、前記比較信号は、前記現在の画素の前記アナログ信号を前記最も最近に処理した画素のアナログ信号と比較した結果に基づくものであり、前記D/A変換器により生成される前記ハイ及びロー信号が前記比較結果に依存するものであることを特徴とする、請求項6又は7に記載のシステム。
- 前記A/D変換器が、フラッシュA/D変換器であることを特徴とする、請求項6、7、8又は9に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/827,942 US7492394B2 (en) | 2001-04-06 | 2001-04-06 | System and method for correcting erroneous image signals from defective photosensitive pixels during analog-to-digital conversion |
US09/827942 | 2001-04-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002330357A JP2002330357A (ja) | 2002-11-15 |
JP4340803B2 true JP4340803B2 (ja) | 2009-10-07 |
Family
ID=25250531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002103188A Expired - Fee Related JP4340803B2 (ja) | 2001-04-06 | 2002-04-05 | 欠陥感光画素からの誤った画像信号を補正するためのシステム及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7492394B2 (ja) |
EP (1) | EP1248458B1 (ja) |
JP (1) | JP4340803B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4479373B2 (ja) * | 2004-06-28 | 2010-06-09 | ソニー株式会社 | イメージセンサ |
EP1770987A1 (en) * | 2005-09-30 | 2007-04-04 | STMicroelectronics (Research & Development) Limited | Improvements in or relating to image sensor artifact elimination |
JP4305507B2 (ja) * | 2006-12-18 | 2009-07-29 | ソニー株式会社 | 撮像装置およびカメラ |
KR102142624B1 (ko) * | 2013-12-30 | 2020-08-10 | 삼성디스플레이 주식회사 | 표시장치 |
US9854190B2 (en) * | 2015-03-24 | 2017-12-26 | Semiconductor Components Industries, Llc | Imaging systems and methods for transient signal integrity verification |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4278995A (en) * | 1979-08-20 | 1981-07-14 | Eastman Kodak Company | Color line sensor for use in film scanning apparatus |
US4535359A (en) | 1983-01-17 | 1985-08-13 | Eastman Kodak Company | Defect correction in solid state imaging |
US4573035A (en) * | 1984-07-25 | 1986-02-25 | Analogic Corporation | Digital x-ray system |
JP3351704B2 (ja) | 1997-04-09 | 2002-12-03 | ペンタックス株式会社 | 画像信号補正装置 |
US5982318A (en) * | 1997-10-10 | 1999-11-09 | Lucent Technologies Inc. | Linearizing offset cancelling white balancing and gamma correcting analog to digital converter for active pixel sensor imagers with self calibrating and self adjusting properties |
US6275259B1 (en) * | 1998-02-02 | 2001-08-14 | International Business Machines Corporation | Digital automatic gain control circuit for image system |
KR100284284B1 (ko) * | 1998-11-05 | 2001-03-02 | 김영환 | 디지털 카메라의 아날로그 신호 처리 장치 |
JP2000115546A (ja) * | 1998-10-09 | 2000-04-21 | Ricoh Co Ltd | 画像読取装置 |
EP1045578B1 (en) * | 1999-03-15 | 2003-08-20 | Texas Instruments Incorporated | Filtering of defective picture elements in digital imagers |
DE19933199C1 (de) * | 1999-07-15 | 2001-01-25 | Daimler Chrysler Ag | Verfahren zur Erfassung von Helligkeitssignalen einer Mehrzahl lichtempfindlicher Sensorelemente |
US6654054B1 (en) * | 1999-11-02 | 2003-11-25 | Agilent Technologies, Inc. | Method and apparatus for canceling the effects of noise in an electronic signal |
-
2001
- 2001-04-06 US US09/827,942 patent/US7492394B2/en not_active Expired - Lifetime
-
2002
- 2002-02-12 EP EP20020003051 patent/EP1248458B1/en not_active Expired - Lifetime
- 2002-04-05 JP JP2002103188A patent/JP4340803B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1248458B1 (en) | 2015-05-13 |
US7492394B2 (en) | 2009-02-17 |
US20020145672A1 (en) | 2002-10-10 |
JP2002330357A (ja) | 2002-11-15 |
EP1248458A3 (en) | 2003-03-05 |
EP1248458A2 (en) | 2002-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
USRE44062E1 (en) | Image sensor for detecting flicker noise and method thereof | |
JP5347341B2 (ja) | 固体撮像装置、撮像装置、電子機器、ad変換装置、ad変換方法 | |
JP5586236B2 (ja) | 画像センサのダイナミックレンジ拡大方法及び画像センサ | |
EP1947842B1 (en) | Image sensors with blooming reduction mechanisms | |
TW201916674A (zh) | 電子裝置以及取像方法 | |
JP6226551B2 (ja) | 撮像装置 | |
EP2161919B1 (en) | Read out method for a CMOS imager with reduced dark current | |
US6275259B1 (en) | Digital automatic gain control circuit for image system | |
US20030202111A1 (en) | Apparatus and methods for dark level compensation in image sensors using dark pixel sensor metrics | |
US7876371B2 (en) | Systems and methods to perform digital correlated double sampling using successive approximation analog to digital conversion techniques | |
JP2010538561A (ja) | 広ダイナミックレンジcmos画像センサ | |
US11172149B2 (en) | Image sensing system using average pixel data and operating method thereof | |
JP6643919B2 (ja) | 信号処理装置及び方法、及び撮像装置 | |
JP4157862B2 (ja) | アナログ‐デジタル変換器及びその動作方法、撮像装置並びにランプ発生器の動作方法 | |
JP4340803B2 (ja) | 欠陥感光画素からの誤った画像信号を補正するためのシステム及び方法 | |
JP4346289B2 (ja) | 撮像装置 | |
JP2956655B2 (ja) | ビデオカメラ | |
US20110090238A1 (en) | Black level calibration method and system | |
JP2020115604A (ja) | 撮像装置およびその制御方法 | |
JP4403402B2 (ja) | Ad変換方法およびad変換装置並びに物理情報取得方法および物理情報取得装置 | |
US20030174901A1 (en) | Multi-pass dark frame subtraction | |
JP5113460B2 (ja) | 撮像システム | |
US11064146B2 (en) | Image capturing apparatus and control method therefor | |
JP2017152838A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP4521050B2 (ja) | アナログ‐デジタル変換器及びその動作方法、ランプ発生器及びその動作方法並びに撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050401 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20060629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060808 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080208 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080222 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080604 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080604 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080708 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080708 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080624 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080603 Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080808 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090602 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090622 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4340803 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130717 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |