JP4199874B2 - 画像処理装置及び処理方法 - Google Patents
画像処理装置及び処理方法 Download PDFInfo
- Publication number
- JP4199874B2 JP4199874B2 JP08936499A JP8936499A JP4199874B2 JP 4199874 B2 JP4199874 B2 JP 4199874B2 JP 08936499 A JP08936499 A JP 08936499A JP 8936499 A JP8936499 A JP 8936499A JP 4199874 B2 JP4199874 B2 JP 4199874B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- pixel
- image
- line
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 44
- 238000003672 processing method Methods 0.000 title claims description 10
- 230000002950 deficient Effects 0.000 claims description 78
- 238000012937 correction Methods 0.000 claims description 49
- 230000010365 information processing Effects 0.000 claims 1
- 230000007547 defect Effects 0.000 description 29
- 238000000034 method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013481 data capture Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Input (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、イメージセンサから出力された画像データを処理する技術に関し、特にイメージセンサの画素欠陥を補償するデジタルデータ処理を行う画像処理装置と画像処理方法とに関する。
【０００２】
【従来の技術】
図５に従来の画像処理装置の構成を示す。画像処理装置としては、例えばデジタルカメラを含む。イメージセンサ（ＣＣＤ）１０から出力された画像データは１ライン分毎にＤＲＡＭ１１に順次書きこまれて行く。そして、全ラインの画素データすなわち、１フレーム分の画像データが一旦すべてＤＲＡＭ１１に書き込まれる。
【０００３】
ＤＲＡＭ１１に一旦書きこまれた１フレーム分の画像データは、ホストＣＰＵ１２の制御の下で読み出されて、別の記録媒体に書きこまれるか、表示装置に出力されるか、あるいはさらに別のデータ処理を施されて出力されたりする。
【０００４】
半導体工場で製造されるイメージセンサ１０の生産歩留まりを高めるために、数十万あるいは百万単位の画素の一部に、ある程度の数の欠陥画素が混在していたとしても、製品としては許容される。しかし、画素の欠陥は画質を低下させるので、デジタルデータ処理技術により欠陥画素のデータを補正することが望ましい。
【０００５】
イメージセンサ上の欠陥画素の位置はあらかじめ製造時の検査により判っている。欠陥画素の位置情報はイメージセンサの供給メーカから提供されて、外部メモリ装置１３に保存されている。外部メモリ装置１３からホストＣＰＵ１２に欠陥画素の位置情報が送られる。つまり、以下のような手順によりイメージセンサの欠陥画素のデータ補正処理が実行される。
【０００６】
イメージセンサ１０からの１フレーム分の画像データは、欠陥画素の画素データも含め一旦全部がＤＲＡＭ１１に書きこまれる。次に、外部メモリ装置１３から最初の１ライン分の欠陥画素の位置情報を取り込む。さらに、欠陥画素位置情報により指定された欠陥画素のデータを補正する処理をする。この欠陥データ補正を欠陥画素のあるラインすべてに対してライン毎に行う。
【０００７】
図４を参照して欠陥画素のデータ補正の例をさらに詳細に説明する。図４（Ａ）は白黒画像データの場合であり、白黒イメージセンサの１ラインの一部の画素配列を模式的に示す。今、画素２１（×印）が欠陥画素であったとする。ホストＣＰＵ１２は、欠陥画素位置情報に基づき画素２１の一つ前の正常な画素２０のデータと、一つ後の正常な画素２２のデータとをＤＲＡＭ１１から読み出す。そして、二つのデータの平均値を計算する。そして、ＤＲＡＭ１１の欠陥画素２１のアドレスの欠陥データを、この平均値の補正データに書き換える。このデータ補正処理を各ライン毎に、欠陥画素のあるラインすべてについて実行して、ＤＲＡＭ１１のデータに対して欠陥補正を行う。
【０００８】
図４（Ｂ）はカラーイメージセンサの２ライン分の一部の画素配列を模式的に示す。この画素配列はベイヤ配列と呼ばれる。ベイヤ配列は、Ｒ(赤)画素と、Ｇ(緑)画素とが交互に並ぶラインと、Ｂ（青）画素とＧ(緑)画素とが交互にならぶラインとが縦方向に交互に配列している。
【０００９】
今、注目しているラインｎのＲ画素３１(×印)が欠陥画素であったとする。ホストＣＰＵ１２は、欠陥位置情報に基づきＲ画素３１の前の一番近い正常なＲ画素３０のデータと、後の一番近い正常なＲ画素３２のデータとをＤＲＡＭ１１から読み出す。そして、二つのデータの平均値を計算する。そして、ＤＲＡＭ１１のＲ画素３１のアドレスの欠陥データを、この平均値の補正データに書き換える。Ｂ画素及びＧ画素の欠陥データも同様の手順で補正する。このようなデータ補正処理を各ライン毎に欠陥画素のあるラインすべてについて実行して、ＤＲＡＭ１１のデータに対して欠陥補正を行う。
【００１０】
欠陥補正の済んだ１フレーム分の画像データはＤＲＡＭ１１から読み出されて次の処理、すなわち他の記録媒体に書きこまれるか、表示装置に出力されたり、あるいはさらに別のデータ処理を施されたりする。
【００１１】
【発明が解決しようとする課題】
上述した従来の画像処理装置では、一旦ＤＲＡＭ１１にイメージセンサからの１フレーム分の画像データを書きこんだ後に欠陥画素の補正処理を行う。ＤＲＡＭ１１からの欠陥画素の近隣正常画素のデータ読み出しと、補正演算処理と、ＤＲＡＭのデータ書き換えという３段階の一連の動作に１０クロック分程度の時間を要していた。
【００１２】
この処理を欠陥画素の数だけ繰り返すので、欠陥数が多い場合には欠陥画素すべての補正を終えてＤＲＡＭに補正後のデータを書き込むまでに相当な時間を必要としていた。したがって、欠陥画素のあるイメージセンサで撮影された１フレーム分の画像データを補正して最終的に外部へ出力するまでにはかなりな時間を要し、撮影した画像が見られるまでの待ち時間が長かった。また、補正時間が長いことにより、１秒当たり３０フレームのフレームレートを有する動画の補正処理はできなかった。
【００１３】
本発明の目的は、簡単な回路構成で高速に欠陥画素のデータ補正を行うことのできる画像処理装置又はその方法を提供することである。
【００１４】
【課題を解決するための手段】
本発明の一観点によれば、
イメージセンサからの画像データを処理する画像処理装置であって、
ロウアドレスとカラムアドレスにより特定されるＤＲＡＭであって、第１の領域と第２の領域を有し、前記第１の領域は１フレーム分の画像データの各ライン分のデータをＤＲＡＭの対応するロウアドレスに格納し、前記第２の領域は画像データの該各ラインに対応する前記イメージセンサの欠陥画素の位置情報を前記ロウアドレスと同一のロウアドレスに格納する書き換え可能なメモリと、
該画像データの前記メモリへの書き込みと、前記メモリからの画像データの読み出しとを制御する制御手段と、
前記イメージセンサから１ライン分毎に順次転送される画像データのデータ数をカウントするカウンタと、
前記イメージセンサから順次転送される各画素の画像データを現在転送されてきた画素の画像データ以外の画像データに基づいて補正処理して出力する補正回路と、
を有し、
前記制御手段は、前記カウンタのカウント数が前記メモリの前記第２の領域中の欠陥画素の位置情報に対応する数に一致した場合に、前記メモリの前記第１の領域中の前記欠陥画素の格納位置に前記補正回路により補正された画像データを書き込み、該カウント数が前記欠陥画素の位置情報に対応する数に一致しない場合には、前記イメージセンサからの画像データを前記第１の領域に格納する画像処理装置
が提供される。
【００１５】
本発明の他の観点によれば、
イメージセンサからの画像データを処理する画像処理方法であって、
ロウアドレスとカラムアドレスにより特定されるＤＲＡＭであって、第１の領域と第２の領域を有し、前記第１の領域は１フレーム分の画像データの各ライン分のデータをＤＲＡＭの対応するロウアドレスに格納し、前記第２の領域は画像データの該各ラインに対応する前記イメージセンサの欠陥画素の位置情報を前記ロウアドレスと同一のロウアドレスに格納する書き換え可能なメモリを用い、前記イメージセンサの１ライン分の欠陥画素位置情報を該メモリより取り込む段階と、
前記イメージセンサから、画素データを１ライン分毎、順次取り込む段階と、
前記１ライン分毎の画素データを取り込む際に画素データの数をカウントする段階と、
前記イメージセンサから順次転送される画素データを現在転送されてきた画素データ以外の画像データに基づいて補正処理する段階と、
前記メモリの、前記第２の領域の各ラインの欠陥画素位置情報が格納されるロウアドレスと同一のロウアドレスの前記第１の領域に、前記カウント数が前記欠陥画素位置情報に対応する数に一致した場合前記補正処理した補正データを、該カウント数が前記欠陥画素位置情報に対応する数に一致しない場合前記イメージセンサからの補正処理しない画素データを、各ライン毎に書き込む段階と
を有する画像処理方法
が提供される。
【００１６】
メモリにイメージセンサの画像データを１フレーム分一旦全部書きこんだ後に、そのメモリから画像データを読み出し欠陥画素のデータをすべて補正して、メモリの欠陥画素データを補正データで書きなおしていた従来の処理方式とは異なり、本発明においては、イメージセンサから画素データを取り込み、その時点で欠陥画素のデータ補正処理を並行して行い、正常画素の画素データ又は欠陥画素を補正したデータをメモリに書きこんで行くので、高速に画像処理を行うことができる。
【００１７】
【発明の実施の形態】
図１は、本発明の実施例による画像処理装置の構成を示すブロック図であり、図２は、図１に示す装置による欠陥画素のデータ補正処理を含む画像処理方法の手順を示すフローチャートである。以下、図面を参照しながら、実施例の装置の動作を説明する。
【００１８】
図１（Ａ）において、１はイメージセンサ（ＣＣＤ）１０から例えば１２．２７ＭＨｚのクロック信号に従ってシリアル転送される１フレーム分の画像データのデータ数をカウントするカウンタであり、２は欠陥画素データの補正回路であり、３は画像データの遅延装置であり、４は少なくとも１フレーム分の画像データと欠陥画素情報を格納するＤＲＡＭであり、５は以上の各要素を制御するホストＣＰＵであり、６はバスラインであり、１３はイメージセンサの供給メーカより提供されたイメージセンサ１０の欠陥画素情報を格納する外部メモリ装置である。
【００１９】
ＤＲＡＭ４のメモリ領域は、１フレーム分の画像データを格納する画像データ領域４ａと、欠陥画素情報を格納する欠陥情報領域４ｂとからなる。欠陥情報領域４ｂには、予め外部メモリ装置１３からイメージセンサ１０の欠陥画素情報が供給され、書きこまれている。
【００２０】
図１（Ｂ）に、ＤＲＡＭ４のメモリ領域の構造を模式的に示す。ＤＲＡＭ４は、ロウアドレスＲＡとカラムアドレスＣＡにより特定される。画像データ領域４ａにはイメージセンサ１０の各ラインの画像データが同一ロウアドレスＲＡの領域Ｌ１〜Ｌｎ（ｎはライン数）に格納され、画像データの各ラインに対応する欠陥画素情報も同一ロウアドレスの領域Ｄ１〜Ｄｎに格納されている。例えば、第１ラインの画素データは、第１のロウアドレスの領域Ｌ１に格納され、第１ライン内の欠陥画素の情報は同じ第１のロウアドレスの領域Ｄ１に格納される。
【００２１】
図１（Ｃ）は、欠陥画素情報の領域Ｄｎのフォーマットを示す。上位４ビットのフラグ５１が０を示す場合は欠陥がその第ｎラインで単独画素の欠陥であることを表し、フラグが１を示す場合は欠陥がその第ｎラインで連続する２個の画素であることを表し、フラグが２を示す場合は欠陥がその第ｎラインで連続する３個の画素であることを表し、フラグが３を示す場合は欠陥がその第ｎラインで連続する４個の画素であることを表す。下位１２ビットの欠陥画素の位置情報５２は、欠陥画素のライン上の位置を示し、連続して欠陥がある場合には、先頭の欠陥画素の位置を示す。
【００２２】
ＤＲＡＭ４は、例えば１つのアドレスに１６ビットのデータを格納することができる。領域Ｄｎの各々は、図１（Ｃ）に示す１６ビットの欠陥画素情報を例えば４組有する。但し、この数値はあくまで一例であって、本実施例をこれらの数値に限定する意図はない。なお、そのラインに欠陥画素が無い場合を表す場合には、下位１２ビットの位置情報５２をすべて１にする。
【００２３】
この実施例のフォーマットを使用すれば、イメージセンサの画像サイズが例えば、ＶＧＡ（水平方向６４０画素×４８０ライン）の場合には、最大で４連続欠陥×４組×４８０ラインで計７６８０個の欠陥位置情報を記録でき、その欠陥画素のデータを補正することができる。
【００２４】
図２を参照して本発明の実施例による画像処理の手順を説明する。まず、イメージセンサ１０からの最初の第１ラインの画像データの取り込みを開始する前に、ステップ４０において、その第１ラインの欠陥画素データをＤＲＡＭ４の欠陥画素情報の領域４ｂから読み出す。読み出した情報はカウンタ１に与えられる。
【００２５】
次に、ステップ４１において、イメージセンサ１０からの画素データの取り込みを開始する。そのデータ取り込みの間に、カウンタ１は取り込み中のデータの計数を行う。さらに画像データ取り込みと並行して、補正回路３において補正データの作成(演算)を行う。補正データは欠陥の有る無しに関わらず、すべての画素データに対して行う。補正データの作成(演算)は、図４を参照して説明した方法と同様である。但し、補正データの作成は、図５の従来の装置では、ホストＣＰＵ１２が行っていたものを、本実施例では、個別の補正回路２が行う。
【００２６】
図３に白黒画像データの場合の補正回路２の一例を示す。第１ラインのｍ番目（ｍは任意の正の整数）の画素のための補正データを作成する場合は、加算器にイメージセンサからのｍ−１番目の画素データ（８ビット）とｍ＋１番目(８ビット)の画素データとを入力し、その９ビットの出力のうちの上位８ビットを取り出す。その上位８ビットの値が二つの入力データの平均値となり、補正データとして使用される。カラー画像データの場合も基本的に同様である。なお、補正データの作成方法は、この例の方法以外にも公知の別の方法が使用できるであろう。
【００２７】
次にステップ４２でカウント値が欠陥画素情報４ｂの欠陥位置情報に対応する値と一致した場合には、ステップ４３において、ステップ４１で作成した補正データをＤＲＡＭ４のデータ領域４ａの欠陥位置に該当するアドレスに書きこむ。一方、ステップ４２でカウント値が欠陥画素情報４ｂの欠陥位置情報に対応する値と一致しなかった場合には、ステップ４４において、イメージセンサ１０から遅延回路３を通って転送された画像データをそのままＤＲＡＭ４のデータ領域４ａの該当するアドレスに書きこむ。
【００２８】
次に、ステップ４７において、当該ライン内の全ての画素データの処理が終了したか否かをチェックする。終了していない場合には、ステップ４１に戻り、次の画素データの処理を繰り返す。当該ライン内の全ての画素データの処理が終了したときには、ステップ４５へ進む。
【００２９】
ステップ４５において、全ラインのデータ書き込みが終了したかどうかを判定し、終了してない場合には、次の第２番目のラインを指定して処理を行うためにステップ４０に戻り、それ以降のステップを繰り返す。そして、ＤＲＡＭ４に１フレームの全ラインの画像データの書き込みが終了するまで、上記の処理が繰り返される。
【００３０】
補正データも含めすべての画像データがＤＲＡＭ４に書きこまれると、ステップ４６において、画像データはＤＲＡＭ４から読み出され、必要に応じてさらに処理が加えられ、表示装置に供給される。
【００３１】
イメージセンサ１０から受け取る動画の画像データのクロックは、例えば１２．２７ＭＨｚである。表示装置へ供給する動画の画像データのクロックも、例えば１２．２７ＭＨｚである。本実施例によれば、イメージセンサ１０から受け取った動画の画像データを欠陥補正して、リアルタイムで３０フレーム／秒の動画を表示装置に表示させることができる。
【００３２】
なお、ＤＲＡＭ４からのデータ読出しの時間がデータの転送レートに比べてかなり速い場合には、ステップ４３と４４のデータ書き込みが終わる度に、データを読み出して出力してもよいであろう。
【００３３】
１ラインの端の画素が欠陥画素の場合には、その画素に隣接するデータと同じ画素データを使用することにより、補正を行うことができる。１ライン内で欠陥画素が連続している場合には、垂直方向に補間を行うことにより、補正を行ってもよい。重み付け平均を用いてもよい。
【００３４】
本実施例によれば、メモリに欠陥画素情報を格納する領域を設けて、イメージセンサから画素データを取り込む度に、その時点でデータ補正処理を並行して行い、欠陥画素情報を基に画像データ又は補正データのいずれかを選択してメモリに書きこんで行くので、１ライン毎に実質的にリアルタイムの画像処理ができる。欠陥画素のあるイメージセンサで撮影した画像でも、欠陥補正された映像が高速に再生可能で、動画も実質的にリアルタイムで再生可能となる。カウンタと補正回路の簡単な構成で欠陥画素の補正が可能となる。
【００３５】
以上説明した実施例は単なる例示であって、当業者であれば、本願明細書の開示に基づき、様々な変形や応用が可能であろう。
【００３６】
【発明の効果】
以上説明したように、本発明によれば、実質的にリアルタイムの画像処理ができるので、欠陥画素のあるイメージセンサで撮影した画像でも、欠陥補正された映像が高速に再生可能で、動画も実質的にリアルタイムで再生可能となる。また、簡単な構成で欠陥画素の補正が可能となる。
【図面の簡単な説明】
【図１】本発明の実施例による画像処理装置のブロック図である。
【図２】本発明の実施例による画像処理方法のフローチャートである。
【図３】本発明の実施例による画像処理装置の欠陥補正回路の構成を示すブロック図である。
【図４】欠陥画素のデータ補正のやり方を説明するための画素の配列図である。
【図５】従来の技術による画像処理装置のブロック図である。
【符号の説明】
１ カウンタ
２ 欠陥補正回路
３ 遅延回路
４ ＤＲＡＭ
５ ホストＣＰＵ
６ バスライン
１０ ＣＣＤ
１３ 外部メモリ装置
５１ フラグ
５２ 欠陥画素位置情報
６１ 加算器
【発明の属する技術分野】
本発明は、イメージセンサから出力された画像データを処理する技術に関し、特にイメージセンサの画素欠陥を補償するデジタルデータ処理を行う画像処理装置と画像処理方法とに関する。
【０００２】
【従来の技術】
図５に従来の画像処理装置の構成を示す。画像処理装置としては、例えばデジタルカメラを含む。イメージセンサ（ＣＣＤ）１０から出力された画像データは１ライン分毎にＤＲＡＭ１１に順次書きこまれて行く。そして、全ラインの画素データすなわち、１フレーム分の画像データが一旦すべてＤＲＡＭ１１に書き込まれる。
【０００３】
ＤＲＡＭ１１に一旦書きこまれた１フレーム分の画像データは、ホストＣＰＵ１２の制御の下で読み出されて、別の記録媒体に書きこまれるか、表示装置に出力されるか、あるいはさらに別のデータ処理を施されて出力されたりする。
【０００４】
半導体工場で製造されるイメージセンサ１０の生産歩留まりを高めるために、数十万あるいは百万単位の画素の一部に、ある程度の数の欠陥画素が混在していたとしても、製品としては許容される。しかし、画素の欠陥は画質を低下させるので、デジタルデータ処理技術により欠陥画素のデータを補正することが望ましい。
【０００５】
イメージセンサ上の欠陥画素の位置はあらかじめ製造時の検査により判っている。欠陥画素の位置情報はイメージセンサの供給メーカから提供されて、外部メモリ装置１３に保存されている。外部メモリ装置１３からホストＣＰＵ１２に欠陥画素の位置情報が送られる。つまり、以下のような手順によりイメージセンサの欠陥画素のデータ補正処理が実行される。
【０００６】
イメージセンサ１０からの１フレーム分の画像データは、欠陥画素の画素データも含め一旦全部がＤＲＡＭ１１に書きこまれる。次に、外部メモリ装置１３から最初の１ライン分の欠陥画素の位置情報を取り込む。さらに、欠陥画素位置情報により指定された欠陥画素のデータを補正する処理をする。この欠陥データ補正を欠陥画素のあるラインすべてに対してライン毎に行う。
【０００７】
図４を参照して欠陥画素のデータ補正の例をさらに詳細に説明する。図４（Ａ）は白黒画像データの場合であり、白黒イメージセンサの１ラインの一部の画素配列を模式的に示す。今、画素２１（×印）が欠陥画素であったとする。ホストＣＰＵ１２は、欠陥画素位置情報に基づき画素２１の一つ前の正常な画素２０のデータと、一つ後の正常な画素２２のデータとをＤＲＡＭ１１から読み出す。そして、二つのデータの平均値を計算する。そして、ＤＲＡＭ１１の欠陥画素２１のアドレスの欠陥データを、この平均値の補正データに書き換える。このデータ補正処理を各ライン毎に、欠陥画素のあるラインすべてについて実行して、ＤＲＡＭ１１のデータに対して欠陥補正を行う。
【０００８】
図４（Ｂ）はカラーイメージセンサの２ライン分の一部の画素配列を模式的に示す。この画素配列はベイヤ配列と呼ばれる。ベイヤ配列は、Ｒ(赤)画素と、Ｇ(緑)画素とが交互に並ぶラインと、Ｂ（青）画素とＧ(緑)画素とが交互にならぶラインとが縦方向に交互に配列している。
【０００９】
今、注目しているラインｎのＲ画素３１(×印)が欠陥画素であったとする。ホストＣＰＵ１２は、欠陥位置情報に基づきＲ画素３１の前の一番近い正常なＲ画素３０のデータと、後の一番近い正常なＲ画素３２のデータとをＤＲＡＭ１１から読み出す。そして、二つのデータの平均値を計算する。そして、ＤＲＡＭ１１のＲ画素３１のアドレスの欠陥データを、この平均値の補正データに書き換える。Ｂ画素及びＧ画素の欠陥データも同様の手順で補正する。このようなデータ補正処理を各ライン毎に欠陥画素のあるラインすべてについて実行して、ＤＲＡＭ１１のデータに対して欠陥補正を行う。
【００１０】
欠陥補正の済んだ１フレーム分の画像データはＤＲＡＭ１１から読み出されて次の処理、すなわち他の記録媒体に書きこまれるか、表示装置に出力されたり、あるいはさらに別のデータ処理を施されたりする。
【００１１】
【発明が解決しようとする課題】
上述した従来の画像処理装置では、一旦ＤＲＡＭ１１にイメージセンサからの１フレーム分の画像データを書きこんだ後に欠陥画素の補正処理を行う。ＤＲＡＭ１１からの欠陥画素の近隣正常画素のデータ読み出しと、補正演算処理と、ＤＲＡＭのデータ書き換えという３段階の一連の動作に１０クロック分程度の時間を要していた。
【００１２】
この処理を欠陥画素の数だけ繰り返すので、欠陥数が多い場合には欠陥画素すべての補正を終えてＤＲＡＭに補正後のデータを書き込むまでに相当な時間を必要としていた。したがって、欠陥画素のあるイメージセンサで撮影された１フレーム分の画像データを補正して最終的に外部へ出力するまでにはかなりな時間を要し、撮影した画像が見られるまでの待ち時間が長かった。また、補正時間が長いことにより、１秒当たり３０フレームのフレームレートを有する動画の補正処理はできなかった。
【００１３】
本発明の目的は、簡単な回路構成で高速に欠陥画素のデータ補正を行うことのできる画像処理装置又はその方法を提供することである。
【００１４】
【課題を解決するための手段】
本発明の一観点によれば、
イメージセンサからの画像データを処理する画像処理装置であって、
ロウアドレスとカラムアドレスにより特定されるＤＲＡＭであって、第１の領域と第２の領域を有し、前記第１の領域は１フレーム分の画像データの各ライン分のデータをＤＲＡＭの対応するロウアドレスに格納し、前記第２の領域は画像データの該各ラインに対応する前記イメージセンサの欠陥画素の位置情報を前記ロウアドレスと同一のロウアドレスに格納する書き換え可能なメモリと、
該画像データの前記メモリへの書き込みと、前記メモリからの画像データの読み出しとを制御する制御手段と、
前記イメージセンサから１ライン分毎に順次転送される画像データのデータ数をカウントするカウンタと、
前記イメージセンサから順次転送される各画素の画像データを現在転送されてきた画素の画像データ以外の画像データに基づいて補正処理して出力する補正回路と、
を有し、
前記制御手段は、前記カウンタのカウント数が前記メモリの前記第２の領域中の欠陥画素の位置情報に対応する数に一致した場合に、前記メモリの前記第１の領域中の前記欠陥画素の格納位置に前記補正回路により補正された画像データを書き込み、該カウント数が前記欠陥画素の位置情報に対応する数に一致しない場合には、前記イメージセンサからの画像データを前記第１の領域に格納する画像処理装置
が提供される。
【００１５】
本発明の他の観点によれば、
イメージセンサからの画像データを処理する画像処理方法であって、
ロウアドレスとカラムアドレスにより特定されるＤＲＡＭであって、第１の領域と第２の領域を有し、前記第１の領域は１フレーム分の画像データの各ライン分のデータをＤＲＡＭの対応するロウアドレスに格納し、前記第２の領域は画像データの該各ラインに対応する前記イメージセンサの欠陥画素の位置情報を前記ロウアドレスと同一のロウアドレスに格納する書き換え可能なメモリを用い、前記イメージセンサの１ライン分の欠陥画素位置情報を該メモリより取り込む段階と、
前記イメージセンサから、画素データを１ライン分毎、順次取り込む段階と、
前記１ライン分毎の画素データを取り込む際に画素データの数をカウントする段階と、
前記イメージセンサから順次転送される画素データを現在転送されてきた画素データ以外の画像データに基づいて補正処理する段階と、
前記メモリの、前記第２の領域の各ラインの欠陥画素位置情報が格納されるロウアドレスと同一のロウアドレスの前記第１の領域に、前記カウント数が前記欠陥画素位置情報に対応する数に一致した場合前記補正処理した補正データを、該カウント数が前記欠陥画素位置情報に対応する数に一致しない場合前記イメージセンサからの補正処理しない画素データを、各ライン毎に書き込む段階と
を有する画像処理方法
が提供される。
【００１６】
メモリにイメージセンサの画像データを１フレーム分一旦全部書きこんだ後に、そのメモリから画像データを読み出し欠陥画素のデータをすべて補正して、メモリの欠陥画素データを補正データで書きなおしていた従来の処理方式とは異なり、本発明においては、イメージセンサから画素データを取り込み、その時点で欠陥画素のデータ補正処理を並行して行い、正常画素の画素データ又は欠陥画素を補正したデータをメモリに書きこんで行くので、高速に画像処理を行うことができる。
【００１７】
【発明の実施の形態】
図１は、本発明の実施例による画像処理装置の構成を示すブロック図であり、図２は、図１に示す装置による欠陥画素のデータ補正処理を含む画像処理方法の手順を示すフローチャートである。以下、図面を参照しながら、実施例の装置の動作を説明する。
【００１８】
図１（Ａ）において、１はイメージセンサ（ＣＣＤ）１０から例えば１２．２７ＭＨｚのクロック信号に従ってシリアル転送される１フレーム分の画像データのデータ数をカウントするカウンタであり、２は欠陥画素データの補正回路であり、３は画像データの遅延装置であり、４は少なくとも１フレーム分の画像データと欠陥画素情報を格納するＤＲＡＭであり、５は以上の各要素を制御するホストＣＰＵであり、６はバスラインであり、１３はイメージセンサの供給メーカより提供されたイメージセンサ１０の欠陥画素情報を格納する外部メモリ装置である。
【００１９】
ＤＲＡＭ４のメモリ領域は、１フレーム分の画像データを格納する画像データ領域４ａと、欠陥画素情報を格納する欠陥情報領域４ｂとからなる。欠陥情報領域４ｂには、予め外部メモリ装置１３からイメージセンサ１０の欠陥画素情報が供給され、書きこまれている。
【００２０】
図１（Ｂ）に、ＤＲＡＭ４のメモリ領域の構造を模式的に示す。ＤＲＡＭ４は、ロウアドレスＲＡとカラムアドレスＣＡにより特定される。画像データ領域４ａにはイメージセンサ１０の各ラインの画像データが同一ロウアドレスＲＡの領域Ｌ１〜Ｌｎ（ｎはライン数）に格納され、画像データの各ラインに対応する欠陥画素情報も同一ロウアドレスの領域Ｄ１〜Ｄｎに格納されている。例えば、第１ラインの画素データは、第１のロウアドレスの領域Ｌ１に格納され、第１ライン内の欠陥画素の情報は同じ第１のロウアドレスの領域Ｄ１に格納される。
【００２１】
図１（Ｃ）は、欠陥画素情報の領域Ｄｎのフォーマットを示す。上位４ビットのフラグ５１が０を示す場合は欠陥がその第ｎラインで単独画素の欠陥であることを表し、フラグが１を示す場合は欠陥がその第ｎラインで連続する２個の画素であることを表し、フラグが２を示す場合は欠陥がその第ｎラインで連続する３個の画素であることを表し、フラグが３を示す場合は欠陥がその第ｎラインで連続する４個の画素であることを表す。下位１２ビットの欠陥画素の位置情報５２は、欠陥画素のライン上の位置を示し、連続して欠陥がある場合には、先頭の欠陥画素の位置を示す。
【００２２】
ＤＲＡＭ４は、例えば１つのアドレスに１６ビットのデータを格納することができる。領域Ｄｎの各々は、図１（Ｃ）に示す１６ビットの欠陥画素情報を例えば４組有する。但し、この数値はあくまで一例であって、本実施例をこれらの数値に限定する意図はない。なお、そのラインに欠陥画素が無い場合を表す場合には、下位１２ビットの位置情報５２をすべて１にする。
【００２３】
この実施例のフォーマットを使用すれば、イメージセンサの画像サイズが例えば、ＶＧＡ（水平方向６４０画素×４８０ライン）の場合には、最大で４連続欠陥×４組×４８０ラインで計７６８０個の欠陥位置情報を記録でき、その欠陥画素のデータを補正することができる。
【００２４】
図２を参照して本発明の実施例による画像処理の手順を説明する。まず、イメージセンサ１０からの最初の第１ラインの画像データの取り込みを開始する前に、ステップ４０において、その第１ラインの欠陥画素データをＤＲＡＭ４の欠陥画素情報の領域４ｂから読み出す。読み出した情報はカウンタ１に与えられる。
【００２５】
次に、ステップ４１において、イメージセンサ１０からの画素データの取り込みを開始する。そのデータ取り込みの間に、カウンタ１は取り込み中のデータの計数を行う。さらに画像データ取り込みと並行して、補正回路３において補正データの作成(演算)を行う。補正データは欠陥の有る無しに関わらず、すべての画素データに対して行う。補正データの作成(演算)は、図４を参照して説明した方法と同様である。但し、補正データの作成は、図５の従来の装置では、ホストＣＰＵ１２が行っていたものを、本実施例では、個別の補正回路２が行う。
【００２６】
図３に白黒画像データの場合の補正回路２の一例を示す。第１ラインのｍ番目（ｍは任意の正の整数）の画素のための補正データを作成する場合は、加算器にイメージセンサからのｍ−１番目の画素データ（８ビット）とｍ＋１番目(８ビット)の画素データとを入力し、その９ビットの出力のうちの上位８ビットを取り出す。その上位８ビットの値が二つの入力データの平均値となり、補正データとして使用される。カラー画像データの場合も基本的に同様である。なお、補正データの作成方法は、この例の方法以外にも公知の別の方法が使用できるであろう。
【００２７】
次にステップ４２でカウント値が欠陥画素情報４ｂの欠陥位置情報に対応する値と一致した場合には、ステップ４３において、ステップ４１で作成した補正データをＤＲＡＭ４のデータ領域４ａの欠陥位置に該当するアドレスに書きこむ。一方、ステップ４２でカウント値が欠陥画素情報４ｂの欠陥位置情報に対応する値と一致しなかった場合には、ステップ４４において、イメージセンサ１０から遅延回路３を通って転送された画像データをそのままＤＲＡＭ４のデータ領域４ａの該当するアドレスに書きこむ。
【００２８】
次に、ステップ４７において、当該ライン内の全ての画素データの処理が終了したか否かをチェックする。終了していない場合には、ステップ４１に戻り、次の画素データの処理を繰り返す。当該ライン内の全ての画素データの処理が終了したときには、ステップ４５へ進む。
【００２９】
ステップ４５において、全ラインのデータ書き込みが終了したかどうかを判定し、終了してない場合には、次の第２番目のラインを指定して処理を行うためにステップ４０に戻り、それ以降のステップを繰り返す。そして、ＤＲＡＭ４に１フレームの全ラインの画像データの書き込みが終了するまで、上記の処理が繰り返される。
【００３０】
補正データも含めすべての画像データがＤＲＡＭ４に書きこまれると、ステップ４６において、画像データはＤＲＡＭ４から読み出され、必要に応じてさらに処理が加えられ、表示装置に供給される。
【００３１】
イメージセンサ１０から受け取る動画の画像データのクロックは、例えば１２．２７ＭＨｚである。表示装置へ供給する動画の画像データのクロックも、例えば１２．２７ＭＨｚである。本実施例によれば、イメージセンサ１０から受け取った動画の画像データを欠陥補正して、リアルタイムで３０フレーム／秒の動画を表示装置に表示させることができる。
【００３２】
なお、ＤＲＡＭ４からのデータ読出しの時間がデータの転送レートに比べてかなり速い場合には、ステップ４３と４４のデータ書き込みが終わる度に、データを読み出して出力してもよいであろう。
【００３３】
１ラインの端の画素が欠陥画素の場合には、その画素に隣接するデータと同じ画素データを使用することにより、補正を行うことができる。１ライン内で欠陥画素が連続している場合には、垂直方向に補間を行うことにより、補正を行ってもよい。重み付け平均を用いてもよい。
【００３４】
本実施例によれば、メモリに欠陥画素情報を格納する領域を設けて、イメージセンサから画素データを取り込む度に、その時点でデータ補正処理を並行して行い、欠陥画素情報を基に画像データ又は補正データのいずれかを選択してメモリに書きこんで行くので、１ライン毎に実質的にリアルタイムの画像処理ができる。欠陥画素のあるイメージセンサで撮影した画像でも、欠陥補正された映像が高速に再生可能で、動画も実質的にリアルタイムで再生可能となる。カウンタと補正回路の簡単な構成で欠陥画素の補正が可能となる。
【００３５】
以上説明した実施例は単なる例示であって、当業者であれば、本願明細書の開示に基づき、様々な変形や応用が可能であろう。
【００３６】
【発明の効果】
以上説明したように、本発明によれば、実質的にリアルタイムの画像処理ができるので、欠陥画素のあるイメージセンサで撮影した画像でも、欠陥補正された映像が高速に再生可能で、動画も実質的にリアルタイムで再生可能となる。また、簡単な構成で欠陥画素の補正が可能となる。
【図面の簡単な説明】
【図１】本発明の実施例による画像処理装置のブロック図である。
【図２】本発明の実施例による画像処理方法のフローチャートである。
【図３】本発明の実施例による画像処理装置の欠陥補正回路の構成を示すブロック図である。
【図４】欠陥画素のデータ補正のやり方を説明するための画素の配列図である。
【図５】従来の技術による画像処理装置のブロック図である。
【符号の説明】
１ カウンタ
２ 欠陥補正回路
３ 遅延回路
４ ＤＲＡＭ
５ ホストＣＰＵ
６ バスライン
１０ ＣＣＤ
１３ 外部メモリ装置
５１ フラグ
５２ 欠陥画素位置情報
６１ 加算器
Claims (5)
- イメージセンサからの画像データを処理する画像処理装置であって、
ロウアドレスとカラムアドレスにより特定されるＤＲＡＭであって、第１の領域と第２の領域を有し、前記第１の領域は１フレーム分の画像データの各ライン分のデータをＤＲＡＭの対応するロウアドレスに格納し、前記第２の領域は画像データの該各ラインに対応する前記イメージセンサの欠陥画素の位置情報を前記ロウアドレスと同一のロウアドレスに格納する書き換え可能なメモリと、
該画像データの前記メモリへの書き込みと、前記メモリからの画像データの読み出しとを制御する制御手段と、
前記イメージセンサから１ライン分毎に順次転送される画像データのデータ数をカウントするカウンタと、
前記イメージセンサから順次転送される各画素の画像データを現在転送されてきた画素の画像データ以外の画像データに基づいて補正処理して出力する補正回路と、
を有し、
前記制御手段は、前記カウンタのカウント数が前記メモリの前記第２の領域中の欠陥画素の位置情報に対応する数に一致した場合に、前記メモリの前記第１の領域中の前記欠陥画素の格納位置に前記補正回路により補正された画像データを書き込み、該カウント数が前記欠陥画素の位置情報に対応する数に一致しない場合には、前記イメージセンサからの画像データを前記第１の領域に格納する画像処理装置。 - 前記メモリの前記第２の領域は、欠陥画素が単独か、あるいは連続欠陥画素の連続数を示す情報と、各ライン中の欠陥画素の位置を示す情報とを格納している請求項１記載の画像処理装置。
- 前記補正回路は、対象画素の前後の画素データの平均値を演算して出力する請求項１又は２のいずれかに記載の画像処理装置。
- イメージセンサからの画像データを処理する画像処理方法であって、
ロウアドレスとカラムアドレスにより特定されるＤＲＡＭであって、第１の領域と第２の領域を有し、前記第１の領域は１フレーム分の画像データの各ライン分のデータをＤＲＡＭの対応するロウアドレスに格納し、前記第２の領域は画像データの該各ラインに対応する前記イメージセンサの欠陥画素の位置情報を前記ロウアドレスと同一のロウアドレスに格納する書き換え可能なメモリを用い、前記イメージセンサの１ライン分の欠陥画素位置情報を該メモリより取り込む段階と、
前記イメージセンサから、画素データを１ライン分毎、順次取り込む段階と、
前記１ライン分毎の画素データを取り込む際に画素データの数をカウントする段階と、
前記イメージセンサから順次転送される画素データを現在転送されてきた画素データ以外の画像データに基づいて補正処理する段階と、
前記メモリの、前記第２の領域の各ラインの欠陥画素位置情報が格納されるロウアドレスと同一のロウアドレスの前記第１の領域に、前記カウント数が前記欠陥画素位置情報に対応する数に一致した場合前記補正処理した補正データを、該カウント数が前記欠陥画素位置情報に対応する数に一致しない場合前記イメージセンサからの補正処理しない画素データを、各ライン毎に書き込む段階と
を有する画像処理方法。 - 前記補正処理は、対象画素の前後の画素データの平均値を演算して出力する請求項４記載の画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08936499A JP4199874B2 (ja) | 1999-03-30 | 1999-03-30 | 画像処理装置及び処理方法 |
| US09/537,669 US7034872B1 (en) | 1999-03-30 | 2000-03-29 | Image processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08936499A JP4199874B2 (ja) | 1999-03-30 | 1999-03-30 | 画像処理装置及び処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000287134A JP2000287134A (ja) | 2000-10-13 |
| JP4199874B2 true JP4199874B2 (ja) | 2008-12-24 |
Family
ID=13968660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08936499A Expired - Fee Related JP4199874B2 (ja) | 1999-03-30 | 1999-03-30 | 画像処理装置及び処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7034872B1 (ja) |
| JP (1) | JP4199874B2 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7365783B2 (en) * | 2001-03-16 | 2008-04-29 | Olympus Corporation | Image pickup apparatus which stores initial defect data concerning image pickup device and data on later developed defects |
| US7209168B2 (en) * | 2001-04-11 | 2007-04-24 | Micron Technology, Inc. | Defective pixel correction method and system |
| JP3824927B2 (ja) * | 2001-06-22 | 2006-09-20 | 株式会社リコー | 読取装置、画像形成装置、通信装置および異常画素データ取得方法 |
| CN1599915B (zh) * | 2001-12-04 | 2010-04-14 | Pony工业株式会社 | 图像处理方法及图像处理装置 |
| KR100535636B1 (ko) * | 2003-02-24 | 2005-12-08 | 매그나칩 반도체 유한회사 | 불량 화소 보상 기능을 갖는 이미지센서 |
| JP2004320128A (ja) * | 2003-04-11 | 2004-11-11 | Mega Chips Corp | 欠陥画素補正装置 |
| US7362355B1 (en) * | 2003-08-04 | 2008-04-22 | Pixim, Inc. | Digital CMOS image sensor incorporating a programmable multi-functional lookup table |
| JP4490230B2 (ja) * | 2004-10-13 | 2010-06-23 | トヨタ自動車株式会社 | 幾何変換回路 |
| JP2006155518A (ja) * | 2004-12-01 | 2006-06-15 | Toyota Motor Corp | 幾何補正方法および装置 |
| US20060164407A1 (en) * | 2005-01-21 | 2006-07-27 | Eastman Kodak Company | Method and apparatus for defect correction in a display |
| JP2007195096A (ja) * | 2006-01-23 | 2007-08-02 | Sanyo Electric Co Ltd | 電子カメラ |
| KR100761797B1 (ko) * | 2006-05-12 | 2007-09-28 | 엠텍비젼 주식회사 | 결함 픽셀의 위치 어드레스 저장 방법 및 장치 |
| KR100816301B1 (ko) * | 2006-05-24 | 2008-03-24 | 엠텍비젼 주식회사 | 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서, 디지털 처리 장치, 기록매체 |
| JP5089210B2 (ja) * | 2007-03-22 | 2012-12-05 | 富士フイルム株式会社 | 撮像素子画像処理方法 |
| JP4985124B2 (ja) * | 2007-06-08 | 2012-07-25 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US20100157114A1 (en) * | 2008-12-24 | 2010-06-24 | Yoshiyuki Niijima | Method and Apparatus for Image Displaying |
| JP2010154536A (ja) * | 2010-01-19 | 2010-07-08 | Toshiba Corp | 撮像装置および信号処理方法 |
| JP5812691B2 (ja) * | 2011-05-26 | 2015-11-17 | 富士機械製造株式会社 | 画素データ処理装置 |
| KR20150014556A (ko) * | 2013-07-29 | 2015-02-09 | 에스케이하이닉스 주식회사 | 데드 픽셀 보정 장치 및 그 방법과 그를 이용한 씨모스 이미지 센서 |
| CN114143520B (zh) * | 2021-11-29 | 2023-09-26 | 中船重工（武汉）凌久电子有限责任公司 | 一种实现多路hdmi接口传输及自动校正的方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5919513B2 (ja) * | 1978-01-20 | 1984-05-07 | 株式会社東芝 | 固体撮像方式 |
| US4600946A (en) * | 1985-01-31 | 1986-07-15 | Rca Corporation | Adaptive defect correction for solid-state imagers |
| US4805023A (en) * | 1985-10-15 | 1989-02-14 | Texas Instruments Incorporated | Programmable CCD imager defect compensator |
| US4654714A (en) * | 1985-10-30 | 1987-03-31 | Rca Corporation | Pixel addressing system |
| US5047863A (en) * | 1990-05-24 | 1991-09-10 | Polaroid Corporation | Defect correction apparatus for solid state imaging devices including inoperative pixel detection |
| JP3014895B2 (ja) * | 1993-06-02 | 2000-02-28 | 株式会社日立製作所 | ビデオカメラ |
| JP3125124B2 (ja) * | 1994-06-06 | 2001-01-15 | 松下電器産業株式会社 | 欠陥画素傷補正回路 |
| US6618084B1 (en) * | 1997-11-05 | 2003-09-09 | Stmicroelectronics, Inc. | Pixel correction system and method for CMOS imagers |
| US6611288B1 (en) * | 1998-02-26 | 2003-08-26 | Micron Technology, Inc. | Dead pixel correction by row/column substitution |
-
1999
- 1999-03-30 JP JP08936499A patent/JP4199874B2/ja not_active Expired - Fee Related
-
2000
- 2000-03-29 US US09/537,669 patent/US7034872B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000287134A (ja) | 2000-10-13 |
| US7034872B1 (en) | 2006-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4199874B2 (ja) | 画像処理装置及び処理方法 | |
| US7893972B2 (en) | Method and apparatus for real time identification and correction of pixel defects for image sensor arrays | |
| JP2000284776A (ja) | 画像処理装置 | |
| JPH11103407A (ja) | Ｃｃｄデータ画素補間回路およびこのｃｃｄデータ画素 補間回路を備えたデジタルスチルカメラ | |
| JP4606218B2 (ja) | 歪補正装置 | |
| JP5151999B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2000311241A (ja) | 画像処理装置 | |
| JP4464325B2 (ja) | 画像処理装置 | |
| JP4343484B2 (ja) | イメージデータ処理装置及び撮像システム | |
| JP2006020015A (ja) | 画像処理装置 | |
| JP2002278507A (ja) | 画像処理装置および画像表示装置 | |
| JP4132264B2 (ja) | 画像信号処理回路 | |
| JP2002199281A (ja) | 画像処理装置 | |
| JP4759628B2 (ja) | イメージデータ処理装置、撮像システム、イメージデータ処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体 | |
| JP3990059B2 (ja) | 撮像デバイスの欠陥画素補正装置および方法 | |
| JPS635666A (ja) | 固体撮像装置の欠陥補正装置 | |
| JP2001243446A (ja) | 画像入力処理装置及び処理方法 | |
| JP4802482B2 (ja) | 画像処理装置及び画像処理方法 | |
| TWI386911B (zh) | 用以排列具有水平分割資料之裝置及其方法 | |
| JP2002204396A (ja) | 画素補正装置 | |
| JP6045247B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
| TWI406557B (zh) | 圖像處理裝置及方法 | |
| JPH06284382A (ja) | 記録キャリア読取り装置 | |
| JPH04142183A (ja) | 撮像装置 | |
| JP2010004308A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050603 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20060621 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080904 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081006 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131010 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |