JP3681012B2 - 画像入力装置 - Google Patents
画像入力装置 Download PDFInfo
- Publication number
- JP3681012B2 JP3681012B2 JP18257495A JP18257495A JP3681012B2 JP 3681012 B2 JP3681012 B2 JP 3681012B2 JP 18257495 A JP18257495 A JP 18257495A JP 18257495 A JP18257495 A JP 18257495A JP 3681012 B2 JP3681012 B2 JP 3681012B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- light
- respect
- spot light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Facsimile Scanning Arrangements (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【発明の属する技術分野】
本発明は、高精細でかつ広画角の画像を入力するのに好適な画像入力装置に関し、さらに詳しくは、撮像素子を移動させて画像を分割して撮像し、撮像した画像を合成する画像入力装置に関する。
【0002】
【従来の技術】
従来、この種の画像入力装置として、例えば、特開平3−240372号公報に記載されているように、結像面より小さな面積を有する撮像面を持った撮像素子を、2次元的に移動、停止させて結像面上の画像を分割して撮像し、撮像した画像を合成することで広画角の画像を生成するようにしたものがある。
【0003】
あるいは、前記従来技術の構成に加えて、撮像領域が重複するように、撮像素子を2次元的に移動、停止させて画像を撮像し、重複させた部分の画像のつながり状態を検出して画像を合成するようにしたものがある。
【0004】
【発明が解決しようとする課題】
しかしながら、撮像素子を、移動、停止させて画像を分割して撮像し、合成するためには、撮像素子の画素の大きさが、数μmであることから高い機械精度が要求されることになり、実現が困難である。
【0005】
また、重複させた部分の画像のつながり状態を検出して画像を合成するとしても、例えば、重複させた部分の画像が、濃度差が一様で変化が乏しかったり、周期的なパターンの模様であったりした場合には、つなぎ目の情報が十分に得られず、画像を合成するのが困難である。
【0006】
本発明は、上述の点に鑑みてなされたものであって、高い機械精度を要求することなく、しかも、画像情報のみでは合成が困難な画像であっても、分割撮像した画像を正確に合成できるようにした画像入力装置を提供することを目的としている。
【0007】
【課題を解決するための手段】
本発明では、上述の目的を達成するために、次のように構成している。
【0008】
すなわち、本発明は、光学系によって撮像素子の撮像面よりも大きな結像面に結像させ、前記結像面上で前記撮像素子を移動させて複数の撮像領域毎に撮像し、撮像した画像を合成して出力する画像入力装置において、前記撮像素子のy方向の移動に対しては固定され、x方向の移動に対しては共に移動するように配置され、前記撮像素子の左右どちらか一方の端に光を照射するy方向光照射手段と、前記撮像素子のx方向の移動に対して固定され、前記撮像素子の上下どちらか一方の端に光を照射するx方向光照射手段と、前記撮像素子で撮像された前記光に基づいて、前記結像面上の基準位置に対する撮像素子の撮像位置を求める撮像位置検出手段と、求められた撮像位置に基づいて、撮像した画像を合成する画像合成手段とを備えている。
【0009】
前記撮像位置検出手段は、前記基準位置に対する光の位置を予め記憶部に格納しておき、撮像領域における光の位置を検出し、この検出された撮像領域における光の位置と予め格納されている前記基準位置に対する光の位置とに基づいて、前記基準位置に対する撮像素子の撮像位置を演算するようにしてもよい。
【0010】
さらに、記憶部に格納されている基準位置に対する光の位置を書き換え可能としてもよい。
【0011】
また、前記撮像位置検出手段は、異なる撮像領域の画像を比較し、撮像領域の重複部分の光に基づいて、画像の対応位置を検出し、この画像の対応位置に基づいて、前記基準位置に対する撮像素子の撮像位置を演算してもよい。
【0012】
さらに、光照射手段は、回折格子によって複数のスポット光を照射できるようにしてもよい。
【0013】
【発明の実施の形態】
以下、図面によって本発明の実施例について、詳細に説明する。
【0014】
第1の実施例
図1は、本発明の第1の実施例の画像入力装置の要部の機構図である。
【0015】
図示しない下方の原稿面からの画像は、光学系を構成するレンズ1によって、撮像素子2よりも大きい範囲で結像される。撮像面よりも大きな結像面上に配置された撮像素子2は、ステージ3に取り付けられており、このステージ3を、x方向およびy方向にそれぞれ延びる各一対のガイド軸4,5および図示しないステッピングモータなどを備える2次元移動機構12によって、x,y方向に移動、停止させ、撮像素子2によって複数の撮像領域毎に分割して撮像を行う。
【0016】
この実施例では、撮像素子2を移動停止させる2次元移動機構12の機械精度がそれほど高くなくても、また、撮像した画像が周期的な模様であったり、輝度変化が乏しいものであって画像の合成が困難であっても、分割して撮像した画像を正確に合成することができるように、次のように構成している。
【0017】
すなわち、2次元移動機構12の機械精度などによって撮像素子2の撮像位置は、位置ずれが生じ得るが、位置ずれのないスポット光を利用し、このスポット光に基づいて、予め定めた基準位置に対する撮像素子2の撮像位置(絶対位置)を求め、この撮像位置から正確に画像を合成するのである。
【0018】
このため、この実施例では、スポット光を結像面に照射するy方向光照射手段として複数のレーザーユニット6を設けている。y方向に並設されたレーザーユニット6は、x方向への移動機構に固定的に設けられており、撮像素子2のx方向への移動に伴って一体的に移動するように構成されている。また、図示しないレーザーユニット6が、x方向にも並設されており、このx方向のレーザーユニット6は、2次元移動機構12とは別に固定的に配置され、x方向光照射手段を構成している。これらのレーザーユニット6は、結像面上で合焦するスポット光を照射する。
【0019】
x方向の図示しないレーザーユニット6によるスポット光は、固定的に並設されているので、位置ずれのないスポット光を結像面に合焦させることができる。一方、y方向に並設されているレーザーユニット6は、y方向の位置は、固定的で位置ずれはないけれども、x方向には、移動機構によって移動するので、位置ずれが生じ得ることになり、このため、後述する演算式によって、x方向に固定的に設けられたレーザーユニット6のスポット光を用いて補正を行うものである。
【0020】
なお、本発明の他の実施例として、y方向のレーザーユニット6の数を増やしてx方向に移動させることなく、すべて固定位置に設けるように構成してもよく、この場合には、y方向のレーザーユニット6も位置ずれのないスポット光を結像面に合焦させることができる。
【0021】
これらのレーザーユニット6は、図2に示されるように、レーザーダイオード7とレンズ8とから構成され、レーザーダイオード7は、レーザー駆動回路9により駆動され、必要に応じて点灯、消灯される。この図2の構成では、スポット光25は、一点に照射される。
【0022】
また、レーザーユニット6としては、図3に示されるように、回折格子10を用いたものでもよく、光の回折を利用することにより、一つのレーザーユニット6でスポット光25を数点同時に照射することができ、レーザーユニット6の数を減らすことができる。
【0023】
なお、レーザーユニット6としては、スポット光を等間隔に照射するために、例えば3点照射のレーザーユニット6を用いることもできる。
【0024】
図4は、図1に示される画像入力装置におけるスポット光と撮像領域との関係を示す図である。なお、同図においては、各撮像領域E0〜E14毎に分割して撮像される撮像領域の全体の領域Eが示されており、斜線部分は、後述の無効画像領域を示し、残余の部分は、有効画像領域を示している。
【0025】
撮像素子2は、上述の2次元移動機構12によって、矢印Bの方向に図示の番号順に移動、停止し、それぞれ図示の撮像領域E0〜E14を順次撮像する。その際、重複部分を有して撮像される。レーザーユニット6は、y方向には、y1からy5までの位置にスポット光が照射されるように配置され、x方向への移動機構と共にx方向に移動する。x方向には、x1からx3の位置にスポット光が照射されるように2次元移動機構12とは別に固定されている。
【0026】
この実施例では、各撮像領域E0〜E14で撮像されたスポット光の位置に基づいて、結像面上の基準位置に対する撮像素子2の撮像位置、すなわち、各撮像領域の絶対位置を求めるものであり、このため、後述のように予め各スポット光と撮像領域との関係を測定しておき、スポット光の位置から各撮像領域の絶対位置を求めるようにしている。
【0027】
なお、この実施例では、横3×縦5枚の画像の合成を想定しているが、レーザーユニット6を増減することにより、任意の大きさの撮像領域に対応することができる。
【0028】
図5は、この第1の実施例の構成を示すブロック図である。
【0029】
上述のレンズ1を含む光学系11により結像した画像は、2次元移動機構12に装着されて撮像素子駆動回路19によって駆動される撮像素子2によって撮像され、A/D変換回路13によりディジタル信号に変換された後、メモリ14に格納される。画像には、レーザーユニット6により照射されたスポット光も同時に撮像されている。光検出手段としてのスポット光検出回路15は、メモリ14に格納された画像情報からスポット光の位置を検出し、撮像位置演算回路16は、予め記憶部に格納されているスポット光位置テーブル17を参照し、各撮像領域の絶対位置を後述のように演算出力し、画像合成回路18が、その絶対位置に従って画像がつながるように適当な順序でメモリ14から画像情報を読み出し、合成して出力を行う。これら各部の制御は、制御回路20によって行われる。
【0030】
この実施例では、スポット光検出回路15、スポット光位置テーブル17および撮像位置演算回路16によって、基準位置に対する撮像位置を検出する撮像位置検出手段が構成される。
【0031】
図6は、スポット光検出回路15による各撮像領域におけるスポット光の位置検出を説明するための図である。
【0032】
2次元移動機構12の機械精度に応じて、同図(A)に示されるように、各撮像領域Enの中に、スポット光が照射される適当な固定領域22を設定する。2次元移動機構12の機械精度が高いほど、固定領域22の範囲は狭くできる。スポット光21が画像の中で十分輝度が高くなるように、光学系11およびスポット光21の輝度を調整する。上記固定領域22の画像を適当な閾値で2値化することにより、同図(B)に示されるように、スポット光21を抽出することができる。その後、2値画像の重心を求めることにより、スポット光21の位置が検出できる。
【0033】
このようにしてスポット光検出回路15では、各撮像領域En毎に、スポット光の位置を検出することができる。
【0034】
図7は、検出されたスポット光の位置に基づいて、予め定められた基準位置に対する撮像素子2の撮像位置、すなわち、各撮像領域の絶対位置を演算算出するための説明図である。
【0035】
この実施例では、結像面上の基準位置に対する各スポット光の位置を測定し、それをスポット光位置テーブル17に予め格納しておき、このスポット光位置テーブル17を参照して前記基準位置に対する撮像位置(絶対位置)を演算するものである。
【0036】
すなわち、図4に示されるように、予め、画像を分割して撮像し、適当な方法、例えば、画像のつなぎ目の情報を利用して画像の合成を行う。このとき、1番目に撮像した撮像領域E0の左上を基準位置である原点Oとし、この原点Oに対するスポット光Xn(Axn,Ayn),Yn(Bxn,Byn)(ただしn=1,2,…n)の位置を求め、スポット光位置テーブル17に格納しておく。このとき、スポット光Ynの位置は、図4において左の画像に写った分だけ求めればよい。
【0037】
以上のようにして、予め基準位置である原点Oに対するスポット光Xn,Ynの位置をスポット光位置テーブル17に格納しておく。
【0038】
次に、実際の原稿の画像を入力する場合において、スポット光位置テーブル17を用いて撮像素子2の撮像位置を求めるには、次のようにする。
【0039】
今、図7に示されるように、例えばスポット光xiの位置が撮像領域内で(axi,ayi)と検出され、スポット光xiを照射する列のj番目の画像中のスポット光yjの位置が撮像領域内で(bxj,byj)と検出されたとする。また、スポット光y1の位置が撮像領域内で(bx1,by1)と検出され、スポット光位置テーブル17に予め格納されている各スポット光xi,y1,yjの基準位置に対する位置を、(Axi,Ayi),(Bx1,By1),(Bxj,Byj)とする。
【0040】
このとき、j番目の画像の撮像領域の原点Oijの基準位置Oに対する絶対位置は、次のように求められる。
【0041】
【数1】
【0042】
なお、y方向に配列されたレーザーユニット6が固定位置にあって、x方向へ移動しない場合には、その位置ずれを考慮する必要がないので、上記演算式において、右辺は、第1項のみでよいが、この実施例では、上述のように、y方向に配列されたレーザーユニット6は、x方向に移動するために、x方向の固定位置のレーザーユニット6のスポット光を用いて補正するのである。
【0043】
以上の各撮像領域の絶対位置の演算は、撮像位置演算回路16によって行われる。
【0044】
画像の合成は、演算された各撮像領域の絶対位置に従って画像がつながるようにメモリ14から画像を読み出すことにより実現できる。その際、画像中にスポット光が写っているため、図4の有効画像領域の外の無効画像領域は、切り捨てる。y方向に並んだレーザーユニット6のスポット光は、画像の左側にだけしか写らないため、図4の有効画像領域内のスポット光の部分は、他方の重複領域から画像を補うことができる。画像のつなぎ目を目立たなくさせるために、つなぎ目にグラデーションを掛けることも有効である。
【0045】
この実施例では、スポット光と画像を同時撮像するため、全撮像領域のうち、回りのスポット光が写る部分の画像が減少するが、図4の無効画像領域内のスポット光を撮像する際、スポット光を消灯したときの画像も撮像すれば、無効面像領域内のスポット光部分の画像も補うことができ、全撮像領域と同じ大きさの画像を得ることができる。
【0046】
スポット光を撮像するために画像は暗めに撮像されており、輝度補正回路により画像の輝度を補正し、出力する。
【0047】
なお、スポット光位置テーブル17の予め格納されたデータは、経年変化等によってスポット光の照射位置がずれた場合にも対応できるように、書き換え可能に構成されている。
【0048】
第2の実施例
この実施例の画像入力装置の機構は、レーザーユニット6の位置以外は図1と同一である。
【0049】
図8は、この実施例のスポット光と撮像領域との関係を示す上述の図4に対応する図である。撮像素子2は、2次元移動機構12により図の矢印Bの方向に図示の番号順に移動、停止し、それぞれ図示の撮像領域E0〜E14を撮像する。レーザーユニット6は、y方向にはy1からy4までの位置にスポット光が照射されるように配置され、x方向移動機構によって撮像素子2と共にx方向に移動する。x方向には、x1とx2の位置にスポット光が照射されるように2次元移動機構12とは別に固定されている。
【0050】
各スポット光は、移動前後の撮像領域に共通に照射されている、すなわち、重複部分に照射されているため、スポット光の位置から移動前後の異なる撮像領域の相対位置を求めることができる。
【0051】
図9は、この実施例のブロック図であり、図5に対応する部分には、同一の参照符号を付す。
【0052】
光学系11により結像した画像は、2次元移動機構12に装着された撮像素子2により撮像され、A/D変換回路13によりディジタル信号に変換された後、メモリ14に格納される。画像には、レーザーユニット6により照射されたスポット光も同時に撮像されている。スポット光は移動前後の画像の重複部分に共通に照射されていることから、画像比較回路23は、移動前後の画像のうち、スポット光が照射されている部分を比較し、同じ画像が撮像されている画像の対応位置を求める。
【0053】
次に、撮像位置演算回路161が、画像の対応位置から撮像領域の絶対位置を求める。最初に撮像した画像を基準位置におけば、すべての撮像領域の絶対位置は、前記基準位置に対して一意的に求めることができる。画像合成回路181は、求められた撮像領域の絶対位置に従って適当な順序でメモリ14の画像情報を読み出し、合成して出力を行う。
【0054】
画像比較回路23は、例えば、互いの画像の輝度値の差分を求めることにより実現できる。
【0055】
基準とする画像をf、比較される画像をgとすると、次式により輝度値の差分が求められる。
【0056】
【数2】
【0057】
移動前の撮像領域のうち、スポット光が写っている付近の小領域の画像を基準画像fとし、移動後の撮像領域から画像fと同じ大きさの画像gを取り出し、上の演算を行う。画像gを取り出す位置をある範囲で動かし、dが最小なる位置のgが、fと同―の画像であると考えることができる。2次元移動機構12の機械精度が高いほど、gを検索する範囲は狭くできる。同―の画像が撮像されている位置が分かれば、移動前後の相対位置も求めることができる。
【0058】
なお、画像の比較は画像間の相関をとるなどしてもよい。
【0059】
図10は、撮像領域の相対位置演算の説明図である。いま、スポット光を含む画像を画像比較回路23により比較した結果、撮像領域kの点(sxk、syk)と撮像領域k+1の点(sxk+1,syk+1)が同―の点Pであると分かったとする。このとき、撮像領域の移動量Δx,Δyは次式のようになる。
【0060】
Δx=sxk−sxk+1
Δy=syk−syk+1
撮像領域kの原点Okを基準位置としたとき、撮像領域k+1の原点Ok+1は(Δx,Δy)となり、移動前後の撮像領域の相対位置を求めることができる。最初に撮像した画像を基準位置にとれば、すべての撮像領域の位置は、前記基準位置に対して一意に求められる。このようにして、撮像位置演算回路161では、基準位置に対する各撮像領域の絶対位置が演算出力され、画像合成回路181は、撮像領域の絶対位置に従って画像がつながるようにメモリ14から画像を読み出して出力するのである。
【0061】
なお、第1の実施例と同様に、図8の無効画像領域内のスポット光を撮像する際、スポット光を消灯したときの画像も撮像すれば、無効画像領域内のスポット光部分の画像も補うことができ、全撮像領域と同じ大きさの画像を得ることができる。
【0062】
スポット光を撮影するため、画像は暗めに撮影されているため、輝度補正回路により画像の輝度を補正し、出力する。
【0069】
【発明の効果】
以上のように本発明によれば、撮像素子を移動、停止させて画像を分割して撮像する画像入力装置において、高い機械精度を要求することなく、また、画像が周期的な模様であったり、輝度変化の乏しい画像であるために画像情報だけでは合成困難な画像であっても、結像面または原稿面に照射した光を利用することにより、基準位置に対する撮像素子の撮像位置を求めることができ、これに基づいて画像を正確に合成し、高精細な画像を得ることができる。
【0070】
また、基準位置に対する光の位置が予め格納された記憶部は、その内容を書き換えできるので、経年変化によって光照射手段による光の照射位置がずれた場合にも記憶部の内容を書き換えることにより、容易に対応できることになる。
【0071】
さらに、光照射手段は、回折格子によって複数のスポット光を照射できるので、回折格子を用いない場合に比べて、構成が簡素化される。
【図面の簡単な説明】
【図1】 本発明の一実施例の機構図である。
【図2】 レーザーユニットの構成図である。
【図3】 他のレーザーユニットの構成図である。
【図4】 図1の実施例におけるスポット光と撮像領域との関係を示す図である。
【図5】 図1の実施例のブロック図である。
【図6】 スポット光位置の検出を説明するための図である。
【図7】 図1の実施例の撮像位置の演算を説明するための図である。
【図8】 本発明の他の実施例におけるスポット光と撮像領域との関係を示す図である。
【図9】 図8の実施例のブロック図である。
【図10】 図8の実施例の撮像位置の演算を説明するための図である。
【符号の説明】
2 撮像素子
6 レーザーユニット
11 光学系
15 スポット光検出回路
16,161 撮像位置演算回路
17 スポット光位置テーブル
18,181 画像合成回路
23 画像比較回路
Claims (5)
- 光学系によって撮像素子の撮像面よりも大きな結像面に結像させ、前記結像面上で前記撮像素子を移動させて複数の撮像領域毎に撮像し、撮像した画像を合成して出力する画像入力装置において、
前記撮像素子のy方向の移動に対しては固定され、x方向の移動に対しては共に移動するように配置され、前記撮像素子の左右どちらか一方の端に光を照射するy方向光照射手段と、
前記撮像素子のx方向の移動に対して固定され、前記撮像素子の上下どちらか一方の端に光を照射するx方向光照射手段と、
前記撮像素子で撮像された前記光に基づいて、前記結像面上の基準位置に対する撮像素子の撮像位置を求める撮像位置検出手段と、
求められた撮像位置に基づいて、撮像した画像を合成する画像合成手段と、
を備えることを特徴とする画像入力装置。 - 前記撮像位置検出手段は、前記基準位置に対する光の位置が予め格納された記憶部と、撮像した光の前記撮像領域における位置を検出する光検出手段と、検出された撮像領域における光の位置および前記記憶部に予め格納されている前記基準位置に対する光の位置に基づいて、前記基準位置に対する撮像素子の撮像位置を演算する演算手段とを備える請求項1に記載の画像入力装置。
- 前記記憶部に格納された基準位置に対する光の位置は、書き換え可能である請求項2記載の画像入力装置。
- 前記y方向光照射手段は、前記複数の撮像領域の重複部分に光を照射するものであり、
前記撮像位置検出手段は、異なる撮像領域で撮像した画像を比較して重複部分における光に基づいて、画像の対応位置を検出する画像比較手段と、検出された画像の対応位置に基づいて、前記基準位置に対する撮像素子の撮像位置を演算する演算手段とを備える請求項1に記載の画像入力装置。 - 前記光照射手段は、回折格子を有して複数のスポット光を照射するものである請求項1ないし4のいずれかに記載の画像入力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18257495A JP3681012B2 (ja) | 1995-07-19 | 1995-07-19 | 画像入力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18257495A JP3681012B2 (ja) | 1995-07-19 | 1995-07-19 | 画像入力装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0935047A JPH0935047A (ja) | 1997-02-07 |
JP3681012B2 true JP3681012B2 (ja) | 2005-08-10 |
Family
ID=16120666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18257495A Expired - Fee Related JP3681012B2 (ja) | 1995-07-19 | 1995-07-19 | 画像入力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3681012B2 (ja) |
-
1995
- 1995-07-19 JP JP18257495A patent/JP3681012B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0935047A (ja) | 1997-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101141345B1 (ko) | 3차원 형상 계측 장치, 3차원 형상 계측 방법, 3차원 형상 계측 프로그램, 및 기록 매체 | |
US7139424B2 (en) | Stereoscopic image characteristics examination system | |
US6823080B2 (en) | Three-dimensional information processing apparatus and method | |
JPH11325889A (ja) | ステレオカメラの画像補正装置 | |
JP3575693B2 (ja) | 光学式計測装置 | |
JP2002071309A (ja) | 3次元画像検出装置 | |
JP3562250B2 (ja) | 先行車両検出装置 | |
JP2000011157A (ja) | 撮像装置 | |
US20060109552A1 (en) | Image blur compensation device | |
JP3621215B2 (ja) | 3次元測定装置 | |
JP3681012B2 (ja) | 画像入力装置 | |
JP2002022425A (ja) | 3次元画像入力装置 | |
JPH0969973A (ja) | 固体撮像素子の位置調整方法 | |
JP5533739B2 (ja) | 光学情報読み取り装置 | |
JP3082829B2 (ja) | 溶接線自動認識法及び装置 | |
JPH06109437A (ja) | 三次元形状計測装置 | |
JPH11241916A (ja) | 高さ測定方法、高さデータ処理方法及び高さ測定装置 | |
JP3548213B2 (ja) | 多点測距装置およびカメラ | |
JP2001074432A (ja) | 画像撮像装置 | |
JP3612983B2 (ja) | 3次元形状計測装置および画像読取装置 | |
JPH109819A (ja) | 距離計測装置 | |
JP3800841B2 (ja) | 三次元形状を計測する方法および装置ならびに三次元形状計測用プログラムを記憶した記憶媒体 | |
JP3424444B2 (ja) | 画像読取装置 | |
JP4023194B2 (ja) | 画像読取装置および合焦制御方法 | |
JP2003008841A (ja) | 画像入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050512 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080527 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090527 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100527 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |