JP3831760B2 - Shape inspection device - Google Patents

Shape inspection device Download PDF

Info

Publication number
JP3831760B2
JP3831760B2 JP2001370091A JP2001370091A JP3831760B2 JP 3831760 B2 JP3831760 B2 JP 3831760B2 JP 2001370091 A JP2001370091 A JP 2001370091A JP 2001370091 A JP2001370091 A JP 2001370091A JP 3831760 B2 JP3831760 B2 JP 3831760B2
Authority
JP
Japan
Prior art keywords
image
inspection
shape
raster
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001370091A
Other languages
Japanese (ja)
Other versions
JP2003166814A (en
Inventor
和俊 池田
小治郎 小平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Engineering and Services Co Ltd
Original Assignee
Hitachi Engineering and Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Engineering and Services Co Ltd filed Critical Hitachi Engineering and Services Co Ltd
Priority to JP2001370091A priority Critical patent/JP3831760B2/en
Publication of JP2003166814A publication Critical patent/JP2003166814A/en
Application granted granted Critical
Publication of JP3831760B2 publication Critical patent/JP3831760B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、金属、樹脂、ゴム等の成型品、金型、加工品の製造時あるいは購入時に製品あるいは部品などの被検査品の形状検査装置に関する。
【0002】
【従来の技術】
一般に、製品や部品の形状を検査するには基準となる形状設計データ(検査用図面)と形状比較を行い公差内であるかを判断するようにしている。従来、検査用図面との公差判定が必要な製品あるいは部品の形状検査装置として、例えば、特公平6-29712号公報に開示されるような投影機を用いた形状検査装置が知られている。
【0003】
投影機を使用する場合、スクリーンに投影された被検査品像の上から寸法目盛の記入された投影機と同じ倍率の基準となる検査図面(検査画像)を重ね合わせることによって、検査図面に示された公差内であるか否かを目視で判断している。
【0004】
この場合、必要であれば検査面における被検査品の輪郭をトレースした上で、検査図面との寸法差を読み取ることができる。このときの寸法校正方法は、被検査品の近傍に標準スケールを置くことによって検査面とスケール目盛りをスクリーン上に投影し、検査図面に作図された線長を測定することで行われる。
【0005】
しかしながら、投影機において被検査品の一部を拡大して検査しようとした場合には倍率に応じたレンズに交換すると同時に図面を交換しなければならない。
【0006】
さらに、検査結果は紙の図面で残されるため過去の検査結果と比較するのが困難であると同時に、人手による輪郭トレースのため個人差によって精度が一定しないという欠点がある。
【0007】
このことを解決するために、例えば、特開2001-41725号公報に開示されるようなコンピュータを使用した形状検査装置が提案されている。
【0008】
コンピュータを使用した形状検査装置は、一般的にCCDカメラによる被検査品のラスタ画像と検査図面となるグラフィック画像(ラスタ画像の検査画像)を重ね合わせて形状を比較している。この場合、検査画像を作成するには、例えば、特開2001-183811号公報に記載されているように、光学写真等の画像をスキャナで読み取り、形状データを抽出してグラフィック画像(ラスタ画像である線画像)に変換して作成する。
【0009】
【発明が解決しようとする課題】
従来技術のコンピュータシステムは、画面上に表示されるのはCCDカメラ等から入力された被検査品のラスタ画像と検査図面に対応するグラフィック図形である。画面上に被検査品のラスタ画像と公差範囲を示すグラフィック画像が表示されていても、グラフィック画像は点の集合であるドット情報であり寸法値を読み取ることはできない。そのため、合否判定は現物を測定して公差範囲内であるか否かを判定しなければならず、検査が面倒になる。
【0010】
また、CCDカメラの画像とグラフィック図形の倍率を合わせる方法(寸法校正)としては、2つのラスタ画像を1つの画面に重ねて表示させる機能(キャプチャ表示)によって、グラフィック表示画面にあらかじめ表示されている基準形状にCCDカメラで撮像した被検査品の画像を合わせ込むことで行われている。
【0011】
寸法校正が正しいことを保証するためには形状判定する被検査品について、検査前と検査後の2回校正しなければ正しい精度であることを保証できない。これは、検査中にCCDカメラの倍率が変化していないことを証明するための方法が他にないためである。
【0012】
さらに、CCDカメラの画素数は一定のため、被検査品の全体画像から一部を切り出し任意の倍率に拡大して検査しようとした場合には、検査対象範囲の表示画素数が少なくなってしまい検査対象部分の解像度が低くなる。従って、レンズ交換等により光学的に倍率を上げなければならないが、倍率変更に伴う寸法校正が必要となる。
【0013】
また、被検査品の形状輪郭に対して予め作成されている合否判定のための形状パターンを重ね合わせて検査する方式(パターンマッチング方式)は、被検査品に合わせた形状パターンの作成が必要となる。その場合、ゴム成型品のように製品そのものが変化する場合には、予測される変形に応じた複数の形状パターンを作成しなければならない。従って、新機種ごとにパターン作成の費用が発生するとともに、システム構成が複雑となり高価な装置となる。
【0014】
本発明の目的は、被検査品の形状画像の寸法を測定でき検査画像の公差範囲内であるかを簡単に判定できる形状検査装置を提供することにある。
【0015】
【課題を解決するための手段】
本発明の特徴とするところは、解像度を調整できるイメージスキャナによって被検査品の形状ラスタ画像を得て2値化処理したラスタ画像をベクトル画像に変換し、被検査品の形状画像と形状設計データであるベクトル画像の検査画像を重ね合わせ画面に表示して被検査品の形状画像と検査画像を比較すると共に被検査品の形状画像の寸法を測定するようにしたことにある。
【0016】
本発明において、被検査品は実物を平板上に切出し加工した物やレプリカが用いられる。
【0017】
本発明は被検査品の形状画像をベクトル画像(CADデータ)にしてベクトル画像の検査画像と比較するようにしているので、画面に表示された被検査品の形状画像から寸法を測定でき検査画像の公差範囲内であるかを簡単に判定することができる。
【0018】
また、CAD化された被検査品の輪郭データから新たに検査図面(検査画像)を生成することができるようになるので、ゴム等の型製品において設計図面から製作した型と実際に製作された製品の形状・寸法が異なっている場合でも、実用上問題とならない範囲に製作された製品の形状を部分的に修正することで実用的な基準となる検査図面を得ることができる。
【0019】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1に本発明の一実施例を示す。
図1において、形状検査装置は、被検査品の画像入力部1、画像入力部1から得られる被検査品のラスタ画像をベクトル画像(CADデータ)に変換し検査図面(検査画像)と重ね合わせて合否判定をおこなう演算処理部2、画像データの表示あるいは寸法を測定するための表示部3、文字入力や画像データを操作するための例えばマウス、キーボード等の操作部4および検査結果を出力するための例えばプリンタ等の出力部5から構成される。
【0020】
画像入力部1は、イメージスキャナ11と被検査品(検査品)12および寸法校正用の標準スケール13をセットするためのコンタクトガラス面14があり、さらに画像入力に不要な外光を遮蔽するためのカバー15とイメージスキャナ11の内部照明11c(図2に図示)による不要な影(回析光)を消去するために被検査品12の上部から照明する外部照明16を備えている。
【0021】
演算処理部2は、画像入力部1より入力される被検査品12のラスタ画像の明るさ、コントラスト、2値化処理等をするためのラスタ画像処理部22と、ラスタ画像をベクトル画像に変換するためのラスタベクタ変換処理部23と、ベクトル化された被検査品12のCAD図データのスケール値を校正するための寸法校正処理部24と、予め記憶部29に格納されている検査図面(検査画像)29aとベクトル変換された被検査品12の輪郭形状画像を移動、回転、重ね合わせるための重ね合せ処理部25と、形状比較または寸法検査により合否判定をするための合否判定処理部26と、画像データ表示や寸法測定、重ね合せをするための表示部3と、文字入力、画像の操作をするための例えばマウス、キーボードのような操作部4と、検査結果を出力するための例えばプリンタ等の出力部5とを備えている。
【0022】
図2は外部照明16による影の消去を説明する図で、図1と合わせて説明する。
図2(a)において画像情報を入力するためイメージスキャナ11に内臓されたCCDセンサ11aが被検査品12の垂直面12aに近づいたとする。このとき、イメージスキャナ11の内部照明11cはイメージセンサの近傍から被検査品12の垂直面12aに対し所定の照射範囲11dで被検査品12の垂直面12aに照射される。
【0023】
一方、CCDセンサ11aは明暗を認識するCCDセンサ11aの認識範囲11bを有するが、被検査品12に対して照射範囲11dにある厚み方向に照射された範囲を画像として認識してしまう。その結果、被検査品12の垂直面12aおよび何もない空白部分を平均した明度情報を得ることになる。従って、被検査品12の輪郭部から外側の画像輪郭部には検査品の垂直面12aの情報が含まれ、これが画像における影となって現れる。
【0024】
しかし、図2(a)の状態において図2(b)に示すように被検査品12の上部からイメージスキャナ11のコンタクトガラス面14を介してCCDセンサ11aに適度な照度の外部照明16を当てることによって、被検査品12の垂直面12aにおける明度低下を補正することができる。
【0025】
図3は画像入力部1から入力された被検査品12のラスタ画像であるTIFFフォーマットファイル(Tagged-Image File Format)をラスタベクタ変換によりベクトルデータに変換する場合において、イメージスキャナ11に設定した解像度情報をラスタ画像内から抽出し、実寸表示のCADデータに自動変換することについて説明した図である。
【0026】
解像度情報を含むファイル形式であるTIFFファイルの構造について説明する。TIFFファイル形式はスキャナ11で読み込まれたデータを処理するために作られたタグ付画像ファイル形式の画像フォーマット仕様である。
【0027】
図3はTIFFファイルの一例構成図であって、情報の記録領域であるヘッダ(A)とイメージファイルディレクトリ(B)およびデータ領域(C)に分かれている。解像度等の画像情報はイメージファイルディレクトリ(B)に記録される。したがって、TIFF形式のファイルではイメージファイルディレクトリ(IFD)の内容を読み取ることによって、画像入力装置1で読み込まれた解像度を判定することができる。画像ファイルの解像度は1インチ当たりのドット数を示しているので、ドット数をカウントすることで寸法に変換することが可能となる。
【0028】
このことを図4を用いて説明する。
図4において、12bは被検査品12のラスタ画像を示し、12cは被検査品12のラスタ画像12bについて輪郭を抽出しベクトル(CAD)データとしたものを示す。
【0029】
図4(a)は、画像入力部1から入力された被検査品12と標準スケール13のラスタ画像12bであって、外部照明16により影を消去するとともにラスタ画像処理部22で画像処理を施し2値化画像に変換したものである。図4(b)は、2値化されたラスタ画像をラスタベクタ変換処理部23によりベクトルデータに変換したCAD図であって、同時に変換された標準スケール13によって寸法校正されている。
【0030】
図4(c)は、記憶部29に予め格納されている検査図面29aであって、形状、公差、重ね合せをするための基準線等の合否判定に必要な項目が記入されている。図4(d)は被検査品12のCAD図データ12cと検査図面29aを基準線に従って重ね合わせた図である。また、図4(e)は、重ね合わせたデータについて形状を判定し、図面に指定された位置の寸法を測定した図である。
【0031】
さて、図4(e)における(イ)−(ロ)間は検査図面29aに示された寸法公差であって36±0.5を示している。従って合格範囲は35.5から36.5の範囲となる。一方、検査図面29aの(イ)−(ロ)間に相当する被検査品12の位置は(イ)−(ハ)間で30.0となる。従って、公差の合格範囲に入らないため不合格となる。
【0032】
このように、ラスタ画像をベクトル画像に変換してCADデータとして扱うことで形状を目視で比較できると共に公差を数値で示すことが可能となる。さらに検査図面(検査画像)29aに公差の輪郭を記入することで複雑な形状であっても正確な形状・寸法測定が可能となる。
【0033】
図5に本発明による形状検査装置のフローチャートを示す。
図1、図2に示す本発明の実施例の動作を図5を参照して説明する。
まず、記憶部29に予め格納されている検査図面29aを用いて被検査品12の合否判定をすることについて説明する。
【0034】
ステップS101において被検査品12と寸法校正用の標準スケール13をイメージスキャナ11のコンタクトガラス面14にセットし、周囲から光が入らないようにカバー15をする。ステップS102では被検査品12と標準スケール13に外部照明16を当てる。
【0035】
ステップS102からステップS103に移行して、イメージスキャナ11の内部照明11cと外部照明16に合わせて被検査品12の画像取り込み範囲、明るさ、コントラスト、解像度、カラー条件等の画像入力条件をイメージスキャナ11に設定する。イメージスキャナ11への画像入力条件の設定は演算処理部2の操作部4から入力される。この場合、被検査品12の形状と厚さによって外部照明16の照度を調節し形状輪郭部に発生する影が消えるように設定する。
【0036】
ステップS104では、ステップS103で設定されたイメージスキャナ11の画像入力条件に従って被検査品12と標準スケール13の形状画像を取り込み、原画像として一時記憶部28に保存後にラスタ画像処理部22に加えられる。ステップS105では画像のノイズ(画像以外の不要な点や線)を取り除き、ステップS106に移りで2値化処理をした上で画像ファイルとして一時記憶部28に保存後にラスタベクタ変換処理部23に送られる。一時記憶部28に保存するファイル形式は画像の解像度情報を含む形式、例えばTIFFフォーマットとする。
【0037】
ステップS107では、ステップS106で一時記憶部28に保存された2値化画像ファイルに対してラスタベクタ変換処理部23においてラスタベクタ処理を施しCADデータに変換する。ラスタベクタ変換処理部23は、画像ファイルに含まれる解像度情報を読み取り実寸法に変換したCAD図(ベクトル画像)を作成する。ラスタベクタ変換処理部23で変換されたCADデータは市販されている一般的なCADソフトで読み書きができるようにDXFファイルフォーマット等で一時記憶部28に保存され、寸法校正処理部24に与えられる。
【0038】
ステップS108では、被検査品12と同時にCAD変換された標準スケール13の長さを検査員が表示部3を見ながら操作部4の例えばマウス操作によって測定し、自動変換された寸法値と比較することによって校正する。
【0039】
例えば、寸法誤差が100±0.1mmと設定されていた場合において、標準スケールの100mmを測定したときにCAD上で101mmであった場合には100/101=0.99倍の寸法補正を行うことによって表示寸法の校正とする。寸法校正され、CAD図に変換された検査品12の輪郭図は、市販されている一般的なCADソフトで読み書きができるようにDXFファイルフォーマット等で一時記憶部28に保存され、重ね合せ処理部25に送られる。
【0040】
ステップS109では、被検査品12のCADデータ12cと、設計図面から作成し予め記憶部29に記憶されている検査図面(A)29aを表示部3の同じ画面上に表示させ、操作部4の例えばマウス操作により検査図面(A)29aを固定させて検査品12の輪郭データを回転、移動あるいは、画面の一部拡大、縮小機能によって検査図面(A)29aの基準線に合わせて形状の重ね合わせを行い、合否判定処理部26に送る。
【0041】
ステップS110では、検査図面(A)29aに記入されている位置、寸法、公差、変形程度等の情報から検査品12との差を測定あるいは形状が公差内であるかを検査員が判定する。さらに必要であれば合否判定等の必要項目を入力する。
最後にステップS111で記憶部29に保存する。
【0042】
このようにして被検査品の検査を行うのであるが、被検査品の形状画像をベクトル画像(CADデータ)にしてベクトル画像の検査画像と比較するようにしているので、画面に表示された被検査品の形状画像から寸法を測定でき検査画像の公差範囲内であるかを簡単に判定することができる。
【0043】
また、被検査品の現物と検査図面をベクトルデータ(CADデータ)として扱うことが可能となるので、ラスタ画像の欠点である拡大縮小による解像度の変化を受けなくなり、複雑な形状であっても正確な寸法測定が可能となる。
【0044】
図6に本発明の他の実施例を示す。
図6において図1の実施例と異なるところは、被検査品のベクトルデータ(CADデータ)から基準となる検査図面を作成する図面生成処理部27を設けたことである。
【0045】
図7に図6のフローチャートを示す。図7において図5のステップS108までの被検査品のベクトルデータを作成し寸法校正を行うところまでは同じ手順であり説明を省略する。
【0046】
ステップS108で作成された被検査品12のCADデータ12cは図面生成処理部27に与えられる。図面生成処理部27は輪郭修正および公差、形状変化範囲、図面フォーマット等を追加した上で被検査品12から生成された旨の履歴を記入し検査図面(B)29aとして保存される。
【0047】
被検査品12から作成された検査図面(B)29aは、ゴム等の型製品において、設計図面から製作した型と実際に製作された製品の形状・寸法が異なっている場合でも実用上問題とならない場合には履歴を明確にした上で検査図面(B)29aとして使用することができる。
【0048】
図6の実施例においても被検査品の形状画像をベクトル画像(CADデータ)にしてベクトル画像の検査画像と比較するようにしているので、画面に表示された被検査品の形状画像から寸法を測定でき検査画像の公差範囲内であるかを簡単に判定することができる。
【0049】
また、図6の実施例ではゴム製品のように製品そのものの形状・寸法が設計図面と異なってしまうような場合でも、実用上問題とならない場合には設計図面を使用した検査図面の代わりに検査品のCAD図から生成された検査図面を使用することができる。従って、生産ロットに合わせた検査図面の提供が可能となる。
【0050】
【発明の効果】
発明によれば、被検査品の形状画像をベクトル画像(CADデータ)にしてベクトル画像の検査画像と比較するようにしているので、画面に表示された被検査品の形状画像から寸法を測定でき検査画像の公差範囲内であるかを簡単に判定することができる。
【図面の簡単な説明】
【図1】 本発明の一実施例を示す構成図である。
【図2】 イメージスキャナの外部照明により形状輪郭の影を消去する説明図である。
【図3】 TIFFファイルの一例構成図である。
【図4】 本発明の検査状態の推移を示す図である。
【図5】 本発明の動作を説明するフローチャートである。
【図6】 本発明の他の実施例を示す構成図である。
【図7】 図6に示すの実施例の動作を説明するフローチャートである。
【符号の説明】
1 画像入力部
11 イメージスキャナ
11a CCDセンサ
11b CCDセンサの認識範囲
11c イメージスキャナの内部照明
11d 照射範囲
12 被検査品
12a 被検査品の垂直面
12b 被検査品のラスタ画像
12c 被検査品のCADデータ
13 標準スケール
14 コンタクトガラス面
15 カバー
16 外部照明
2 演算処理部
21 制御部
22 ラスタ画像処理部
23 ラスタベクタ変換処理部
24 寸法校正処理部
25 重ね合せ処理部
26 合否判定処理部
27 図面生成処理部
28 一時記憶部
29 記憶部
29a 検査図面
3 表示部
4 操作部
5 出力部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a shape inspection apparatus for a product to be inspected such as a product or a part at the time of manufacture or purchase of a molded product such as metal, resin or rubber, a mold, or a processed product.
[0002]
[Prior art]
In general, in order to inspect the shape of a product or a part, the shape is compared with a shape design data (inspection drawing) as a reference to determine whether it is within tolerance. 2. Description of the Related Art Conventionally, a shape inspection apparatus using a projector as disclosed in, for example, Japanese Patent Publication No. 6-29712 is known as a shape inspection apparatus for a product or part that requires a tolerance determination with respect to an inspection drawing.
[0003]
When a projector is used, an inspection drawing (inspection image) that is the reference of the same magnification as the projector with the dimensional scale is superimposed on the inspected product image projected on the screen, and shown in the inspection drawing. It is judged visually whether it is within the tolerance.
[0004]
In this case, if necessary, the dimensional difference from the inspection drawing can be read after tracing the contour of the inspection object on the inspection surface. The dimensional calibration method at this time is performed by projecting an inspection surface and a scale scale on a screen by placing a standard scale in the vicinity of the product to be inspected, and measuring the line length drawn on the inspection drawing.
[0005]
However, if it is intended to inspect a part of the inspected product with a projector, the drawing must be replaced at the same time as the lens corresponding to the magnification.
[0006]
Furthermore, since the inspection result is left in a paper drawing, it is difficult to compare it with the past inspection result, and at the same time, there is a drawback that the accuracy is not constant due to individual differences due to manual contour tracing.
[0007]
In order to solve this problem, for example, a shape inspection apparatus using a computer as disclosed in JP-A-2001-41725 has been proposed.
[0008]
A shape inspection apparatus using a computer generally compares a raster image of a product to be inspected by a CCD camera with a graphic image (inspection image of a raster image) as an inspection drawing to compare the shapes. In this case, in order to create an inspection image, for example, as described in Japanese Patent Laid-Open No. 2001-183811, an image such as an optical photograph is read by a scanner, shape data is extracted, and a graphic image (raster image is used). Create a line image).
[0009]
[Problems to be solved by the invention]
In the computer system of the prior art, what is displayed on the screen is a raster image of the inspected product input from a CCD camera or the like and a graphic figure corresponding to the inspection drawing. Even if a raster image of a product to be inspected and a graphic image indicating a tolerance range are displayed on the screen, the graphic image is dot information that is a set of points, and a dimension value cannot be read. Therefore, the pass / fail judgment must measure the actual product to determine whether it is within the tolerance range, and the inspection becomes troublesome.
[0010]
Further, as a method (dimension calibration) for matching the magnification of the image of the CCD camera and the graphic figure (dimension calibration), it is displayed in advance on the graphic display screen by a function (capture display) for displaying two raster images superimposed on one screen. This is done by matching the image of the inspected product imaged by the CCD camera with the reference shape.
[0011]
In order to guarantee that the dimensional calibration is correct, it is not possible to guarantee that the product to be inspected has the correct accuracy unless it is calibrated twice before and after the inspection. This is because there is no other way to prove that the magnification of the CCD camera has not changed during the inspection.
[0012]
Furthermore, since the number of pixels of the CCD camera is constant, if a part of the entire image of the inspected product is cut out and enlarged to an arbitrary magnification for inspection, the number of display pixels in the inspection target range is reduced. The resolution of the inspection target portion is lowered. Therefore, the magnification must be optically increased by exchanging lenses, but dimensional calibration is required when the magnification is changed.
[0013]
In addition, a method (pattern matching method) in which a shape pattern for pass / fail determination that has been created in advance is inspected on the shape contour of the product to be inspected (pattern matching method) requires creation of a shape pattern that matches the product to be inspected. Become. In that case, when the product itself changes like a rubber molded product, a plurality of shape patterns corresponding to the predicted deformation must be created. Therefore, the cost for creating a pattern is incurred for each new model, and the system configuration becomes complicated, resulting in an expensive apparatus.
[0014]
An object of the present invention is to provide a shape inspection apparatus capable of measuring the size of a shape image of a product to be inspected and easily determining whether the inspection image is within a tolerance range.
[0015]
[Means for Solving the Problems]
A feature of the present invention is that a raster image obtained by obtaining a shape raster image of an inspected product by an image scanner capable of adjusting resolution and binarizing the image is converted into a vector image, and the shape image and shape design data of the inspected product are converted. The inspection image of the vector image is displayed on the overlay screen to compare the shape image of the inspected product with the inspection image and measure the size of the shape image of the inspected product.
[0016]
In the present invention, as the product to be inspected, an actual product cut out on a flat plate or a replica is used.
[0017]
In the present invention, since the shape image of the inspected product is converted into a vector image (CAD data) and compared with the inspection image of the vector image, the size can be measured from the shape image of the inspected product displayed on the screen. It is possible to easily determine whether it is within the tolerance range.
[0018]
In addition, since a new inspection drawing (inspection image) can be generated from the contour data of the CAD-inspected product, it is actually manufactured with a mold made from a design drawing in a mold product such as rubber. Even when the shape and size of the product are different, it is possible to obtain an inspection drawing as a practical reference by partially correcting the shape of the product manufactured within a range where there is no practical problem.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows an embodiment of the present invention.
In FIG. 1, the shape inspection apparatus converts an inspected product image input unit 1 and a raster image of the inspected product obtained from the image input unit 1 into a vector image (CAD data) and superimposes it on an inspection drawing (inspected image). An arithmetic processing unit 2 that performs pass / fail determination, a display unit 3 for displaying image data or measuring dimensions, an operation unit 4 such as a mouse or a keyboard for operating character input and image data, and an inspection result. For example, it comprises an output unit 5 such as a printer.
[0020]
The image input unit 1 has a contact glass surface 14 for setting an image scanner 11, an inspected product (inspected product) 12, and a standard scale 13 for dimensional calibration, and further shields external light unnecessary for image input. The external illumination 16 for illuminating from the upper part of the inspected product 12 is provided to erase unnecessary shadows (diffracted light) by the cover 15 and the internal illumination 11c (illustrated in FIG. 2) of the image scanner 11.
[0021]
The arithmetic processing unit 2 converts the raster image into a vector image, a raster image processing unit 22 for performing the brightness, contrast, binarization processing, etc. of the raster image of the inspected product 12 input from the image input unit 1 A raster vector conversion processing unit 23, a dimension calibration processing unit 24 for calibrating the scale value of CAD vector data of the inspected product 12 that has been vectorized, and an inspection drawing (inspection) previously stored in the storage unit 29 Image) 29a and an overlay processing unit 25 for moving, rotating, and overlaying the contour shape image of the product 12 to be inspected, and a pass / fail determination processing unit 26 for performing pass / fail determination by shape comparison or dimensional inspection. A display unit 3 for displaying image data, measuring dimensions, and superimposing; an operation unit 4 such as a mouse and a keyboard for inputting characters and operating images; and an inspection. And an output unit 5, for example, a printer or the like for outputting the result.
[0022]
FIG. 2 is a diagram for explaining shadow erasure by the external illumination 16, and will be described together with FIG.
In FIG. 2A, it is assumed that the CCD sensor 11a built in the image scanner 11 for inputting image information approaches the vertical surface 12a of the article 12 to be inspected. At this time, the internal illumination 11c of the image scanner 11 irradiates the vertical surface 12a of the inspected product 12 in the predetermined irradiation range 11d with respect to the vertical surface 12a of the inspected product 12 from the vicinity of the image sensor.
[0023]
On the other hand, the CCD sensor 11a has a recognition range 11b of the CCD sensor 11a for recognizing light and dark, but recognizes the range irradiated in the thickness direction in the irradiation range 11d with respect to the inspection object 12 as an image. As a result, lightness information is obtained by averaging the vertical surface 12a of the article 12 to be inspected and the blank portion having nothing. Therefore, the image contour portion outside the contour portion of the inspected product 12 includes information on the vertical surface 12a of the inspected product, and this appears as a shadow in the image.
[0024]
However, in the state of FIG. 2A, as shown in FIG. 2B, the external illumination 16 having an appropriate illuminance is applied to the CCD sensor 11a from the upper part of the inspected product 12 through the contact glass surface 14 of the image scanner 11. Accordingly, it is possible to correct a decrease in brightness on the vertical surface 12a of the inspected product 12.
[0025]
FIG. 3 shows resolution information set in the image scanner 11 when a TIFF format file (Tagged-Image File Format), which is a raster image of the inspected product 12 input from the image input unit 1, is converted into vector data by raster vector conversion. Is extracted from the raster image and is automatically converted into CAD data of actual size display.
[0026]
The structure of a TIFF file that is a file format including resolution information will be described. The TIFF file format is an image format specification of a tagged image file format created for processing data read by the scanner 11.
[0027]
FIG. 3 shows an example of the configuration of a TIFF file, which is divided into a header (A), an image file directory (B), and a data area (C), which are information recording areas. Image information such as resolution is recorded in the image file directory (B). Therefore, the resolution read by the image input apparatus 1 can be determined by reading the contents of the image file directory (IFD) in the TIFF format file. Since the resolution of the image file indicates the number of dots per inch, it can be converted into dimensions by counting the number of dots.
[0028]
This will be described with reference to FIG.
In FIG. 4, 12 b represents a raster image of the inspected product 12, and 12 c represents a contour extracted from the raster image 12 b of the inspected product 12 as vector (CAD) data.
[0029]
FIG. 4A shows the inspected product 12 and the standard scale 13 raster image 12b input from the image input unit 1, and the shadows are erased by the external illumination 16 and the raster image processing unit 22 performs image processing. This is converted into a binary image. FIG. 4B is a CAD diagram in which a binarized raster image is converted into vector data by the raster vector conversion processing unit 23, and the size is calibrated by the standard scale 13 converted at the same time.
[0030]
FIG. 4C is an inspection drawing 29a stored in advance in the storage unit 29, and items necessary for pass / fail judgment such as shape, tolerance, reference line for superimposing, etc. are entered. FIG. 4D is a diagram in which the CAD diagram data 12c of the product to be inspected 12 and the inspection drawing 29a are superposed according to the reference line. FIG. 4E is a diagram in which the shape of the superimposed data is determined and the dimension at the position specified in the drawing is measured.
[0031]
4 (e), the dimension tolerance shown in the inspection drawing 29a is 36 ± 0.5. Therefore, the pass range is 35.5 to 36.5. On the other hand, the position of the inspected product 12 corresponding to the interval between (a) and (b) in the inspection drawing 29a is 30.0 between (a) and (c). Therefore, it is rejected because it does not fall within the tolerance pass range.
[0032]
In this way, by converting a raster image into a vector image and treating it as CAD data, the shapes can be visually compared and tolerances can be indicated numerically. Furthermore, accurate shape / dimension measurement is possible even if it is a complicated shape by entering a tolerance outline in the inspection drawing (inspection image) 29a.
[0033]
FIG. 5 shows a flowchart of the shape inspection apparatus according to the present invention.
The operation of the embodiment of the present invention shown in FIGS. 1 and 2 will be described with reference to FIG.
First, the pass / fail determination of the inspected product 12 using the inspection drawing 29a stored in advance in the storage unit 29 will be described.
[0034]
In step S101, the inspected product 12 and the standard scale 13 for dimensional calibration are set on the contact glass surface 14 of the image scanner 11, and the cover 15 is placed so that light does not enter from the surroundings. In step S102, the external illumination 16 is applied to the inspected product 12 and the standard scale 13.
[0035]
The process proceeds from step S102 to step S103, and image input conditions such as the image capture range, brightness, contrast, resolution, and color conditions of the inspected product 12 are set in accordance with the internal illumination 11c and the external illumination 16 of the image scanner 11. 11 is set. Setting of image input conditions to the image scanner 11 is input from the operation unit 4 of the arithmetic processing unit 2. In this case, the illuminance of the external illumination 16 is adjusted according to the shape and thickness of the product to be inspected 12 so that the shadow generated on the shape contour portion disappears.
[0036]
In step S104, the shape image of the inspected product 12 and the standard scale 13 is captured in accordance with the image input condition of the image scanner 11 set in step S103, and is stored in the temporary storage unit 28 as an original image and then added to the raster image processing unit 22. . In step S105, the image noise (unnecessary points and lines other than the image) is removed, the process proceeds to step S106, the binarization process is performed, the image file is stored in the temporary storage unit 28, and then sent to the raster vector conversion processing unit 23. . The file format stored in the temporary storage unit 28 is a format including image resolution information, for example, a TIFF format.
[0037]
In step S107, the raster vector conversion processing unit 23 performs raster vector processing on the binarized image file saved in the temporary storage unit 28 in step S106 to convert it into CAD data. The raster vector conversion processing unit 23 reads the resolution information included in the image file and creates a CAD diagram (vector image) obtained by converting the resolution information into an actual size. The CAD data converted by the raster vector conversion processing unit 23 is stored in the temporary storage unit 28 in the DXF file format or the like so as to be read / written by commercially available general CAD software, and is given to the dimension calibration processing unit 24.
[0038]
In step S108, the inspector measures the length of the standard scale 13 which is CAD-converted simultaneously with the inspected product 12 by, for example, operating the mouse on the operation unit 4 while looking at the display unit 3, and compares the length with the automatically converted dimension value. To calibrate.
[0039]
For example, in the case where the dimensional error is set to 100 ± 0.1 mm, when 100 mm of the standard scale is measured and it is 101 mm on the CAD, the dimensional correction of 100/101 = 0.99 times is performed. The display dimensions are calibrated. The contour drawing of the inspected product 12 that has been calibrated and converted into a CAD drawing is stored in the temporary storage unit 28 in a DXF file format or the like so that it can be read and written by commercially available general CAD software. 25.
[0040]
In step S109, the CAD data 12c of the inspected product 12 and the inspection drawing (A) 29a created from the design drawing and stored in advance in the storage unit 29 are displayed on the same screen of the display unit 3, and the operation unit 4 For example, the inspection drawing (A) 29a is fixed by operating the mouse, and the contour data of the inspection product 12 is rotated, moved, or partially overlapped with the reference line of the inspection drawing (A) 29a by the function of partially expanding or reducing the screen. Matching is performed, and the result is sent to the pass / fail judgment processing unit 26.
[0041]
In step S110, the inspector determines whether the difference from the inspection product 12 is within the tolerance or the shape is within the tolerance from the information such as the position, dimension, tolerance, deformation degree, etc. entered in the inspection drawing (A) 29a. If necessary, necessary items such as pass / fail judgment are input.
Finally, it is stored in the storage unit 29 in step S111.
[0042]
In this way, the inspected product is inspected. Since the shape image of the inspected product is converted into a vector image (CAD data) and compared with the inspection image of the vector image, the inspected product displayed on the screen is displayed. The dimensions can be measured from the shape image of the inspection product, and it can be easily determined whether the inspection image is within the tolerance range.
[0043]
In addition, the actual product and the inspection drawing of the inspected product can be handled as vector data (CAD data), so that the resolution change due to enlargement / reduction, which is a defect of the raster image, is not affected, and even a complicated shape is accurate. Dimensional measurement is possible.
[0044]
FIG. 6 shows another embodiment of the present invention.
6 is different from the embodiment of FIG. 1 in that a drawing generation processing unit 27 is provided which creates a reference inspection drawing from vector data (CAD data) of an inspected product.
[0045]
FIG. 7 shows a flowchart of FIG. In FIG. 7, the procedure is the same up to the point where the vector data of the inspected product up to step S108 in FIG.
[0046]
The CAD data 12c of the inspected product 12 created in step S108 is given to the drawing generation processing unit 27. The drawing generation processing unit 27 adds a contour correction and tolerance, a shape change range, a drawing format, and the like, fills in a history of the generation from the inspected product 12, and stores it as an inspection drawing (B) 29a.
[0047]
The inspection drawing (B) 29a created from the inspected product 12 is a practical problem even if the shape and dimensions of the mold manufactured from the design drawing and the actually manufactured product are different in a mold product such as rubber. If not, it can be used as the inspection drawing (B) 29a after clarifying the history.
[0048]
In the embodiment of FIG. 6 as well, the shape image of the inspected product is converted into a vector image (CAD data) and compared with the inspection image of the vector image, so the dimensions are determined from the shape image of the inspected product displayed on the screen. It can be measured and it can be easily determined whether it is within the tolerance range of the inspection image.
[0049]
In the embodiment of FIG. 6, even if the shape and dimensions of the product itself are different from the design drawing, such as a rubber product, if there is no practical problem, an inspection is performed instead of the inspection drawing using the design drawing. An inspection drawing generated from a CAD drawing of the product can be used. Therefore, it is possible to provide inspection drawings according to the production lot.
[0050]
【The invention's effect】
According to the invention, since the shape image of the inspected product is converted into a vector image (CAD data) and compared with the inspection image of the vector image, the dimensions can be measured from the shape image of the inspected product displayed on the screen. It is possible to easily determine whether the inspection image is within the tolerance range.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing an embodiment of the present invention.
FIG. 2 is an explanatory diagram for erasing a shadow of a shape outline by external illumination of an image scanner.
FIG. 3 is an example configuration diagram of a TIFF file.
FIG. 4 is a diagram showing the transition of the inspection state of the present invention.
FIG. 5 is a flowchart illustrating the operation of the present invention.
FIG. 6 is a block diagram showing another embodiment of the present invention.
FIG. 7 is a flowchart for explaining the operation of the embodiment shown in FIG. 6;
[Explanation of symbols]
1 Image Input Unit 11 Image Scanner 11a CCD Sensor 11b CCD Sensor Recognition Range 11c Image Scanner Internal Illumination 11d Irradiation Range 12 Inspected Product 12a Inspected Product Vertical Surface 12b Inspected Product Raster Image 12c Inspected Product CAD Data 13 Standard scale 14 Contact glass surface 15 Cover 16 External illumination 2 Arithmetic processing unit 21 Control unit 22 Raster image processing unit 23 Raster vector conversion processing unit 24 Size calibration processing unit 25 Overlay processing unit 26 Pass / fail judgment processing unit 27 Drawing generation processing unit 28 Temporary storage unit 29 Storage unit 29a Inspection drawing 3 Display unit 4 Operation unit 5 Output unit

Claims (3)

解像度を調整でき、厚みのある被検査品の形状のラスタ画像を出力し、内部照明手段を有するイメージスキャナを備えた画像入力手段と、前記イメージスキャナから得られたラスタ画像を2値化処理するラスタ画像処理手段と、前記ラスタ画像処理手段が出力する前記被検査品のラスタ画像をベクトル画像に変換するラスタベクタ変換処理手段と、前記被検査品の形状設計データであるベクトル画像の検査画像を格納する記憶手段と、ベクトル画像に変換された前記被検査品の形状画像と前記検査画像を重ね合わせ画面に表示するための重ね合せ処理手段と、画面に重ね合わせ表示された前記被検査品の形状画像と前記検査画像を比較すると共に前記被検査品の形状画像の寸法を測定して前記被検査品が公差範囲内であるかを判定する合否判定手段とを具備し、前記画像入力手段は前記イメージスキャナのコンタクトガラス面に置かれた前記被検査品の上部から照明する外部照明手段を備え、前記外部照明手段は前記被検査品の形状輪郭部に発生する影が消えるように照度を設定されていることを特徴とする形状検査装置。The resolution can be adjusted, the raster image of the shape of the thick inspected product is output, and the image input means including an image scanner having an internal illumination means and the raster image obtained from the image scanner are binarized. Raster image processing means, raster vector conversion processing means for converting the raster image of the inspected product output from the raster image processing means into a vector image, and an inspection image of a vector image as shape design data of the inspected product are stored Storage means, a shape image of the inspected product converted into a vector image, an overlay processing means for displaying the inspection image on a superimposed screen, and a shape of the inspected product displayed superimposed on the screen A pass / fail judgment that compares the image with the inspection image and measures the size of the shape image of the inspected product to determine whether the inspected product is within a tolerance range And means, said image input means comprises an external illumination means for illuminating the top of the inspection article placed on a contact glass surface of the image scanner, the external illuminating means is the inspection article shape contour Illuminance is set so that the shadow that occurs in the screen disappears . 解像度を調整でき、被検査品を厚みのある平板状に形成した前記被検査品の形状のラスタ画像を出力し、内部照明手段を有するイメージスキャナと、前記イメージスキャナのコンタクトガラス面に置かれた前記被検査品の上部から照明し、前記被検査品の形状輪郭部に発生する影が消えるように照度を設定されている外部照明手段と、前記イメージスキャナから得られたラスタ画像を2値化処理するラスタ画像処理手段と、前記ラスタ画像処理手段が出力する前記被検査品のラスタ画像をベクトル画像に変換するラスタベクタ変換処理手段と、前記被検査品の形状設計データであるベクトル画像の検査画像を格納する記憶手段と、ベクトル画像に変換された前記被検査品の形状画像と前記検査画像を重ね合わせ画面に表示するための重ね合せ処理手段と、画面に重ね合わせ表示された前記被検査品の形状画像と前記検査画像を比較すると共に前記被検査品の形状画像の寸法を測定して前記被検査品が公差範囲内であるかを判定する合否判定手段とを具備することを特徴とする形状検査装置。The resolution can be adjusted, the raster image of the shape of the inspected product formed in a flat plate shape with the thickness of the inspected product is output, and the image scanner having internal illumination means and the contact glass surface of the image scanner are placed Illumination from the upper part of the inspected product and binarization of the external illuminating means in which the illuminance is set so that the shadow generated on the shape contour portion of the inspected product disappears and the raster image obtained from the image scanner Raster image processing means for processing, raster vector conversion processing means for converting the raster image of the inspected product output from the raster image processing means into a vector image, and an inspection image of a vector image as shape design data of the inspected product A storage means for storing the image, and an overlay for displaying the shape image of the inspected product converted into a vector image and the inspection image on a superposition screen The inspection image is compared with the inspection image and the inspection image superimposed on the screen, and the size of the inspection image is measured to determine whether the inspection object is within a tolerance range. A shape inspection apparatus comprising: a pass / fail determination means for determining 解像度を調整でき、厚みのある被検査品の形状のラスタ画像を出力し、内部照明手段を有するイメージスキャナを備えた画像入力手段と、前記イメージスキャナから得られたラスタ画像を2値化処理するラスタ画像処理手段と、前記ラスタ画像処理手段が出力する前記被検査品のラスタ画像をベクトル画像に変換するラスタベクタ変換処理手段と、前記被検査品の形状設計データであるベクトル画像の検査画像を格納する記憶手段と、ベクトル画像に変換された前記被検査品の形状画像と前記検査画像を重ね合わせ画面に表示するための重ね合せ処理手段と、前記ラスタベクタ変換処理手段から得られる前記被検査品のベクトル形状画像を検査画像として前記記憶手段に格納する図面生成処理手段と、画面に重ね合わせ表示された前記被検査品の形状画像と前記検査画像を比較すると共に前記被検査品の形状画像の寸法を測定して前記被検査品が公差範囲内であるかを判定する合否判定手段とを具備し、前記画像入力手段は前記イメージスキャナのコンタクトガラス面に置かれた前記被検査品の上部から照明する外部照明手段を備え、前記外部照明手段は前記被検査品の形状輪郭部に発生する影が消えるように照度を設定されていることを特徴とする形状検査装置。The resolution can be adjusted, the raster image of the shape of the thick inspected product is output, and the image input means including an image scanner having an internal illumination means and the raster image obtained from the image scanner are binarized. Raster image processing means, raster vector conversion processing means for converting the raster image of the inspected product output from the raster image processing means into a vector image, and an inspection image of a vector image as shape design data of the inspected product are stored Storage means, an overlay processing means for displaying the shape image of the inspected product converted into a vector image and the inspection image on an overlay screen, and an inspection product obtained from the raster vector conversion processing means. Drawing generation processing means for storing a vector shape image in the storage means as an inspection image, and the inspection object displayed superimposed on a screen A pass / fail determination means for comparing the shape image of the inspection product with the inspection image and measuring the size of the shape image of the inspection product to determine whether the inspection product is within a tolerance range; Comprises an external illumination means for illuminating from the upper part of the inspected product placed on the contact glass surface of the image scanner, and the external illumination means has an illuminance so that the shadow generated on the shape contour portion of the inspected product disappears. A shape inspection apparatus characterized by being set .
JP2001370091A 2001-12-04 2001-12-04 Shape inspection device Expired - Fee Related JP3831760B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001370091A JP3831760B2 (en) 2001-12-04 2001-12-04 Shape inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001370091A JP3831760B2 (en) 2001-12-04 2001-12-04 Shape inspection device

Publications (2)

Publication Number Publication Date
JP2003166814A JP2003166814A (en) 2003-06-13
JP3831760B2 true JP3831760B2 (en) 2006-10-11

Family

ID=19179374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001370091A Expired - Fee Related JP3831760B2 (en) 2001-12-04 2001-12-04 Shape inspection device

Country Status (1)

Country Link
JP (1) JP3831760B2 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031044A (en) * 2003-07-11 2005-02-03 Olympus Corp Three-dimensional error measuring device
JP2006189318A (en) * 2005-01-06 2006-07-20 Shinko Seiki Co Ltd Object image display device
JP4733065B2 (en) * 2007-03-28 2011-07-27 富士フイルム株式会社 Drawing data inspection method and drawing data inspection apparatus
JP2008298461A (en) * 2007-05-29 2008-12-11 Pioneer Electronic Corp Appearance measuring device and appearance measuring method
JP5133651B2 (en) * 2007-10-25 2013-01-30 株式会社総合車両製作所 Laser welding evaluation method
JP5334237B2 (en) * 2007-11-29 2013-11-06 株式会社日立製作所 Burial installation position verification method and deposit installation position verification system
US8184152B2 (en) * 2008-12-01 2012-05-22 The Boeing Company Camera-holding apparatus for evaluating parts
JP5525953B2 (en) * 2010-07-29 2014-06-18 株式会社キーエンス Dimension measuring apparatus, dimension measuring method and program for dimension measuring apparatus
WO2012046310A1 (en) * 2010-10-06 2012-04-12 オリンパス株式会社 Endoscope device
JP5910231B2 (en) * 2012-03-27 2016-04-27 大日本印刷株式会社 Pattern dimension measuring apparatus and pattern dimension measuring method
JP5844845B2 (en) * 2014-05-14 2016-01-20 アーカイオ リミテッド ライアビリティ カンパニー System and method using 3D and 2D digital images
JP6295974B2 (en) * 2015-02-10 2018-03-20 マツダ株式会社 Inspection method
JP7256614B2 (en) * 2018-07-25 2023-04-12 日本車輌製造株式会社 How to generate standing processing data

Also Published As

Publication number Publication date
JP2003166814A (en) 2003-06-13

Similar Documents

Publication Publication Date Title
TWI467161B (en) An inspection system and method for inspecting line width and/or positional errors of a pattern
JP3831760B2 (en) Shape inspection device
JP2733206B2 (en) Method and apparatus for correcting distortion in an automatic optical inspection device for printed circuit boards
US8355562B2 (en) Pattern shape evaluation method
US8086019B2 (en) Method of creating master data used for inspecting concave-convex figure
JPH1137727A (en) System for accurately measuring particle
JP2011020455A (en) Method for automatically determining print quality of image printed on deformable carrier
US20070207393A1 (en) Photomask formation method, photomask, and semiconductor device fabrication method
JP5202110B2 (en) Pattern shape evaluation method, pattern shape evaluation device, pattern shape evaluation data generation device, and semiconductor shape evaluation system using the same
JP2009097922A (en) Visual inspection method and apparatus
KR960013357B1 (en) Image data inspecting method and apparatus
JP2010133744A (en) Defect detection method, and visual inspection device using the same
JPH03241969A (en) Picture reader
JP4743805B2 (en) Appearance inspection method and apparatus
JP5036637B2 (en) Image processing method and image processing apparatus for extracting uneven characters
CN115375610A (en) Detection method and device, detection equipment and storage medium
JP3861751B2 (en) Shape dimension inspection device
JP5136108B2 (en) 3D shape measuring method and 3D shape measuring apparatus
JP2961140B2 (en) Image processing method
JP3218875B2 (en) Three-dimensional object shape inspection device
US11443419B2 (en) Reference image generation method and pattern inspection method
JP4118855B2 (en) Printed solder inspection apparatus and printed solder inspection method
JP3017839B2 (en) Defect inspection method and inspection device
JP3072788B2 (en) Printing evaluation method and printing evaluation device
JP3029142B2 (en) Printing evaluation method and printing evaluation device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060516

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20060614

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060614

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060614

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090728

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130728

Year of fee payment: 7

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees