JP3750391B2 - 画像処理検査装置およびその方法 - Google Patents
画像処理検査装置およびその方法 Download PDFInfo
- Publication number
- JP3750391B2 JP3750391B2 JP00854299A JP854299A JP3750391B2 JP 3750391 B2 JP3750391 B2 JP 3750391B2 JP 00854299 A JP00854299 A JP 00854299A JP 854299 A JP854299 A JP 854299A JP 3750391 B2 JP3750391 B2 JP 3750391B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- inspection
- image
- imaging
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、生産工程において製品の良否判定などに使用される画像処理検査装置およびその方法に関するものである。
【0002】
【従来の技術】
従来、人の視覚に頼って行われていた種々の目視検査を正確で高速にかつ自動的に検査し得るものとしての画像処理検査装置が、昨今、工場などの生産設備として数多く導入されている。
【0003】
図5は従来の画像処理検査装置の概略構成図で、この画像処理検査装置は、CCD(固体撮像素子)を有し検査対象の撮像を行うTVカメラ10と、このTVカメラ10の出力信号をデジタル信号に変換するA/D変換器11と、このA/D変換器11を介してTVカメラ10の撮像により得られる画像データを記憶する画像処理用のメモリ12および画像表示用のメモリ13と、メモリ12の画像データを利用して、予め設定された種類の処理を行って上記検査対象の検査を行う画像処理装置14PAおよびCPU15PAと、これら画像処理装置14PAおよびCPU15PAにより得られる検査結果を出力する出力回路16と、LUT(ルックアップテーブル)17およびD/A変換器18を介してメモリ13から得られる画像を画面に表示するモニタ19とを備えている。
【0004】
このように構成される画像処理検査装置の概略動作について説明すると、TVカメラ10の撮像により得られる画像信号は、A/D変換器11を経由してデジタル信号の濃淡値となって画素単位でメモリ12,13に格納される。
【0005】
画像処理用のメモリ12に格納された画像データは、専用に設計されたASIC(特定用途向け集積回路)などの画像処理装置14PA、またはCPU15PAからアクセスされて、ユーザが予め設定した画像処理の手順(シーケンス)に従って処理される。
【0006】
この画像処理の手順に従って処理された結果は、CPU15PAで種々の数値演算および条件判定などに利用され、これら数値演算および条件判定などの結果が出力回路16(例えばパラレルI/O回路またはシリアルI/O回路)を経由して検査結果として外部に出力される。
【0007】
一方、画像表示用のメモリ13に格納された画像データは、この画像データから表示画像を演算するLUT17、およびD/A変換器18を経由してモニタ19に送られ、モニタ19の画面に画像が表示される。この画像表示方式は、表示する情報に必要なフォントなどのデータをCPU15PAがメモリ13に書き込むだけで、文字、数値および図形などの情報をモニタ19の画面に容易に表示させることができる長所を有する。また、この方式の他には、全体の構成を簡単にするため、TVカメラを直接モニタに接続する方式や、文字、数値および図形などの情報を付加して表示するため、TVカメラからの信号を一旦アナログ回路を通してから表示する方式などもある。
【0008】
次に、上記画像処理についてさらに詳述すると、ユーザにより予め設定される画像処理のシーケンスは、検査ごとに幾つかの基本となる画像処理(以後チェッカという)が組み合わされて作成される。
【0009】
一般によく使われるチェッカは、TVカメラからの濃淡画像から白黒に2値化された画像を元に処理するものと、TVカメラからの濃淡画像をそのまま処理するものとに大別され、前者は2値化画像処理、後者は濃淡画像処理と呼ばれる。
【0010】
そして、2値化画像処理には、指定された領域の白または黒の面積を画素単位で求めるウィンドウチェッカ、および物体のエッジを画素単位で求める2値化エッジ検出チェッカのほか、物体の個数、検出された物体のそれぞれの重心、周囲長および慣性主軸の角度などの様々な特徴量を求める特徴抽出チェッカなどがある。
【0011】
一方、濃淡画像処理には、物体のエッジを求める濃淡エッジチェッカ、予め登録された基準画像としてのテンプレート画像を用いて最も似た画像を設定エリア内あるいは回転中心座標を中心に回転させて検出するマッチングチェッカ、および2つの画像の差分をとってその結果からずれや相違を検出する差分チェッカなどがある。
【0012】
概ね、2値化画像処理は濃淡画像処理に比べて処理内容が比較的簡単なため、精度は低いが実行時間が短いなどの特徴がある。このような2値化画像処理と濃淡画像処理は検査内容に応じて使い分けられることが多い。
【0013】
図6は検査対象の形状の概略を示す平面図、図7は図6に示す4個の部品の検査対象に対する特徴抽出チェッカによる処理結果の一例を示す説明図である。ただし、図6において、Aはモニタ19の画面、Bは特徴抽出チェッカの設定領域、Cはマッチングチェッカの設定領域、およびDはマッチングチェッカの出力座標を示す。
【0014】
検査対象となる複数個(この場合は4個)の部品1〜4を検査するために、それら部品の個数(ランド総数)を求めるとともに、各部品の面積、重心X,Yおよび慣性主軸の角度を求めるように、特徴抽出チェッカを設定して実行すると、図6に示す例では、図7に示すような測定結果が得られる。
【0015】
この測定結果では、各部品の傾きは慣性主軸の角度から得られるが、この慣性主軸の角度から部品の向きを求めることはできない。例えば、部品1の突起部が左向きなのか右向きなのか、あるいは上向きなのか下向きなのかを慣性主軸の角度から判定することができない。
【0016】
図8は図6の例に適用可能な各部品の向きを精度良く求めるためのシーケンスの概略を示す図で、この図をさらに用いて各部品の向きを精度良く求めるための従来方式について説明する。
【0017】
図8に示すシーケンスの例では、まず、図7に示すように、ランド総数が求められ、次いで、各部品の面積、重心X,Yおよび慣性主軸の角度が特性抽出チェッカにより求められる(S10)。
【0018】
次いで、部品毎に、重心X,Yおよび慣性主軸の角度を用いた部品の位置および回転の補正が位置・回転補正チェッカにより行われる(S11〜S14)。ただし、これらランド番号1〜4の部品に対する処理は、それぞれ位置・回転補正チェッカC1〜C4により行われる。
【0019】
次いで、部品毎に、相関係数、出力X,Yおよび検出角度が回転マッチングチェッカにより求められる(S15〜S18)。ただし、これらランド番号1〜4の部品に対する処理は、それぞれ回転マッチングチェッカM1〜M4により行われる。
【0020】
このように、検査に合わせて種々のチェッカを組み合わせて成る従来の画像処理検査装置によれば、人の視覚に頼って行われていた種々の目視検査を人手を介さずに正確で高速にかつ自動的に行うことが可能になる。
【0021】
【発明が解決しようとする課題】
しかしながら、上記のような従来の画像処理検査装置では、種々の設定が非常に煩雑になるという課題がある。
【0022】
すなわち、図8に示すシーケンスは検査対象となる部品の個数が4個である場合に適用可能であるので、検査対象が必ずしも4個であるとは限らないような検査にそのシーケンスを適用することができない。なぜなら、検査対象となる部品の個数が5個以上である場合には、ステップS11〜S18の4組のチェッカでは1組分のチェッカが不足して5個目の部品に対する処理結果が得られないことになり、逆に、検査対象となる部品の個数が例えば3個である場合には、特徴抽出チェッカから、ランド番号4に対する組のチェッカを実行させるための処理結果が得られないので、実行エラーになってしまうからである。したがって、このような方式では、検査対象に含まれる物品の個数が不定である場合には使用できず、また、検査対象に含まれる物品の個数が一定であっても、検査対象となる物品の個数を考慮に入れてシーケンスを設定して実行させる必要がある。例えば、部品の個数が1個である場合には、図9に示すようなシーケンスを設定して実行させる必要がある。
【0023】
また、この図9の例に示すシーケンスでは、例えば回転マッチングチェッカM1に対する位置・回転補正チェッカC1の処理結果の引用設定は1度に行うことができるのが、図8の例に示すシーケンスでは、部品毎に、回転マッチングチェッカに対する位置・回転補正チェッカの処理結果の引用設定を行わなければならない。この様子を図10に示す。ただし、図10(a)は位置・回転補正チェッカC1に対する特徴抽出チェッカによるランド番号1の部品に対する処理結果の引用設定の様子を示す図、(b)は回転マッチングチェッカM1に対する位置・回転補正チェッカC1による処理結果の引用設定の様子を示す図、(c)は回転マッチングチェッカM1の処理結果を示す図である。このような引用設定はユーザにより行われるので、検査対象に含まれる物品の個数が多くなるほど手間がより煩雑となる。また、マッチングチェッカのテンプレート画像をチェッカ間で共用することができない場合、同一のテンプレート画像を複数登録しなければならない。
【0024】
さらに、従来の画像処理検査装置には、いわゆるスプレッドシート(ワークシート)による表計算機能を有したものがある。この種の画像処理検査装置では、上記のようなシーケンスによる処理結果がスプレッドシートに引用され、このスプレッドシートの表計算機能により、上記処理結果を引用した数値演算や合否判定などが行われる。スプレッドシートに対するシーケンスによる処理結果の引用設定の様子を図11に示す。この図11に示す例では、ランド番号1の部品に関して、特徴抽出チェッカの処理結果である重心X,Y、および回転マッチングチェッカM1の処理結果である相関関数および検出角度がスプレッドシートに引用されている。しかしながら、ランド番号1の部品だけでなく、ランド番号2〜4の各部品についても上記ランド番号1の部品と同様にしてスプレッドシートに引用させる場合、図11から分かるように、このような複数の部品に対する処理結果を特に共通のレイアウトでスプレッドシートに引用させるのは困難である。
【0025】
本発明は、上記事情に鑑みてなされたものであり、ユーザの設定負担を軽減し得る画像処理検査装置およびその方法を提供することを目的とする。
【0026】
【課題を解決するための手段】
上記課題を解決するための請求項1記載の発明の画像処理検査装置は、検査対象の撮像を行う撮像手段と、前記撮像手段の撮像により得られる画像データを記憶する記憶手段と、前記記憶手段の画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行う画像検査手段と、前記検査において、一の種類の処理結果を他の種類の処理に引用させるものであって、前記一の種類の処理結果が複数ある場合には、これら複数の処理結果を前記他の種類の処理に一括して個別に引用させる引用手段とを備えるものである。
【0027】
この構成では、一の種類の処理結果が複数ある場合には、これら複数の処理結果が他の種類の処理に一括して個別に引用されるので、1度設定された引用の有効性が処理結果の数に依存しなくなり、処理結果の数が変動しても対応可能になる。これにより、処理結果の数毎にシーケンスを用意する必要がなくなり、ユーザの設定負担を軽減することが可能になる。
【0028】
請求項2記載の発明の画像処理検査装置は、検査対象の撮像を行う撮像手段と、前記撮像手段の撮像により得られる画像データを記憶する記憶手段と、前記記憶手段の画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行う画像検査手段と、前記検査において、一の種類の処理結果を他の種類の処理に引用させるものであって、前記一の種類の処理結果が複数ある場合には、これら複数の処理結果を前記他の種類の処理に一括して個別に引用させる引用手段とを備え、前記他の種類の処理に対する前記複数の処理結果の一括個別引用は一度に設定可能になっているものである。
【0029】
この構成では、一の種類の処理結果が複数ある場合には、これら複数の処理結果が他の種類の処理に一括して個別に引用されるので、1度設定された引用の有効性が処理結果の数に依存しなくなり、処理結果の数が変動しても対応可能になる。これにより、処理結果の数毎にシーケンスを用意する必要がなくなり、ユーザの設定負担を軽減することが可能になる。また、他の種類の処理に対する複数の処理結果の一括個別引用が一度に設定可能になっているので、ユーザの設定負担を軽減することが可能になる。
【0030】
なお、前記画像検査手段は、前記画像データを利用して、前記検査対象の重心および慣性主軸の角度を測定する処理を行い、前記引用手段は、前記処理で得られた重心および慣性主軸の角度をそれぞれ位置補正量および回転補正量として前記画像検査手段に引用させる構成でもよい(請求項3)。この構成では、検査対象に複数個の物品が含まれている場合、重心および慣性主軸の角度の各々は、それら物品の数だけ画像検査手段により測定されるようになり、それら複数の重心および慣性主軸の角度がそれぞれ位置補正量および回転補正量として一括して個別に画像検査手段に引用されるので、画像検査手段は、それら位置補正量および回転補正量を用いて、検査対象に含まれる各物品の位置および回転を補正することができるようになる。このように、処理結果の数毎にシーケンスを用意する必要がなくなり、ユーザの設定負担を軽減することが可能になる。
【0031】
請求項4記載の発明の画像処理検査装置は、検査対象の撮像を行う撮像手段と、前記撮像手段の撮像により得られる画像データを記憶する記憶手段と、前記記憶手段の画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行う画像検査手段と、前記検査における処理結果の全部または一部をワークシートに引用させるものであって、前記ワークシートに引用させる一の種類の処理結果が複数ある場合には、これら複数の処理結果を前記ワークシートに一括して個別に引用させる引用手段とを備えるものである。
【0032】
この構成では、ワークシートに引用させる一の種類の処理結果が複数ある場合には、これら複数の処理結果がワークシートに一括して個別に引用されるので、1度設定された引用の有効性が処理結果の数に依存しなくなり、処理結果の数が変動しても対応可能になる。これにより、処理結果の数毎にワークシートを用意する必要がなくなり、ユーザの設定負担を軽減することが可能になる。
【0033】
請求項5記載の発明の画像処理検査装置は、検査対象の撮像を行う撮像手段と、前記撮像手段の撮像により得られる画像データを記憶する記憶手段と、前記記憶手段の画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行う画像検査手段と、前記検査における処理結果の全部または一部をワークシートに引用させるものであって、前記ワークシートに引用させる一の種類の処理結果が複数ある場合には、これら複数の処理結果を前記ワークシートに一括して個別に引用させる引用手段と、前記ワークシートにより得られる演算結果を検査結果として出力する出力手段とを備えるものである。
【0034】
この構成では、ワークシートに引用させる一の種類の処理結果が複数ある場合には、これら複数の処理結果がワークシートに一括して個別に引用されるので、1度設定された引用の有効性が処理結果の数に依存しなくなり、処理結果の数が変動しても対応可能になる。これにより、処理結果の数毎にワークシートを用意する必要がなくなり、ユーザの設定負担を軽減することが可能になる。また、ワークシートにより得られる演算結果が検査結果として出力されるようになる。
【0035】
請求項6記載の発明の画像処理検査方法は、検査対象の撮像を行うステップと、前記撮像により得られる画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行うステップとを備え、前記検査において、一の種類の処理結果が他の種類の処理に引用されるとともに、前記一の種類の処理結果が複数ある場合には、これら複数の処理結果が前記他の種類の処理に一括して個別に引用されるものである。
【0036】
この方法では、一の種類の処理結果が複数ある場合には、これら複数の処理結果が他の種類の処理に一括して個別に引用されるので、1度設定された引用の有効性が処理結果の数に依存しなくなり、処理結果の数が変動しても対応可能になる。これにより、処理結果の数毎にシーケンスを用意する必要がなくなり、ユーザの設定負担を軽減することが可能になる。
【0037】
請求項7記載の発明の画像処理検査方法は、検査対象の撮像を行うステップと、前記撮像により得られる画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行うステップとを備え、前記検査において、一の種類の処理結果が他の種類の処理に引用されるとともに、前記一の種類の処理結果が複数ある場合には、これら複数の処理結果が前記他の種類の処理に一括して個別に引用され、前記他の種類の処理に対する前記複数の処理結果の一括個別引用は一度に設定可能になっているものである。
【0038】
この方法では、一の種類の処理結果が複数ある場合には、これら複数の処理結果が他の種類の処理に一括して個別に引用されるので、1度設定された引用の有効性が処理結果の数に依存しなくなり、処理結果の数が変動しても対応可能になる。これにより、処理結果の数毎にシーケンスを用意する必要がなくなり、ユーザの設定負担を軽減することが可能になる。また、他の種類の処理に対する複数の処理結果の一括個別引用が一度に設定可能になっているので、ユーザの設定負担を軽減することが可能になる。
【0039】
請求項8記載の発明の画像処理検査方法は、検査対象の撮像を行うステップと、前記撮像により得られる画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行うステップとを備え、前記検査における処理結果の全部または一部がワークシートに引用されるとともに、前記ワークシートに引用される一の種類の処理結果が複数ある場合には、これら複数の処理結果が前記ワークシートに一括して個別に引用されるものである。
【0040】
この方法では、ワークシートに引用させる一の種類の処理結果が複数ある場合には、これら複数の処理結果がワークシートに一括して個別に引用されるので、1度設定された引用の有効性が処理結果の数に依存しなくなり、処理結果の数が変動しても対応可能になる。これにより、処理結果の数毎にワークシートを用意する必要がなくなり、ユーザの設定負担を軽減することが可能になる。
【0041】
請求項9記載の発明の画像処理検査方法は、検査対象の撮像を行うステップと、前記撮像により得られる画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行うステップとを備え、前記検査における処理結果の全部または一部がワークシートに引用されるとともに、前記ワークシートに引用される一の種類の処理結果が複数ある場合には、これら複数の処理結果が前記ワークシートに一括して個別に引用され、前記ワークシートにより得られる演算結果が検査結果として出力されるものである。
【0042】
この方法では、ワークシートに引用させる一の種類の処理結果が複数ある場合には、これら複数の処理結果がワークシートに一括して個別に引用されるので、1度設定された引用の有効性が処理結果の数に依存しなくなり、処理結果の数が変動しても対応可能になる。これにより、処理結果の数毎にワークシートを用意する必要がなくなり、ユーザの設定負担を軽減することが可能になる。また、ワークシートにより得られる演算結果が検査結果として出力されるようになる。
【0043】
【発明の実施の形態】
図1は本発明の一実施形態に係る画像処理検査装置の概略構成図で、以下この図を用いて本実施形態について本発明の画像処理検査方法の一実施形態とともに説明する。
【0044】
本画像処理検査装置は、CCDを有し検査対象の撮像を行うTVカメラ(撮像手段)10と、このTVカメラ10の出力信号をデジタル信号に変換するA/D変換器11と、このA/D変換器11を介してTVカメラ10の撮像により得られる画像データを記憶する画像処理用のメモリ(記憶手段)12および画像表示用のメモリ13と、上記検査対象の検査を行う画像検査手段としての画像処理装置14およびCPU(中央処理装置)15と、これら画像処理装置14およびCPU15により得られる検査結果を出力する出力回路(出力手段)16と、LUT17およびD/A変換器18を介してメモリ13から得られる画像を画面に表示するモニタ19とを備えている。
【0045】
画像処理装置14およびCPU15により構成される画像検査手段は、メモリ12の画像データを利用して、予め設定された種類の処理を行って検査対象の検査を行うものであって、2種類の引用機能(引用手段)を有している。
【0046】
これら2種類の引用機能の一つは、上記検査において、一の種類の処理結果を他の種類の処理に引用させるものであって、一の種類の処理結果が複数ある場合には、これら複数の処理結果を他の種類の処理に一括して個別に引用させる。また、他の種類の処理に対する上記複数の処理結果の一括個別引用は一度に設定可能になっている。
【0047】
もう一つの引用機能は、上記検査における全処理結果の一部をスプレッドシートに引用させるものであって、スプレッドシートに引用させる一の種類の処理結果が複数ある場合には、これら複数の処理結果をスプレッドシートに一括して個別に引用させる。本実施形態では、このスプレッドシートの演算機能による処理結果が検査結果として出力回路16を介して外部に出力される。
【0048】
ただし、本実施形態では、後述の各チェッカは画像処理装置14で生成され、スプレッドシートはCPU15で生成される。
【0049】
図2は本画像処理検査装置のシーケンスの概略を示す図、図3は各チェッカ間の引用設定の様子を示す図、図4は各チェッカによる処理結果のスプレッドシートへの引用設定の様子を示す図で、これらの図を用いて、画像処理装置14およびCPU15により構成される画像検査手段についてさらに詳述する。ただし、本画像処理検査装置には、昨今飛躍的に一般化してきた例えば、Windows(米国Microsoft Corporationの登録商標)のGUI(Graphical User Interface)が使用されるものとする。
【0050】
画像検査手段は、図2に示すように、特徴抽出チェッカ、複数個引用:位置・回転補正チェッカ(以後単に補正チェッカという)および複数個引用:回転マッチングチェッカ(以後単にマッチングチェッカという)を検査に使用する構成になっている。ただし、図2に示す本画像処理検査装置のシーケンスは、各部品の向きを精度良く求めることができるものであって、図9のシーケンスと一見類似しているが、位置・回転補正チェッカC1および回転マッチングチェッカM1がそれぞれ補正チェッカおよびマッチングチェッカに代っている。
【0051】
図2に示す特徴抽出チェッカは、図8に示す特徴抽出チェッカと同じものであって、メモリ12の画像データを利用して画像処理を行い、図3(a)に示すように、検査対象のランド総数を求めるとともに、検査対象の部品毎に、部品の面積、重心X,Yおよび慣性主軸の角度を求める。ただし、図3(a)に示す特徴抽出チェッカによる処理結果(画像処理による測定結果)は、図6に示すような検査対象に対して実行されたものである。
【0052】
ステップS2に示す補正チェッカは、部品毎に、重心X,Yおよび慣性主軸の角度をそれぞれ位置補正量および回転補正量として用いて部品の位置および回転の補正を行うものである。このとき、一の種類の処理結果が複数あるので、上述の引用機能によって、それら複数の処理結果が他の種類の処理に一括して個別に引用される。
【0053】
例えば、図3(a)では、重心Xという種類の処理結果が4つあるので、これら4つの処理結果が補正チェッカの「特徴抽出チェッカ:重心Xグループ」のデータ格納欄(セル)に一括して個別に引用(関連付け)される。このとき、そのデータ格納欄には「…」が表示されるが、この部分をダブルクリックすると、プルダウンメニュー形式で引用されている各値が表示される。これと同様に、重心Yおよび慣性主軸の各処理結果も4つあるので、これら重心Yおよび慣性主軸の処理結果も、それぞれ補正チェッカの「特徴抽出チェッカ:重心Yグループ」のデータ格納欄および「特徴抽出チェッカ:慣性主軸グループ」のデータ格納欄に一括して個別に引用される。
【0054】
ここで、図10(a)に示す従来の引用方式では、重心X,Yおよび慣性主軸の処理結果を1つずつ位置・回転補正チェッカに引用設定する必要があった。また、引用設定の一例として、引用したい値をドラッグ&ドロップにより位置・回転補正チェッカの指定場所に関連付ける方法がある。この方法で引用されると、図10(a)に示すように、引用された値は、位置・回転補正チェッカC1の中で、「特徴抽出チェッカ:ランド1重心X」、「特徴抽出チェッカ:ランド1重心Y」および「特徴抽出チェッカ:ランド1慣性主軸」のように表現され、それぞれには単一の値が関連付けられることになる。
【0055】
これに対して、本実施形態における引用機能が作用する補正チェッカでは、図3(a)に示すように、引用したい列の見出しをドラッグ&ドロップにより補正チェッカの指定場所に関連付けるだけで、その列の処理結果が一括して個別に補正チェッカに引用される。これにより、特徴抽出チェッカにより同一種類の処理に対して求められる数の処理結果の全てが自動的に補正チェッカに個別に引用されることになる。この結果、引用された値は、図3(a)に示すように、補正チェッカの中で、「特徴抽出チェッカ:重心Xグループ」、「特徴抽出チェッカ:重心Yグループ」および「特徴抽出チェッカ:慣性主軸グループ」のように表現され、それぞれには複数の値が関連付けられる。
【0056】
図2のステップS3に示すマッチングチェッカは、予め登録されたテンプレート画像を設定された中心座標上で回転させて検査対象と対比することにより、その検査対象とテンプレート画像との一致度を示す相関係数の最大値を求めて、次いで、相関係数が最大となる状態で、出力X,Yを求めるとともにテンプレート画像の回転角度を検出角度として求めるものである。本実施形態では、特徴抽出チェッカから得られる各部品の重心が上記中心座標の中心に設定される。このとき、上述の引用機能によって、特徴抽出チェッカの複数個の結果を元に、補正チェッカの補正結果がマッチングチェッカに引用されるので、部品個数分の位置・回転補正結果のそれぞれに対してマッチングチェッカが自動的に生成され、上記処理が繰り返し実行されることになる。
【0057】
これにより、図3(c)に示すように、部品毎に、相関係数、出力X,Yおよび検出角度が求められる。また、基本的にマッチングチェッカの結果は1つであるが、補正チェッカの処理結果が複数あるため、マッチングチェッカによる処理も複数回繰り返し実行され、特徴抽出チェッカの部品個数分の結果が得られる。ここで、注目すべき点として、図2および図9のシーケンスは見かけ上同じであり、ユーザは検査対象の部品個数を意識することなく、シーケンスを構成することができる。
【0058】
また、上記画像検査手段は、各チェッカの処理により最終的に図3(c)に示す処理結果を得ると、上記全処理結果の一部を図4に示すようにスプレッドシートに自動的に引用する。
【0059】
ここで、図4および図11における各チェッカによる処理結果のスプレッドシートへの引用設定は一見類似しているが、図4に示す引用設定は、引用可能な処理結果が単一のものに制限されずに複数の処理結果をグループとして引用することが可能になっている点で図11に示す引用設定とは相違している。
【0060】
本実施形態では、例えば、図4に示すように、特徴抽出チェッカの処理結果のうち、引用を所望する「重心X」および「重心Y」の列の見出しをそれぞれスプレッドシートにおける「特徴抽出チェッカランドの重心Xグループ」および「特徴抽出チェッカランドの重心Yグループ」の「結果」欄にドラッグ&ドロップすれば、それら各欄に特徴抽出チェッカによる複数個の処理結果が引用され、引用される処理結果の個数が特徴抽出チェッカによる処理毎の処理結果の数で決まる構成になっている。これにより、検査対象の物品の個数が不定であっても、従来のような検査漏れやエラーなどが発生しなくなり、良好な検査結果の出力が可能になる。なお、直接処理結果の数値をスプレッドシートにドラッグ&ドロップしても、従来と同様に、その単一の処理結果がスプレッドシートに引用される。
【0061】
同様に、マッチングチェッカの処理結果のうち、引用を所望する「相関係数」および「検出角度」の列の見出しをそれぞれスプレッドシートにおける「回転マッチングチェッカの相関係数グループ」および「回転マッチングチェッカの検出角度グループ」の「結果」欄にドラッグ&ドロップすれば、それら各欄にマッチングチェッカによる複数個の処理結果が引用され、引用される処理結果の個数がマッチングチェッカによる処理毎の処理結果の数で決まる構成になっている。
【0062】
ただし、スプレッドシートに引用された複数個の処理結果は、図3と同様に、「…」で表示され、この部分をダブルクリックすると、プルダウンメニュー形式で引用されている処理結果の値が表示される。
【0063】
なお、このような引用機能によれば、上記チェッカに限らず、引用を所望する種々のチェッカの処理結果をスプレッドシートの所定欄に引用することが可能になる。
【0064】
次に、CPU15で生成されるスプレッドシートについて説明すると、このスプレッドシートは、検査対象に対して行われた各チェッカの処理結果が引用されると、当該スプレッドシートの演算機能により演算処理を実行し、この処理結果を検査結果として出力回路16を介して外部に出力するものである。
【0065】
また、スプレッドシートは、同一種類の処理結果が複数ある場合でも、これら複数の処理結果を一括して個別に単一のデータに対応させることができる機能を備えている。図4では、例えば、「特徴抽出チェッカランドの重心Xグループ」の「結果」の欄には、4個の処理結果が格納されているが、これら処理結果を単一の「上限値」のデータ「511」と単一の「下限値」のデータ「0」に対応させて、これら上限値と下限値の範囲内に各処理結果が入っているか否かの判定を一括して個別に行い、その判定結果を「特徴抽出チェッカランドの重心Xグループ」の「判定」の欄に格納するように設計されている。この判定結果は、複数あるので「…」で表示されるが、この部分をダブルクリックすることによりプルダウンメニュー形式で各判定結果が表示される。
【0066】
また、スプレッドシートは、様々な処理結果に対する引用および演算が可能な機能を有している。例えば、従来のスプレッドシートでは、単一の処理結果に対して所定の演算式を適用することが可能になっているのに対して、本実施形態のスプレッドシートでは、同一種類の処理に対する処理結果が複数あっても、これら処理結果に対して単一の所定演算式を一括して個別に割り当てることが可能になっている。図4の例では、「特徴抽出チェッカランドの重心Xグループ」および「結果」で特定される処理結果を示すFExに対して、FEx*10の演算式が適用され、この演算式による演算の処理結果が「FEx*10」の「結果」欄に格納される。この場合、以下の演算結果が格納される。
【0067】
FEx1*10
FEx2*10
FEx3*10
FEx4*10
このとき、演算式の適用の対象が複数あると、複数の演算結果が格納される。なお、複数の処理結果と単一の処理結果との間の演算を禁止する制限などを設けて、演算式による演算結果に矛盾が生じないようにしてもよい。
【0068】
さらに、本実施形態のスプレッドシートは、当該スプレッドシートが有する演算機能による演算の処理結果のうち、所望する処理結果を検査結果として所望するインターフェースを介して出力させる機能を有している。
【0069】
すなわち、「出力先」の欄に所望するインターフェースを記入する構成になっており、例えば、「シリアル」および「パラレル」と記入すれば、それぞれRS−232Cインターフェースおよびパラレル出力ポートを介して検査結果が出力される。図4の例では、「FEy」の「結果」の値がシリアルを介して、「PMa」の「判定」の結果がシリアルおよびパラレルを介して、そして「op1」の「結果」がパラレルを介して外部に出力される。
【0070】
また、検査結果としての出力を所望する処理結果の指定は、出力を所望する処理結果を「出力先」の項目にドラッグ&ドロップするだけで行われるようになっており、また、このような指定が行われると、出力を所望する処理結果が格納されている欄の左側に黒い縦帯の印が入るようになっている。
【0071】
このようなスプレッドシートによれば、例えば、FEy{1}=103.5、FEy{2}=153.4、FEy{3}=311.9、FEy{4}=330.0、PMa{1}=1、PMa{2}=1、PMa{3}=0、PMa{4}=1のような検査結果がシリアルを介して出力される一方、PMa{1}=1、PMa{2}=1、PMa{3}=0、PMa{4}=1、op1{1}=1504、op1{2}=4037、op1{3}=1732、op1{4}=4263のような検査結果がパラレルを介して出力されることになる。ただし、判定結果はOKならば1、NGならば0であるとする。
【0072】
次に、本画像処理検査装置の概略動作について説明すると、まず、TVカメラ10により検査対象の撮像が行われ、この撮像により得られる画像データがA/D変換器11を介してメモリ12,13に記憶される。
【0073】
次いで、メモリ12の画像データを利用した画像処理が特徴抽出チェッカにより実行される(S1)。これにより、図3(a)に示すように、検査対象のランド総数が求められるとともに、検査対象の部品毎に、部品の面積、重心X,Yおよび慣性主軸が求められる。
【0074】
次いで、部品毎に、重心X,Yおよび慣性主軸の角度を用いた部品の位置および回転の補正が補正チェッカにより行われ(S2)、この後、マッチングチェッカによる処理が実行される。これにより、図3(c)に示すように、部品毎に、相関係数、出力X,Yおよび検出角度が求められる。また、各チェッカの処理により最終的に図3(c)に示す処理結果が得られると、上記全処理結果の一部が図4に示すようにスプレッドシートに自動的に引用される。
【0075】
次いで、検査対象に対して行われた各チェッカの処理結果がスプレッドシートに自動的に引用されると、このスプレッドシートの演算機能により演算処理が行われ、この処理結果が検査結果として出力回路16を介して外部に出力される。
【0076】
一方、メモリ13に記憶された画像データは、LUT17およびD/A変換器18を介してモニタ19に送られ、このモニタ19の画面に画像が表示される。
【0077】
以上、本実施形態によれば、一の種類の処理結果が複数ある場合には、これら複数の処理結果が他の種類の処理またはスプレッドシートに一括して個別に引用されるので、1度設定された引用の有効性が処理結果の数に依存しなくなり、処理結果の数が変動しても対応可能になる。これにより、ユーザの設定負担を軽減することが可能になる。また、他の種類の処理に対する複数の処理結果の一括個別引用が一度に設定可能になっているので、ユーザの設定負担を一層軽減することが可能になる。さらに、予めスプレッドシートに対してGUI を利用した簡単な出力設定を行うことにより、スプレッドシートにより得られる演算結果を検査結果として出力させることが可能となる。
【0078】
なお、本実施形態では、本画像処理検査装置は、CPU15、引いては装置全体の処理速度を向上させるべく、画像処理装置14およびCPU15を画像検査手段として備える構成になっているが、これに限らず、画像処理装置14を具備せずにCPU15を画像検査手段として備える構成でもよい。この場合、各チェッカはCPU15で生成される。
【0079】
また、本実施形態では、画像処理装置14およびCPU15による検査過程で行われる全処理結果の一部がワークシートに引用される構成になっているが、これに限らず、その全処理結果がワークシートに引用される構成でもよい。
【0080】
また、図3(a)に示す例では、ある一点のX,Y座標(例えば重心座標)および慣性主軸が補正チェッカに引用される構成になっているが、このような引用方式は、X,Y座標による平行位置補正および3点による位置・回転補正などにも適用可能である。
【0081】
また、図3(b)に示す例では、補正チェッカの処理結果がマッチングチェッカに引用される構成になっているが、このような引用方式は、ウィンドウチェッカおよびエッジチェッカなどにも適用可能である。
【0082】
さらに、図4に示す例では、「重心X」および「重心Y」がスプレッドシートに引用される構成になっているが、「面積」および「慣性主軸」もスプレッドシートに引用される構成でもよい。
【0083】
【発明の効果】
請求項1記載の発明によれば、検査対象の撮像を行う撮像手段と、前記撮像手段の撮像により得られる画像データを記憶する記憶手段と、前記記憶手段の画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行う画像検査手段と、前記検査において、一の種類の処理結果を他の種類の処理に引用させるものであって、前記一の種類の処理結果が複数ある場合には、これら複数の処理結果を前記他の種類の処理に一括して個別に引用させる引用手段とを備えるので、ユーザの設定負担を軽減することが可能になる。
【0084】
請求項2記載の発明によれば、検査対象の撮像を行う撮像手段と、前記撮像手段の撮像により得られる画像データを記憶する記憶手段と、前記記憶手段の画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行う画像検査手段と、前記検査において、一の種類の処理結果を他の種類の処理に引用させるものであって、前記一の種類の処理結果が複数ある場合には、これら複数の処理結果を前記他の種類の処理に一括して個別に引用させる引用手段とを備え、前記他の種類の処理に対する前記複数の処理結果の一括個別引用は一度に設定可能になっているので、ユーザの設定負担をさらに軽減することが可能になる。
【0085】
請求項3記載の発明によれば、前記画像検査手段は、前記画像データを利用して、前記検査対象の重心および慣性主軸の角度を測定する処理を行い、前記引用手段は、前記処理で得られた重心および慣性主軸の角度をそれぞれ位置補正量および回転補正量として前記画像検査手段に引用させるので、ユーザの設定負担を軽減することが可能になる。
【0086】
請求項4記載の発明によれば、検査対象の撮像を行う撮像手段と、前記撮像手段の撮像により得られる画像データを記憶する記憶手段と、前記記憶手段の画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行う画像検査手段と、前記検査における処理結果の全部または一部をワークシートに引用させるものであって、前記ワークシートに引用させる一の種類の処理結果が複数ある場合には、これら複数の処理結果を前記ワークシートに一括して個別に引用させる引用手段とを備えるので、ユーザの設定負担を軽減することが可能になる。
【0087】
請求項5記載の発明によれば、検査対象の撮像を行う撮像手段と、前記撮像手段の撮像により得られる画像データを記憶する記憶手段と、前記記憶手段の画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行う画像検査手段と、前記検査における処理結果の全部または一部をワークシートに引用させるものであって、前記ワークシートに引用させる一の種類の処理結果が複数ある場合には、これら複数の処理結果を前記ワークシートに一括して個別に引用させる引用手段と、前記ワークシートにより得られる演算結果を検査結果として出力する出力手段とを備えるので、ユーザの設定負担を軽減することが可能になるとともに、ワークシートにより得られる演算結果が検査結果として外部に出力することが可能になる。
【0088】
請求項6記載の発明によれば、検査対象の撮像を行うステップと、前記撮像により得られる画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行うステップとを備え、前記検査において、一の種類の処理結果が他の種類の処理に引用されるとともに、前記一の種類の処理結果が複数ある場合には、これら複数の処理結果が前記他の種類の処理に一括して個別に引用されるので、ユーザの設定負担を軽減することが可能になる。
【0089】
請求項7記載の発明によれば、検査対象の撮像を行うステップと、前記撮像により得られる画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行うステップとを備え、前記検査において、一の種類の処理結果が他の種類の処理に引用されるとともに、前記一の種類の処理結果が複数ある場合には、これら複数の処理結果が前記他の種類の処理に一括して個別に引用され、前記他の種類の処理に対する前記複数の処理結果の一括個別引用は一度に設定可能になっているので、ユーザの設定負担をさらに軽減することが可能になる。
【0090】
請求項8記載の発明によれば、検査対象の撮像を行うステップと、前記撮像により得られる画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行うステップとを備え、前記検査における処理結果の全部または一部がワークシートに引用されるとともに、前記ワークシートに引用される一の種類の処理結果が複数ある場合には、これら複数の処理結果が前記ワークシートに一括して個別に引用されるので、ユーザの設定負担を軽減することが可能になる。
【0091】
請求項9記載の発明によれば、検査対象の撮像を行うステップと、前記撮像により得られる画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行うステップとを備え、前記検査における処理結果の全部または一部がワークシートに引用されるとともに、前記ワークシートに引用される一の種類の処理結果が複数ある場合には、これら複数の処理結果が前記ワークシートに一括して個別に引用され、前記ワークシートにより得られる演算結果が検査結果として出力されるので、ユーザの設定負担を軽減することが可能になるとともに、ワークシートにより得られる演算結果を検査結果として外部に出力することが可能になる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る画像処理検査装置の概略構成図である。
【図2】本実施形態における画像処理検査装置のシーケンスの概略を示す図である。
【図3】本実施形態における各チェッカ間の引用設定の様子を示す図である。
【図4】本実施形態における各チェッカによる処理結果のスプレッドシートへの引用設定の様子を示す図である。
【図5】従来の画像処理検査装置の概略構成図である。
【図6】検査対象の形状の概略を示す平面図である。
【図7】図6に示す4個の部品の検査対象に対する特徴抽出チェッカによる処理結果の一例を示す説明図である。
【図8】図6の例に適用可能な各部品の向きを精度良く求めるための従来のシーケンスの概略を示す図である。
【図9】1個の部品の向きを精度良く求めるための従来のシーケンスの概略を示す図である。
【図10】図5に示す従来の画像処理検査装置における各チェッカ間の引用設定の様子を示す図である。
【図11】図5に示す従来の画像処理検査装置における各チェッカによる処理結果のスプレッドシートへの引用設定の様子を示す図である。
【符号の説明】
10 TVカメラ
11 A/D変換器
12,13 メモリ
14 画像処理装置
15 CPU
16 出力回路
17 LUT
18 D/A変換器
19 モニタ
Claims (9)
- 検査対象の撮像を行う撮像手段と、
前記撮像手段の撮像により得られる画像データを記憶する記憶手段と、
前記記憶手段の画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行う画像検査手段と、
前記検査において、一の種類の処理結果を他の種類の処理に引用させるものであって、前記一の種類の処理結果が複数ある場合には、これら複数の処理結果を前記他の種類の処理に一括して個別に引用させる引用手段と
を備える画像処理検査装置。 - 検査対象の撮像を行う撮像手段と、
前記撮像手段の撮像により得られる画像データを記憶する記憶手段と、
前記記憶手段の画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行う画像検査手段と、
前記検査において、一の種類の処理結果を他の種類の処理に引用させるものであって、前記一の種類の処理結果が複数ある場合には、これら複数の処理結果を前記他の種類の処理に一括して個別に引用させる引用手段と
を備え、
前記他の種類の処理に対する前記複数の処理結果の一括個別引用は一度に設定可能になっている
画像処理検査装置。 - 前記画像検査手段は、前記画像データを利用して、前記検査対象の重心および慣性主軸の角度を測定する処理を行い、
前記引用手段は、前記処理で得られた重心および慣性主軸の角度をそれぞれ位置補正量および回転補正量として前記画像検査手段に引用させる
請求項1または2記載の画像処理検査装置。 - 検査対象の撮像を行う撮像手段と、
前記撮像手段の撮像により得られる画像データを記憶する記憶手段と、
前記記憶手段の画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行う画像検査手段と、
前記検査における処理結果の全部または一部をワークシートに引用させるものであって、前記ワークシートに引用させる一の種類の処理結果が複数ある場合には、これら複数の処理結果を前記ワークシートに一括して個別に引用させる引用手段と
を備える画像処理検査装置。 - 検査対象の撮像を行う撮像手段と、
前記撮像手段の撮像により得られる画像データを記憶する記憶手段と、
前記記憶手段の画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行う画像検査手段と、
前記検査における処理結果の全部または一部をワークシートに引用させるものであって、前記ワークシートに引用させる一の種類の処理結果が複数ある場合には、これら複数の処理結果を前記ワークシートに一括して個別に引用させる引用手段と、
前記ワークシートにより得られる演算結果を検査結果として出力する出力手段と
を備える画像処理検査装置。 - 検査対象の撮像を行うステップと、
前記撮像により得られる画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行うステップと
を備え、
前記検査において、一の種類の処理結果が他の種類の処理に引用されるとともに、前記一の種類の処理結果が複数ある場合には、これら複数の処理結果が前記他の種類の処理に一括して個別に引用される
画像処理検査方法。 - 検査対象の撮像を行うステップと、
前記撮像により得られる画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行うステップと
を備え、
前記検査において、一の種類の処理結果が他の種類の処理に引用されるとともに、前記一の種類の処理結果が複数ある場合には、これら複数の処理結果が前記他の種類の処理に一括して個別に引用され、
前記他の種類の処理に対する前記複数の処理結果の一括個別引用は一度に設定可能になっている
画像処理検査方法。 - 検査対象の撮像を行うステップと、
前記撮像により得られる画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行うステップと
を備え、
前記検査における処理結果の全部または一部がワークシートに引用されるとともに、前記ワークシートに引用される一の種類の処理結果が複数ある場合には、これら複数の処理結果が前記ワークシートに一括して個別に引用される
画像処理検査方法。 - 検査対象の撮像を行うステップと、
前記撮像により得られる画像データを利用して、予め設定された種類の処理を行って前記検査対象の検査を行うステップと
を備え、
前記検査における処理結果の全部または一部がワークシートに引用されるとともに、前記ワークシートに引用される一の種類の処理結果が複数ある場合には、これら複数の処理結果が前記ワークシートに一括して個別に引用され、
前記ワークシートにより得られる演算結果が検査結果として出力される
画像処理検査方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00854299A JP3750391B2 (ja) | 1999-01-14 | 1999-01-14 | 画像処理検査装置およびその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00854299A JP3750391B2 (ja) | 1999-01-14 | 1999-01-14 | 画像処理検査装置およびその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000209566A JP2000209566A (ja) | 2000-07-28 |
JP3750391B2 true JP3750391B2 (ja) | 2006-03-01 |
Family
ID=11696043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP00854299A Expired - Fee Related JP3750391B2 (ja) | 1999-01-14 | 1999-01-14 | 画像処理検査装置およびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3750391B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6877233B2 (ja) * | 2017-05-18 | 2021-05-26 | 清水建設株式会社 | ボルト位置の検出方法およびシステム |
-
1999
- 1999-01-14 JP JP00854299A patent/JP3750391B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000209566A (ja) | 2000-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11783571B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US6728417B1 (en) | Measurement apparatus | |
WO2019150872A1 (ja) | 画像処理装置及び画像処理方法 | |
JP2003307466A (ja) | キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート | |
US20140119644A1 (en) | System and method of adaptive color correction for pill recognition in digital images | |
JP4270949B2 (ja) | キャリブレーションチャート画像表示装置、キャリブレーション装置、キャリブレーション方法 | |
JP2001264257A (ja) | 画像欠陥検出装置、画像欠陥検出方法、及び画像欠陥検出方法の手順を記憶した記憶媒体 | |
US20130162642A1 (en) | Computing device and method for establishing three dimensional coordinate system using graphics | |
JPWO2016174926A1 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP4577717B2 (ja) | バンプ検査装置および方法 | |
JP2900425B2 (ja) | 画質検査装置 | |
JP3750391B2 (ja) | 画像処理検査装置およびその方法 | |
CN104677911B (zh) | 用于机器视觉检验的检验设备和方法 | |
JP5486403B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP2002288633A (ja) | 画像処理装置およびその位置補正方法 | |
JP5855961B2 (ja) | 画像処理装置及び画像処理方法 | |
US20220237824A1 (en) | Distortion calibration method for ultra-wide angle imaging apparatus, system and photographing device including same | |
JP2012185030A (ja) | 色ムラ判別装置、色ムラ判別方法及び表示装置 | |
CN114092542B (zh) | 一种基于二维视觉的螺栓测量方法以及系统 | |
JP6897100B2 (ja) | 判定装置、判定方法、および判定プログラム | |
JP6184339B2 (ja) | 外観検査装置、外観検査方法およびプログラム | |
JP4061760B2 (ja) | 粒子画像領域分割方法 | |
JP2006060101A (ja) | 部品データ作成方法及び部品データ作成装置 | |
JPS62279797A (ja) | ミスコンバ−ゼンス量測定装置 | |
JPH11120362A (ja) | 画像処理装置及び方法並びに判定基準設定プログラムを記録した機械読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051128 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081216 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081216 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091216 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091216 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101216 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |