JP4442042B2 - 画像処理プログラム作成方法およびそのシステム - Google Patents
画像処理プログラム作成方法およびそのシステム Download PDFInfo
- Publication number
- JP4442042B2 JP4442042B2 JP2001049111A JP2001049111A JP4442042B2 JP 4442042 B2 JP4442042 B2 JP 4442042B2 JP 2001049111 A JP2001049111 A JP 2001049111A JP 2001049111 A JP2001049111 A JP 2001049111A JP 4442042 B2 JP4442042 B2 JP 4442042B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- subroutine
- image
- processing subroutine
- processing program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Stored Programmes (AREA)
- User Interface Of Digital Computer (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理装置の画像処理プログラムを作成するための画像処理プログラム作成方法およびそのシステムに関するものである。
【0002】
【従来の技術】
この種の従来技術として、特開平7−160843号公報には、所定の画像処理を実行する画像処理サブルーチンを複数記憶した記憶手段と、記憶手段に記憶された画像処理サブルーチンをメニュー表示する表示手段と、操作者の指示により、メニュー表示から所望のサブルーチンを選択する選択手段と、選択手段によって選択されたサブルーチンを呼び出して、この呼び出したサブルーチンの実行を含む画像認識プログラムを構築する構築手段とを含む画像認識プログラム構築装置が開示されている。この装置では、操作者が所望の画像処理サブルーチンを選択すると、その画像処理をした結果がモニタ上に表示される。操作者は、その画像処理の結果に満足すれば、画像処理サブルーチンを画像認識プログラムに登録し、結果に満足しない場合は、再び、選択を繰り返すことになる。登録は、テーブルに画像処理サブルーチンを書き込むことにより行われる。登録されている画像処理サブルーチンを画像処理ライブラリから呼び出すことにより、所望の画像処理を実行する画像認識プログラムが実現される。この画像認識プログラム構築装置では、アルゴリズムに関する知識のあるユーザが、画像処理の知識からメニューを辿り、選択した画像処理サブルーチンの結果を見てこれを取捨する。また、画像処理の知識のあるユーザがメニューで選択した一の結果の表示を見て画像処理サブルーチンを登録するかどうかを決定する。
【0003】
特開2000−56958公報には、画像データに対してそれぞれ各種処理を行う入出力の各引数を持つ複数のソフトウエア部品を備え、少なくとも入力引数と出力引数とを対応させて複数のソフトウエア部品を結合させて所望の画像処理機能を実現する画像処理ソフトウエアの自動生成方法が開示されている。この方法は、ソフトウエア部品の入出力関係で、ソフトウエア部品同士の結合候補を探し、画像処理ソフトウエアを自動的に生成する。
【0004】
特開昭63−191278号公報には、外部記憶装置にアルゴリズムの操作仕様とアルゴリズムの使用に関する画像処理専門家のノウハウを格納し、画像処理アルゴリズム実行時のユーザへの入力要求に関してユーザへの入力選択の判断基準の説明もしくは入力の選択範囲限定もしくは入力自動選択を行う画像処理アルゴリズム実行時のユーザ支援方式が開示されている。この方式は、ユーザが副機能選択やパラメータ値設定のために入力を要求される場合に入力を決定することを支援する。
【0005】
特願2000−193408の外観検査プログラム作成装置は、画像処理アルゴリズム記憶部に記憶されている画像処理アルゴリズムと、検査対象種別標準検査フロー記憶部に記憶されている検査パラメータとを組み合わせて、外観検査プログラムを作成する。
【0006】
特開平9−288568号公報には、入力された画像を格納する画像記憶手段と、画像に施す一連の処理を処理単位として複数種類の処理単位を格納した処理単位記憶手段と、処理単位記憶手段に格納された処理単位を選択して用いるための手順を記述した実行フローを格納する実行フロー記憶手段と、実行フロー記憶手段に格納された実行フローに従って処理単位記憶手段に格納された各処理単位を組み合わせて用いることにより画像記憶手段に格納された画像から対象物に関する特定の性状を検出する処理手段と、処理手段による処理結果を出力する出力手段とを備える画像処理装置が開示されている。この装置は、画像を施す一連の処理を処理単位として複数種類の処理単位を、手順を記述した実行フローによって動作させる。また、画像処理装置の実行フロー作成方法が記載され、未定義の変数名があるときの処理でフローチャートの作成を禁止する方法が提案されている。
【0007】
ところで、画像処理装置は、外観検査、寸法測定検査、位置測定検査、傷クラック検査、文字検査など、画像処理対象の検査に適合するように設定されて使用される。その設定方法は、メニューを通して、画像処理装置内に予め内蔵された各機能を取捨選択するとともにパラメータを設定することによって画像処理の設定を行う第1の方法と、画像処理装置上で画像処理の基本機能としてのプログラムを動かし選別することによって画像処理の設定を行う第2の方法とに大別される。
【0008】
画像処理装置の検査能力の向上によって、多種多様な対象物を扱うようになってきている昨今においては、画像処理装置の使用態様を予測する必要のある第1の方法よりも、上記プログラムをライブラリ化してユーザに提供し、ユーザの様々な目的に合った画像処理装置に設定することができる第2の方法によって設定が行われる場合が増えてきている。
【0009】
この第2の方法(プログラム方式)では、画像処理装置のハードウエア性能および画像処理のアルゴリズムなど、ユーザにとって作成困難なものがライブラリになっていることが多い。そして、ライブラリは、例えばC言語ライブラリとしてC言語でまたは画像処理装置専用ライブラリとして専用言語で提供される。
【0010】
【発明が解決しようとする課題】
しかしながら、上記第2の方法の場合、ユーザにとっては、ライブラリを使いこなすための前提条件として、当然にその使い方を習得する必要があることに加えて、そのプログラム言語でのプログラムの設計および作成の技能習得が必要となり、相当数の工数(訓練)を消化しなければならないといった問題がある。
【0011】
このため、画像処理(条件)の設定を自動化して、上記工数を削減する方法が提案されている(プログラミングの自動化)。例えば自動ティーチングがあり、これは、検査対象(物体)を画像処理装置の視野に捉え、ボタン押下等の動作によって、その画像のデータ的特徴を抽出し、それを所定の判断アルゴリズムに通して所定の判断を行い、この判断により画像処理のパラメータを設定する(例えば特開2000−134467参照)。
【0012】
しかしながら、この方法は、どの画像処理で検査をするか予め決まっている単機能な画像処理センサなどに適用されており、どの画像処理で検査をするか定まらない汎用の画像処理装置には適さない。この理由は、汎用の画像処理装置の場合、画像処理対象の画像が例えば日の丸のような白地に赤丸の画像であったとすると、その画像からは、赤丸の面積を求めることもでき、あるいは赤丸の重心位置を求めることもできるなか、人の判断によらずに判断アルゴリズムのみで、それらのどちらを求めるべきであるかの判断を下すことができないからである。
【0013】
このため、画像処理装置において、どの画像処理で検査をするかの判断が可能となるように、画像処理対象の画像に対して領域を指定し、この領域内の画像のデータ的特徴を限定することにより、どの画像処理で検査をするかを自動的に設定(自動設定)することが試みられている。
【0014】
しかしながら、この自動設定は、ユーザの判断を領域指定という操作入力で取り込むことで、画像処理装置側がどの画像処理で検査をするかの判断が容易になるものの、自動ティーチングと本質的に同じ問題を持っており、予め想定した画像処理のみを設定できることに変わりがない。
【0015】
この他、プログラムの自動作成手法としては、ユーザの判断を、対話型インターフェースを通して取得し、雛形のプログラムを作成するものがある。しかし、この方法では、ユーザの目的が何であるのかを判別するための設問を、予め想定して作成する必要がある。もし、ユーザの目的に合致する設問が用意されていなければ、ユーザは、自己の目的に近いと考える雛形のプログラムが作成されるように、設問に答える必要がある。この場合、設問に対する答えに応じてどのような雛形のプログラムが作成されるかを把握していなければならない。また、雛形のプログラムの作成時点では、画像処理によるデータが提示されない状態で判断する必要がある。
【0016】
上記従来の方法は、いずれも想定された機能を設定する方法であり、設定された機能によって抽出された画像データのユーザへのフィードバック、ユーザによる自動設定自体の調整がなく、自動設定自体がユーザのニーズに合うようになっていく成長性に欠けるという問題点があった。
【0017】
本発明は、上記事情に鑑みてなされたものであり、ユーザに画像処理の知識が無くても画像処理装置の画像処理プログラムを簡単に作成することができる画像処理プログラム作成方法およびそのシステムを提供することを目的とする。
【0018】
【課題を解決するための手段】
上記課題を解決するための請求項1記載の発明の画像処理プログラム作成方法は、画像表示用の表示手段と、各種操作入力用の入力手段と、予め分類された複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みの項目毎に、複数種類の画像処理サブルーチン候補を含む画像処理サブルーチン候補セットを記憶する記憶手段とを利用して、画像処理プログラム作成機能が画像処理装置の画像処理プログラムを作成する方法であって、画像処理対象の撮像で得た対象画像を前記表示手段に表示するステップと、前記複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みから、前記入力手段を通じた操作入力で選択された項目に応じて、対応する画像処理サブルーチン候補セットを前記記憶手段から選択するステップと、この選択された画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補の各々を、前記入力手段を通じた操作入力で指定された指定領域内の、前記対象画像の全部または一部の画像に対して実行するステップと、前記選択された複数種類の画像処理サブルーチン候補の各実行結果を基に、前記選択された画像処理サブルーチン候補セットから選択された画像処理サブルーチン候補を、前記指定領域内の画像に対する画像処理サブルーチンとして前記画像処理装置の画像処理プログラムに組み込むステップとを有し、前記選択された画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補に、共通する処理部分がある場合、それら複数種類の画像処理サブルーチン候補は、前記共通する処理部分を兼用し、前記共通する処理部分により処理された処理結果は一時的に記憶されるとともに、各画像処理サーブルーチン候補の処理時に、該処理結果がコピーされて使用されることを特徴とする。
【0019】
この方法によれば、ユーザが、入力手段を通じた操作入力で、複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みから、所望の項目を選択するとともに、表示手段に表示された対象画像に対して領域を指定して指定領域の情報を入力すると、選択された項目に対応する画像処理サブルーチン候補セットが選択されて、この画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補の各々が指定領域内の画像に対して実行され、続いて、これら画像処理サブルーチン候補の各実行結果を基に、上記選択された画像処理サブルーチン候補セットから選択された画像処理サブルーチン候補が、指定領域内の画像に対する画像処理サブルーチンとして画像処理プログラムに組み込まれるようになるから、ユーザに画像処理の知識が無くても画像処理装置の画像処理プログラムを作成することができる。
【0020】
ここで、例えば生産ラインで得られた欠陥のある検査対象を撮像して得た画像が上記対象画像として使用される場合、対象画像の欠陥のある領域を指定領域とするなどの簡単な操作で、画像処理プログラムを作成することができる。また、複数種類の画像処理サブルーチン候補には、例えば、異物検査、ひび検査およびクラック検査などの各種検査用のものがあるが、外観検査、寸法測定、有無検知および文字検出などの検査目的を選択するだけで、検査目的に最適な画像処理サブルーチン候補が複数種類自動的に選択されることになるので、ユーザは、上述の具体的な画像処理の検査種別を知らなくても、入力手段を通じた上記操作入力を容易に行うことができる。さらに、画像処理装置が、検査対象に発生しうる不具合の有無を確認するなどのために使用される場合、画像処理装置を使用する現場のユーザは、たとえ画像処理の知識が無くても、検査対象としての画像処理対象に発生しうる不具合などを経験的なノウハウとして通常把握しており、この場合、検査対象に発生しうる不具合などに関する経験的なノウハウが盛り込まれた画像処理プログラムが作成されることになる。
【0021】
要するに、請求項1記載の発明によれば、ユーザに画像処理の知識が無くても画像処理装置の画像処理プログラムを簡単に作成することができるほか、画像処理の知識が不要となるため、その習得時間を削減することができる。また、ユーザが指定領域を設定するので、画像処理対象の間違った部分を検査する画像処理プログラムが作成されることがない。さらに、複数種類の画像処理対象項目および複数種類の検査項目の少なくとも一方の組みから項目が選択されるので、画像処理対象や検査目的に適した画像処理プログラムを作成することができ、また不要な項目が排除されるから、画像処理プログラムによる実行時間を短縮することができる。
また、画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補は、画像処理サブルーチン候補セットが画像処理対象項目および検査目的項目の少なくとも一方に対応する関係で、例えば同じ前処理を踏む場合などが多くなり、その前処理を複数種類の画像処理サブルーチン候補の各々について逐一実行していくと全体の実行時間が勢い長くなるが、請求項1記載の発明によれば、共通する処理部分が複数種類の画像処理サブルーチン候補の各々によって兼用され、共通する処理部分については1回の処理で済むようになるから、画像処理プログラムを作成するための実行時間を大幅に短縮することができる。
【0022】
請求項2記載の発明は、請求項1記載の画像処理プログラム作成方法において、前記指定領域内の画像に対して、前記選択された複数種類の画像処理サブルーチン候補の各々を実行した後、これら画像処理サブルーチン候補の各実行結果を前記表示手段に表示するステップをさらに有し、前記画像処理サブルーチンを前記画像処理プログラムに組み込むステップでは、前記表示手段に表示された各実行結果を基に、前記選択された画像処理サブルーチン候補セットから、前記入力手段を通じた操作入力で選択された画像処理サブルーチン候補を、前記指定領域内の画像に対する画像処理サブルーチンとして前記画像処理プログラムに組み込むことを特徴とする。この方法によれば、請求項1記載の発明において、選択された複数種類の画像処理サブルーチン候補の各々が指定領域内の画像に対して実行されると、これら画像処理サブルーチン候補の各実行結果が表示手段に表示されるようになり、この後、ユーザが、表示手段に表示された各実行結果を基に、上記選択された画像処理サブルーチン候補セットから、入力手段を通じた操作入力で画像処理サブルーチン候補を選択すると、これが指定領域内の画像に対する画像処理サブルーチンとして画像処理プログラムに組み込まれるようになるから、ユーザに画像処理の知識が無くても画像処理装置の画像処理プログラムを作成することができる。また、項目に対応する複数種類の画像処理サブルーチン候補が選択されるので、これら画像処理サブルーチン候補には、項目に対応するものが含まれ、項目に対応しないものは含まれないから、選択された複数種類の画像処理サブルーチン候補の数が必要以上に多くなるという問題が生ぜず、各実行結果を基にした画像処理サブルーチン候補の選択操作が容易となる。さらに、対話式の面倒な設問に答えることなく、従ってその機能を設ける必要もなく、ユーザが満足する実行結果となった画像処理サブルーチンにより、ユーザの検査目的に合致した画像処理プログラムを作成することができ、画像処理プログラムの修正などを不要にすることができる。
【0023】
請求項3記載の発明は、請求項1記載の画像処理プログラム作成方法において、前記指定領域内の画像に対して、前記選択された複数種類の画像処理サブルーチン候補の各々を実行した後、これら画像処理サブルーチン候補の実行結果から、それぞれ、所定基準から乖離する度合いを示す乖離度を算出するステップをさらに有し、前記画像処理サブルーチンを前記画像処理プログラムに組み込むステップでは、前記算出された複数の乖離度を基に、前記選択された画像処理サブルーチン候補セットから自動的に画像処理サブルーチン候補を選択し、これを前記指定領域内の画像に対する画像処理サブルーチンとして前記画像処理プログラムに組み込むことを特徴とする。この方法によれば、請求項1記載の発明において、選択された複数種類の画像処理サブルーチン候補の各々が指定領域内の画像に対して実行されると、これら画像処理サブルーチン候補の実行結果からそれぞれ乖離度が算出され、続いて、これら乖離度を基に、上記選択された画像処理サブルーチン候補セットから自動的に画像処理サブルーチン候補が選択されて、これが指定領域内の画像に対する画像処理サブルーチンとして画像処理プログラムに組み込まれるようになるから、ユーザに画像処理の知識が無くても画像処理装置の画像処理プログラムをより簡単に作成することができる。また、例えば、画像処理サブルーチン候補セットに含まれる異なる画像処理サブルーチン候補(画像処理アルゴリズム)の各々によって欠陥が検出される場合、それらから、欠陥の検出に最適な画像処理サブルーチン候補を自動的に検出させる構成が可能となり、この場合、ユーザの判断ミスで最適でない画像処理サブルーチン候補が選ばれるといったことをなくすことができる。
【0024】
請求項4記載の発明は、請求項3記載の画像処理プログラム作成方法において、前記対象画像は、良品および不良品の複数の画像処理対象からそれぞれ複数得られ、前記対象画像を前記表示手段に表示するステップでは、前記複数の対象画像の少なくとも1つを前記表示手段に表示し、前記選択された複数種類の画像処理サブルーチン候補の各々を実行するステップでは、これら画像処理サブルーチン候補の各々を、前記複数の対象画像の各指定領域内の画像に対して実行し、前記乖離度を算出するステップでは、前記各対象画像に対する前記複数種類の画像処理サブルーチン候補の実行結果から、それぞれの画像処理サブルーチン候補に対する乖離度を統計的に算出し、前記画像処理サブルーチンを前記画像処理プログラムに組み込むステップでは、前記統計的に算出された各乖離度を基に、前記選択された画像処理サブルーチン候補セットから自動的に画像処理サブルーチン候補を選択し、これを前記指定領域内の画像に対する画像処理サブルーチンとして前記画像処理プログラムに組み込むことを特徴とする。この方法によれば、ユーザが、入力手段を通じた操作入力で、複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みから、所望の項目を選択するとともに、表示手段に表示された少なくとも1つの対象画像に対して領域を指定して指定領域の情報を入力すると、選択された項目に対応する画像処理サブルーチン候補セットが選択されて、この画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補の各々が、複数の対象画像の各指定領域内の画像に対して実行され、続いて、これら画像処理サブルーチン候補の各実行結果から、上記選択された複数種類の画像処理サブルーチン候補の各々の乖離度が統計的に算出され、続いて、これら乖離度を基に、上記選択された画像処理サブルーチン候補セットから自動的に画像処理サブルーチン候補が選択されて、これが指定領域内の画像に対する画像処理サブルーチンとして画像処理プログラムに組み込まれるようになるから、ユーザに画像処理の知識が無くても画像処理装置の画像処理プログラムをより簡単に作成することができる。例えば、画像処理プログラムの作成の際、生産ラインに流れる良品および不良品の複数の画像処理対象を撮像して複数の対象画像を取得し、これら複数の対象画像を請求項4記載の発明に適用すれば、選択された画像処理サブルーチン候補セットに含まれる各画像処理サブルーチン候補の乖離度が統計的に算出されていくので、検査精度の最適な画像処理サブルーチン候補を画像処理サブルーチンとして統計的に自動選択することができる。また、画像処理対象の良品画像、不良品画像をプログラム作成前に取得、記憶しておき、これを利用することでプログラム作成が効率的に行え、同画像データの繰り返し利用や確認も可能となる。
【0025】
請求項5記載の発明は、請求項1〜4のいずれかに記載の画像処理プログラム作成方法において、前記画像処理サブルーチン候補セットには、それぞれに互いに異なるパラメータの値が割り当てられた複数の同一フローの画像処理サブルーチン候補が含まれることを特徴とする。この方法によれば、好適なパラメータの値が割り当てられた好適な画像処理サブルーチン候補セットで、より好適な画像処理プログラムを作成することができる。
【0026】
請求項6記載の発明は、請求項1〜4のいずれかに記載の画像処理プログラム作成方法において、前記入力手段を通じて操作入力された画像処理対象項目および検査目的項目の少なくとも一方の項目と、前記記憶手段に記憶されている全種類の画像処理サブルーチン候補から前記入力手段を通じた操作入力で選択された複数種類の画像処理サブルーチン候補とに応じて、これら画像処理サブルーチン候補を前記操作入力された項目に対応させて前記記憶手段に記憶することを特徴とする。この方法によれば、ユーザが、入力手段を通じた操作入力で、所望する項目を設定するとともに、記憶手段に記憶されている全種類の画像処理サブルーチン候補から所望する複数種類の画像処理サブルーチン候補を選択すると、選択された複数種類の画像処理サブルーチン候補が設定した項目に対応して記憶手段に記憶されるようになる。このような登録は、例えば生産技術者が製造部門の技術者に依頼することで行われ、この依頼を受けた製造部門の技術者が現場に則した登録をすることになる。これにより、現場により一層適合した画像処理プログラムの作成が可能になる。
【0028】
請求項7記載の発明は、請求項1〜4のいずれかに記載の画像処理プログラム作成方法において、前記指定領域内の画像に対して、前記選択された複数種類の画像処理サブルーチン候補の各々を実行するステップでは、その複数種類の画像処理サブルーチン候補の各々に含まれるパラメータのうち、前記入力手段を通じた操作入力で選択されたパラメータとこのパラメータに対して指定された可変条件とに応じて、前記選択された複数種類の画像処理サブルーチン候補の各々を、これに含まれる前記選択されたパラメータを前記指定された可変条件で可変しながら、前記指定領域内の画像に対して実行し、前記画像処理サブルーチンを前記画像処理プログラムに組み込むステップでは、その画像処理サブルーチン内の前記選択されたパラメータの値を、前記各実行結果から得られるそのパラメータの適正範囲の中心値に設定することを特徴とする。この方法によれば、ユーザが、入力手段を通じた操作入力で、既に選択された複数種類の画像処理サブルーチン候補の各々に含まれるパラメータのうち、所望のパラメータを選択するとともに、その可変条件(範囲および刻みなど)を指定すると、選択されたパラメータと指定された可変条件とに応じて、上記選択された複数種類の画像処理サブルーチン候補の各々が、これに含まれる選択されたパラメータを指定された可変条件で可変しながら、指定領域内の画像に対して実行され、続いて、上記選択された複数種類の画像処理サブルーチン候補の各実行結果を基に選択された画像処理サブルーチン候補内の選択されたパラメータの値が、各実行結果から得られるそのパラメータの適正範囲(例えば、各実行結果のヒストグラムのピークなどで適正範囲の限界が決まる)の中心値に設定されて、この中心値に設定された画像処理サブルーチン候補が画像処理サブルーチンとして画像処理プログラムに組み込まれるようになる。これにより、良不良判定が特定の範囲で一定する場合、画像処理プログラムに組み込む画像処理サブルーチン内の所望のパラメータの値が適正範囲の中心値に設定され、最も代表的なパラメータに設定されることになる。
【0029】
請求項8記載の発明は、請求項2記載の画像処理プログラム作成方法において、前記選択された複数種類の画像処理サブルーチン候補の各実行結果を前記表示手段に表示するステップでは、これらの各実行結果とともに、前記対象画像または各実行結果を出した画像処理サブルーチン候補による前記対象画像に対する画像処理済みの画像を前記表示手段に表示することを特徴とする。この方法によれば、選択された複数種類の画像処理サブルーチン候補の各実行結果とともに、対象画像または各画像処理済みの画像が表示手段に表示されるから、各実行結果の視認性が高まり、例えば、各実行結果のみでは画像処理サブルーチン候補の選択が困難である場合、画像処理済みの画像を参考にして適切な画像処理サブルーチン候補を画像処理サブルーチンとして選択することが可能となる。
【0030】
請求項9記載の発明は、請求項1〜4のいずれかに記載の画像処理プログラム作成方法において、前記画像処理サブルーチンが組み込まれて作成された前記画像処理プログラムに、共通する処理部分がある場合、これらの処理部分を一の処理部分として統合するステップをさらに有することを特徴とする。この方法によれば、画像処理プログラムの容量を減らすことができるほか、その実行の高速化を図ることができる。また、画像処理プログラムが短くなり、全体の把握が容易になる。
【0031】
請求項10記載の発明は、請求項1〜4のいずれかに記載の画像処理プログラム作成方法において、前記画像処理サブルーチンが組み込まれて作成された前記画像処理プログラムのフローチャートを前記表示手段に表示するステップをさらに有することを特徴とする。この方法によれば、各画像処理サブルーチンが画像処理プログラムのどこに組み込まれたかを容易に把握することができる。例えば、画像処理サブルーチンが画像処理プログラムに組み込まれる毎に、表示手段に画像処理プログラムのフローチャートが表示されるようにすれば、文字プログラミングに不慣れなユーザでも、フローチャートのシンボルが増えるのを確認することで、画像処理サブルーチンが画像処理プログラムのどこに組み込まれたのかを感覚的に把握することができる。
【0032】
請求項11記載の発明は、請求項10記載の画像処理プログラム作成方法において、前記画像処理プログラムのフローチャートを前記表示手段に表示するステップでは、そのフローチャート内の前記画像処理サブルーチンのシンボルと関連付けられた位置に、その画像処理サブルーチンによる前記対象画像に対する画像処理済みの画像を表示することを特徴とする。この方法によれば、対象画像の各指定領域内の画像に対する各画像処理サブルーチンによる実行結果を容易に検証することができる。
【0033】
請求項12記載の発明は、請求項10記載の画像処理プログラム作成方法において、前記画像処理プログラムのフローチャートを前記表示手段に表示するステップでは、そのフローチャート内の前記画像処理サブルーチンのシンボルに対する前記入力手段を通じた操作入力に応じて、対応する画像処理サブルーチンによる各画像処理過程の画像を順次切替表示することを特徴とする。この方法によれば、画像処理サブルーチンによる各画像処理過程および画像処理結果が適切であるか否かの確認が行うことができる。
【0034】
請求項13記載の発明は、請求項10記載の画像処理プログラム作成方法において、前記画像処理プログラムのフローチャートを前記表示手段に表示するステップでは、前記画像処理プログラムのフローチャートを前記表示手段に表示するステップでは、まず、画像処理プログラムのフローチャートを前記表示手段に表示し、続いてこの表示手段に表示したフローチャートに対して、前記入力手段を通じた操作入力で指定された位置に、前記選択された画像処理サブルーチン候補を画像処理サブルーチンとして組み込んで、これが組み込まれて作成された画像処理プログラムのフローチャートを前記表示手段に表示することを特徴とする。この方法によれば、画像処理サブルーチンを画像処理プログラムの所望する位置に組み込むことができるほか、前に作成した画像処理プログラムの所望する位置に、新たな画像処理サブルーチンを容易に組み込むことができるから、別の画像処理プログラムを作成するための時間(工数)を、前に作成した画像処理プログラムを土台にすることで大幅に削減することができる。
【0035】
請求項14記載の発明は、請求項1〜4のいずれかに記載の画像処理プログラム作成方法において、前記対象画像を前記表示手段に表示するステップでは、まず、前記画像処理装置の画像処理プログラムのフローチャートを、画像処理サブルーチン用のシンボルとともに前記表示手段に表示し、続いて、前記入力手段を通じた操作入力による前記フローチャート上の前記シンボルの選択に応じて、前記対象画像を前記表示手段に表示し、前記画像処理サブルーチンを前記画像処理プログラムに組み込むステップでは、前記選択された画像処理サブルーチン候補を、画像処理サブルーチンとして前記画像処理プログラム内の前記選択されたシンボルに対応する位置に組み込むことを特徴とする。この方法によれば、画像処理プログラムを作成する前に、その全体を構成しておくことができる。ユーザは、画像処理プログラムのどこに、これから選択される画像処理サブルーチン候補が画像処理サブルーチンとして組み込まれるのかを理解することができる。画像処理プログラムの作成後でも、再度同様のステップを踏むことで、画像処理サブルーチンを変更することができる。例えば、画像処理対象の変更により、画像処理プログラムの全体を変更する必要はないが、ある画像処理サブルーチンを変更する必要がある場合などに対応可能となる。
【0036】
請求項15記載の発明は、請求項1〜4のいずれかに記載の画像処理プログラム作成方法において、前記画像処理サブルーチンを前記画像処理プログラムに組み込んだ後、前記対象画像とともに前記指定領域を前記表示手段に表示するステップと、この表示手段に表示された指定領域を別の指定領域にコピーアンドペーストする前記入力手段を通じた操作入力に応じて、前記別の指定領域内の画像に対する画像処理サブルーチンとして、前記選択された画像処理サブルーチン候補を割り当てて前記画像処理プログラムを修正するステップとをさらに有することを特徴とする。この方法によれば、検査対象の特定部分の欠陥に的を絞って、適用すべき画像処理サブルーチンを決定するだけで、その欠陥が発生しそうな別の部分にも同じ画像処理サブルーチンを容易に適用することができる。これにより、画像処理プログラムの作成時間を大幅に短縮することができる。また、実際の検査対象の指定領域が多角形などで、矩形などの代表的な領域形状で表現し難い場合などでは、予め矩形などの代表的な領域形状の別の領域で画像処理サブルーチンを決定しておき、決定した画像処理サブルーチンの設定内容を所望の形状の指定領域にコピーすることで、この指定領域の画像処理サブルーチンを設定することができる。
【0037】
請求項16記載の発明は、画像表示用の表示手段と、各種操作入力用の入力手段と、予め分類された複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みの項目毎に、複数種類の画像処理サブルーチン候補を含む画像処理サブルーチン候補セットを記憶する記憶手段とを利用して、画像処理装置の画像処理プログラムを作成する画像処理プログラム作成機能とにより構成される画像処理プログラム作成システムであって、前記画像処理プログラム作成機能は、画像処理対象の撮像で得た対象画像を前記表示手段に表示し、前記複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みから、前記入力手段を通じた操作入力で選択された項目に応じて、対応する画像処理サブルーチン候補セットを前記記憶手段から選択し、この選択された画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補の各々を、前記入力手段を通じた操作入力で指定された指定領域内の、前記対象画像の全部または一部の画像に対して実行し、前記選択された複数種類の画像処理サブルーチン候補の各実行結果を基に、前記選択された画像処理サブルーチン候補セットから選択された画像処理サブルーチン候補を、前記指定領域内の画像に対する画像処理サブルーチンとして前記画像処理装置の画像処理プログラムに組み込む各処理を実行することを特徴とする。この構成にによれば、ユーザに画像処理の知識が無くても画像処理装置の画像処理プログラムを簡単に作成することができるほか、画像処理の知識が不要となるため、その習得時間を削減することができる。また、ユーザが指定領域を設定するので、画像処理対象の間違った部分を検査する画像処理プログラムが作成されることがない。さらに、複数種類の画像処理対象項目および複数種類の検査項目の少なくとも一方の組みから項目が選択されるので、画像処理対象や検査目的に適した画像処理プログラムを作成することができ、また不要な項目が排除されるから、画像処理プログラムによる実行時間を短縮することができる。
【0038】
【発明の実施の形態】
図1は画像処理プログラム作成システムの構成図、図2は図1の画像処理アルゴリズム記憶部の説明図、図3は図1の画像処理プログラム作成システムに設けられる画像処理プログラム作成機能の動作フロー図、図4は図3の動作フローの説明図であり、これらの図を用いて本発明の第1実施形態について説明する。
【0039】
図1に示す画像処理プログラム作成システムは、CRTまたはLCDなどにより構成される画像表示用の入出力表示装置1と、画像処理対象(例えば生産物などの検査対象)を撮像するための撮像装置2と、キーボードおよびマウスなどにより構成される各種操作入力用の操作入力装置3と、画像処理装置4とを備えている。
【0040】
この画像処理装置4は、CPU、各種メモリおよびハードディスクなどにより構成され、撮像用メモリ41、自動実行設定部42、画像処理アルゴリズム記憶部43、プログラム作成部44、画像処理プログラム格納部45、画像処理プログラム実行部46、処理画像・結果格納部47および画像・設定表示用メモリ48を備え、これら各部により構成される通常の画像処理機能および第1実施形態の特徴となる画像処理プログラム作成機能を有している。
【0041】
これら両機能のうち、通常の画像処理機能は従来と同様であるのでその説明を省略し、以下では第1実施形態の特徴となる画像処理プログラム作成機能について説明する。なお、図1の例では、プログラム作成部44は、自動実行データ格納部441、画像処理サブルーチン挿入位置指定部442、領域指定部443、「複数の画像処理サブルーチン候補実行部」444、画像処理サブルーチン候補選択指定部445および「画像処理プログラムへの組込み部」446を含んでいる。また、画像処理アルゴリズム記憶部43は、画像処理記憶部431および複数の画像処理サブルーチン候補セット設定情報部432を含んでいる。
【0042】
先ず、画像処理プログラム作成機能により解決する課題について説明すると、従来では、既述の如く画像処理装置の使用には一定の習得工数を必要とする。このため、実際には画像処理を習得した技術者のみが画像処理装置を使用する傾向が高くなり、その使用範囲を拡大することができない。これらの工数を低減するために、自動設定機能や雛形プログラム作成機能を持つ画像処理装置が見受けられるが、これらは、画像処理をサブルーチン化し、メニューや対話型のインターフェースを通して画像処理サブルーチンを選択して画像処理プログラムを作成するものであり、通常、各画像処理機能に対応した選択インターフェースになっているので、ユーザに画像処理の内容の認識を強いることが多くなる。
【0043】
例えば、特開平7−160843号公報の画像認識プログラム構築装置では、メニュー選択によりコーディングおよびコンパイルの作業を不要にし、画像処理プログラムの作成作業の簡易化を図っているが、ユーザが画像データの知識を持っていることを期待し、その知識によって画像処理サブルーチンが選択されるように構成されている。しかし、汎用の画像処理装置では、その機能も多岐にわたり、画像処理サブルーチンも数多く(100個以上の画像処理サブルーチンが用意されていることが多い)、画像処理知識のないユーザにとって、所望の処理を実現するために適切な画像処理サブルーチンの選択を行うことは困難である。
【0044】
そこで、第1実施形態では、上記課題を解決すべく、入出力表示装置1と、操作入力装置3と、画像処理アルゴリズム記憶部43に含まれる画像処理記憶部431とを利用して、画像処理装置4の画像処理プログラムを作成する画像処理プログラム作成機能が設けられるのである。
【0045】
画像処理記憶部431には、予め分類された複数種類の画像処理対象項目および複数種類の検査目的項目の各項目毎に、複数種類の画像処理サブルーチン候補を含む画像処理サブルーチン候補セットが記憶されている。検査目的項目は、図2の例に示すように、外観検査、寸法測定、有無検知(位置検出)および文字検出などの各項目に予め分類され、これらの項目毎に画像処理サブルーチン候補セットが対応付けされて画像処理記憶部431に記憶されている。各画像処理サブルーチン候補セットには、外観検査の項目の場合、異物検査、ひび検査、クラック検査および欠け検査の複数種類の画像処理サブルーチン候補が含まれる。同様に、寸法測定、有無検知および文字検出などの各画像処理サブルーチン候補セットにも、図2(a)に示すような複数種類の画像処理サブルーチン候補が含まれる。そして、これらの各画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補は、図2(b)に示すGUI(グラフィカル・ユーザ・インターフェース)を通じて選択可能になっている。例えば、図2(c)に示すように、外観検査の画像処理サブルーチン候補セットに含まれる異物検査の項目をアクティブにして、操作入力装置3を通じてGUIの「設定」ボタンをオンする操作を行えば、異物検査の画像処理サブルーチン候補が選択される。
【0046】
なお、図2の例には示されていないが、各画像処理対象項目にも、複数種類の画像処理サブルーチン候補を含む画像処理サブルーチン候補セットが対応付けされている。画像処理対象項目の例を挙げると、画像処理対象が生産品である場合には、商品的に形状の安定した例えばスイッチなどの商品分類項目が使用され、画像処理対象が人や動物である場合には、手、足および顔などの部位項目が使用される。また、画像処理対象および検査目的の両方を一の項目として画像処理サブルーチン候補セットが対応付けされる場合もある。
【0047】
上記画像処理プログラム作成機能は、主として自動実行設定部42およびプログラム作成部44により構成され、画像処理装置4の画像処理プログラムを作成するための各種処理を実行する。例えば、画像処理対象の撮像で得えられ、撮像用メモリ41に記憶されている対象画像のデータを画像・設定表示用メモリ48に転送して、対象画像を入出力表示装置1の画面に表示する処理が行われる。また、複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みから、操作入力装置3を通じた操作入力で選択された項目に応じて、対応する画像処理サブルーチン候補セットを画像処理記憶部431から選択する処理が行われる。また、選択された画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補の各々を、操作入力装置3を通じた操作入力で指定された指定領域内の、対象画像の全部または一部の画像に対して実行し、これらの各実行結果を入出力表示装置1の画面に表示する処理が実行される。さらに、その画面に表示された各実行結果を基に、上記選択された画像処理サブルーチン候補セットから、操作入力装置3を通じた操作入力で選択された画像処理サブルーチン候補を、上記指定領域内の画像に対する画像処理サブルーチンとして画像処理装置4の画像処理プログラムに組み込む処理が実行される。
【0048】
次に、第1実施形態の特徴となる画像処理プログラム作成機能の動作について説明する。まず、GUIを利用して、これからユーザに選択させる画像処理サブルーチン候補を画像処理サブルーチンとして挿入すべき画像処理プログラム内の位置を指定させるための画面に、入出力表示装置1の画面を切り替える処理が実行される。この後、ステップS1で、上記画像処理サブルーチンを挿入すべき位置が、操作入力装置3を通じた操作入力で指定されると、指定された位置情報を一時保持し、続いて、対象画像を入出力表示装置1の画面に表示する処理が行われる。これらは、自動実行設定部42および画像処理サブルーチン挿入位置指定部442により実行される。
【0049】
この後、ステップS2で、対象画像の全部または一部の画像に対する指定領域(図4(a)の「領域作成」の枠参照)が、操作入力装置3を通じた操作入力で指定されると、その指定領域の情報を一時保持し(図1の443)、続いて、GUIを用いて、複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みから所望の項目をユーザに選択させるための画面に、入出力表示装置1の画面を切り替える処理が実行される。
【0050】
この後、複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みから、操作入力装置3を通じた操作入力で所望の項目が選択されると、ステップS3で、その項目に対応する画像処理サブルーチン候補セットを画像処理記憶部431から選択する処理が行われる。
【0051】
続いて、ステップS4で、選択された画像処理サブルーチン候補セット内から登録順に従って一の画像処理サブルーチン候補を選択し、これを上記指定領域内の画像に対して実行する処理が行われる(図1の444)。
【0052】
続いて、ステップS5で、選択された画像処理サブルーチン候補セット内に、未実行の画像処理サブルーチン候補が残っているか否かの判別が行われる。未実行の画像処理サブルーチン候補が残っていれば(S5でYES)、ステップS4に戻る一方、そうでなければ(S5でNO)、ステップS8で、図4(b)の例に示すように、上記各画像処理サブルーチン候補の実行結果を入出力表示装置1の画面に表示して、所望の画像処理サブルーチン候補を受け付ける処理が実行される(図1の445)。
【0053】
この後、ステップS9,S10で、その画面に表示された各実行結果を基に、上記選択された画像処理サブルーチン候補セットから、操作入力装置3を通じた操作入力で所望の画像処理サブルーチン候補(図4(d)では「ひび検査」)が選択されると、この選択された画像処理サブルーチン候補を、上記指定領域内の画像に対する画像処理サブルーチンとして、画像処理プログラム内の、ステップS1で指定された位置に組み込む処理が行われる(図4(c)の「領域1のひび検査」参照)。
【0054】
ここで、例えば生産ラインで得られた欠陥のある検査対象を撮像して得た画像が上記対象画像として使用される場合、対象画像の欠陥のある領域を指定領域とするなどの簡単な操作で、画像処理プログラムを作成することができる。実際、生産ラインでは、欠陥のある検査対象そのものを撮像した画像を参照しながら画像処理プログラムが作成されるが、本画像処理プログラム作成機能によれば、画像処理の知識のない人でも、欠陥が発生し得る領域を指摘しながら、画像処理プログラムを作成することができる。
【0055】
また、複数種類の画像処理サブルーチン候補には、例えば、異物検査、ひび検査およびクラック検査などの各種検査用のものがあるが、外観検査、寸法測定、有無検知(位置検出)および文字検出などの検査目的を選択するだけで、検査目的に最適な画像処理サブルーチン候補が複数種類自動的に選択されることになるので、ユーザは、上述の具体的な画像処理の検査種別を知らなくても、操作入力装置3を通じた上記操作入力を容易に行うことができる。
【0056】
また、画像処理には、一般的に外観検査、寸法測定、有無検知などの類型が見られ、画像処理対象が異なっても、同様の検査を行う場合には画像データの特性に合わせていく課程で、同じような画像処理アルゴリズムが使用されるという傾向がある。すなわち、画像処理装置に搭載されている多数の画像処理アルゴリズムのうち、少なくとも初期段階では、少数の画像処理アルゴリズムが使用できれば、画像処理を行うことができる。また、同様の検査対象を扱う場合には、同じような画像処理プログラムが組み込まれて処理を行うことが多い。従って、代表的な(よく使われる)画像処理を自動実行し、予め画像処理装置に組み込まれた判断のみでは不十分となる部分を、自動処理結果としてユーザにフィードバックし、ユーザの判断を仰ぐことで、最適となる画像処理プログラムの作成が可能になるのである。
【0057】
さらに、画像処理装置4が、検査対象に発生しうる不具合の有無を確認するなどのために使用される場合、画像処理装置4を使用する現場のユーザは、たとえ画像処理の知識が無くても、検査対象としての画像処理対象に発生しうる不具合(例えば検査対象の欠陥部分または欠陥が起きそうな箇所など)を経験的なノウハウとして通常把握しており、この場合、検査対象に発生しうる不具合などに関する経験的なノウハウが盛り込まれた画像処理プログラムが作成されることになる。
【0058】
以上、第1実施形態によれば、ユーザに画像処理の知識が無くても画像処理装置4の画像処理プログラム(例えば外観検査および計測など、画像処理対象に適した応用プログラム)を簡単に作成することができるほか、画像処理の知識が不要となるため、その習得時間(工数)を削減することができる。また、ユーザが指定領域を設定するので、画像処理対象の間違った部分を検査する画像処理プログラムが作成されることがない。さらに、複数種類の画像処理対象項目および複数種類の検査項目の少なくとも一方の組みから項目が選択されるので、画像処理対象や検査目的に適した画像処理プログラムを作成することができ、また不要な項目が排除されるから、画像処理プログラムによる実行時間を短縮することができる。
【0059】
また、項目に対応する複数種類の画像処理サブルーチン候補が選択されるので、これら画像処理サブルーチン候補には、項目に対応するものが含まれ、項目に対応しないものは含まれないから、選択された複数種類の画像処理サブルーチン候補の数が必要以上に多くなるという問題が生ぜず、各実行結果を基にした画像処理サブルーチン候補の選択操作が容易となる。さらに、対話式の面倒な設問に答えることなく、従ってその機能を設ける必要もなく、ユーザが満足する実行結果となった画像処理サブルーチン候補により、ユーザの検査目的に合致した画像処理プログラムを作成することができ、画像処理プログラムの修正などを不要にすることができる。
【0060】
なお、第1実施形態では、画像処理プログラム作成機能が画像処理装置内に具備される構成になっているが、画像処理プログラム作成機能が画像処理装置とは別体の画像処理プログラム作成装置として設けられる構成でもよい。
【0061】
図5は画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能の動作フロー図、図6は図5の動作フローの説明図であり、これらの図を用いて本発明の第2実施形態について説明する。ただし、以下の各実施形態では図1を共通に使用する。
【0062】
第2実施形態の画像処理プログラム作成システムは、入出力表示装置1と、撮像装置2と、操作入力装置3とを第1実施形態と同様に備えるほか、選択された画像処理サブルーチン候補に対するパラメータ設定機能を画像処理プログラム作成機能がさらに有する以外は第1実施形態と同様に構成される画像処理装置4を備える。
【0063】
すなわち、図5に示すように、ステップS5,S8間にステップS6,S7が追加され、ステップS6で、図6に示す「パラメータ修正画面」のようなGUIを用いて、所望の画像処理サブルーチン候補に対するパラメータの修正入力を受け付け、続いて、修正があると(S7でYES)、所望の画像処理サブルーチン候補に対するパラメータを、受け付けたパラメータに修正した上で、ステップS4に戻る一方、修正がなければ(S7でNO)、ステップS8に進む処理を実行する構成になっている。
【0064】
以上、第2実施形態によれば、所望の画像処理サブルーチン候補に対するパラメータの修正が可能になっているので、より好適な画像処理プログラムの作成が可能になる。
【0065】
図7は画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能の動作フロー図、図8,図9は図7の動作フローの説明図であり、これらの図を用いて本発明の第3実施形態について説明する。
【0066】
第3実施形態の画像処理プログラム作成システムは、選択された複数種類の画像処理サブルーチン候補の各実行結果を入出力表示装置1の画面に表示し、この画面に表示された各実行結果を基に、選択済みの画像処理サブルーチン候補セットから、操作入力装置3を通じた操作入力で画像処理サブルーチン候補を選択させる処理手順に代えて、選択された複数種類の画像処理サブルーチン候補の各実行結果から、それぞれ、所定基準から乖離する度合いを示す乖離度を算出し、これら複数の乖離度を基に、選択済みの画像処理サブルーチン候補セットから、自動的に画像処理サブルーチン候補を選択する処理手順を含む画像処理プログラム作成機能が画像処理装置4に具備される以外は第1実施形態と同様に構成される。
【0067】
第3実施形態では、一の良品および一の不良品の画像処理対象をそれぞれ撮像して2つの対象画像を取得し、これら対象画像の各々に対し、選択された画像処理サブルーチン候補セットに含まれる各画像処理サブルーチン候補を実行し、これらの実行結果から、良品の対象画像については値が小さく、不良品の対象画像については値が大きくなる、良品基準に対する乖離度を算出し、対象画像が不良品である場合に乖離度の値が一番大きくなる画像処理サブルーチン候補を選択し、これを画像処理サブルーチンとして画像処理プログラムに組み込む処理が行われる。
【0068】
図7において、2つの対象画像が画像処理装置4に入力されると、不良品の対象画像に対してステップS11,S12の処理が実行され、この後、ステップS13,S14に進んで、良品の画像に切り替えられ、ステップS11に戻って、良品の対象画像に対してステップS11,S12の処理が実行され、この後、ステップS13,S15を経てステップS17に進む。
【0069】
ステップS11では、第1実施形態と同様に、画像処理サブルーチンの挿入位置指定用の画面に切り替える処理と、指定された位置情報を一時保持し、対象画像を表示する処理と、指定領域の情報を一時保持し、所望の項目選択用の画面に切り替える処理と、選択された項目に対応する画像処理サブルーチン候補セットを画像処理記憶部431から選択する処理と、各画像処理サブルーチン候補を実行する処理とが行われる。ステップS12では、上記各画像処理サブルーチン候補の実行結果を所定のメモリなどに格納する処理が実行される(図1の441)。
【0070】
そして、ステップS17に進むと、良品結果の正規化値計算の処理が実行され、続いて、ステップS18〜S20で、不良品結果の正規化値計算の処理と、良品/不良品の乖離度(分離度合い)の比の計算の処理と、最大乖離度のアルゴリズム選択の処理とが順次実行され、この後、乖離度を基に自動的に選択された画像処理サブルーチン候補を画像処理サブルーチンとして画像処理装置4の画像処理プログラムに組み込む処理が実行される。
【0071】
ここで、図8(a)に示すように、ステップS17,S18では、同一基準で判定するために、良品基準の測定値で正規化値(百分率)が算出される。なお、これに限らず、複数の良品基準の平均値あるいは平均値と標準偏差から求めた最大基準値や最小基準値などを使用して正規化を行ってもよい。
【0072】
ステップS19では、良品の測定結果を良品基準に十分近いとみなして、良品の、良品基準からの乖離度と、不良品の、良品基準からの乖離度との比(下記の式参照)をとって、図8(b)に示すように、分離度合いとしての乖離度が算出される。ステップS20では、乖離度の比が最大になった画像処理サブルーチン候補が、良不良を最も分離した画像処理サブルーチンとして選択される。
【0073】
比=|不良品正規化値-100|/|良品正規化値-100|
さらに詳述すると、図9(a)に示す黒の円形の画像を良品基準としたとき、対象画像から画像処理で得られるデータは多数考えられるが、ここでは、面積、周囲長検出、射影幅およびパターンマッチングによる相関値であるとする。図9(b)に示す画像を良品画像としたとき、これは良品基準よりも若干小さくまた偏っており、良品基準と差があるが、この良品画像から得られる上記のデータは良品基準に十分近いとみなす。この設定で、例えば、図9(c)〜(e)に示す画像A、画像B、画像Cを不良品画像として良品基準と比較すると、画像Aの場合、面積値、周囲長の乖離度は余り変わらず、射影幅、パターンマッチングの乖離度が大きくなる。また、画像Bの場合は射影幅、周囲長の乖離度は余り変わらず、面積値とパターンマッチングの乖離度が大きくなる。また、画像Cの場合は射影幅、面積値、パターンマッチングの乖離度は余り変わらず、周囲長の乖離度が大きくなる。このように、不良の状態によって、正確な判定に効果的な画像処理が異なるため、抽出すべき不良の状態に適した画像処理を選択することが、第3実施形態の目的である。
【0074】
以上、第3実施形態によれば、ユーザに画像処理の知識が無くても画像処理装置の画像処理プログラムをより簡単に作成することができる。
【0075】
なお、図7のフローでは、良品画像および不良品画像が各1つ使用されることになっているが、それぞれ複数使用されることにすれば、より多くのサンプル画像から乖離度の比が統計的に得られる。これにより、一層好適な画像処理サブルーチン候補の選択が可能となって、一層好適な画像処理プログラムの作成が可能となる。また、製造工程では、スタッフは、良品基準を確認した後、良品グループ、不良品グループを工程に流して、良品、不良品混在でも正確に判別することができるように訓練をして経験を積むが、これにそのまま上記画像処理プログラム作成システムを適用することができる。
【0076】
図10は画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能の説明図、図11は画像処理サブルーチン候補の選択、そのパラメータの修正および新たな画像処理サブルーチン候補の登録の説明図であり、これらの図を用いて本発明の第4実施形態について説明する。
【0077】
第4実施形態の画像処理プログラム作成システムは、画像処理サブルーチン候補セットに、それぞれに互いに異なるパラメータの値が割り当てられた複数の同一フローの画像処理サブルーチン候補が含まれる以外は第1実施形態と同様に構成される。
【0078】
すなわち、図10に示すように、画像処理サブルーチン候補セットに含まれる異物検査、ひび検査およびかけ検査などの複数種類の画像処理サブルーチン候補の各々には、同一フローの画像処理サブルーチン候補が複数設けられており、それぞれのパラメータには異なる値が予め割り当てられている。例えば、異物検査の同一フローの「微分値しきい値」には、「40」、「50」、「60」の異なる値が割り当てられ、ひび検査の同一フローの「光量差しきい値」には、「10」、「50」の異なる値が割り当てられ、そしてかけ検査の同一フローの「ライン本数」には、「15」,「10」の異なる値が割り当てられている。
【0079】
そして、図11(a)に示すように、画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補は、各実行結果(図では「OK」,「NG」)とともに表示され、GUIを通じて所望のものを選択することができるようになっている。例えば、所望の画像処理サブルーチン候補をアクティブにして、操作入力装置3を通じてGUIの「設定」ボタンをオンする操作を行えば、その画像処理サブルーチン候補が画像処理サブルーチンとして選択される。キャンセルする場合は、GUIの「キャンセル」ボタンをオンする操作を行えばよい。
【0080】
また、操作入力装置3を通じてGUIの「パラメータ設定」ボタンをオンする操作を行えば、図11(b)に示す「パラメータ設定・登録」の画面に切り替わる。そして、操作入力装置3を通じて所望の値を修正したいパラメータの項目に入力する操作を行い、続いてGUIの「設定」ボタンをオンする操作を行えば、図10に示した対応する画像処理サブルーチン候補のパラメータの値がその入力した値に修正される。また、GUIの「登録」ボタンをオンする操作を行えば、対応する画像処理サブルーチン候補と同一のフローをコピーして、これに図11(b)に示す一連のパラメータが設定され、新たな画像処理サブルーチン候補が対応する画像処理サブルーチン候補セットに追加される。
【0081】
以上、第4実施形態によれば、好適なパラメータの値が割り当てられた好適な画像処理サブルーチン候補セットで、より好適な画像処理プログラムを作成することができる。
【0082】
図12は画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能の説明図であり、この図を用いて本発明の第5実施形態について説明する。
【0083】
第5実施形態の画像処理プログラム作成システムは、操作入力装置3を通じて操作入力された画像処理対象項目および検査目的項目の少なくとも一方の項目と、画像処理記憶部431に記憶されている全種類の画像処理サブルーチン候補から操作入力装置3を通じた操作入力で選択された複数種類の画像処理サブルーチン候補とに応じて、これら画像処理サブルーチン候補を上記操作入力された項目に対応させて画像処理記憶部431に記憶する処理を画像処理プログラム作成機能がさらに行う以外は第1実施形態と同様に構成される。
【0084】
すなわち、画像処理記憶部431には、図12(a)に示すように多数の画像処理サブルーチン候補が記憶されており、図12(b)に示す「画像処理対象・目的選択」の画面を呼び出すと、画像処理記憶部431に記憶されている全種類の画像処理サブルーチン候補が入出力表示装置1に表示される。そして、操作入力装置3を通じて、画像処理対象項目および検査目的項目の少なくとも一方の項目を入力するとともに、入出力表示装置1に表示された全種類の画像処理サブルーチン候補から所望する複数種類の画像処理サブルーチン候補を選択すると、これら画像処理サブルーチン候補が入力された項目に対応して画像処理記憶部431に記憶される。図12(b),(c),(d)の例では、外観検査の項目が選択され、この項目に対応して、異物検査、ひび検査、クラック検査および欠け検査の画像処理サブルーチン候補が画像処理記憶部431に記憶される。このような登録は、例えば生産技術者が製造部門の技術者に依頼することで行われ、この依頼を受けた製造部門の技術者が現場に則した登録をすることになる。なお、図12(d)には、新しく登録された画像処理サブルーチン候補セットによる自動実行の結果が示されている。
【0085】
以上、第5実施形態によれば、現場により一層適合した画像処理プログラムの作成が可能になる。また、自動的に実行させる複数の画像処理サブルーチン候補を登録または削除して、画像処理サブルーチン候補セットをカスタマイズし、各画像処理サブルーチン候補セットを選択容易にすれば、画像処理プログラムの作成の生産性を向上させることである。
【0086】
図13は画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能の説明図であり、この図を用いて本発明の第6実施形態について説明する。
【0087】
第6実施形態の画像処理プログラム作成システムは、選択された画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補に、共通する処理部分がある場合には、それら複数種類の画像処理サブルーチン候補が、その共通する処理部分を兼用する以外は第1実施形態と同様に構成される。
【0088】
図13(a)〜(d)の例では、画像処理サブルーチン候補セットには、有無判定、面積検出、重心位置検出およびひび検査の複数種類の画像処理サブルーチン候補が含まれ、これらの各々には複数種類の処理が含まれている。この画像処理サブルーチン候補セットの設計時、各画像処理サブルーチン候補内に、どのような前処理または共通化の可能な処理が含まれているかが分かるので、各画像処理サブルーチン候補内の処理を検討して共通化情報が設定される。
【0089】
ここでは、2値化、微分および細線化の処理が共通化情報(2値化,微分,細線化)として設定されている。具体的には、複数種類の画像処理サブルーチン候補のうち、有無判定、面積検出および重心位置検出の画像処理サブルーチン候補には、共通化情報の2値化処理が含まれ、共通化情報の微分処理および細線化が含まれないので、それぞれに(1,0,0)が共通化情報の各処理のアルゴリズムに代えて割り当てられている。これに対して、残りの画像処理サブルーチン候補には、共通化情報の微分処理および細線化が含まれ、共通化情報の2値化処理が含まれないので、(0,1,1)が共通化情報の各処理のアルゴリズムに代えて割り当てられている。共通化情報の各処理のアルゴリズムは画像処理サブルーチン候補セットに含まれる。
【0090】
このように、2値化、微分および細線化の各処理のアルゴリズムに代えて、共通化情報が割り当てられた各画像処理サブルーチン候補が最初にコールされたとき、まず、共通化情報の各処理が実行され、共通化処理の出力データが一時保持される。この後、各画像処理サブルーチン候補内に格納されている共通化情報に従って、上記出力データがコピーされて使用され、各画像処理サブルーチン候補の、共通化情報の各処理を除く個別処理(図では個別部分)が実行される。
【0091】
なお、同じ2値化でもパラメータが異なる場合があるので、図13(e)に示すように、パラメータを付加してフラグ対応させるようにしてもよい。ただし、図において、A,B,Cなどのアルファベットはパラメータ条件であり、0,1の数字は共通化フラグである。
【0092】
画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補は、画像処理サブルーチン候補セットが画像処理対象項目および検査目的項目の少なくとも一方に対応する関係で、例えば同じ前処理を踏む場合などが多くなり、その前処理を複数種類の画像処理サブルーチン候補の各々について逐一実行していくと全体の実行時間が勢い長くなるが、第6実施形態によれば、共通する処理部分が複数種類の画像処理サブルーチン候補の各々によって兼用され、共通する処理部分については1回の処理で済むようになるから、画像処理プログラムを作成するための実行時間を大幅に短縮することができる。
【0093】
図14は画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能による動作フロー図、図15,図16は図14の動作フローの説明図であり、これらの図を用いて本発明の第7実施形態について説明する。
【0094】
第7実施形態の画像処理プログラム作成システムは、指定領域内の画像に対して、選択された複数種類の画像処理サブルーチン候補の各々を実行するとき、その複数種類の画像処理サブルーチン候補の各々に含まれるパラメータのうち、操作入力装置3を通じた操作入力で選択されたパラメータとこのパラメータに対して指定された可変条件とに応じて、上記選択された複数種類の画像処理サブルーチン候補の各々を、これに含まれる上記選択されたパラメータを上記指定された可変条件で可変しながら、指定領域内の画像に対して実行し、選択された画像処理サブルーチン候補を画像処理サブルーチンとして画像処理プログラムに組み込むとき、その画像処理サブルーチン内の上記選択されたパラメータの値を、各実行結果から得られるそのパラメータの適正範囲の中心値に設定する処理を画像処理プログラム作成機能がさらに行う以外は第1実施形態と同様に構成される。
【0095】
すなわち、可変パラメータフラグが1で、パラメータが選択され、この可変条件が指定されると(S21でYES)、ステップS22に進む一方、そうでなければ(S22でNO)、ステップS28に進む。
【0096】
ステップS22に進むと、選択されたパラメータの値を可変条件の初期値に変更し、ステップS23で、その変更されたパラメータの画像処理サブルーチンを実行する処理が行われる。続いて、ステップS24で、実行結果が適正範囲内か否かの判定が行われ、適正であれば(S24でYES)、ステップS25でそのパラメータを格納し、この後、ステップS26に進む一方、適正でなければ(S24でNO)、ステップS26に進む。
【0097】
ステップS26に進むと、パラメータの値が可変条件(可変範囲)を超えたか否かの判定が行われ、超えると(S26でYES)、ステップS27でパラメータを適正範囲の中心に設定し、この後、ステップS28に進む一方、超えなければ(S26でNO)、パレメータの値を変更した後にステップS22に戻る。なお、ステップS28では、第1実施形態の図3に示したフローと同様の処理が実行される。
【0098】
図15の例に示す重心位置検出の場合、ステップS22〜S27において、可変パラメータフラグが1のとき、可変パラメータ情報部を参照し、この部分を実行することでパラメータが決定される。つまり、図1の「複数の画像処理サブルーチン候補実行部」444は、画像処理サブルーチン候補セット内の可変パラメータ情報を使用してパラメータを決定した上でステップS28の自動実行に進むのである。各画像処理サブルーチン候補毎に、可変パラメータの有無を示す可変パラメータフラグが用意されており、可変パラメータフラグが1のとき、ステップS22〜S27のパラメータ決定ルーチンが機能する。
【0099】
特定のパラメータの上下限値・変化量を設定すると、「複数の画像処理サブルーチン候補実行部」444は、その全てを実行し、検査結果が適正範囲内であれば、パラメータを格納していく。全可変パラメータを実行し終わると、適正パラメータの上限および下限からパラメータを確定する。図14のステップS27では、最も上限に近い適正パラメータと最も下限に近い適正パラメータの平均値、あるいは中央値などが求められる。図16の例に示す左側の画像について、光量180の部分の中心あたりに重心位置を求めたい場合、可変パラメータを2値化のしきい値とし、このしきい値の上限値を200、下限値を100、そして変化量を1とし、検査結果(重心位置)の適正範囲を矩形領域R1であるとすると、2値化しきい値が151〜180の間で重心位置が求められ、自動実行によって決定される2値化しきい値は165となる。
【0100】
ここで、画像処理サブルーチンの選択および実行と、その実行結果の表示と、画像処理サブルーチンの選択または解除との一連の処理を繰り返して画像処理プログラムを作成する従来技術では、画像処理サブルーチンに、予め予想されたパラメータが使用されるので、検査対象が予想範囲内に入っていなければ、適切な画像処理プログラムを作成することができない課題がある。
【0101】
これに対し、第7実施形態によれば、画像処理サブルーチンのパラメータが適切な値に設定されるので、適切な画像処理プログラムが可能になる。また、良不良判定が特定の範囲で一定する場合、画像処理プログラムに組み込む画像処理サブルーチン内の所望のパラメータの値が適正範囲の中心値に設定され、最も代表的なパラメータに設定されることになる。
【0102】
図17は画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能による動作フロー図、図18は図14の動作フローの説明図であり、これらの図を用いて本発明の第8実施形態について説明する。
【0103】
第8実施形態の画像処理プログラム作成システムは、選択された複数種類の画像処理サブルーチン候補の各実行結果を入出力表示装置1の画面に表示するとき、それらの各実行結果とともに、対象画像または各実行結果を出した画像処理サブルーチン候補による対象画像に対する画像処理済みの画像を入出力表示装置1の画面に表示する処理部が、画像処理プログラム作成機能にさらに設けられている以外は第1実施形態と同様に構成される。
【0104】
すなわち、ステップS31で、第1実施形態と同様に、選択された複数種類の画像処理サブルーチン候補の各実行結果を得たとき、ステップS32で、それらの各実行結果(図では処理結果)を格納し、ステップS33で、画像処理フラグが示す画像を格納する処理が行われる。ここでは、図18(a),(b)の例に示す画像表示フラグが使用される。この画像表示フラグは、画像処理サブルーチン候補セット内の各画像処理サブルーチン候補に付加され、対象画像(図では原画像)または付加された画像処理サブルーチン候補による各処理のうち、どの処理による画像処理済みの画像を入出力表示装置1の画面に表示するのかを示すフラグを有している。例えば、画像処理サブルーチン候補セット内の異物検査およびかけ検査の画像処理サブルーチン候補については、原画像のフラグが1になっているので、原画像が入出力表示装置1の画面に表示され、ひび検査の画像処理サブルーチン候補については、すべてのフラグが0になっているので、画像が表示されないことになる。
【0105】
ステップS34で、画像表示フラグ内に1のフラグがあるか否かの判別が行われ、1のフラグがあれば(S34でYES)、ステップS35で、対応する画像と処理結果とを合成し、ステップS36で、処理結果の一覧を作成する処理が行われる一方、1のフラグがなければ(S34でNO)、ステップS36に進む。この後、作成された一覧に従って、入出力表示装置1の画面に各実行結果が表示される。図18(c)には、図18(a),(b)の画像表示フラグに対応する表示例が示されている。なお、図18(c)の例では、一つの画像処理サブルーチン候補には、一つの画像が表示されているが、複数の画像が表示されるようにしてもよい。
【0106】
以上、第8実施形態によれば、各実行結果の視認性が高まり、例えば、各実行結果のみでは画像処理サブルーチン候補の選択が困難である場合、画像処理済みの画像を参考にして適切な画像処理サブルーチン候補を選択することが可能となる。
【0107】
図19は画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能の説明図であり、この図を用いて本発明の第9実施形態について説明する。
【0108】
第9実施形態の画像処理プログラム作成システムは、画像処理サブルーチンが組み込まれて作成された画像処理プログラムに、共通する処理部分がある場合、これらの処理部分を一の処理部分として統合する処理を画像処理プログラム作成機能がさらに行う以外は第1実施形態と同様に構成される。
【0109】
例えば、図19(a)に示すように、画像処理サブルーチン候補セットから有無判定の画像処理サブルーチン候補を選択する操作入力に応じて、これを画像処理プログラムに組み込み、続いて別の画像処理サブルーチン候補セットから面積検出の画像処理サブルーチン候補を選択する操作入力に応じて、これを画像処理プログラムに組み込むなどして、画像処理プログラムを作成した後、図19(b)に示す画面に切り替える処理が行われる。
【0110】
この後、図19(b)に示す画面の「編集」をチェックする操作入力などに応じて、図19(c)の処理順序を図19(d)の処理順序に編集する処理が行われる。図19(c)の編集前の処理順序では、有無判定から重心位置検出に処理が移行するが、メニューなどで共通化の編集を指示し、これに応じた操作入力に従って、図19(d)に示すように、有無判定の前に2値化処理を実行するように共通する処理部分を一の処理部分として統合する処理が実行される。
【0111】
なお、図中の領域情報は、画像処理サブルーチン挿入位置指定部442でユーザが入力した情報を基に、「画像処理プログラムへの組込み部」446によって生成される。また、領域情報の内容は、領域番号(各画像処理がどの領域を対象としているかを示すID)、領域種別(矩形、円、多角形など)、領域形状(頂点座標、中心座標・半径など)などである。
【0112】
以上、第9実施形態によれば、画像処理プログラムの容量を減らすことができるほか、その実行速度の高速化を図ることができる。また、画像処理プログラムが短くなり、全体の把握が容易となり、画像処理の生産性を向上させることができる。
【0113】
図20は画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能による動作フロー図、図21は図20の動作フローの説明図であり、これらの図を用いて本発明の第10実施形態について説明する。
【0114】
第10実施形態の画像処理プログラム作成システムは、画像処理サブルーチンが組み込まれて作成された画像処理プログラムのフローチャートを入出力表示装置1の画面に表示するとともに、そのフローチャート内の画像処理サブルーチンのシンボルと関連付けられた位置、例えばそのシンボル上に、その画像処理サブルーチンによる対象画像に対する画像処理済みの画像を表示する処理を画像処理プログラム作成機能がさらに行う以外は第1実施形態と同様に構成される。
【0115】
図20において、ステップ41で、画像処理サブルーチン候補が選択されると、ステップS42の「画像処理サブルーチンによる追加用プログラムの構成」、ステップS43の「表示データ読み込み」、ステップS44の「画像処理サブルーチンのアイコン読み込み」、ステップS45の「出力画像読み込み」、ステップS46の「表示用アイコンと出力画像の合成」、ステップS47の「表示用アイコンの表示位置情報作成」、ステップS48の「アイコン接続情報作成」、そしてステップS49の「表示データ書き込み」の各処理が順次実行される。
【0116】
ここで、ステップS42の追加用プログラムは、検査領域の自動実行で選択された画像処理サブルーチン候補をソースプログラムに置き換えたものであり、図21(c)に示す画像処理記憶部431に格納されている画像処理サブルーチン候補とリンクし、画像処理サブルーチン挿入位置選択部442で画像処理プログラムに組み込まれる。ステップS43の表示データは、アイコン、表示位置、アイコン間の接続情報からなり、図21(a)に示す画像処理プログラム格納部45から読み出され、フローチャートへの挿入時に見え方を考慮して再計算され、選択された画像処理サブルーチンのアイコンを挿入して元に戻される。ステップS45の出力画像は自動実行データ格納部441から読み込まれる。実行結果の画像は、自動実行時、自動実行データ格納部441に保存されている出力画像をアイコンに合成し、一つのアイコンとして表示される。画像処理プログラム実行部46が情報を解析して、画像・設定表示用メモリ48に書き込むことで、図21(b)に示すように、入出力表示装置1に表示される。なお、アイコンの情報は、画像処理記憶部431に格納されている。
【0117】
つまり、画像処理サブルーチン候補が組み込まれて作成された画像処理プログラムのフローチャートが、図21(b)に示すように、入出力表示装置1の画面に表示されるとともに、そのフローチャート内の画像処理サブルーチンのシンボルと関連付けられた位置に、その画像処理サブルーチンによる対象画像に対する画像処理済みの画像が表示され、その画像と、対応する画像処理サブルーチンのアイコンとが一つのアイコンになっているのである。
【0118】
以上、第10実施形態によれば、各画像処理サブルーチン候補が画像処理プログラム内のどこに組み込まれたかを容易に把握することができ、対象画像の各指定領域内の画像に対する各画像処理サブルーチン候補による実行結果を容易に検証することができる。また、プログラマが画像処理プログラムを修正する場合、画像処理サブルーチンが画像処理プログラム内に隠蔽されることがなく、それが画像処理プログラム内のどこに組み込まれたかを容易に把握することができるので、その修正が容易となる。
【0119】
図22は画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能による動作フロー図、図23〜図25は図22の動作フローの説明図であり、これらの図を用いて本発明の第11実施形態について説明する。
【0120】
第11実施形態の画像処理プログラム作成システムは、画像処理プログラムのフローチャートを入出力表示装置1の画面に表示するとき、そのフローチャート内の画像処理サブルーチンのシンボル(アイコン)に対する操作入力装置3を通じた操作入力に応じて、対応する画像処理サブルーチンによる各画像処理過程の画像を順次切替表示する処理を画像処理プログラム作成機能がさらに行う以外は第10実施形態と同様に構成される。
【0121】
図22において、操作入力装置3を通じて、図23(b)に示す画像処理サブルーチンのアイコンをダブルクリックする操作を行えば、ステップS52の「画像処理サブルーチンの実行」、ステップS53の「処理画像・結果の格納」、ステップS54の「表示データ読み込み」、ステップS55の「画像処理サブルーチンのアイコン読み込み」、ステップS56の「再表示入力待ち」、ステップS57の「未表示の処理画像・結果あり?」の処理が順次実行される。ステップS57で、未表示の処理画像・結果ありの判定結果が得られると(S57でYES)、ステップS58に進み、そうでなければ(S57でNO)、終了する。
【0122】
ステップS58に進むと、「出力画像・結果読み込み」の処理が実行され、この後、ステップS59の「表示用アイコンと出力画像・結果の合成」、ステップS60の「表示用アイコンの表示位置情報作成」、ステップS61の「アイコン接続情報作成」、ステップS62の「表示データ書き込み」の処理が順次実行され、この後、ステップS56に戻る。
【0123】
上記フローを補説すると、ステップS54の表示データは、図23(a)に示す画像処理プログラム格納部45から読み出される。ステップS56〜S62で、順次画像表示するとき、例えば入出力表示装置1の画面に表示されているアイコンをクリックすると、次の処理画像・結果を表示する動作に入る。処理画像表示をしていて、再表示入力待ちがない場合も考えられ、この場合で、処理画像が複数枚あれば、動画を表示することになる。画像処理サブルーチンの種別によって処理画像・結果の数が変動する。入出力表示装置1の画面に表示されたフローチャートの構成要素(アイコン)に対する操作に応じて、詳細データ、途中経過の確認を可能にするために、画像処理の処理画像・結果を表示する。なお、図22のフローでは、図23(b)に示すように画像が表示されるが、図23(c)の「かけ検査」のサブルーチンに示すように、その画像処理サブルーチンのパラメータのリストが表示されるようにしてもよい。
【0124】
ここで、本発明の各実施形態では、画像処理プログラムに組み込まれる画像処理サブルーチンは、間接的に、複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みの項目に対応して選択される関係で、従来の「複数」の画像処理サブルーチンに相当する大きなものとなる場合があるが、この場合の「大きな」画像処理サブルーチンによる各画像処理過程の画像を確認したいときがあり得る。
【0125】
そこで、図24(a)の例に示すように、入出力表示装置1の画面上の「ひび検査」のサブルーチン内には、デフォルトで、図24(f),図25(b)に示すような、その画像処理サブルーチンによる最終の処理結果画像が表示されている。この状態で、図24(a)の例に示す「ひび検査」のサブルーチンのアイコンをクリックする毎に、「ひび検査」の画像処理サブルーチンによる各画像処理過程の画像が、図24(b),図25(a)に示すような対象画像(原画像)、図24(c),図25(c)に示すような微分値画像、図24(d),図25(d)に示すような微分方向値画像、図24(e),図25(e)に示すような細線化画像、そして図24(f),図25(b)に示すような画像処理結果の画像に周期的に切り替わるのである。なお、図25(f)はエッジ延長した画像が表示される場合の例である。
【0126】
以上、第11実施形態によれば、画像処理サブルーチンによる各画像処理過程および画像処理結果が適切であるか否かの確認が行うことができる。
【0127】
図26,図27は画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能による動作フロー図であり、これらの図を用いて本発明の第12実施形態について説明する。
【0128】
第12実施形態の画像処理プログラム作成システムは、画像処理プログラムのフローチャートを入出力表示装置1の画面に表示するとき、まず、画像処理プログラムのフローチャートを入出力表示装置1の画面に表示し、続いて入出力表示装置1の画面に表示したフローチャートに対して、操作入力装置3を通じた操作入力で指定された位置に、上記選択された画像処理サブルーチン候補を画像処理サブルーチンとして組み込んで、これが組み込まれて作成された画像処理プログラムのフローチャートを入出力表示装置1の画面に表示する処理を画像処理プログラム作成機能がさらに行う以外は第10実施形態と同様に構成される。
【0129】
図26において、領域指定部から画像処理サブルーチン選択指定部までを経た後、ステップS71の「全体プログラム(画像処理プログラム)の読み込み」、ステップS72の「入力装置による挿入位置指定」、ステップS73の「指定位置へのプログラム挿入」、ステップS74の「全体プログラムの格納」、ステップS75の「表示データ読み込み」、ステップS76の「画像処理サブルーチンのアイコン読み込み」、ステップS77の「表示用アイコンの表示位置情報作成」、ステップS78の「アイコン接続情報作成」、そしてステップS79の「表示データ書き込み」の処理が順次実行される。なお、ステップS75の表示データは、図27(a)の画像処理プログラム格納部45から読み出される。
【0130】
つまり、図26のS70内に示す「検査1」と「検査2」との間が指定されると、図27(b)に示すように、その指定された位置に、選択された画像処理サブルーチン候補が画像処理サブルーチンとして組み込まれる。図では、「検査1」と「検査2」との間に、異物検査およびかけ検査の画像処理サブルーチンが組み込まれている。そして、これらの画像処理サブルーチンが組み込まれて作成された画像処理プログラムのフローチャートが入出力表示装置1の画面に表示されるのである。
【0131】
以上、第12実施形態によれば、画像処理サブルーチンを画像処理プログラムの所望する位置に組み込むことができるほか、前に作成した画像処理プログラムの所望する位置に、新たな画像処理サブルーチンを容易に組み込むことができるから、別の画像処理プログラムを作成するための時間を、前に作成した画像処理プログラムを土台にすることで大幅に削減することができる。
【0132】
図28は画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能の説明図であり、この図を用いて本発明の第13実施形態について説明する。
【0133】
第13実施形態の画像処理プログラム作成システムは、対象画像を入出力表示装置1の画面に表示するとき、まず、画像処理装置4の画像処理プログラムのフローチャートを、画像処理サブルーチン用のシンボルとともに入出力表示装置1の画面に表示し、続いて、操作入力装置を通じた操作入力による上記フローチャート上の上記シンボルの選択に応じて、対象画像を入出力表示装置1の画面に表示し、画像処理サブルーチンを画像処理プログラムに組み込むとき、選択された画像処理サブルーチン候補を、画像処理サブルーチンとして画像処理プログラム内の上記選択されたシンボルに対応する位置に組み込む処理を画像処理プログラム作成機能がさらに行う以外は第1実施形態と同様に構成される。
【0134】
図28(a)において、画像処理記憶部431には、デフォルト処理用のデフォルトアイコンが格納されている。そして、第1実施形態では、ステップS1の前に、これからユーザに選択させる画像処理サブルーチン候補を画像処理サブルーチンとして挿入すべき画像処理プログラム内の位置を指定させるための画面に、入出力表示装置1の画面を切り替える処理が実行されるが、このとき、図28(b)に示すように、デフォルトアイコンを含む画像処理プログラムのフローチャートが入出力表示装置1の画面に表示されるのである。この後、第1実施形態と同様に、画像処理サブルーチン候補が選択されると、図28(c)に示すように、デフォルトアイコンの位置から、選択された画像処理サブルーチン候補が画像処理サブルーチンとして組み込まれる。
【0135】
以上、第13実施形態によれば、画像処理プログラムを作成する前に、その全体を構成しておくことができ、ユーザは、画像処理プログラムのどこに、これから選択される画像処理サブルーチン候補が画像処理サブルーチンとして組み込まれるのかを理解することができる。画像処理プログラムの作成後でも、再度同様のステップを踏むことで、画像処理サブルーチンを変更することができる。例えば、画像処理対象の変更により、画像処理プログラムの全体を変更する必要はないが、ある画像処理サブルーチンを変更する必要がある場合などに対応可能となる。
【0136】
図29は画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能による動作フロー図、図30は図29の動作フローの説明図であり、これらの図を用いて本発明の第14実施形態について説明する。
【0137】
第14実施形態の画像処理プログラム作成システムは、画像処理サブルーチンを画像処理プログラムに組み込んだ後、対象画像とともに指定領域を入出力表示装置1の画面に表示し、入出力表示装置1の画面に表示された指定領域を別の指定領域にコピーアンドペーストする、操作入力装置3を通じた操作入力に応じて、別の指定領域内の画像に対する画像処理サブルーチンとして、選択された画像処理サブルーチン候補を割り当てて画像処理プログラムを修正する処理を画像処理プログラム作成機能がさらに行う以外は第1実施形態と同様に構成される。
【0138】
図29において、ステップS81の「領域選択」、ステップS82の「領域のコピー」、ステップS83の「コピー先領域用画像処理プログラムの作成」、ステップS84の「全体プログラムの読み込み」、ステップS85の「コピーされた領域の画像処理サブルーチンの追加」、ステップS86の「全体プログラムの格納」、ステップS87の「表示データ読み込み」、ステップS88の「表示用アイコンの表示位置情報作成」、ステップS89の「アイコン接続情報作成」、そしてステップS90の「表示データ書き込み」の各処理が順次実行される。
【0139】
ステップS81,82では、画像の領域を操作して、領域をコピーする。例えば、図30(a)に示すように、操作入力装置3で、領域R2を選択してコピーし、別の場所に領域R3をペーストする。ステップS83では、領域情報が操作入力装置3によって変更されていることを除き、コピー元領域において自動生成された画像処理プログラムのデータをコピーし、プログラムを生成する(図30(b)参照)。
【0140】
ここで、対称形の画像の場合には、一箇所で不良が見つかったとき、他と同じような箇所でも不良が発生する可能性が高い。コピー元の検査領域内でプログラムを調整したとき、コピー先の検査領域でも同じ検査をする必要がある可能性が高い。格納内容は、領域番号(各画像処理がどの領域を対象としているかを示すID)、領域種別(矩形、円、多角形など)、領域形状(頂点座標、中心座標・半径など)を含み、これらは操作入力装置の操作によるコピーの段階で変更される。
【0141】
つまり、図30(a)に示すように、領域R2を領域R3にコピーアンドペーストすることで、図30(d)に示すように、領域R2に対する「領域R2の異物検査」、「領域R2のかけ検査」の処理がコピーされて、その下に領域R3に対する「領域R3の異物検査」、「領域R3のかけ検査」の処理が追加されるのである。なお、図30(a)には配線パターンの画像が示されている。
【0142】
以上、第14実施形態によれば、検査対象の特定部分の欠陥に的を絞って、適用すべき画像処理サブルーチンを決定するだけで、その欠陥が発生しそうな別の部分にも同じ画像処理サブルーチンを容易に適用することができ、これにより、画像処理プログラムの作成時間を大幅に短縮することができる。また、実際の検査対象の指定領域が多角形などで、矩形などの代表的な領域形状で表現し難い場合などでは、予め矩形などの代表的な領域形状の別の領域で画像処理サブルーチンを決定しておき、決定した画像処理サブルーチンの設定内容を所望の形状の指定領域にコピーすることで、この指定領域の画像処理サブルーチンを設定することができる。
【0143】
【発明の効果】
以上のことから明らかなように、請求項1記載の発明の画像処理プログラム作成方法は、画像表示用の表示手段と、各種操作入力用の入力手段と、予め分類された複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みの項目毎に、複数種類の画像処理サブルーチン候補を含む画像処理サブルーチン候補セットを記憶する記憶手段とを利用して、画像処理プログラム作成機能が画像処理装置の画像処理プログラムを作成する方法であって、画像処理対象の撮像で得た対象画像を前記表示手段に表示するステップと、前記複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みから、前記入力手段を通じた操作入力で選択された項目に応じて、対応する画像処理サブルーチン候補セットを前記記憶手段から選択するステップと、この選択された画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補の各々を、前記入力手段を通じた操作入力で指定された指定領域内の、前記対象画像の全部または一部の画像に対して実行するステップと、前記選択された複数種類の画像処理サブルーチン候補の各実行結果を基に、前記選択された画像処理サブルーチン候補セットから選択された画像処理サブルーチン候補を、前記指定領域内の画像に対する画像処理サブルーチンとして前記画像処理装置の画像処理プログラムに組み込むステップとを有し、前記選択された画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補に、共通する処理部分がある場合、それら複数種類の画像処理サブルーチン候補は、前記共通する処理部分を兼用し、前記共通する処理部分により処理された処理結果は一時的に記憶されるとともに、各画像処理サーブルーチン候補の処理時に、該処理結果がコピーされて使用されるので、ユーザに画像処理の知識が無くても画像処理装置の画像処理プログラムを簡単に作成することができるほか、画像処理の知識が不要となるため、その習得時間を削減することができる。また、ユーザが指定領域を設定するので、画像処理対象の間違った部分を検査する画像処理プログラムが作成されることがない。さらに、複数種類の画像処理対象項目および複数種類の検査項目の少なくとも一方の組みから項目が選択されるので、画像処理対象や検査目的に適した画像処理プログラムを作成することができ、また不要な項目が排除されるから、画像処理プログラムによる実行時間を短縮することができる。また、選択された画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補に、共通する処理部分がある場合、それら複数種類の画像処理サブルーチン候補は、前記共通する処理部分を兼用するので、画像処理プログラムを作成するための実行時間を大幅に短縮することができる。
【0144】
請求項2記載の発明によれば、請求項1記載の画像処理プログラム作成方法において、前記指定領域内の画像に対して、前記選択された複数種類の画像処理サブルーチン候補の各々を実行した後、これら画像処理サブルーチン候補の各実行結果を前記表示手段に表示するステップをさらに有し、前記画像処理サブルーチンを前記画像処理プログラムに組み込むステップでは、前記表示手段に表示された各実行結果を基に、前記選択された画像処理サブルーチン候補セットから、前記入力手段を通じた操作入力で選択された画像処理サブルーチン候補を、前記指定領域内の画像に対する画像処理サブルーチンとして前記画像処理プログラムに組み込むので、ユーザに画像処理の知識が無くても画像処理装置の画像処理プログラムを作成することができる。また、選択された複数種類の画像処理サブルーチン候補の数が必要以上に多くなるという問題が生ぜず、各実行結果を基にした画像処理サブルーチン候補の選択操作が容易となる。さらに、対話式の面倒な設問に答えることなく、従ってその機能を設ける必要もなく、ユーザが満足する実行結果となった画像処理サブルーチンにより、ユーザの検査目的に合致した画像処理プログラムを作成することができ、画像処理プログラムの修正などを不要にすることができる。
【0145】
請求項3記載の発明によれば、請求項1記載の画像処理プログラム作成方法において、前記指定領域内の画像に対して、前記選択された複数種類の画像処理サブルーチン候補の各々を実行した後、これら画像処理サブルーチン候補の実行結果から、それぞれ、所定基準から乖離する度合いを示す乖離度を算出するステップをさらに有し、前記画像処理サブルーチンを前記画像処理プログラムに組み込むステップでは、前記算出された複数の乖離度を基に、前記選択された画像処理サブルーチン候補セットから自動的に画像処理サブルーチン候補を選択し、これを前記指定領域内の画像に対する画像処理サブルーチンとして前記画像処理プログラムに組み込むので、ユーザに画像処理の知識が無くても画像処理装置の画像処理プログラムをより簡単に作成することができる。また、例えば、画像処理サブルーチン候補セットに含まれる異なる画像処理サブルーチン候補(画像処理アルゴリズム)の各々によって欠陥が検出される場合、それらから、欠陥の検出に最適な画像処理サブルーチン候補を自動的に検出させる構成が可能となり、この場合、ユーザの判断ミスで最適でない画像処理サブルーチン候補が選ばれるといったことをなくすことができる。
【0146】
請求項4記載の発明によれば、請求項3記載の画像処理プログラム作成方法において、前記対象画像は、良品および不良品の複数の画像処理対象からそれぞれ複数得られ、前記対象画像を前記表示手段に表示するステップでは、前記複数の対象画像の少なくとも1つを前記表示手段に表示し、前記選択された複数種類の画像処理サブルーチン候補の各々を実行するステップでは、これら画像処理サブルーチン候補の各々を、前記複数の対象画像の各指定領域内の画像に対して実行し、前記乖離度を算出するステップでは、前記各対象画像に対する前記複数種類の画像処理サブルーチン候補の実行結果から、それぞれの画像処理サブルーチン候補に対する乖離度を統計的に算出し、前記画像処理サブルーチンを前記画像処理プログラムに組み込むステップでは、前記統計的に算出された各乖離度を基に、前記選択された画像処理サブルーチン候補セットから自動的に画像処理サブルーチン候補を選択し、これを前記指定領域内の画像に対する画像処理サブルーチンとして前記画像処理プログラムに組み込むので、ユーザに画像処理の知識が無くても画像処理装置の画像処理プログラムをより簡単に作成することができる。また、検査精度の最適な画像処理サブルーチン候補を画像処理サブルーチンとして統計的に自動選択することができる。
【0147】
請求項5記載の発明によれば、請求項1〜4のいずれかに記載の画像処理プログラム作成方法において、前記画像処理サブルーチン候補セットには、それぞれに互いに異なるパラメータの値が割り当てられた複数の同一フローの画像処理サブルーチン候補が含まれるので、より好適な画像処理プログラムを作成することができる。
【0148】
請求項6記載の発明によれば、請求項1〜4のいずれかに記載の画像処理プログラム作成方法において、前記入力手段を通じて操作入力された画像処理対象項目および検査目的項目の少なくとも一方の項目と、前記記憶手段に記憶されている全種類の画像処理サブルーチン候補から前記入力手段を通じた操作入力で選択された複数種類の画像処理サブルーチン候補とに応じて、これら画像処理サブルーチン候補を前記操作入力された項目に対応させて前記記憶手段に記憶するので、現場により一層適合した画像処理プログラムの作成が可能になる。
【0150】
請求項7記載の発明によれば、請求項1〜4のいずれかに記載の画像処理プログラム作成方法において、前記指定領域内の画像に対して、前記選択された複数種類の画像処理サブルーチン候補の各々を実行するステップでは、その複数種類の画像処理サブルーチン候補の各々に含まれるパラメータのうち、前記入力手段を通じた操作入力で選択されたパラメータとこのパラメータに対して指定された可変条件とに応じて、前記選択された複数種類の画像処理サブルーチン候補の各々を、これに含まれる前記選択されたパラメータを前記指定された可変条件で可変しながら、前記指定領域内の画像に対して実行し、前記画像処理サブルーチンを前記画像処理プログラムに組み込むステップでは、その画像処理サブルーチン内の前記選択されたパラメータの値を、前記各実行結果から得られるそのパラメータの適正範囲の中心値に設定するので、良不良判定が特定の範囲で一定する場合、画像処理プログラムに組み込む画像処理サブルーチン内の所望のパラメータの値が適正範囲の中心値に設定され、最も代表的なパラメータに設定される。
【0151】
請求項8記載の発明によれば、請求項2記載の画像処理プログラム作成方法において、前記選択された複数種類の画像処理サブルーチン候補の各実行結果を前記表示手段に表示するステップでは、これらの各実行結果とともに、前記対象画像または各実行結果を出した画像処理サブルーチン候補による前記対象画像に対する画像処理済みの画像を前記表示手段に表示するので、各実行結果の視認性が高まり、例えば、各実行結果のみでは画像処理サブルーチン候補の選択が困難である場合、画像処理済みの画像を参考にして適切な画像処理サブルーチン候補を画像処理サブルーチン候補として選択することが可能となる。
【0152】
請求項9記載の発明によれば、請求項1〜4のいずれかに記載の画像処理プログラム作成方法において、前記画像処理サブルーチンが組み込まれて作成された前記画像処理プログラムに、共通する処理部分がある場合、これらの処理部分を一の処理部分として統合するステップをさらに有するので、画像処理プログラムの容量を減らすことができるほか、その実行の高速化を図ることができる。また、画像処理プログラムが短くなり、全体の把握が容易になる。
【0153】
請求項10記載の発明によれば、請求項1〜4のいずれかに記載の画像処理プログラム作成方法において、前記画像処理サブルーチンが組み込まれて作成された前記画像処理プログラムのフローチャートを前記表示手段に表示するステップをさらに有するので、各画像処理サブルーチンが画像処理プログラムのどこに組み込まれたかを容易に把握することができる。例えば、画像処理サブルーチンが画像処理プログラムに組み込まれる毎に、表示手段に画像処理プログラムのフローチャートが表示されるようにすれば、文字プログラミングに不慣れなユーザでも、フローチャートのシンボルが増えるのを確認することで、画像処理サブルーチンが画像処理プログラムのどこに組み込まれたのかを感覚的に把握することができる。
【0154】
請求項11記載の発明によれば、請求項10記載の画像処理プログラム作成方法において、前記画像処理プログラムのフローチャートを前記表示手段に表示するステップでは、そのフローチャート内の前記画像処理サブルーチンのシンボルと関連付けられた位置に、その画像処理サブルーチンによる前記対象画像に対する画像処理済みの画像を表示するので、対象画像の各指定領域内の画像に対する各画像処理サブルーチンによる実行結果を容易に検証することができる。
【0155】
請求項12記載の発明によれば、請求項10記載の画像処理プログラム作成方法において、前記画像処理プログラムのフローチャートを前記表示手段に表示するステップでは、そのフローチャート内の前記画像処理サブルーチンのシンボルに対する前記入力手段を通じた操作入力に応じて、対応する画像処理サブルーチンによる各画像処理過程の画像を順次切替表示するので、画像処理サブルーチンによる各画像処理過程および画像処理結果が適切であるか否かの確認が行うことができる。
【0156】
請求項13記載の発明によれば、請求項10記載の画像処理プログラム作成方法において、前記画像処理プログラムのフローチャートを前記表示手段に表示するステップでは、まず、画像処理プログラムのフローチャートを前記表示手段に表示し、続いてこの表示手段に表示したフローチャートに対して、前記入力手段を通じた操作入力で指定された位置に、前記選択された画像処理サブルーチン候補を画像処理サブルーチンとして組み込んで、これが組み込まれて作成された画像処理プログラムのフローチャートを前記表示手段に表示するので、画像処理サブルーチンを画像処理プログラムの所望する位置に組み込むことができるほか、別の画像処理プログラムを作成するための時間(工数)を、前に作成した画像処理プログラムを土台にすることで大幅に削減することができる。
【0157】
請求項14記載の発明によれば、請求項1〜4のいずれかに記載の画像処理プログラム作成方法において、前記対象画像を前記表示手段に表示するステップでは、まず、前記画像処理装置の画像処理プログラムのフローチャートを、画像処理サブルーチン用のシンボルとともに前記表示手段に表示し、続いて、前記入力手段を通じた操作入力による前記フローチャート上の前記シンボルの選択に応じて、前記対象画像を前記表示手段に表示し、前記画像処理サブルーチンを前記画像処理プログラムに組み込むステップでは、前記選択された画像処理サブルーチン候補を、画像処理サブルーチンとして前記画像処理プログラム内の前記選択されたシンボルに対応する位置に組み込むので、画像処理プログラムを作成する前に、その全体を構成しておくことができる。ユーザは、画像処理プログラムのどこに、これから選択される画像処理サブルーチン候補が画像処理サブルーチンとして組み込まれるのかを理解することができる。画像処理プログラムの作成後でも、再度同様のステップを踏むことで、画像処理サブルーチンを変更することができる。例えば、画像処理対象の変更により、画像処理プログラムの全体を変更する必要はないが、ある画像処理サブルーチンを変更する必要がある場合などに対応可能となる。
【0158】
請求項15記載の発明によれば、請求項1〜4のいずれかに記載の画像処理プログラム作成方法において、前記画像処理サブルーチンを前記画像処理プログラムに組み込んだ後、前記対象画像とともに前記指定領域を前記表示手段に表示するステップと、この表示手段に表示された指定領域を別の指定領域にコピーアンドペーストする前記入力手段を通じた操作入力に応じて、前記別の指定領域内の画像に対する画像処理サブルーチンとして、前記選択された画像処理サブルーチン候補を割り当てて前記画像処理プログラムを修正するステップとをさらに有するので、検査対象の特定部分の欠陥に的を絞って、適用すべき画像処理サブルーチンを決定するだけで、その欠陥が発生しそうな別の部分にも同じ画像処理サブルーチンを容易に適用することができる。これにより、画像処理プログラムの作成時間を大幅に短縮することができる。
【0159】
請求項16記載の発明は、画像表示用の表示手段と、各種操作入力用の入力手段と、予め分類された複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みの項目毎に、複数種類の画像処理サブルーチン候補を含む画像処理サブルーチン候補セットを記憶する記憶手段とを利用して、画像処理装置の画像処理プログラムを作成する画像処理プログラム作成機能とにより構成される画像処理プログラム作成システムであって、前記画像処理プログラム作成機能は、画像処理対象の撮像で得た対象画像を前記表示手段に表示し、前記複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みから、前記入力手段を通じた操作入力で選択された項目に応じて、対応する画像処理サブルーチン候補セットを前記記憶手段から選択し、この選択された画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補の各々を、前記入力手段を通じた操作入力で指定された指定領域内の、前記対象画像の全部または一部の画像に対して実行し、前記選択された複数種類の画像処理サブルーチン候補の各実行結果を基に、前記選択された画像処理サブルーチン候補セットから選択された画像処理サブルーチン候補を、前記指定領域内の画像に対する画像処理サブルーチンとして前記画像処理装置の画像処理プログラムに組み込む各処理を実行し、前記選択された画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補に、共通する処理部分がある場合、それら複数種類の画像処理サブルーチン候補は、前記共通する処理部分を兼用し、前記共通する処理部分により処理された処理結果は一時的に記憶されるとともに、各画像処理サーブルーチン候補の処理時に、該処理結果がコピーされて使用されるので、ユーザに画像処理の知識が無くても画像処理装置の画像処理プログラムを簡単に作成することができるほか、画像処理の知識が不要となるため、その習得時間を削減することができる。また、ユーザが指定領域を設定するので、画像処理対象の間違った部分を検査する画像処理プログラムが作成されることがない。さらに、複数種類の画像処理対象項目および複数種類の検査項目の少なくとも一方の組みから項目が選択されるので、画像処理対象や検査目的に適した画像処理プログラムを作成することができ、また不要な項目が排除されるから、画像処理プログラムによる実行時間を短縮することができる。
【図面の簡単な説明】
【図1】画像処理プログラム作成システムの構成図である。
【図2】図1の画像処理アルゴリズム記憶部の説明図である。
【図3】図1の画像処理プログラム作成システムに設けられる画像処理プログラム作成機能の動作フロー図である。
【図4】図3の動作フローの説明図である。
【図5】画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能の動作フロー図である。
【図6】図5の動作フローの説明図である。
【図7】画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能の動作フロー図である。
【図8】図7の動作フローの説明図である。
【図9】図7の動作フローの説明図である。
【図10】画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能の説明図である。
【図11】画像処理サブルーチン候補の選択、そのパラメータの修正および新たな画像処理サブルーチン候補の登録の説明図である。
【図12】画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能の説明図である。
【図13】画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能の説明図である。
【図14】画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能による動作フロー図である。
【図15】図14の動作フローの説明図である。
【図16】図14の動作フローの説明図である。
【図17】画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能による動作フロー図である。
【図18】図14の動作フローの説明図である。
【図19】画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能の説明図である。
【図20】画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能による動作フロー図である。
【図21】図20の動作フローの説明図である。
【図22】画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能による動作フロー図である。
【図23】図22の動作フローの説明図である。
【図24】図22の動作フローの説明図であって、表示装置(入出力表示装置)上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図25】図22の動作フローの説明図であって、表示装置(入出力表示装置)上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図26】画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能による動作フロー図である。
【図27】画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能による動作フロー図である。
【図28】画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能の説明図である。
【図29】画像処理プログラム作成システムに設けられる別の画像処理プログラム作成機能による動作フロー図である。
【図30】図29の動作フローの説明図である。
【符号の説明】
1 入出力表示装置
2 撮像装置
3 操作入力装置
4 画像処理装置4
Claims (16)
- 画像表示用の表示手段と、各種操作入力用の入力手段と、予め分類された複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みの項目毎に、複数種類の画像処理サブルーチン候補を含む画像処理サブルーチン候補セットを記憶する記憶手段とを利用して、画像処理プログラム作成機能が画像処理装置の画像処理プログラムを作成する方法であって、画像処理対象の撮像で得た対象画像を前記表示手段に表示するステップと、前記複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みから、前記入力手段を通じた操作入力で選択された項目に応じて、対応する画像処理サブルーチン候補セットを前記記憶手段から選択するステップと、この選択された画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補の各々を、前記入力手段を通じた操作入力で指定された指定領域内の、前記対象画像の全部または一部の画像に対して実行するステップと、前記選択された複数種類の画像処理サブルーチン候補の各実行結果を基に、前記選択された画像処理サブルーチン候補セットから選択された画像処理サブルーチン候補を、前記指定領域内の画像に対する画像処理サブルーチンとして前記画像処理装置の画像処理プログラムに組み込むステップとを有し、
前記選択された画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補に、共通する処理部分がある場合、それら複数種類の画像処理サブルーチン候補は、前記共通する処理部分を兼用し、
前記共通する処理部分により処理された処理結果は一時的に記憶されるとともに、各画像処理サーブルーチン候補の処理時に、該処理結果がコピーされて使用されることを特徴とする画像処理プログラム作成方法。 - 前記指定領域内の画像に対して、前記選択された複数種類の画像処理サブルーチン候補の各々を実行した後、これら画像処理サブルーチン候補の各実行結果を前記表示手段に表示するステップをさらに有し、前記画像処理サブルーチンを前記画像処理プログラムに組み込むステップでは、前記表示手段に表示された各実行結果を基に、前記選択された画像処理サブルーチン候補セットから、前記入力手段を通じた操作入力で選択された画像処理サブルーチン候補を、前記指定領域内の画像に対する画像処理サブルーチンとして前記画像処理プログラムに組み込むことを特徴とする請求項1記載の画像処理プログラム作成方法。
- 前記指定領域内の画像に対して、前記選択された複数種類の画像処理サブルーチン候補の各々を実行した後、これら画像処理サブルーチン候補の実行結果から、それぞれ、所定基準から乖離する度合いを示す乖離度を算出するステップをさらに有し、前記画像処理サブルーチンを前記画像処理プログラムに組み込むステップでは、前記算出された複数の乖離度を基に、前記選択された画像処理サブルーチン候補セットから自動的に画像処理サブルーチン候補を選択し、これを前記指定領域内の画像に対する画像処理サブルーチンとして前記画像処理プログラムに組み込むことを特徴とする請求項1記載の画像処理プログラム作成方法。
- 前記対象画像は、良品および不良品の複数の画像処理対象からそれぞれ複数得られ、前記対象画像を前記表示手段に表示するステップでは、前記複数の対象画像の少なくとも1つを前記表示手段に表示し、前記選択された複数種類の画像処理サブルーチン候補の各々を実行するステップでは、これら画像処理サブルーチン候補の各々を、前記複数の対象画像の各指定領域内の画像に対して実行し、前記乖離度を算出するステップでは、前記各対象画像に対する前記複数種類の画像処理サブルーチン候補の実行結果から、それぞれの画像処理サブルーチン候補に対する乖離度を統計的に算出し、前記画像処理サブルーチンを前記画像処理プログラムに組み込むステップでは、前記統計的に算出された各乖離度を基に、前記選択された画像処理サブルーチン候補セットから自動的に画像処理サブルーチン候補を選択し、これを前記指定領域内の画像に対する画像処理サブルーチンとして前記画像処理プログラムに組み込むことを特徴とする請求項3記載の画像処理プログラム作成方法。
- 前記画像処理サブルーチン候補セットには、それぞれに互いに異なるパラメータの値が割り当てられた複数の同一フローの画像処理サブルーチン候補が含まれることを特徴とする請求項1〜4のいずれかに記載の画像処理プログラム作成方法。
- 前記入力手段を通じて操作入力された画像処理対象項目および検査目的項目の少なくとも一方の項目と、前記記憶手段に記憶されている全種類の画像処理サブルーチン候補から前記入力手段を通じた操作入力で選択された複数種類の画像処理サブルーチン候補とに応じて、これら画像処理サブルーチン候補を前記操作入力された項目に対応させて前記記憶手段に記憶することを特徴とする請求項1〜4のいずれかに記載の画像処理プログラム作成方法。
- 前記指定領域内の画像に対して、前記選択された複数種類の画像処理サブルーチン候補の各々を実行するステップでは、その複数種類の画像処理サブルーチン候補の各々に含まれるパラメータのうち、前記入力手段を通じた操作入力で選択されたパラメータとこのパラメータに対して指定された可変条件とに応じて、前記選択された複数種類の画像処理サブルーチン候補の各々を、これに含まれる前記選択されたパラメータを前記指定された可変条件で可変しながら、前記指定領域内の画像に対して実行し、前記画像処理サブルーチンを前記画像処理プログラムに組み込むステップでは、その画像処理サブルーチン内の前記選択されたパラメータの値を、前記各実行結果から得られるそのパラメータの適正範囲の中心値に設定することを特徴とする請求項1〜4のいずれかに記載の画像処理プログラム作成方法。
- 前記選択された複数種類の画像処理サブルーチン候補の各実行結果を前記表示手段に表示するステップでは、これらの各実行結果とともに、前記対象画像または各実行結果を出した画像処理サブルーチン候補による前記対象画像に対する画像処理済みの画像を前記表示手段に表示することを特徴とする請求項2記載の画像処理プログラム作成方法。
- 前記画像処理サブルーチンが組み込まれて作成された前記画像処理プログラムに、共通する処理部分がある場合、これらの処理部分を一の処理部分として統合するステップをさらに有することを特徴とする請求項1〜4のいずれかに記載の画像処理プログラム作成方法。
- 前記画像処理サブルーチンが組み込まれて作成された前記画像処理プログラムのフローチャートを前記表示手段に表示するステップをさらに有することを特徴とする請求項1〜4のいずれかに記載の画像処理プログラム作成方法。
- 前記画像処理プログラムのフローチャートを前記表示手段に表示するステップでは、そのフローチャート内の前記画像処理サブルーチンのシンボルと関連付けられた位置に、その画像処理サブルーチンによる前記対象画像に対する画像処理済みの画像を表示することを特徴とする請求項10記載の画像処理プログラム作成方法。
- 前記画像処理プログラムのフローチャートを前記表示手段に表示するステップでは、そのフローチャート内の前記画像処理サブルーチンのシンボルに対する前記入力手段を通じた操作入力に応じて、対応する画像処理サブルーチンによる各画像処理過程の画像を順次切替表示することを特徴とする請求項10記載の画像処理プログラム作成方法。
- 前記画像処理プログラムのフローチャートを前記表示手段に表示するステップでは、まず、画像処理プログラムのフローチャートを前記表示手段に表示し、続いてこの表示手段に表示したフローチャートに対して、前記入力手段を通じた操作入力で指定された位置に、前記選択された画像処理サブルーチン候補を画像処理サブルーチンとして組み込んで、これが組み込まれて作成された画像処理プログラムのフローチャートを前記表示手段に表示することを特徴とする請求項10記載の画像処理プログラム作成方法。
- 前記対象画像を前記表示手段に表示するステップでは、まず、前記画像処理装置の画像処理プログラムのフローチャートを、画像処理サブルーチン用のシンボルとともに前記表示手段に表示し、続いて、前記入力手段を通じた操作入力による前記フローチャート上の前記シンボルの選択に応じて、前記対象画像を前記表示手段に表示し、前記画像処理サブルーチンを前記画像処理プログラムに組み込むステップでは、前記選択された画像処理サブルーチン候補を、画像処理サブルーチンとして前記画像処理プログラム内の前記選択されたシンボルに対応する位置に組み込むことを特徴とする請求項1〜4のいずれかに記載の画像処理プログラム作成方法。
- 前記画像処理サブルーチンを前記画像処理プログラムに組み込んだ後、前記対象画像とともに前記指定領域を前記表示手段に表示するステップと、この表示手段に表示された指定領域を別の指定領域にコピーアンドペーストする前記入力手段を通じた操作入力に応じて、前記別の指定領域内の画像に対する画像処理サブルーチンとして、前記選択された画像処理サブルーチン候補を割り当てて前記画像処理プログラムを修正するステップとをさらに有することを特徴とする請求項1〜4のいずれかに記載の画像処理プログラム作成方法。
- 画像表示用の表示手段と、各種操作入力用の入力手段と、予め分類された複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みの項目毎に、複数種類の画像処理サブルーチン候補を含む画像処理サブルーチン候補セットを記憶する記憶手段とを利用して、画像処理装置の画像処理プログラムを作成する画像処理プログラム作成機能とにより構成される画像処理プログラム作成システムであって、前記画像処理プログラム作成機能は、画像処理対象の撮像で得た対象画像を前記表示手段に表示し、前記複数種類の画像処理対象項目および複数種類の検査目的項目の少なくとも一方の組みから、前記入力手段を通じた操作入力で選択された項目に応じて、対応する画像処理サブルーチン候補セットを前記記憶手段から選択し、この選択された画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補の各々を、前記入力手段を通じた操作入力で指定された指定領域内の、前記対象画像の全部または一部の画像に対して実行し、前記選択された複数種類の画像処理サブルーチン候補の各実行結果を基に、前記選択された画像処理サブルーチン候補セットから選択された画像処理サブルーチン候補を、前記指定領域内の画像に対する画像処理サブルーチンとして前記画像処理装置の画像処理プログラムに組み込む各処理を実行し、
前記選択された画像処理サブルーチン候補セットに含まれる複数種類の画像処理サブルーチン候補に、共通する処理部分がある場合、それら複数種類の画像処理サブルーチン候補は、前記共通する処理部分を兼用し、
前記共通する処理部分により処理された処理結果は一時的に記憶されるとともに、各画像処理サーブルーチン候補の処理時に、該処理結果がコピーされて使用されることを特徴とする画像処理プログラム作成システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001049111A JP4442042B2 (ja) | 2001-02-23 | 2001-02-23 | 画像処理プログラム作成方法およびそのシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001049111A JP4442042B2 (ja) | 2001-02-23 | 2001-02-23 | 画像処理プログラム作成方法およびそのシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002251603A JP2002251603A (ja) | 2002-09-06 |
JP4442042B2 true JP4442042B2 (ja) | 2010-03-31 |
Family
ID=18910265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001049111A Expired - Fee Related JP4442042B2 (ja) | 2001-02-23 | 2001-02-23 | 画像処理プログラム作成方法およびそのシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4442042B2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4542180B2 (ja) * | 2002-07-26 | 2010-09-08 | 株式会社リコー | 画像形成装置、プログラム、及び記録媒体 |
US7116440B2 (en) | 2003-02-28 | 2006-10-03 | Aperio Technologies, Inc. | Image processing and analysis framework |
EP3447651A1 (en) * | 2003-02-28 | 2019-02-27 | Leica Biosystems Imaging Inc. | Image processing and analysis framework |
US7570787B2 (en) | 2004-06-24 | 2009-08-04 | Ishida Co., Ltd. | X-ray inspection apparatus and method for creating an image processing procedure for the X-ray inspection apparatus |
US7460716B2 (en) * | 2004-09-13 | 2008-12-02 | Boston Scientific Scimed, Inc. | Systems and methods for producing a dynamic classified image |
KR100785594B1 (ko) * | 2005-06-17 | 2007-12-13 | 오므론 가부시키가이샤 | 화상 처리 장치 |
JP4788475B2 (ja) * | 2005-06-17 | 2011-10-05 | オムロン株式会社 | 画像処理装置および画像処理方法 |
JP4784269B2 (ja) * | 2005-11-04 | 2011-10-05 | オムロン株式会社 | 画像処理装置 |
JP4747955B2 (ja) * | 2006-06-07 | 2011-08-17 | オムロン株式会社 | 検査制御装置、検査制御方法、検査システム、制御プログラム、および、記録媒体 |
JP4767309B2 (ja) * | 2008-11-28 | 2011-09-07 | キヤノンItソリューションズ株式会社 | 情報処理装置、情報処理方法、及びコンピュータプログラム |
JP5257898B2 (ja) * | 2009-03-18 | 2013-08-07 | キヤノンマーケティングジャパン株式会社 | 情報処理装置及びその制御方法、並びに、プログラム |
JP5353566B2 (ja) * | 2009-08-31 | 2013-11-27 | オムロン株式会社 | 画像処理装置および画像処理プログラム |
JP5334124B2 (ja) * | 2009-11-30 | 2013-11-06 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法、及び、プログラム |
JP5786110B2 (ja) | 2009-12-11 | 2015-09-30 | ライカ バイオシステムズ イメージング インコーポレイテッドAperio Technologies, Inc. | デジタル病理画像分析における信号対雑音比の改善 |
JP5344658B2 (ja) * | 2011-12-06 | 2013-11-20 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法、及びプログラム |
JP5906157B2 (ja) * | 2012-08-09 | 2016-04-20 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
JP7138579B2 (ja) * | 2019-01-30 | 2022-09-16 | Ckd株式会社 | 画像処理プログラミング装置、及び画像処理プログラミング方法 |
JP7391571B2 (ja) * | 2019-08-28 | 2023-12-05 | キヤノン株式会社 | 電子機器、その制御方法、プログラム、および記憶媒体 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2506155B2 (ja) * | 1988-08-05 | 1996-06-12 | 富士写真フイルム株式会社 | ビデオプリンタのテスト焼き方法 |
US4941057A (en) * | 1988-10-24 | 1990-07-10 | Xerox Corporation | Digital image proofing |
JP3100597B2 (ja) * | 1989-12-07 | 2000-10-16 | キヤノン株式会社 | カラー画像処理方法 |
JP3279556B2 (ja) * | 1990-07-06 | 2002-04-30 | 株式会社日立製作所 | データ編集方法 |
JP3238728B2 (ja) * | 1991-08-30 | 2001-12-17 | キヤノン株式会社 | 画像処理装置及びユーザ端末装置 |
JP2707175B2 (ja) * | 1991-10-14 | 1998-01-28 | 日立ソフトウエアエンジニアリング株式会社 | 図形処理システム |
JPH0662252A (ja) * | 1992-05-19 | 1994-03-04 | Minolta Camera Co Ltd | デジタル画像生成装置 |
JPH06208554A (ja) * | 1993-01-08 | 1994-07-26 | Daikin Ind Ltd | 文書処理システムにおける文書データ処理方法およびその装置 |
JPH07160843A (ja) * | 1993-12-02 | 1995-06-23 | Toyota Motor Corp | 画像認識プログラム構築装置及び方法 |
JPH08263663A (ja) * | 1995-03-27 | 1996-10-11 | Mitsubishi Electric Corp | 画像処理装置 |
JP3750751B2 (ja) * | 1996-01-19 | 2006-03-01 | 富士写真フイルム株式会社 | デジタル写真プリンタ |
JPH09259289A (ja) * | 1996-03-25 | 1997-10-03 | Topcon Corp | エッジ姿勢認識式の測定方法および装置 |
JPH09288568A (ja) * | 1996-04-23 | 1997-11-04 | Matsushita Electric Works Ltd | 画像処理装置およびその実行フロー作成方法 |
JP3601949B2 (ja) * | 1996-09-17 | 2004-12-15 | 株式会社東芝 | プログラム合成装置及びプログラム合成方法 |
JPH10302063A (ja) * | 1997-04-25 | 1998-11-13 | Canon Inc | 画像処理装置およびその方法 |
JPH10340346A (ja) * | 1997-06-06 | 1998-12-22 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JPH11203485A (ja) * | 1998-01-13 | 1999-07-30 | Mitsutoyo Corp | 画像測定装置 |
JPH11259282A (ja) * | 1998-03-12 | 1999-09-24 | Toshiba Corp | プログラム合成装置及びプログラム合成方法 |
JPH11282822A (ja) * | 1998-03-26 | 1999-10-15 | Toshiba Corp | 画像処理プログラム合成方法及びその装置並びに最適解探索方法及びその装置 |
JP2000028336A (ja) * | 1998-07-10 | 2000-01-28 | Hoya Corp | 形状測定装置及び形状測定方法 |
-
2001
- 2001-02-23 JP JP2001049111A patent/JP4442042B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002251603A (ja) | 2002-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4442042B2 (ja) | 画像処理プログラム作成方法およびそのシステム | |
CN109961421B (zh) | 数据生成装置、数据生成方法以及数据生成记录介质 | |
US10061974B2 (en) | Method and system for classifying and identifying individual cells in a microscopy image | |
US10776909B2 (en) | Defect inspection apparatus, defect inspection method, and non-transitory computer readable medium | |
JP3834041B2 (ja) | 学習型分類装置及び学習型分類方法 | |
WO2019117065A1 (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
WO2020137222A1 (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
JP2019159889A (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
JP7393833B2 (ja) | ユーザ入力に基づいて生成された人工知能モデルを使用し、仮想欠陥画像を生成するためのコンピュータプログラム、方法、及び装置 | |
JP4442119B2 (ja) | 画像認識装置および画像認識方法、並びに、画像認識装置のティーチング装置およびティーチング方法 | |
US20140185918A1 (en) | Charged particle beam apparatus that performs image classification assistance | |
JP2010071951A (ja) | 視覚検査装置および視覚検査方法 | |
JP2010133744A (ja) | 欠陥検出方法およびその方法を用いた視覚検査装置 | |
JP2009266839A (ja) | 半導体検査装置及び半導体検査方法 | |
JP5323457B2 (ja) | 観察条件決定支援装置および観察条件決定支援方法 | |
WO2022019110A1 (ja) | プログラム、情報処理装置、情報処理方法及びモデル生成方法 | |
WO2021161628A1 (ja) | 機械学習方法および機械学習用情報処理装置 | |
JP7380332B2 (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
Reich et al. | A data-driven approach for general visual quality control in a robotic workcell | |
JP2022182149A (ja) | 情報処理装置、画像処理方法 | |
WO2022044150A1 (ja) | 画像生成装置、画像生成方法およびプログラム | |
JP7486652B1 (ja) | 煙画像生成装置、煙検知システム、煙画像生成方法、異常画像生成装置、およびプログラム | |
WO2023188803A1 (ja) | 自動欠陥分類装置 | |
CN118159833A (zh) | 注释辅助系统以及利用了该注释辅助系统的外观检查用模型的学习辅助系统 | |
CN118159832A (zh) | 学习辅助系统、外观检查装置、外观检查用软件的更新装置及外观检查用模型的更新方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060822 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091222 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100104 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4442042 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |