JP4944751B2 - 画像処理コントローラ - Google Patents

Description

本発明は、画像処理コントローラに係り、さらに詳しくは、検査対象物を撮影して得られるカメラ画像に基づいて判定信号を出力する画像処理コントローラの改良に関する。

検査対象物を撮影して得られるカメラ画像を画像処理し、検査対象物の形状、位置、カメラ画像に基づく判定結果を示す判定信号などを処理結果として出力する画像処理コントローラには、一連の処理手順を変更可能なものが知られている（例えば、特許文献１）。通常、一連の処理手順をこの様な画像処理コントローラに実行させるための制御プログラムは、ＰＣ（パーソナルコンピュータ）などの情報処理端末上で動作するエディタ（ソフトウェア）を用いて作成される。ユーザは、作成した制御プログラムを画像処理コントローラに転送することにより、検査対象物に対して所望の検査を行うことができる。

一般に、画像処理の結果として、検査対象物に異常や不具合があると判定された場合に、画像処理が正常に行われたか否かを検証するには、当該画像処理時のカメラ画像やカメラ画像から抽出された計測結果を確認する必要がある。上述した画像処理コントローラには、制御プログラムの実行時に取得したカメラ画像を履歴情報として保持する機能が設けられている。この様な履歴情報をディスプレイ上に表示させることにより、制御プログラム実行時のカメラ画像を確認することができる。

通常、画像処理コントローラでは、計測対象とするカメラ画像の取得サイクルを計測周期として制御プログラムが繰返し実行され、計測周期ごとに履歴情報が抽出される。この様な履歴情報の抽出は、例えば、検査対象物の良否の判定結果を参照して行われる。従来の画像処理コントローラでは、履歴情報を抽出する際の抽出条件が１つしか指定することができなかった。このため、複数の抽出条件で履歴情報を抽出して蓄積させることができないという問題があった。また、仮に、複数の抽出条件を指定して履歴情報を抽出蓄積できたとしても、複数の抽出条件にヒットした履歴情報を抽出条件ごとに保持させると、履歴情報をコピーする必要があり、処理に要する時間が長くなってしまうという問題があった。特に、多数のピクセルデータからなるカメラ画像を履歴情報として蓄積させる場合には、画像をコピーする時間だけ処理時間が増大することとなる。
特開平９−２８８５６８号公報

上述した通り、従来の画像処理コントローラでは、複数の抽出条件で履歴情報を抽出して蓄積させることができないという問題があった。また、複数の抽出条件を指定して履歴情報を抽出蓄積できたとしても、複数の抽出条件にヒットした履歴情報を抽出条件ごとに保持させると、処理時間が長くなってしまうという問題があった。

本発明は、上記の事情に鑑みてなされたものであり、複数の抽出条件を指定して履歴情報を抽出蓄積させることができる画像処理コントローラを提供することを目的とする。特に、履歴情報の蓄積処理に要する時間を増大させることなく、複数の抽出条件で履歴情報を抽出蓄積させることができる画像処理コントローラを提供することを目的とする。

第１の本発明による画像処理コントローラは、検査対象物を撮影してカメラ画像を生成するカメラと、上記カメラから上記カメラ画像を取得して当該カメラ画像から計測結果を抽出し、この計測結果に基づいて上記検査対象物の良否を判定して判定信号を出力する画像処理コントローラと、上記画像処理コントローラの制御プログラムを作成するプログラム作成装置とからなる検査支援システムであって、上記プログラム作成装置が、画像処理を示す２以上の処理ユニットを保持する処理ユニット記憶手段と、スタートシンボルにおいて開始し、エンドシンボルにおいて終了する実行フロー上に上記処理ユニットを配置することによって、フローチャートを生成するフローチャート生成手段と、上記フローチャートに基づいて、上記画像処理コントローラの制御プログラムを生成するプログラム生成手段と、上記制御プログラムを上記画像処理コントローラへ転送するプログラム転送手段とを有する検査支援システムに用いられ、上記制御プログラムを保持するプログラム記憶手段と、上記フローチャート上のスタートシンボルからエンドシンボルまでを計測周期として、上記制御プログラムを繰返し実行するプログラム実行手段と、上記制御プログラムの実行中に上記プログラム実行手段によって上記カメラから取得された上記カメラ画像を上記計測周期ごとの検査履歴として抽出し、計測周期に関連付けて保持する検査履歴蓄積手段と、上記検査履歴蓄積手段が２以上の抽出条件に基づいて抽出した計測周期ごとの検査履歴を各抽出条件にそれぞれ関連付けるための履歴管理情報であって、同一の検査履歴が複数の抽出条件によって重複して抽出される場合に、上記同一の検査履歴を当該複数の抽出条件にそれぞれ関連付ける抽出条件ごとの履歴管理情報を生成し、保持する履歴管理手段とを備えて構成される。

この画像処理コントローラでは、フローチャート上のスタートシンボルからエンドシンボルまでを計測周期として、制御プログラムが繰返し実行され、制御プログラムの実行中に取得されたカメラ画像が計測周期ごとの検査履歴として抽出され、保持される。計測周期ごとの検査履歴は、同一の検査履歴が複数の抽出条件によって重複して抽出される場合に、その同一の検査履歴を当該複数の抽出条件にそれぞれ関連付ける履歴管理情報によって各抽出条件にそれぞれ関連付けされる。この様な構成によれば、複数の抽出条件を指定して検査履歴を抽出蓄積させることができる。また、同一の検査履歴が複数の抽出条件によって重複して抽出される場合に、その同一の検査履歴を当該複数の抽出条件にそれぞれ関連付ける履歴管理情報が保持されるので、同一の検査履歴を重複して保持することなく、計測周期ごとの検査履歴を管理することができる。従って、複数の抽出条件で履歴情報を抽出蓄積させる際に、履歴情報の蓄積処理に要する時間を増大させることなく、履歴情報を抽出蓄積させることができる。

第２の本発明による画像処理コントローラは、上記構成に加え、上記検査履歴の蓄積数の上限を上記各抽出条件についてそれぞれ決定する蓄積条件決定手段を備え、上記履歴管理情報が、上記検査履歴の格納先を示すアドレス情報からなるインデックステーブルであって、上記各抽出条件にそれぞれ関連付けられた複数のインデックステーブルによって構成され、上記履歴管理手段が、上記蓄積数の上限に基づいて、古くなった上記アドレス情報に新たなアドレス情報を上書きするように構成される。

第３の本発明による画像処理コントローラは、上記構成に加え、上記履歴管理情報が、上記抽出条件の成立した計測周期を含む連続する複数の上記計測周期について抽出された上記検査履歴をシリーズ履歴として当該抽出条件に関連付けるように構成される。

第４の本発明による画像処理コントローラは、上記構成に加え、上記検査履歴蓄積手段が、上記プログラム実行手段によって実行された上記処理ユニットごとの上記計測結果を上記計測周期ごとの検査履歴として抽出し、処理ユニット及び計測周期に関連付けて保持するように構成される。

本発明による画像処理コントローラによれば、複数の抽出条件を指定して検査履歴を抽出蓄積させることができる。また、同一の検査履歴が複数の抽出条件によって重複して抽出される場合に、その同一の検査履歴を当該複数の抽出条件にそれぞれ関連付ける履歴管理情報が保持されるので、同一の検査履歴を重複して保持することなく、計測周期ごとの検査履歴を管理することができる。従って、複数の抽出条件で履歴情報を抽出蓄積させる際に、データの蓄積量を増大させることなく、履歴情報を抽出蓄積させることができる。

実施の形態１．
<検査支援システム>
図１は、本発明の実施の形態１による検査支援システムの一構成例を示した斜視図である。この検査支援システムは、検査対象物の搬送ライン上に配置される画像処理装置１と、この画像処理装置１の制御プログラムを生成するＰＣ（パーソナルコンピュータ）２とからなる。

画像処理装置１は、画像処理コントローラ１１、カメラ１２、ディスプレイ１３ａ及び操作ユニット１３ｂからなり、検査対象物から得られたカメラ画像に基づいて判定信号を出力するセンサー装置である。この判定信号は、図示しないＰＬＣ（Programmable Logic Controller：プログラマブルコントローラ）などへ入力され、画像処理装置１は、ＦＡ（Factory Automation）センサーとして使用される。

カメラ１２は、被写体を撮影して画像データを生成し、カメラ画像として出力する撮像装置であり、画像処理コントローラ１１に着脱可能に接続される。カメラ１２は、検査対象物が搬送される搬送ライン上に配置され、検査対象物を被写体として撮影が行われる。

ディスプレイ１３ａは、検査対象物を撮影して得られたカメラ画像やカメラ画像に基づく画像処理結果を表示するための出力装置である。このディスプレイ１３ａは、画像処理コントローラ１１によって表示制御され、通常、画像処理コントローラ１１の近傍に配置される。つまり、このディスプレイ１３ａは、画像処理コントローラ１１が運転中である場合に、画像処理コントローラ１１の動作状態をユーザに確認させるための表示装置となっている。操作ユニット１３ｂは、ディスプレイ１３ａ上でフォーカス位置を移動させたり、メニュー項目を選択するための入力装置である。

画像処理コントローラ１１は、カメラ１２からのカメラ画像を取り込んで処理し、カメラ画像に基づいて行った判定結果を示す判定信号を処理結果として出力する画像処理装置１の本体ユニットである。カメラ画像の取得動作は、例えば、ＰＬＣなどの外部機器から入力される制御信号であって、カメラ画像を取り込むタイミングを規定する撮像トリガ信号に基づいて行われる。

この画像処理コントローラ１１には、最大で４台のカメラ１２が接続され、これらのカメラ１２から取得したカメラ画像に基づいて画像処理が行われる。画像処理コントローラ１１から出力される判定信号は、製品の良否などの判定結果を示す信号として生成される。

また、画像処理コントローラ１１には、ディスプレイ１３ａ及び操作ユニット１３ｂが接続されており、ＰＣ２を接続しなくても、操作ユニット１３ｂを入力装置とし、ディスプレイ１３ａを出力装置として動作させることができる。

ＰＣ２は、画像処理コントローラ１１の制御プログラムを作成するプログラム作成装置であり、ＰＣ２上で動作するエディタ（ソフトウェア）によって制御プログラムが生成される。画像処理コントローラ１１の制御プログラムを作成する際、ＰＣ２上でシミュレーションして動作確認することができる。

ＰＣ２では、画像処理コントローラ１１によるディスプレイ１３ａ上の表示態様を規定するレイアウト情報が作成される。このレイアウト情報もエディタによってＰＣ２における編集画面上で作成され、制御プログラム及びレイアウト情報からなる検査設定データが生成される。

ＰＣ２と画像処理装置１の画像処理コントローラ１１とは、イーサネット（Ethernet：登録商標）などの通信ネットワークを介して接続される。ＰＣ２には、複数の画像処理コントローラ１１が着脱可能に接続される。ＰＣ２上で作成した検査設定データを画像処理コントローラ１１に転送することにより、画像処理コントローラ１１内の検査設定データを書き換えることができる。また、画像処理コントローラ１１内の検査設定データを取り込んでＰＣ２上で編集することもできる。このＰＣ２は、通常、画像処理装置１のメンテナンス時に画像処理コントローラ１１が接続される。

この検査支援システムでは、画像処理コントローラ１１の運転中にカメラ１２から取得したカメラ画像や、カメラ画像から抽出した計測結果が履歴情報として蓄積され、必要に応じてディスプレイ１３ａやＰＣ２上に表示させることができる。

<システム構成>
図２は、図１の検査支援システムのシステム構成の一例を示したブロック図である。この検査支援システム１００は、１台のＰＣ２と、通信ネットワーク３を介してＰＣ２に接続された複数の画像処理装置１により構成される。ＰＣ２上で作成された制御プログラムは、検査設定データ２２としてメモリ２１内に格納される。

ＰＣ２上で作成された検査設定データ２２は、通信ネットワーク３を介して画像処理コントローラ１１に転送される。このとき、転送先を指定して検査設定データ２２を転送することにより、所望の画像処理コントローラ１１について、メモリ１４内の検査設定データ１５を更新し、或いは、メモリ１４内に新たな検査設定データを追加することができる。

この画像処理コントローラ１１では、フラッシュメモリなどのメモリ１４内に複数の検査設定データ１５が保持されている。各検査設定データ１５は、処理手順や検査内容が異なる制御プログラムからなり、ユーザ操作に基づいて実行対象とする検査設定データ１５を変更することができる。

ＰＣ２では、通信ネットワーク３によって接続されている画像処理コントローラ１１から検査設定データ１５を取得して編集する動作が行われる。

<エディタ画面>
図３は、図２の検査支援システム１００におけるＰＣ２の動作の一例を示した図であり、検査設定データ２２を作成するためのエディタ画面４０が示されている。エディタ画面４０は、ＰＣ２上で検査設定データを新たに作成し、或いは、画像処理コントローラ１１から取得した検査設定データを編集するための編集画面であり、ＰＣ２上に表示される。

このエディタ画面４０は、それぞれ表示位置や表示範囲が変更可能な複数のウィンドウ画面からなる。具体的には、システムビューウィンドウ４１、パーツリストウィンドウ４２、ユニットプロパティウィンドウ４３、ビジョンビューウィンドウ４４及びリザルトビューウィンドウ４５からなる。

システムビューウィンドウ４１は、システム構成や編集対象とする検査設定データを一覧表示するためのウィンドウ画面であり、コントローラ一覧画面４１ａ及びワークスペース一覧画面４１ｂからなる。

コントローラ一覧画面４１ａは、ＰＣ２に接続されている画像処理コントローラ１１を一覧表示するための画面であり、画像処理コントローラ１１を示すアイコンや、画像処理コントローラ１１内に保持されている検査設定データ１５を示すアイコンが表示されている。

画像処理コントローラ１１や検査設定データ１５を示す各アイコンは、ツリー形式で表示されている。すなわち、画像処理コントローラ１１を上階層とし、この画像処理コントローラ１１内に保持されている検査設定データ１５を下階層として、検査設定データ１５がどの画像処理コントローラ１１に保持されているのかが識別可能なように表示されている。

ワークスペース一覧画面４１ｂは、編集対象とする検査設定データを一覧表示するための画面であり、画像処理コントローラ１１ごとに設けられるメモリ２１上の作業領域を示すアイコンや、検査設定データを示すアイコンが表示されている。画像処理コントローラ１１ごとに設けられるメモリ２１上の作業領域は、該当する画像処理コントローラ１１に関連付けられており、ワークスペースとして表示されている。つまり、ＰＣ２上には、検査設定データが画像処理コントローラ１１ごとに保持され、画像処理コントローラ１１ごとのワークスペースにおいて編集が行われる。

この様な作業領域を示すアイコンや検査設定データを示すアイコンは、ツリー形式で表示されている。すなわち、画像処理コントローラ１１に対応するワークスペースを上階層とし、このワークスペース内の検査設定データを下階層として、検査設定データがどのワークスペースに存在するのかが識別可能なように表示されている。

コントローラ一覧画面４１ａの見出し欄に配置されている更新ボタン（アイコン）を操作すれば、画像処理コントローラ１１から新たに検査設定データが取得され、ＰＣ２上に保持されている検査設定データやシステム構成が最新のものに更新される。また、登録ボタンを操作すれば、ＰＣ２上で作成された検査設定データが画像処理コントローラ１１に転送される。

ワークスペース一覧画面４１ｂの見出し欄に配置されている更新ボタン（アイコン）を操作すれば、画像処理コントローラ１１から取得された検査設定データによって、編集対象とする検査設定データが更新される。また、追加ボタンを操作すれば、新たな作業領域が設けられ、検査設定データを示すアイコンが追加される。

パーツリストウィンドウ４２は、検査設定データを作成する際に選択可能な処理ユニットをユニット一覧として表示するためのウィンドウ画面である。処理ユニットは、パラメータが変更可能な処理を示すシンボルであり、画像処理を示す画像処理ユニット、撮像処理を示す撮像ユニット、フロー制御処理を示す制御ユニット、及び、出力処理を示す出力ユニットなどが処理ユニットとして設けられている。この様な処理ユニットを後述するフロービューウィンドウ内のフローチャート上に配置することによって、所望のフローシーケンスからなる制御プログラムが作成される。

パーツリストウィンドウ４２内には、複数の処理ユニットが表示される。この例では、処理の種類によって処理ユニットが８つのカテゴリーに区分され、各カテゴリーを示すアイコンが表示されている。具体的には、「画像入力」、「計測」、「制御」、「演算」、「タイミング」、「表示」、「出力」及び「コマンド出力」のカテゴリーに区分されている。

「画像入力」は、撮像に関する処理ユニットが属するカテゴリーであり、カメラ画像を取り込む撮像ユニットが属している。撮像ユニットには、シャッタースピード、カメラ感度、フラッシュ遅延時間、フラッシュオン時間、撮像対象カメラ、フラッシュ端子及びトリガ端子を指定するためのパラメータがプロパティとして関連付けられている。

「計測」は、計測に関する処理ユニットが属するカテゴリーであり、パターンサーチユニット、エッジ位置検出ユニット、ブロブ検出ユニット、色検査ユニットなどの画像処理ユニットが属している。

パターンサーチは、カメラ画像上のサーチ領域内を走査して予め登録されたパターン画像と一致する位置を検出する処理である。エッジ位置検出は、カメラ画像上の計測領域について、検出方向に垂直な方向の平均濃度を求め、検出方向の濃度変化からエッジの位置を検出する処理である。

ブロブ検出は、カメラ画像を２値化し、同一濃度を有する画素の塊をブロブとして抽出して、計測領域内に存在するブロブの数、面積、重心位置を検出する処理である。色検査は、検査領域内の色を測定する処理であり、色に対応する数値が計測結果として抽出される。

この様な計測に関する画像処理では、検査対象物の形状、サイズ、カメラ画像内における位置などが検知され、その計測値が画像処理結果として出力される。また、計測値と、ユーザが予め指定したパラメータとを比較し、この比較結果に基づいて検査対象物の良否、例えば、不具合や異常の有無を判定し、その判定結果が画像処理結果として出力される。また、計測領域や、検知された検査対象物の位置などをグラフィカルに示すシンボルを埋め込んだカメラ画像が生成され、画像処理結果として出力される。

「制御」は、制御に関する処理ユニットが属するカテゴリーであり、繰返しユニット、バイパスユニット、エンドシンボルなどの制御ユニットが属している。繰返しユニットは、実行フローを繰り返す際の始点を示す繰返し開始ユニットと、終点を示す繰返し終了ユニットとからなる処理ユニットであり、所定の条件が満たされるまで開始ユニット及び終了ユニット間の実行フローを繰り返させる処理を示す。

バイパスユニットは、実行フローを２つの枝フローに分岐させる分岐ユニットと、この分岐ユニットによって分岐された枝フローを合流させる合流ユニットとからなる処理ユニットであり、所定の条件で実行フローを分岐させる処理を示す。エンドシンボルは、１回のフローシーケンスを終了させるための表示オブジェクトである。

「演算」は、演算に関する処理ユニットが属するカテゴリーであり、数値演算ユニット及び位置補正ユニットの画像処理ユニットが属している。「タイミング」は、フロー遷移の停止動作に関する処理ユニットが属するカテゴリーであり、ウェイトユニット、イベント待ちユニットなどの制御ユニットが属している。ウェイトユニットは、所定時間だけフロー遷移を停止させる処理を示す。イベント待ちユニットは、端子入力や変数値が所定の状態となるまでフロー遷移を停止させる処理を示す。

「表示」は、表示に関する処理ユニットが属するカテゴリーであり、グラフィック表示ユニットなどの画像処理ユニットが属している。グラフィック表示ユニットは、他の処理ユニットを参照し、当該処理ユニットの処理結果をグラフィカルに表示する処理を示す。

「出力」は、出力に関する処理ユニットが属するカテゴリーであり、端子出力ユニット、結果出力ユニット、画像出力ユニットなどの出力ユニットが属している。端子出力ユニットには、参照先ユニット、判定結果及び判定結果の出力先端子を指定するためのパラメータがプロパティとして関連付けられている。結果出力ユニットには、参照先ユニット、処理結果を示す数値データ、数値データを出力する際のデータ形式（テキスト形式又はバイナリ形式）、及び、数値データの出力先を指定するためのパラメータがプロパティとして関連付けられている。画像出力ユニットには、参照先ユニット、カメラ画像、画像データを出力する際のデータ形式、及び、画像データの出力先を指定するためのパラメータがプロパティとして関連付けられている。

「コマンド出力」は、コマンド出力に関する処理ユニットが属するカテゴリーであり、コマンド発行ユニット、表示パターン切替ユニット及びダイアログ表示ユニットの出力ユニットが属している。コマンド発行ユニットは、画像登録、検査設定の切替え、リセットなどのコマンドを発行する処理を示す。

ユニットプロパティウィンドウ４３は、コントローラ一覧画面４１ａ、ワークスペース一覧画面４１ｂ又はフロービューウィンドウ上で選択された処理ユニットのプロパティを表示するためのウィンドウ画面である。

ビジョンビューウィンドウ４４は、コントローラ一覧画面４１ａ、ワークスペース一覧画面４１ｂ又はフロービューウィンドウ上で選択された処理ユニットに関連付けられているカメラ画像を表示するためのウィンドウ画面である。

リザルトビューウィンドウ４５は、コントローラ一覧画面４１ａ、ワークスペース一覧画面４１ｂ又はフロービューウィンドウ上で選択された処理ユニットのパラメータと、シミュレーション結果とを表示するためのウィンドウ画面である。

このエディタ画面４０では、システムビューウィンドウ４１の下部に配置されているフロービューボタン４１ｃを操作すれば、上述したシステムビューウィンドウ４１に代えて、フロービューウィンドウを表示させることができる。フロービューウィンドウは、画像処理コントローラ１１に実行させる処理手順をフローチャートとして表示するウィンドウ画面であり、ワークスペース一覧画面４１ｂ上で選択された検査設定データが表示される。

また、リザルトビューウィンドウ４５の下部に配置されている抽出一覧ボタン４５ａを操作すれば、リザルトビューウィンドウ４５に代えて、抽出一覧ウィンドウを表示させることができる。抽出一覧ウィンドウは、リザルトビューウィンドウ４５上で選択されたパラメータ及び処理結果を抽出して処理ユニットごとの抽出結果を一覧表示するためのウィンドウ画面である。

<フロービューウィンドウ>
図４は、図２の検査支援システム１００におけるＰＣ２の動作の一例を示した図であり、フロービューウィンドウ４６が表示されたエディタ画面４０が示されている。フロービューウィンドウ４６は、検査設定データの制御プログラムを新たに作成し、或いは、画像処理コントローラ１１から取得した制御プログラムを編集するために、処理手順を示すフローチャート４７を表示するウィンドウ画面である。

フロービューウィンドウ４６には、複数の処理ユニット４８を配列することによって構成されたフローチャート４７が表示されている。フローチャート４７には、スタートシンボル「Ｓ」において開始し、エンドシンボル「Ｅ」において終了する実行フロー上で時系列に実行される処理ユニットが表されている。ユーザは、この様な実行フロー上に処理ユニット４８を配置することによって所望の制御プログラムを構成することができる。

つまり、画像処理コントローラ１１に行わせる一連の画像処理は、処理ユニットとしてブロック化されており、ユーザは、処理ユニットをフロービューウィンドウ４６内の実行フロー上に配置するだけで、当該処理ユニットが直前の処理ユニットの処理結果に基づいて所定の処理を行うフローシーケンスを作成することができる。

フロービューウィンドウ４６の下部に配置されているシステムビューボタン４６ａを操作すれば、このフロービューウィンドウ４６に代えて、システムビューウィンドウ４１を表示させることができる。

フロービューウィンドウ４６上で選択されている処理ユニットは、フォーカス表示され、ユニットプロパティウィンドウ４３内にそのプロパティが表示される。ユニットプロパティウィンドウ４３内には、編集ボタン４３ａが配置され、編集ボタン４３ａを操作すれば、処理ユニットのプロパティを編集するためのプロパティ編集画面が表示される。プロパティ編集画面は、ユーザ操作に基づいて処理ユニットのパラメータを指定し、或いは、既に指定されているパラメータを変更するための編集画面である。

<フローチャート>
図５は、図２の検査支援システム１００におけるＰＣ２の動作の一例を示した図であり、フロービューウィンドウ４６内のフローチャート４７の一例が示されている。このフローチャート４７は、スタートシンボル６１ａで開始し、エンドシンボル６１ｂで終了する実行フロー上に複数の処理ユニットが配置されている。

フロービューウィンドウ４６上でフローチャート４７を作成編集する場合、パーツリストウィンドウ４２を用いて作業が行われる。例えば、フローチャート４７内に処理ユニットを挿入する際には、パーツリストウィンドウ４２上で所望の処理ユニットを選択し、マウスポインタなどで実行フロー上の位置を指定することによって挿入される。

この例では、フローチャート４７が、分岐ユニット６２ａ、撮像ユニット、色検査ユニット、数値演算ユニット、合流ユニット６２ｂ、ブロブ検出ユニット、繰返し開始ユニット６５ａ、エッジ位置検出ユニット、パターンサーチユニット、繰返し終了ユニット６５ｂ及びグラフィック表示ユニットをこの順序で実行フロー上に配置することによって構成されている。

分岐ユニット６２ａ及び合流ユニット６２ｂは、バイパスユニットを構成する制御ユニットであり、実行フロー上にバイパスユニットを挿入する際には、常に分岐ユニット６２ａ及び合流ユニット６２ｂを対にして挿入される。

この例では、スタートシンボル６１ａからの実行フローが分岐ユニット６２ａにより２つの枝フロー６３に分岐され、この分岐ユニット６２ａで分岐された枝フローが合流ユニット６２ｂにおいて合流されている。その際、一方の枝フロー６３は、撮像ユニット、色検査ユニット及び数値演算ユニットを経て合流ユニット６２ｂに達しているのに対して、他方の枝フロー６３は、撮像ユニットを経て合流ユニット６２ｂに達するバイパス経路（迂回路）となっている。

繰返し開始ユニット６５ａ及び繰返し終了ユニット６５ｂは、繰返しユニットを構成する制御ユニットであり、実行フロー上に繰返しユニットを挿入する際にも、繰返し開始ユニット６５ａ及び繰返し終了ユニット６５ｂを対にして挿入される。

この例では、繰返し開始ユニット６５ａ及び繰返し終了ユニット６５ｂ間にエッジ位置検出ユニット及びパターンサーチユニットが配置されており、実行時にはエッジ位置検出ユニット及びパターンサーチユニットの処理が繰り返される。

フローチャート４７内の分岐ユニット６２ａ及び繰返し開始ユニット６５ａには、折畳みアイコン６４ａが配置されている。この折畳みアイコン６４ａは、制御ユニット間の実行フローを省略してフローチャート４７を表示させるためのアイコンであり、処理ユニットに隣接させて表示される。

また、フローチャート４７上で選択されている処理ユニットは、フォーカス表示され、ユニットプロパティウィンドウ４３内に当該処理ユニットのプロパティを表示させ、或いは、編集対象として当該処理ユニットのプロパティを変更することができる。

<履歴蓄積>
図６は、図２の検査支援システム１００における画像処理コントローラ１１の構成例を示したブロック図であり、画像処理コントローラ１１内の機能構成の一例が示されている。この画像処理コントローラ１１は、メモリ１４、プログラム実行部１６、履歴蓄積制御部１７、履歴バッファ１７ａ、履歴管理情報生成部５１、履歴管理情報記憶部５２及び履歴情報出力部５３により構成される。メモリ１４は、ＰＣ２から転送された検査設定データ１５を保持する制御プログラムの記憶手段である。

プログラム実行部１６は、メモリ１４内に検査設定データ１５として保持されている制御プログラムを読み出して実行し、一連の画像処理を行う処理部である。このプログラム実行部１６では、計測対象とするカメラ画像を撮像トリガ信号に基づいてカメラ１２から取得する際の取得サイクルを計測周期として、制御プログラムが繰返し実行される。

制御プログラムを繰返し実行する際の周期（計測周期）は、当該制御プログラムに対応するフローチャート４７によって規定されるものとする。すなわち、フローチャート４７上のスタートシンボル（ユニット）からエンドシンボルまでのフローシーケンスを１周期分の画像処理として、計測周期が定められる。従って、フローチャート４７上に１つの撮像ユニットが配置されている場合には、１つのカメラ画像を計測対象として取得するごとに、カメラ画像に基づいて１回の計測が行われ、当該カメラ画像から計測結果が抽出されることとなる。

メモリ１４内に複数の検査設定データ１５が保持されている場合には、ユーザが実行対象として選択指定した検査設定データに基づいて画像処理が行われる。

履歴蓄積制御部１７は、制御プログラムの実行時に得られるカメラ画像及び計測結果を検査履歴として抽出し、履歴バッファ１７ａ内に格納する検査履歴の蓄積手段である。具体的には、制御プログラムの実行中にプログラム実行部１６によってカメラ１２から取得されたカメラ画像と、プログラム実行部１６によって実行された処理ユニットごとの計測結果とが計測周期ごとの検査履歴１７ｂとして抽出され、履歴バッファ１７ａ内に格納される。

履歴バッファ１７ａは、抽出された計測周期ごとの検査履歴１７ｂを保持する履歴情報の記憶手段であり、バッファメモリからなる。この履歴バッファ１７ａには、例えば、計測結果データＡ１１と、この計測結果データＡ１１を処理ユニットに関連付けるためのユニット識別情報Ａ１２と、カメラ画像データＡ２１とが履歴情報１７ｂとして保持されている。つまり、履歴バッファ１７ａ内には、計測結果データＡ１１が処理ユニット及び計測周期に関連付けて保持されるとともに、カメラ画像データＡ２１が計測周期に関連付けて保持されている。

制御プログラムに基づく画像処理の結果から計測結果やカメラ画像を検査履歴１７ｂとして抽出する際の抽出方法には、全抽出、判定抽出などがある。この全抽出は、処理ユニットごとに得られる計測結果や計測周期ごとのカメラ画像を全て検査履歴として抽出させる方法である。

一方、判定抽出は、ユーザによって予め指定された処理ユニットにおける検査対象物の判定結果に基づいて、検査履歴を抽出させる方法であり、当該処理ユニットの判定結果に応じて検査履歴として抽出するか否かが決定される。

ここで、処理ユニットの判定結果に基づいて検査履歴を抽出させる際に抽出対象とする処理ユニットは、当該処理ユニットを含む全ての処理ユニットであるものとする。つまり、処理ユニットの判定結果が所定値である場合には、当該処理ユニットを含む全ての処理ユニットの計測結果が検査履歴として抽出される。この様な検査履歴の抽出方法は、検査設定データ１５ごとに指定することができる。

履歴蓄積制御部１７が検査履歴１７ｂを抽出する際の抽出条件は、検査設定データ１５の作成編集時に、検査履歴に関するパラメータとしてＰＣ２のエディタ画面４０上で決定され、検査設定データ１５として画像処理コントローラ１１へ転送される。この様な抽出条件として、例えば、抽出方法（全抽出又は判定抽出）、判定結果の参照先の処理ユニット、抽出対象の処理ユニットが予め定められる。

具体的には、抽出方法や判定結果の参照先ユニットなどが異なる複数の抽出条件を同時に指定することができる。この様な複数の抽出条件には、同一の検査履歴を抽出させる場合が含まれる。

また、履歴蓄積制御部１７が検査履歴１７ｂを履歴バッファ１７ａ内に蓄積する際の蓄積数の上限も、検査履歴に関するパラメータとしてＰＣ２のエディタ画面４０上で決定される。この蓄積数の上限として、例えば、計測周期ごとに検査履歴を蓄積させる際の最大蓄積数が予め定められる。複数の抽出条件が指定された場合には、蓄積数の上限を各抽出条件についてそれぞれ予め定められる。

履歴蓄積制御部１７では、複数の抽出条件に従って検査履歴を抽出することが実行対象の検査設定データ１５によって指示された場合、これらの抽出条件の論理和に基づいて、検査履歴１７ｂを抽出する動作が行われる。すなわち、各抽出条件のいずれかに該当する検査履歴を重複させることなく抽出する動作が行われる。

ここでは、履歴バッファ１７ａ上の検査履歴１７ｂは、実行対象とする制御プログラムが変更されると、消去されるものとする。

履歴管理情報生成部５１は、履歴蓄積制御部１７が１又は２以上の抽出条件に基づいて抽出した計測周期ごとの検査履歴１７ｂを各抽出条件にそれぞれ関連付けるためのインデックステーブル５２ａを生成し、履歴管理情報記憶部５２内に格納する動作を行っている。履歴管理情報生成部５１は、同一の検査履歴が複数の抽出条件によって重複して抽出される場合に、この同一の検査履歴を当該複数の抽出条件にそれぞれ関連付ける複数のインデックステーブル５２ａを生成し、履歴管理情報記憶部５２内に格納する動作を行っている。

このインデックステーブル５２ａは、検査履歴１７ｂの格納先を示すアドレス情報Ｂ１からなる抽出条件ごとの履歴管理情報であり、各抽出条件にそれぞれ関連付けられている。すなわち、各インデックステーブル５２ａは、共通の抽出条件によって抽出された計測周期ごとの検査履歴１７ｂをそれぞれ示すアドレス情報Ｂ１によって構成される。ここでは、この様なアドレス情報Ｂ１として、履歴バッファ１７ａ内のデータアドレスが保持されるものとする。

履歴管理情報生成部５１では、蓄積条件決定部１９によって蓄積数の上限が各抽出条件についてそれぞれ指定されている場合に、この蓄積数の上限に基づいて、古くなったアドレス情報Ｂ１に新たなアドレス情報を上書きする動作が行われる。すなわち、インデックステーブル５２ａ内に保持されているアドレス情報Ｂ１の蓄積数が、蓄積条件決定部１９によって定められた蓄積数の上限に達すると、新たに生成したアドレス情報を上書き保存させる動作が行われる。この場合、インデックステーブル５２ａは、リングバッファとして動作することとなる。

履歴バッファ１７ａ上の検査履歴１７ｂは、上述したインデックステーブル５２ａからのリンクが全て削除されると、上書き可能な状態となる。すなわち、履歴バッファ１７ａは、インデックステーブル５２ａによる関連付けがなくなった時点で検査履歴１７ｂの上書きが許可されるバッファとなっている。

履歴情報出力部５３は、履歴バッファ１７ａ内に保持されている検査履歴１７ｂと、履歴管理情報記憶部５２内のインデックスステーブル５２ａとを履歴情報としてＰＣ２などへ出力する動作を行っている。ＰＣ２では、この様な履歴情報をエディタ画面４０上に表示させることにより、制御プログラム実行時のカメラ画像や計測結果を抽出条件ごとに確認することができる。

<蓄積データ管理>
図７は、図２の検査支援システム１００における画像処理コントローラ１１の履歴蓄積時の動作の一例を示した図であり、複数の抽出条件に従って計測周期ごとに抽出された検査履歴１７ｂを保持する履歴バッファ１７ａ及びインデックステーブル５２ａが示されている。

履歴バッファ１７ａには、複数の抽出条件の論理和に基づいて抽出された検査履歴１７ｂが計測周期ごとに順に格納される。つまり、各抽出条件のいずれかにヒットした検査履歴が抽出される。

インデックステーブル５２ａは、抽出条件ごとに作成され、共通の抽出条件によって抽出された計測周期ごとの検査履歴１７ｂをそれぞれ示すアドレス情報Ｂ１によって構成される。同一の検査履歴が複数の抽出条件によって重複して抽出される場合には、これらのインデックステーブル５２ａによって、この同一の検査履歴が当該複数の抽出条件にそれぞれ関連付けされる。

この例では、検査履歴「計測４」が２つの抽出条件によって重複して抽出され、当該検査履歴の格納先を示すアドレス情報Ｂ１がインデックステーブル「抽出条件１」及び「抽出条件２」にそれぞれ保持されている。

この場合、検査履歴「計測４」の履歴データ自体は履歴バッファ１７ａ内に重複させることなく保持される。

<エディタの機能構成>
図８は、図２の検査支援システム１００におけるＰＣ２の構成例を示したブロック図であり、画像処理コントローラ１１の制御プログラムを作成するエディタの機能構成の一例が示されている。このＰＣ２は、メモリ２１、処理ユニット記憶部２３、フローチャート表示部２４、プログラム生成部２５、プログラム転送部２６、操作入力部２７、履歴表示部２８及び履歴情報記憶部２９により構成される。

処理ユニット記憶部２３には、撮像ユニットや計測ユニットなどの処理ユニットが保持されている。フローチャート表示部２４は、スタートシンボルにおいて開始し、エンドシンボルにおいて終了する実行フロー上に処理ユニットを配置することによって生成されたフローチャート４７をエディタ画面４０のフロービューウィンドウ４６上に表示する動作を行っている。

プログラム生成部２５は、ユーザがフロービューウィンドウ４６上で作成したフローチャート４７を実行形式に変換することにより、画像処理コントローラ１１の制御プログラムを生成する動作を行っている。

メモリ２１には、プログラム生成部２５により生成された制御プログラムが検査設定データ２２として保持される。プログラム転送部２６は、メモリ２１内の検査設定データ２２を画像処理コントローラ１１へ転送する動作を行っている。

履歴情報記憶部２９には、画像処理コントローラ１１から転送された計測周期ごとの履歴情報２９ａが保持されている。この履歴情報２９ａは、メモリ２１内の検査設定データ２２に関連付けて保持される。

履歴表示部２８は、履歴情報記憶部２９内に保持されている履歴情報２９ａをエディタ画面４０上に表示する動作を行っている。この履歴表示部２８では、例えば、フローチャート４７上でユーザが選択した処理ユニットについて、履歴情報２９ａを表示する動作が行われる。すなわち、ユーザが選択した処理ユニットに関連付けられている履歴情報を抽出し、抽出した履歴情報の計測結果がカメラ画像上に表示される。

計測結果をカメラ画像上に表示する際に、当該処理ユニットのパラメータを参照することによって、計測結果をグラフィカルに表示させることができる。つまり、画像処理コントローラ１１の運転中にディスプレイ１３ａ上に表示されるのと同じように、計測結果をＰＣ２上に表示させることができる。

<蓄積条件設定画面>
図９は、図２の検査支援システム１００におけるＰＣ２の動作の一例を示した図であり、検査履歴を蓄積させる際の蓄積条件を定めるための蓄積条件設定画面７０が示されている。この蓄積条件設定画面７０は、画像処理コントローラ１１が検査履歴を蓄積する際の蓄積条件をＰＣ２上で設定するための入力画面であり、ユーザ操作に基づいてエディタ画面４０上に表示される。

蓄積条件設定画面７０には、蓄積方法として、蓄積単位を指定するための入力欄７１と、シリーズ内世代数を指定するための入力欄７２と、蓄積回数を指定するための入力欄７３と、蓄積モードを指定するための入力欄７４と、蓄積対象を指定するための入力欄７５とが設けられている。

蓄積単位は、計測周期ごとに検査履歴を蓄積保存させる際の処理単位であり、１周期を単位とする「シングル履歴」と、連続する複数周期を単位とする「シリーズ履歴」とが選択可能となっている。シリーズ内世代数は、１周期を１世代とする世代数であり、シリーズ履歴として蓄積保存させる世代数を選択指定することができる。

蓄積回数は、検査履歴を蓄積保存させる際の蓄積数の上限である。蓄積モードは、検査履歴を蓄積保存させる際のメモリへの書込み方法であり、上書きモード又は非上書きモードのいずれかを選択することができる。

蓄積対象の入力欄７５では、蓄積対象とするカメラ画像を選択指定し、或いは、計測結果を蓄積させるか否かを選択することができる。

蓄積条件設定画面７０上で選択指定された入力情報を画像処理コントローラ１１へ転送することによって、検査履歴を所望の蓄積条件で蓄積させることができる。

本実施の形態によれば、複数の抽出条件を指定して検査履歴１７ｂを抽出蓄積させることができる。また、同一の検査履歴が複数の抽出条件によって重複して抽出される場合に、その同一の検査履歴を当該複数の抽出条件にそれぞれ関連付けるインデックステーブル５２ａが保持されるので、同一の検査履歴を重複して保持することなく、計測周期ごとの検査履歴を管理することができる。従って、複数の抽出条件で履歴情報を抽出蓄積させる際に、履歴情報の蓄積処理に要する時間を増大させることなく、履歴情報を抽出蓄積させることができる。

実施の形態２．
<シリーズ履歴>
実施の形態１では、同一の検査履歴が複数の抽出条件によって重複して抽出される場合の例について説明した。これに対し、本実施の形態では、抽出条件が成立した計測周期を含む連続する複数の計測周期について抽出された検査履歴がシリーズ履歴として当該抽出条件に関連付けされる場合について説明する。

図１０は、本発明の実施の形態２による画像処理コントローラの構成例を示した図であり、複数のアドレス情報Ｂ１をシリーズ履歴として抽出条件に関連付けて保持するインデックステーブル５２ａが格納された履歴管理情報記憶部５２が示されている。

このインデックステーブル５２ａは、抽出条件が成立した計測周期を含む複数世代の検査履歴１７ｂについて、検査履歴１７ｂの格納先を示すアドレス情報Ｂ１をシリーズ履歴として当該抽出条件に関連付けて保持する履歴管理情報となっている。具体的には、抽出条件が成立した計測周期を中心として前後の計測周期を含む一連の計測周期について、アドレス情報Ｂ１が抽出条件に関連付けて保持される。

図１１は、図１０の画像処理コントローラにおける履歴蓄積時の動作の一例を示した図であり、抽出条件の成立した計測周期を含む連続する複数の計測周期について抽出されたアドレス情報Ｂ１がシリーズ履歴として当該抽出条件に関連付けて保持される様子が示されている。

この例では、計測開始から第３周期目で抽出条件が成立し、この計測周期を含む第２周期から第４周期までの検査履歴１７ｂについて、当該検査履歴１７ｂの格納先を示すアドレス情報Ｂ１が「シリーズ履歴１」として関連付けられている。また、上記抽出条件と同じ条件で第５周期目に抽出条件が成立し、この計測周期を含む第４周期から第６周期までの検査履歴１７ｂについて、当該検査履歴１７ｂの格納先を示すアドレス情報Ｂ１が「シリーズ履歴２」として関連付けられている。

この様にシリーズ履歴では、抽出条件が成立した計測周期を含む一連の計測周期について、検査履歴１７ｂが当該抽出条件に関連付けて保持される。上記例では、第４周期目の検査履歴１７ｂが「シリーズ履歴１」と「シリーズ履歴２」とに重複して関連付けられているが、検査履歴「計測４」の履歴データ自体は履歴バッファ１７ａ内に重複させることなく保持される。

本発明の実施の形態１による検査支援システムの一構成例を示した斜視図である。 図１の検査支援システムのシステム構成の一例を示したブロック図である。 図２の検査支援システム１００におけるＰＣ２の動作の一例を示した図であり、検査設定データ２２を作成するためのエディタ画面４０が示されている。 図２の検査支援システム１００におけるＰＣ２の動作の一例を示した図であり、フロービューウィンドウ４６が表示されたエディタ画面４０が示されている。 図２の検査支援システム１００におけるＰＣ２の動作の一例を示した図であり、フロービューウィンドウ４６内のフローチャート４７の一例が示されている。 図２の検査支援システム１００における画像処理コントローラ１１の構成例を示したブロック図であり、コントローラ１１内の機能構成の一例が示されている。 図２の検査支援システム１００における画像処理コントローラ１１の履歴蓄積時の動作の一例を示した図である。 図２の検査支援システム１００におけるＰＣ２の構成例を示したブロック図であり、エディタの機能構成の一例が示されている。 図２の検査支援システム１００におけるＰＣ２の動作の一例を示した図であり、蓄積条件を定めるための蓄積条件設定画面７０が示されている。 本発明の実施の形態２による画像処理コントローラの構成例を示した図であり、インデックステーブル５２ａを保持する履歴管理情報記憶部５２が示されている。 図１０の画像処理コントローラにおける履歴蓄積時の動作の一例を示した図であり、アドレス情報Ｂ１がシリーズ履歴として関連付けされる様子が示されている。

符号の説明

１ 画像処理装置
２ ＰＣ
３ 通信ネットワーク
１１ 画像処理コントローラ
１２ カメラ
１３ａ ディスプレイ
１３ｂ 操作ユニット
１４，２１ メモリ
１５，２２ 検査設定データ
１６ プログラム実行部
１７ 履歴蓄積制御部
１７ａ 履歴バッファ
１７ｂ 検査履歴
２３ 処理ユニット記憶部
２４ フローチャート表示部
２５ プログラム生成部
２６ プログラム転送部
２７ 操作入力部
２８ 履歴表示部
２９ 履歴情報記憶部
４０ エディタ画面
４６ フロービューウィンドウ
４７ フローチャート
４８ 処理ユニット
５１ 履歴管理情報生成部
５２ 履歴管理情報記憶部
５２ａ インデックステーブル
５３ 履歴情報出力部
１００ 検査支援システム

Claims (4)

1. 検査対象物を撮影してカメラ画像を生成するカメラと、上記カメラから上記カメラ画像を取得して当該カメラ画像から計測結果を抽出し、この計測結果に基づいて上記検査対象物の良否を判定して判定信号を出力する画像処理コントローラと、上記画像処理コントローラの制御プログラムを作成するプログラム作成装置とからなる検査支援システムであって、
   上記プログラム作成装置が、画像処理を示す２以上の処理ユニットを保持する処理ユニット記憶手段と、スタートシンボルにおいて開始し、エンドシンボルにおいて終了する実行フロー上に上記処理ユニットを配置することによって、フローチャートを生成するフローチャート生成手段と、上記フローチャートに基づいて、上記画像処理コントローラの制御プログラムを生成するプログラム生成手段と、上記制御プログラムを上記画像処理コントローラへ転送するプログラム転送手段とを有する検査支援システムに用いられる上記画像処理コントローラにおいて、
   上記制御プログラムを保持するプログラム記憶手段と、
   上記フローチャート上のスタートシンボルからエンドシンボルまでを計測周期として、上記制御プログラムを繰返し実行するプログラム実行手段と、
   上記制御プログラムの実行中に上記プログラム実行手段によって上記カメラから取得された上記カメラ画像を上記計測周期ごとの検査履歴として抽出し、計測周期に関連付けて保持する検査履歴蓄積手段と、
   上記検査履歴蓄積手段が２以上の抽出条件に基づいて抽出した計測周期ごとの検査履歴を各抽出条件にそれぞれ関連付けるための履歴管理情報であって、同一の検査履歴が複数の抽出条件によって重複して抽出される場合に、上記同一の検査履歴を当該複数の抽出条件にそれぞれ関連付ける抽出条件ごとの履歴管理情報を生成し、保持する履歴管理手段とを備えたことを特徴とする画像処理コントローラ。
2. 上記検査履歴の蓄積数の上限を上記各抽出条件についてそれぞれ決定する蓄積条件決定手段を備え、
   上記履歴管理情報が、上記検査履歴の格納先を示すアドレス情報からなるインデックステーブルであって、上記各抽出条件にそれぞれ関連付けられた複数のインデックステーブルによって構成され、
   上記履歴管理手段が、上記蓄積数の上限に基づいて、古くなった上記アドレス情報に新たなアドレス情報を上書きすることを特徴とする請求項１に記載の画像処理コントローラ。
3. 上記履歴管理情報が、上記抽出条件の成立した計測周期を含む連続する複数の計測周期について抽出された上記検査履歴をシリーズ履歴として当該抽出条件に関連付けることを特徴とする請求項１に記載の画像処理コントローラ。
4. 上記検査履歴蓄積手段が、上記プログラム実行手段によって実行された上記処理ユニットごとの上記計測結果を上記計測周期ごとの検査履歴として抽出し、処理ユニット及び計測周期に関連付けて保持することを特徴とする請求項１に記載の画像処理コントローラ。