以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。
図1は、本発明の実施の形態に係るマニュアル作成支援装置のマニュアル作成対象となる検査システムの構成を示す模式図である。図1に示すように、本実施の形態に係るマニュアル作成支援装置のマニュアル作成対象となる検査システムは、撮像装置1と、撮像装置1とデータ通信することが可能に接続ケーブル3で接続され、画像処理を実行するFPGA、DSP等を備えている外観検査装置2とで構成されている。外観検査装置2は表示装置(図示せず)と接続されており、画像処理制御部201と照明制御部202とを内蔵している。
また、照明制御部202は、照明装置4とデータ通信することが可能な接続ケーブル3で接続されている。コンベア5上を移動してくる検査対象物6に対して、照明装置4で光を照射し、撮像装置1で撮像する。撮像した検査対象物6の画像に基づいて、検査対象物6が良品であるか不良品であるかを判定する。
撮像装置1は、検査対象物6を撮像する撮像素子を有するカメラモジュールを備えている。撮像素子としてはCMOS基板を備えており、例えば撮像したカラー画像は、CMOS基板にてダイナミックレンジを広げる変換特性に基づいてHDR画像へ変換される。なお、撮像素子としては、CCD等の別のタイプの撮像素子を用いても良い。
上述した外観検査装置2は、データ通信することが可能なPC(パーソナルコンピュータ)と接続されており、該PCは、マニュアル作成のための動作シミュレーションを実行するマニュアル作成支援装置7として機能する。そして、外観検査装置2は、撮像装置1で撮像した検査対象物6の画像に対する各種の画像処理を実行する複数の画像処理ツールを備えている。ユーザは、マニュアル作成支援装置7にて、所望する検査内容に基づいて、検査対象物6に対して一又は複数の画像処理ツールを事前に選択する。
また、ユーザは、マニュアル作成支援装置7にて、選択された一又は複数の画像処理ツールごとに良否判定に用いる閾値(上限値及び/又は下限値)等の設定データを事前に設定する。さらに、ユーザは、マニュアル作成支援装置7にて、画像処理が実行される順序を設定する。その後、マニュアル作成支援装置7におけるユーザ操作に基づいて、複数の画像処理ツールごとに設定された設定データ、画像処理が実行される順序が設定された処理順序プログラム等が、マニュアル作成支援装置7から外観検査装置2へ転送される。これにより、外観検査装置2では、通常運転時、撮像装置1で撮像した画像に対し、ユーザが所望する順序で設定された画像処理が順次実行され、検査対象物6の良否判定が実行される。
一方、マニュアル作成支援装置7は、外観検査装置2から設定データ、処理順序プログラム等を取得する機能も有している。ユーザは、マニュアル作成支援装置7を通じて、外観検査装置2から取得した設定データ、処理順序プログラム(画像処理が実行される順序)等を編集することができる。なお、斯かる編集作業は、例えば、外観検査装置2に接続されたモニタ及びコンソール(いずれも図1では図示せず)を用いて行うこともできるが、本実施の形態では、マニュアル作成支援装置7でも行うことができる。
例えば、外観検査装置2が有している画像処理ツールの1つであるパターンサーチ計測ツールは、比較対象とする画像パターンを事前に記憶装置に記憶しておき、画像パターンの位置、傾斜角度、相関値を計測することにより、撮像した検査対象物6の画像の中から記憶してある画像パターンに類似している画像パターンを検出する。図2は、本発明の実施の形態に係るマニュアル作成支援装置7と接続されている外観検査装置2のパターンサーチ計測ツールの例示図である。図2(a)は、画像パターンを記憶する場合の画面の例示図を、図2(b)は、記憶してある画像パターンに類似している画像パターンを検出する場合の画面の例示図を、それぞれ示している。
図2(a)に示すように、撮像装置1で撮像した検査対象物6の画像を画面中央に表示した状態で、ウインドウを画面上に設定することにより、サーチ領域21の設定を受け付ける。サーチ領域21内に存在する画像パターンを検出し、記憶する画像パターンを囲む領域としてパターン領域22の設定を受け付ける。もちろん、パターン領域22内に、画像パターンの代表点23の設定を受け付けても良い。パターン領域22内の画像パターン24を記憶する。これら、設定を受け付けたサーチ領域21、パターン領域22、代表点23は設定データに含まれる。
パターンサーチ計測ツールによるパターンサーチ時には、図2(b)に示すように、記憶してある画像パターン24に類似している画像パターンをサーチ領域25内でサーチする。図2の例では、画像パターンの代表点28の位置座標と傾斜角度27とでパターン領域29を特定して、パターン領域29内の画像パターンと記憶してある画像パターン24との相関値が所定の閾値より大きい場合に類似している画像パターンとして検出している。
もちろん、パターンサーチの方法はこれに限定されるものではなく、例えば記憶してある画像パターン及び撮像装置1で撮像した検査対象物6の画像それぞれについてエッジを検出し、エッジ強度が類似している位置の近傍において画像パターンの位置、傾斜角度、相関値を計測しても良い。
なお、パターンサーチ計測ツールでは、所定の閾値である相関値の下限値を上げることにより、より類似度の高い画像パターンのみを検出するよう調整することができる。また、サーチ感度、サーチ精度等も調整することができる。これら、相関値の下限値、サーチ感度、サーチ精度等も設定データに含まれる。
ここで、「サーチ感度」とは、パターンの検出感度を調整するための項目であり、ミスサーチが発生する(サーチ対象とは異なる場所を検出する)場合には、「サーチ感度」を高く設定することが好ましい。「サーチ感度」を高く設定した場合、検出の安定度が向上する反面、処理時間はより長くなる。
また、「サーチ精度」とは、パターンの検出精度を調整するための項目であり、検出精度を向上させたい場合には「サーチ精度」を高く設定することが好ましい。「サーチ精度」を高く設定した場合、検出精度が向上する反面、処理時間はより長くなる。
この他、傷の有無を検出する傷検査ツール、検査領域内の文字情報を切り出して辞書データ等と照合することで文字列を認識するOCR認識ツール、ならびに画像上に設定したウインドウ(領域)をシフトさせながら、各ウインドウにおいてエッジの検出を繰り返す機能を有するトレンドエッジツール、設定したウインドウ内の濃淡の平均、偏差等を計測する機能を有する濃淡ツール、設定したウインドウ内の濃度の平均、偏差等を計測する機能を有する濃度ツール等も備えており、必要に応じて選択を受け付ける。
本実施の形態に係るマニュアル作成支援装置7は、図1に示す検査システムの画像処理ツールごとに設定を受け付けた設定データに基づいて、外観検査装置2で用いる画像処理ツールの動作シミュレーションを実行し、実行時に表示される画面の画像データを用いてマニュアルデータを生成する。以下、本実施の形態では、マニュアル作成支援装置7が動作シミュレート機能を有する場合を例に説明するが、特にこれに限定されるものではなく、マニュアル作成支援装置7に接続された、別個の動作シミュレート用のコンピュータを備えても良いし、外観検査装置2が動作シミュレート機能を有していても良い。
図3は、本発明の実施の形態に係るマニュアル作成支援装置7の構成を示すブロック図である。本発明の実施の形態に係るマニュアル作成支援装置7は、少なくともCPU(中央演算装置)71、メモリ72、記憶装置73、I/Oインタフェース74、ビデオインタフェース75、可搬型ディスクドライブ76、通信インタフェース77及び上述したハードウェアを接続する内部バス78で構成されている。
CPU71は、内部バス78を介してマニュアル作成支援装置7の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置73に記憶されたマニュアル作成プログラム100に従って、種々のソフトウェア的機能を実行する。メモリ72は、SRAM、SDRAM等の揮発性メモリで構成され、マニュアル作成プログラム100の実行時にロードモジュールが展開され、マニュアル作成プログラム100の実行時に発生する一時的なデータ等を記憶する。
記憶装置73は、内蔵される固定型記憶装置(ハードディスク)、ROM等で構成されている。記憶装置73に記憶されたマニュアル作成プログラム100は、プログラム及びデータ等の情報を記録したDVD、CD−ROM等の可搬型記録媒体90から、可搬型ディスクドライブ76によりダウンロードされ、実行時には記憶装置73からメモリ72へ展開して実行される。もちろん、通信インタフェース77を介して接続されている外部コンピュータからダウンロードされたマニュアル作成プログラムであっても良い。また、上述したように、本実施の形態に係るマニュアル作成支援装置7は、画像処理ツールの設定データ、処理順序プログラム等を編集するための設定データ編集支援プログラムを記憶装置73に記憶しており、マニュアル作成プログラム100は、記憶されている設定データ編集支援プログラムの一部として存在していても良い。
記憶装置73は、固有データ記憶部731とテキストデータ記憶部732とを備えている。固有データ記憶部731は、入力を受け付けた撮像データ及び設定データを含む固有データを記憶する。テキストデータ記憶部732は、マニュアルに記載する説明文をテキストデータとして、外観検査装置2で用いる画像処理ツールの設定データに対応付けて記憶する。つまり、複数の異なる画像処理ツールの設定データそれぞれに対して、複数の異なるテキストデータが対応付けられて記憶されている。また、記憶装置73には外観検査装置2の動作シミュレーションを実行する動作シミュレートプログラムが記憶されている。動作シミュレートプログラムは、DVD、CD−ROM等の可搬型記録媒体90から、可搬型ディスクドライブ76によりダウンロードされる。
通信インタフェース77は内部バス78に接続されており、インターネット、LAN、WAN等の外部のネットワークに接続されることにより、外観検査装置2、外部コンピュータ等とデータ送受信を行うことが可能となっている。
I/Oインタフェース74は、キーボード81、マウス82等の入力装置と接続され、データの入力を受け付ける。ビデオインタフェース75は、CRTディスプレイ、液晶ディスプレイ等の表示装置83と接続され、所定の画像を表示する。
図4は、本発明の実施の形態に係るマニュアル作成支援装置7の機能ブロック図である。固有データ入力受付部401は、少なくとも検査対象物6を撮像した撮像データ、及び良否判定を行う外観検査装置2の設定データを含む固有データの入力を受け付ける。なお、固有データの入力は、検査対象物6を撮像する都度受け付けても良いし、SDカード等の可搬型記憶媒体90を介して受け付けても、外部のネットワークを介して受け付けても良い。入力を受け付けた固有データは、記憶装置73の固有データ記憶部731へ記憶する。なお、設定データとは、設定するべき設定項目を示す設定パラメータ及び設定されるパラメータ値の両方を含む。
また、設定データごとに設定パラメータとパラメータ値とを対応付けた対応テーブルを記憶しておくことが好ましい。設定パラメータのパラメータ値をマニュアルデータに追加することができ、ユーザにとってより直感的に分かりやすく、利便性の高いマニュアルを作成することが可能となるからである。また、テキストデータ記憶部732に記憶されているテキストデータは、設定データ又は設定パラメータに対応付けて記憶している。したがって、マニュアル作成の対象として選択された設定データ(設定パラメータ)に対応するテキストデータを読み出すことができる。
動作シミュレート部402は、外観検査装置2の動作シミュレーションを実行して、実行時に表示される画面の一部又は全部を画像データとして出力する。具体的には、固有データ記憶部731に記憶されている撮像データ及び設定データに基づいて外観検査装置2の動作シミュレーションを実行し、実行時に表示される画面をキャプチャすることにより、画像データとして取得する。取得した画像データをマニュアル作成に使用する。
マニュアル生成部404は、動作シミュレート部402により出力された画像データと、テキストデータ記憶部732に記憶されているテキストデータとを対応付けてマニュアルデータを生成する。なお、マニュアルデータの生成時には、例えばテキストデータ記憶部732に、固有データのレイアウトに関するレイアウト情報を記憶しておき、レイアウト情報に基づいたマニュアルデータを生成することが好ましい。
図5は、本発明の実施の形態に係るマニュアル作成支援装置7のマニュアルデータ生成画面の例示図である。図5に示すマニュアルデータ生成画面は、マニュアル作成支援装置7にて、上述したマニュアル作成プログラム100が実行された場合、表示装置83に表示される。ユーザは、マニュアルデータ生成画面を見ながら、キーボード81及びマウス82を用いて必要項目を入力する。
図5では、一連のマニュアルデータ生成画面のうち、マニュアルの表紙のマニュアルデータ生成画面の一例を示している。すなわち、マニュアルの表紙部分を作るための誘導画面(いわゆるウィザード画面)である。
画面の左上には、マニュアルを提供する客先の情報を入力するための入力受付領域51が設けられている。図5の例では、ユーザによって「○△株式会社〜様」と入力されている。
また、画面の左中には、マニュアルのタイトルを入力するための入力受付領域52が設けられている。図5の例では、ユーザによって「ねじ側面・上面の汚れ検査」と入力されている。
また、画面の左下には、マニュアルの作成者情報を入力するための入力受付領域53が設けられている。図5の例では、ユーザによって「株式会社○□担当〜」と入力されている。
入力受付領域51〜53に入力された内容が、実際のマニュアルでどのように配置されるのかは、レイアウト表示領域50を参考にして確認することができる。つまり、入力受付領域51に入力された客先の情報は、マニュアルの表紙の左上方に配置され、入力受付領域52に入力されたタイトルは、マニュアルの表紙の中央に配置され、入力受付領域53に入力されたマニュアルの作成者情報は、マニュアルの表紙の右下方に配置されるレイアウトとなっている。このように、図5に示すマニュアルデータ生成画面には、マニュアルの表紙のレイアウトをユーザが視認するためのレイアウト表示領域50が設けられている。なお、図5に示すレイアウトは一例であって、他のレイアウトであっても良い。
図6は、本発明の実施の形態に係るマニュアル作成支援装置7の選択受付画面の例示図である。図6に示す選択受付画面は、ユーザが、図5に示すマニュアルデータ生成画面の右下方に設けられた「次へ」ボタンを選択することにより、表示装置83に表示される。なお、図6の選択受付画面の左半分には、ツールとして、各画像処理ツールが階層表示されており、各画像処理ツールにチェックボックスが割り当てられている。つまり、選択受付画面には、ユーザからマニュアルに出力する対象となる画像処理ツールの選択を受け付けるための選択受付領域61が設けられている。
また、図6に示す選択受付画面の右上には、運転画面表示として、カメラ1の検査画面の説明をマニュアルに記載するか否か、カメラ2の検査画面の説明をマニュアルに記載するか否か、あるいは、カメラ1及びカメラ2(ALL)の検査画面を一画面に含む検査画面の説明をマニュアルに記載するか否かの選択をユーザから受け付けるための選択受付領域62が設けられている。要するに、運転モード中に、表示装置83又は外観検査装置2の表示部(図示せず)に表示する画面をマニュアル記載のために選択する選択受付領域62が設けられている。なお、選択受付領域63については、詳細な説明を省略するが、ユーザによりマニュアルに付加される項目(付随項目)の選択を受け付けるための選択受付領域である。
図6の選択受付領域61に示すように、「カメラ1」、「カメラ2」、・・・と別個にマニュアル作成の対象となる画像処理ツールを選択することができ、階層が上位の「カメラ(撮像装置1)」自体を選択することもできる。すなわち、図1では、撮像装置1が1台のみ接続されているが、本実施の形態に係る外観検査装置2には複数の撮像装置1を接続することが可能となっており、各撮像装置1に対し、それぞれユーザが所望する順序の処理順序プログラムを設定することができる。そのため、例えば外観検査装置2に2台の撮像装置1が接続されている場合には、図6に示すように、「カメラ1」と「カメラ2」とのいずれかの選択を受け付けるためのチェックボックスが表示され、これらの両方又はいずれかをユーザが選択することが可能となっている。
また、本実施の形態では、撮像装置1に事前に選択された画像処理ツールを対応付けて記憶しておく。図6では、「カメラ1」には画像処理ツール「T100パターンサーチ」及び「T101エリア」が対応付けられているため(これらの具体的な設定態様については図9を用いて後述する)、「カメラ1」の下位層の位置付けで、これらの画像処理ツールの選択を受け付けるためのチェックボックスが表示され、これらの両方又はいずれかをユーザが選択することが可能となっている。同様に、本実施の形態では、「カメラ2」には画像処理ツール「T200エッジ幅」が対応付けられているため(この具体的な設定態様については図10を用いて後述する)、「カメラ2」の下位層の位置づけで、この画像処理ツールの選択を受け付けるためのチェックボックスが表示され、これをユーザが選択することが可能となっている。
上述したように、画像処理ツールを個別に選択することもできるし、あるいは階層が上位の撮像装置1を選択することで、撮像装置1に対応付けられた画像処理ツールをまとめて選択することもできる。このように、ユーザごとに、選択受付領域61の表示内容(選択対象候補)が変化する。つまり、ユーザが設定モードにおいて設定した内容に応じて、選択受付領域61の表示内容が決まる。なお、図6では画像処理ツールごとに選択しているが、設定データごとであっても良い。
このように、ユーザによるチェックボックスの選択を受け付けることにより、自由にマニュアルに記載する項目を変えることができる。したがって、たとえ同じ検査システムのユーザであっても、ユーザごとに個別のマニュアルを作成することができる。次に、図6に示す選択受付画面において、「生成開始」ボタンの選択を受け付けた場合、マニュアルの自動作成を開始する。具体的には、図4に戻って、マニュアル生成部404が、動作シミュレーションに用いた設定データに対応するテキストデータを記憶装置73のテキストデータ記憶部732から読み出し、動作シミュレーションの実行により出力された画像データと対応付けてマニュアルデータを生成する。もちろん、動作シミュレーションを実行した後に、マニュアル作成の対象となる設定データの選択を受け付ける設定データ選択受付部403を備えても良い。これにより、ユーザにとって必要な項目だけを含むマニュアルを作成することができる。なお、マニュアル生成部404によるマニュアルデータの生成処理については、図7を用いて更に詳細に後述する。
図4に戻って、マニュアル出力部405は、生成したマニュアルデータを出力する。出力は、画像データ及びテキストデータで構成される文書データとしてファイル出力しても良いし、表示装置83に表示出力しても良い。また、印刷装置を用いてプリント出力しても良い。
本実施の形態に係るマニュアル作成支援装置7は、記憶されているマニュアル作成プログラム100を起動することにより、マニュアルデータを生成する。マニュアル作成プログラム100は、どのようにマニュアルデータを生成するかを示すシナリオデータを含んでいる。マニュアル作成支援装置7は、マニュアル作成プログラム100のシナリオデータに沿って動作シミュレーションを実行し、マニュアル作成に必要な画像データ及びテキストデータを取得してマニュアルデータを生成する。
図7は、本発明の実施の形態に係るマニュアル作成支援装置7のシナリオデータの例示図である。図7は、パターンサーチ計測ツールのサーチ精度のシナリオデータを例示している。図7に示すシナリオデータは、マニュアル作成プログラム100内に含まれていても良いし、マニュアル作成プログラム100とは別に、記憶装置73に記憶されていても良い。
まず、画面キャプチャの手順として、どの画面をキャプチャするかを示している。次に、貼り付け情報として、画像データの切り出し位置及びサイズ、そして画像データを貼り付けるページ座標及びサイズを示している。これにより、どの画面をキャプチャして画像データを取得し、取得した画像データのどの部分を切り出して、マニュアルページのどの位置に貼り付けるかを指示することができる。
具体的には、パターンサーチ計測ツールを開く画面をキャプチャして画像データを取得し、取得した画像データの左上を原点(0、0)として、X方向(右方向)に‘670’、Y方向(下方向)に‘340’の位置を左上頂点とする、サイズが400×400の画像データを切り出し、マニュアルページの左上を原点(0、0)として、X方向(右方向)に‘30’、Y方向(下方向)に‘70’の位置が左上頂点となるように、サイズ140×140で切り出した画像データを貼り付ける。なお、上述のように座標値として絶対位置を指定しても良いし、「画面の上端から何%」というような相対的な位置を指定しても良い。
次に、ヘルプ文言貼り付けとして、取得した画像データに対応するテキストデータを取得するための取得文言(キー情報)と、取得したテキストデータを貼り付ける位置とを示している。これにより、取得した画像データに対応するテキストデータを取得し、取得したテキストデータをマニュアルページのどの位置に貼り付けるかを指示することができる。具体的には、「サーチ精度のガイド」をキー情報として、テキストデータ記憶部732から対応するテキストデータを取得する。マニュアルページの左上を原点(0、0)として、X方向(右方向)に‘40’、Y方向(下方向)に‘220’の位置が左上頂点となるように、取得したテキストデータを貼り付ける。なお、上述のように座標値として絶対位置を指定しても良いし、「画面の上端から何%」というような相対的な位置を指定しても良い。
図8は、本発明の実施の形態に係るマニュアル作成支援装置7のCPU71の処理手順を示すフローチャートである。図8では、選択を受け付けた画像処理ツールについてのマニュアル作成処理について説明するが、表紙から、目次、各画像処理ツール、というように一貫してマニュアルを作成しても良いことは言うまでもない。
図8において、マニュアル作成支援装置7のCPU71は、マニュアル作成の対象となる画像処理ツールの選択を受け付ける(ステップS801)。例えば上述した図6に示す選択受付画面を表示装置83に表示させ、ユーザから、マニュアル作成の対象となる画像処理ツールの選択を受け付ける。テキストデータ記憶部732には、画像処理ツールごとにマニュアルに記載する説明文がテキストデータとして記憶されており、ユーザによる選択を受け付けた画像処理ツールをキー情報として、対応するテキストデータを読み出してマニュアルデータを生成する。なお、画像処理ツールの選択は、撮像装置1ごとに受け付ける。したがって、どの撮像装置1で検査対象物6を撮像するかによって、マニュアル作成の対象となる画像処理ツールの候補が定まる。
図9は、本発明の実施の形態に係るマニュアル作成支援装置7の、外観検査装置2に接続される表示部(図示せず)で表示される設定画面の例示図である。上述したように、本実施の形態に係るマニュアル作成支援装置7では、外観検査装置2から取得した設定データ、処理手順プログラム(画像処理が実行される順序)等を編集することができ、ユーザは、例えば図9に示す設定画面において編集することができる。換言すれば、外観検査装置2は、検査対象物6の良否を判定する検査モード(Runモード又は運転モード)と、設定するべき設定項目を示す設定パラメータ及びパラメータ値の設定を行う設定モード(非Runモード)とを切り替えるためのモード切替手段を有しており、図9に示す設定画面は、設定モードにおいてユーザが設定データ、処理手順プログラム等を編集するための画面である。また、上述したように、本実施の形態では、外観検査装置2に2台の撮像装置1(カメラ1、カメラ2)が接続されており、図9に示す設定画面は、カメラ1に対する設定画面である。図9において、検査対象物表示領域91には、撮像装置1で撮像した検査対象物6の画像をそのまま表示する。すなわち、本実施の形態は、ユーザが実際に外観検査に用いる検査対象物6の画像が、そのままマニュアルに掲載される点に特徴を有する。
ここで、図9に示す設定画面において、ユーザは、「基準画像登録」ボタン93を選択し、所定の操作を行うことにより、基準画像の登録を行う。登録された基準画像の画像データは記憶装置73に記憶される。画像処理ツール「T100パターンサーチ」で必要になる画像データは、基準画像の画像データ、及び実際に検査を行う検査対象物6を撮像した撮像データである。マニュアルを作成する目的からすれば、OK判定であるか、NG判定であるかの判定結果は重要ではない。そこで、本実施の形態に係るマニュアル作成支援装置7では、基準画像の画像データを、検査対象物6を撮像した撮像データとして使用する。つまり、動作シミュレーションを実行した場合、必ずOK判定になる。なお、検査対象物6の撮像データを使用する場合、撮像データを基準画像の画像データとは別個に記憶しておいても良い。
また、図9の例では、画像処理ツールが「T100パターンサーチ」であるため、基準画像の登録が必要になるが、例えば単に欠陥部分の面積を測定するだけの「T101エリア」であれば、基準画像を登録しなくても良い。つまり、基準画像の登録に関しては省略することもでき、その場合はマニュアルに使用する画像データとして、少なくとも「検査対象物6を撮像した撮像データ」を記憶してあれば良い。もちろん、「基準画像の画像データ」と「検査対象物6の撮像データ」との両方が記憶されていても、「基準画像の画像データ」のみが記憶されていても、「検査対象物6の撮像データ」のみが記憶されていても良い。
一方、図10は、本発明の実施の形態に係るマニュアル作成支援装置7の、外観検査装置2に接続される表示部(図示せず)で表示される他の設定画面の例示図である。上述したように、本実施の形態では、外観検査装置2に2台の撮像装置1(カメラ1、カメラ2)が接続されており、図10に示す設定画面は、カメラ2に対する設定画面である。図10の例では、図9に示す検査対象物6を別の角度から他の撮像装置1で撮像した画像が、検査対象物表示領域91に表示されている。
すなわち、図9は、ねじを側方から撮像するカメラ1に対する設定画面を示しており、図10は、ねじを上方から撮像するカメラ2に対する設定画面を示している。設定モードにおいて、ユーザは、図10に示す設定画面を通じて、画像処理ツール「T200エッジ幅」の設定パラメータの各種設定(パラメータ値入力等)を行う。具体的には、図10の設定データ入力領域92に表示されるように、内寸か外寸かを指定するための設定パラメータ「モード選択」、エッジの検出方向を規定するための設定パラメータ「検出方向」、エッジを検出する感度を調整するための設定パラメータ「エッジ感度」等を設定する。
なお、図10に示す設定画面においても「基準画像登録」ボタン93が表示されているが、上述した「T101エリア」と同様に、「T200エッジ幅」の検査を行うだけであれば基準画像を登録する必要はない。ただし、マニュアルに使用する画像データが必要になることから、「基準画像登録」ボタン93を通じて基準画像の登録をしない場合には、撮像装置1で撮像した撮像データを記憶しておく。また、ユーザが外観検査に用いる検査対象物6の画像が変わった場合、変わった検査対象物6の画像を用いてマニュアルが作成される。
そして、図10の例では、マニュアル作成の対象として「エッジ幅」計測ツールの選択を受け付けている。このように、検査対象物6を撮像する撮像装置1ごとにマニュアル作成の対象となる画像処理ツールを、ユーザが選択することができ、ユーザが実際に外観検査に用いる検査対象物6の画像がマニュアルに掲載される。
なお、図9に示す設定画面において、検査対象物表示領域91には、矩形状のパターン領域94が表示されている。図9の設定データ入力領域92の上方にある設定パラメータ「パターン領域」のアイコンの選択を受け付けた場合、検査対象物表示領域91上で所定形状のパターン領域94を設定することができる設定画面(図示せず)に遷移し、ユーザは、マウス操作によりパターンサーチに用いるパターン領域94を設定する。図9では、ネジ側面全体が含まれるようにパターン領域94が設定されている。
また、図10に示す設定画面において、検査対象物表示領域91には、矩形状の計測領域95aとヒストグラム95bとが表示されている。図10の設定データ入力領域92の上方にある設定パラメータ「計測領域」のアイコンの選択を受け付けた場合、検査対象物表示領域91上で所定形状の計測領域95aを設定することができる設定画面(図示せず)に遷移し、ユーザは、マウス操作によりエッジ幅を計測する計測領域95aを設定する。図10では、ネジを上方から見た場合の左端のエッジと右端のエッジとが含まれるように計測領域95aが設定されている。計測領域95aの左にある232.843(ピクセル)は、計測領域95aを設定した直後に自動的に算出された、左端のエッジと右端のエッジとの間の幅である。なお、ヒストグラム95bは、計測領域95a内の各ピクセルの輝度値をY方向(図10における縦方向)に加算した総和を0〜255になるように正規化して、計測領域95aの上方又は下方に自動的に表示される。
また、例えば、図10に示す設定画面において、ネジ頭がすべて含まれるように(略正方形状になるように)計測領域95aを広げて、設定データ入力領域92の設定パラメータ「検出方向」を横矢印から縦矢印に変更する。この場合、Y方向のエッジが検出されるので、ネジを上方から見た場合の上側のエッジと、下側のエッジとが検出される。したがって、ヒストグラム95bは、計測領域95a内の各ピクセルの輝度値をX方向(図10における横方向)に加算した総和を正規化して、計測領域95aの左方又は右方に自動的に表示される。
このように、設定パラメータの中には、ユーザの設定によって、検査対象物表示領域91に所定形状(矩形状、円形状、楕円状等)の領域が重ね合わせて表示される設定パラメータが存在する(図9のパターン領域94、図10の計測領域95a参照)。また、ユーザの設定によって、検査対象物表示領域91に自動的に数値が重ね合わせて表示される設定パラメータも存在する(図10の計測領域95aの左にある232.843)。さらに、ユーザの設定によって、検査対象物表示領域91に所定の画像が重ね合わせて表示される設定パラメータも存在する(図10の計測領域95aの下方に表示されるヒストグラム95b)。
換言すれば、設定パラメータの設定内容によって決定される画像に対する領域、設定パラメータの設定内容によって決定される数値(計算値)、設定パラメータの設定内容によって決定される所定の画像(ヒストグラム等)等が、検査対象物6の画像に重ね合わせて表示される。重ね合わせて表示された領域、数値、所定の画像等は、背景と区別するために色を変える等によりユーザが視認しやすいことが好ましい。例えば、検査対象物表示領域91の背景を黒色で表示する場合、領域の外縁となる枠を黄色で表示することが好ましい。
また、画像処理ツール「T101エリア」(所定の閾値以上の輝度値を有するピクセルが何ピクセルあるかを算出するツール)の設定パラメータ「2値化」についても、閾値を自由に設定することができ、設定された閾値に基づいて2値化処理した画像が検査対象物表示領域91に表示される。具体的には、例えばユーザが閾値を‘125’に設定した場合、事前に設定された計測領域内において、輝度値が‘125’以上の輝度値を有するピクセルの表示色と、輝度値が‘125’未満の輝度値を有するピクセルの表示色とが、異なる色となる。換言すれば、設定パラメータの設定内容によって計測領域内の表示色を変えることができる。
ここで説明した設定パラメータは、詳細は後述するステップS803における動作シミュレーションにて用いられる。つまり、撮像データの入力を受け付けた時点では、上述した領域、数値、所定の画像等は表示されず、検査対象物6を撮像した画像のみが表示される。しかし、マニュアル作成支援装置7にて動作シミュレーションが実行されることによって、上述した領域、数値、所定の画像等を表示するための画像データが作られる。重ね合わせて表示された状態の設定画面の一部又は全部が、画像データとしてマニュアルに掲載されることになる。
図8に戻って、マニュアル作成支援装置7のCPU71は、設定データの入力を受け付ける(ステップS802)。具体的には、外観検査装置2に保存されている設定データ(各撮像装置1に対応付けて記憶されている画像処理ツール、各画像処理ツールの設定パラメータ、各設定パラメータに対して設定されているパラメータ値等)が、SDカード等の記録媒体やネットワークを介して、マニュアル作成支援装置7に入力され、記憶装置73に記憶される。また、マニュアル作成時に用いる画像データとして、各撮像装置1に対して登録されている基準画像の画像データ又は記憶されている検査対象物6の撮像データも同様に、SDカード等の記録媒体やネットワークを介して、マニュアル作成支援装置7に入力され、記憶装置73に記憶される。このように、マニュアル作成支援装置7は、少なくとも検査対象物6を撮像した撮像データと、外観検査装置2の設定データとを含む、固有データの入力を受け付ける。
固有データに関して更に詳細に説明する。例えば図9、図10に示す設定画面上で撮像装置1に対応付けられた一又は複数の画像処理ツールの選択及び各画像処理ツールの設定パラメータの設定を受け付ける。要するに、固有データには、少なくとも、外観検査装置2に接続された撮像装置1により検査対象物6を撮像した撮像データと、検査対象物6を撮像した撮像装置1に対応付けられた一又は複数の画像処理ツールと、各々の画像処理ツールに対して設定された設定パラメータとが含まれている。また、一般にユーザは、例えば図9、図10に示す設定画面を通じて、所望の外観検査結果を得るために撮像装置1に対して一又は複数の画像処理ツールを対応付け、処理順序プログラムにより画像処理が実行される順序も設定される。なお、上述した固有データに処理順序プログラムが含まれても良い。
また、固有データの入力の受付は、外観検査装置2とマニュアル作成支援装置7とがネットワークを介して接続されている場合には自動的に行われるようにしても良いし、マニュアル作成支援装置7の表示装置83上に「検査対象物を撮像した撮像データと外観検査装置2の設定データが記憶された記憶媒体を挿入して下さい。」といったポップアップ画面が表示されるようにしても良い。
また、図8に示すステップS802の処理は、一部がステップS801の処理が行われる前に行われる。具体的には、図6に示す選択受付画面の選択受付領域61に、ユーザの選択に応じた画像処理ツールを表示するためには、ステップS801の処理が行われる前に、必要な範囲で設定データの入力を受け付ける必要がある。したがって、例えばマニュアル作成プログラム100を実行し、マニュアル作成支援ソフトウェアを起動した時点で、マニュアル作成支援装置7に挿入されているSDカード等から設定データを読み出して、図6に示す選択受付画面を表示するために必要な情報を取得しても良い。この場合、設定データだけでなく、撮像データなどを含む固有データも読み出して事前に記憶装置73に記憶しておくことにより、ステップS802の処理負荷を軽減し、あるいは処理自体を省略することができる。要するに、ステップS801の処理とステップS802の処理とは、実行の前後は問わない。
次に、図8において、受け付けた設定データに基づいて、選択を受け付けた画像処理ツールの動作シミュレーションを実行する(ステップS803)。CPU71は、動作シミュレーションの実行時に表示された画面を、例えば図7に示すシナリオデータに沿ってキャプチャして画像データを取得する(ステップS804)。具体的には、CPU71は、ステップS802で入力を受け付けた設定データを解析して、マニュアル出力が必要な撮像装置(本実施の形態ではカメラ1とカメラ2)と画像処理ツール(カメラ1に対応付けられた「T100パターンサーチ」と「T101エリア」、カメラ2に対応付けられた「T200エッジ幅」)を認識する。そして、CPU71は、認識した画像処理ツールについて順番に「画像データの取得」(キャプチャ処理)を行う。具体的には、まず、カメラ1に対応付けられた「T100パターンサーチ」について、シナリオデータに沿って画像データを取得する。図7では特に図示していないが、例えば「パターンサーチ」計測ツールにおいて、パターン領域の指定方法をマニュアルで説明するために、図9に示す設定画面をキャプチャして画像データを取得する。
また、図7で示すように、「パターンサーチ」計測ツールのうちの設定パラメータ「サーチ精度」についてマニュアルで説明するために、図9に示す設定画面をキャプチャして画像データを取得する。取得した画像データの一部(右方の「検出条件」の欄)を切り出して貼り付ける。具体的には、図7に示すシナリオデータを用いて説明したように、取得した画像データの左上を原点(0、0)として、X方向(右方向)に‘670’、Y方向(下方向)に‘340’の位置を左上頂点とする、サイズが400×400の画像データを切り出して貼り付ける。
このように、動作シミュレート部402は、撮像データや設定データを用いて外観検査装置2の動作シミュレーションを実行し、実行時に表示される画面の一部又は全部を画像データとして出力する。要するに、固有データ入力受付部401により入力された固有データには、上述したように、少なくとも外観検査装置2に接続された撮像装置1により検査対象物6を撮像した撮像データと、検査対象物6を撮像した撮像装置1に対応付けられた一又は複数の画像処理ツールと、各々の画像処理ツールに対して設定された設定パラメータとが含まれており、動作シミュレート部402は、これらを用いて外観検査装置2の動作シミュレーションを実行する。これにより、ユーザが実際に外観検査に用いる検査対象物6、ユーザが実際に選択した画像処理ツール、ユーザが実際に設定した設定パラメータ等が掲載されたマニュアルを自動的に作成することができる。図6を用いて説明したように、マニュアル出力する対象については、ユーザが選択することができるので、ユーザがマニュアルとして出力したい情報のみが掲載されたマニュアルを作成することができる。なお、固有データの中に画像処理が実行される順序(処理順序プログラム)に関する情報が含まれている場合には、動作シミュレート部402は、画像処理が実行される順序に関する情報に従って、各画像処理ツールの動作シミュレーションを行う。
ここで、設定モードにおいて、図9に示すように「T100パターンサーチ」の選択を受け付けた場合には、上述したステップS802において、設定データ入力領域92に表示される設定パラメータのパラメータ値の入力も受け付けるため、ステップS804で取得する画像データの中には、パラメータ値も含まれることになる。以下、図11を用いて説明する。
図11は、パターンサーチ計測ツールの設定パラメータの初期値を示す対応テーブルである。図11に示すように、ステップS802で設定データの入力を受け付ける場合、設定データごとに設定パラメータとパラメータ値とを対応付けた対応テーブルを固有データ記憶部731に記憶する。ここで「初期値」とは、パラメータ値が入力されなかった場合に用いるパラメータ値(デフォルト値)を意味する。
ユーザが設定モードにおいて、図9の設定データ入力領域92を介して設定パラメータのパラメータ値を入力した場合、入力されたパラメータ値は、設定パラメータの「変更時」の値として記憶される。つまり、ステップS804の処理で取得した画像データに含まれるパラメータ値は、ユーザが設定モードにおいてパラメータ値をデフォルト値から変更していた場合には、「変更時」の値として記憶される。図11では、「変更時」の欄が空白になっているが、これは設定モードにおいて、ユーザがデフォルト値から変更した履歴がないことを意味している。
なお、本実施の形態では、図11に示す「初期値」として、マニュアル作成支援装置7又は外観検査装置2に事前に登録されている初期値を用いているが、本発明はこれに限定されるものではなく、例えば外観検査装置2からマニュアル作成支援装置7に設定データを転送する時点でのパラメータ値を、図11に示す「初期値」として用いても良い。この場合、設定モードにおいて、設定データの転送を行う直近に、ユーザがデフォルト値から変更したパラメータ値が「初期値」となり、「変更時」の欄は常に空欄となる。ユーザが運用中にデフォルト値から所定のパラメータ値に変更した場合には、変更後のパラメータ値を「変更時」の欄に追記すれば良い。
図8に戻って、マニュアル作成支援装置7のCPU71は、対応するテキストデータを読み出し(ステップS805)、図7に示すシナリオデータに沿って画像データとテキストデータとを取得してマニュアルデータを生成する(ステップS806)。具体的には、テキストデータ記憶部732には、サーチ領域の指定方法の説明文として、「検出したい特徴的なパターン(形状)を領域で指定します。⇒領域設定方法」といったテキストデータが記憶されている。また、テキストデータ記憶部732には、一又は複数の画像データが貼り付けられた(埋め込まれた)文書データも記憶されている。CPU71は、対応するテキストデータだけでなく、対応する文書データも読み出して、シナリオデータに沿ってマニュアルデータを生成する(詳細は、後述する図12参照)。
また、テキストデータ記憶部732には、設定パラメータ「サーチ精度」についての説明文として、「検出精度に関わる項目です。検出精度を上げたい場合は「サーチ精度」を高く設定します。「サーチ精度」を高く設定すると検出の精度は向上しますが、処理時間がより長くなります。」といったテキストデータが記憶されている。また、テキストデータ記憶部732には、画像データが貼り付けられていない文書データも記憶されている。CPU71は、対応するテキストデータだけでなく、対応する文書データも読み出して、シナリオデータに沿ってマニュアルデータを生成する(詳細は、後述する図13参照)。その後、CPU71は、生成したマニュアルデータを出力する(ステップS807)。もちろん、マニュアル作成の対象として設定データの選択を受け付けても良い。
図12は、本発明の実施の形態に係るマニュアル作成支援装置7で作成されたマニュアルの一部を示す例示図である。図12は、作成されたマニュアルのうち、表示画面をキャプチャした画像データを含むページであり、検査対象物表示領域91には、ユーザが撮像した検査対象物6の画像が表示されている。また、図12に示すページでは、キャプチャした画像データが左上に配置されている。これは、「パターンサーチ」計測ツールを開く画面をキャプチャして画像データを取得し、必要に応じて縮小し、ページ左上方に配置する、というシナリオデータに沿って配置されている。また、図12において、画像データの右側には、ステップS805で説明したテキストデータが配置されており、配置場所はシナリオデータに沿って決められている。さらに、図12において、画像データ及びテキストデータの下方には、一又は複数の画像データが貼り付けられた文書データが配置されており、配置場所はシナリオデータに沿って決められている。
また、図13は、本発明の実施の形態に係るマニュアル作成支援装置7で作成されたマニュアルの一部を示す例示図である。図13は、作成されたマニュアルのうち、図12と同じ表示画面をキャプチャした画像データの一部を含むページである。
図13は、図7のシナリオデータに沿ってマニュアル生成されている。すなわち、図7のシナリオデータに記憶されているように、取得した画像データの左上を原点(0、0)として、X方向(右方向)に‘670’、Y方向(下方向)に‘340’の位置を左上頂点とする、サイズ400×400の画像データを切り出し、マニュアルページの左上を原点(0、0)として、X方向(右方向)に‘30’、Y方向(下方向)に‘70’の位置が左上頂点となるように、サイズ140×140で切り出した画像データを貼り付けてある。
また、図13において、画像データの右側には、ステップS805で説明したテキストデータが配置されており、配置場所はシナリオデータに沿って決められている。さらに、図13において、画像データ及びテキストデータの下方には、画像データが貼り付けられていない文書データが配置されており、配置場所はシナリオデータに沿って決められている(図7では省略)。
このように、必要に応じてキャプチャされた画像データの全体を用いることも、一部を切り出して用いることもできる。したがって、ユーザが見やすく、わかりやすい形式にマニュアルを作成することが容易となる。そして、各画像処理ツールについて、図7に例示するシナリオデータを有しており、画像データの配置場所、テキストデータの配置場所、文書データの配置場所が、事前に決められている。ただし、実際の動作シミュレーションに用いる撮像データは、ユーザから固有データとして入力を受け付けた撮像データである。したがって、ユーザに応じた個別のマニュアルを自動的に作成することが可能となる。
なお、本実施の形態では、設定モードにおいて、各画像処理ツールの設定データを編集するための設定画面(例えば図9又は図10)をキャプチャして画像データを取得し、取得した画像データの一部又は全部が出力される。これにより、ユーザが外観検査装置2の設定作業を行う場合に視認する画面の一部又は全部が、そのままマニュアルに掲載されることになる。したがって、ユーザはマニュアルを見ながら各設定パラメータの意味合いを理解し、(例えば検査環境の変化に応じた)各設定パラメータの再設定作業を容易に行うことができる。
また、本実施の形態では、図8に示すフローチャートにおいて、ステップS803及びステップS804においてマニュアル作成に必要な画像データをすべて取得した後に、ステップS805において、必要なテキストデータを読み出し(必要に応じて文書データも読み出し)、ステップS806においてマニュアルデータを生成するようにしているが、本発明はこれに限定されるものではなく、一の画像処理ツールについての画像データの取得、テキストデータ(文書データ)の読み出し、該当箇所のマニュアルデータの生成、という一連の処理を繰り返し実行するようにしても良い。例えば、画像処理ツール「T100パターンサーチ」の設定画面をキャプチャして画像データを取得し、テキストデータを読み出して、マニュアルのうち画像処理ツール「T100パターンサーチ」のページのマニュアルデータを生成する。次に、画像処理ツール「T101エリア」の設定画面をキャプチャした画像データを取得し、テキストデータを読み出して、マニュアルのうち画像処理ツール「T101エリア」のページのマニュアルデータを生成する。最後に、画像処理ツール「T200エッジ幅」の設定画面をキャプチャして画像データを取得し、テキストデータを読み出して、マニュアルのうち画像処理ツール「T200エッジ幅」のページのマニュアルデータを生成する。このように、該当ページのマニュアルデータを順次生成していくことも可能である。この場合、ステップS803〜ステップS806の処理が繰り返し実行されることになる。
以上のように本実施の形態によれば、撮像された撮像データ及び記憶された設定データを用いて動作シミュレーションを実行し、実行時に表示される画面の一部又は全部を画像データとして出力し、出力された画像データとテキストデータとを対応付けてマニュアルデータを生成して出力するので、ユーザにより選択された画像処理ツールに対して、ユーザにより設定された設定データに基づいて、必要な画像データ及び該画像データに対応するテキストデータを取得してマニュアルデータを生成することができ、ユーザに応じた個別のマニュアルを自動的に作成することが可能となる。
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。また、本実施の形態では、検査対象物6を撮像して取得した画像に基づいて良否を判定する外観検査装置2に使用するマニュアルの作成に関して説明したが、例えば、検査対象物6の寸法を取得して、取得した寸法に基づいて良否を判定する寸法測定装置にも適用することが可能である。