JP6207282B2 - 画像処理装置、画像処理システム、検査方法およびプログラム - Google Patents

画像処理装置、画像処理システム、検査方法およびプログラム Download PDF

Info

Publication number
JP6207282B2
JP6207282B2 JP2013159659A JP2013159659A JP6207282B2 JP 6207282 B2 JP6207282 B2 JP 6207282B2 JP 2013159659 A JP2013159659 A JP 2013159659A JP 2013159659 A JP2013159659 A JP 2013159659A JP 6207282 B2 JP6207282 B2 JP 6207282B2
Authority
JP
Japan
Prior art keywords
dimensional profile
profile data
image processing
bit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013159659A
Other languages
English (en)
Other versions
JP2015031539A (ja
Inventor
彰信 瀬里
彰信 瀬里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2013159659A priority Critical patent/JP6207282B2/ja
Publication of JP2015031539A publication Critical patent/JP2015031539A/ja
Application granted granted Critical
Publication of JP6207282B2 publication Critical patent/JP6207282B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

本発明は、製品の外観を検査する検査方法、画像処理装置、画像処理システムおよびプログラムに関する。
コネクタや半導体素子などの製品の外観を撮像してパターンマッチング(画像認識)を行うことで、いわゆる検査対象物(ワーク)の検査が実行される。従来、光切断方式によりワークの2次元断面形状を撮像してプロファイルデータを生成する2次元プロファイル測定器(変位計)が普及してきたが(特許文献1)、近年になりワークの3次元形状を撮像してプロファイルデータを生成する3次元プロファイル測定器が登場している。特許文献2によれば、カメラによってワークの3次元形状のデータを取得し、カメラからワークまでの距離に応じて濃淡値が変化する距離画像を作成し、ワークの良否を判定する発明が提案されている。
特開2008−096119号公報 特開2012−021909号公報
3次元プロファイル測定器は容易にワークの3次元形状を測定できる利点を有しているが、3次元プロファイル測定器はまだ市場に登場したばかりであり、それほど普及していない。一方で、2次元プロファイル測定器はかなり普及しており、多くのユーザが所有している。3次元プロファイル測定器が広く普及するまでの過渡期においては、2次元プロファイル測定器を3次元プロファイル測定器の代わりに使用できれば、ユーザにとってはメリットがあろう。
しかし、2次元プロファイル測定器が取得できるデータはワークの2次元断面形状を示すプロファイルデータにすぎず、3次元プロファイルデータではない。もし、ワークの2次元断面形状を示す複数のプロファイルデータをつなぎ合わせることで3次元プロファイルデータを生成できれば、2次元プロファイル測定器を3次元プロファイル測定器として代用できるであろう。この場合、複数の2次元プロファイルデータを合成して3次元プロファイルデータを作成する画像処理装置が必要となる。なお、3次元プロファイル測定器は、ラインを流れるワークを一旦停止させないと測定を実行できないが、2次元プロファイル測定器であればラインを停止させることなく測定を実行できるといった副次的なメリットもある。
ところで、画像処理装置は、CCDカメラなどによって取得した画像データに画像処理を施して外観検査や寸法検査などのワーク検査を実行する装置であり、2次元プロファイル測定器が接続されることを想定して設計されていない。これは、2次元プロファイル測定器と画像処理装置とがそれぞれ独自に進化して来たことや、両者を接続しようという用途が従来は存在しなかったといった歴史的経緯がその理由である。さらに、画像処理装置ではDSP(デジタル・シグナル・プロセッサ)が画像処理を担当するが、リアルタイムでワークの画像を処理してワークの良否を判定するためには、画像処理ビット数を15ビット以下に抑える必要があった。一方で、変位計などの2次元プロファイル測定器に求められる測定精度を満たすには、15ビットでは不足し、20ビットの測定データが必要であった。そのため、画像処理装置の画像処理ビット数は、2次元プロファイル測定器が出力するデータのビット数と一致していない。よって、画像処理装置が、2次元プロファイル測定器により測定された複数の2次元プロファイルデータから3次元プロファイルデータを作成するには、ビット数を合わせるための変換処理が必要となる。
そこで、本発明は、2次元プロファイル測定器の出力データのビット数と画像処理装置の画像処理ビット数とを一致させ、画像処理装置において2次元プロファイルデータから3次元プロファイルデータを生成できるようにすることを目的とする。
本発明は、たとえば、画像処理装置であって、
検査対象物を撮像するカメラから取得した画像データを処理することにより検査対象物の外観検査を行う画像処理装置であって、
搬送される検査対象物に対して幅広のレーザ光を照射し、検査対象物からの反射光に基づき検査対象物の断面形状に応じた2次元プロファイルを順次生成し、第1のビット数を有する複数の2次元プロファイルデータを出力するレーザ変位計と接続する第1接続手段と、
前記第1接続手段を通じて受信した前記第1のビット数を有する複数の2次元プロファイルデータのそれぞれを、前記第1のビット数よりも少ない第2のビット数を有する2次元プロファイルデータに変換するビット変換手段と、
前記ビット変換手段により変換された前記第2のビット数を有する複数の2次元プロファイルデータを、前記レーザ変位計により生成された順で時系列に組み合わせて、前記検査対象物の3次元形状を示す3次元プロファイルデータを作成する作成手段と、
前記3次元プロファイルデータに所定の画像処理を施して前記検査対象物の検査を実行する検査手段と
を有することを特徴とする画像処理装置を提供する。
本発明によれば、2次元プロファイル測定器の出力データのビット数と画像処理装置の画像処理ビット数とを一致させることで、画像処理装置が2次元プロファイルデータから3次元プロファイルデータを生成できるようになる。
外観検査装置の概略を示す図である。 検査対象物の一例と、2次元プロファイルの一例と、3次元プロファイルの一例を示す図である。 外観検査装置のハードウェア構成の一例を示す図である。 外観検査装置の概略を示す図である。 外観検査装置のハードウェア構成の一例を示す図である。 外観検査処理の基本フローを示すフローチャートである。 テーブル選択処理の一例を示すフローチャートである。 テーブル選択処理の一例を示すフローチャートである。 ヘッドユニットの種別に応じた分解能と測定範囲との一例を示す表である。 変換テーブルの調整部を備えた外観検査装置のハードウェア構成の一例を示す図である。 図11(A)はProduct Bについてのデフォルトの変換テーブルを説明するための図である。図11(B)は精度優先用に調整された変換テーブルの一例を示す図である。 図12(A)、図12(B)は、表示部に表示されるユーザインタフェースの一例を示す図である。 ユーザが上限値や下限値を設定する際に役立つワークの高さ画像を表示するユーザインタフェースの一例を示す図である。 ユーザが上限値や下限値を設定する際に役立つワークの高さ画像を表示するユーザインタフェース1211の一例を示す図である。 ユーザインタフェースの他の例を示す図である。 ユーザがワークの高さを把握する上で役に立つユーザインタフェースの一例を示す図である。 変換テーブルの調整処理を示したフローチャートである。 ユーザがワークの高さを把握する上で役に立つユーザインタフェースの一例を示す図である。
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
図1は、画像処理システム(外観検査装置)の概略を示す図である。ライン1は、プログラマブルロジックコントローラ(PLC)などによって制御されるコンベアなどの搬送装置である。外観検査装置は、ライン1を搬送される検査対象物(ワーク2)の外観を画像処理によって検査する装置である。この例の外観検査装置は、2次元プロファイル測定器10と画像処理装置20とを備えている。
2次元プロファイル測定器10は、検査対象物の2次元プロファイルを測定し、第1のビット数の2次元プロファイルデータを出力する2次元プロファイル測定装置の一例である。2次元プロファイル測定器10は、レーザ変位計と呼ばれることもあり、x軸方向に搬送されるワーク2に対して幅広のレーザ光を照射し、その反射光を受光することで、ワーク2の2次元断面形状を示すデータ(2次元プロファイルデータ)を作成する。このときワーク2はzy平面に平行な切断面によって仮想的に切断され、切断面の外形(外縁)が2次元プロファイルとなる。2次元プロファイルデータは、たとえば、1つの測定点あたり20ビットで表現されるデータである。通常、2次元プロファイルデータは、ヘッドユニット11からワーク2の測定点までの距離(z軸方向の距離)であって、y軸方向に沿って並んだ複数の測定点についての距離の集合である。2次元プロファイル測定器10は、ヘッドユニット11とコントローラユニット12とを有している。ヘッドユニット11は、ワーク2の2次元プロファイルを測定する測定ユニットの一例であり、レーザなどの発光素子と受光素子(ラインセンサまたは2次元撮像素子)とを有している。図1には、光切断方式のヘッドユニット11を示しているが、他の方式のヘッドユニットが採用されてもよい。また、ヘッドユニット11とコントローラユニット12が物理的に分離されているが、これらが一体化されていてもよい。図1においてヘッドユニット11はケーブルを介してコントローラユニット12のヘッド用コネクタ13に接続されている。
画像処理装置20は、ワーク2から取得された画像データに所定の画像処理を施してワーク2の外観検査を実行する。外観検査とは、ワーク2の寸法検査だけでなく、ワーク2が製品としての基準を満たしているかどうかの検査(良否判定)を含む概念である。画像処理装置20は、2次元プロファイル測定器10が出力する2次元プロファイルデータを入力ないしは受信するための入力カード22を有している。画像処理装置20は、拡張スロットを有しており、そこに入力カード22が挿入されている。画像処理装置20と2次元プロファイル測定器10は、たとえば、512Mbpsあまりもの高速通信を実行するため、入力カード22は1000BASE-Tなどの高速通信規格に対応している。つまり、2次元プロファイル測定器10の通信コネクタ14と入力カード22の通信コネクタ23は高速通信規格に準拠し、ケーブル21によって接続されている。このように、入力カード22の通信コネクタ23は、第1のビット数(例:20ビット)の2次元プロファイルデータを出力する2次元プロファイル測定器10と接続する第1接続手段として機能している。
画像処理装置20は、20ビットよりも少ないビット数(ここでは説明の便宜上15ビットとする)で画像処理を実行する。そのため、画像処理装置20は、20ビットの2次元プロファイルデータをそのまま扱うことができない。そこで、本実施形態では、入力カード22が、通信コネクタ23などを通じて受信した第1のビット数の2次元プロファイルデータを、第1のビット数よりも少ない第2のビット数の2次元プロファイルデータに変換するビット変換手段として機能する。つまり、入力カード22は、20ビットの2次元プロファイルデータを15ビット2次元プロファイルデータに変換し、画像処理装置20が画像処理を実行できるようにする。また、入力カード22は、ビット変換手段が出力する複数の2次元プロファイルデータを組み合わせて、検査対象物の3次元形状を示す3次元プロファイルデータを作成する作成手段としても機能する。2次元プロファイル測定器10は、時々刻々とライン1を搬送されるワーク2の2次元プロファイルデータを出力する。つまり、各2次元プロファイルデータは、ワーク2の異なる部分の断面形状を示すデータとなっている。そこで、入力カード22は、時系列に沿ってサンプルされた複数個(たとえば、800サンプル)の2次元プロファイルデータを順番に並べることで、ワーク2の3次元プロファイルデータを作成する。たとえば、ワーク2の進行方向でワーク2の先端から後端までの複数個の2次元プロファイルデータが順番に並べられる。その結果として得られる3次元プロファイルデータは、たとえば、15ビットのグレースケールによる画像データとなる。つまり、ヘッドユニット11からワーク2までの距離(高さ)が濃淡(階調値)となって表現されることになる。
図2(A)は、ワーク2の3次元形状の一例を示す図である。図2(B)は、ワーク2の2次元断面形状の一例を示す図である。図2(C)は、ワーク2の3次元プロファイルデータ(グレースケール画像データ)の一例を示す図である。図2(A)ないし図2(C)を比較すると、ワーク2の表面のうち、z軸方向の高さが低い部分は淡い色となり、z軸方向の高さが高い部分は濃い色となることがわかる。
画像処理装置20は、複数の計測モジュール(画像処理ツール)を3次元プロファイルデータに適用して外観検査を実行する。ここでは、外観検査を実行する計測モジュールを画像処理ツールと呼ぶことにする。画像処理ツールには様々なものがあり、主要な画像処理ツールとしては、エッジ位置計測ツール、エッジ角度計測ツール、エッジ幅計測ツール、エッジピッチ計測ツール、エリア計測ツール、ブロブ計測ツール、パターンサーチ計測ツール、傷計測ツールなどがある。
●高さ計測ツール:3次元プロファイルデータに基づき、ワーク2の各部の高さを計測する。たとえば、ワーク2の1つの測定点を基準点とし、この基準点の階調値と注目領域内の各測定点の階調値との差分のうち最大のものを最大高さとして算出する。あるいは、平面を基準面として設定し、基準面の階調値と注目領域内の各測定点の階調値との差分(距離)のうち最大のものを高さとして求めてもよい。なお、高さの測定精度を優先するために、15ビットの3次元プロファイルデータが使用される。
以下で説明する画像処理ツールは、15ビットの3次元プロファイルデータをさらに少ない第3のビット数(例:8ビット)の3次元プロファイルデータに変換した後で、実行されてもよい。これは、以下の画像処理ツールでは精度よりも処理速度が優先されるからである。なお、15ビットの2次元プロファイルデータ(高さデータ)を8ビットの高さデータに変換する処理を高さ抽出と呼ぶ。高さ抽出では、任意の平面や曲面を基準面として設定し、基準面の階調値と各測定点の階調値との差分を8ビットのデータとして扱ってもよい。適切な基準面を用いることで、8ビットであっても画像処理に必要な差分の情報を十分に保持することが可能となる。
●エッジ位置計測ツール:ワーク2の画像が表示される画面上において、エッジ位置を検出したい検査領域に対してウインドウを設定することにより、設定された検査領域内で、任意の方向にスキャンして複数のエッジ(明から暗に切り替わる箇所または暗から明に切り替わる箇所)を検出する。検出した複数のエッジから、一のエッジの指定を受け付け、指定を受け付けたエッジの位置を計測する。
●エッジ角度計測ツール:設定を受け付けた検査領域内に2つのセグメントを設定し、それぞれのセグメントで検出したエッジからのワーク2の傾斜角度を計測する。傾斜角度は、たとえば時計回りを正とすることができる。
●エッジ幅計測ツール:設定を受け付けた検査領域内で、任意の方向にスキャンして複数のエッジを検出し、検出した複数のエッジ間の幅を計測する。
●エッジピッチ計測ツール:設定を受け付けた検査領域内で、任意の方向にスキャンして複数のエッジを検出する。検出した複数のエッジ間の距離(角度)の最大値/最小値や平均値を計測する。
●エリア計測ツール:ワーク2の画像を二値化処理して、白色領域または黒色領域の面積を計測する。たとえば、計測する対象として白色領域または黒色領域の指定をパラメータとして受け付けることにより、白色領域または黒色領域の面積を計測する。
●ブロブ計測ツール:ワーク2の画像を二値化処理して、同一の輝度値(255または0)の画素の集合(ブロブ)に対してパラメータとしての数、面積、重心位置等を計測する。
●パターンサーチ計測ツール:比較対象とする画像パターン(モデル画像)を事前に記憶装置に記憶しておき、撮像したワーク2の画像の中から記憶してある画像パターンに類似している部分を検出することで、画像パターンの位置、傾斜角度、相関値を計測する。
●傷計測ツール:設定を受け付けた検査領域内で、小領域(セグメント)を移動させて画素値の平均濃度値を算出し、閾値以上の濃度差となった位置を傷が存在すると判定する。
●その他にも、検査領域内の文字情報を切り出して辞書データ等と照合することで文字列を認識するOCR認識ツール、画像上に設定したウインドウ(領域)をシフトさせながら、各ウインドウの位置においてエッジの検出を繰り返す機能を有するトレンドエッジツール、設定したウインドウ内の濃淡の平均、偏差等を計測する機能を有する濃淡ツール、設定したウインドウ内の濃度の平均、偏差等を計測する機能を有する濃度ツールなどもあり、ユーザは検査内容に応じて必要な画像処理ツールを選択することができる。なお、これらの画像処理ツールは、典型的な機能およびその実現方法の代表例を示すものに過ぎない。あらゆる画像処理に対応する画像処理ツールが本願発明の対象になり得る。
図3は、外観検査装置の各機能を示す機能ブロック図である。図3において2次元プロファイル測定器10については、とりわけコントローラユニット12の機能を示しているが、2次元プロファイルデータ生成部111などがヘッドユニット11に設けられてもよい。2次元プロファイル測定器10は、2次元プロファイルデータを作成する2次元プロファイルデータ生成部111と、ヘッドユニット11を識別するための識別情報(ヘッド情報)を記憶したヘッド情報記憶部112と、2次元プロファイルデータやヘッド情報を外部に送信する通信部113とを有している。図示は省略しているが、2次元プロファイル測定器10は、ヘッドユニット11を制御するヘッドユニット制御部をさらに有している。なおこれらの機能はDSPやCPUなどによって実現される。
画像処理部133など、画像処理装置10の各部もやはりDSPやCPU、メモリなどによって実現される。入力カード22は、2次元プロファイル測定器10が出力する2次元プロファイルデータやヘッド情報を受信する通信部121を有している。通信部121は、2次元プロファイル測定装置と接続して通信する第1接続手段の一例である。2次元プロファイルデータはいったん画像メモリ130に格納されてもよい。第1ビット変換部122は、通信部121が受信した20ビットの2次元プロファイルデータを15ビットの2次元プロファイルデータに変換し、画像メモリ130に格納する。3次元プロファイルデータ作成部123は、複数の15ビットの2次元プロファイルデータを統合して3次元プロファイルデータ(画像データ)を作成し、画像メモリ130に格納する。たとえば、3次元プロファイルデータ作成部123は、800サンプル分の15ビットの2次元プロファイルデータを時系列に並べることで、ワーク2の全体の3次元形状を示す3次元プロファイルデータを作成する。3次元プロファイルデータは、一種の画像データであり、各画素は測定点に対応し、その階調値が高さを示すデータに対応している。3次元プロファイルデータは画像データであるため、表示処理部134を通じて表示部150に表示される。たとえば、ワーク2のうち基準面から低い部分は淡い階調となり、基準面から高い部分は濃い階調となる。
ところで、第1ビット変換部122は、変換テーブルを使用して20ビットの2次元プロファイルデータを15ビットの2次元プロファイルデータに変換する。ヘッドユニット11としては様々な種類の製品が存在し、その種類に応じて使用されるべき変換テーブルも異なる。そこで、ヘッド情報取得部124は、2次元プロファイル測定器10に接続されているヘッドユニット11のヘッド情報を、通信部121を通じて2次元プロファイル測定器10に要求する。2次元プロファイル測定器10は、通信部113を通じて要求を受信すると、ヘッド情報記憶部112に記憶されているヘッド情報を読み出し、画像処理装置20へ送信する。ヘッド情報取得部124は、通信部121を通じてヘッド情報を受信し、テーブル選択部125に渡す。テーブル選択部125は、ヘッド情報に対応した変換テーブルをテーブル記憶部126から読み出して、第1ビット変換部122に設定する。これにより、第1ビット変換部122は、設定された変換テーブルを使用して20ビットの2次元プロファイルデータを15ビットの2次元プロファイルデータに変換する。ここでは、変換テーブルが用いられているが、これと同等のビット変換機能を有する変換式などに置換されてもよい。
このようにヘッドユニット11の種別に応じて少なくとも1つの変換テーブルが用意されているが、さらに、測定範囲を優先してビット変換を実行するための第1の変換テーブルと、測定精度を優先してビット変換を実行するための第2の変換テーブルとが用意されていてもよい。つまり、第1の変換テーブルによりビット変換を実行することで、より広範囲にわたってデータを残すことが可能となる。一方で、第2の変換テーブルによりビット変換を実行することで、一部のデータが切り捨てられ再現できるデータの範囲が狭くなるものの、その範囲内では高精度にデータを残すことが可能となる。このように、変換テーブルは、ヘッドユニット11の種別ごとに用意されていてもよいし、何を優先するかに応じて複数個が用意されていてもよいし、さらに、種別と優先事項の組み合わせごとに用意されていてもよい。なお、優先事項についての指示は、コンソール、キーボードまたはマウスなどの入力部132を通じて入力される。テーブル選択部125は、入力部132から入力された指示(優先事項)に対応した変換テーブルをテーブル記憶部126から読み出して第1ビット変換部122に設定する。
上述したように画像処理部133は、高さ抽出ツールだけでなく、様々な外観検査ツールを有している。画像処理部133は、ワーク2の各部分の高さを抽出する際には、15ビット表現の3次元プロファイルデータを使用する。これにより、より高い精度を高さ情報が取得される。一方で、ブロブの計算などでは、高さ方向の情報はそれほど高い精度を要求されない。つまり、3次元プロファイルデータのビットをより少ないビット数に低減することで、画像処理部133の画像処理負担を軽減してもよい。そこで、第2ビット変換部131は、3次元プロファイルデータを、第2のビット数(例:15ビット)から、当該第2のビット数よりもさらに少ない第3のビット数(例:8ビット)の3次元プロファイルデータに変換する。なお、15ビットから8ビットに変換するための変換テーブルについては、ヘッドユニット11の種別や上述した優先事項に依存せずに1つであってもよいし、ヘッドユニット11の種別や上述した優先事項に依存して複数個が用意されていてもよい。この際の選択手法については20ビットから15ビットに変換するための変換テーブルの選択手法と同様のものが採用可能である。ただし、ここでは、説明の便宜上、1つの変換テーブルが、第2ビット変換部131に内蔵されているものとする。画像処理部133は、8ビットの3次元プロファイルデータ(画像データ)に所定の画像処理を施して外観検査のための演算結果を外観検査部140に出力する。所定の画像処理は画像処理ツールごとに異なり、2値化処理や白画素のカウント、面積の算出などである。
外観検査部140は、画像処理部133により得られた演算結果に基づいてワーク2の良否判定などを実行する。たとえば、演算結果を閾値と比較することで、ワーク2の良否判定が実行される。閾値は、公差などに基づいて予め設定される。
ところで、入力カード22の各機能はDSP等で実現可能である。また、第2ビット変換部131と画像処理部133を実現するDSPと、表示処理部134を実現するDSPとはそれぞれ別個に用意されてもよい。複数のDSPに処理を分散することで、より高速に外観検査処理を実行可能となろう。また、外観検査部140は、複数のDSPを統括的に制御するCPUによって実現されてもよい。表示部150は、液晶表示装置や自発光式の表示装置などである。入力部132は表示部150と一体化されてタッチパネル式ディスプレイとして実現されてもよい。
図4は、画像処理装置20に2次元プロファイル測定器10だけでなく、3次元プロファイル測定器30を接続した様子を示している。3次元プロファイル測定器30は、CCDカメラ25と、縞模様(一定間隔の複数の縞を有する模様)のレーザ光をワーク2に照射する光源26とを有している。3次元プロファイル測定器30は、縞模様の歪み(間隔の変化)を計測することで15ビット表現の3次元プロファイルデータを生成する。なお、3次元プロファイル測定器30はケーブル介してコネクタ24に接続されており、制御命令を画像処理装置20から受信したり、3次元プロファイルデータを画像処理装置20へ送信したりする。コネクタ24は、検査対象物の3次元プロファイルを測定し、第2のビット数による3次元プロファイルデータを出力する3次元プロファイル測定装置を接続する第2接続手段の一例である。
図5は、外観検査装置の各機能を示す機能ブロック図である。第2通信部31は、3次元プロファイル測定器30と通信するためのユニットである。第2通信部31は、3次元プロファイル測定器30が出力する15ビット表現の3次元プロファイルデータを受信すると、画像メモリ130に格納し、画像メモリ130を介して第2ビット変換部131に渡したり、画像処理部133に渡したりする。このように、3次元プロファイル測定器30から出力される15ビット表現の3次元プロファイルデータについては、20ビット−15ビット変換は不要のため、第1ビット変換部122や3次元プロファイルデータ作成部123はショートカットされる。つまり、第1ビット変換部122は、コネクタ24に接続された3次元プロファイル測定装置から出力される3次元プロファイルデータについてはビット変換を実行しない。このように、3次元プロファイル測定器30からの3次元プロファイルデータは、第1ビット変換部122を通過するものの変換されなくてもよいし、第1ビット変換部122を迂回してもよい。
図6は、画像処理装置20が実行する各工程を示すフローチャートである。S1で、画像処理装置20のCPUは通信部121を介して2次元プロファイルデータの取得指示を2次元プロファイル測定器10に送信する。2次元プロファイル測定器10のコントローラユニット12は通信部113を通じて取得指示を受信すると、ヘッドユニット11を起動する。コントローラユニット12の2次元プロファイルデータ生成部111は、ヘッドユニット11が出力する撮像信号に基づき2次元プロファイルデータを作成し、通信部113を介して画像処理装置20に送信する。
S2で、画像処理装置20の通信部121は、2次元プロファイルデータを受信し、画像メモリ130にいったん格納する。この時点での2次元プロファイルデータのビット数は第1のビット数(例:20ビット)である。
S3で、第1ビット変換部122は、20ビットの2次元プロファイルデータを画像メモリ130から読み出し、画像処理部133で処理可能な第2のビット数(例:15ビット)の2次元プロファイルデータに変換する。なお、ビット変換に使用されるテーブルの選択処理については図7、図8を用いて後述する。
S4で、3次元プロファイルデータ作成部123は、複数個の15ビットの2次元プロファイルデータを時系列に従って並べて、3次元プロファイルデータを作成する。なお、必要に応じて、第2ビット変換部131は、15ビットの3次元プロファイルデータをさらにビット数の少ない8ビットの3次元プロファイルデータに変換してもよい。このようにして、3次元プロファイルデータとして、検査対象物の各測定点の高さを階調で示したグレースケールの画像データが作成される。なお、画像メモリ130には、15ビットの3次元プロファイルデータと8ビットの3次元プロファイルデータとの両方が記憶されていてもよい。
S5で、画像処理部133は、3次元プロファイルデータに所定の画像処理を施す。所定の画像処理は、実行しようとする計測ツール(画像処理ツール)によって異なる。たとえば、高さ抽出を実行するときは、画像処理部133は、3次元プロファイルデータにおける基準点(x1,y1)または基準面の階調値z’(x,y)と各測定点(x,y)の階調値z(x,y)との差分に基づき各測定点の高さのデータを抽出する。基準面は、平面であってもよいし曲面であってもよい。z’(x,y)は、基準面の階調値を表す関数である。また、基準点の階調値(つまり基準値)は、高さの最低値、最高値、平均値など、いずれであってもよい。画像処理部133は、3次元プロファイルデータに基づき、エッジを計測したり、エリアを計測したりしてもよい。これらの画像処理方法のそれ自体はすでに公知であるため、詳細な説明を省略する。
S6で、外観検査部140は、ワーク2の外観検査を実行する。たとえば、外観検査部140は、画像処理部133が出力する演算結果に基づきワーク2の良否判定を実行する。たとえば、外観検査部140は、高さ計測により抽出された高さの最大値が良品範囲内に収まっているかどうかを判定したりする。
図7は、テーブル選択処理の各ステップを示すフローチャートである。第1ビット変換部122は、1つの変換テーブルを用いてビット変換を実行してもよいが、複数の変換テーブルのうちヘッドユニット11の種別に応じた変換テーブルを使用することで、より高い精度でビット変換処理を実行してもよい。なお、テーブル選択処理は、画像処理装置20に2次元プロファイル測定器10が接続されたときから、ビット変換処理を実行する前までに、実行される。
S11で、ヘッド情報取得部124は、2次元プロファイル測定器10にヘッド情報を送信するよう要求する。2次元プロファイル測定器10のコントローラユニット12は、取得要求を受信すると、ヘッド情報記憶部112に記憶されているヘッド情報を読み出して、画像処理装置20へ送信する。
S12で、ヘッド情報取得部124は、通信部121を介してヘッド情報を受信する。
S13で、テーブル選択部125は、テーブル記憶部126に記憶されている複数の変換テーブル8のうち、受信したヘッド情報に対応する変換テーブルを選択して読み出し、第1ビット変換部122に設定する。
このように変換テーブルを選択することで、ヘッドユニット11の種別に応じて適切な変換テーブルを選択できるようになる。
図8は、さらに他のテーブル選択処理の各ステップを示すフローチャートである。図7に示したフローチャートでは、ヘッドユニット11の種別に応じて適切な変換テーブルを選択したが、図8ではさらにユーザにとっての優先事項を考慮してより適切な変換テーブルが選択される。ここでは、優先事項の一例として、上述した測定範囲優先と精度優先とを取り上げる。
S11ないしS13を実行することで、ヘッドユニット11の種別に応じた少なくとも2つの変換テーブルが選択される。
S21で、テーブル選択部125は、測定範囲を優先してビット変換を実行するか、それとも測定精度を優先してビット変換を実行するかの指示を入力部132により受け付ける。S22で、テーブル選択部125は、入力部132を通じて入力された優先事項の指示に対応した変換テーブルを選択し、第1ビット変換部122に設定する。たとえば、測定範囲を優先してビット変換を実行することが指示されると第1の変換テーブルが選択され、測定精度を優先してビット変換を実行することが指示されると第2の変換テーブルが選択される。
次に、測定範囲の調整処理について説明する。上述したようにビット変換処理については測定範囲を優先したビット変換と精度を優先したビット変換とがある。ところで、ヘッドユニット11の種別に応じて測定範囲と分解能とが異なることがある。また、ユーザが必要とする測定範囲は測定対象であるワークや検査内容によって異なる。たとえば、ワークの表面に形成された打痕や傷などを検出するには、表面の高さや表面からの打痕や傷の深さを加味して測定範囲を設定して適切にビット変換処理を実行することが望まれる。一般に、ビット変換処理に使用されるテーブルは線形関数に相当するため、線形関数の傾きなどを調整することで、ユーザにより設定された測定範囲に応じた変換テーブルを作成できる。つまり、複数の変換テーブルを用意しておかずに、単一の変換テーブルまたは線形関数をユーザにより設定された測定範囲に応じて調整してもよいのである。そこで、以下では、ユーザにより測定範囲を設定する処理と、それに伴う変換テーブルの調整処理について説明する。
図9は、ヘッドユニット11の種別に応じた分解能と測定範囲との一例を示す表である。この表では、3種類のヘッドユニット11として、Product A、Product BおよびProduct Cを取り上げている。Product Aでは、測定範囲を優先したときの1ビットで表現できる高さの分解能が0.16umであり、測定範囲は5.2mmである。Product Bでは、測定範囲を優先したときの1ビットで表現できる高さの分解能が1.40umであり、測定範囲は46.0mmである。Product Cでは、測定範囲を優先したときの1ビットで表現できる高さの分解能が8.85umであり、測定範囲は290.0mmである。一方で、変換テーブルを切り替えたり、変換テーブルを調整したりすることで精度優先型の変換処理を実現できる。一例として、Product Bでは、精度(分解能)を優先したときの1ビットで表現できる高さの分解能が0.2umであり、測定範囲は6.6mmである。このように測定可能な範囲は狭くなるものの、精度を向上させることができる。図9が示すように、測定範囲と精度とにはトレードオフの関係があるため、ユーザが選択したヘッドユニット11と、ユーザの用途(検査の種類やワークの種類)に応じて測定範囲と精度とが決定され、決定された測定範囲と精度に応じて変換テーブル(ビット変換関数)が調整される。
図10は、変換テーブルの調整部1000を備えた外観検査装置のハードウェア構成の一例を示す図である。すでに説明した個所につては同一の参照符号を付与することで説明を省略する。図10では、テーブル選択部125に代えて調整部1000が採用されている。調整部1000は、ヘッド情報取得部124により取得されたヘッド情報から最大測定範囲のデータを取得する。たとえば、調整部1000は、このデータから最大測定範囲が0mm〜46mm(あるいはヘッドユニット11からの基準距離を中心として−23.0mm〜+23.0mm)であることを認識する。調整部1000は、表示処理部134を通じて表示部150に測定範囲と精度を調整するためのユーザインタフェースを表示させ、入力部132からユーザによって入力された測定範囲の上限値と下限値とを受け付ける。調整部1000は、入力された上限値と下限値とに基づいて変換テーブルを調整し、第1ビット変換部122に設定する。以下では、調整部1000の調整処理をより詳細に説明する。
図11(A)は、Product Bについてのデフォルトの変換テーブルを説明するための図である。デフォルトの変換テーブルは、測定範囲優先型の変換テーブルであり、Product Bのヘッドユニット11について最大限の測定範囲を実現するものである。Product Bは、0mmから46.0mmまでの高さを測定できる。そのため、Product Bのヘッドユニット11を有する2次元プロファイル測定器10が出力する20ビットの高さデータでは、0mmが20ビット表現における最小値(0)に対応し、46.0mmが20ビット表現における最大値(1048576)に対応する。測定範囲を犠牲にすることなく、20ビット表現の高さデータを15ビット表現に変換する場合、0mmを15ビット表現における最小値(0)に変換し、46.0mmを15ビット表現における最大値(32768)に変換するような変換テーブル1001が必要となる。つまり、変換テーブル1001は、20ビット表現における最小値(0)を15ビット表現における最小値(0)に変換し、20ビット表現における最大値(1048576)を15ビット表現における最大値(32768)に変換する。
図11(B)は精度優先用に調整された変換テーブルの一例を示す図である。この例では、入力部132から測定範囲の上限値が42.6mmに設定され、下限値が36.0mmに設定されたことを前提としている。この場合、調整部1000は、入力された下限値36.0mmを15ビット表現での最小値(0)に割り当て、上限値42.6mmを15ビット表現での最大値(32768)に割り当てる。その結果、15ビット表現における1ビットあたりの分解能は0.2umになる。なお、図11(B)が示すように、下限値(36.0mm)未満の測定値はいずれも15ビット表現での最小値(0)に割り当てられ、42.6mmを超える測定値は15ビット表現での最大値(32768)に割り当てられるよう、調整部1000は、変換テーブルを調整する。1002は、調整によって得られた変換テーブルを示している。第1ビット変換部122は、図11(B)に示す変換テーブル1002にしたがって、20ビットの高さデータを15ビットの高さデータにビット変換する。
図12(A)は、表示部150に表示されるユーザインタフェースの一例を示す図である。ユーザインタフェース1101は、測定範囲の下限値と上限値とを指定または入力するためのユーザインタフェースの一例である。ユーザインタフェース1101を通じて、測定範囲の上限値と下限値とが設定され、分解能(精度)が調整される。上述したように測定範囲と分解能とはトレードオフの関係にあるため、測定範囲の設定処理は分解能の設定処理ともいえる。
測定範囲を示すバー1102は、デフォルトでは最大測定範囲を示している。つまり、測定範囲が最大測定範囲に一致している。これは、できるだけ測定範囲を広くするためである。下限スライダ1103は測定範囲の下限値を示すインジケータであり、ポインタ1110によって移動させることができる。下限スライダ1103が示す下限値は、下限値ボックス1106に入力された数値に連動して表示される。なお、下限値ボックス1106に直接的に下限値が入力されると、調整部1000は、その下限値に対応した位置に下限スライダ1103が移動するよう表示データを更新する。同様に、上限スライダ1104は上限値を示すインジケータであり、ポインタ1110によって移動させることができる。上限スライダ1104が示す上限値は、上限値ボックス1105に連動して表示される。なお、上限値ボックス1105に直接的に上限値が入力されると、調整部1000は、その上限値に対応した位置に上限スライダ1104が移動するよう表示データを更新する。調整部1000は、ボックスに入力またはスライダにより指示された上限値と下限値とから高さ分解能を算出する( (46.0mm−0.0mm)/2^15=1.40um) )。調整部1000は、算出した高さ分解能を高さ分解能表示部1107に表示する。
図12(B)は、表示部150に表示されるユーザインタフェースの一例を示す図である。ここでは、ユーザが上限値と下限値を入力することで測定範囲を設定した様子を示している。たとえば、ユーザが入力部を通じて下限値ボックス1106に42.0mmを設定し、上限値ボックス1105に42.6mmを設定すると、調整部1000は、下限値が示す位置に下限スライダ1103を移動するとともに上限値が示す位置に上限スライダ1104を移動するよう表示データを更新する。さらに、調整部1000は、入力またはスライダにより指示された上限値と下限値とから高さ分解能を算出する( (42.6mm−36.0mm)/2^15=0.2um) )。調整部1000は、算出した高さ分解能を高さ分解能表示部1107に表示する。この例では設定された測定範囲を分かりやすくユーザに示すために、設定された測定範囲に斜線を付与している。このように、調整部1000は、設定された測定範囲を強調表示してもよい。
このように、調整部1000は、測定ユニットが測定した2次元プロファイルを構成するデータのうち精度よく変換すべき範囲を設定する範囲設定手段として機能する。また、調整部1000は、範囲設定手段により設定された範囲に基づき、第1のビット数の2次元プロファイルデータを第2のビット数の2次元プロファイルデータに変換する変換テーブルを調整する調整手段としても機能する。
図13は、ユーザが上限値や下限値を設定する際に役立つワークの高さ画像を表示するユーザインタフェースの一例を示す図である。ユーザインタフェース1201では、2次元プロファイル測定器10によって測定され15ビットに変換されたワークの高さ画像1202を示している。ワークの高さ画像1202は、第2のビット数の2次元プロファイルデータに基づき検査対象物の高さに応じて階調または色が異なる高さ画像の一例である。つまり、ワークの高さに応じて階調の高低や色が変化する。たとえば、ワークの高さ画像1202がグレースケール画像であれば、ワークにおけるある部分の階調が低いほどその部分の高さが低いことを示し、ワークにおけるある部分の階調が高いほどその部分の高さが高いことを示してもよい。たとえば、ワークの高さ画像1202がカラー画像であれば、ワークにおけるある部分の色が青色に近いほどその部分の高さが低いことを示し、ワークにおけるある部分の色が赤色に近いほどその部分の高さが高いことを示してもよい。カラーバー1203は、測定範囲の上限値から下限値にかけてどのように色や階調が異なるかを示す目安(階調または色に対応した高さの目安)として機能する。カラーバー1203は、たとえば、左から右にかけて青色⇒水色⇒緑色⇒黄色⇒オレンジ色⇒赤色とった順番で色が変化している。ユーザは、ワークの高さ画像1202を参照して、上限値や下限値を設定する上で注目すべき部分の色や階調を把握し、その色や階調をカラーバー1203における色や階調と比較することで、注目すべき部分のおおよその高さを把握することができる。たとえば、検査精度を上げるためには、ワークの表面に形成された打痕や傷を高さ画像において浮かび上がらせたり、ワークの表面にレーザで掘り込まれた文字や表面に凸状に形成された文字を高さ画像において浮かび上がらせたりすることの必要となる。これを実現するためには、表面の高さ、文字の高さまたは深さをカバーするように測定範囲が設定されればよい。たとえば、ワークの表面の高さが38.0mm付近であり、文字の高さが2mmであれば、上限値を42.0mm程度にし、下限値を36.0mm程度に設定すればよい。これにより、OCR(光学文字認識)によって文字を認識でるようになる。なお、これらの数値は例示にすぎない。非常に浅い打痕や傷を検出するためには、測定範囲をさらに狭めればよい。これにより、1ビットあたりの分解能が向上するからである。ただし、元々ヘッドが持つ能力以上の分解能を実現しても実質的な意味をなさない。なお、カラーバー1203では上限値・下限値は15bitの上限・下限に設定されているが、任意の範囲で上限値・下限値を設定できるようにカラーバー1203が構成されてもよい。
図14は、ユーザが上限値や下限値を設定する際に役立つワークの高さ画像を表示するユーザインタフェース1211の一例を示す図である。この例では、ユーザがユーザインタフェース1101を通じて測定範囲の上限値と下限値とを設定したことで変換テーブルが更新され、高さ画像も変化した様子を示している。調整部1000は、設定された測定範囲に基づき変換テーブルを更新してテーブル記憶部126に記憶する。調整部1000は、調整後の変換テーブルを第1ビット変換部122に設定する。あるいは、調整部1000はテーブルを更新したことを示す通知を第1ビット変換部122に送信し、この通知を受信した第1ビット変換部122がテーブル記憶部126から調整後の変換テーブルを読み出してもよい。第1ビット変換部122は、調整後の変換テーブルにしたがってビット変換を実行する。3次元プロファイルデータ作成部123は、第1ビット変換部122が出力する15ビットの2次元プロファイルデータを合成して3次元プロファイルデータ(高さ画像)を作成する。その結果、ユーザインタフェース1201における高さ画像を更新したユーザインタフェース1211が表示部150に表示される。
このように、測定範囲の上限値と下限値とに応じてリアルタイムで調整部1000が変換テーブルを調整することで、調整結果を表示部150にリアルタイムで表示することができる。これにより、ユーザは、注目すべき領域の高さが周囲に埋もれることなく強調されて表示されているかどうかを確認できる。つまり、ユーザは、ユーザインタフェース1211を参照することで、ユーザインタフェース1101を通じて設定した測定範囲の上限値と下限値が正しいかどうかを視覚的に確認できるようになる。なお、調整部1000および表示部150は、測定範囲の変更に応じて高さ画像の表示を更新する手段として機能する。
図15は、ユーザインタフェース1201の他の例を示す図である。ワークの高さ画像1202は、階調や色の違いによって高さを視覚的に表現しているが、それだけではワークにおける任意の位置の正確な高さを知ることは困難であろう。そこで、調整部1000は、15ビット表現の高さデータを参照し、ポインタ1110が指している部分の高さを高さ表示部1301に表示するよう表示データを作成してもよい。つまり、調整部1000は、ポインタ1110が指している位置の座標データを取得し、座標データに基づきワークの高さ画像1202(15ビット表現の高さデータ)におけるその位置の高さデータ(階調データ)を取得し、高さ表示部1301の表示データを作成する。図15に示した例では、ポインタ1110が指している位置の近くに高さデータをバルーン表示しているが、ユーザインタフェース1201の他の部分に高さデータが表示されてもよい。ユーザは、ワークの高さ画像1202のうち高さを知りたい部分にポインタ1110を移動させて合わせることで、その部分の高さを視覚的に把握することができる。よって、上限値や下限値を設定する上で、図15に示したユーザインタフェース1201を役に立つであろう。このように調整部1000および表示部150は、入力部132のポインティングデバイスの操作に応じて移動するポインタ1110を表示するとともに、高さ画像のうちポインタ1110によって指示されている部分の高さを表示する表示手段として機能する。
図16は、ユーザがワークの高さを把握する上で役に立つユーザインタフェースの一例を示している。ユーザインタフェース1401は、2次元プロファイル測定器10に接続されたコンピュータの表示装置に表示されるユーザインタフェースである。コンピュータには予め表示プログラムがインストールされており、表示プログラムをCPUが実行することで、ユーザインタフェース1401がコンピュータの表示装置に表示される。CPUは、2次元プロファイル測定器10が出力する2次元プロファイルのデータを2次元プロファイル表示エリア1402に表示する。2次元プロファイル表示エリア1402には、ワークの断面形状1403が表示されるとともに、ワークの高さを知る上での目安となるスケール1404も表示される。ユーザは、コンピュータの表示装置に表示された2次元プロファイルを参照することで、ワークの高さを知ることができ、上限値や下限値を設定する上で参考になるであろう。なお、3次元プロファイルを表示してどの部分の2次元プロファイルを表示させるかをユーザに選択させてもよい。
図18は、表示部150に表示されるユーザインタフェースの一例を示す図である。ユーザインタフェース1801は、測定範囲の下限値と上限値とを指定または入力するためのユーザインタフェースの一例である。すでに説明した要素には同一の参照符号を付与している。ユーザインタフェース1801では、カラーバー1203の隣に、各高さの出現頻度を示すヒストグラム1802が表示されている。ユーザは、ヒストグラムを確認することで、注目すべき高さ成分がどのレンジに集中しているかを把握できるため、上限値や下限値を選びやすくなるであろう。
このように、2次元プロファイル測定器10に接続されたコンピュータが、20ビットの2次元プロファイルデータを受信し、高さの目安となるスケール1404とともに2次元プロファイルデータを表示してもよい。これにより測定範囲は、コンピュータのディスプレイに表示された2次元プロファイルデータを見たユーザによってユーザインタフェース1101を通じて設定されてもよい。
図17は、変換テーブルの調整処理を示したフローチャートである。S31で、調整部1000は、2次元プロファイル測定器10に測定命令を送信し、2次元プロファイル測定器10がワークを計測して作成したワークの2次元プロファイルデータを受信する。
S32で、調整部1000は、テーブル記憶部126に記憶されている変換テーブルを第1ビット変換部122に設定し、第1ビット変換部122に2次元プロファイルデータのビット変換(20ビット=>15ビット)を実行させる。さらに、調整部1000は、3次元プロファイルデータ作成部123に3次元プロファイルデータを作成させる。これにより、3次元プロファイルデータ(高さ画像)が作成される。なお、テーブル記憶部126に記憶されている変換テーブルは、たとえば、ヘッドユニット11の最大測定範囲をデフォルトの測定範囲とした変換テーブルが格納されていてもよい。あるいは、前回の調整処理によって調整された変換テーブルがテーブル記憶部126に記憶されていてもよい。
S33で、調整部1000は、範囲設定を行うためのユーザインタフェース1101と、高さ画像を含むユーザインタフェース1201とを表示するための表示データを作成し、表示処理部134に出力する。表示処理部134は、表示データに基づき表示部150にユーザインタフェース1101、1210を表示させる。
S34で、調整部1000は、入力部132に含まれるポインティングデバイスまたはキーボードによって測定範囲の上限値または下限値が変更されたかどうかを判定する。入力部132によって上限値または下限値が変更されていればS35に進む。上限値または下限値が変更されてなければS36に進む。
S35で、調整部1000は、入力部132を通じて変更された範囲(上限値、下限値)に基づき、変換テーブルを調整する。調整の手法は、図10を用いて説明したとおりである。なお、調整部1000は、入力部132を通じて変更された範囲(上限値、下限値)に基づき高さ分解能を算出し、ユーザインタフェース1101の高さ分解能表示部1107の値を更新してもよい。その後、S32に戻る。S32では、調整された変換テーブルに基づいてビット変換と高さ画像の作成が再度実行される。S33では、高さ画像が更新される。その後、S34に進む。S34で、測定範囲が変更されなければ、S36に進む。
S36で、調整部1000は、入力部132を通じて調整終了が指示されたかどうかを判定する。調整終了が指示されていなければ、S34に戻る。
以上のように、調整部1000は、ワークにおける各部分の高さを把握する上で参考になる情報をユーザインタフェースに表示することができる。さらに、調整部1000は、ユーザインタフェースにおいて入力された測定範囲(上限値や下限値)に基づき、変換テーブルを調整することができる。これにより、ユーザは、自分の好みに応じて測定範囲や分解能を実現可能な変換テーブルを容易に作成または調整することが可能となる。
上述した実施形態では、ユーザが任意で測定範囲を設定できたが、調整部1000が自動的に測定範囲を設定してもよい。たとえば、調整部1000は、2次元プロファイルデータまたは3次元プロファイルデータに含まれているワークの高さのうち、最大値と最小値とを抽出し、最大値を測定範囲の上限値とし、最小値を下限値に設定してもよい。なお、マージンを考慮してもよい。たとえば、最大値にマージンを加算して上限値を決定してもよい。同様に、最小値からマージン減算して下限値を決定してもよい。なお、この測定範囲の自動設定処理を実行した後で、ユーザインタフェース1101、1210を用いてマニュアル設定が実行されてもよい。つまり、ユーザインタフェース1101を起動したときに表示される測定範囲は、自動設定処理によって設定された測定範囲であってもよいのである。
<まとめ>
従来の画像処理装置20は、CCDカメラなどによって取得した画像データに画像処理を施して外観検査などを実行するものであり、2次元プロファイル測定器10が接続されることを想定して設計されていなかった。これは、2次元プロファイル測定器10と画像処理装置20とがそれぞれ独自に進化して来たことや、両者を接続しようという用途が従来は存在しなかったことが理由である。そのため、画像処理装置20の画像処理ビット数は、2次元プロファイル測定器10が出力するデータのビット数と一致していなかった。
そこで、本実施形態では、画像処理装置20に2次元プロファイル測定器10を接続するための入力カード22を用意している。入力カード22は、通信コネクタ23を通じて受信した第1のビット数の2次元プロファイルデータを、第1のビット数よりも少ない第2のビット数の2次元プロファイルデータに変換する第1ビット変換部122を有している。これにより、2次元プロファイル測定器10が出力するデータのビット数を画像処理装置20が扱えるビット数に一致させることができる。入力カード22は、第1ビット変換部122が出力する複数の2次元プロファイルデータを組み合わせて、ワーク2の3次元形状を示す3次元プロファイルデータを作成する3次元プロファイルデータ作成部123も有している。よって、ユーザは、広く普及した2次元プロファイル測定器10を利用して、3次元プロファイルデータを取得できるようになる。つまり、3次元プロファイル測定器が普及するまでの過渡期において、ユーザは、より少ない投資で、3次元プロファイルデータを得られるようになろう。また、3次元プロファイルデータに所定の画像処理を施してワーク2の外観検査を実行できるようになる。
ヘッドユニット11の種別に応じて用意された複数の変換テーブルをテーブル記憶部126に記憶しておき、2次元プロファイル測定器10が備えているヘッドユニット11のヘッド情報に応じて、より適切な変換テーブルが選択されてもよい。ヘッドユニット11の種別に応じて、適切な変換テーブルは異なることがある。よって、ヘッドユニット11の種別に応じて適切な変換テーブルを選択することで、ビット変換の精度が高まり、その結果、精度高い3次元プロファイルデータが得られるようになる。これは、外観検査の精度を向上させることになろう。
なお、複数の変換テーブルとして、ヘッドユニット11の種別ごとに、測定範囲を優先してビット変換を実行するための第1の変換テーブルと、測定精度を優先してビット変換を実行するための第2の変換テーブルとが用意されていてもよい。ユーザが実行しようとしている外観検査の種類によっては、測定範囲を優先すべき場合と、測定精度を優先すべき場合とがある。よって、入力部132を通じて、ユーザは、測定範囲を優先してビット変換を実行するか、それとも測定精度を優先してビット変換を実行するかの指示を入力してもよい。テーブル選択部125は、ヘッド情報に対応し、かつ、入力部132から入力された指示に対応した変換テーブルを選択することで、ヘッドの特性とユーザの優先事項とに応じて適切な変換テーブルが選択される。その結果、ユーザの希望に応じたビット変換を実現できるようになろう。
なお、上述した実施形態では、ヘッド情報と優先事項との両方を考慮したが、テーブル選択部125は、優先事項のみを考慮して変換テーブルを選択してもよい。たとえば、種別の異なる複数のヘッドユニット11に対して、種別に依存せずに複数の変換テーブルが用意されていてもよい。ただし、複数の変換テーブルは、優先事項に応じて用意されている。たとえば、第1の変換テーブルは、測定範囲を優先してビット変換を実行するためのテーブルであり、第2の変換テーブルは、測定精度を優先してビット変換を実行するための変換テーブルであるが如くである。テーブル選択部125は、優先事項を考慮して第1の変換テーブルまたは第2の変換テーブルを選択する。
図2(C)に示したように、3次元プロファイルデータは、ワーク2の各測定点の高さを階調で示したグレースケールの画像データであってもよい。これは、3次元プロファイルデータを通常の画像データとして扱えるため、画像処理上の汎用性を高めることができる。なお、画像処理部133は、3次元プロファイルデータにおける基準点または基準面の階調値と各測定点の階調値との差分に基づき各測定点の高さのデータを抽出してもよい。
画像処理部133は、第2ビット変換部131を用いて、3次元プロファイルデータを、第2のビット数から、当該第2のビット数よりもさらに少ない第3のビット数の3次元プロファイルデータに変換してもよい。上述したように高さ計測処理では、15ビットの3次元プロファイルデータを使用することで、高精度に高さを計測できる。一方で、ブロブ計測やエリア計測では8ビット程度の3次元プロファイルデータで十分な精度が得られる。また、高さ抽出においても、注目すべき高さの範囲が狭ければ8ビットでも十分に高い精度で高さを抽出できる。さらに、画像処理の負担を小さくするためにも、より少ないビット数がことこのましい。そこで、第2ビット変換部131が3次元プロファイルデータのビット数をさらに削減するようにビット変換することで、精度と画像処理の高速化との両立を図っている。
図4や図5を用いて説明したように、ワーク2の3次元プロファイルを測定し、第2のビット数による3次元プロファイルデータを出力する3次元プロファイル測定器30を画像処理装置20のコネクタ24に接続してもよい。通常、3次元プロファイル測定器30は、15ビットの3次元プロファイルデータを出力する。よって、20ビットから15ビットへの変換処理は不要である。よって、第1ビット変換部122は、コネクタ24に接続された3次元プロファイル測定器30から出力される3次元プロファイルデータについてはビット変換を実行しない。このように、2次元プロファイル測定器10と、次元プロファイル測定器30とを画像処理装置20に同時に接続してワーク2の外観検査を実行してもよい。
図3や図5に示した各機能はプログラムをプロセッサが実行することで実現されてもよい。上述したい実施形態では、第1ビット変換部122、3次元プロファイルデータ作成部123などを画像処理装置20側に配置したが、これらのすべてまたは一部を2次元プロファイル測定器10側に配置してもよい。たとえば、第1ビット変換部122を2次元プロファイル測定器10に配置することで、2次元プロファイル測定器10から画像処理装置20に送信されるデータ量を大幅に削減できるようになる。これは、通信部113、121に要求される性能を低減できる利点がある。
図9ないし図17を用いて説明したように、変換テーブルは任意に調整されてもよい。ユーザは、ワークの検査に必要となる測定範囲や分解能に応じて測定範囲を設定でき、設定された測定範囲に応じて変換テーブルが調整される。これにより、検査用途に応じて注目したい測定範囲の部分の変換精度や分解能を向上させることが可能となる。たとえば、ワークの表面の一部に付加された打痕や傷、文字などを検出するために、当該一部の部分が含まれ、かつ、打痕や傷、文字が顕著となるように測定範囲を設定することで、図11に示したような、打痕や傷、文字が顕著となるような変換テーブル作成される。これにより、打痕や傷、文字の検出精度が向上しよう。
図12に示したように、測定範囲の下限値と上限値とを指定または入力するためのユーザインタフェース1101を提供することで、ユーザは、非常に簡単な操作で測定範囲を設定できるようになる。また、測定範囲を設定するのを補助するために、ワークの高さ画像を表示するユーザインタフェース1201、1211、1401が提供されもよい。図13および図14に示したように、第2のビット数の2次元プロファイルデータに基づき検査対象物の高さに応じて階調または色が異なる高さ画像を表示することで、ユーザは、視覚的に注目すべき部分の高さを把握できるようになろう。図13に示したように、階調または色に対応した高さの目安として機能するカラーバー1203を表示してもよい。図15を用いて説明したように、ポインティングデバイスの操作に応じて移動するポインタ1110を表示するとともに、高さ画像1202のうちポインタ1110によって指示されている部分の高さを数値で表示してもよい。この場合、ユーザは、より正確に注目部分の高さを把握できるようになる。なお、高さを把握するための画像は、画像処理装置ではなく、2次元プロファイル測定器10に接続されたコンピュータのディスプレイに表示されてもよい。一般に、画像処理装置の表示部150よりもコンピュータのディスプレイは表示面積が広い。そのため、コンピュータのディスプレイに高さ画像を表示すれば、ユーザは、高さ画像をより詳細に認識しやすくなろう。図16に示したように高さの目安を示すスケール1404を表示することで、注目部分の高さを把握しやすくなるであろう。さらに、図18に示したように、高さをヒストグラムで表示することで、ユーザはどの部分に注目すべきかを容易かつ視覚的に判断でき、上限値や下限値を設定しやすくなるであろう。
調整部1000は、15ビットの2次元プロファイルデータに基づき、検査対象物の高さの最大値と最小値とを検出し、最大値と最小値とが含まれるように測定範囲を設定してもよい。これにより、ユーザが設定する手間を軽減できるようになろう。

Claims (19)

  1. 検査対象物を撮像するカメラから取得した画像データを処理することにより検査対象物の外観検査を行う画像処理装置であって、
    搬送される検査対象物に対して幅広のレーザ光を照射し、検査対象物からの反射光に基づき検査対象物の断面形状に応じた2次元プロファイルを順次生成し、第1のビット数を有する複数の2次元プロファイルデータを出力するレーザ変位計と接続する第1接続手段と、
    前記第1接続手段を通じて受信した前記第1のビット数を有する複数の2次元プロファイルデータのそれぞれを、前記第1のビット数よりも少ない第2のビット数を有する2次元プロファイルデータに変換するビット変換手段と、
    前記ビット変換手段により変換された前記第2のビット数を有する複数の2次元プロファイルデータを、前記レーザ変位計により生成された順で時系列に組み合わせて、前記検査対象物の3次元形状を示す3次元プロファイルデータを作成する作成手段と、
    前記3次元プロファイルデータに所定の画像処理を施して前記検査対象物の検査を実行する検査手段と
    を有することを特徴とする画像処理装置。
  2. 前記検査手段は、前記作成手段により作成された3次元プロファイルデータを、前記第2のビット数よりもさらに少ない第3のビット数を有する3次元プロファイルデータに変換し、
    前記第3のビット数を有する3次元プロファイルデータに所定の画像処理を施して前記検査対象物の検査を実行することを特徴とする請求項1に記載の画像処理装置。
  3. 前記レーザ変位計は、前記検査対象物の2次元プロファイルを測定する測定ユニットを有し、
    前記画像処理装置は、さらに、
    前記測定ユニットが測定した2次元プロファイルを構成するデータのうち精度よく変換すべき範囲を設定する範囲設定手段と、
    前記範囲設定手段により設定された範囲に基づき、前記第1のビット数を有する2次元プロファイルデータを前記第2のビット数を有する2次元プロファイルデータに変換する変換テーブルを調整する調整手段と、
    を有し、
    前記ビット変換手段は、前記調整手段によって調整された変換テーブルを使用して、前記第1のビット数を有する2次元プロファイルデータを、前記第2のビット数を有する2次元プロファイルデータに変換することを特徴とする請求項1に記載の画像処理装置。
  4. 前記範囲設定手段は、
    前記範囲の下限値と上限値とを指定または入力するためのユーザインタフェースを表示する表示手段をさらに有することを特徴とする請求項に記載の画像処理装置。
  5. 前記表示手段は、前記第2のビット数を有する2次元プロファイルデータに基づき前記検査対象物の高さに応じて階調または色が異なる高さ画像を表示することを特徴とする請求項に記載の画像処理装置。
  6. 前記表示手段は、前記階調または色に対応した高さの目安を表示することを特徴とする請求項に記載の画像処理装置。
  7. 前記範囲設定手段が前記範囲を設定し、前記調整手段が前記変換テーブルを調整し、前記ビット変換手段が当該調整された変換テーブルを用いて前記第2のビット数を有する2次元プロファイルデータを生成することに連動して、前記表示手段は、前記高さ画像の表示を更新することを特徴とする請求項またはに記載の画像処理装置。
  8. 前記表示手段は、ポインティングデバイスの操作に応じて移動するポインタを表示するとともに、前記高さ画像のうち当該ポインタによって指示されている部分の高さを数値で表示することを特徴とする請求項ないしのいずれか1項に記載の画像処理装置。
  9. 前記レーザ変位計にはコンピュータが接続されており、当該コンピュータは前記第1のビット数を有する2次元プロファイルデータを受信し、高さの目安となるスケールとともに2次元プロファイルデータを表示し、前記範囲は、前記コンピュータのディスプレイに表示された当該2次元プロファイルデータを見たユーザによって設定されることを特徴とする請求項に記載の画像処理装置。
  10. 前記範囲設定手段は、前記第2のビット数を有する2次元プロファイルデータに基づき、前記検査対象物の高さの最大値と最小値とを検出し、当該最大値と当該最小値とが含まれるように前記範囲を設定することを特徴とする請求項に記載の画像処理装置。
  11. 前記レーザ変位計は、前記検査対象物の2次元プロファイルを測定する測定ユニットを有し、
    前記画像処理装置は、さらに、
    前記測定ユニットの種別に応じて用意された複数の変換テーブルと、
    前記レーザ変位計が備えている前記測定ユニットの識別情報を取得する取得手段と、
    前記取得手段が取得した識別情報に対応する変換テーブルを選択する選択手段と
    を有し、
    前記ビット変換手段は、前記選択手段によって選択された変換テーブルを使用して、前記第1のビット数を有する2次元プロファイルデータを、前記第2のビット数を有する2次元プロファイルデータに変換することを特徴とする請求項1に記載の画像処理装置。
  12. 前記複数の変換テーブルには、前記測定ユニットの種別ごとに、測定範囲を優先してビット変換を実行するための第1の変換テーブルと、測定精度を優先してビット変換を実行するための第2の変換テーブルとが含まれており、
    前記画像処理装置は、
    測定範囲を優先してビット変換を実行するか、それとも測定精度を優先してビット変換を実行するかの指示を入力する入力手段
    をさらに有し、
    前記選択手段は、前記取得手段が取得した識別情報に対応し、かつ、前記入力手段から入力された指示に対応した変換テーブルを選択することを特徴とする請求項11に記載の画像処理装置。
  13. 測定範囲を優先してビット変換を実行するための第1の変換テーブルと、
    測定精度を優先してビット変換を実行するための第2の変換テーブルと、
    測定範囲を優先してビット変換を実行するか、それとも測定精度を優先してビット変換を実行するかの指示を入力する入力手段と、
    前記第1の変換テーブルと前記第2の変換テーブルとのうち、前記入力手段から入力された指示に対応した変換テーブルを選択する選択手段と
    をさらに有し、
    前記ビット変換手段は、前記選択手段によって選択された変換テーブルを使用して、前記第1のビット数を有する2次元プロファイルデータを、前記第2のビット数を有する2次元プロファイルデータに変換することを特徴とする請求項1に記載の画像処理装置。
  14. 前記3次元プロファイルデータは、前記検査対象物の各測定点の高さを階調で示したグレースケールの画像データであり、
    前記検査手段は、前記3次元プロファイルデータにおける基準点または基準面の階調値と各測定点の階調値との差分に基づき各測定点の高さのデータを抽出することを特徴とする請求項1、11ないし13のいずれか1項に記載の画像処理装置。
  15. 前記第2のビット数を有する前記3次元プロファイルデータを表示する表示手段をさらに有することを特徴とする請求項または14に記載の画像処理装置。
  16. 検査対象物の3次元プロファイルを測定し、前記第2のビット数を有する3次元プロファイルデータを出力する3次元プロファイル測定装置を接続する第2接続手段をさらに有し、
    前記ビット変換手段は、前記第2接続手段に接続された前記3次元プロファイル測定装置から出力される前記3次元プロファイルデータについてはビット変換を実行しないことを特徴とする請求項1、11ないし15のいずれか1項に記載の画像処理装置。
  17. 検査対象物の2次元プロファイルを測定し、第1のビット数を有する2次元プロファイルデータを出力するレーザ変位計と、
    請求項1ないし16のいずれか1項に記載の画像処理装置と
    を有することを特徴とする画像処理システム。
  18. 検査対象物を撮像するカメラから取得した画像データを処理することにより検査対象物の外観検査を行う画像処理装置に、
    搬送される検査対象物に対して幅広のレーザ光を照射し、検査対象物からの反射光に基づき検査対象物の断面形状に応じた2次元プロファイルを順次生成し、第1のビット数を有する複数の2次元プロファイルデータを出力するレーザ変位計と接続する第1接続手段と、
    前記第1接続手段を通じて受信した前記第1のビット数を有する複数の2次元プロファイルデータを、前記第1のビット数よりも少ない第2のビット数を有する2次元プロファイルデータに変換するビット変換手段と、
    前記ビット変換手段により変換された前記第2のビット数を有する複数の2次元プロファイルデータを、前記レーザ変位計により生成された順で時系列に組み合わせて、前記検査対象物の3次元形状を示す3次元プロファイルデータを作成する作成手段と、
    前記3次元プロファイルデータに所定の画像処理を施して前記検査対象物の検査を実行する検査手段として能させるプログラム。
  19. 検査対象物を撮像するカメラから取得した画像データを処理することにより検査対象物の外観検査を行う画像処理装置において実行される検査方法であって、
    搬送される検査対象物に対して幅広のレーザ光を照射し、検査対象物からの反射光に基づき検査対象物の断面形状に応じた2次元プロファイルを順次生成し、第1のビット数を有する複数の2次元プロファイルデータを出力するレーザ変位計と接続する接続工程と、
    前記レーザ変位計から受信した前記第1のビット数を有する複数の2次元プロファイルデータのそれぞれを、前記第1のビット数よりも少ない第2のビット数を有する2次元プロファイルデータに変換するビット変換工程と、
    前記ビット変換工程により出力される複数の2次元プロファイルデータを、前記レーザ変位計により生成された順で時系列に組み合わせて、前記検査対象物の3次元形状を示す3次元プロファイルデータを作成する作成工程と、
    前記3次元プロファイルデータに所定の画像処理を施して前記検査対象物の検査を実行する検査工程と
    を有することを特徴とする検査方法。
JP2013159659A 2013-07-31 2013-07-31 画像処理装置、画像処理システム、検査方法およびプログラム Active JP6207282B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013159659A JP6207282B2 (ja) 2013-07-31 2013-07-31 画像処理装置、画像処理システム、検査方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013159659A JP6207282B2 (ja) 2013-07-31 2013-07-31 画像処理装置、画像処理システム、検査方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2015031539A JP2015031539A (ja) 2015-02-16
JP6207282B2 true JP6207282B2 (ja) 2017-10-04

Family

ID=52516982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013159659A Active JP6207282B2 (ja) 2013-07-31 2013-07-31 画像処理装置、画像処理システム、検査方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6207282B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6699179B2 (ja) * 2016-01-06 2020-05-27 サクサ株式会社 画像処理装置
JP6649802B2 (ja) 2016-02-26 2020-02-19 株式会社キーエンス 三次元画像検査装置、三次元画像検査方法、三次元画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6681743B2 (ja) 2016-02-26 2020-04-15 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2020035119A (ja) * 2018-08-29 2020-03-05 ファナック株式会社 距離画像表示装置および距離画像表示方法
JP7402745B2 (ja) 2020-05-22 2023-12-21 株式会社キーエンス 撮像装置及び画像検査システム
US11989831B1 (en) * 2020-11-19 2024-05-21 Neutrace Inc. User-interface for visualizing electro-anatomical data with selective control for exposing metrics
WO2022180790A1 (ja) * 2021-02-26 2022-09-01 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3893169B2 (ja) * 1996-06-18 2007-03-14 コニカミノルタホールディングス株式会社 3次元計測装置
JP4536845B2 (ja) * 1999-05-17 2010-09-01 株式会社キーエンス 共焦点顕微鏡
JP5314239B2 (ja) * 2006-10-05 2013-10-16 株式会社キーエンス 光学式変位計、光学式変位測定方法、光学式変位測定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP5218177B2 (ja) * 2009-03-13 2013-06-26 オムロン株式会社 画像処理装置および方法
JP2011076518A (ja) * 2009-10-01 2011-04-14 Keyence Corp 光学的情報読取装置及び画像データ取込方法
US20110298891A1 (en) * 2010-06-04 2011-12-08 Iowa State University Research Foundation, Inc. Composite phase-shifting algorithm for 3-d shape compression
JP5564348B2 (ja) * 2010-07-15 2014-07-30 株式会社キーエンス 画像処理装置及び外観検査方法

Also Published As

Publication number Publication date
JP2015031539A (ja) 2015-02-16

Similar Documents

Publication Publication Date Title
JP6207282B2 (ja) 画像処理装置、画像処理システム、検査方法およびプログラム
US9773304B2 (en) Inspection apparatus, inspection method, and program
US10373305B2 (en) Positioning method for searching a previously registered standard pattern out of an inspection target image
US9683943B2 (en) Inspection apparatus, inspection method, and program
US9984177B2 (en) Modeling device, three-dimensional model generation device, modeling method, program and layout simulator
EP2228769B1 (en) Segmentation of a depth maps of printed circuit boards
EP1761738B1 (en) Measuring apparatus and method for range inspection
US8107685B2 (en) Displacement sensor having a display data output
CN205352391U (zh) 基于地面三维激光扫描的实体测量系统
JP2018004310A (ja) 情報処理装置、計測システム、情報処理方法及びプログラム
US10401227B2 (en) Colorimetry device and colorimetry method
KR20130133161A (ko) 프로젝터
EP3213504B1 (en) Image data segmentation
JP6405124B2 (ja) 検査装置、検査方法およびプログラム
JP2017151067A (ja) 三次元画像検査装置、三次元画像検査方法、三次元画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2017207367A (ja) 情報処理装置、反射特性を導出する方法、プログラム、反射特性プロファイル
JP6585793B2 (ja) 検査装置、検査方法およびプログラム
WO2020130070A1 (ja) 検出装置、情報処理装置、検出方法、及び情報処理プログラム
US20220326145A1 (en) Inspection method, program, and inspection system
JP6207283B2 (ja) 画像処理装置、画像処理システム、検査方法およびプログラム
JP6308808B2 (ja) 検査システム、検査装置、制御方法およびプログラム
JP6184339B2 (ja) 外観検査装置、外観検査方法およびプログラム
JP2020112981A (ja) 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
JP6308807B2 (ja) 検査装置、制御方法およびプログラム
JP2015161680A (ja) 検査システム、画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170905

R150 Certificate of patent or registration of utility model

Ref document number: 6207282

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250