JP7159624B2 - 表面性状検査方法及び表面性状検査装置 - Google Patents

Description

本発明は、表面性状検査方法及び表面性状検査装置に関する。

機械加工品の表面検査は、目視による検査が実施されているが、検査員の技量に負う部分が大きい。また、目視検査には、磁粉探傷、外観検査などの複数の検査項目が存在することから、作業を煩雑なものとさせている。機械加工の際、表面に微小なキズが生成されたり、又は母材の中間素材であるビレットを熱間成形した後の材料の表面（地肌）が残存したりすることがある。機械加工品の表面に生成されるキズは微小であり、また、ビレットの地肌残存部は視認性が悪いため、そのようなキズや地肌残存部を有する機械加工品が破廉恥キズとして流出し、重大なクレームが発生する可能性がある。

機械加工品の例として、機械切削により形状を整える円盤状の加工品や外径を整える円柱状の加工品など、様々な形状を有する鉄鋼品が挙げられる。このような機械加工品の表面性状の検査方法として、特許文献１には、表面に生じるキズ、模様等の検査において、測定対象表面に照明を投光し、１次元ラインカメラで鋼板表面を連続的に撮影する方法が提案されている。また、特許文献２には、対象物の微小なキズを検査するため、対象物の表面にスリットレーザを照射し、照射部から反射される正反射光と乱反射光を受光し、それぞれの強度比から有害部を検知する方法が提案されている。さらに、特許文献３には、被検体に白色のスリット光を照射し、光切断線から座標を演算し、形状の演算と輝度情報を取得して外観検査を行う手法が提案されている。

特開平６－１０２１９５号公報 特開平１１－２３０９１２号公報 特開２００３－２４０５２１号公報

しかしながら、特許文献１の方法では、測定対象物が平坦な形状に限定されており、機械加工によって凹凸を有する対象物には適用することができない。また、特許文献２の方法では、２次元の情報を得ることができないため、ノイズ等の影響を受け、正確な検査をすることができない。さらに、特許文献３の方法では、光切断情報を必要としない場合であっても、被検体を撮影する度に光切断線の座標を演算してしまうため、処理時間が長くなってしまう。また、被検体の表面性状によって光切断線の輝度分布は変化するため、毎回取得される画像から求めた座標は、次画像と連続的にならない。加えて光切断であるため、複数の方向から撮影する必要がなく、複数の方向から撮影したとしても、演算負荷を増加させてしまう。

本発明は上記課題に鑑みてなされたものであり、非平坦な表面を有する対象物の表面性状を正確に検査することができ、且つ検査時間の短縮化と演算負荷の軽減を図ることができる、表面性状検査方法及び表面性状検査装置を提供することを目的とする。

本発明の表面性状検査方法は、第一方向に同一の断面形状が連続する非平坦な表面を有する対象物の表面性状を検査する表面性状検査方法であって、前記対象物の表面に、前記第一方向と垂直な第二方向に平行なライン状のマーキングを施すマーキングステップと、前記マーキングを撮像装置で撮像し、前記マーキングに対応するマーキング部を抽出するマーキング部抽出ステップと、前記マーキング部抽出ステップで抽出した前記マーキング部に基づいて、前記対象物の表面の所定箇所の座標を示す予め設定された座標情報を取得する座標取得ステップと、前記対象物と前記撮像装置とを、前記第一方向に沿って相対的に移動させながら、前記撮像装置により前記対象物の表面を撮影して撮影画像を順次取り込む取り込みステップと、前記取り込みステップで順次取り込まれた前記撮影画像から注目領域を抽出し、前記注目領域から前記予め設定された座標情報が示す座標に位置するライン状の画素データだけを取得する画素取得ステップと、前記画素取得ステップで取得された前記画素データを、前記第二方向に沿って直線状の画素配列に変換する変換ステップと、前記変換ステップで変換された前記画素データを、前記第一方向に沿って順次連結することにより２次元の合成画像を算出する画像算出ステップと、前記２次元の合成画像から、前記対象物の表面に存在する欠陥を検出する検出ステップと、を備えるものである。

本発明の表面性状検査装置は、第一方向に同一の断面形状が連続する非平坦な表面を有する対象物の表面性状を検査する表面性状検査装置であって、前記対象物を撮影する撮像装置と、前記対象物と前記撮像装置とを、前記第一方向に沿って相対的に移動させながら、前記撮像装置に前記対象物の表面を撮影させて撮影画像を順次取り込ませる撮像制御部と、前記撮像装置から取り込まれた撮影画像に対し画像処理を施す画像処理部と、を有するものである。前記撮像制御部は、前記撮像装置を用いて、前記対象物の表面に施された、前記第一方向と垂直な第二方向に平行なライン状のマーキングを撮像し、前記画像処理部は、前記マーキングに対応するマーキング部を抽出し、前記マーキング部に基づいて、前記対象物の表面の所定箇所の座標を示す予め設定された座標情報を取得し、前記撮像装置によって順次取り込まれた前記撮影画像から注目領域を抽出し、前記注目領域から前記予め設定された座標情報が示す座標に位置するライン状の画素データだけを取得し、取得された前記画素データを、前記第二方向に沿って直線状の画素配列に変換し、変換された前記画素データを、前記第一方向に沿って順次連結することにより２次元の合成画像を算出し、算出された前記２次元の合成画像から、前記対象物の表面に存在する欠陥を検出する。

本発明によれば、非平坦な表面を有する対象物を順次撮影し、予め設定された座標情報に基づいて撮影画像から画素データを取得し、取得された画素データを連結して２次元の合成画像を算出し、２次元の合成画像から対象物の表面に存在する欠陥を検出する。これにより、撮影画像から座標を逐次演算する必要がなくなり、検査時間の短縮化と演算負荷の軽減を実現することができ、且つ正確な表面性状検査が可能となる。

本発明の実施形態に係る表面性状検査装置の構成を示すブロック図である。 対象物を撮影する撮像装置の外観構成を示す概略図である。 対象物を複数の撮影部により異なる方向から撮影することを説明する概略図である。 第１方向から第１撮影部により対象物を撮影して第１撮影画像を得る状況を説明する概略図である。 ｚ方向（鉛直軸方向）から第２撮影部により対象物を撮影して第２撮影画像を得る状況を説明する概略図である。 第２方向から第３撮影部により対象物を撮影して第３撮影画像を得る状況を説明する概略図である。 対象物上の同一のマーキング部を第１撮影部、第２撮影部及び第３撮影部で予め撮影したときの当該マーキング部の座標位置をそれぞれ表す第１座標画像、第２座標画像及び第３座標画像を示す図である。 対象物上の同一のマーキング部を第１撮影部、第２撮影部及び第３撮影部で予め撮影したときの当該マーキング部の座標データをそれぞれ表す第１座標テーブル、第２座標テーブル及び第３座標テーブルである。 本実施形態の表面性状検査装置によって実行される表面性状検査処理を示すフローチャートである。 撮影画像から注目領域内の画素データを取得するステップを説明する概略図である。 予め設定された第１座標画像を用いて第１撮影画像から画素データを取得するステップを説明する概略図である。 予め設定された第１座標テーブルを用いて第１撮影画像から画素データを取得するステップを説明する概略図である。 第１撮影画像の取り込みから、画素データの座標変換及び連結までのステップを説明する概略図である。 第２撮影画像の取り込みから、画素データの座標変換及び連結までのステップを説明する概略図である。 第３撮影画像の取り込みから、画素データの座標変換及び連結までのステップを説明する概略図である。 表面性状検査処理において第１撮影画像から算出される輝度画像である正反射画像の一例を示す図である。 表面性状検査処理において第２撮影画像又は第３撮影画像から算出される輝度画像である乱反射画像の一例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。以下の説明において、同一又は同様の構成には同一の符号を付し、重複する説明は省略する。

＜表面性状検査装置の全体構成＞
本実施形態に係る表面性状検査装置１００は、図１に示すように、撮像装置１と、駆動制御装置２と、撮像制御部３と、画像処理部４と、記憶部５と、表示制御部６と、表示部７と、を備える。撮像制御部３、画像処理部４、記憶部５、及び表示制御部６によって演算処理装置１０を構成する。

撮像装置１は、図２に示すように、対象物２０の表面を撮影し、演算処理装置１０は、撮像装置１から取り込まれた対象物２０の撮影画像に対して画像処理を施し、対象物２０の表面性状を判断する。本実施形態では、撮像装置１を移動させながら対象物２０の表面を撮影するものとして説明するが、撮像装置１と対象物２０とを相対的に移動させればよく、撮像装置１を固定し、対象物２０を移動させるようにしてもよい。

演算処理装置１０は、ＣＰＵ（Central Processing Unit）を備えており、記憶部５に記憶された各種プログラムに従って、撮像制御部３、画像処理部４、及び表示制御部６において実行される各機能を統括的に制御する。

本実施形態に係る対象物２０は、曲面、コーナー及び／又は段差を有する非平坦な機械加工品である。かかる対象物２０の例として、中間素材であるビレット等を熱間成形した後の材料を機械加工した鋼材を挙げることができる。本実施形態において、対象物２０は、図２に示すように、同一の断面形状が一方向に連続した構造を有するものとする。

撮像装置１は、光照射部１１と撮影部１２とを有する。光照射部１１及び撮影部１２は、両者の位置関係が変化しないように公知の固定手段により固定されている。本実施形態では、図２に示すように、対象物２０がｘ方向に同一の断面形状が連続するようにｘ－ｙ平面上に配置され、撮像装置１は、対象物２０の上方、すなわちｚ軸の正領域の方向に設置されるものとする。撮像装置１は、駆動制御装置２からの制御及び撮像制御部３からの制御により、ｘ方向に沿って移動しながら対象物２０の表面を順次撮影し、得られた撮影画像を順次、画像処理部４に出力する。上述のように、対象物２０はｘ方向に同一の断面形状が連続しているため、撮像装置１がｘ方向に沿って移動しながら対象物２０の表面を順次撮影すると、常に同一形状の表面を撮影することとなる。

光照射部１１は、白色発光ダイオード（light-emitting diode：ＬＥＤ）からなる棒状光源を備えており、対象物２０に対して光を照射する。光照射部１１の棒状光源としては、例えば、長さ４００ｍｍ、消費電力３０Ｗの光源が採用され得る。光照射部１１が発振する光の波長は特に限定されないが、対象物２０の表面性状の検査に適した波長（例えば４００ｎｍ～８００ｎｍ程度の可視光帯域に属する波長）が選択され得る。光照射部１１は、撮像制御部３から出力される制御信号に基づいて光の発振を行う。

対象物２０に対する光照射部１１の照射角度は、対象物２０の表面から検出され得る欠陥（キズ）の特性により任意に設定可能である。光照射部１１からの光の照射領域１１１は、撮像装置１の移動に伴ってｘ方向に移動する。なお、光照射部１１として、棒状光源の代わりに面状光源を用いてもよく、さらに、ＬＥＤ以外の照明手段を用いてもよい。

撮影部１２は、２０４８ビット×２０４８ビットの撮像素子（Charge Coupled Device（ＣＣＤ）又はComplementary Metal Oxide Semiconductor（ＣＭＯＳ））を搭載した２次元カメラを備え、画素サイズは４．８μｍ×４．８μｍ、フレームレートは５００ｆｐｓ、レンズの焦点距離は２４ｍｍである。撮影される画像の画素サイズは、材料表面においておよそ０．２ｍｍ×０．２ｍｍとする。ただし、部位によっては、０．１８ｍｍ×０．１８ｍｍ～０．２３ｍｍ×０．２３ｍｍとなる。撮影部１２はＡ／Ｄコンバータを備えており、撮像素子から出力されたアナログ信号をデジタル信号に変換し、デジタル信号を画像処理部４に出力する。

対象物２０に対する撮影部１２の撮影角度は、対象物２０の表面から検出され得る欠陥に対して有効な角度とし、対象物２０上での視野領域１２１が光照射部１１の照射領域１１１を含むように設定される。撮影部１２は、撮像制御部３からの制御に基づき、ｘ方向に所定距離（例えば０．２ｍｍ）移動する度に対象物２０の表面を撮影する。撮影部１２の２次元カメラは、モノクロカメラであってもよいしカラーカメラであってもよい。ただし、対象物２０の色合いを含めた検査では、白色光源を有する光照射部１１とともに、カラーカメラを有する撮影部１２を用いることが好ましい。

駆動制御装置２は、撮像装置１を支持する図示しない移動装置の動作を制御することによって撮像装置１を移動させるアクチュエータを備える。駆動制御装置２は、撮像制御部３から移動装置の動作を開始させるための制御信号が出力されると、移動装置を制御することによって撮像装置１を移動させる。

表面性状検査装置１００は、撮像装置１の移動速度を検出するパルス型速度検出器（Pulse Logic Generator：ＰＬＧ）（不図示）を備えており、パルス型速度検出器は、撮像装置１の移動に伴いＰＬＧ信号を撮像制御部３に出力する。例えば、パルス型速度検出器は、撮像装置１が所定距離（例えば０．２ｍｍ）移動する度に１パルスのＰＬＧ信号を撮像制御部３に出力する。

撮像制御部３は、対象物２０の撮影を開始する際、駆動制御装置２に対して移動装置の動作を開始させるための制御信号を出力する。また、対象物２０の撮影を開始する際、光照射部１１に対して光の発振を開始させるための制御信号を出力する。また、撮像制御部３はタイミング発生器を備えており、タイミング発生器は、パルス型速度検出器からＰＬＧ信号が入力される度に撮影部１２に対して撮影を指示するためのトリガ信号を出力する。これにより、撮影部１２は、等間隔の移動ごと（例えば０．２ｍｍの移動ごと）に対象物２０の表面を撮影する。

光照射部１１及び撮影部１２を一体的にｘ方向に移動させながら撮影を行う際の各撮影位置の間隔は、適宜設定することが可能であるが、例えば、撮影部１２で撮影される画像の画素サイズと同一にすることが好ましい。ｘ方向の移動間隔と撮影される画像の画素サイズとを一致させることで、撮影画像において縦方向の分解能と横方向の分解能とを一致させることができる。

画像処理部４は、撮像装置１から取り込まれた撮影画像に対し画像処理を施す。具体的に、画像処理部４は、対象物２０の表面の所定箇所の座標を示す予め設定された座標情報を記憶部５から取得し、撮像装置１から順次取り込まれた対象物２０の撮影画像から、予め設定された座標情報が示す座標に位置する画素データを取得し、取得された画素データを順次連結して輝度画像を算出する処理を実行する。画像処理部４で実行される画像処理の詳細については後述する。また、画像処理部４は、画像処理結果を示すデータを表示制御部６に出力する。

記憶部５は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備える。ＲＯＭは、ＣＰＵによって実行される表面性状検査処理プログラム（図９参照）等の各種プログラムやこれらのプログラムの実行時に必要なデータを格納する。ＲＯＭに格納された各種プログラムやデータはＲＡＭにロードされて実行される。記憶部５は、表面性状検査処理プログラムの実行時に必要なデータとして、対象物２０の表面の所定箇所の座標を示す座標情報（図７及び図８参照）を予め格納している。記憶部５に格納された座標情報の詳細については後述する。

記憶部５は、ハードディスクドライブ（ＨＤＤ）等の磁気メモリ、又は光ディスク等の光メモリを備えるようにしてもよい。あるいは、演算処理装置１０に着脱可能な記録媒体に各種プログラムやデータを格納するようにしてもよい。

表示制御部６は、表示部７を制御して、画像処理部４から入力された画像処理結果のデータを表示部７に表示させる。具体的に、表示制御部６は、対象物２０に対する表面性状検査処理（図９参照）の結果を表示部７に表示させる。

表示部７は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、又は有機エレクトロ・ルミネッセンス（ＥＬ）ディスプレイ等のディスプレイを備え、表示制御部６からの制御に従って表面性状検査処理の結果を表示する。

以上、表面性状検査装置１００の各機能を実行可能なハードウェア構成の一例を説明した。これらの構成要素は、汎用ハードウェアによって構成されていてもよいし、それぞれの機能に特化したハードウェアにより構成されていてもよい。例えば、画像処理部４の機能を特定用途向け集積回路（ＡＳＩＣ）等のハードウェアにより構成してもよい。

図２では、説明を簡単にするために、撮像装置１が一台の撮影部１２を備える場合を示したが、以下の説明では、撮像装置１が撮影方向の異なる三台の撮影部を備えるものとして説明する。ただし、撮影部の台数は限定されるものではない。

図３に示すように、撮像装置１は、第１撮影部１２ａと、第２撮影部１２ｂと、第３撮影部１２ｃと、を備える。第１撮影部１２ａ、第２撮影部１２ｂ及び第３撮影部１２ｃの各々の構造は図２の撮影部１２と同一である。

第１撮影部１２ａは、光照射部１１から対象物２０に対して照射された光が対象物２０上で正反射する方向であって、鉛直軸方向であるｚ方向Ｖ０に対して角度θ１となる第１方向Ｖ１から対象物２０の表面を撮影する。第２撮影部１２ｂは、ｚ方向Ｖ０から（真上から）対象物２０の表面を撮影する。第３撮影部１２ｃは、光照射部１１の光照射方向とほぼ同じ方向から対象物２０の表面を撮影する。光照射部１１は、ｚ方向Ｖ０に対して角度θ２となる第２方向Ｖ２から対象物２０を照射する。対象物２０に対する光照射部１１の照射角度は、例えば４５°である。なお、対象物２０の表面から検出され得る欠陥の特性によって、第１撮影部１２ａ、第２撮影部１２ｂ、及び第３撮影部１２ｃのそれぞれの撮影方向は任意に調整可能である。

次に、図４～図６を参照して、対象物２０の表面上のｙ軸に平行なラインＬが、第１撮影部１２ａ、第２撮影部１２ｂ、及び第３撮影部１２ｃのそれぞれによって撮影される場合について説明する。

第１撮影部１２ａにより対象物２０上のラインＬを撮影すると、図４に示すように第１撮影画像Ｉ１が得られる。第１撮影部１２ａは、ｚ方向Ｖ０に対して角度θ１となる第１方向Ｖ１から対象物２０の表面を撮影しているため、第１撮影画像Ｉ１に現れるラインＬは、対象物２０の表面の凹凸によって左側に凸の線となる。また、第１撮影部１２ａは、光照射部１１から対象物２０に照射された光が正反射する方向から対象物２０の表面を撮影しているため、第１撮影画像Ｉ１において照射領域１１１に対応する領域は相対的に明るい。

第２撮影部１２ｂにより対象物２０上のラインＬを撮影すると、図５に示すように第２撮影画像Ｉ２が得られる。第２撮影部１２ｂは対象物２０を真上から撮影しているため、第２撮影画像Ｉ２に現れるラインＬは直線となる。また、第２撮影部１２ｂは、光照射部１１から対象物２０に照射された光の乱反射によって対象物２０の表面を撮影しているため、第２撮影画像Ｉ２は全体的に暗い画像となる。

第３撮影部１２ｃにより対象物２０上のラインＬを撮影すると、図６に示すように、第３撮影画像Ｉ３が得られる。第３撮影部１２ｃは、ｚ方向Ｖ０に対して角度θ２となる第２方向Ｖ２とほぼ同じ方向から対象物２０の表面を撮影しているため、第３撮影画像Ｉ３に現れるラインＬは、対象物２０の表面の凹凸によって右側に凸の線となる。また、第３撮影部１２ｃも、光照射部１１から対象物２０に照射された光の乱反射によって対象物２０の表面を撮影しているため、第３撮影画像Ｉ３は全体的に暗い画像となる。

＜予め設定される座標情報について＞
次に、図７及び図８を参照して、図９に示す表面性状検査処理に先立って設定される座標情報について説明する。

対象物２０と同一サイズ及び同一形状の対象物が、図２～図６と同様にｘ方向に同一の断面形状が連続するようにｘ－ｙ平面上に配置され、当該対象物の表面にはｙ軸に平行なライン状のマーキングが施されているものとする。図９に示す表面性状検査処理に先立って、撮像制御部３は、光照射部１１、第１撮影部１２ａ、第２撮影部１２ｂ、及び第３撮影部１２ｃにより、当該対象物の表面に施されたマーキング部が照射領域１１１の中央部となるように当該対象物を撮影させる。画像処理部４は、第１撮影部１２ａから得られた撮影画像に対して画像処理を施してマーキング部を抽出し、図７に示すように、当該マーキング部の画素の輝度値を２５５とし、マーキング部以外の画素の輝度値を０とした第１座標画像Ｉａを生成する。同様に、画像処理部４は、第２撮影部１２ｂから得られた撮影画像及び第３撮影部１２ｃから得られた撮影画像に対して画像処理を施してマーキング部を抽出し、それぞれ、第２座標画像Ｉｂ及び第３座標画像Ｉｃを生成する。図７に示す第１座標画像Ｉａ、第２座標画像Ｉｂ、及び第３座標画像Ｉｃのデータは、記憶部５に格納される。

マーキング部の座標情報として、図７に示す第１座標画像Ｉａ、第２座標画像Ｉｂ、及び第３座標画像Ｉｃの代わりに、図８に示すように、当該マーキング部のｘ－ｙ平面における座標データを用いてもよい。具体的には、画像処理部４が、第１撮影部１２ａから得られた撮影画像に画像処理を施してマーキング部を抽出し、当該マーキング部を構成する画素のｘ－ｙ平面における座標データを示す第１座標テーブルＴａを生成する。同様に、画像処理部４は、第２撮影部１２ｂから得られた撮影画像及び第３撮影部１２ｃから得られた撮影画像に対して画像処理を施してマーキング部を抽出し、当該マーキング部を構成する画素のｘ－ｙ平面における座標データを示す第２座標テーブルＴｂ及び第３座標テーブルＴｃをそれぞれ生成する。図８に示す第１座標テーブルＴａ、第２座標テーブルＴｂ、及び第３座標テーブルＴｃは、記憶部５に格納される。

このようにして、撮影方向ごとにマーキング部の座標情報を予め記憶部５に格納しておく。以降、対象物２０と同一サイズ及び同一形状の検査対象物に対し、記憶部５に記憶された座標情報を用いて後述の表面性状検査処理が実行されることとなる。

以下の説明では、記憶部５に格納されたマーキング部の座標情報が、ｘ方向に１画素分の幅を有するものとして説明するが、ｘ方向の幅は特に限定されない。ｘ方向の幅は、ｘ方向に移動する撮像装置１又は対象物２０の検査時における安定性を考慮して変更してもよい。

＜表面性状検査処理＞
次に、図９～図１６を参照して、表面性状検査装置１００によって実行される表面性状検査処理について説明する。

まず、画像処理部４は、記憶部５から、予め設定されたマーキング部Ｍの座標情報を取得する（ステップＳ１）。記憶部５に、図７に示す座標情報が格納されている場合、ステップＳ１では、第１座標画像Ｉａ、第２座標画像Ｉｂ、及び第３座標画像Ｉｃが取得される。記憶部５に、図８に示す座標情報が格納されている場合、ステップＳ１では、第１座標テーブルＴａ、第２座標テーブルＴｂ、及び第３座標テーブルＴｃが取得される。

次に、撮像装置１はｘ方向に移動しながら対象物２０の表面を撮影して撮影画像（第１撮影画像Ｉ１、第２撮影画像Ｉ２、及び第３撮影画像Ｉ３）を取り込む（ステップＳ２）。画像処理部４は、ステップＳ２で取り込まれた撮影画像から、ステップＳ１で取得した座標情報が示す座標に位置する画素データを取得する（ステップＳ３）。

ステップＳ３において、まず、画像処理部４は、図１０に示すように、撮像装置１から取り込まれた撮影画像Ｉi（i=1, 2, 3）の中央部に注目領域（Region of Interest: ＲＯＩ）を設定し、撮影画像ＩiからＲＯＩを抽出する。例えば、撮影画像Ｉiのサイズが２０４８画素×２０４８画素である場合、画像処理部４は、撮影画像Ｉiの中央部の２５６画素×７６８画素の領域をＲＯＩとして抽出する。そして、画像処理部４は、抽出されたＲＯＩから、ステップＳ１で取得されたマーキング部Ｍの座標情報が示す座標のみに位置する画素データＰＬを取得する。図１０に示すように、取得される画素データＰＬは、１画素分の幅を有するライン状の画素配列である。なお、ＲＯＩを設定することなく、撮影画像Ｉiから必要な画素データＰＬを取得してもよい。

記憶部５に、図７に示す座標情報が格納されている場合、ステップＳ３において画像処理部４は、図１１に示すように、第１撮影部１２ａにより取り込まれた第１撮影画像Ｉ１から、第１座標画像Ｉａにおいて輝度値が２５５の画素の座標（すなわち、マーキング部Ｍの座標）に位置する画素データＰＬ１を取得する。第２座標画像Ｉｂに基づいて第２撮影画像Ｉ２から画素データを取得する場合、第３座標画像Ｉｃに基づいて第３撮影画像Ｉ３から画素データを取得する場合も同様である。

記憶部５に、図８に示す座標情報が格納されている場合、ステップＳ３において画像処理部４は、図１２に示すように、第１撮影部１２ａにより取り込まれた第１撮影画像Ｉ１から、第１座標テーブルＴａが示す座標（すなわち、マーキング部Ｍの座標）に位置する画素データＰＬ１’を取得する。第２座標テーブルＴｂに基づいて第２撮影画像Ｉ２から画素データを取得する場合、及び第３座標テーブルＴｃに基づいて第３撮影画像Ｉ３から画素データを取得する場合も同様である。

ステップＳ３の後、画像処理部４は、ステップＳ３で取得された画素データが直線状に配列された画素データとなるように座標変換し（ステップＳ４）、直線の画素データを既に取得された直線の画素データに連結する（ステップＳ５）。そして、撮像制御部３は、撮像装置１による対象物２０の撮影画像の取り込みが完了したか否かを判断する（ステップＳ６）。対象物２０の撮影画像の取り込みが完了していなければ（ステップＳ６；ＮＯ）、ステップＳ２に戻り、ステップＳ２～Ｓ５が繰り返される。

ステップＳ２～Ｓ５を繰り返すことで、図１３に示すように、第１撮影部１２ａから第１撮影画像Ｉ１１、Ｉ１２、Ｉ１３、…、Ｉ１Ｎが順次取り込まれ（ステップＳ２）、取り込まれたこれらの第１撮影画像から、記憶部５に格納された第１座標画像Ｉａ又は第１座標テーブルＴａが示す座標（マーキング部Ｍの座標）に位置する画素データＰＬ１１、ＰＬ１２、ＰＬ１３、ＰＬ１４、ＰＬ１５、ＰＬ１６、…が取得される（ステップＳ３）。そして、取得された画素データが直線の画素データＳＴ１１、ＳＴ１２、ＳＴ１３、ＳＴ１４、ＳＴ１５、ＳＴ１６、…に座標変換され（ステップＳ４）、これらの直線の画素データが連結される（ステップＳ５）。

また、図１４に示すように、ステップＳ２～Ｓ５を繰り返すことで、第２撮影部１２ｂから第２撮影画像Ｉ２１、Ｉ２２、Ｉ２３、…、Ｉ２Ｎが順次取り込まれ（ステップＳ２）、取り込まれたこれらの第２撮影画像から、記憶部５に格納された第２座標画像Ｉｂ又は第２座標テーブルＴｂが示す座標（マーキング部Ｍの座標）に位置する画素データＰＬ２１、ＰＬ２２、ＰＬ２３、ＰＬ２４、ＰＬ２５、ＰＬ２６、…が取得される（ステップＳ３）。そして、取得された画素データが直線の画素データＳＴ２１、ＳＴ２２、ＳＴ２３、ＳＴ２４、ＳＴ２５、ＳＴ２６、…に座標変換され（ステップＳ４）、直線の画素データが連結される（ステップＳ５）。図１４の場合、ステップＳ３で取得される画素データは直線の画素データであるため、ステップＳ４における座標変換前の画素データと座標変換後の画素データは同一である。

さらに、図１５に示すように、ステップＳ２～Ｓ５を繰り返すことで、第３撮影部１２ｃから第３撮影画像Ｉ３１、Ｉ３２、Ｉ３３、…、Ｉ３Ｎが順次取り込まれ（ステップＳ２）、取り込まれたこれらの第３撮影画像から、記憶部５に格納された第３座標画像Ｉｃ又は第３座標テーブルＴｃが示す座標（マーキング部Ｍの座標）に位置する画素データＰＬ３１、ＰＬ３２、ＰＬ３３、ＰＬ３４、ＰＬ３５、ＰＬ３６、…が取得される（ステップＳ３）。そして、取得された画素データが直線の画素データＳＴ３１、ＳＴ３２、ＳＴ３３、ＳＴ３４、ＳＴ３５、ＳＴ３６、…に座標変換され（ステップＳ４）、これらの直線の画素データが連結される（ステップＳ５）。

直線の画素データからのみ検出される欠陥はノイズの可能性があるが、このように、直線の画素データを連結させて２次元の合成画像とすることで、対象物２０の表面の欠陥が判断しやすくなる。

ステップＳ６において、撮像制御部３により、対象物２０の撮影画像の取り込みが完了したと判断されると（ステップＳ６；ＹＥＳ）、画像処理部４は、ステップＳ５における画素データの連結により得られた２次元の合成画像から、各画素が輝度値からなる輝度画像を算出する（ステップＳ７）。ステップＳ７において算出された輝度画像は表示部７に表示される。

図１３に示す画素データを連結することによって得られた輝度画像である正反射画像Ｃ１の一例を図１６に示す。図１４又は図１５に示す画素データを連結することによって得られた輝度画像である乱反射画像Ｃ２の一例を図１７に示す。本実施形態において正反射画像Ｃ１と乱反射画像Ｃ２の双方を得るのは、正反射画像から検出可能な欠陥もあれば、乱反射画像から検出可能な欠陥もあるからである。正反射画像と乱反射画像の双方を得ることで、対象物２０の表面の欠陥の見落としを低減することができる。なお、対象物２０の表面から検出され得る欠陥の特性によっては正反射画像を得る必要がない場合もある。

次いで、画像処理部４は、ステップＳ７で算出された輝度画像に対し公知の画像処理（例えば、シェーディング補正、二値化等）を施し、画像処理後の画像データから特徴量（例えば、欠陥候補領域の幅、長さ、面積等）を抽出し、抽出された特徴量から、対象物２０の表面に存在する欠陥を検出する（ステップＳ８）。ステップＳ８の検出結果は表示部７に表示される。これにより、表面性状検査処理が終了する。

以上のように、本実施形態の表面性状検査装置１００及び表面性状検査処理によると、非平坦な表面を有する対象物２０と撮像装置１とを相対的に移動させながら、撮像装置１により対象物２０の表面を撮影して撮影画像を順次取り込み、撮影画像から、予め設定された座標情報が示す座標の画素データを取得し、取得された画素データを連結した２次元の合成画像に基づいて対象物２０の表面性状を検査する。

本実施形態では、撮影方向ごとに同一箇所（同一のマーキング部Ｍ）の座標情報を予め設定しているため、異なる撮影方向から対象物２０の表面を撮影した場合であっても、撮影方向ごとに予め設定された座標情報を用いて同一箇所の画素データを取得することができる。このように、予め設定された座標情報を用いて撮影画像から連続的に必要な画素データのみを取得することで、光切断法のように撮影画像から座標を逐次演算する必要がなくなるため、検査時間を短縮させ、且つ演算負荷を軽減させることができる。これは１次元カメラ（ラインセンサ）では実行不可能な処理である。本実施形態では、撮像装置１の２次元カメラを仮想的に１次元カメラとして使用することができる上に、撮影方向ごとに対象物２０の表面性状の２次元情報も得ることができるため、正確な表面性状の検査が可能となる。

１ 撮像装置
２ 駆動制御装置
３ 撮像制御部
４ 画像処理部
５ 記憶部
６ 表示制御部
７ 表示部
１０ 演算処理装置
１１ 光照射部
１２ 撮影部
１２ａ 第１撮影部
１２ｂ 第２撮影部
１２ｃ 第３撮影部
２０ 対象物
１００ 表面性状検査装置
１１１ 照射領域
１２１ 視野領域
Ｃ１ 正反射画像
Ｃ２ 乱反射画像
Ｖ０ ｚ方向
Ｖ１ 第１方向
Ｖ２ 第２方向
Ｌ ライン
Ｍ マーキング部
Ｉ１ 第１撮影画像
Ｉ２ 第２撮影画像
Ｉ３ 第３撮影画像
Ｉｉ 撮影画像
Ｉａ 第１座標画像
Ｉｂ 第２座標画像
Ｉｃ 第３座標画像
Ｔａ 第１座標テーブル
Ｔｂ 第２座標テーブル
Ｔｃ 第３座標テーブル
ＰＬ、ＰＬ１、ＰＬ１’ 画素データ

Claims (5)

1. 第一方向に同一の断面形状が連続する非平坦な表面を有する対象物の表面性状を検査する表面性状検査方法であって、
   前記対象物の表面に、前記第一方向と垂直な第二方向に平行なライン状のマーキングを施すマーキングステップと、
   前記マーキングを撮像装置で撮像し、前記マーキングに対応するマーキング部を抽出するマーキング部抽出ステップと、
   前記マーキング部抽出ステップで抽出した前記マーキング部に基づいて、前記対象物の表面の所定箇所の座標を示す予め設定された座標情報を取得する座標取得ステップと、
   前記対象物と前記撮像装置とを、前記第一方向に沿って相対的に移動させながら、前記撮像装置により前記対象物の表面を撮影して撮影画像を順次取り込む取り込みステップと、
   前記取り込みステップで順次取り込まれた前記撮影画像から注目領域を抽出し、前記注目領域から前記予め設定された座標情報が示す座標に位置するライン状の画素データだけを取得する画素取得ステップと、
   前記画素取得ステップで取得された前記画素データを、前記第二方向に沿って直線状の画素配列に変換する変換ステップと、
   前記変換ステップで変換された前記画素データを、前記第一方向に沿って順次連結することにより２次元の合成画像を算出する画像算出ステップと、
   前記２次元の合成画像から、前記対象物の表面に存在する欠陥を検出する検出ステップと、
   を備える、表面性状検査方法。
2. 前記撮像装置は、撮影方向の異なる複数の撮影部を有し、
   前記座標取得ステップは、撮影方向ごとに前記予め設定された座標情報を取得し、
   前記取り込みステップは、前記複数の撮影部により異なる撮影方向から前記対象物の表面を撮影して、撮影方向ごとに前記撮影画像を順次取り込み、
   前記画素取得ステップは、前記取り込みステップにより順次取り込まれた前記撮影画像から前記予め設定された座標情報が示す座標に位置する前記画素データを撮影方向ごとに取得し、
   前記画像算出ステップは、前記画素取得ステップにより取得された前記画素データを連結することにより、撮影方向ごとに前記２次元の合成画像を算出し、
   前記検出ステップは、前記画像算出ステップにより撮影方向ごとに算出された前記２次元の合成画像から、前記対象物の表面に存在する欠陥を検出する、請求項１に記載の表面性状検査方法。
3. 前記取り込みステップは、前記撮像装置により光を前記対象物の表面に照射し、前記光の正反射により前記撮影画像を順次取り込む、請求項１又は２に記載の表面性状検査方法。
4. 前記取り込みステップは、前記撮像装置により光を前記対象物の表面に照射し、前記光の乱反射により前記撮影画像を順次取り込む、請求項１又は２に記載の表面性状検査方法。
5. 第一方向に同一の断面形状が連続する非平坦な表面を有する対象物の表面性状を検査する表面性状検査装置であって、
   前記対象物を撮影する撮像装置と、
   前記対象物と前記撮像装置とを、前記第一方向に沿って相対的に移動させながら、前記撮像装置に前記対象物の表面を撮影させて撮影画像を順次取り込ませる撮像制御部と、
   前記撮像装置から取り込まれた撮影画像に対し画像処理を施す画像処理部と、
   を有し、
   前記撮像制御部は、前記撮像装置を用いて、前記対象物の表面に施された、前記第一方向と垂直な第二方向に平行なライン状のマーキングを撮像し、
   前記画像処理部は、前記マーキングに対応するマーキング部を抽出し、前記マーキング部に基づいて、前記対象物の表面の所定箇所の座標を示す予め設定された座標情報を取得し、前記撮像装置によって順次取り込まれた前記撮影画像から注目領域を抽出し、前記注目領域から前記予め設定された座標情報が示す座標に位置するライン状の画素データだけを取得し、取得された前記画素データを、前記第二方向に沿って直線状の画素配列に変換し、変換された前記画素データを、前記第一方向に沿って順次連結することにより２次元の合成画像を算出し、算出された前記２次元の合成画像から、前記対象物の表面に存在する欠陥を検出する、表面性状検査装置。

Images