JP6649802B2 - 三次元画像検査装置、三次元画像検査方法、三次元画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 - Google Patents

Description

本発明は、三次元画像検査装置、三次元画像検査方法、三次元画像検査プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器に関する。

ワーク（検査対象物や被写体）の表面の傷の有無や外観形状、印字された文字の読み取りといった検査を行う三次元画像検査装置が利用されている。このような三次元画像検査装置は、ワークに対して必要な照明を行い、画像を撮像し、得られた画像データに対してエッジ検出等、画像処理を行い、その結果に基づいて良否判定等の判断を行っていた。

光切断方式や光走査方式の二次元プロファイル測定器をワークに対して相対的に移動させることによりワークの二次元断面形状であるプロファイルデータを連続して取得してワークの三次元形状のデータを構成し、カメラからワークまでの距離に応じて画素値が変化する高さ画像を作成し、ワークの良否を検査する装置が知られている（例えば特許文献１参照）。

三角測距の原理を用いた二次元プロファイル測定器には、測定原理上、光が届かない（あるいはカメラで撮像できない）などの理由で測定ができない領域が存在してしまう。また、ワーク表面で光の多重反射、ワーク表面の濃淡境界、鏡面反射などの影響によりノイズが発生したり、信頼性の低いデータとなったり、十分な検査精度を得ることが難しいことがあった。

特開２０１５−３１５４０号公報

本発明は、このような事情に鑑みてなされたものであり、その目的の一は、死角を低減すると共に、信頼性を高めた検査を可能にした三次元画像検査装置、三次元画像検査方法、三次元画像検査プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器を提供することにある。

課題を解決するための手段及び発明の効果

本発明の第１の形態に係る三次元画像検査装置によれば、検査対象物の高さ情報に基づいて外観検査を行うための三次元画像検査装置であって、検査対象物に測定光を第一入射角度で照射し、第一反射角度で検査対象物から反射される反射光を受光するための第一投受光部と、検査対象物に、第二入射角度で測定光を照射し、第二反射角度で検査対象物から反射される反射光を受光するための第二投受光部と、三角測量の原理により、前記第一投受光部から得られた第一受光量データに基づいて第一の三次元データを生成し、前記第二投受光部から得られた第二受光量データに基づいて第二の三次元データを生成するための三次元データ生成部と、前記第一の三次元データ及び第二の三次元データを合成し、高さ方向の情報を有する三次元合成画像を生成するための合成画像生成部と、前記合成画像生成部で合成された三次元合成画像を表示させるための表示部と、前記合成画像生成部が三次元合成画像を生成する際に、該三次元合成画像を構成する各画素について、前記第一の三次元データ及び前記第二の三次元データ内で対応する画素の画素値が両方とも得られている画素は前記両方の画素値に基づいて当該画素の計測値を得ると共に、前記対応する画素の内、少なくとも一方の画素値が得られていない画素は計測値が存在しない無効画素とすることにより三次元合成画像を生成する信頼度優先モードである第一合成モードと、前記対応する画素の少なくとも一方の画素値が得られている画素は、該少なくとも一方の画素値に基づいて当該画素の計測値を得ると共に、前記対応する画素の両方の画素値が得られていない画素は計測値が存在しない無効画素とする三次元合成画像を生成する計測優先モードである第二合成モードを選択可能な合成モード選択部と、前記合成画像生成部で合成された三次元合成画像に基づいて検査対象物の外観検査を行うための検査部とを備えることができる。上記構成により、検査対象物や検査種別に応じて、死角領域の計測を行うことを優先するか、計測値の信頼性を優先するかをユーザが選択することが可能となる。

また、第２の形態に係る三次元画像検査装置によれば、前記合成画像生成部は、前記第一合成モードにおいて、三次元合成画像のノイズ除去処理を行い、前記第二合成モードにおいて、三次元合成画像の死角除去処理を行うことができる。

さらに、第３の形態に係る三次元画像検査装置によれば、前記第一入射角度と第二入射角度を、又は前記第一反射角度と第二反射角度が、異なる角度とできる。

さらにまた、第４の形態に係る三次元画像検査装置によれば、前記合成画像生成部は、前記第一合成モードでは、前記第一の三次元データ及び第二の三次元データの内、両方が有効データである画素の値を有効画素とし、前記第二合成モードでは、前記第一の三次元データ及び第二の三次元データの内、いずれか一方でも有効データである画素の値を有効画素とできる。

さらにまた、第５の形態に係る三次元画像検査装置によれば、前記第一投受光部及び第二投受光部は、それぞれ三次元データと共に、検査対象物の輝度情報を出力するよう構成できる。

さらにまた、第６の形態に係る三次元画像検査装置によれば、前記輝度情報が輝度プロファイルであり、該輝度プロファイルを連結して輝度画像を生成可能に構成できる。

さらにまた、第７の形態に係る三次元画像検査装置によれば、前記合成画像生成部は、前記第一合成モードにおいて、輝度情報に基づいて、前記第一の三次元データと第二の三次元データの信頼度を決定できる。

さらにまた、第８の形態に係る三次元画像検査装置によれば、前記合成画像生成部は、第一の三次元データ及び第二の三次元データの対応する画素で共に高さ情報が得られている場合、輝度情報に基づいて信頼度の高いデータを当該画素の高さ情報とするよう構成できる。

さらにまた、第９の形態に係る三次元画像検査装置によれば、対応する画素の輝度値の差が所定の閾値よりも大きい場合に、該輝度値の小さい画素の三次元データの信頼度が低いと判定するよう構成できる。

さらにまた、第１０の形態に係る三次元画像検査装置によれば、さらに前記第一投受光部で得られた第一輝度データと、前記第二投受光部で得られた第二輝度データを合成して、輝度合成画像を生成する輝度画像生成部を備えることができる。上記構成により、輝度合成画像を使った検査も可能となる。

さらにまた、第１１の形態に係る三次元画像検査装置によれば、前記第一合成モードにおいて、２つの三次元データの対応する画素で共に高さ情報が得られている場合、信頼度の高いデータを優先的に採用するよう構成できる。

さらにまた、第１２の形態に係る三次元画像検査装置によれば、前記合成画像生成部は、前記第一の三次元データ及び第二の三次元データの対応する画素で共に高さ情報が得られている場合、２つの高さ情報を平均化するよう構成できる。

さらにまた、第１３の形態に係る三次元画像検査装置によれば、前記合成画像生成部は、第一の三次元データ及び第二の三次元データの対応する画素の高さ情報の差が所定値の場合に、該画素の信頼度が低いと判定するよう構成できる。上記構成により、第一の三次元データ及び第二の三次元データでそれぞれ得られた高さ情報の乖離が大きく、いずれかが誤差を含むと考えられることから、当該画素の信頼度を低いものと扱うことで、測定精度の低下を回避することができる。

さらにまた、第１４の形態に係る三次元画像検査装置によれば、さらに前記三次元データ生成部で生成された第一の三次元データ、第二の三次元データの座標空間における対応関係を規定した位置調整パラメータを記憶するための記憶部を備え、前記合成画像生成部は、前記記憶部で記憶された位置調整パラメータに基づいて、第一の三次元データ及び第二の三次元データを合成し、高さ方向の情報を有する三次元合成画像を生成するよう構成できる。上記構成により、予めキャリブレーションで計算した第一投受光部と第二投受光部とのずれ量を記憶しておくことで、運用時にはこのずれ量に基づいて合成できるため、処理を高速化できる利点が得られる。

さらにまた、第１５の形態に係る三次元画像検査装置によれば、前記表示部は、前記合成画像生成部により、前記第一合成モードで合成された第一の三次元合成画像と、前記第二合成モードで合成された第二の三次元合成画像を、並べて表示可能とできる。上記構成により、第一合成モード、第二合成モードでそれぞれ得られた三次元合成画像を一画面で表示させることで、ユーザはいずれの処理が望ましいかを視覚的に対比し易くなる。

さらにまた、第１６の形態に係る三次元画像検査装置によれば、前記表示部は、前記第一の三次元データ、前記第二の三次元データを並べて表示可能とできる。上記構成により、第一投受光部と第二投受光部で得られた三次元データを一画面に表示させて、ユーザは視覚的にこれらを対比し易くなる。

さらにまた、第１７の形態に係る三次元画像検査装置によれば、前記合成画像生成部で合成される三次元合成画像が、高さ方向の情報を各画素の画素値とする高さ画像とできる。

さらにまた、第１８の形態に係る三次元画像検査方法によれば、検査対象物の高さ情報を有する三次元合成画像に基づいて外観検査を行う三次元画像検査方法であって、三次元合成画像を生成する際に、該三次元合成画像を構成する各画素について、前記第一の三次元データ及び前記第二の三次元データ内で対応する画素の画素値が両方とも得られている画素は前記両方の画素値に基づいて当該画素の計測値を得ると共に、前記対応する画素の内、少なくとも一方の画素値が得られていない画素は計測値が存在しない無効画素とすることにより三次元合成画像を生成する信頼度優先モードである第一合成モードと、前記対応する画素の少なくとも一方の画素値が得られている画素は、該少なくとも一方の画素値に基づいて当該画素の計測値を得ると共に、前記対応する画素の両方の画素値が得られていない画素は計測値が存在しない無効画素とする三次元合成画像を生成する計測優先モードである第二合成モードのいずれかの選択を、ユーザに促す工程と、検査対象物に第一投受光部で測定光を第一入射角度で照射し、第一反射角度で検査対象物から反射される反射光を受光する一方、同じ検査対象物に、第二投受光部で第二入射角度で測定光を照射し、第二反射角度で検査対象物から反射される反射光を受光して、三角測量の原理により、前記第一投受光部から得られた第一受光量データに基づいて第一の三次元データを生成する一方、前記第二投受光部から得られた第二受光量データに基づいて第二の三次元データを生成する工程と、前記第一の三次元データ及び第二の三次元データを合成し、高さ方向の情報を有する三次元合成画像を生成するに際して、前記第一合成モードと第二合成モードのいずれかの選択に従い、前記第一合成モードが選択されている場合は、三次元合成画像を構成する各画素について、前記第一投受光部及び第二投受光部の両方で計測がなされた三次元データに基づいて三次元合成画像を生成し、前記第二合成モードが選択されている場合は、第一投受光部及び第二投受光部のいずれか一方又は両方で計測がなされた三次元データに基づいて三次元合成画像を生成する工程と、前記合成画像生成部で合成された三次元合成画像を表示部に表示させる工程と、前記合成された三次元合成画像に基づいて検査対象物の外観検査を行う工程とを含むことができる。これにより、検査対象物や検査種別に応じて、死角領域の計測を行うことを優先するか、計測値の信頼性を優先するかをユーザが選択することが可能となる。

本発明の実施形態１に係る三次元三次元画像検査装置の外観を示す斜視図である。 図１の三次元三次元画像検査装置を示すブロック図である。 図ｘの三次元三次元画像検査装置の詳細な機能ブロック図である。 表示部で第一の三次元合成画像表示領域と第二の三次元合成画像表示領域を並べて表示した例を示すイメージ図である。 表示部で第一の三次元データ表示領域と第二の三次元データ表示領域を並べて表示した例を示すイメージ図である。 図６Ａは、投受光部でワークを走査する状態を示す斜視図、図６Ｂは走査位置を示すワークの平面図、図６Ｃは図６Ｂの各走査位置で得られた二次元プロファイルを合成して三次元データを生成する模式図である。 実施形態２に係る三次元三次元画像検査装置の外観を示す斜視図である。 第一投光部と第二投光部を固定する姿勢を示す斜視図である。 図８の第一投光部と第二投光部の固定状態を示す底面図である。 第一高さ画像と第二高さ画像を合成して高さ合成画像を生成する手順を示すフローチャートである。 図６Ａの高さ合成画像の生成を示すデータフロー図である。 三次元キャリブレーションの手順を示すフローチャートである。 簡略化した高さ合成画像を生成する手順を示すフローチャートである。 ワークの観察時に死角が生じる様子を示す断面図である。 ワークを第一ヘッド部で撮像して生成した第一高さ画像を示すイメージ図である。 ワークを第二ヘッド部で撮像して生成した第二高さ画像を示すイメージ図である。 図１５と図１６の高さ画像を合成した高さ合成画像を示すイメージ図である。 別のワークを第二ヘッド部で撮像して生成した第二高さ画像を示すイメージ図である。 別のワークを第一ヘッド部で撮像して生成した第二高さ画像を示すイメージ図である。 図１８と図１９の高さ画像を合成した高さ合成画像を示すイメージ図である。 三次元画像検査装置の操作プログラムの高さ合成画像条件設定画面のユーザインターフェース画面を示すイメージ図である。 ワークに対して信頼度優先モードで図１５と図１６の高さ画像を合成した高さ合成画像を示すイメージ図である。 別のワークに対して信頼度優先モードで図１８と図１９の高さ画像を合成した高さ合成画像を示すイメージ図である。 生成された輝度画像を示すイメージ図である。 図２５Ａは図６Ａのワークを置き台に載せて搬送する様子を示す斜視図、図２５Ｂは図２５Ａの検査対象にレーザ光を照射して反射光を検出した受光画像、図２５Ｃは図２５Ｂから得られた二次元プロファイル、図２５Ｄは図２５Ｃの二次元プロファイルを走査位置毎に合成する状態、図２５Ｅは図２５Ｄの二次元プロファイルを合成して得られた高さ画像、図２５Ｆは図２５Ｂから得られた輝度プロファイル、図２５Ｇは輝度プロファイルを走査位置毎に合成する状態、図２５Ｈは図２５Ｇの輝度プロファイルを合成して得られた輝度画像を、それぞれ示す模式図である。 図２６Ａは、図２５Ａの検査対象の第二高さ画像、図２６Ｂは、第二輝度画像、図２６Ｃは第一高さ画像、図２６Ｄは第一輝度画像、図２６Ｅは第二高さ合成画像、図２６Ｆは第一高さ合成画像を、それぞれ示す模式図である。

以下、本発明の実施形態を図面に基づいて説明する。ただし、以下に示す実施形態は、本発明の技術思想を具体化するための例示であって、本発明は以下のものに特定されない。また、本明細書は特許請求の範囲に示される部材を、実施形態の部材に特定するものでは決してない。特に実施形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一若しくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
（実施形態１）

本発明の実施形態１に係る三次元画像検査装置の外観を図１に、ブロック図を図２に、さらに詳細な機能ブロック図を図３に、それぞれ示す。これらの図に示す三次元画像検査装置１００は、ワーク搬送機構１上を搬送される検査対象物（ワークＷＫ）の外観を画像処理によって検査する。この三次元画像検査装置１００は、ワークＷＫの画像を撮像する第一ヘッド部２Ａと、第二ヘッド部２Ｂと、これら第一ヘッド部２Ａと第二ヘッド部２Ｂで得られた画像を画像処理するコントローラ部３とを備える。コントローラ部３は、高さ情報を有する画像に対して画像処理により外観検査を行い、検査結果を出力する。なお外観検査とは、ワークＷＫの画像処理結果を用いて実行される製品検査のことであり、ワークＷＫの寸法を測定する寸法検査や、ワークＷＫが製品として良品であるかどうかを判定する良品検査などが含まれる。ワーク搬送機構１は、プログラマブルロジックコントローラ（ＰＬＣ）などの制御装置４によって制御されるコンベアなどのラインである。

三次元画像検査装置１００は、図３のブロック図に示すように、第一ヘッド部２Ａと、第二ヘッド部２Ｂと、コントローラ部３を備える。コントローラ部３には、画像入力部５と、表示部６と、操作部７と、制御装置４と、トリガ入力部８が接続されている。またワーク搬送機構１のエンコーダ信号生成部１ｂからの信号がコントローラ部３に入力されて、ワークＷＫがワーク搬送機構１で搬送されていること、あるいはワークＷＫの搬送が停止されたことを把握できる。エンコーダ信号生成部１ｂは、ワーク搬送機構１の動作状態を示す信号として、例えばコンベアの回転軸に設けられたロータリーエンコーダなどである。画像入力部５は、コネクタ付きのユニットである。また画像入力部を外付けとする態様に限らず、コントローラ部３に内蔵する態様としてもよい。

トリガ入力部８は、ワークＷＫの撮像タイミングをコントローラ部３に示すための部材である。例えばワーク搬送ライン１上に配置された光電センサからのトリガ信号をトリガ入力部８で受けることで、ワークＷＫが搬送されてきたことを検出して撮像や外観検査などの処理を行うタイミングを図ることができる。
（操作部７）

操作部７は、コントローラ部３に対して各種の操作や設定を行うための部材であり、キーボードやコンソール、あるいはマウスなどのポインティングデバイス等が利用できる。
（表示部６）

表示部６は、得られた三次元データや高さ画像、三次元合成画像や輝度合成画像や外観検査の結果、あるいは各種の設定を行うための設定画面、この設定画面に対して操作部７から入力される設定値等を表示させるための部材である。このような表示部６は、ＬＣＤやＣＲＴ、有機ＥＬ等のディスプレイである。また、表示部６をタッチパネルとすることで、操作部と表示部を兼用することもできる。さらにこの表示部６は、後述する第一合成モードで合成された第一の三次元合成画像を表示させる第一の三次元合成画像表示領域６ａと、第二合成モードで合成された第二の三次元合成画像を表示させる第二の三次元合成画像表示領域６ｂを有している。さらにまた、図４に示すように、第一の三次元合成画像表示領域６ａと第二の三次元合成画像表示領域６ｂを一画面で並べて表示可能とすることで、ユーザはこれらの画像を対比しながら、いずれの処理が外観検査目的に適しているかを評価し易くなる。

加えて表示部６は、図５に示すように、第一の三次元データを表示する第一の三次元データ表示領域６ｃと、第二の三次元データを表示する第二の三次元データ表示領域６ｄを並べて表示可能とすることもできる。これにより、第一投受光部と第二投受光部で得られた三次元データを一画面に表示させて、ユーザは視覚的にこれらを対比し易くなる。さらに、表示部６に第一の三次元データ表示領域６ｃと第二の三次元データ表示領域６ｄを並べて表示させた状態で、第一の三次元合成画像表示領域６ａや、第二の三次元合成画像表示領域６ｂを同時に表示させてもよい。あるいは、同時に表示させる構成に限られず、切り替えて表示させるようにしてもよい。例えば、表示部６に第一の三次元データと第二の三次元データと第一の三次元合成画像を並べて表示させた状態と、第一の三次元データと第二の三次元データと第二の三次元合成画像を並べて表示させた状態とを、切り替え自在とする。これにより、第一合成モードと第二合成モードでそれぞれ得られる三次元合成画像を比較し易くできる。
（コントローラ部３）

図３に示すコントローラ部３は、記憶部３１と、演算部３２と、設定部３４と、媒体読取部３３を備えている。演算部３２は、三次元データ生成部３２ｄと、合成画像生成部３２ｆと、輝度画像生成部３２ｇと、検査部３２ｅを備えている。記憶部３１は、各種の画像データや設定データを保存するための部材であり、補正前の三次元データ記憶領域３１ａ、補正後の三次元データ記憶領域３１ｂ、ワークメモリ記憶領域３１ｃ、入力プロファイルメモリ記憶領域３１ｄ、設定データメモリ記憶領域３１ｅ、位置調整パラメータ記憶領域３１ｆ等を備える。媒体読取部３３は、可搬メディアを読み取り、または書き込むための部材であり、ＵＳＢメモリ（商品名）やＳＤカード（商品名）等の規格化された記録媒体、半導体メモリ等を接続して、データの読み書きを可能とする。また、無線接続やネットワーク接続により、外部の記録機器との間でデータの受け渡しを行うよう構成してもよい。

三次元データ生成部３２ｄは、複数の二次元プロファイルから、検査対象物の三次元データを生成するための部材である。検査部３２ｅは、三次元データ生成部３２ｄで生成された三次元データに基づいて検査対象物の外観検査を行うための部材である。

合成画像生成部３２ｆは、第一の三次元データと第二の三次元データを合成し、高さ方向の情報を有する三次元合成画像を生成するための部材である。また合成画像生成部３２ｆは、記憶部３１で記憶された位置調整パラメータに基づいて、三次元合成画像を生成することもできる。

輝度画像生成部３２ｇは、第一投受光部で得られた第一輝度データと、第二投受光部で得られた第二輝度データを合成して、輝度合成画像を生成するための部材である。

設定部３４は、補正モード選択部７４と、合成モード選択部７５を備える。

合成モード選択部７５は、合成画像生成部３２ｆが三次元合成画像を生成する際に、三次元合成画像を構成する各画素について、第一投受光部及び第二投受光部の両方で計測がなされた三次元データに基づいて三次元合成画像を生成する第一合成モードと、第一投受光部及び第二投受光部のいずれか一方又は両方で計測がなされた三次元データに基づいて三次元合成画像を生成する第二合成モードを選択するための部材である。

演算部３２は、例えばマイクロプロセッサ（ＭＰＵ）やＣＰＵ、ＬＳＩ、ＦＰＧＡやＡＳＩＣ等のゲートアレイ、ＤＳＰ等のハードウエアやソフトウエア、あるいはこれらの混在により実現できる。また必ずしも各構成要素が図３に示した構成と同一でなくてもよく、その機能が実質的に同一であるもの、及び一つの要素が図３に示す構成における複数の要素の機能を備えるものは、本発明に含まれる。

このようなスキャン型の三次元画像検査装置１００を用いて、ワーク搬送機構１で搬送されるワークＷＫの外観検査を行う。
（第一ヘッド部２Ａ）

第一ヘッド部２Ａは、ワークＷＫの二次元プロファイルを測定するための部材であり、第一投受光部の一形態をなす。第一ヘッド部２Ａは、図３のブロック図に示すように、一方向に相対的に移動されるワークＷＫに対して測定光を照射するための第一投光部２１Ａと、第一投光部２１ＡからワークＷＫに照射されて反射された、反射光を検出するための第一受光部２２Ａと、第一受光部２２Ａにより取得された検出データに基づき、ワークＷＫの断面形状を示す二次元プロファイルを生成するための第一の二次元プロファイル生成部２３Ａを備えている。なお、本明細書において「高さ方向」とは、第一ヘッド部２Ａ（正確には第一受光部２２Ａ）とワークＷＫとの距離方向を意味するものとして使用する。

この第一ヘッド部２Ａは、図６Ａに示すように、Ｙ軸方向（送り方向）に搬送されるワークＷＫ１に対して、第一投光部２１Ａが幅広のレーザ光ＬＢをＸ軸方向（幅方向）照射し、その反射光を第一受光部２２Ａで受光して、第一の二次元プロファイル生成部２３ＡがワークＷＫの二次元断面形状を示すデータとして二次元プロファイルを作成する。このときワークＷＫはＸＺ平面に平行な切断面によって仮想的に切断され、切断面の外形（外縁）が二次元プロファイルとなる（図６Ｂ及び図６Ｃ）。二次元プロファイルは一般に、第一ヘッド部２ＡからワークＷＫの測定点までの距離（Ｚ軸方向の距離）であって、Ｘ軸方向に沿って並んだ複数の測定点についての距離の集合である。

第一ヘッド部２Ａは、ライン投光型のレーザ変位計を用いている。具体的には、第一ヘッド部２Ａは、第一投光部２１Ａとしてレーザ光ＬＢなどを発する投光素子を、第一受光部２２ＡとしてＣＣＤやＣＭＯＳ等の受光素子（ラインセンサや二次元撮像素子）を備えている。さらに第一ヘッド部２Ａは、照射光や反射光を案内するためのレンズ等の光学系を備えている。この第一ヘッド部２Ａは、ワークＷＫを撮像するカメラと捉えることもできる。
（第二ヘッド部２Ｂ）

一方第二ヘッド部２Ｂも、上述した第一ヘッド部２Ａとほぼ同様の構成を採用できる。すなわち第二ヘッド部２Ｂは、第二投受光部の一形態であり、図３のブロック図に示すように、一方向に相対的に移動されるワークＷＫに対して測定光を照射するための第二投光部２１Ｂと、第二投光部２１ＢからワークＷＫに照射されて反射された、反射光を検出するための第二受光部２２Ｂと、第二受光部２２Ｂにより取得された検出データに基づき、ワークＷＫの断面形状を示す二次元プロファイルを生成するための第二の二次元プロファイル生成部２３Ｂを備えている。
（実施形態２）

図２の例では、第一ヘッド部２Ａの第一入射角度と第二ヘッド部２Ｂの第二入射角度を、ほぼ等しくし、第一反射角度と第二反射角度を異ならせている。ただ、本発明はこのような構成に限定せず、例えば実施形態２として図７に示す三次元画像検査装置２００のように、第一反射角度と第二反射角度を、ほぼ等しくし、第一入射角度と第二入射角度を異ならせるように配置することもできる。
（固定位置の調整）

後述する通り、第一ヘッド部２Ａと第二ヘッド部２Ｂで撮像、生成された第一高さ画像と第二高さ画像を合成して、高さ合成画像を生成する。高さ合成画像の生成にあたっては、予め第一高さ画像と第二高さ画像を重ね合わせる必要がある。重ね合わせのためには、第一高さ画像と第二高さ画像が検査対象物の同じ画像を撮像できるように、第一ヘッド部２Ａと第二ヘッド部２Ｂを位置合わせして設置する必要がある。このため、これら第一ヘッド部２Ａと第二ヘッド部２Ｂは、図８に示すように互いに対向させた姿勢で密着させて配置する。このとき第一投光部と第二投光部が、図９の底面図に示すように、水平面内で左右で同じ位置となるように、第一ヘッド部２Ａと第二ヘッド部２Ｂのケーシングの固定位置を調整する。
（位置調整パラメータ）

第一ヘッド部２Ａと第二ヘッド部２Ｂを固定する際は、各ヘッド部の座標位置にずれが極力生じないように調整する。すなわち、投光部や受光部の位置には、製造公差などに起因してヘッド部毎に個体差があるため、これらを較正する物理的な作業が必要となる。ヘッド部間の相対的な位置関係を調整する位置調整パラメータとしては、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向、Ｘ軸方向の回転方向であるＲx、Ｙ軸方向の回転方向であるＲY、Ｚ軸方向の回転方向であるＲZの、６つの位置調整パラメータが挙げられる。なお、これら６つの位置調整パラメータを全て用いる必要はなく、例えばこれらの内、一又は複数の位置調整パラメータについては削除することで、処理の簡素化を図ることもできる。

第一ヘッド部２Ａと第二ヘッド部２Ｂとの相対的な位置関係によって座標位置のずれが生じ、計測精度に影響を及ぼす。一方で、第一ヘッド部２Ａと第二ヘッド部２Ｂの設置位置の調整のみで、完全にずれ量を調整することは容易でない。そこで、第一ヘッド部２Ａと第二ヘッド部２Ｂでそれぞれ撮像、生成された第一高さ画像と第二高さ画像のずれ量を計算して、このずれ量とずれ角度分、移動と回転させることにより第一高さ画像と第二高さ画像を重ね合わせるようにする。

ここで、複数のヘッド部（第一ヘッド部２Ａと第二ヘッド部２Ｂ）でもって得られた高さ画像（第一高さ画像と第二高さ画像）を合成して高さ合成画像を生成する手順の一例を説明する。一般的には、図１０のフローチャート及び図１１のデータフロー図に示すように、三次元サーチ（ステップＳ１６１）、高さ画像の重ね合わせ処理（ステップＳ１６２）、高さ画像の合成処理（ステップＳ１６）の工程が必要となる。すなわち、まずステップＳ１６１では、第一高さ画像と第二高さ画像を重ね合わせるため、両者のずれ量、いいかえると第一高さ画像と第二高さ画像を重ね合わせるように移動させるための移動量（位置調整パラメータ）を計算するため、三次元サーチを行う。そして、ずれ量が求められると、次にステップＳ１６２において、第一高さ画像と第二高さ画像を、このずれ量の分移動させて重ね合わせる。そして、重ね合わせられた第一高さ画像と第二高さ画像を、合成し融合して、高さ合成画像を得る。

ここで、ステップＳ１６１の三次元サーチは、計算コストが大きく、三次元画像検査の運用時に毎回演算すると、処理量が膨大となる。すなわち、第一高さ画像と第二高さ画像の座標位置のずれを、重ね合わせる度に毎回演算して較正することは、計算量が膨大なことから効率的でない。
（三次元キャリブレーション）

そこで、三次元画像検査の運用前に予め三次元キャリブレーションを行って、第一ヘッド部２Ａと第二ヘッド部２Ｂで得られる第一高さ画像と第二高さ画像のずれ量を補正値、すなわち位置調整パラメータ（キャリブレーションデータ）として記憶部３１の位置調整パラメータ記憶領域３１ｆに記憶しておき、運用時にこの位置調整パラメータを読み出して利用することで、運用時の処理を高速化することができる。具体的には、第一投受光部の計測値で生成された第一の三次元データと、第二投受光部の計測値で生成された第二の三次元データとの、座標空間における対応関係を規定した位置調整パラメータを予め作成して、記憶部３１の位置調整パラメータ記憶領域３１ｆに記憶しておく。そして運用時には、位置調整パラメータを補正値として参照して、データを補正する。

このような三次元キャリブレーションの一例を、図１２のフローチャートに基づいて説明する。まず、ステップＳ１８１において、運用時に検査対象となるワークを第一ヘッド部２Ａ、第二ヘッド部２Ｂで撮像する。各ヘッド部で撮像した画像から三次元データ生成部により、第一高さ画像、第二高さ画像が生成される。

次にステップＳ１８２において、得られた第一高さ画像と第二高さ画像を重ね合わせて、差が小さくなるように位置調整パラメータを決定する。ここでは、横方向のずれ（Ｘ軸方向）、縦方向のずれ（Ｙ軸方向）、高さ方向のずれ（Ｚ軸方向）等を演算する。これによって、第一高さ画像と第二高さ画像の重ね合わせ時に移動させるべき移動量が演算される。

そして次にステップＳ１８３において、得られた移動量を、運用時の補正値（位置調整パラメータ）として、記憶部３１の位置調整パラメータ記憶領域３１ｆに記憶する。

このようにして、三次元画像検査の運用の前に予め、位置調整パラメータとして、第一投受光部と第二投受光部とのずれ量を記憶しておくことで、運用時にはこのずれ量に基づいて三次元データを合成できるため、運用時の処理を高速化できる利点が得られる。また、設置時に大きなずれが存在しないかを確認することもできる。
（簡略化した高さ画像合成手順）

このように、三次元キャリブレーションを予め行うことにより、運用時には上述した図１０のフローチャートの三次元サーチ（ステップＳ１６１）を省略できる。このような簡略化した高さ合成画像の生成手順を、図１３のフローチャートに基づいて説明する。

まず、ステップＳ１９１において、第一ヘッド部２Ａで得られた第一高さ画像と、第二ヘッド部２Ｂで得られた第二高さ画像を、合成画像生成部３２ｆでもって重ね合わせる。例えば、第一高さ画像又は第二高さ画像のいずれか一方を固定して、他方を移動させる。移動量は、位置調整パラメータ記憶領域３１ｆから位置調整パラメータを読み出して利用する。そしてステップＳ１９２において、高さ画像の合成処理を行う。

なお本明細書においては、図１に示す光切断方式の第一ヘッド部２Ａを用いて、光切断方法で得られた二次元プロファイル画像を合成した高さ画像を用いる例を説明する。本明細書において、測定光や反射光は、可視光や赤外光、紫外光などが利用できる。

また図１の例では、第一ヘッド部２Ａと第二ヘッド部２Ｂを物理的に分離した構成を採用しているが、本発明はこの構成に限らず、例えばこれらを一体化した構成とすることもできる。さらに、これらの第一ヘッド部と第二ヘッド部をコントローラ部に一体化した構成とすることもできる。逆に、図１の構成では、第一投光部２１Ａと第一受光部２２Ａを共通の第一ヘッド部２Ａに組み込んでいるが、この構成に限らず、第一投光部と第一受光部を個別に配置する構成としてもよい。あるいは、二次元プロファイル生成部をコントローラ部側に配置したり、逆に三次元データ生成部をヘッド部側に設けてもよい。また図１において各ヘッド部はケーブルを介してコントローラ部３ヘッド用コネクタに接続されている。ただ、これらは有線接続に限られず、無線接続とすることも可能である。また、通信プロトコルを介したネットワーク接続としてもよい。
（死角）

三角測距の原理上、投光と受光の角度は２０°〜３０°程度の角度を持たせている。このため、図１４に示すように、検査対象のワークＷＫＳに急な傾きの面が存在すると、ヘッド部２で撮像しても三次元データを正しく取得できない「死角」が発生する。この死角となった画素では、誤った高さデータが計測されることがある。例えばワークを一のヘッド部で撮像して高さ画像を得た場合、図１５において矢印で示すような尖鋭な針状のノイズとなって現れる。

これを解消するために、図１に示すように２つのヘッド部でもって異なる角度から観察した高さ画像を得て、死角となった画素の情報を、他方のヘッド部で撮像した高さ画像の、対応する画素から得る。例えば、第一ヘッド部２Ａで撮像し生成した第一高さ画像ＨＥＩ１が図１５のような画像であり、一方第二ヘッド部２Ｂで撮像し生成した第二高さ画像ＨＥＩ２が、図１６のような場合に、これらの高さ画像を三次元データ生成部で合成して、図１７に示す三次元合成画像として高さ合成画像ＨＦＩ２を得る。図１５の第一高さ画像ＨＥＩ１と、図１７の高さ合成画像ＨＦＩ２を比較すると、図１５において矢印で示したノイズ部分が、図１７においては大幅に低減されており、第一ヘッド部２Ａによる観察では死角となり高さ情報が得られなかった画素が、第二ヘッド部２Ｂによって高さ情報を与えられたことが確認できる。

もちろん、逆のケース、すなわち第二ヘッド部からでは死角となってしまう領域を、第一ヘッド部２もって保証することも可能である。例えば別のワークを、第二ヘッド部２Ｂで撮像、生成した第二高さ画像ＨＥＩ２’を図１８に示す。この図において矢印で示すように、２箇所でピーク状の誤検出が生じているところ、図１９に示すように第一ヘッド部２Ａで撮像、生成した第一高さ画像ＨＥＩ１’においては、このような誤検出は当該部位に見られない。そこで、これらの高さ画像を合成して、高さ合成画像ＨＦＩ２’を合成画像生成部３２ｆで生成すると、図２０に示すように、誤検出に係るひげ状のノイズの領域を低減した高さ画像を得ることができる。
（画像合成機能）

このような複数の高さ画像を合成する画像合成機能は、合成画像生成部３２ｆにより実現される。画像合成機能は、ＯＮ／ＯＦＦさせることが可能である。
（高さ合成画像条件設定）

画像合成機能で行われる重ね合わせ処理や合成処理に関しては、詳細な設定をユーザ側で調整することもできる。このような高さ合成画像のパラメータを調整する高さ合成画像条件設定画面８０のユーザインターフェース画面の一例を図２１に示す。この図において、上段には重ね合わせ処理の条件を設定する重ね合わせ条件設定欄８２、下段には高さ画像合成処理の条件を設定する高さ画像合成条件設定欄８６を、それぞれ設けている。重ね合わせ条件設定欄８２には、「検出領域設定」ボタン８３と「重ね合わせ実行」ボタン８４、「補正値確認」ボタン８５がそれぞれ設けられている。

「検出領域設定」ボタン８３は、重ね合わせ処理において使用する検出領域を設定するための部材である。この検出領域は、重ね合わせの基準となるようなワーク中の特徴的な形状を含むように設定される。好ましくはワーク中の平面状でない、凹凸のある部分を選択する。あるいは、コンベア等のワーク搬送機構に配置されたワークの画像を撮像する場合は、ワーク搬送機構でなくワークを含むように指定する。「検出領域設定」ボタン８３を押下すると検出領域設定画面が表示され、現在設定中の検出領域の設定が座標位置で示される。座標位置を編集することで、検出領域を修正できる。また「描画」ボタン９１を押下すると、高さ画像上に検出領域が重ねて表示される。検出領域は、ユーザが手動で設定するよう構成してもよいし、また三次元画像検査装置側で自動的に高さ画像中から抽出するよう構成してもよい。なお、この例では検出領域は矩形状の領域として指定しているが、矩形状に限らず、円形等、任意の幾何学図形としたり、ワークの凹凸形状等、抽出された形状とすることもできる。

また図２１の重ね合わせ条件設定欄８２に設けられた「重ね合わせ実行」ボタン８４は、三次元キャリブレーションを実行するための部材である。「重ね合わせ実行」ボタン８４を押下すると、三次元キャリブレーションが実行されて、位置調整パラメータが演算される。すなわち、第一高さ画像と第二高さ画像に対して、重ね合わせのための移動量が自動的に演算され、得られた各移動調整パラメータが記憶部３１に記憶される。

そして、「補正値確認」ボタン８５は、補正値である移動調整パラメータを確認、修正するための部材である。「補正値確認」ボタン８５を押下すると、補正値表示画面が表示される。補正値表示画面では、上記の三次元キャリブレーションの実行により得られた位置調整パラメータが表示される。例えば、Ｘ軸方向の位置調整パラメータとしてＸオフセットと、Ｙ軸方向の位置調整パラメータとしてＹオフセットがそれぞれ画素数で、またＺ軸方向の位置調整パラメータとしてＺオフセットがｍｍで、表示されている。ユーザは、補正値表示画面からこれらの位置調整パラメータを確認し、必要に応じて修正することができる。

一方、図２１の高さ合成画像条件設定画面８０に設けられた高さ画像合成条件設定欄８６では、合成モード選択部７５として、「合成タイプ」選択欄８７や、その他、「許容高さ誤差」設定欄８８、「輝度値での死角判定」設定欄８９等が設けられている。これらの詳細については、後述する。
（高さ画像合成アルゴリズム）

ここで、合成画像生成部３２ｆが第一高さ画像と第二高さ画像を合成する高さ画像合成アルゴリズムについて説明する。この例では、合成モード選択部７５により選択された合成モードに従って、画像合成処理が行われる。
（合成モード選択部７５）

合成モード選択部７５では、第一合成モードと第二合成モードを選択できる。第一合成モードは、合成画像生成部３２ｆが三次元合成画像を生成する際に、三次元合成画像を構成する各画素について、第一投受光部と第二投受光部の両方で計測がなされた三次元データに基づいて三次元合成画像を生成する合成モードである。第一合成モードは、信頼度を優先したモードであり、ノイズ除去処理として好適に利用できる。

一方、第二合成モードは、第一投受光部と第二投受光部のいずれか一方又は両方で計測がなされた三次元データに基づいて三次元合成画像を生成する合成モードである。第二合成モードは、計測を優先したモードであり、死角除去処理として好適に利用できる。このような合成モードをユーザが選択可能としたことで、ワークや検査目的、種別等に応じて、死角領域の計測を行うことを優先するか、計測値の信頼性を優先するかをユーザが選択することが可能となる。特に、死角等により一方の投受光部で計測できなかった画素を他方の計測できた三次元データで補完する計測優先モードに加えて、両方の投受光部で測定できた画素に対しても、信頼度の高い三次元データを優先的に用いることにより、計測の信頼性を高めた三次元画像検査が実現できる。

このような合成モードの選択を行う合成モード選択部７５の一態様として、図２１に示す三次元画像検査装置の操作プログラムのユーザインターフェース画面では、高さ画像合成条件設定欄８６に設けた「合成タイプ」選択欄８７を配置している。「合成タイプ」選択欄８７から、合成モードを、例えばドロップダウンリスト中から選択する。例えば、信頼度優先、計測優先、高低差計測などを選択することができる。信頼度優先は、信頼度優先モード（第一合成モード）であり、ノイズの少ない高さ合成画像を得たい場合に適する。また計測優先は計測優先モード（第二合成モード）であり、死角の少ない高さ合成画像を得たい場合に適する。さらに高低差計測は、キャリブレーションの誤差を確認したい場合等に利用できる。
（計測優先モード）

計測優先モードでは、主に死角を低減することを目的とする。この合成モードでは、第一高さ画像と第二高さ画像の対応する各画素について、論理的なＯＲに近い計測となる。すなわち、一方の高さ画像で無効画素となる場合は、もう一方の高さ画像から対応する画素を使用する。このようにして、なるべく多くの画素で計測値が得られるように処理していく。なお、２つの高さ画像で共に画素値（高さ情報）が得られていない場合には、この画素を無効とする。一方で、２つの高さ画像で共に画素値が得られている場合には、例えばこれらの平均とする。この合成モードによれば、一方の高さ画像で死角に入っているひげ状ノイズに対しては除去効果が得られる。

計測優先モードによれば、死角を低減することができる。原理的に発生する死角については、１台のヘッド部による１回の走査だけで無くすことは難しいところ、複数台のヘッド部を利用することによって、１回の走査でも死角を大きく低減することが可能となる。
（信頼度優先モード）

一方、信頼度優先モードでは、ノイズを低減することが期待できる。この合成モードでは、第一高さ画像と第二高さ画像の対応する各画素について、論理的なＡＮＤに近い計測となる。すなわち、一方の高さ画像で無効画素となる場合は、無効画素とする。無効画素は、表示部６に高さ合成画像を表示させる際、高さ計測ができていない領域として黒で塗り潰す。
（高さ情報の高低差）

この合成モードでは、信頼度の高い画素を残すように、いいかえると信頼度の低い画素を排除するように処理する。ここで、十分な信頼度が得られているかどうかは、得られた高さ情報の高低差によって判断する。具体的には、第一高さ画像と第二高さ画像の対応する画素でそれぞれ計測された高さの高低差が、許容範囲を超えた場合には、この画素を無効画素とする。この設定は、図２１の高さ合成画像条件設定画面８０の、高さ画像合成条件設定欄８６に設けられた「許容高さ誤差」設定欄８８で行う。ここでは、許容高さ誤差として、許容される高低差をユーザが指定する。この「許容高さ誤差」設定欄８８は、信頼度優先モードを選択した場合にのみ有効となる。

また、２つの高さ画像で共に画素値が得られている場合には、単純な平均とする。あるいは、後述する輝度画像の情報を参照して、信頼度の高い画素を用いたり、重み付き平均を取ることもできる。

なお、無効画素となった場合に、周囲の画素値から推測した画素値を入力することもできる。例えば周囲の画素値から平均した値を、画素値として無効画素に指定する。

このように信頼度優先モードによれば、容易にひげ状のノイズを除去することができる。一例として、ワークに対して得られた図１５、図１６の第一高さ画像ＨＥＩ１、第二高さ画像ＨＥＩ２を、信頼度優先モードで合成した高さ合成画像ＨＦＩ１を図２２に示す。図１７と比較すれば明らかなとおり、ひげ状のノイズが強力に除去されていることが確認できる。同様に別のワークに対して得られた図１８、図１９の第一高さ画像ＨＥＩ１’、第二高さ画像ＨＥＩ２’を、信頼度優先モードで合成した高さ合成画像ＨＦＩ１’を図２３に示す。この例においても、図１８等と対比すれば、ひげ状のノイズが除去されていることが判る。従来は、このようなひげ状のノイズを無効画素化するために、様々なフィルタ処理や設定のチューニングを行う必要があったところ、複数のヘッド部を用いた高さ画像を組み合わせることで、簡単にひげ状ノイズの除去が期待できる。またこの構成であれば、簡単に行える上、フィルタ等に関する知識も不要なことから、初心者であっても容易に利用できる利点も得られる。
（輝度画像の取得）

また三次元画像検査装置は、このような三次元データを取得する一方で、ワークの表面の輝度情報で各画素を示した輝度情報も取得できる。この輝度情報を利用して輝度画像を生成することも可能である。このような輝度画像の生成は、輝度画像生成部３２ｇで行われる。輝度画像生成部３２ｇで生成された輝度画像ＢＲＩの一例を、図２４に示す。

ここで、輝度画像生成部３２ｇが輝度画像を生成する手順の一例を、高さ画像の生成と対比しながら図２５Ａ〜図２５Ｈに基づいて説明する。ここでは、図６Ａに示したワークＷＫ１をヘッド部２で撮像して、高さ画像と輝度画像を生成する様子を説明する。

ワークＷＫ１は、図２５Ａに示すように灰色の直方体状で、白色の置き台ＳＴの上に置かれている。この置き台ＳＴは、ワークＷＫ１よりも一回り大きい板状で、ワーク搬送機関１の一形態である黒色のコンベアＣＶ上に置かれて、Ｙ軸方向に搬送される。このようなワークＷＫ１を含む検査対象に対して、レーザ光ＬＢを走査位置ＳＣＮにおいてＸ軸方向照射し、その反射光を受光素子で受光して得られる受光画像ＤＥＩは図２５Ｂのようになる。図２５Ｂにおいて、反射光が得られた画素は、白い点状で表され、また反射光が得られない領域は黒く表示される。このような受光画像ＤＥＩに対して、レーザ光ＬＢを走査した走査位置ＳＣＮの高さ情報を示す二次元プロファイルを取得すると、図２５Ｃに示すようになる。この二次元プロファイル２ＤＰを、各走査位置毎にそれぞれ求めて、図２５Ｄに示すようにこれらを合成することで、高さ画像ＨＥＩ’が得られる。高さ画像ＨＥＩ’は、高さ情報を輝度や色相を異ならせて表現する。図２５Ｅの例では、高さの高い部位ほど輝度が高くなるようにモノクロで表示される。この結果、得られる高さ画像ＨＥＩ’は図２５Ｅに示すように、ワークＷＫ１の部分が最も高いので白色に表示され、次いで置き台ＳＴが高いため灰色に、最後にコンベアＣＶが黒色に、それぞれ表示される。

一方で輝度画像ＢＲＩ’については、以下のようにして輝度画像生成部３２ｇで生成される。まず図２５Ｂの受光画像ＤＥＩから、図２５Ｆに示す輝度プロファイルＢＲＰが生成される。輝度プロファイルＢＲＰは、輝度の大きさ（明るさ）に基づいて生成される。すなわち受光画像ＤＥＩのピークの階調値を使うことで、濃淡すなわち輝度を示す輝度プロファイルＢＲＰが得られる。図２５Ｆの輝度プロファイルＢＲＰは、白色の置き台ＳＴの部分が最も大きくなり、次いで灰色のワークＷＫ１、最後にコンベアＣＶの順となる。このようにして得られた輝度プロファイルＢＲＰを記憶部３１に保持する。さらに走査位置毎に得られた受光画像ＤＥＩから輝度プロファイルＢＲＰを生成して、それぞれ記憶部３１に保持し、得られた各輝度プロファイルＢＲＰを図２５Ｇに示すように合成して、輝度画像ＢＲＩ’が生成される。図２５Ａから得られた輝度画像ＢＲＩ’を図２５Ｈに示す。この図に示す輝度画像ＢＲＩ’は、図２５Ａと同様に、ワークＷＫ１が灰色に、置き台ＳＴが白色に、コンベアＣＶが黒色に、それぞれ表示される。

このように、高さ情報を示す二次元プロファイルを並べると高さ画像ＨＥＩ’が得られ、濃淡情報を示す輝度プロファイルＢＲＰを並べると輝度画像ＢＲＩ’が得られる。なお以上の例では、説明の都合上、高さ画像ＨＥＩ’と輝度画像ＢＲＩ’の生成手順を個別に説明したが、実際には、これら高さ画像ＨＥＩ’と輝度画像ＢＲＩ’の生成を同時に並行させて行うこともできるし、また高さ画像ＨＥＩ’と輝度画像ＢＲＩ’を順次生成することもできる。この場合の生成順序は問わない。

また、第一投受光部で得られた第一輝度データと、第二投受光部で得られた第二輝度データを合成して、輝度合成画像を生成することもできる。このように、輝度画像についても異なる角度から取得した輝度データを合成することで、死角の部分を他方の投受光部で補填した、欠損の少ない輝度合成画像を得ることができ、このような輝度合成画像を使った外観検査も可能となる。なお、このような輝度合成画像の生成は、例えば輝度画像生成部３２ｇで行わせる。
（輝度情報を利用した死角判定）

さらに、得られた輝度情報を、画像合成機能の実行時において各画素の信頼度を示す指標として利用することもできる。例えば図２１に示す三次元画像検査装置の操作プログラムのユーザインターフェース画面において、「輝度値での死角判定」設定欄８９のチェックボックスをＯＮすると、輝度情報を用いた死角判定が行われる。輝度情報を用いた死角判定を行う場合、死角の部分はその画素の輝度がなく、黒く表示される。よって、輝度画像において黒い部分を死角と判定して、画像合成機能の実行時には死角と判定された画素を排除することで、信頼性を高めた画像合成を実現できる。

また、対応する画素の輝度値の差が所定の閾値よりも大きい場合に、輝度値の小さい画素の三次元データの信頼度が低いと判定するよう構成してもよい。すなわち、上述した高さ情報の高低差と同様、２枚の高さ画像で輝度値が大きく異なって得られた場合は、いずれかの輝度値が正確でないと予想されることから、この画素の信頼度を低いとみなす。

さらに、輝度値の高さを信頼性の高さと対応させても良い。例えば、第一高さ画像と第二高さ画像の対応する画素において、共に画素値が得られている場合において、輝度値の大きい方を採用し、低い方を削除するように構成することができる。あるいは、輝度値の低い画素の情報を完全に排除するのでなく、重み付けを加味しても良い。例えば、輝度値が１００の画素と輝度値が６０の画素を合成する際、輝度値１００を重み付け１００％とし、輝度値６０を重み付け１０％として、高さ合成画像の輝度値を演算する。

ここで、図２５Ａに示すワークＷＫ１を置き台ＳＴ上に載せた検査対象に対して、第一ヘッド部２Ａと第二ヘッド部２Ｂでそれぞれ高さ画像と輝度画像を生成し、これらに基づいて計測優先モードと信頼度優先モードで高さ合成画像をそれぞれ生成する様子を、図２６Ａ〜図ＢＦに基づいて説明する。まず、第二ヘッド部２Ｂで得られた第二高さ画像ＨＥＩ２”を図２６Ａに、第二輝度画像ＢＲＩ２”を図２６Ｂに、それぞれ示す。第二ヘッド部２Ｂは図２に示したように、検査対象の左側から観察しているため、図２６Ａ、図２６Ｂにおいてそれぞれ、右側に死角、すなわち影が生じる。影の領域は高さ情報を検出できない無効画像として、図において斜線で示している。また図２６Ａの第二高さ画像ＨＥＩ２”に示すように置き台ＳＴの左上の第二領域Ａ２でノイズが生じており（図において丸状に示している）、図２６Ｂの第二輝度画像ＢＲＩ２”では対応する第二領域Ａ２において若干暗く表示されている（図において砂状に示している）。第二領域Ａ２の画素は、第二高さ画像ＨＥＩ２”において高さ情報が得られているので、無効画素ではなく有効画素ではあるが、第二輝度画像ＢＲＩ２”において輝度が低いことから、信頼性が低い画素として扱われる。

一方、第一ヘッド部２Ａで得られた第一高さ画像ＨＥＩ１”と第一輝度画像ＢＲＩ１”を、図２６Ｃ、図２６Ｄにそれぞれ示す。第一ヘッド部２Ａは図２に示したように右側から観察しているため、これらの画像において左側に死角が生じ、影として表示されている。また図２６Ｃの第一高さ画像ＨＥＩ１”では、ワークＷＫ１を配置した置き台ＳＴの右上の第一領域Ａ１でノイズが発生しており（図において丸状に示している）、同様に図２６Ｄの第一輝度画像ＢＲＩ１”では対応する第一領域Ａ１が若干暗く表示されている（図において砂状に示している）。この第一領域Ａ１の画素についても、第一高さ画像ＨＥＩ１”において高さ情報が得られているので、無効画素ではなく有効画素ではあるものの、第一輝度画像ＢＲＩ１”において輝度が低いことから、信頼性が低い画素として扱われる。

このようにして得られた第一高さ画像ＨＥＩ１”と第二高さ画像ＨＥＩ２”を合成して、高さ合成画像を得る際、計測優先モードを選択した場合は、図２６Ｅに示す第二高さ合成画像ＨＦＩ２”が得られる。ここでは、第二輝度画像ＢＲＩ２”で信頼性が低いと判断された第二領域Ａ２については、より信頼性の高い、第一高さ画像ＨＥＩ１”中の対応する領域の画素から高さ情報が優先的に採用される結果、図において破線で示す第二領域Ａ２においてノイズが低減又は排除されている。同様に、第一輝度画像ＢＲＩ１”で信頼性が低いとされた第一領域Ａ１についても、第二高さ画像ＨＥＩ２”中の対応する領域の、信頼性の高い画素から高さ情報が優先的に採用されるので、図において破線で示す第一領域Ａ１においてノイズが低減乃至削除されている。さらに、第二高さ画像ＨＥＩ２”の右側に生じていた死角、及び第一高さ画像ＨＥＩ１”の左側に生じていた死角の画素も、それぞれ対応する領域の高さ情報を他方の高さ画像中の画素から利用することで、これらの死角の部分の無効画素に高さ情報が得られ、有効画素となる。このように、計測優先モードで合成された第二高さ合成画像ＨＦＩ２”では、一のヘッド部で生成した高さ画像では見られたノイズや死角を、消去することが可能となる。

一方、信頼度優先モードで合成された第一高さ合成画像ＨＦＩ１”を、図２６Ｆに示す。この第一高さ合成画像ＨＦＩ１”では、第二領域Ａ２において、第二高さ画像ＨＥＩ２”で得られた高さ情報と、第一高さ画像ＨＥＩ１”で得られた高さ情報との差が所定値よりも大きいため、これらの画素を無効画素とする。同様に第一領域Ａ１においても、第一高さ画像ＨＥＩ１”で得られた高さ情報と、第二高さ画像ＨＥＩ２”で得られた高さ情報との差が所定値よりも大きいため、これらの画素を無効画素とする。この結果、第二高さ画像ＨＥＩ２”ではノイズとして表示されていた第二領域Ａ２は無効画素に、第一高さ画像ＨＥＩ１”ではノイズとして表示されていた第一領域Ａ１も無効画素となる。同様に、第二高さ画像ＨＥＩ２”において死角となった無効画素の領域、及び第一高さ画像ＨＥＩ１”において死角となった無効画素の領域も、共に無効画素となる。このように、第一高さ合成画像ＨＦＩ１”では無効画素が第二高さ合成画像ＨＦＩ２”よりも増える。なお、信頼度優先モードで得た第一高さ合成画像ＨＦＩ１”では、例えば置き台ＳＴ上の高さを精度良く測定したい場合等に、無効画素となった領域を除いて測定位置を指定する。このような計測目的においては、高さ合成画像中に無効画素が多くても、信頼度の高い領域が得られている以上は計測に差し支えないと思われ、寧ろ信頼性の低い画素を排除していることから、測定精度が担保され、その有用性は十分に担保される。

以上の構成によって、計測優先モードで死角を低減することに加え、信頼度優先モードを提供することで、両方のヘッド部で測定できた画素の計測精度を向上させることができる。また、複数の投受光部を内蔵した専用のヘッド部を新たに設計せずとも、既存のレーザ変位計をヘッド部として用いることで、これらを複数用意して対応できるので、既存のシステムを利用しつつ、死角の低減と測定精度の向上を図ることが可能となる。

以上の例では、第一投受光部と第二投受光部の２つを用いた構成を説明した。ただ、本発明は投受光部の数を２つに限定せず、３以上の投受光部を設けてもよい。また、投受光部を設けるヘッド部の数も限定せず、各投受光部を個別のヘッド部に設けてもよいし、あるいは共通のヘッド部に２以上の投受光部を収納する構成としてもよい。

本発明の三次元画像検査装置、三次元画像検査方法は、ライン上を搬送されるワークの外観検査に利用できる。

１００、２００…三次元画像検査装置
１…ワーク搬送機構；１ｂ…エンコーダ信号生成部；１Ｂ…ヘッド搬送機構
２…ヘッド部；２Ａ…第一ヘッド部；２Ｂ…第二ヘッド部
３…コントローラ部
４…制御装置
５…画像入力部
６…表示部；６ａ…第一の三次元合成画像表示領域；６ｂ…第二の三次元合成画像表示領域；６ｃ…第一の三次元データ表示領域；６ｄ…第二の三次元データ表示領域
７…操作部
８…トリガ入力部
２１Ａ…第一投光部；２１Ｂ…第二投光部
２２Ａ…第一受光部；２２Ｂ…第二受光部
２３Ａ…第一の二次元プロファイル生成部；２３Ｂ…第二の二次元プロファイル生成部
３１…記憶部；３１ａ…補正前の三次元データ記憶領域；３１ｂ…補正後の三次元データ記憶領域；３１ｃ…ワークメモリ記憶領域；３１ｄ…入力プロファイルメモリ記憶領域；３１ｅ…設定データメモリ記憶領域；３１ｆ…位置調整パラメータ記憶領域
３２…演算部；３２ｄ…三次元データ生成部；３２ｅ…検査部；３２ｆ…合成画像生成部；３２ｇ…輝度画像生成部
３３…媒体読取部
３４…設定部
７４…補正モード選択部
７５…合成モード選択部
８０…高さ合成画像条件設定画面
８２…重ね合わせ条件設定欄
８３…「検出領域設定」ボタン
８４…「重ね合わせ実行」ボタン
８５…「補正値確認」ボタン
８６…高さ画像合成条件設定欄
８７…「合成タイプ」選択欄
８８…「許容高さ誤差」設定欄
８９…「輝度値での死角判定」設定欄
ＷＫ、ＷＫ１、ＷＫＰ、ＷＫＳ…ワーク
ＬＢ…レーザ光
ＳＴ…置き台
ＣＶ…コンベア
ＨＥＩ１、ＨＥＩ１’、ＨＥＩ１”…第一高さ画像
ＨＥＩ２、ＨＥＩ２’、ＨＥＩ２”…第二高さ画像
ＨＦＩ１、ＨＦＩ１’、ＨＦＩ２、ＨＦＩ２’…高さ合成画像
ＨＦＩ１”…第一高さ合成画像；ＨＦＩ２”…第二高さ合成画像
ＢＲＩ、ＢＲＩ’…輝度画像
ＳＣＮ…走査位置
ＤＥＩ…受光画像
２ＤＰ…二次元プロファイル
ＨＥＩ’…高さ画像
ＢＲＰ…輝度プロファイル
Ａ１…第一領域；Ａ２…第二領域

Claims (18)

1. 検査対象物の高さ情報に基づいて外観検査を行うための三次元画像検査装置であって、
   検査対象物に測定光を第一入射角度で照射し、第一反射角度で検査対象物から反射される反射光を受光するための第一投受光部と、
   検査対象物に、第二入射角度で測定光を照射し、第二反射角度で検査対象物から反射される反射光を受光するための第二投受光部と、
   三角測量の原理により、前記第一投受光部から得られた第一受光量データに基づいて第一の三次元データを生成し、前記第二投受光部から得られた第二受光量データに基づいて第二の三次元データを生成するための三次元データ生成部と、
   前記第一の三次元データ及び第二の三次元データを合成し、高さ方向の情報を有する三次元合成画像を生成するための合成画像生成部と、
   前記合成画像生成部で合成された三次元合成画像を表示させるための表示部と、
   前記合成画像生成部が三次元合成画像を生成する際に、該三次元合成画像を構成する各画素について、前記第一の三次元データ及び前記第二の三次元データ内で対応する画素の画素値が両方とも得られている画素は前記両方の画素値に基づいて当該画素の計測値を得ると共に、前記対応する画素の内、少なくとも一方の画素値が得られていない画素は計測値が存在しない無効画素とすることにより三次元合成画像を生成する信頼度優先モードである第一合成モードと、前記対応する画素の少なくとも一方の画素値が得られている画素は、該少なくとも一方の画素値に基づいて当該画素の計測値を得ると共に、前記対応する画素の両方の画素値が得られていない画素は計測値が存在しない無効画素とする三次元合成画像を生成する計測優先モードである第二合成モード
   を選択可能な合成モード選択部と、
   前記合成画像生成部で合成された三次元合成画像に基づいて検査対象物の外観検査を行うための検査部と、
   を備える三次元画像検査装置。
2. 請求項１に記載の三次元画像検査装置であって、
   前記合成画像生成部は、
   前記第一合成モードにおいて、三次元合成画像のノイズ除去処理を行い、
   前記第二合成モードにおいて、三次元合成画像の死角除去処理を行う三次元画像検査装置。
3. 請求項１又は２に記載の三次元画像検査装置であって、
   前記第一入射角度と第二入射角度が、又は前記第一反射角度と第二反射角度が、異なる角度である三次元画像検査装置。
4. 請求項１〜３のいずれか一項に記載の三次元画像検査装置であって、
   前記合成画像生成部は、
   前記第一合成モードでは、前記第一の三次元データ及び第二の三次元データの内、両方が有効データである画素の値を有効画素とし、
   前記第二合成モードでは、前記第一の三次元データ及び第二の三次元データの内、いずれか一方でも有効データである画素の値を有効画素とする三次元画像検査装置。
5. 請求項１〜４のいずれか一項に記載の三次元画像検査装置であって、
   前記第一投受光部及び第二投受光部は、それぞれ三次元データと共に、検査対象物の輝度情報を出力するよう構成してなる三次元画像検査装置。
6. 請求項５に記載の三次元画像検査装置であって、
   前記輝度情報が輝度プロファイルであり、該輝度プロファイルを連結して輝度画像を生成可能に構成してなる三次元画像検査装置。
7. 請求項５又は６に記載の三次元画像検査装置であって、
   前記合成画像生成部は、前記第一合成モードにおいて、輝度情報に基づいて、前記第一の三次元データと第二の三次元データの信頼度を決定してなる三次元画像検査装置。
8. 請求項５〜７のいずれか一項に記載の三次元画像検査装置であって、
   前記合成画像生成部は、第一の三次元データ及び第二の三次元データの対応する画素で共に高さ情報が得られている場合は、輝度情報に基づいて信頼度の高いデータを当該画素の高さ情報とするよう構成してなる三次元画像検査装置。
9. 請求項５〜８のいずれか一項に記載の三次元画像検査装置であって、
   対応する画素の輝度値の差が所定の閾値よりも大きい場合に、該輝度値の小さい画素の三次元データの信頼度が低いと判定するよう構成してなる三次元画像検査装置。
10. 請求項５〜９のいずれか一項に記載の三次元画像検査装置であって、さらに、
    前記第一投受光部で得られた第一輝度データと、前記第二投受光部で得られた第二輝度データを合成して、輝度合成画像を生成する輝度画像生成部を備える三次元画像検査装置。
11. 請求項１〜１０のいずれか一項に記載の三次元画像検査装置であって、
    前記第一合成モードにおいて、２つの三次元データの対応する画素で共に高さ情報が得られている場合、信頼度の高いデータを優先的に採用するよう構成してなる三次元画像検査装置。
12. 請求項１〜１１のいずれか一項に記載の三次元画像検査装置であって、
    前記合成画像生成部は、前記第一の三次元データ及び第二の三次元データの対応する画素で共に高さ情報が得られている場合は、２つの高さ情報を平均化するよう構成してなる三次元画像検査装置。
13. 請求項１〜１２のいずれか一項に記載の三次元画像検査装置であって、
    前記合成画像生成部は、第一の三次元データ及び第二の三次元データの対応する画素の高さ情報の差が所定値の場合に、該画素の信頼度が低いと判定するよう構成してなる三次元画像検査装置。
14. 請求項１〜１３のいずれか一項に記載の三次元画像検査装置であって、さらに、
    前記三次元データ生成部で生成された第一の三次元データ、第二の三次元データの座標空間における対応関係を規定した位置調整パラメータを記憶するための記憶部を備え、
    前記合成画像生成部は、前記記憶部で記憶された位置調整パラメータに基づいて、第一の三次元データ及び第二の三次元データを合成し、高さ方向の情報を有する三次元合成画像を生成するよう構成されてなる三次元画像検査装置。
15. 請求項１〜１４のいずれか一項に記載の三次元画像検査装置であって、
    前記表示部は、前記合成画像生成部により、
    前記第一合成モードで合成された第一の三次元合成画像と、
    前記第二合成モードで合成された第二の三次元合成画像を、並べて表示可能としてなる三次元画像検査装置。
16. 請求項１〜１４のいずれか一項に記載の三次元画像検査装置であって、
    前記表示部は、前記第一の三次元データ、前記第二の三次元データを並べて表示可能としてなる三次元画像検査装置。
17. 請求項１〜１６のいずれか一項に記載の三次元画像検査装置であって、
    前記合成画像生成部で合成される三次元合成画像が、高さ方向の情報を各画素の画素値とする高さ画像である三次元画像検査装置。
18. 検査対象物の高さ情報を有する三次元合成画像に基づいて外観検査を行う三次元画像検査方法であって、
    三次元合成画像を生成する際に、該三次元合成画像を構成する各画素について、前記第一の三次元データ及び前記第二の三次元データ内で対応する画素の画素値が両方とも得られている画素は前記両方の画素値に基づいて当該画素の計測値を得ると共に、前記対応する画素の内、少なくとも一方の画素値が得られていない画素は計測値が存在しない無効画素とすることにより三次元合成画像を生成する信頼度優先モードである第一合成モードと、前記対応する画素の少なくとも一方の画素値が得られている画素は、該少なくとも一方の画素値に基づいて当該画素の計測値を得ると共に、前記対応する画素の両方の画素値が得られていない画素は計測値が存在しない無効画素とする三次元合成画像を生成する計測優先モードである第二合成モードのいずれかの選択を、ユーザに促す工程と、
    検査対象物に第一投受光部で測定光を第一入射角度で照射し、第一反射角度で検査対象物から反射される反射光を受光する一方、同じ検査対象物に、第二投受光部で第二入射角度で測定光を照射し、第二反射角度で検査対象物から反射される反射光を受光して、三角測量の原理により、前記第一投受光部から得られた第一受光量データに基づいて第一の三次元データを生成する一方、前記第二投受光部から得られた第二受光量データに基づいて第二の三次元データを生成する工程と、
    前記第一の三次元データ及び第二の三次元データを合成し、高さ方向の情報を有する三次元合成画像を生成するに際して、前記第一合成モードと第二合成モードのいずれかの選択に従い、
    前記第一合成モードが選択されている場合は、三次元合成画像を構成する各画素について、前記第一投受光部及び第二投受光部の両方で計測がなされた三次元データに基づいて三次元合成画像を生成し、
    前記第二合成モードが選択されている場合は、第一投受光部及び第二投受光部のいずれか一方又は両方で計測がなされた三次元データに基づいて三次元合成画像を生成する工程と、
    前記合成画像生成部で合成された三次元合成画像を表示部に表示させる工程と、
    前記合成された三次元合成画像に基づいて検査対象物の外観検査を行う工程と、
    を含む三次元画像検査方法。