JP3609284B2

JP3609284B2 - 検出装置

Info

Publication number: JP3609284B2
Application number: JP13424999A
Authority: JP
Inventors: 晴久奥田; 橋本　　学; 和彦鷲見
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1999-05-14
Filing date: 1999-05-14
Publication date: 2005-01-12
Anticipated expiration: 2019-05-14
Also published as: JP2000321035A

Description

【０００１】
【発明の属する技術分野】
本発明は、パターン成分の抽出にあたって特別な閾値調整を行なう必要のない検出装置に関するものである。
【０００２】
【従来の技術】
従来から、対象物あるいは作業環境に関する距離分布情報や立体形状に関する情報を得る場合に、対象物に計測用パターン光を照射して対象物の画像（以下、「対象物画像」と呼ぶ）を処理することで、対象物の形状特徴を抽出したり、ステレオ視の際の画像間対応を容易にする手法がある。
【０００３】
これらの手法では、いずれも計測用パターン光の照射された対象物画像から、計測用パターン光のみに基づく成分（以下、「パターン成分」と呼ぶ）を精度良く抽出することが重要である。しかし、対象物画像を直接２値化処理した場合には、対象物自身の信号成分（以下、「背景成分」と呼ぶ）の影響を受けて、計測用パターン光を精度良く抽出することが困難である。また、計測用パターン光が密に照射される場合には、迷光の影響、すなわち本来計測用パターン光が照射されていない部分が隣接する計測法パターン光の照射された部分の干渉を受けるため、２値化処理により精度良くパターン成分を抽出することが困難であった。
【０００４】
このような問題点に対して、従来から、計測用パターン光を照射した対象物画像（以下、「パターン照射画像」と呼ぶ）から、計測用パターン光を照射しない状態での対象物画像（以下、「パターン非照射画像」と呼ぶ）を差分処理することで、背景成分を除去して２値化処理する方法が広く用いられてきた。しかし、この手法では迷光の影響の除去を行うことはできない。また、差分後の２値化の際の閾値を合理的に決定することができないため、精度良くパターン成分の抽出を行うことが依然として困難であった。
【０００５】
上記のような迷光の影響を低減する従来技術を記載した文献として、特開平９−１５２３１６号公報（以下、「文献１」と呼ぶ。）がある。この文献１には、パターンを有しない光束を対象物の全面に照射した場合の対象物画像（以下、「全面照射画像」と呼ぶ）を用いて、背景成分の除去、迷光の影響を低減できる形状検査装置が記載されている。
【０００６】
この形状検査装置は、図１２に示すように、検査対象の立体物１に光切断線を照射する光源部２２と、この光源部によって計測用パターン光が照射された立体物の表面を撮像する撮像部１８と、この撮像部１８から出力された光切断線照射画像データの明度を補正するとともに、当該明度補正した光切断線照射画像データ（図示せず）と予め定められた標準モデル画像データ（図示せず）との不一致部分を抽出する画像処理部１２、およびその結果を表示する表示部１３を備えている。
【０００７】
以下、文献１に記載の形状検査装置における、パターン成分の抽出方法に関して説明する。この装置では、まず、上記光学系によってムラのある被写体に計測用パターン光を照射した画像（即ち、パターン照射画像）を得る。このパターン照射物画像の１例を図１３に示す。
【０００８】
次いで、同じ光学系で計測用パターン光を発生させるためのスリットを退避させ、全面照射画像を得る。この全面照射画像の１例を図１４に示す。
【０００９】
さらに、パターン照射画像と全面照射画像との両画像の明るさの差の絶対値を取り、それを反転（ＮＯＴ）させ、ある適当な閾値で二値化を行うことにより、パターン成分を抽出することができる。それぞれ異なる閾値を用いてパターン成分を抽出した画像（以下、単に「パターン抽出画像」と呼ぶ。）の例を図１５及び１６に示す。
【００１０】
【発明が解決しようとする課題】
しかし、このような従来の方法では、合理的な２値化閾値を決定することが困難なため、閾値設定によってはパターン成分の抽出が不完全となる。特に隣接部分からの干渉光（即ち、迷光）の影響がある場合には閾値設定が困難となる。又、背景画像が暗色である場合など計測用パターン光の反射成分が弱い部分では、抽出ミスが生じる。図１５に示した例でも、この閾値設定では暗色部について誤抽出が生じている。逆に、図１６に示したように、この部分を誤抽出しない閾値にした場合、迷光の影響を受けてしまう。
【００１１】
以下に、これらパターン成分の抽出ミスの発生理由について詳細に説明する。着目領域における、計測用パターン光を対象物に照射した際のパターン照射画像内で、着目領域に計測光が照射されている場合（非マスク状態）および計測光が照射されていない場合（マスク状態）についての当該着目領域における画像信号Ｉ_ｏｎ、Ｉ_ｏｆｆ、および全面照射画像の上記着目領域における画像信号Ｉ_ｆｕｌｌを、それぞれ定式化すると以下のようになる。
【００１２】
【数１】

【００１３】
ここで、
Ｉ_ａ：対象物自身の画像信号強度（背景成分）
Ｉ_ｂ：計測光の画像信号強度（パターン成分）
Ｉ_ｃ０：迷光成分画像信号強度（全面照射時の迷光成分）
Ｉ_ｃ１：迷光成分画像信号強度（非マスク状態での迷光成分）
Ｉ_ｃ２：迷光成分画像信号強度（マスク状態での迷光成分）
とする。
【００１４】
次に、全面照射画像の画像信号Ｉ_ｆｕｌｌから、パターン照射画像の画像信号Ｉ_ｏｎ、Ｉ_ｏｆｆを差分処理すると、計測用パターン光の照射／非照射それぞれの場合（即ち、非マスク／マスク状態それぞれ）における演算結果Ｓ_ｏｎ、Ｓ_ｏｆｆは以下のようになる。
【００１５】
【数２】

【００１６】
なお、文献１では、この後さらに反転（ＮＯＴ）の処理を行なっている。ただし、この処理はパターン成分の抽出性能を議論する際において、原理上の違いを与えないので、説明を簡略化するために、以下の説明では、この処理を省略した場合について述べる。
【００１７】
ここで、迷光成分の生成仮定について考察すると、着目領域以外の領域に照射された計測用パターン光が対象物上で乱反射することなどにより、着目領域内の明度成分として観測されるのが主な原因である。このことから、全面照射画像中の迷光成分の方が、部分的に計測光の非照射部分が存在するパターン照射画像中の迷光成分よりも強いと考えられる。従って、Ｉ_ｃ０≧Ｉ_ｃ１、Ｉ_ｃ０≧Ｉ_ｃ２となり、Ｓ_ｏｎとＳ_ｏｆｆを２値化して判別する場合には、その２値化閾値Ｔ_ｓは少なくとも以下の条件を満たさなければならない。
【００１８】
【数３】

【００１９】
しかし、迷光成分を事前に知ることは困難であるために、上記閾値Ｔ_ｓは試行錯誤的に決めざるを得ない。さらに、事前に決定された閾値Ｔ_ｓを迷光成分の差｜Ｉ_ｃ０−Ｉ_ｃ１｜が上回る場合には、計測用パターン光の照射／非照射状態（即ち、非マスク／マスク状態）の判別を誤ることとなる。
【００２０】
図１５に示した例は、閾値Ｔ_ｓが｜Ｉ_ｃ０−Ｉ_ｃ１｜を上回っているものの、Ｉ_ｂが弱いためにＳ_ｏｎ、Ｓ_ｏｆｆの大小関係自体が逆転してしまい、暗色部について誤抽出が生じた事例である。また、図１６に示した例は、閾値Ｔ_ｓが｜Ｉ_ｃ０−Ｉ_ｃ１｜を下回ったために迷光の影響が除去できていない事例である。
【００２１】
さらに、上記で述べたように、合理的な閾値設定ができないことから、計測用パターン光の多階調強度差を判別することは現実的に極めて困難であり、この従来の手法を、多階調強度表現された計測用パターン光のパターン成分の抽出に適用することは困難である。
【００２２】
この発明は、以上のような問題点を鑑みてなされたものであり、パターン成分の抽出にあたって特別な閾値調整を行なう必要がなく、安定した検出性能を実現可能な検出装置を提供することを目的とする。
【００２３】
【課題を解決するための手段】
この発明に係る検出装置は、計測用パターンを有する計測光を計測対象物に照射することで得られる第１の画像、及び上記計測対象物の上記第１の画像が得られる条件とは異なる条件下において得られる第２の画像それぞれの画像信号を画素毎に差分処理し、その差分結果の正負に基づいてパターン成分を抽出する多値化手段を備え、第２の画像が、計測用パターンを有しない計測光を任意強度で計測対象物に照射することで得られる任意強度全面照射画像と、計測光を上記計測対象物に照射しない状態で得られる非照射画像とを任意の割合で加重平均することで生成される画像である、ことを特徴とするものである。
【００２４】
又、計測用パターンを有する計測光を計測対象物に照射することで得られる第１の画像、及び上記計測対象物の上記第１の画像が得られる条件とは異なる条件下において得られる第２の画像それぞれの画素値を画素毎に大小比較して、その比較結果に基づいてパターン成分を抽出する多値化手段を備え、第２の画像が、計測用パターンを有しない計測光を任意強度で計測対象物に照射することで得られる任意強度全面照射画像と、計測光を上記計測対象物に照射しない状態で得られる非照射画像とを任意の割合で加重平均することで生成される画像である、ことを特徴とするものである。
【００２６】
又、計測用パターンを有する計測光を計測対象物に照射することで得られる第１の画像、及び上記計測対象物の上記第１の画像が得られる条件とは異なる条件下において得られる第２の画像それぞれの画像信号を画素毎に差分処理し、その差分結果の正負に基づいてパターン成分を抽出する多値化手段を備え、第２の画像が、計測用パターンを有しない計測光を任意強度で計測対象物に照射し任意の露光時間撮像することで得られる可変露光全面照射画像と、計測光を上記計測対象物に照射しない状態で任意の露光時間撮像することで得られる可変露光非照射画像とを任意の割合で加算することで生成される画像である、ことを特徴とするものである。
【００２７】
又、計測用パターンを有する計測光を計測対象物に照射することで得られる第１の画像、及び上記計測対象物の上記第１の画像が得られる条件とは異なる条件下において得られる第２の画像それぞれの画素値を画素毎に大小比較して、その比較結果に基づいてパターン成分を抽出する多値化手段を備え、第２の画像が、計測用パターンを有しない計測光を任意強度で計測対象物に照射し任意の露光時間撮像することで得られる可変露光全面照射画像と、計測光を上記計測対象物に照射しない状態で任意の露光時間撮像することで得られる可変露光非照射画像とを任意の割合で加算することで生成される画像である、ことを特徴とするものである。
【００２８】
又、任意強度全面照射画像中で強度飽和している領域においては、上記任意強度全面照射画像に代えて、該任意強度全面照射画像を得るための任意強度よりも弱い強度でパターンを有しない計測光を計測対象物に照射することで得られる弱強度全面照射画像を用いる、ことを特徴とするものである。
【００２９】
【発明の実施の形態】
実施の形態１．
図１は、本実施の形態における計測光の照射手段および撮像手段の構成を模式的に示した図である。図１において、計測光照射手段１０は、光源１０ａとその出力調整を行う出力調整手段１０ｂと光マスク１０ｃによって構成され、光源１０ａで発生した光は、部分的に多段階強度での透過が可能な光マスク１０ｃを経由して計測対象物４０上に、計測用パターン光５０を照射する。この計測用パターン光５０は、１次元的に広がったスリット上の離散的なパターンであってもよいし、２次元的な広がりを持つ面パターン、あるいはランダムドット光のような離散的なパターンであってもよい。また、光源自体が計測用パターンを発生可能な点光源列を用いた場合には光マスク１０ｃはなくてもよい。
【００３０】
この計測用パターン光５０と計測対象物自身の光像は撮像手段１１において、レンズ系１１ａを介して、複数個の光電変換素子１１ｂにて撮像される。この光電変換素子１１ｂは、計測用パターン光５０に応じて、ＴＶカメラのような二次元走査の可能な撮像装置でもよいし、ＣＣＤやフォトダイオードを用いて一次元走査するものであってもよい。
【００３１】
このように構成したとき、出力調整手段１０ｂで出力調整され、光マスク１０ｃで部分的にマスクされた計測用パターン光５０が照射された対象物像が光電変換素子１１ｂに撮像される。この光マスク１０ｃは機械的なものでも実現できるが、多段階強度でマスク可能な液晶シャッターを用いて構成する方がより適している。
【００３２】
図２は、本実施の形態における検出処理系１０８、計測光照射手段１０及び計測コントロール手段１０９の関係を示したブロック図である。以下では、説明の簡単化のために計測用パターン光が照射／非照射の二段階照射であって、後述する多値化手段１１６において２値化処理を行う場合について述べるが、多値化への拡張は容易である。
【００３３】
まず、計測光照射手段１０から出力調整手段１０ｂによって出力調整された計測光は対象物に照射される。その対象物像は、撮像手段１１によって撮像され、その映像信号１１２は、Ａ／Ｄ変換手段１１３によって、アナログ−デジタル変換され、この変換された対象物画像の画像信号１１４は、例えばメモリによって構成されるデータ蓄積手段１１５においてデジタルデータとして蓄積される。
【００３４】
次に、データ蓄積手段１１５に蓄積されたパターン照射画像（第１の画像）と、パターンを有しない計測光を前記パターン照射時の１／２強度で照射した対象物画像（以降、「１／２強度全面照射画像（第２の画像）」と呼ぶ）とを、多値化手段１１６において演算処理する。
【００３５】
多値化手段１１６での演算処理は例えば、図１２に示したようなパターン照射画像から、図３に示すような１／２強度全面照射画像を各画素について差分処理し、処理後の値が正符号の場合は計測用パターン光照射部分、０以下の場合は計測用パターン光非照射部分と判定して、２値化処理を行うことで高精度な判定が可能である。このようにして求められたパターン抽出画像を図４に示す。あるいはパターン照射画像と１／２強度全面照射画像の画素値を大小比較し、パターン照射画像の画素値が大きい場合には計測用パターン光照射部分、それ以外の場合は計測用パターン光非照射部分と判定しても良い。
【００３６】
この多値化手段１１６での演算処理により求められたパターン成分の抽出結果に基づき、対象物の検出を行う。
又、以上の一連の処理は、計測コントロール手段１０９によって統括的にコントロールされる。この計測コントロール手段１０９はパーソナルコンピューターあるいは組込み型マイコンを用いて実現が可能である。
【００３７】
以下に、図５を用いて、本実施の形態におけるパターン成分の抽出方法について説明する。ここで、図５は本実施の形態におけるパターン成分の抽出方法を示すフローチャートである。
まず、計測光照射手段１０から計測用パターン光を対象物に照射して、撮像手段１１により撮像することで、パターン照射画像を得る。
次に、出力調整手段１０にて計測用パターン光を１／２強度に調整する。
この１／２強度のパターンを有しない計測光を対象物に照射し、撮像することで、１／２強度全面照射画像を得る。
そして、多値化手段１１６での１／２強度全面照射画像を用いた演算処理により、パターン照射画像からパターン成分を抽出する。
【００３８】
なお、以上では計測用パターン光が二段階照射である場合について述べたが、パターン光が多段階強度照射されたものである場合には、対応する複数強度全面照射画像を予め取得しておくことで本手法を適用可能である。
【００３９】
次に、本実施の形態の効果を原理的に説明するために、信号処理方式について説明する。まず、計測用パターン光を対象物に照射した際のパターン照射画像内で、着目領域に計測光が照射されている場合（非マスク状態）および計測光が照射されていない場合（マスク状態）についての当該着目領域における画像信号Ｉ_ｏｎ、Ｉ_ｏｆｆ、および１／２強度全面照射画像の上記着目領域における画像信号Ｉ_ｈａｌｆを、それぞれ定式化すると以下のようになる。
【００４０】
【数４】

【００４１】
ここで、
Ｉ_ａ：対象物自身の画像信号強度（背景成分）
Ｉ_ｂ：計測光の画像信号強度（パターン成分）
Ｉ_ｃｍ：迷光成分画像信号強度（１／２強度全面照射時の迷光成分）
Ｉ_ｃ１：迷光成分画像信号強度（非マスク状態での迷光成分）
Ｉ_ｃ２：迷光成分画像信号強度（マスク状態での迷光成分）
とする。
【００４２】
ここで、パターン照射画像から１／２強度全面照射画像を差分処理すると、計測光の照射、非照射状態（即ち、非マスク状態、マスク状態）それぞれにおける演算結果Ｓ_ｏｎ、Ｓ_ｏｆｆは以下のようになる。
【００４３】
【数５】

【００４４】
ここで、迷光成分の生成仮定について考察すると、着目領域以外に照射された計測光が対象物上で乱反射することなどにより、着目領域内の明度成分として観測されるのが主な原因である。従って、迷光成分の画像信号強度も計測光の照射出力にほぼ比例すると考えられる。
【００４５】
ただし、計測光を全面照射した場合の方が、部分的に計測光の非照射部分が存在する計測用パターン照射画像中の迷光成分よりも多くの迷光成分の影響を受けていることを考えると、比例成分の他に補正値ｄＩ_ｃｍ１、ｄＩ_ｃｍ２（≧０）が必要となる。以上の議論より以下の関係が導かれる。
【００４６】
【数６】

【００４７】
したがって、上記演算結果Ｓ_ｏｎ、Ｓ_ｏｆｆは、
【００４８】
【数７】

【００４９】
となり、迷光が存在しても演算結果Ｓ_ｏｎ、Ｓ_ｏｆｆの符号判定のみで、合理的にパターンの照射／非照射状態（即ち、非マスク／マスク状態）を判別でき、そのため、計測用パターン光照射部分と計測用パターン光照射部分とを精度良く検出でき、特別な判定閾値を設定しなくてもパターン成分の抽出が可能となることがわかる。
【００５０】
なお、ここで迷光および補正値の生成仮定から考えて以下の関係が成立するとした。
【００５１】
【数８】

【００５２】
以上のように、本実施の形態においては、背景成分の除去と計測用パターン光の迷光の影響をなくすため、パターンを有しない計測光を複数段階強度で計測対象物に照射した複数強度全面照射画像を基に、多段階強度照射された計測用パターンを検出する。
【００５３】
例えば、計測光照射／非照射の２段階強度でパターン光照射されている場合、パターン照射画像から１／２強度で照射した１／２強度全面照射画像を差分処理した後、正の部分を計測光照射部分、負の部分を計測光非照射部分と判定することで、背景成分の除去と計測用パターン光の迷光の影響をなくした高精度なパターン成分の抽出が可能である。
このようにして抽出されたパターン成分を用ることで、高精度な対象物の検出が可能となる。
【００５４】
また、計測光の多段階強度の中間値を判定基準値とするという合理的な理由により閾値設定の困難さを伴わず、常に安定した性能を実現できる。
さらに、複数強度全面照射画像を同時に用いることで、多段階強度の計測用パターン光を用いた場合においても、パターン成分抽出が極めて容易かつ合理的に行える。
【００５５】
また、Ｎ段階の強度判別に必要な複数強度全面照射画像数も（Ｎ−１）枚で済み、特に強度段階が少ない複数の計測用パターン光を連続して検出する場合には高精度な検出処理を高速に行なえる。
なお、以上の各手順は計測コントロール手段１０９により統括的にコントロールされて機能する。
なお、ここで、対象物は立体形状をなすものでなくても、平面形状であって反射率が該平面上の位置により異なる物であってもかまわない。
【００５６】
実施の形態２．
図６は、本実施の形態における検出処理系２０８、計測光照射手段１０及び計測コントロール手段２０９の関係を示したブロック図である。以下では、実施の形態１と同様に計測用パターン光が二段階照射であり、後述の多値化手段２１６において２値化処理を行う場合について述べる。
【００５７】
まず、実施の形態１と同様の手順で撮像された対象物像は、撮像手段１１で対象物画像２１２として入力され、データ蓄積手段２１５にデジタルデータとして蓄積される。ここで、データ蓄積手段２１５には、パターンを有しない計測光を任意強度で計測対象物に照射した任意強度全面照射画像と、計測用パターン光を計測対象物に照射しないパターン非照射画像と、計測用パターン光を計測対象物に照射したパターン照射画像（第１の画像）とを蓄積しておく。なお、この任意強度は本実施の形態では処理の簡便さから、通常は、計測用パターン光の計測光照射部分の強度と同じ強度にしているが、必ずしも限定されない。
【００５８】
次に、任意強度全面照射画像とパターン非照射画像を加重平均化手段２１７にて加重平均することにより、前記任意強度と異なる複数強度で全面照射された対象物画像（以下、「参照画像（第２の画像）」と呼ぶ）２１８を内部生成する。本実施の形態では２値化処理する場合について述べているので、この加重平均処理は均等な平均化処理となり、１／２強度全面照射画像に相当する画像（以下、「１／２強度参照画像」と呼ぶ。）２１８が得られることとなる。
【００５９】
この１／２強度参照画像２１８は参照画像蓄積手段２１９に蓄積される。そして、多値化手段２１６にて、計測用パターンが照射されたパターン照射画像と１／２強度参照画像２１８とを演算処理することにより二値表現されたパターン成分の抽出を高精度に行うことができる。
【００６０】
多値化手段２１６での演算処理は例えば、パターン照射画像から１／２強度参照画像を各画素について差分処理し、処理後の値が正符号の場合はパターン光照射部分、０以下の場合はパターン光非照射部分と判定して２値化処理を行う。あるいはパターン照射画像と１／２強度参照画像の画素値を大小比較し、パターン照射画像の画素値が大きい場合にはパターン光照射部分、それ以外の場合はパターン光非照射部分と判定する。
【００６１】
この多値化手段２１６での演算処理により求められたパターン成分の抽出結果に基づき、対象物の検出を行う。
以上の処理は、計測コントロール手段２０９によって統括的にコントロールされる。この計測コントロール手段２０９はパーソナルコンピューターあるいは組込み型マイコンを用いて実現が可能である。
【００６２】
以下に、図７を用いて、本実施の形態におけるパターン成分の抽出方法について説明する。ここで、図７は本実施の形態におけるパターン成分の抽出方法を示すフローチャートである。
まず、計測光照射手段１０から計測用パターン光を対象物に照射して、撮像手段１１により撮像することで、パターン照射画像を得る。
次に、計測光を照射しない状態で撮像し、パターン非照射画像を得る。
次に、パターンを有しない計測光を任意強度で対象物に照射し、撮像することで、任意強度全面照射画像を得る。
そして、これら任意強度全面照射画像とパターン非照射画像を、加重平均化手段２１７において加重平均処理することで、１／２強度参照画像を生成する。
そして、多値化手段２１６での１／２強度参照画像を用いた演算処理により、パターン照射画像からパターン成分を抽出する。
【００６３】
なお、以上では計測用パターン光が二段階照射である場合について述べたが、加重平均化手段において内挿で加重平均を取った場合には、前記任意強度よりも弱い強度に相当する参照画像が生成され、外挿で加重平均を取った場合には、前記任意強度よりも強い強度に相当する参照画像が生成されることとなる。パターン光が多段階強度照射されたものである場合には、これらの複数強度参照画像を用いることで本手法を適用可能である。
【００６４】
次に、本実施の形態の効果を原理的に説明するために、信号処理方式について説明する。まず、計測用パターン光を対象物に照射した際のパターン照射画像内で、着目領域に計測光が照射されている場合（非マスク状態）および計測光が照射されていない場合（マスク状態）についての当該着目領域における画像信号Ｉ_ｏｎ、Ｉ_ｏｆｆ、および任意強度全面照射画像と非照射画像から生成された１／２強度参照画像の上記着目領域における画像信号Ｉ_ｒｅｆを、それぞれ定式化すると以下のようになる。
【００６５】
【数９】

【００６６】
ここで、
Ｉ_ａ：対象物自身の画像信号強度（背景成分）
Ｉ_ｂ：計測光の画像信号強度（パターン成分）
Ｉ_ｃ０：迷光成分画像信号強度（全面照射時）
Ｉ_ｃ１：迷光成分画像信号強度（非マスク状態での迷光成分）
Ｉ_ｃ２：迷光成分画像信号強度（マスク状態での迷光成分）
とする。
【００６７】
ここで、パターン照射画像から１／２強度参照画像を差分処理すると、計測光の照射、非照射状態（即ち、非マスク状態、マスク状態）それぞれにおける演算結果Ｓ_ｏｎ、Ｓ_ｏｆｆは以下のようになる。
【００６８】
【数１０】

【００６９】
となり、迷光が存在しても演算結果の符号判定のみで、合理的にパターンの照射／非照射状態（即ち、非マスク／マスク状態）を判別でき、そのため、計測用パターン光照射部分と計測用パターン光照射部分とを精度良く検出でき、特別な判定閾値を設定しなくてもパターン成分の抽出が可能となることがわかる。
【００７０】
なお、ここで、Ｉ_ｃ２、Ｉ_ｃ０は同一部分への迷光成分であるが、計測光を全面照射した場合の迷光成分Ｉ_ｃ０の方が、部分的に計測光の非照射部分が存在するパターン照射画面中の迷光成分Ｉ_ｃ２よりも多く迷光の影響を受けていることを考え、Ｉ_ｃ２≦Ｉ_ｃ０が成立するとした。又、さらに、迷光の生成過程から考えて、Ｉ_ｂ＞Ｉ_ｃ０、Ｉ_ｂ＞Ｉ_ｃ２も成立するとした。
【００７１】
以上のように、本実施の形態においては、任意強度全面照射画像と非照射画像とを任意の割合で加重平均することにより、複数強度全面照射画像に相当する複数強度参照画像を内部生成する。多段階強度のパターンの検出を行う際には、これらの複数強度参照画像との明度差の正負符号を判定することで極めて容易かつ合理的に検出を行える。また、背景成分の除去と計測用パターン光の迷光の影響をなくした高精度な計測用パターンの検出が可能である。
【００７２】
また、２枚の画像取得のみで複数強度参照画像を内部生成することができるため、高精度な検出処理を計測用パターン光の強度段階数に依存せずに高速に行なえる。さらに、複数の閾値を調整することなく合理的な検出が可能であり、常に安定した性能を実現できる。
【００７３】
又、このようにして抽出されたパターン成分を用ることで、高精度な対象物の検出が可能となる。
なお、以上の各手順は計測コントロール手段により統括的にコントロールされて機能する。
なお、ここで、対象物は立体形状をなすものでなくても、平面形状であって反射率が該平面上の位置により異なる物であってもかまわない。
【００７４】
実施の形態３．
図８は、本実施の形態における検出処理系３０８、計測光照射手段１０及び計測コントロール手段３０９の関係を示したブロック図である。以下では、実施の形態１と同様に計測用パターン光が二段階照射であり、後述の多値化手段３１６において２値化処理を行う場合について述べる。尚、本実施の形態においては、実施の形態１と異なり、撮像手段１１に露光時間を任意に調整可能な露光時間可変調整手段１１ｃを備えている。
【００７５】
まず、実施の形態１と同様の手順で計測光が照射された対象物像は、露光時間可変調整手段１１ｃにより任意の露光時間をもって撮像手段１１から入力される。ここで、任意の露光時間は、本実施の形態では、処理の簡便さから計測用パターン光照射時に用いる標準露光時間の１／２の露光時間にしているが、必ずしも限定しない。以下、この映像信号３１２は、実施の形態１と同様の手順でＡ／Ｄ変換手段３１３を経由して、データ蓄積手段３１５にデジタルデータとして蓄積される。ここで、データ蓄積手段３１５にはパターンを有しない計測光を照射した計測対象物像を標準露光時間の１／２の露光時間をもって撮像した画像（以下、「１／２露光全面照射画像」と呼ぶ。）と、計測光を照射しない計測対象物像を通常の１／２の露光時間をもって撮像した画像（以下、「１／２露光非照射画像」と呼ぶ。）と、計測用パターン光を照射した計測対象物画像を標準露光時間で撮像したパターン照射画像（第１の画像）と、を蓄積しておく。
【００７６】
次に、加算手段３１７にて１／２露光全面照射画像と１／２露光非照射画像とを１：１の割合で加算処理することにより、パターンを有しない計測光を１／２強度で計測対象物に照射した画像に相当する１／２強度参照画像（第２の画像）３１８を内部生成する。この１／２強度参照画像３１８は参照画像蓄積手段３１９に蓄積される。そして、多値化手段３１６にて、計測用パターン光が照射されたパターン照射画像と１／２強度参照画像３１８とを演算処理することにより二値表現されたパターン成分の検出を高精度に行うことができる。
【００７７】
多値化手段３１６での演算処理は、例えば、パターン照射画像から１／２強度参照画像を各画素について差分処理し、処理後の値が正符号の場合はパターン光照射部分、０以下の場合はパターン光非照射部分と判定して２値化処理を行う。あるいはパターン照射画像と１／２強度参照画像の画素値を大小比較し、パターン照射画像の画素値が大きい場合にはパターン光照射部分、それ以外の場合はパターン光非照射部分と判定する。
【００７８】
この多値化手段３１６での演算処理により求められたパターン成分の抽出結果に基づき、対象物の検出を行う。
以上の処理は、計測コントロール手段３０９によって統括的にコントロールされる。この計測コントロール手段３０９はパーソナルコンピューターあるいは組込み型マイコンを用いて実現が可能である。
【００７９】
以下に、図９を用いて、本実施の形態におけるパターン成分の抽出方法について説明する。ここで、図９は本実施の形態におけるパターン成分の抽出方法を示すフローチャートである。
まず、計測光照射手段１０から計測用パターン光を対象物に照射して、撮像手段１１により標準露光時間で撮像することで、パターン照射画像を得る。
次に、計測光を照射しない状態で１／２露光時間で撮像し、１／２露光非照射画像を得る。
次に、パターンを有しない計測光を対象物に照射し、１／２露光時間で撮像することで、１／２露光全面照射画像を得る。
そして、これら１／２露光全面照射画像と１／２露光非照射画像を、加算手段３１７において加算処理することで、１／２強度参照画像を生成する。
そして、多値化手段３１６での１／２強度参照画像を用いた演算処理により、パターン照射画像からパターン成分を抽出する。
【００８０】
なお、以上では計測用パターン光が二段階照射である場合について述べたが、ここで任意の係数を掛けて加算処理することにより、内挿、外挿処理による任意強度全面照射画像に相当する複数強度参照画像を生成することが可能である。パターン光が多段階強度照射されたものである場合には、これらの複数強度参照画像を用いることで本手法を適用可能である。
【００８１】
次に、本実施の形態の効果を原理的に説明するために、信号処理方式について説明する。まず、計測用パターン光を対象物に照射した際のパターン照射画像内で、着目領域に計測光が照射されている場合（非マスク状態）および計測光が照射されていない場合（マスク状態）についての当該着目領域における画像信号Ｉ_ｏｎ、Ｉ_ｏｆｆ、および１／２露光全面照射画像と１／２露光非照射画像を加算して生成された１／２強度参照画像の上記着目領域における画像信号Ｉ_ｅｘｐを、それぞれ定式化すると以下のようになる。
【００８２】
【数１１】

【００８３】
ここで、
Ｉ_ａ：対象物自身の画像信号強度（背景成分）
Ｉ_ｂ：計測光の画像信号強度（パターン成分）
Ｉ_ｃ０：迷光成分画像信号強度（全面照射時）
Ｉ_ｃ１：迷光成分画像信号強度（非マスク状態での迷光成分）
Ｉ_ｃ２：迷光成分画像信号強度（マスク状態での迷光成分）
とする。
【００８４】
ここで、パターン照射画像から１／２露光参照画像を差分処理すると、計測光の照射／非照射状態（即ち、非マスク状態、マスク状態）それぞれにおける演算結果Ｓ_ｏｎ、Ｓ_ｏｆｆは以下のようになる。
【００８５】
【数１２】

【００８６】
となり、迷光が存在しても演算結果の符号判定のみで、合理的にパターンの照射／非照射状態（即ち、非マスク／マスク状態）を判別でき、そのため、計測用パターン光照射部分と計測用パターン光照射部分とを精度良く検出でき、特別な判定閾値を設定しなくてもパターン成分の抽出が可能となることがわかる。
【００８７】
なお、ここで、Ｉ_ｃ２、Ｉ_ｃ０は同一部分への迷光成分であるが、計測光を全面照射した場合の迷光成分Ｉ_ｃ０の方が、部分的に計測光の非照射部分が存在するパターン照射画面中の迷光成分Ｉ_ｃ２よりも多く迷光の影響を受けていることを考え、Ｉ_ｃ２≦Ｉ_ｃ０が成立するとした。又、さらに、迷光の生成過程から考えて、Ｉ_ｂ＞Ｉ_ｃ０、Ｉ_ｂ＞Ｉ_ｃ２も成立するとした。
【００８８】
以上のように、本実施の形態においては、可変露光全面照射画像と可変露光非照射画像を任意の割合で加算することにより、複数強度全面照射画像に相当する複数強度参照画像を内部生成する。多段階強度のパターン検出を行う際には、これらの複数強度参照画像との明度差の正負符号を判定することで極めて容易かつ合理的にパターン成分の抽出を行える。
【００８９】
また、背景成分の除去と計測用パターン光の迷光の影響をなくした高精度な計測用パターン検出が可能である。また、２枚の画像取得のみで複数強度参照画像を内部生成することができるため、高精度な検出処理を計測用パターン光の強度段階数に依存せずに高速に行なえる。さらに、複数の閾値を調整することなく合理的な検出が可能であり、常に安定した性能を実現できる。
【００９０】
又、このようにして抽出されたパターン成分を用ることで、高精度な対象物の検出が可能となる。
尚、以上の各手順は計測コントロール手段により統括的にコントロールされて機能する。
なお、ここで、対象物は立体形状をなすものでなくても、平面形状であって反射率が該平面上の位置により異なる物であってもかまわない。
【００９１】
実施の形態４．
図１０は、本実施の形態における検出処理系４０８、計測光照射手段１０及び計測コントロール手段４０９の関係を示したブロック図である。以下では、実施の形態１と同様に計測用パターン光が二段階照射であり、後述の多値化手段４１６において２値化処理を行う場合について述べる。
【００９２】
本実施の形態は実施の形態２のパターン成分の抽出方法において、任意強度全面照射画像中に強度飽和領域が存在する場合に実施の形態１の手法を一部適用するものである。そのため、データ蓄積手段４１５にパターン照射画像、任意強度全面照射画像、非照射画像をデジタルデータとして蓄積するまでの処理は実施の形態２に準じる。
【００９３】
また、加重平均化手段４１７を介して１／２強度参照画像４１８を参照画像蓄積手段４１９に蓄積するまでの処理も実施の形態２に準じるが、その処理において飽和領域検出手段４２０が任意強度全面照射画像中で強度飽和している領域を検出した場合は、その領域について１／２強度全面照射画像データ使用命令を発生し、任意強度全面照射画像の代わりに１／２強度全面照射画像データを用いて１／２強度参照画像とする。
【００９４】
なお、ここでは１／２強度全面照射画像を加重平均化手段４１７で処理を加えずにそのまま飽和領域として用いる構成としたが、飽和領域が発生しない強度の任意強度全面照射画像を基に加重平均化手段４１７を用いて、１／２強度参照画像を生成する構成としてもよい。あるいは、飽和領域が存在する場合には、全領域について飽和領域が発生しない強度の任意全面照射画像を基に加重平均化手段４１７を用いて、１／２強度参照画像を生成する構成としてもよい。
【００９５】
次に、多値化手段４１６では、実施の形態２と同様に、１／２強度参照画像４１８を用いた演算処理により２値表現された計測用パターンの検出を高精度に行うことができる。
【００９６】
この多値化手段４１６での演算処理により求められたパターン成分の抽出結果に基づき、対象物の検出を行う。
以上の処理は、計測コントロール手段４０９によって統括的にコントロールされる。この計測コントロール手段４０９はパーソナルコンピューターあるいは組込み型マイコンを用いて実現が可能である。
【００９７】
以下に、図１１を用いて、本実施の形態におけるパターン成分の抽出方法について説明する。ここで、図１１は本実施の形態におけるパターン成分の抽出方法を示すフローチャートである。
まず、計測光照射手段１０から計測用パターン光を対象物に照射して、撮像手段１１により撮像することでパターン照射画像を得る。
次に、計測光を照射しない状態で撮像し、パターン非照射画像を得る。
次に、パターンを有しない計測光を任意強度で対象物に照射し、撮像することで任意強度全面照射画像を得る。
次に、この任意強度全面照射画像中の強度飽和領域を飽和領域検出手段４２０において検出する。
この検出結果に基づいて、強度飽和していない領域（非検出領域）では、上記任意強度全面照射画像とパターン非照射画像を、加重平均化手段４１７において加重平均処理することで、１／２強度参照画像を生成する。
一方、強度飽和している領域（検出領域）では、パターンを有しない計測光を１／２強度で対象物に照射し、撮像することで１／２強度参照画像を得る。
そして、多値化手段４１６での１／２強度参照画像を用いた演算処理により、パターン照射画像からパターン成分を抽出する。
【００９８】
なお、本実施の形態では２段階表現された計測用パターン光を２値化処理して検出する事例について述べたが、実施の形態２と同様に少ない画像枚数で任意強度全面照射画像に相当する複数強度参照画像を生成することが可能である。また、強度飽和領域においても正しい参照画像生成が可能となる。パターン光が多段階強度照射されたものである場合には、これらの複数強度参照画像を用いることで本手法を適用可能である。
【００９９】
本実施の形態の効果は原理的に実施の形態１と実施の形態２で述べた数式によって証明され、迷光が存在しても演算結果の符号判定のみで、合理的にパターンの照射／非照射状態（即ち、非マスク／マスク状態）を判別でき、そのため、計測用パターン光照射部分と計測用パターン光照射部分とを精度良く検出でき、特別な判定閾値を設定しなくてもパターン成分の抽出が可能となることがわかる。
【０１００】
以上のように、本実施の形態においては、任意強度全面照射画像中において強度飽和している領域を検出し、弱強度全面照射画像を任意強度面照射画像の代替画像として用いることにより、複数強度参照画像を生成する。このことにより、任意強度全面照射画像中に飽和領域が存在してもその影響を受けない複数強度参照画像を生成することが可能となる。多段階強度のパターン検出を行う際には、これらの複数強度参照画像との明度差の正負符号を判定することで極めて容易かつ合理的に検出を行える。
【０１０１】
また、背景成分の除去と計測用パターン光の迷光の影響をなくした高精度な計測用パターン検出が可能である。さらに、３枚の画像取得のみで複数強度参照画像を内部生成することができるため、高精度な検出処理を計測用パターン光の強度段階数に依存せずに高速に行なえる。さらに、複数の閾値を調整することなく合理的な検出が可能であり、常に安定した性能を実現できる。
【０１０２】
又、このようにして抽出されたパターン成分を用ることで、高精度な対象物の検出が可能となる。
なお、以上の各手順は計測コントロール手段により統括的にコントロールされて機能する。
なお、ここで、対象物は立体形状をなすものでなくても、平面形状であって反射率が該平面上の位置により異なる物であってもかまわない。
【０１０３】
【発明の効果】
この発明に係る検出装置は、計測用パターンを有する計測光を計測対象物に照射することで得られる第１の画像、及び上記計測対象物の上記第１の画像が得られる条件とは異なる条件下において得られる第２の画像それぞれの画像信号を画素毎に差分処理し、その差分結果の正負に基づいてパターン成分を抽出する多値化手段を備えたので、パターン成分の抽出にあたって特別な閾値調整を行なう必要がないため、安定した検出性能を実現できる。
更に、第２の画像が、計測用パターンを有しない計測光を任意強度で計測対象物に照射することで得られる任意強度全面照射画像と、計測光を上記計測対象物に照射しない状態で得られる非照射画像とを任意の割合で加重平均することで生成される画像である、ことを特徴とするので、任意強度全面照射画像と非照射画像の２枚の画像取得のみで、第１の画像を内部生成することができるため、高精度な検出処理を計測用パターン光の強度段階数に依存せずに高速に行なえる。
【０１０４】
又、計測用パターンを有する計測光を計測対象物に照射することで得られる第１の画像、及び上記計測対象物の上記第１の画像が得られる条件とは異なる条件下において得られる第２の画像それぞれの画素値を画素毎に大小比較して、その比較結果に基づいてパターン成分を抽出する多値化手段を備えたので、パターン成分の抽出にあたって特別な閾値調整を行なう必要がないため、安定した検出性能を実現できる。
更に、第２の画像が、計測用パターンを有しない計測光を任意強度で計測対象物に照射することで得られる任意強度全面照射画像と、計測光を上記計測対象物に照射しない状態で得られる非照射画像とを任意の割合で加重平均することで生成される画像である、ことを特徴とするので、任意強度全面照射画像と非照射画像の２枚の画像取得のみで、第１の画像を内部生成することができるため、高精度な検出処理を計測用パターン光の強度段階数に依存せずに高速に行なえる。
【０１０６】
又、計測用パターンを有する計測光を計測対象物に照射することで得られる第１の画像、及び上記計測対象物の上記第１の画像が得られる条件とは異なる条件下において得られる第２の画像それぞれの画像信号を画素毎に差分処理し、その差分結果の正負に基づいてパターン成分を抽出する多値化手段を備えたので、パターン成分の抽出にあたって特別な閾値調整を行なう必要がないため、安定した検出性能を実現できる。
更に、第２の画像が、計測用パターンを有しない計測光を任意強度で計測対象物に照射し任意の露光時間撮像することで得られる可変露光全面照射画像と、計測光を上記計測対象物に照射しない状態で任意の露光時間撮像することで得られる可変露光非照射画像とを任意の割合で加算することで生成される画像である、ことを特徴とするので、可変露光全面照射画像と可変露光非照射画像の２枚の画像取得のみで、第１の画像を内部生成することができるため、高精度な検出処理を計測用パターン光の強度段階数に依存せずに高速に行なえる。
【０１０７】
又、計測用パターンを有する計測光を計測対象物に照射することで得られる第１の画像、及び上記計測対象物の上記第１の画像が得られる条件とは異なる条件下において得られる第２の画像それぞれの画素値を画素毎に大小比較して、その比較結果に基づいてパターン成分を抽出する多値化手段を備えたので、パターン成分の抽出にあたって特別な閾値調整を行なう必要がないため、安定した検出性能を実現できる。
更に、第２の画像が、計測用パターンを有しない計測光を任意強度で計測対象物に照射し任意の露光時間撮像することで得られる可変露光全面照射画像と、計測光を上記計測対象物に照射しない状態で任意の露光時間撮像することで得られる可変露光非照射画像とを任意の割合で加算することで生成される画像である、ことを特徴とするので、可変露光全面照射画像と可変露光非照射画像の２枚の画像取得のみで、第１の画像を内部生成することができるため、高精度な検出処理を計測用パターン光の強度段階数に依存せずに高速に行なえる。
【０１０８】
又、任意強度全面照射画像中で強度飽和している領域においては、上記任意強度全面照射画像に代えて、該任意強度全面照射画像を得るための任意強度よりも弱い強度でパターンを有しない計測光を計測対象物に照射することで得られる弱強度全面照射画像を用いる、ことを特徴とするので、任意強度全面照射画像中に飽和領域が存在しても、その影響を受けずに第１の画像を生成することが可能となる。加えて、弱強度全面照射画像、任意強度全面照射画像及び非照射画像の３枚の画像取得のみで、第１の画像を内部生成することができるため、高精度な検出処理を計測用パターン光の強度段階数に依存せずに高速に行なえる。
【図面の簡単な説明】
【図１】実施の形態１における照射撮像系の構成図である。
【図２】実施の形態１における検出処理系、計測光照射手段及び計測コントロール手段の関係を示すブロック図である。
【図３】１／２強度全面照射画像の例である。
【図４】実施の形態１によるパターン抽出画像の例である。
【図５】実施の形態１によるパターン成分の抽出方法を示すフローチャートである。
【図６】実施の形態２における検出処理系、計測光照射手段及び計測コントロール手段の関係を示すブロックである。
【図７】実施の形態２によるパターン成分の抽出方法を示すフローチャートである。
【図８】実施の形態３における検出処理系、計測光照射手段及び計測コントロール手段の関係を示すブロックである。
【図９】実施の形態３によるパターン成分の抽出方法を示すフローチャートである。
【図１０】実施の形態４における検出処理系、計測光照射手段及び計測コントロール手段の関係を示すブロックである。
【図１１】実施の形態４によるパターン成分の抽出方法を示すフローチャートである。
【図１２】従来の形状検出装置の構成図である。
【図１３】パターン照射画像の例である。
【図１４】全面照射画像の例である。
【図１５】従来技術によるパターン抽出画像の例である。
【図１６】従来技術によるパターン抽出画像の例である。
【符号の説明】
１立体物、１０計測光照射手段、１０ａ光源、
１０ｂ出力調整手段、１０ｃ光マスク、１１撮像手段、
１１ａレンズ系、１１ｂ光電変換素子、
１１ｃ露光時間可変調整手段、１２画像処理部、１３表示部、
１８撮像部、２２光源部、４０計測対象物、
５０計測パターン光、
１０８、２０８、３０８、４０８検出処理系、
１０９、２０９、３０９、４０９計測コントロール手段、
１１３、２１３、３１３、４１３Ａ／Ｄ変換手段、
１１５、２１５、３１５、４１５データ蓄積手段、
１１６、２１６、３１６、４１６多値化手段、
２１７、４１７加重平均化手段、
２１９、３１９、４１９参照画像蓄積手段、
３１７加算手段、４２０飽和領域検出手段。

Claims

計測用パターンを有する計測光を計測対象物に照射することで得られる第１の画像、及び上記計測対象物の上記第１の画像が得られる条件とは異なる条件下において得られる第２の画像それぞれの画像信号を画素毎に差分処理し、その差分結果の正負に基づいてパターン成分を抽出する多値化手段を備え、
第２の画像は、計測用パターンを有しない計測光を任意強度で計測対象物に照射することで得られる任意強度全面照射画像と、計測光を上記計測対象物に照射しない状態で得られる非照射画像とを任意の割合で加重平均することで生成される画像である、ことを特徴とする検出装置。
計測用パターンを有する計測光を計測対象物に照射することで得られる第１の画像、及び上記計測対象物の上記第１の画像が得られる条件とは異なる条件下において得られる第２の画像それぞれの画素値を画素毎に大小比較して、その比較結果に基づいてパターン成分を抽出する多値化手段を備え、
第２の画像は、計測用パターンを有しない計測光を任意強度で計測対象物に照射することで得られる任意強度全面照射画像と、計測光を上記計測対象物に照射しない状態で得られる非照射画像とを任意の割合で加重平均することで生成される画像である、ことを特徴とする検出装置。
計測用パターンを有する計測光を計測対象物に照射することで得られる第１の画像、及び上記計測対象物の上記第１の画像が得られる条件とは異なる条件下において得られる第２の画像それぞれの画像信号を画素毎に差分処理し、その差分結果の正負に基づいてパターン成分を抽出する多値化手段を備え、
第２の画像は、計測用パターンを有しない計測光を任意強度で計測対象物に照射し任意の露光時間撮像することで得られる可変露光全面照射画像と、計測光を上記計測対象物に照射しない状態で任意の露光時間撮像することで得られる可変露光非照射画像とを任意の割合で加算することで生成される画像である、ことを特徴とする検出装置。
計測用パターンを有する計測光を計測対象物に照射することで得られる第１の画像、及び上記計測対象物の上記第１の画像が得られる条件とは異なる条件下において得られる第２の画像それぞれの画素値を画素毎に大小比較して、その比較結果に基づいてパターン成分を抽出する多値化手段を備え、
第２の画像は、計測用パターンを有しない計測光を任意強度で計測対象物に照射し任意の露光時間撮像することで得られる可変露光全面照射画像と、計測光を上記計測対象物に照射しない状態で任意の露光時間撮像することで得られる可変露光非照射画像とを任意の割合で加算することで生成される画像である、ことを特徴とする検出装置。
任意強度全面照射画像中で強度飽和している領域においては、上記任意強度全面照射画像に代えて、該任意強度全面照射画像を得るための任意強度よりも弱い強度でパターンを有しない計測光を計測対象物に照射することで得られる弱強度全面照射画像を用いる、ことを特徴とする請求項１又は２に記載の検出装置。