JP6532325B2 - 被計測物の形状を計測する計測装置 - Google Patents

Description

本発明は、被計測物の形状を計測する計測装置に関する。

被計測物の形状を計測する技術の１つとして、光学式の計測装置が知られている。光学式の計測装置には様々な方式が存在し、その方式の１つにパターン投影法と称される方式がある。パターン投影法では、所定のパターンを被計測物に投影して、撮像部で撮像し、撮像画像におけるパターンを検出して、三角測量の原理から各画素位置における距離情報を算出することで、被計測物の形状を求めている。

本計測法においては、撮像画像における画素値（受光光量）の空間分布情報に基づき、投影されたパターンの各ラインの座標の検出を行う。しかし、受光光量の空間分布情報は、被計測物の表面の模様などによる反射率分布、又は、被計測物の表面の微細形状による反射率分布などの影響が含まれたデータである。これらにより、パターンの座標の検出において検出誤差が発生する、又は、検出自体が不可能となる場合が存在し、結果として、算出される被計測物の形状の情報は精度が低いものとなる。

これに対し、特許文献１では、パターン光の投影時の画像（以下、パターン投影画像）を取得した後、液晶シャッタを用いて均一照明光で被計測物を照射して、均一照明光で照射時の画像（以下、濃淡画像）を取得している。そして、濃淡画像のデータを補正用データとして、被計測物の表面の反射率分布による影響をパターン投影画像から除去する補正を行う。

また、特許文献２では、偏光方向が互いに９０度異なるパターン光と均一照明光とを被計測物に照射し、それぞれの偏光方向に対応した各撮像部で、パターン投影画像と濃淡画像とを取得した後、それらの差分画像から距離情報を求める画像処理を行っている。この方法においては、パターン投影画像と濃淡画像とは同じタイミングで取得され、被計測物の表面の反射率分布による影響をパターン投影画像から除去する補正を行う。

特開平３−２８９５０５号公報 特開２００２−２１３９３１号公報

特許文献１に記載の計測方法では、パターン投影画像と濃淡画像とは異なるタイミングで取得される。計測装置の用途を考えた場合、被計測物と計測装置の撮像部とのどちらか又は両方が移動しつつ距離情報を取得する場合が考えられる。この場合、各タイミングでそれらの相対位置関係は変化し、パターン投影画像と濃淡画像は違う視点で撮影された画像となる。その場合、互いに異なる視点の画像で補正を行うと誤差が生じる。

特許文献２に記載の計測方法では、偏光方向が互いに９０度異なる偏光光を用いることで、パターン投影画像と濃淡画像とは同じタイミングで取得される。しかし、被計測物の表面には、微細形状（面粗さ）により局所的な角度ばらつきが存在しており、その局所的な角度ばらつきによって、被計測物の表面の反射率分布は偏光方向で異なる。入射角度に対する入射光の反射率は偏光方向によって異なるためである。したがって、互いに異なる反射率分布の情報を含む画像で補正を行うと誤差が生じる。

そこで、本発明は、被計測物と撮像部の相対位置が変化する場合においても、被計測物の表面の面粗さによる計測誤差を低減して、被計測物の形状を計測することを目的とする。

上記課題を解決する本発明の一側面としての計測装置は、被計測物の形状を計測する計測装置であって、パターン光を前記被計測物に投影する投影光学系と、前記被計測物を照明する照明部と、前記投影光学系により前記パターン光が投影された前記被計測物を撮像して、前記被計測物で反射された前記パターン光による前記被計測物の第１画像を取得する撮像部と、前記第１画像に基づいて前記被計測物の形状の情報を求める処理部と、を有し、前記照明部は、前記投影光学系の光軸周りに配置され、前記投影光学系の光軸に対して対称に配置された複数の発光部を有し、前記処理部は、前記複数の発光部により照明された前記被計測物を前記撮像部で撮像して得られる、前記被計測物で反射された前記複数の発光部からの光による前記被計測物の第２画像、を用いて前記第１画像を補正し、補正された画像に基づいて前記被計測物の形状の情報を求めることを特徴とする。

本発明によれば、被計測物と撮像部の相対位置が変化する場合においても、被計測物の表面の面粗さによる計測誤差を低減して、被計測物の形状を計測することができる。

第１実施形態における計測装置の概略構成を示した図である。 第１、２の実施形態における計測シーンを示した図である。 第１実施形態における投影パターンを示した図である。 第１実施形態における濃淡画像用照明ユニットを示した図である。 第１実施形態における濃淡画像用照明ユニットを示した図である。 第１実施形態における計測のフローチャートである。 被計測物の表面の微細形状により発生する反射率分布を説明するための図である。 被計測物の角度と計測装置との関係を説明するための図である。 被計測面の角度と反射率の関係を示した図である。 被計測面の角度と反射率の関係を示した図である。 第２実施形態における処理フローを示した図である。 第３実施形態における処理フローを示した図である。 第４実施形態における計測装置の概略図である。 計測装置とロボットを含むシステムを示す図である。

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

〔第１実施形態〕
図１は、本発明の一側面としての計測装置１００の構成を示す概略図である。破線は光線を示す。図１に示すように、計測装置１００は、距離画像用照明ユニット１、濃淡画像用照明ユニット２（照明部）、撮像ユニット３（撮像部）、および、演算処理ユニット４（処理部）を有する。計測装置１００は、パターン投影法を用いて、被計測物５（物体）の形状情報（例えば、３次元形状、２次元形状、位置及び姿勢等）を計測する。具体的には、距離画像と濃淡画像を取得し、二つの画像を利用してモデルフィッティングすることにより、被計測物５の位置姿勢を計測する。ここで、距離画像とは、被計測物の表面上の点の三次元情報を示し、各画素が奥行きの情報をもつ画像であり、濃淡画像とは、均一照明された被計測物を撮像して得られる画像である。尚、モデルフィッティングは、事前に作成された被計測物５のＣＡＤモデルに対して行うものであり、被計測物５の三次元形状が既知であることを前提とする。被計測物２１０は、例えば、金属部品、光学部材などである。

図２には、計測装置１００と被計測物５の載置状態との関係を示す。本実施形態においては計測シーンとして、図２（ａ）に示すように、計測範囲内に、被計測物５が平面状の支持台上に略整列状態で置かれている。被計測物５の上面に対して、距離画像用照明ユニット１と撮像ユニット３の光軸が正反射条件となるのを避けるように、計測装置１００が傾けて配置される。投光軸は、後述の投影光学系１０の光軸を示す、撮像軸は、後述の撮像光学系１１の光軸を示す。

距離画像用照明ユニット１は、光源６と照明光学系８とマスク９と投影光学系１０により構成される。光源６は、例えばランプであって、後述の濃淡画像用照明ユニット２の光源７と異なる波長の無偏光光を発する。光源６が発する光の波長をλ１、光源７が発する光の波長をλ２とする。照明光学系８は、光源６から射出された光束をマスク９（パターン光形成部）に対し均一に照明するための光学系である。マスク９は、被計測物５に投影するパターンが描画されたものであり、例えば、ガラス基板をクロムメッキする事により所望のパターンが形成されている。マスク９に描画されるパターンの一例は、図３に示すような、ドット（識別部）によって符号化されたドットラインパターンである。ドットは、白線の切断点で示される。投影光学系１０は、マスク９に描画されたパターンの像を被計測物５上に結像させるための結像光学系である。この光学系は、レンズ群やミラーなどで構成され、例えば、１つの結像関係を有する結像光学系であり、光軸を有する。尚、本実施形態では、固定のマスクのパターンを投影する方法としたが、これに限定されるものではなく、ＤＬＰプロジェクタや液晶プロジェクタを用いて被計測物５にパターン光を投影（形成）しても構わない。

濃淡画像用照明ユニット２は、複数の光源７（発光部）を有し、光源７ａ〜７ｌを含む。各光源は、例えばＬＥＤ等であって、無偏光の光を発する。図４に、濃淡画像用照明ユニット２を投影光学系１０の光軸の方向から見た図を示す。図４で示すように、複数の光源７ａ〜７ｌは、距離画像用照明ユニット１の投影光学系１０の射出光軸（紙面に垂直な方向）を中心として、光軸周りに離散的にリング状に配置される。光源７ａと光源７ｇは、投影光学系１０の光軸に対して対称に配置されている。また、光源７ｂと光源７ｈも、投影光学系１０の光軸に対して対称に配置されている。光源７ｃと光源７ｉ、光源７ｄと光源７ｊ、光源７ｅと光源７ｋ、光源７ｆと光源７ｌについても同様である。光源がＬＥＤの場合、発光部分はある面積を有するが、例えば、発光部分の中央の位置が、上述のように対称に配置されているとよい。複数の光源７をこのように配置することによって、投影光学系１０の光軸に対して対称な２方向から被計測物を照明することができる。また、各光源７ａ〜７ｌは、波長、偏光、輝度、及び、配光特性が等しい方が望ましい。配光特性とは、照射方向毎の光量の違いを示すものである。そのため、各光源７ａ〜７ｌは、同一の型番の製品で構成されるのが望ましい。尚、図４で示したように複数の光源をリング状に配置しているが、この配置に限定される訳ではなく、一対の光源が、投影光学系の光軸に垂直な平面内において、光軸から等距離の位置に配置されていれば良い。例えば、図５に示すように、正方形状に配置しても構わない。また、複数の光源７の数は１２に限らず、光源対を形成する偶数個あればよい。

撮像ユニット３は、撮像光学系１１と波長分割素子１２とイメージセンサ１３、１４から構成される。撮像ユニット３は、距離画像計測用と濃淡画像計測用で共通のユニットとなる。撮像光学系１１は、被計測物５で反射された光による被計測物の像をイメージセンサ１３、１４に結像するための光学系である。波長分割素子１２は、光源６（λ１）と光源７（λ２）を分離する為の光学素子であり、例えば、ダイクロイックミラーである。波長分割素子１２は、光源６（λ１）の光を透過してイメージセンサ１３へ、光源７（λ２）の光を反射してイメージセンサ１４に導光する。イメージセンサ１３、１４は、例えば、ＣＭＯＳセンサ、ＣＣＤセンサなどである。イメージセンサ１３（第１撮像部）は、パターン投影画像を撮像する為の素子であり、イメージセンサ１４（第２撮像部）は、濃淡画像を撮像する為の素子である。

演算処理ユニット４は、一般的なコンピュータで構成されており、情報処理装置として機能する。演算処理ユニット４は、ＣＰＵ、ＭＰＵ、ＤＳＰやＦＰＧＡなどの演算装置で構成されており、ＤＲＡＭなどの記憶装置を有する。

図６に、計測方法のフローチャートを示す。まず、距離画像を取得するフローについて説明する。距離画像用照明ユニット１は、光源６から射出された光束を照明光学系８によってマスク９に均一照明し、マスク９に描画されたパターンからのパターン光を投影光学系１０によって被計測物５に投影する（Ｓ１０）。距離画像用照明ユニット１からのパターン光が投影された被計測物５を、距離画像用照明ユニット１と異なる方向から撮像ユニット３のイメージセンサ１３（第１撮像部）で撮像し、パターン投影画像（第１画像）を取得する（Ｓ１１）。演算処理ユニット４は、取得した画像に基づいて、三角測量の原理に基づいて距離画像（被計測物５の形状の情報）を求める（Ｓ１３）。本実施形態では、距離画像用照明ユニット１、濃淡画像用照明ユニット２、および、撮像ユニット３を含むユニットを備えたロボットアームを移動させながら、被計測物５の位置姿勢を計測することを想定した装置である。ここで、ロボットアーム（把持部）は、被計測物を把持して移動させたり回転させたりする。例えば、図２（ａ）のように、計測装置１００の距離画像用照明ユニット１、濃淡画像用照明ユニット２、および、撮像ユニット３を含むユニットが移動可能である。ここで、被計測物５に投影するパターン光は、一枚のパターン投影画像から距離画像を算出できるパターン光である事が望ましい。複数枚の撮像画像から距離画像を算出する計測方式では、ロボットアームの移動により各撮像画像の視野ずれが生じてしまい、高精度に距離画像を算出できないからである。一枚のパターン投影画像から距離画像を算出できるパターンとしては、例えば、図３で示すようなドットラインパターンがある。そのドットラインパターンを被計測物５に投影して、ドットの位置関係に基づいて投影パターンと撮像画像の対応づけを行う事で、一枚の撮像画像から距離画像を算出している。尚、投影パターンとして上記のドットラインパターンを挙げたが、これに限定されるものでは無く、一枚のパターン投影画像から距離画像を算出できるものであれば良い。

続いて、濃淡画像を取得するフローについて説明する。本実施形態では、濃淡画像から被計測物５の輪郭や稜線に相当するエッジを検出し、エッジを画像特徴として、被計測物５の位置姿勢の算出に用いる。まず、濃淡画像用照明ユニット２により被計測物５を照明する（Ｓ１４）。照明光は、例えば、均一な光強度分布である。次に、濃淡画像用照明ユニット２により均一に照明された被計測物５を撮像ユニット３のイメージセンサ１４（第２撮像部）で撮像し、濃淡画像（第２画像）を取得する（Ｓ１４）。演算処理ユニット４は、取得した画像を用いて、エッジ検出処理によりエッジを算出する（Ｓ１６）。

なお、本実施形態では、距離画像用の撮像と濃淡画像用の撮像を同期して行う。そのため、距離画像用照明ユニット１による被計測物５の照明（パターン光の投影）と、濃淡画像用照明ユニット２による被計測物５の均一照明とが同時に行われる。イメージセンサ１３は、投影光学系１０によりパターン光が投影された被計測物５を撮像して、被計測物５で反射されたパターン光による被計測物５の第１画像を取得する。また、イメージセンサ１４は、複数の光源７により照明された被計測物５を撮像して、被計測物５で反射された複数の光源からの光による被計測物５の第２画像を取得する。距離画像用の撮像と濃淡画像用の撮像を同期して行うことにより、被計測物５と撮像ユニット３との相対位置が変化する状況においても、同一の視点の画像を取得することができる。そして、演算処理ユニット４は、Ｓ１３とＳ１６の算出結果を用いて、被計測物５の位置姿勢を求める（Ｓ１７）。

演算処理ユニット４は、Ｓ１３の距離画像の算出において、撮像画像における画素値（受光光量）の空間分布情報に基づき、投影されたパターンの各ラインの座標の検出を行う。しかし、受光光量の空間分布情報は、被計測物の表面の模様や微細形状による反射率分布などの影響が含まれたデータである。これらにより、パターンの座標の検出において検出誤差が発生する、又は、検出自体が不可能となる場合が存在し、結果として、算出される被計測物の形状の情報は精度が低いものとなる。そこで、演算処理ユニット４は、Ｓ１２において、被計測物の表面の微細形状や模様などの反射率分布に起因する誤差を低減するために、取得した画像を補正する。

被計測物の反射率分布について説明する。まず、被計測物の表面の微細形状起因で発生する反射率分布の発生モデルに関して、図７を用いて述べる。図７（ａ）は、被計測物の表面の微細形状（面粗さ）を実線で示している。破線で被計測物の表面の平均的な傾斜角度を示す。図７（ａ）に示すように、被計測物の表面の微細形状により、被計測物の表面には局所的な角度ばらつきが生じている。この角度ばらつきを−α度〜＋α度、被計測物の平均的な傾斜角度をβ度とすると、被計測面上の局所的な角度ばらつきはβ−α度〜β＋α度となる。一方、図７（ｂ）は、被計測物の傾斜角度θと反射率Ｒ（θ）の関係を示したものである。ここで、反射率とは、ある方向から入射した光の光量と、入射光が被計測面で反射され、ある方向に反射された光の光量との比である。例えば、入射光の光量と、撮像部のある方向に反射されて撮像部で受光される光の光量との比としても表せる。上記のように被計測面上の局所的な角度ばらつきがβ−α度〜β＋α度の場合には、反射率はＲ（β−α）〜Ｒ（β＋α）の範囲で局所的にばらつくことになり、Ｒ（β−α）〜Ｒ（β＋α）の反射率分布が生じる。つまり、反射率分布は、表面の微細形状と反射率角度特性により決まる。

図８は、濃淡画像用照明ユニット２に含まれる、投影光学系１０の光軸に対称に配置された一対の光源７と、投影光学系１０の光軸と、の関係を示したものである。図９は、入射角度と反射率との関係を示した図である。複数の光源７は、投影光学系１０の光軸に対して対称に配置されているため、投影光学系１０の光軸に対称な２方向から被計測物５を照明している。ここで、被計測物の傾斜角度をθとし、光源７と被計測物５を結ぶ線分と投影光学系１０の射出光軸が成す角度をγとすると、反射率の角度特性が略線形な領域では、図９の通り、下記の式（１）が近似的に成立する。
Ｒ（θ）＝（Ｒ（θ＋γ）＋Ｒ（θ−γ））／２ （１）

つまり、反射率の角度特性が略線形な領域では、パターン投影画像と濃淡画像の局所的な反射率（反射率分布）が概略等しくなる。そのため、演算処理ユニット４は、Ｓ１２の距離画像の算出する前に、Ｓ１５で得られた濃淡画像を用いて、Ｓ１１で得られたパターン投影画像を補正する（Ｓ１２）。そうすることで、パターン投影画像から、被計測物の表面の微細形状起因で発生する反射率分布の影響を除去することが可能となる。そして、Ｓ１３において、補正された画像を用いて、距離画像を算出する。したがって、Ｓ１３の距離画像の算出において、被計測物の表面の微細形状や模様などの反射率分布に起因する誤差を低減することができ、高精度に被計測物の形状の情報を求めることができる。

尚、複数の光源７のそれぞれの波長、偏光、輝度、配光特性が異なると、これらパラメータの違いにより反射率差や反射光量差が生じてしまい、結果としてパターン投影画像と濃淡画像の反射率分布の差異が生じてしまう。そのため、複数の光源７の波長、偏光、輝度、配光特性を等しくする方が望ましい。光源間の配光特性が異なると、被計測面に対する入射光量の角度分布が異なり、反射率の角度差から結果として光源間の反射光量差が生じる。

ところで、反射率の角度特性は、図１０に示す通り、一般に正反射条件（入射角０）から離れた条件においては、角度に対する反射率の変化は小さく、入射角度に対して概略線形となる。しかし、正反射近傍では角度に対する反射率の変化が大きく、線形性が失われる（非線形となる）。そこで、本実施形態では、被計測物と計測装置の相対姿勢に基づいて、演算処理ユニット４が画像の補正可否を判断する。本実施形態においては、図２（ａ）で示したように、被計測物５は平面状の支持台上に略整列状態で置かれている為、被計測物と計測装置の相対姿勢θは予め既知である。そこで、被計測物と計測装置の既知の相対姿勢θと、予め定められた角度閾値θ_ｔｈを比較し、角度閾値θ_ｔｈに比べて相対姿勢θが大きい場合に、画像の補正を実施する。角度閾値θ_ｔｈは、例えば、被計測物を傾けながら計測し、被計測物の概略形状が既知である部分での画像補正による精度改善率と、角度と、の関係に基づいて決定され、画像補正の効果が実質的に無くなる角度を角度閾値として設定する。尚、画像補正による精度改善率は、補正後の計測精度を補正前の計測精度で割ったものである。

本実施形態においては、被計測物５に対して計測装置は大きく傾けて配置されており、被計測物と計測装置の相対姿勢θは角度閾値θ_ｔｈに対して大きい為、画像補正が実施される。画像補正は、演算処理ユニット４により、パターン投影画像Ｉ_１（ｘ，ｙ）と濃淡画像Ｉ_２（ｘ，ｙ）を用いて行われ、画像が補正されたパターン投影画像Ｉ_１’（ｘ，ｙ）が下記の式（２）に基づいて算出される。ここで、ｘ，ｙは、イメージセンサ上のピクセル座標値を示す。
Ｉ_１’（ｘ，ｙ）＝Ｉ_１（ｘ，ｙ）／Ｉ_２（ｘ，ｙ） （２）

尚、上式（２）の通り、除算による補正を行っているが、補正方法は除算に限定される訳ではなく、式（３）で示したように減算による補正を行っても構わない。
Ｉ_１’（ｘ，ｙ）＝Ｉ_１（ｘ，ｙ）−Ｉ_２（ｘ，ｙ） （３）

以上述べた本実施形態によれば、投影光学系１０の光軸に対し、濃淡画像用照明の光源を対称に配置することで、パターン投影画像と濃淡画像の光強度分布は概略等しくなり、濃淡画像を用いてパターン投影画像を容易に高精度に補正することできる。したがって、被計測物と撮像部の相対位置が変化する場合においても、被計測物の表面の微細形状で発生する反射率分布による計測誤差を低減することができ、より高精度に被計測物の形状の情報を求めることができる。

なお、複数の光源７は、投影光学系１０の光軸に対して対称に配置されているが、画像補正によって生じる誤差が所定の許容範囲内に収まるのであれば、光源相互間の配置は厳密に対称な点に限定されない。本実施形態において対称な配置は、このような許容範囲内に収まるような配置を含むものとする。例えば、被計測面の角度に対する反射率が略線形な範囲において、投影光学系１０の光軸を挟んだ非対称な２方向から被計測物５を照明してもよい。

本実施形態の計測装置１００は、図１４のように、物体の把持制御システムにおいて、ロボットアーム３００に備え付けられていることを想定している。そのため、支持台３５０に置かれた被計測物５の位置姿勢を計測装置１００が求めたら、ロボットアーム３００の制御部３１０は、その位置姿勢の計測結果を用いてロボットアーム３００を制御する。具体的には、ロボットアーム３００が被計測物５を移動させたり回転させたり、被計測物の把持動作を行ったりする。制御部３１０は、ＣＰＵなどの演算装置やメモリなどの記憶装置を有する。また、計測装置１００により計測された計測データや得られた画像をディスプレイなどの表示部３２０に表示してもよい。

〔第２実施形態〕
第２実施形態について説明する。前述の第１実施形態と異なる部分は、計測シーンと、Ｓ１２の画像補正のステップにおいて被計測面の微細形状に起因する誤差の補正の判断処理が追加される点と、である。第１実施形態では、略整然と配置された被計測物５について撮像された画像を用いて、Ｓ１２で画像全体を補正することを想定していた。本実施形態の計測シーンは、図２（ｂ）で示すように、被計測物５がパレット内にバラ積み状態で置かれている場合である。この場合、複数の被計測物５の姿勢はそれぞれ異なる為、計測装置１００の姿勢が被計測物５の上面に対して正反射近傍条件となるケースが存在する。従って、前述した式（１）が成立しなくなる角度条件が存在し、被計測面の微細形状に起因する誤差の補正により計測精度がかえって低下するという場合が生じる。この為、高精度に被計測物の位置姿勢を計測する為には、撮像された画像内において、被計測物が正反射近傍となっている領域に対しては補正しない事が望ましい。

そこで、本実施形態では、Ｓ１２において、画像内の部分領域ごとに補正の要否の判断を行う。上記を実現する為の補正の処理フローを、図１１で示したフローに従って説明する。本実施形態においては、図１０で示した被計測面の角度と反射率の関係に基づいて、パターン投影画像、濃淡画像、又は、それらの両方の画像内の画素値（輝度値）に基づいて、画像内の部分領域毎に被計測面の微細形状に起因する誤差の補正の要否の判断を行う。

ステップ２１（Ｓ２１）は、演算処理ユニット４が、計測装置１００と被計測物５の相対姿勢（計測シーン）に基づいて補正可否を判断する工程である。本実施形態は、複数の被計測物５がパレット内にバラ積み状態で置かれている場合であり、被計測物と計測装置の相対姿勢が不明の為、第１実施形態とは異なり、演算処理ユニット４は、この時点では画像全領域の補正を行わないと判断する。

ステップ２２（Ｓ２２）は、演算処理ユニット４が、画像内の画素値（輝度値）と、被計測面の微細形状に起因する誤差の補正による精度改善率と、の関係を表すテーブル（データ）を取得する工程である。上記テーブルは、計測装置に対する被計測物の傾斜角度を変えながら計測を行うことで得られる。具体的には、パターン投影画像あるいは濃淡画像の画素値と、被計測物５の概略形状が既知の部分における微細形状に起因する誤差の補正による精度改善率と、の関係（データ）を取得して作成される。尚、微細形状に起因する誤差の補正による精度改善率とは、補正後の被計測物の形状の計測精度を、補正前の形状の計測精度で割ったものである。図１０で示した被計測面の角度と反射率の関係によれば、正反射条件（入射角０）から離れた条件においては反射率が低く、正反射近傍では反射率は高い。また、正反射条件（入射角０）から離れた条件においては入射角度に対して概略線形となるが、正反射近傍では非線形になり、式（２）や式（３）が成り立たなくなる。なお、照度が一定の場合、反射率は画像内の画素値（輝度値）に相当する。したがって、角度と反射率が非線形となるような所定の値より反射率（画素値）が高い場合に精度改善効果が低く、反射率（画素値）がその所定の値より低い場合に精度改善効果は高いことになる。

ステップ２３（Ｓ２３）は、演算処理ユニット４が、ステップ２２で取得されたテーブルから、補正要否判断用の画素値（輝度）の閾値を決定する工程である。輝度閾値Ｉ_ｔｈは、例えば、被計測面の微細形状の起因する誤差の補正による精度改善効果が得られない、すなわち、精度改善率が１となる角度条件の輝度値とする。尚、ステップ２２〜２３は、１種の部品（被計測物）に対して一度実施すればよい工程であり、同種の部品を繰り返し計測する場合には、二回目以降の計測においては省略可能である。

ステップ２４（Ｓ２４）は、演算処理ユニット４が、Ｓ１５で撮像された濃淡画像のデータと、Ｓ１１で撮像されたパターン投影画像のデータと、を取得する工程である。ステップ２５（Ｓ２５）は、演算処理ユニット４が、パターン投影画像内の部分領域毎に補正要否を判断する工程である。本工程では、まず、濃淡画像あるいはパターン投影画像を複数の部分領域に分割する（例えば、２×２画素）。そして、部分領域毎に平均画素値（平均輝度値）を算出し、ステップ２３で算出された輝度閾値と比較する。そして、輝度閾値に比べて平均輝度値が小さい部分領域では補正が必要な領域（補正領域）、輝度閾値に比べて平均輝度値が大きい領域は補正が不要な領域として設定する。尚、本実施形態においては、ノイズを平滑化する為に部分領域毎に分割する方法を述べたが、領域分割を行わず、画素毎に補正要否を行っても構わない。

ステップ２６（Ｓ２６）は、演算処理ユニット４が、パターン投影画像を濃淡画像で補正する工程である。ステップ２５で決定された補正領域について、パターン投影画像を濃淡画像で補正する。補正は、上述の式（２）あるいは式（３）に基づいて行われる。

以上が本実施形態における補正の処理フローの説明である。本実施形態によれば、被計測物のうち正反射近傍以外の部分領域に対しては、第１実施形態と同様、被計測面の微細形状で生じる反射率分布に起因する誤差を補正して計測精度を向上できる。さらに、被計測物のうち正反射近傍の部分領域に対しては、（２）式や（３）式による補正を行わない為、補正による精度低下を防ぐ事が可能となる。したがって、撮像されたパターン投影画像内のうち画像補正により改善が見込める一部の領域についてのみ補正を行うことによって、被計測物全体の形状をより高精度に算出することができる。

〔第３実施形態〕
第３実施形態について説明する。前述の第２実施形態と異なる部分は、被計測面の微細形状に起因する誤差の補正の処理フローである為、この部分についてのみ説明する。第２実施形態においては、画像の部分領域毎の補正要否判断を、パターン投影画像の画素値あるいは濃淡画像の画素値に基づいて行ったが、本実施形態においては、補正前の画像から算出された被計測物の概略姿勢（傾斜角度）に基づいて行う。

図１２に、本実施形態における処理フローを示す。ステップ３１、３４、３７（Ｓ３１、Ｓ３４、Ｓ３７）に関しては、第２実施形態のステップ２１、２４、２６と共通である為、省略する。

ステップ３２（Ｓ３２）は、被計測物のある被計測面の傾斜角度と、被計測面の微細形状に起因する誤差の補正による精度改善率と、の関係を表すテーブル（データ）を取得する工程である。上記テーブルは、計測装置に対する被計測物の傾斜角度を変えながら計測を行い、被計測面の傾斜角度と、被計測物５の概略形状が既知の部分における微細形状に起因する誤差の補正による精度改善率と、の関係を取得して作成される。尚、被計測面の微細形状に起因する誤差の補正による精度改善率とは、第２実施形態と同様、補正後の計測精度を補正前の計測精度で割ったものである。図１０で示した被計測面の角度と反射率の関係によれば、正反射条件から離れた条件においては入射角度に対して概略線形となるが、正反射近傍では非線形になり、式（２）や式（３）が成り立たなくなる。なお、正反射条件は被計測面の傾斜角度は０度であり、正反射条件から離れるほど被計測面の傾斜角度が大きくなる。したがって、角度と反射率が非線形となるような所定の閾値より被計測面の傾斜角度が大きい場合に精度改善効果が高く、被計測面の傾斜角度がその所定の閾値より小さい場合に精度改善効果は低いことになる。

ステップ３３（Ｓ３３）は、ステップ３２で取得されたテーブルから補正要否判断用の姿勢（傾斜角度）の閾値を決定する工程である。姿勢閾値θ_ｔｈは、例えば、被計測面の微細形状に起因する誤差の補正による精度改善効果が得られない、すなわち、精度改善率が１となる姿勢（傾斜角度）とする。尚、ステップ３２〜３３は、第１実施形態と同様、１種の部品に対して一度実施すればよい工程であり、同種部品を繰り返し計測する場合には、二回目以降の計測においては省略可能である。

ステップ３５（Ｓ３５）は、被計測物の概略姿勢を算出する工程である。本工程では、ステップ３４で取得したパターン投影画像と濃淡画像からそれぞれ距離点群およびエッジを算出し、事前作成された被計測物のＣＡＤモデルをモデルフィッティングする事で被計測物の概略姿勢（概略傾斜角度）を算出する。この被計測物の概略姿勢が、予め得られた被計測物の形状の情報となる。ステップ３６（Ｓ３６）は、予め得られた前記被計測物の形状の情報を用いて、パターン投影画像内の部分領域毎に補正要否を判断する工程である。本工程では、ステップ３５で予め得られた、パターン投影画像の画素毎の姿勢（傾斜角度）と、ステップ３３で決定された姿勢閾値とを比較する。パターン投影画像において、Ｓ２５で算出された概略姿勢が閾値に比べて大きい部分領域は補正が必要な領域（補正領域）、Ｓ３５で算出された概略姿勢が閾値に比べて小さい部分領域は補正が不要な領域として設定する。

以上述べた本実施形態によれば、第２実施形態と同様、正反射近傍での精度低下を抑制しつつ、被計測物の表面の微細形状に起因する計測誤差を高精度に補正する事が可能となる。

〔第４実施形態〕
第４実施形態について説明する。前述の第１実施形態と異なる部分は、濃淡画像用照明ユニット２のみである為、この部分についてのみ説明する。第１実施形態においては、濃淡画像用照明ユニット２は複数の光源７からの光で被計測物５を直接照明する構成とした。この構成の場合、被計測物５の照明光の特性（波長、偏光、輝度、配光特性）は、光源７の特性に大きく影響される。

そこで、本実施形態においては、図１３に示すように、光を拡散する拡散板１５（拡散部材）を配置する。拡散板１５は、例えば、すりガラスである。図１３は、本実施形態における計測装置２００の概略図である。図１の計測装置１００と同一の部材については同一の参照番号を付し、重複する説明は省略する。なお、計測装置２００において、複数の光源７は、投影光学系１０の光軸に対して対称に配置されていなくても、投影光学系１０の光軸に対して対称に配置されていてもどちらでも構わない。濃淡画像用照明ユニット２内の光源７から射出された光は拡散板１５で様々な方向に拡散される。そのため、拡散板１５からの光は、パターン光を投影する投影光学系１０の光軸周りの周上において連続的に発光する光源が配置されているのと同様となる。さらに、投影光学系１０の光軸周りの周上において波長、偏光、輝度、配光特性を連続的に等しくする事が可能となる。したがって、投影光学系１０の光軸に対して対称な２方向から被計測物を照明することができ、被計測物５を照明する照明光と投影光学系１０の光軸が成す角度をγとすると、反射率の角度特性が略線形な領域では式（１）が近似的に成立することになる。そのため、パターン投影画像と濃淡画像の局所的な反射率分布（光強度分布）が概略等しくなり、式（２）や式（３）を用いた画像の補正を行うことで、被計測物の反射率分布に起因する誤差を補正することができる。

以上述べた本実施形態によれば、第１実施形態と同様、被計測物と撮像部の相対位置が変化する場合においても、被計測物の表面の反射率分布に起因する計測誤差を高精度に補正する事が可能となる。

以上、各実施形態を説明してきたが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内において様々な変更が可能である。例えば、上記実施形態におけるイメージセンサとして２つのセンサ１３、１４を設けたが、距離画像と濃淡画像を取得することができる１つのセンサであってもよい。その場合、波長分割素子１２は不要となる。また、上記の実施形態を組み合わせた形態としてもよい。また、光源６と光源７が発する光を無偏光としたが、これに限らず、偏光方向が同じ直線偏光光としてもよく、偏光状態が同じ偏光光であればよい。また、複数の発光部が連結部材や支持部材などにより機械的に連結されていてもよい。また、複数の光源７の代わりにリング状の単一光源を採用してもよい。また、本計測装置は、撮像部を備えた複数台のロボットアームを用いて計測を行う計測装置や、固定された支持部材に撮像部を備えた計測装置にも適用が可能である。また、計測装置２０は、ロボットアーム以外にも、固定された支持構造物に取り付けられていても良い。また、当該計測装置によって計測された被計測物の形状データを用いて、被計測物の加工、変形や組立などの処理を行って、光学部品や装置ユニットなどの物品を生産することもできる。

Claims (19)

1. 被計測物の形状を計測する計測装置であって、
   パターン光を前記被計測物に投影する投影光学系と、
   前記被計測物を照明する照明部と、
   前記投影光学系により前記パターン光が投影された前記被計測物を撮像して、前記被計測物で反射された前記パターン光による前記被計測物の第１画像を取得する撮像部と、
   前記第１画像に基づいて前記被計測物の形状の情報を求める処理部と、を有し、
   前記照明部は、前記投影光学系の光軸周りに配置され、前記投影光学系の光軸に対して対称に配置された複数の発光部を有し、
   前記処理部は、前記複数の発光部により照明された前記被計測物を前記撮像部で撮像して得られる、前記被計測物で反射された前記複数の発光部からの光による前記被計測物の第２画像、を用いて前記第１画像を補正し、補正された画像に基づいて前記被計測物の形状の情報を求めることを特徴とする計測装置。
2. 被計測物の形状を計測する計測装置であって、
   パターン光を前記被計測物に投影する投影光学系と、
   前記被計測物を照明する照明部と、
   前記投影光学系により前記パターン光が投影された前記被計測物を撮像して、前記被計測物で反射された前記パターン光による前記被計測物の第１画像を取得する撮像部と、
   前記第１画像に基づいて前記被計測物の形状の情報を求める処理部と、を有し、
   前記照明部は、前記投影光学系の光軸周りに配置された複数の発光部と、前記複数の発光部からの光を拡散する拡散部材と、を有し、
   前記処理部は、前記拡散部材からの光で照明された前記被計測物を前記撮像部で撮像して得られる、前記被計測物で反射された前記拡散部材からの光による前記被計測物の第２画像を用いて前記第１画像を補正し、補正された画像に基づいて前記被計測物の形状の情報を求めることを特徴とする計測装置。
3. 前記複数の発光部は、同一の型番の製品である、ことを特徴とする請求項１又は２に記載の計測装置。
4. 前記複数の発光部は、波長、偏光、輝度、および配光の特性が同じである、ことを特徴とする請求項１又は２に記載の計測装置。
5. 前記処理部は、前記第１画像の複数の部分領域のうち一部の領域を補正する、ことを特徴とする請求項１乃至４の何れか１項に記載の計測装置。
6. 前記処理部は、前記第１画像および前記第２画像のうち少なくとも一方の画素値を用いて、前記第１画像の部分領域ごとに補正の要否を判断する、ことを特徴とする請求項５に記載の計測装置。
7. 前記処理部は、前記第１画像および前記第２画像のうち少なくとも一方の画像の各部分領域における画素値と予め定められた閾値とを比較することによって、前記第１画像の部分領域ごとに補正を行うか否かを判断する、ことを特徴とする請求項６に記載の計測装置。
8. 予め得られた前記被計測物の形状の情報を用いて、前記第１画像の部分領域ごとに補正の要否を判断する、ことを特徴とする請求項５に記載の計測装置。
9. 前記処理部は、予め得られた前記被計測物の形状の各部分における傾斜角度と予め定められた閾値とを比較することによって、前記第１画像の部分領域ごとに補正を行うか否かを判断する、ことを特徴とする請求項８に記載の計測装置。
10. 前記撮像部は、前記被計測物で反射された前記パターン光による前記被計測物の第１画像を取得する第１撮像部と、前記被計測物で反射された前記複数の発光部からの光による前記被計測物の第２画像を取得する第２撮像部と、を有し、
    前記パターン光が投影され、かつ、前記照明部により照明された前記被計測物を前記第１撮像部と前記第２撮像部で撮像する、ことを特徴とする請求項１乃至９の何れか１項に記載の計測装置。
11. 前記撮像部は、前記被計測物で反射された前記パターン光による前記被計測物の撮像と、前記被計測物で反射された前記照明部からの光による前記被計測物の撮像を同期して行う、ことを特徴とする請求項１乃至１０の何れか１項に記載の計測装置。
12. 前記パターン光の偏光状態と、前記照明部からの光の偏光状態と、が同じである、ことを特徴とする請求項１乃至１１の何れか１項に記載の計測装置。
13. 前記パターン光の波長と、前記照明部からの照明光の波長と、は異なることを特徴とする請求項１乃至１２の何れか１項に記載の計測装置。
14. 前記パターン光の波長と、前記照明部からの照明光の波長と、は異なり、
    前記被計測物で反射された光を波長によって分割し、前記パターン光の波長の光を前記第１撮像部へ導き、前記照明部からの照明光の波長の光を前記第２撮像部へ導く波長分割素子を有することを特徴とする請求項１０に記載の計測装置。
15. 被計測物の形状を計測する計測装置であって、
    パターン光を前記被計測物に投影する投影光学系と、
    前記被計測物を照明する照明部と、
    前記投影光学系により前記パターン光が投影された前記被計測物を撮像して、前記被計測物で反射された前記パターン光による前記被計測物の第１画像を取得する撮像部と、
    前記第１画像に基づいて前記被計測物の形状の情報を求める処理部と、を有し、
    前記照明部は、前記投影光学系の光軸を挟んだ２方向から前記被計測物を照明するように構成されており、
    前記処理部は、前記照明部により照明された前記被計測物を前記撮像部で撮像して得られる、前記被計測物で反射された前記照明部からの光による前記被計測物の第２画像を用いて前記第１画像を補正し、補正された画像に基づいて前記被計測物の形状の情報を求めることを特徴とする計測装置。
16. 前記照明部は、前記投影光学系の光軸周りに配置され、前記投影光学系の光軸に対して対称に配置された複数の発光部を有する、ことを特徴とする請求項１５に記載の計測装置。
17. 前記照明部は、前記投影光学系の光軸周りに配置された複数の発光部と、前記複数の発光部からの光を拡散する拡散部材と、を有する、ことを特徴とする請求項１５に記載の計測装置。
18. 物体を把持して移動させるシステムであって、
    前記物体の形状を計測する、請求項１乃至１７の何れか１項に記載の計測装置と、
    前記物体を把持する把持部と、
    前記把持部を制御する制御部と、を有し、
    前記制御部は、前記計測装置による前記物体の計測結果を用いて前記把持部を制御する、ことを特徴とするシステム。
19. 物品の生産方法であって、
    請求項１乃至１７の何れか１項に記載の計測装置を用いて被計測物の形状を計測する工程と、
    前記計測装置による前記被計測物の計測結果を用いて前記被計測物を処理することにより、物品を生産する工程と、を有することを特徴とする生産方法。

Images