JP6519265B2 - 画像処理方法 - Google Patents

Description

本発明は、画像処理方法に関し、特に、照度差ステレオ法を用いた画像処理方法に関する。

例えば、製品の形状や表面の傷等を目視確認する外観検査において、検査の効率と品質の向上を目的とした検査の自動化が求められている。近年、三次元非接触形状計測手法として、レーザ変位センサを走査させて計測する手法（特許文献１参照）やパターン光を物体に投影し投影光の撮影画像を解析することで物体の三次元形状を計測する手法（特許文献２参照）を適用した装置が利用されつつある。

しかしながら、これらの手法は、レーザの形状やパターン光の投影模様以上の分解能を実現することが困難であるとともに、物体への投影光が解析画像に鮮明に写っている必要があるため、投影光を十分なコントラストで撮影できない表面性状を持った物体（例えば、鏡面や黒体）の計測に弱い傾向がある。

ところで、一般に、物体の表面に光を照射した場合、光の入射角度に対応して種々の方向に光が反射し、光の反射角度によって、光の強度（すなわち、輝度値）が変化することとなる。したがって、視点（カメラ）を固定して、物体の表面に複数の方向から光を照射して、その反射光の輝度値の変化を計測することによって、物体の立体形状を計測することが可能となる。この原理を用いた方法が照度差ステレオ法である。照度差ステレオ法では、カメラにより撮影された画像の観測輝度情報から、各画素における法線方向（すなわち、面法線ベクトル）を推定している。

例えば、特許文献３には、照度差ステレオ法において、鏡面反射が存在する被写体では大きな誤差が生じること、鏡面反射を分離した拡散反射画像のみを利用することで鏡面反射の存在による推定誤差を無くすことができること、輝度値を用いて影領域を除去すること等が記載されている。また、特許文献１には、鏡面反射を分離する方法として種々の方法があることも記載されている（偏光フィルタを用いた方法、マルチスペクトルカメラを用いた方法、線形化画像を利用した方法等）。

特開２００４−２９４１７０号公報 特開平８−２９１３６号公報 特開２００８−１６９１８号公報

上述した特許文献３に記載されたように、照度差ステレオ法を用いた場合、撮影画像中の正反射（鏡面反射ともいう）や影の影響が強い部分が誤差要因となることが知られている。そして、より微細で複雑な形状を高精度に計測するためには、正反射や影の強い部分を簡便かつ正確に除去する技術の開発が望まれている。また、照度差ステレオ法では、光源の位置と向きに起因する物体に対する照度のばらつきも誤差要因となる。また、複数の光源を用いた照度差ステレオ法では、全ての光源が同一の光度であることが好ましいが、実際には光源によって個体差が存在し、誤差要因となる。

本発明は、上述した問題点に鑑み創案されたものであり、微細で複雑な形状の物体であっても外観や形状を高精度に計測することができる画像処理方法を提供することを目的とする。

本発明によれば、異なる位置に配置された複数の光源から物体に個別に光を照射して前記物体の撮影画像を個別に取得し、前記撮影画像における注目画素の輝度値の変化に基づいて前記注目画素の法線を推定する照度差ステレオ法を用いた画像処理方法において、前記注目画素における入射光軸と前記法線とのなす第一角度、前記注目画素における反射光軸と前記法線とのなす第二角度又は前記注目画素における入射光軸と光源軸とのなす第三角度のうち少なくとも何れか一つを用いて前記撮影画像を補正し、補正した前記撮影画像を用いて照度差ステレオ法により前記注目画素の法線を推定し直し、該法線の変化量が所定の閾値の範囲内に収束するまで、前記撮影画像の補正を繰り返す、ことを特徴とする画像処理方法が提供される。

また、本発明によれば、異なる位置に配置された複数の光源から物体に個別に光を照射して前記物体の撮影画像を個別に取得し、前記撮影画像における注目画素の輝度値の変化に基づいて前記注目画素の法線を推定する照度差ステレオ法を用いた画像処理方法において、前記注目画素における入射光軸と前記法線とのなす第一角度を用いて前記撮影画像を補正する工程を含み、前記撮影画像の補正は、前記第一角度が９０°近傍の所定の閾値以上である場合に前記注目画素を影部と判断して前記撮影画像から除去することを含む、ことを特徴とする画像処理方法が提供される。

また、本発明によれば、異なる位置に配置された複数の光源から物体に個別に光を照射して前記物体の撮影画像を個別に取得し、前記撮影画像における注目画素の輝度値の変化に基づいて前記注目画素の法線を推定する照度差ステレオ法を用いた画像処理方法において、前記注目画素における入射光軸と前記法線とのなす第一角度及び前記注目画素における反射光軸と前記法線とのなす第二角度を用いて前記撮影画像を補正する工程を含み、前記撮影画像の補正は、前記第一角度と前記第二角度との差分が０°近傍の所定の範囲内である場合に前記注目画素を正反射部と判断して前記撮影画像から除去することを含む、ことを特徴とする画像処理方法が提供される。

また、本発明によれば、異なる位置に配置された複数の光源から物体に個別に光を照射して前記物体の撮影画像を個別に取得し、前記撮影画像における注目画素の輝度値の変化に基づいて前記注目画素の法線を推定する照度差ステレオ法を用いた画像処理方法において、前記注目画素における入射光軸と光源軸とのなす第三角度を用いて前記撮影画像を補正する工程を含み、前記撮影画像の補正は、前記光源から一つの基準光源を選択し、ある光源の前記第三角度を用いて前記基準光源の配光特性から前記ある光源の光度を推定するとともに、前記基準光源及び前記ある光源の前記注目画素までの距離に基づく光の減衰率を考慮して、前記ある光源に対する前記注目画素の輝度値を補正することを含む、ことを特徴とする画像処理方法が提供される。

また、本発明によれば、異なる位置に配置された複数の光源から物体に個別に光を照射して前記物体の撮影画像を個別に取得し、前記撮影画像における注目画素の輝度値の変化に基づいて前記注目画素の法線を推定する照度差ステレオ法を用いた画像処理方法において、前記注目画素における入射光軸と前記法線とのなす第一角度、前記注目画素における反射光軸と前記法線とのなす第二角度又は前記注目画素における入射光軸と光源軸とのなす第三角度のうち少なくとも何れか一つを用いて前記撮影画像を補正する工程と、前記撮影画像を取得する撮影工程と、観測輝度値を用いて正反射部及び影部を除去する第一除去工程と、照度差ステレオ法を用いて画素ごとに前記法線を推定する第一法線推定工程と、画素ごとに三次元座標を算出する第一座標算出工程と、前記法線を用いて正反射部及び影部を除去する第二除去工程と、画素ごとに観測輝度値を補正する輝度値補正工程と、補正した前記撮影画像について照度差ステレオ法を用いて画素ごとに法線を推定する第二法線推定工程と、補正した前記撮影画像について画素ごとに三次元座標を算出する第二座標算出工程と、前記第二法線推定工程で推定した法線の前記第一法線推定工程で推定した法線に対する変化量が所定の閾値以下に収束したか否か判断する判断工程と、を備え、前記法線の変化量が閾値以下に収束するまで前記第二除去工程〜前記判断工程を繰り返し処理するようにした、ことを特徴とする画像処理方法が提供される。

また、前記画像処理方法において、補正した前記撮影画像を用いて前記物体の外観形状を算出するようにしてもよい。

上述した本発明の画像処理方法によれば、注目画素における、入射光軸と法線とのなす角度（第一角度）、反射光軸と法線とのなす角度（第二角度）又は入射光軸と光源軸とのなす角度（第三角度）のうち少なくとも何れか一つを用いて撮影画像を補正するようにしたことから、輝度値や偏向特性を用いた場合と比較して、簡便かつ正確に正反射や影の部分を除去したり、照度のばらつきを抑制したりすることができ、微細で複雑な形状の物体であっても外観や形状を高精度に計測することができる。

例えば、第一角度が９０°近傍における所定の閾値以上である場合に注目画素を影部の影響を強く受けた部分と判断することができ、第一角度と第二角度との差分が０°近傍の所定の範囲内である場合に注目画素を正反射部の影響を強く受けた部分と判断することができる。したがって、本発明によれば、計測誤差の大きい輝度値に依存することがなく、かつ、複雑な計算を行うこともなく、正反射部や影部の影響を強く受けた部分を容易に除去することができる。

また、第三角度を用いて配光特性や距離差に起因する光の減衰率を考慮して注目画素の輝度値を補正することにより、光源の位置と向きに起因する物体に対する照度のばらつきや光源の個体差による影響を効果的に抑制することができる。

照度差ステレオ法を用いた形状計測装置を示す概念図であり、（ａ）は側面図、（ｂ）は平面図、である。 図１に示した光学系に使用されるレンズの説明図であり、（ａ）はテレセントリックレンズ、（ｂ）は通常のレンズ、を示している。 物体の表面に光を照射したときの光の反射に関する説明図であり、（ａ）は撮影画像、（ｂ）は入射光及び反射光の位置関係、を示している。 本発明の第一実施形態に係る画像処理方法を示すフロー図である。 図４に示した第二除去工程の作用を示す図であり、（ａ）は白色セラミックス球の場合、（ｂ）は銀貨の場合、を示している。 銀貨の形状計測結果を示す図であり、（ａ）は第一実施形態に係る画像処理方法を用いた計測結果、（ｂ）はレーザ変位センサを用いた計測結果、を示している。 本発明の第二実施形態に係る画像処理方法を示すフロー図である。 本発明の第三実施形態に係る画像処理方法を示すフロー図である。

以下、本発明の第一実施形態について図１〜図６を用いて説明する。ここで、図１は、照度差ステレオ法を用いた形状計測装置を示す概念図であり、（ａ）は側面図、（ｂ）は平面図、である。図２は、図１に示した光学系に使用されるレンズの説明図であり、（ａ）はテレセントリックレンズ、（ｂ）は通常のレンズ、を示している。図３は、物体の表面に光を照射したときの光の反射に関する説明図であり、（ａ）は撮影画像、（ｂ）は入射光及び反射光の位置関係、を示している。図４は、本発明の第一実施形態に係る画像処理方法を示すフロー図である。

最初に、本実施形態において使用する形状計測装置の概要について説明する。図１（ａ）及び図１（ｂ）に示した形状計測装置１は、異なる位置に配置された複数の光源２から物体Ｘに個別に光を照射して物体Ｘの撮影画像Ｐを個別に取得し、撮影画像Ｐにおける注目画素Ｔの輝度値の変化に基づいて法線ｎを画素単位で推定する照度差ステレオ法を用いたものである。

具体的には、形状計測装置１は、装置上部に光軸が鉛直になるようにカメラ３及びレンズ４を固定し、その下に高さが調整可能で水平な計測ステージ（図示せず）を設置している。この計測ステージを中心にドーム状の枠体（図示せず）を組み、そこに複数の光源２を取り付けている。図１（ｂ）では、一例として、１６個の光源２を図示しているが、かかる個数及び配置に限定されるものではない。なお、環境光の混入を防ぐために装置全体をパネルで覆うようにしてもよい。

光源２は、例えば、ＬＥＤモジュールにより構成される。ＬＥＤモジュールは、表面実装型白色ＬＥＤ素子を内蔵しており、前面から拡散板を介して発光面が白色拡散光を照射するように構成されている。このように、ＬＥＤ照明をモジュール化することにより、ＬＥＤ素子の放熱対策を行うことができるとともに、光の照射角度を制限して光が直接カメラに入射することを抑制することができる。

カメラ３は、例えば、１６００万画素程度のモノクロＣＣＤカメラであるが、かかるカメラに限定されるものではない。また、レンズ４は、例えば、両側テレセントリックレンズである。図２（ａ）に示したように、物体側レンズ４１と像側レンズ４２の焦点位置を同じくし、焦点位置に口径を小さくした絞りを置くことで、光学系の軸外の物点から出て開口絞りの中心を通過する光線（主光線）が、物体Ｘ側と像Ｉｍ側で光軸（図中、一点鎖線で示した直線）と平行になる光学系が両側テレセントリック（double-sided telecentric）である。

図２（ｂ）に示したように、通常のレンズ４′での撮影画像は透視投影画像となるのに対し、両側テレセントリックレンズ（レンズ４）での撮影画像は平行投影画像となる。このため両側テレセントリックレンズでは、物体Ｘと光学系との間の距離が変化しても、被写界深度の範囲内であれば撮影画像上の像Ｉｍの大きさは変わらず、視差による画像歪みを低減することができる。なお、図２（ａ）及び図２（ｂ）において、説明の便宜上、物体Ｘ，Ｘ′及び像Ｉｍ，Ｉｍ′を両矢印で簡易的に表示している。

また、光源２、カメラ３及びレンズ４は、図１（ａ）に示したように、制御装置５に接続されている。制御装置５は、光源２の発光、カメラ３の撮影、レンズ４の焦点、撮影画像の記憶や解析等の処理を行う。また、制御装置５は、後述する本発明の第一実施形態に係る画像処理方法を実行するプログラムが格納されており、カメラ３による撮影画像を所定のフローに従って補正する。なお、図１（ｂ）では、説明の便宜上、制御装置５の図を省略してある。

ここで、ある光源２から物体Ｘに光を照射して、レンズ４を介してカメラ３で撮影した撮影画像Ｐについて説明する。例えば、図３（ａ）に示したように、物体Ｘとして白色セラミックス球を使用した場合、物体Ｘの表面には、一般に、白く明るく表示される正反射部Ｍ（鏡面反射ともいう）及び暗く表示される影部Ｓ（アタッチドシャドウともいう）が生じる。

いま、撮影画像Ｐ中の注目画素Ｔに対応する物体Ｘ上の点Ｔｘにおける光の反射について考察する。図３（ｂ）に示したように、点Ｔｘにおける入射光軸をｃ、反射光軸をｒ、法線をｎ、光源軸（光源の中心軸）をＬとすれば、入射光軸ｃと法線ｎとのなす角度は第一角度θ_１、反射光軸ｒと法線ｎとのなす角度は第二角度θ_２、入射光軸ｃと光源軸Ｌとのなす角度は第三角度θ_３と表示することができる。

そして、本発明の第一実施形態に係る画像処理方法は、図４に示したように、異なる位置に配置された複数の光源２から物体Ｘに個別に光を照射して物体Ｘの撮影画像Ｐを個別に取得し、この撮影画像Ｐにおける注目画素Ｔの輝度値（観測輝度値ともいう）の変化に基づいて注目画素Ｔの法線ｎを推定する照度差ステレオ法を用い、注目画素Ｔにおける入射光軸ｃと法線ｎとのなす第一角度θ_１、注目画素Ｔにおける反射光軸ｒと法線ｎとのなす第二角度θ_２及び注目画素Ｔにおける入射光軸ｃと光源軸Ｌとのなす第三角度θ_３を用いて撮影画像Ｐを補正するようにしたものである。

具体的には、図４に示したフロー図に従って撮影画像Ｐを補正する。図４に示した画像処理方法は、異なる光源２から個別に物体Ｘに光を照射して撮影画像Ｐを取得する撮影工程Ｓｔｅｐ１と、撮影画像Ｐから観測輝度値を用いて正反射部Ｍ及び影部Ｓを構成する画素を除去する第一除去工程Ｓｔｅｐ２と、照度差ステレオ法を用いて画素ごとに法線ｎを推定する第一法線推定工程Ｓｔｅｐ３と、画素ごとに三次元座標を算出する第一座標算出工程Ｓｔｅｐ４と、法線ｎを用いた正反射部Ｍ及び影部Ｓを構成する画素を除去する第二除去工程Ｓｔｅｐ５と、画素ごとに観測輝度値を補正する輝度値補正工程Ｓｔｅｐ６と、補正した撮影画像Ｐについて照度差ステレオ法を用いて画素ごとに法線ｎを推定する第二法線推定工程Ｓｔｅｐ７と、補正した撮影画像Ｐについて画素ごとに三次元座標を算出する第二座標算出工程Ｓｔｅｐ８と、第二法線推定工程Ｓｔｅｐ７で推定した法線ｎの第一法線推定工程Ｓｔｅｐ３で推定した法線ｎに対する変化量が所定の閾値以下に収束したか否か判断する判断工程Ｓｔｅｐ９と、を備え、法線ｎの変化量が閾値以下に収束するまで第二除去工程Ｓｔｅｐ５〜判断工程Ｓｔｅｐ９を繰り返し処理するようにしたものである。

撮影工程Ｓｔｅｐ１は、例えば、形状計測装置１のＮ＝１〜１６までの光源２について、順番に物体Ｘに光を照射して、その光に照らされた状態の物体Ｘを個別にカメラ３で撮影する工程である。したがって、例えば、本実施形態では、１６枚の撮影画像Ｐを取得することができる。

第一除去工程Ｓｔｅｐ２は、撮影画像Ｐの各画素における観測輝度値から強い正反射部Ｍ及び強い影部Ｓを一次スクリーニング的に除去する工程である。例えば、８ビット画像において、観測輝度値が２５０以上又は２５５の部分は強い正反射部Ｍとして除去し、観測輝度値が５以下又は０の部分は強い影部Ｓとして、撮影画像Ｐから除去する。なお、この第一除去工程Ｓｔｅｐ２は、必要に応じて省略してもよい。

第一法線推定工程Ｓｔｅｐ３は、第一除去工程Ｓｔｅｐ２で除去した画素は除いて、撮影画像Ｐの画素ごとに照度差ステレオ法を用いて法線ｎを推定する工程である。法線ｎを推定する際には、光の方向と明るさの関係を示す関係式、Ｉ＝λvec{ｎ}・vec{ｃ}により、vec{ｎ}を推定する。ここで、Ｉは画素の明るさ（輝度値）、λは拡散反射率（アルベド）、vec{ｎ}は面法線ベクトル、vec{ｃ}は入射光軸ベクトル、を示している。

この関係式は、行列を用いて表現すれば、数１式のように表現することができる。なお、Ｉは画素の観測輝度値、Ｎは光源２の数、ＸはＸ座標、ＹはＹ座標、ＺはＺ座標を示している。また、（ｃ_Ｎｘ，ｃ_Ｎｙ，ｃ_Ｎｚ）は、Ｎ番目の光源２のＸＹＺ座標、（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）は画素の法線ベクトル、を示している。

第一座標算出工程Ｓｔｅｐ４は、推定した法線ｎの条件を満たすように、各画素の中心点における三次元座標（ＸＹＺ座標）を算出する工程である。各画素の三次元座標を算出することにより、物体Ｘの三次元形状を復元することができる。このとき、Ｚ座標、すなわち、物体Ｘの高さを算出するには、種々の方法がある。例えば、ポアソン方程式を用いた積分による手法、隣り合う画素の相対高さを円弧近似で定義する手法、パラメトリック曲面を用いる手法等を用いることができる。

また、物体Ｘの三次元形状の復元には、照度差ステレオ法により算出される法線ｎは一様分布であること、正則な曲面は曲面上の任意の点の近傍において二次の高さ関数により表現可能であることから、曲面表現には一様双二次のＢ-ｓｐｌｉｎｅ曲面を用いるようにしてもよい。Ｂ-ｓｐｌｉｎｅ曲面を用いることにより、省メモリで計算コストが低い、高精度で密な連続した形状の復元が可能である、そのままＣＡＥ（Computer Aided Engineering）やＣＡＭ（Computer Aided Manufacturing）等の工程で使用することができ等の利点が得られる。

第二除去工程Ｓｔｅｐ５は、推定した法線ｎと算出した三次元座標を用いて求められる第一角度θ_１及び第二角度θ_２を用いて正反射部Ｍ及び影部Ｓの影響を強く受けている画素を撮影画像Ｐから除去する工程である。上述したように、光源２から物体Ｘに光を照射すると反射や影を生じる。特に、正反射部Ｍや影部Ｓによる輝度値の変化は法線推定の誤差要因となるため、法線推定過程において撮影画像Ｐ上の正反射部Ｍや影部Ｓの影響が強い画素を除去することが好ましい。

本実施形態では、光線ベクトル（入射光軸ｃ及び反射光軸ｒ）と物体Ｘの表面における法線ｎとの間の角度（第一角度θ_１及び第二角度θ_２）を画素ごとに高精度に算出して評価することにより、正反射部Ｍや影部Ｓの除去を行っている。また、本実施形態では、レンズ４に視差による画像歪みやレンズの歪曲収差が少ない両側テレセントリックレンズを使用していることから、第一角度θ_１及び第二角度θ_２を容易に算出することができる。

正反射は、光の入射角と反射角が等しい場合に生じる現象である。すなわち、第一角度θ_１と第二角度θ_２とが一致している部分の観測輝度値には、高い比率で正反射成分が含まれていると考えられる。そこで、本実施形態では、第一角度θ_１と第二角度θ_２との差分が０°近傍の所定の範囲内である場合に、その注目画素Ｔを正反射部Ｍの影響を受けている部分と判断して撮影画像Ｐから除去している。ここで、所定の範囲とは、例えば、０°≦｜θ_１−θ_２｜≦２０°であってもよいし、０°≦｜θ_１−θ_２｜≦１０°であってもよいし、０°≦｜θ_１−θ_２｜≦５°であってもよい。

また、アタッチドシャドウは、物体Ｘの表面における法線方向と光源軸方向との関係により直接光の当たらない部分に生じる影である。すなわち、第一角度θ_１の大きさが、例えば、９０°よりも大きい場合は、アタッチドシャドウが発生していると考えられる。そこで、本実施形態では、第一角度θ_１が９０°近傍の所定の閾値以上である場合に、その注目画素Ｔを影部Ｓの影響を受けている部分と判断して撮影画像Ｐから除去している。ここで、所定の閾値以上とは、例えば、θ_１≧７０°であってもよいし、θ_１≧８０°であってもよいし、θ_１≧８５°であってもよいし、θ_１≧９０°であってもよい。

なお、本実施形態では、正反射部Ｍ及び影部Ｓの影響が強い画素の両方を除去しているが、必要に応じて、正反射部Ｍの影響が強い画素のみを除去するようにしてもよいし、影部Ｓの影響が強い画素のみを除去するようにしてもよい。

輝度値補正工程Ｓｔｅｐ６は、注目画素Ｔにおける入射光の拡散度（すなわち、第三角度θ_３の大きさ）及び注目画素Ｔから光源２までの距離ｄ（図１参照）に基づいて、注目画素Ｔの観測輝度値を補正する工程である。

一般的な照度差ステレオ法では、光源２からの光は平行光でかつ各光源２からの光の照度は等しいという前提条件があるため、光源２の方向を推定することで光源２ごとに単一の光線ベクトルを決定すればよい。しかしながら、図１に示した形状計測装置１の光源２は、物体Ｘまでの距離が比較的近接している（例えば、４００ｍｍ程度）であるため、光源２からの光は拡散光として扱うべきである。

拡散光の場合は、光の到達点（撮影画素）ごとに光線ベクトル（入射光軸ｃ）が異なるため、三次元空間における光源２の位置を推定し、それを元に算出した撮影画素ごとの光線ベクトル（入射光軸ｃ）を照度方程式に適用することで精度向上を図ることができる。なお、本実施形態において、光源２は、発光面の寸法が物体Ｘと光源２間の距離と比較して十分に小さいことから、点光源として扱うことができる。

また、光源２と物体Ｘ間の距離ｄを算出することで、光の逆二乗の法則（光の強さは光源からの距離の二乗に反比例すること）を考慮して、複数の光源２から選択した基準光源（例えば、注目画素Ｔに最も近い光源２）に対する距離差に基づいて、光源２の光度を基準光源の光度に対する比率として表現することができ、光源２の個体差による影響を低減することができる。さらに、光源２の方向（すなわち、第三角度θ_３）を把握することで、拡散光の配光特性を考慮した観測輝度値の補正も可能となる。本実施形態では、レンズ４として歪みの少ない両側テレセントリックレンズを使用していることから、これらの補正を容易に行うことができる。

したがって、輝度値補正工程Ｓｔｅｐ６における補正は、光源２から一つの基準光源を選択し、ある光源２の第三角度θ_３を用いて基準光源の配光特性からある光源２の光度を推定するとともに、基準光源及びある光源２の注目画素Ｔまでの距離ｄに基づく光の減衰率を考慮して、ある光源２に対する注目画素Ｔの輝度値を補正するものであると言い換えることができる。なお、基準光源としては、注目画素Ｔに最も近い光源２に限定されるものではなく、複数の光源２から任意に選択することができる。

さらに、本実施形態において、物体Ｘに照射された実際の光の強さと撮影画像Ｐの観測輝度値の関係を表すカメラレスポンス関数ｆ（Ｉ）を導出して観測輝度値の補正を行うようにしてもよい。照度差ステレオ法においては、物体Ｘに照射された実際の光の強さと撮影画像Ｐの観測輝度値の関係を表すカメラレスポンス関数ｆ（Ｉ）が線形であるという前提があるが、実際にはカメラ内部で行われるガンマ補正等の影響により線形でない場合が多い。

カメラレスポンス関数ｆ（Ｉ）の非線形性は算出される法線ｎの誤差要因となるため、事前にカメラレスポンス関数ｆ（Ｉ）を求め、観測輝度値に補正を加えるようにしてもよい。カメラレスポンス関数ｆ（Ｉ）の推定については、画像ノイズの分散の情報から推定する手法や輝度値の制御が可能な輝度箱を用いる方法等がある。

また、一般的な照度差ステレオ法では、各光源２から物体Ｘに照射される光の照度が均一であるという前提条件がある。各光源２からの照度が不均一な場合、照度方程式に誤差を含むため、法線ｎの推定精度に影響を与えることがある。しかしながら、実際の光源２は、物体Ｘと光源２間の距離の差や光源２の輝度の個体差により、物体Ｘに対して全ての光源２の照度を均一にすることは略不可能である。

ここで、光源２の照度のばらつきは、ＬＥＤの個体差や製作したＬＥＤ制御装置の回路損失に起因しているものと考えられる。そこで、本実施形態では、各光源２の輝度を輝度計により測定し、各光源２の輝度値Ｉｉと全ての光源２における最大輝度値Ｉｍａｘを用いて、個体差補正係数ｂｉをＩｍａｘ／Ｉｉの計算式により算出した。

以上の補正内容を纏めると、数２式のように輝度値補正関数を導出することができる。ここで、Ｉは注目画素Ｔの観測輝度値、ｆ（Ｉ）はカメラレスポンス関数、ｄは撮影画像Ｐで使用した光源２と注目画素Ｔ間の距離、ｄｍｉｎは全光源において注目画素Ｔとの距離が最も近い光源２と注目画素Ｔ間の距離、ｎは配光特性モデルにおける乗数、Ｉｃは注目画素Ｔの補正した輝度値、ｂｉは光源２の個体差補正係数、を示している。

なお、カメラレスポンス関数ｆ（Ｉ）の非線形性を無視できる場合には、数２式において、ｆ（Ｉ）の部分に観測輝度値Ｉを代入するようにすればよい。また、数２式において、光源２の個体差のばらつきを無視できる場合や無視してもよい場合には、個体差補正係数ｂｉを省略するようにしてもよい。

第二法線推定工程Ｓｔｅｐ７は、第二除去工程Ｓｔｅｐ５及び輝度値補正工程Ｓｔｅｐ６により補正した撮影画像Ｐについて、照度差ステレオ法を用いて法線ｎを推定し直す工程である。上述したように、第二除去工程Ｓｔｅｐ５により正反射部Ｍ及び影部Ｓの影響が強い画素が除去され、残った画素についても輝度値が補正されていることから、補正した撮影画像Ｐから推定される法線ｎは、第一法線推定工程Ｓｔｅｐ３により推定された法線ｎよりも精度が向上することとなる。

第二座標算出工程Ｓｔｅｐ８は、第二法線推定工程Ｓｔｅｐ７により補正された法線ｎに基づいて各画素の三次元座標を算出し直す工程である。上述した工程により、法線ｎを高精度に推定することができることから、各画素の三次元座標もより高精度に算出することができる。なお、三次元座標の算出方法は、第一座標算出工程Ｓｔｅｐ４と同じであることから、ここでは詳細な説明を省略する。

判断工程Ｓｔｅｐ９は、第二法線推定工程Ｓｔｅｐ７により補正された法線ｎの変化量に基づいて補正を繰り返すか否かを判断する工程である。例えば、第二法線推定工程Ｓｔｅｐ７により推定された全ての法線ｎについて、第一法線推定工程Ｓｔｅｐ３により推定された法線ｎに対する変化量（例えば、これらの法線ｎのなす角度φの大きさ）が所定の閾値以下に収束したか否かを判断する。補正前の法線ｎと補正後の法線ｎのなす角度φの大きさを変化量とした場合には、閾値を例えば、φ≦１°と規定してもよいし、φ≦０．５°と規定してもよいし、φ≦０．１°と規定してもよい。

かかる判断工程Ｓｔｅｐ９において、法線ｎの変化量が閾値以下に収束した場合（Ｙｅｓ）には、法線ｎの補正処理を終了する。また、判断工程Ｓｔｅｐ９において、法線ｎの変化量が閾値以下に収束していない場合（Ｎｏ）には、上述した第二除去工程Ｓｔｅｐ５〜判断工程Ｓｔｅｐ９を繰り返す。この繰り返し処理により、法線ｎを高精度に推定することができ、最終的に物体Ｘの三次元形状を高精度に復元することができる。

次に、上述した本実施形態に係る画像処理方法の効果について、図５（ａ）〜図６（ｂ）を参照しつつ説明する。ここで、図５は、図４に示した第二除去工程の作用を示す図であり、（ａ）は白色セラミックス球の場合、（ｂ）は銀貨の場合、を示している。図６は、銀貨の形状計測結果を示す図であり、（ａ）は第一実施形態に係る画像処理方法を用いた計測結果、（ｂ）はレーザ変位センサを用いた計測結果、を示している。

図５（ａ）及び図５（ｂ）において、上段は物体Ｘ（白色セラミックス球又は銀貨）の撮影画像、中段は第一除去工程Ｓｔｅｐ２後の撮影画像、下段は第二除去工程Ｓｔｅｐ５後の撮影画像（繰り返し回数は１）、を示している。各図の中段に示した第一除去工程Ｓｔｅｐ２後の撮影画像は、従来の輝度値の最大値及び最小値を用いた正反射部Ｍ及び影部Ｓの除去方法に相当する。中段の画像では、正反射の影響を受けた部分の除去量が少なく、影の影響を受けた部分はほとんど除去されていないことが解る。それに対して、下段の画像では、正反射及び影の影響を受けた部分が適切に除去されていることが解る。

図４に示したフロー図に基づいて、本実施形態に係る画像処理方法を銀貨に対して適用し、補正した撮影画像Ｐに基づいて三次元形状を復元したところ、図６（ａ）に示したように、銀貨中の模様を明確に表現することができた。それに対して、従来技術の一つであるレーザ変位センサを用いた場合には、図６（ｂ）に示したように、凹凸の起伏が明確に表現できておらず、全体としてぼやけた感じに表示されている。また、正反射の影響を強く受けた部分の画素が飛んでおり、三次元形状を十分に復元できていないことも解る。

したがって、従来のレーザ変位センサを用いた方法では、製品の形状や表面の傷等を目視確認する高精度な外観検査に適用することは困難である。一方、本実施形態に係る画像処理方法を使用した場合には、物体Ｘ（ここでは、銀貨）の表面の形状を高精度に復元することができることから、高精度な外観検査を行うことが可能となる。

次に、本発明の他の実施形態に係る画像処理方法について、図７及び図８を参照しつつ説明する。ここで、図７は、本発明の第二実施形態に係る画像処理方法を示すフロー図である。また、図８は、本発明の第三実施形態に係る画像処理方法を示すフロー図である。なお、各図において、図４に示した第一実施形態に係る画像処理方法を示すフロー図と同一の工程については、詳細な説明を省略する。

図７に示した第二実施形態に係る画像処理方法は、数２式に示した輝度値補正関数による輝度値の補正工程を省略したものである。具体的には、図４に示したフロー図から、輝度値の補正に関連する工程（第一座標算出工程Ｓｔｅｐ４、輝度値補正工程Ｓｔｅｐ６、第二座標算出工程Ｓｔｅｐ８）を省略したものである。なお、最終的に物体Ｘの三次元形状を復元する場合には、各画素の三次元座標が必要になることから、判断工程Ｓｔｅｐ９の次工程として座標算出工程Ｓｔｅｐ１０を追加するようにしてもよい。

かかる第二実施形態に係る画像処理方法では、法線ｎを用いた正反射部Ｍ及び／又は影部Ｓを構成する画素を除去する第二除去工程Ｓｔｅｐ５を含んでいることから、注目画素Ｔにおける入射光軸ｃと法線ｎとのなす第一角度θ_１及び注目画素Ｔにおける反射光軸ｒと法線ｎとのなす第二角度θ_２の両方又はいずれか一方を用いて撮影画像Ｐを補正する方法であるものといえる。

図８に示した第三実施形態に係る画像処理方法は、図４に示したフロー図から、法線ｎを用いた正反射部Ｍ及び影部Ｓを構成する画素を除去する第二除去工程Ｓｔｅｐ５を省略したものである。本実施形態では、この第二除去工程Ｓｔｅｐ５に代わる工程として、輝度値補正工程Ｓｔｅｐ６の後に、輝度値を用いた正反射部Ｍ及び影部Ｓを構成する画素の除去を行う除去工程Ｓｔｅｐ１１を追加している。この除去工程Ｓｔｅｐ１１の処理内容は、第一除去工程Ｓｔｅｐ２と同じである。

かかる第三実施形態に係る画像処理方法では、数２式に示した輝度値補正関数による輝度値補正工程Ｓｔｅｐ６を含んでいることから、注目画素Ｔにおける入射光軸ｃと光源軸Ｌとのなす第三角度θ_３を用いて撮影画像Ｐを補正する方法であるものといえる。このように、本発明では、必要な画像処理レベルや物体Ｘの特性等に応じて、第一角度θ_１、第二角度θ_２及び第三角度θ_３のいずれか又はこれらの組み合わせを用いて撮影画像Ｐを補正することができる。

上述した第一実施形態〜第三実施形態に係る画像処理方法によれば、注目画素Ｔにおける、入射光軸ｃと法線ｎとのなす角度（第一角度θ_１）、反射光軸ｒと法線ｎとのなす角度（第二角度θ_２）又は入射光軸ｃと光源軸Ｌとのなす角度（第三角度θ_３）のうち少なくとも何れか一つを用いて撮影画像Ｐを補正するようにしたことから、輝度値や偏向特性を用いた従来技術と比較して、簡便かつ正確に正反射部Ｍや影部Ｓを除去したり、照度のばらつきを抑制したりすることができ、微細で複雑な形状の物体であっても外観や形状を高精度に計測することができる。

また、第一角度θ_１及び第二角度θ_２を用いることにより、計測誤差の大きい輝度値に依存することがなく、かつ、複雑な計算を行うこともなく、正反射部Ｍや影部Ｓを除去することができる。また、第三角度θ_３を含む輝度値補正関数（数２式）を用いることにより、光源の位置と向きに起因する物体に対する照度のばらつきや光源の個体差による影響を効果的に抑制することができる。

本発明は上述した実施形態に限定されず、本発明に係る画像処理方法は外観検査以外にも適用することができる等、本発明の趣旨を逸脱しない範囲で種々変更が可能であることは勿論である。

１ 形状計測装置
２ 光源
３ カメラ
４ レンズ
５ 制御装置
４１ 物体側レンズ
４２ 像側レンズ
Ｓｔｅｐ１ 撮影工程
Ｓｔｅｐ２ 第一除去工程
Ｓｔｅｐ３ 第一法線推定工程
Ｓｔｅｐ４ 第一座標算出工程
Ｓｔｅｐ５ 第二除去工程
Ｓｔｅｐ６ 輝度値補正工程
Ｓｔｅｐ７ 第二法線推定工程
Ｓｔｅｐ８ 第二座標算出工程
Ｓｔｅｐ９ 判断工程
Ｓｔｅｐ１０ 座標算出工程
Ｓｔｅｐ１１ 除去工程

Claims (6)

1. 異なる位置に配置された複数の光源から物体に個別に光を照射して前記物体の撮影画像を個別に取得し、前記撮影画像における注目画素の輝度値の変化に基づいて前記注目画素の法線を推定する照度差ステレオ法を用いた画像処理方法において、
   前記注目画素における入射光軸と前記法線とのなす第一角度、前記注目画素における反射光軸と前記法線とのなす第二角度又は前記注目画素における入射光軸と光源軸とのなす第三角度のうち少なくとも何れか一つを用いて前記撮影画像を補正し、
   補正した前記撮影画像を用いて照度差ステレオ法により前記注目画素の法線を推定し直し、該法線の変化量が所定の閾値の範囲内に収束するまで、前記撮影画像の補正を繰り返す、
   ことを特徴とする画像処理方法。
2. 異なる位置に配置された複数の光源から物体に個別に光を照射して前記物体の撮影画像を個別に取得し、前記撮影画像における注目画素の輝度値の変化に基づいて前記注目画素の法線を推定する照度差ステレオ法を用いた画像処理方法において、
   前記注目画素における入射光軸と前記法線とのなす第一角度を用いて前記撮影画像を補正する工程を含み、
   前記撮影画像の補正は、前記第一角度が９０°近傍の所定の閾値以上である場合に前記注目画素を影部と判断して前記撮影画像から除去することを含む、
   ことを特徴とする画像処理方法。
3. 異なる位置に配置された複数の光源から物体に個別に光を照射して前記物体の撮影画像を個別に取得し、前記撮影画像における注目画素の輝度値の変化に基づいて前記注目画素の法線を推定する照度差ステレオ法を用いた画像処理方法において、
   前記注目画素における入射光軸と前記法線とのなす第一角度及び前記注目画素における反射光軸と前記法線とのなす第二角度を用いて前記撮影画像を補正する工程を含み、
   前記撮影画像の補正は、前記第一角度と前記第二角度との差分が０°近傍の所定の範囲内である場合に前記注目画素を正反射部と判断して前記撮影画像から除去することを含む、
   ことを特徴とする画像処理方法。
4. 異なる位置に配置された複数の光源から物体に個別に光を照射して前記物体の撮影画像を個別に取得し、前記撮影画像における注目画素の輝度値の変化に基づいて前記注目画素の法線を推定する照度差ステレオ法を用いた画像処理方法において、
   前記注目画素における入射光軸と光源軸とのなす第三角度を用いて前記撮影画像を補正する工程を含み、
   前記撮影画像の補正は、前記光源から一つの基準光源を選択し、ある光源の前記第三角度を用いて前記基準光源の配光特性から前記ある光源の光度を推定するとともに、前記基準光源及び前記ある光源の前記注目画素までの距離に基づく光の減衰率を考慮して、前記ある光源に対する前記注目画素の輝度値を補正することを含む、
   ことを特徴とする画像処理方法。
5. 異なる位置に配置された複数の光源から物体に個別に光を照射して前記物体の撮影画像を個別に取得し、前記撮影画像における注目画素の輝度値の変化に基づいて前記注目画素の法線を推定する照度差ステレオ法を用いた画像処理方法において、
   前記注目画素における入射光軸と前記法線とのなす第一角度、前記注目画素における反射光軸と前記法線とのなす第二角度又は前記注目画素における入射光軸と光源軸とのなす第三角度のうち少なくとも何れか一つを用いて前記撮影画像を補正する工程と、
   前記撮影画像を取得する撮影工程と、観測輝度値を用いて正反射部及び影部を除去する第一除去工程と、照度差ステレオ法を用いて画素ごとに前記法線を推定する第一法線推定工程と、画素ごとに三次元座標を算出する第一座標算出工程と、前記法線を用いて正反射部及び影部を除去する第二除去工程と、画素ごとに観測輝度値を補正する輝度値補正工程と、補正した前記撮影画像について照度差ステレオ法を用いて画素ごとに法線を推定する第二法線推定工程と、補正した前記撮影画像について画素ごとに三次元座標を算出する第二座標算出工程と、前記第二法線推定工程で推定した法線の前記第一法線推定工程で推定した法線に対する変化量が所定の閾値以下に収束したか否か判断する判断工程と、を備え、
   前記法線の変化量が閾値以下に収束するまで前記第二除去工程〜前記判断工程を繰り返し処理するようにした、
   ことを特徴とする画像処理方法。
6. 補正した前記撮影画像を用いて前記物体の外観形状を算出する、ことを特徴とする請求項１〜５の何れか一項に記載の画像処理方法。