JP5924309B2

JP5924309B2 - 移動式ラインカメラの光学系画像補正方法

Info

Publication number: JP5924309B2
Application number: JP2013134538A
Authority: JP
Inventors: 秀同竹中; 澤田　欣吾; 欣吾澤田; 児玉　俊文; 俊文児玉
Original assignee: JFE Steel Corp
Current assignee: JFE Steel Corp
Priority date: 2013-06-27
Filing date: 2013-06-27
Publication date: 2016-05-25
Anticipated expiration: 2033-06-27
Also published as: JP2015012355A

Description

本発明は、ラインカメラを移動させ、移動方向距離と受光素子によって得られた１次元の画素データを組み合わせて採取した対象物の２次元画像から、その外観、疵、特徴部などの寸法等の諸元情報を高精度で測定する上で好適に用い得る移動式ラインカメラの光学系画像の補正方法に関するものである。

従来から、ＣＣＤカメラやラインカメラ等の光学系を有する画像採取手段を用いて、工業製品等の対象物の画像を採取し、その採取された画像に基いて対象物の外観や、疵、特徴部などの寸法等の諸元情報を自動計測する画像検査装置が用いられている。
この種の画像検査装置の画像採取手段は、通常、対象物の像をＣＣＤ等の画像採取素子上に結像させるため、適切に設計・調整されたレンズ群が光学系として組み込まれている。しかしながら、一般に、レンズはその収差等が原因で光学系歪が発生することが知られており、これらの光学系歪に起因する対象物の画像計測誤差を除くことが古くから知られた課題であり、従来から種々の方法が提案されている。

例えば、特許文献１に開示されている方法は、カメラによって採取された２次元画像の歪を補正する目的で、予め位置座標（Ｘｕｉ，Ｙｕｉ）（但し、ｉ＝１，・・・，Ｎ）が既知のマーク群を有する基準対象物を撮像し、その撮像された基準画像内における前記マーク群の座標（Ｘｄｉ，Ｙｄｉ）および前記位置座標（Ｘｕｉ，Ｙｕｉ）に基いて、変分法によって２変数多項式の係数を決定し、採取された画像上の格子点Ｄ（Ｘｄ，Ｙｄ）から真の投影座標Ｕ（Ｘｕ，Ｙｕ）へ変換する方法である。

特開平２０１０−３２２６０号公報

しかしながら、カメラの視野範囲に対して対象物が大きい場合、受光素子を１次元に並べたラインカメラを一定速度にて移動させ、移動方向距離と受光素子によって得られた１次元の画素データを組み合わせて対象物の２次元画像を採取する方法が用いられる。この場合、採取された２次元画像の受光素子配列軸のみに光学系の歪が存在し、ラインカメラ移動方向には光学系の歪はなく、カメラの移動速度・スケールの目盛りに起因する誤差が発生する。

したがって、２次元画像中心を基点として光学系の歪が存在するという前提で２変数多項式による補正をする（前記特許文献１に開示されている方法）と、実際には光学系の歪が存在しない受光素子の配列向きと直交する軸（ラインカメラの移動方向）にも２変数多項式による補正を実行してしまい、補正による測定結果の誤差が発生するという問題があった。

本発明は、上述の課題を解決し、受光素子を１次元に並べたラインカメラを一定速度で移動させ、移動方向距離と受光素子によって得られた１次元の画素データを組み合わせて対象物の２次元画像を採取し、その採取された画像に基いて当該対象物の寸法等の諸元情報を計測する場合の前記２次元画像の補正方法を提供することを目的としてなされたものであり、その要旨は次のとおりである。
（１）受光素子を１次元に並べたラインカメラを一定速度にて移動させ、移動方向距離と受光素子によって得られた１次元の画素データを組み合わせて対象物の２次元画像を採取し、該２次元画像に基いて前記対象物の諸元情報を計測する画像検査装置を用いるときに、前記２次元画像の光学系歪と前記ラインカメラ移動方向の直交軸と前記受光素子の配列向軸とのなす角度によって生じる２次元画像の傾きとを補正する方法であって、
予め、直交座標において間隔（Ｈｕｉ）（但しｉ＝１，・・・，Ｎ）が既知の格子線をｘ軸方向、ｙ軸方向に有する基準対象物を撮像するステップ１と、
ラインカメラ移動方向である撮像された画像の水平方向（Ｘ軸方向）と前記格子線のｘ軸方向とのなす角度θ２、および前記撮像された画像の直交方向（Ｙ軸方向）と撮像された格子線のｙ軸方向とのなす角度θ３から前記ラインカメラの移動方向の直交軸と前記受光素子の配列向軸とのなす角度θ１を算出するステップ２と、
前記撮像された画像のＹ軸方向の格子間隔（Ｈｄｉ）（但しｉ＝１，・・・，Ｎ）を抽出し、光学系歪みがない場合に観測されるべきＹ軸方向の基準格子間隔Ｈｕｉ／cosθ３に基いて、光学系の歪を補正する前記受光素子の配列向きの座標軸の１変数多項式を変分法によって決定するステップ３と、
前記ラインカメラ移動方向の直交軸と受光素子の配列向軸とのなす角度θ１による画像の傾きを補正するために、前記１変数多項式を係数変換することによって２次元画像格子線座標を画像上のＸ軸、Ｙ軸に投影するステップ４と、
を有することを特徴とする移動式ラインカメラの光学系画像補正方法。

本発明によれば、ラインカメラ移動方向の直交軸と受光素子配列向軸の傾きによる2次元画像の傾きおよび光学系の歪を同時に補正することが可能となり、高精度な測定・検査のための画像補正を簡易かつ効率的に行うことができる。

本発明の機器構成を示す模式図基準対象物格子（ガラスチャート）の見え方を示した図基準対象物格子（ガラスチャート）の画像からθ２、θ３の求め方を示す図基準対象物格子（ガラスチャート）の画像上で、受光素子の配列方向の格子間隔（Ｈｄｉ）を抽出する方法を示す図抽出した格子間隔（Ｈｄｉ）と基準格子間隔（Ｈｕｉ）の関係を２次元座標で示した図受光素子の配列方向（Ｗ軸）から画像上のＸ軸、Ｙ軸への投影を示す図

以下、図面を参照して、本発明の実施の形態を説明する。
まず、本発明に係る画像採取手段であるラインカメラの機器構成を模式的に図１に示す。ラインカメラは物体側テレセントリックの光学系を採用したものである。ラインカメラの移動方向は紙面に垂直方向であり、対象物の２次元画像は、前記ラインカメラの移動距離と受光素子によって得られた１次元の画素データを組み合わせて採取される。

次に、上述のラインカメラを用いて基準対象物格子（ガラスチャート）の画像を採取（ステップ１）した場合に得られる撮像画像の見え方を概念的に図２に示す。図２（ａ）および（ｂ）で左側の図はラインカメラの移動と基準対象物格子の位置関係を示す図であり、右側の図は撮像された画像であって、Ｘ軸、Ｙ軸は撮像された画像の直交座標系、ｘ軸、ｙ軸は基準対象物格子の直交座標系である。ラインカメラの移動方向は図２のＸ軸方向であり、受光素子の配列向軸とラインカメラの移動方向の直交軸とのなす角度をθ１とする。前記ガラスチャートの格子線ｘ軸方向がラインカメラの移動方向と一致している場合、図２（ａ）に示すように、撮像画像における前記ガラスチャートの格子線ｘ軸方向と直交する格子線ｙ軸方向は前記Ｙ軸と角度θ１の傾きを持つようになる。また、前記ガラスチャートの格子線ｘ軸方向がラインカメラの移動方向と角度θ２の傾きを持つ場合、図２（ｂ）に示すように、撮像画像における前記ガラスチャートの格子線ｘ軸方向は前記Ｘ軸方向と角度θ２の傾きを持ち、撮像画像における前記ガラスチャートの格子線ｙ軸方向は前記Ｙ軸方向と角度θ３（＝θ１＋θ２）の傾きを持つようになる。

そこで、撮像された前記ガラスチャートの格子線画像から、図３に示すように、得られた前記格子線画像の中央付近のｘ軸方向格子線で角度θ２を求め、ｙ軸方向格子線で角度θ３を求める。角度θ１はθ１＝θ３−θ２として算出する（ステップ２）ことができる。

また、前記ガラスチャートの格子線画像上では、図４に示すように、前記ガラスチャートの格子間隔をＨｕとすると観測されるＹ軸方向の格子線間隔Ｈｄは、Ｈｄ＝Ｈｕ／cosθ３となる。そこで、図５に示すように、横軸をＷ軸（2次元画像格子線座標）、縦軸をＷ’軸（基準対象物格子線座標）として前記格子線画像から抽出した格子間隔Ｈｄｉ（但しｉ＝１，・・・，Ｎ）と基準対象物の格子間隔Ｈｕｉ（但しｉ＝１，・・・，Ｎ）の２次元座標（Ｈｄｉ，Ｈｕｉ）をプロットする。ここで、画像上Y軸方向において最も中心位置に近い格子線と、格子線間隔を求めるためのＹ軸方向に平行な直線との交点をＷ軸における原点として定義する。このプロットされた各点（Ｈｄｉ，Ｈｕｉ）の座標（Ｈｕｉ／cosθ３，Ｈｕｉ）からのずれが光学系の歪であり、変分法により前記各点（Ｈｄｉ，Ｈｕｉ）を結ぶ線を近似する１変数多項式を求める（ステップ３）。例えば、下記に示す５次近似式として最小二乗法によって各係数を求める。求められた前記５次近似式は、受光素子配列方向をＷ軸としたときのＷ軸の光学系歪の補正式となる。ここで、Ｗ軸において受光素子の最も下端の座標を５次近似式に代入して、算出したＷ’の値が、前記受光素子の最も下端と前記原点との距離Ｄとして求められる。
Ｗ’＝ｋ_０＋ｋ_１Ｗ＋ｋ_２Ｗ^２＋ｋ_３Ｗ^３＋ｋ_４Ｗ^４＋ｋ_５Ｗ^５（１）
ここで、ｋ_０〜ｋ_５：光学歪補正係数
Ｗ：Ｗ軸座標、Ｗ’：光学系歪補正後のＷ軸座標

次に、ラインカメラ移動方向の直交軸と受光素子の配列向軸とのなす角度θ１による画像の傾きを補正するために、図６に示すように、Ｗ軸座標を画像上のＸ軸、Ｙ軸へ投影する（ステップ４）。この際の座標変換式は下記（２）、（３）式となる。
Ｘ＝ｋＸ_０＋ｋＸ_１（Ｗ＋Ｄ）＋ｋＸ_２（Ｗ＋Ｄ）^２
＋ｋＸ_３（Ｗ＋Ｄ）^３＋ｋＸ_４（Ｗ＋Ｄ）^４＋ｋＸ_５（Ｗ＋Ｄ）^５（２）
ここで、ｋＸ_０〜ｋＸ_５：光学系歪補正係数
ｋＸ_０＝ｋ_０cosθ１、ｋＸ_１＝ｋ_１cosθ１、ｋＸ_２＝ｋ_２cosθ１
ｋＸ_３＝ｋ_３cosθ１、ｋＸ_４＝ｋ_４cosθ１、ｋＸ_５＝ｋ_５cosθ１
Ｘ：光学系歪補正後のＸ軸座標
Ｙ＝Ｉ＋ｋＹ_０＋ｋＹ_１（Ｗ＋Ｄ）＋ｋＹ_２（Ｗ＋Ｄ）^２
＋ｋＹ_３（Ｗ＋Ｄ）^３＋ｋＹ_４（Ｗ＋Ｄ）^４＋ｋＹ_５（Ｗ＋Ｄ）^５（３）
ここで、ｋＹ_０〜ｋＹ_５：光学系歪補正係数
ｋＹ_０＝ｋ_０sinθ１、ｋＹ_１＝ｋ_１sinθ１、ｋＹ_２＝ｋ_２sinθ１
ｋＹ_３＝ｋ_３sinθ１、ｋＹ_４＝ｋ_４sinθ１、ｋＹ_５＝ｋ_５sinθ１
Ｉ：ラインカメラ移動位置
Ｙ：光学系歪補正後のＹ軸座標

本補正により、製造公差数十μｍを要求される鋼管ねじ形状の測定精度が、受光素子方向の撮像範囲を１５ｍｍとした場合、２μｍ向上し、そのために寸法測定装置としての信頼性が向上した。

１光源
２絞り
３レンズ
４基準対象物（ガラスチャート）
５レンズ
６絞り
７カメラ受光素子
θ１ラインカメラ移動方向の直交軸と受光素子の配列向軸とのなす角度
θ２撮像された画像の水平方向（Ｘ軸）と格子線の水平方向（ｘ軸方向）とのなす角度
θ３撮像された画像の直交方向（Ｙ軸）と格子線のｙ軸方向とのなす角度

Claims

受光素子を１次元に並べたラインカメラを一定速度にて移動させ、移動方向距離と受光素子によって得られた１次元の画素データを組み合わせて対象物の２次元画像を採取し、該２次元画像に基いて前記対象物の諸元情報を計測する画像検査装置を用いるときに、前記２次元画像の光学系歪と前記ラインカメラ移動方向の直交軸と前記受光素子の配列向軸とのなす角度によって生じる２次元画像の傾きとを補正する方法であって、
予め、直交座標において間隔（Ｈｕｉ）（但しｉ＝１，・・・，Ｎ）が既知の格子線をｘ軸方向、ｙ軸方向に有する基準対象物を撮像するステップ１と、
ラインカメラ移動方向である撮像された画像の水平方向（Ｘ軸方向）と前記格子線のｘ軸方向とのなす角度θ２、および前記撮像された画像の直交方向（Ｙ軸方向）と撮像された格子線のｙ軸方向とのなす角度θ３から前記ラインカメラの移動方向の直交軸と前記受光素子の配列向軸とのなす角度θ１を算出するステップ２と、
前記撮像された画像のＹ軸方向の格子間隔（Ｈｄｉ）（但しｉ＝１，・・・，Ｎ）を抽出し、光学系歪みがない場合に観測されるべきＹ軸方向の基準格子間隔Ｈｕｉ／cosθ３に基いて、光学系の歪を補正する前記受光素子の配列向きの座標軸の１変数多項式を変分法によって決定するステップ３と、
前記ラインカメラ移動方向の直交軸と受光素子の配列向軸とのなす角度θ１による画像の傾きを補正するために、前記１変数多項式を係数変換することによって２次元画像格子線座標を画像上のＸ軸、Ｙ軸に投影するステップ４と、
を有することを特徴とする移動式ラインカメラの光学系画像補正方法。