JP6555211B2

JP6555211B2 - 二次元画像のエッジ抽出方法

Info

Publication number: JP6555211B2
Application number: JP2016159108A
Authority: JP
Inventors: 秀同竹中
Original assignee: JFE Steel Corp
Current assignee: JFE Steel Corp
Priority date: 2016-08-15
Filing date: 2016-08-15
Publication date: 2019-08-07
Anticipated expiration: 2036-08-15
Also published as: JP2018028713A

Description

本発明は、縦横直交二軸のいずれか一方であるＡ軸および他方であるＢ軸の各軸方向に画素を配置した画面内の画像の輪郭線を抽出する、二次元画像のエッジ抽出方法に関する。

画像処理対象の画像には、例えば、管ねじ継手や線棒を形状測定対象としてそれらの軸方向に略直交する方向からの投光による投影像をＣＣＤカメラで撮影する方法（例えば、管ねじを対象とした特許文献１〜３参照）によって取得した略側面視の画像が挙げられる。ここで、「略直交する」とは、交差角度が９０°±１０°以内であることを意味する（以下同じ）。

取得した画像は、ＣＣＤカメラのＣＣＤ素子配列内の受光レベルを、縦横直交二軸方向に画素を配置した二次元画面内の画素の階調（色や明るさの段階数。例えば０から２５５までの２５６階調）で表したものである。このとき、高精細な画像を得るために、画素密度が少なくとも５０００ｐｐｉ（ｐｉｘｃｅｌｓｐｅｒｉｎｃｈ）である画面が用いられる。なお、以下では、画面の縦横直交二軸の縦横いずれか一方の軸をＡ軸、他方の軸をＢ軸という。

形状測定対象のプロフィールを求めるために、前記画像の輪郭線の抽出すなわちエッジ抽出を行う。輪郭線は、二次元画面において暗部から明部へ移り変わる領域である中間部の内に存在する。中間部はある線幅をもつ曲線状領域であり、画像の目視観察から前記線幅の概略の中心線として抽出できる。画像の目視観察から抽出した輪郭線を「目視輪郭線」という。目視輪郭線を寸法演算用のプロフィールに用いた場合の演算寸法の繰り返し精度は、３σで１ｍｍ程度である。ここで、繰り返し精度とは、同一条件（同一場所、同一測定器、同一人物）下で短期間に繰り返し検査を行った際の、該繰り返し検査により取得した測定値の変動幅を意味する。

例えば、管ねじ継手において、図６に概略を示すねじ高さやねじ幅などのねじ要素の寸法には、例えば３σで３００μｍ以下の高い加工寸法精度が要求される場合がある。かかる高い加工寸法精度の要求がある管ねじ継手に対しては、検査工程で行う寸法測定の繰り返し精度が、前記加工寸法精度の要求レベルよりも高いことが必要である。ある寸法測定方法の繰り返し精度が加工寸法精度の要求レベルよりも低いと、その要求レベルが満たされたか否かが判然としないから、その寸法測定方法は、製品が加工寸法精度の要求レベルを満たしているか否かの検査には使えない。

前記目視輪郭線からの寸法演算による寸法測定方法の繰り返し精度は、上述のとおり３σで１ｍｍ程度であり、これは、上述の３σで３００μｍ以下の高い加工寸法精度の要求レベルよりも低いから、前記目視輪郭線からの寸法演算による寸法測定方法は、製品が高い加工寸法精度の要求レベルを満たしているか否かの検査には使えない。

そこで、目視輪郭線を抽出するのではなく、コンピュータでの画像処理による上記のエッジ抽出（輪郭線抽出）が行われている。
上記のエッジ抽出を行うための、明暗の境界点を検出する方法として、一次元型と二次元型とがある。
一次元型の境界点検出方法は、図３に模式的に示すように、Ａ軸と略直交する一つの線分をＡ軸方向に移動させつつ、前記線分上の画素列の明暗の境界点を検出する方法である。これを、「線分を用いた一次元型の境界点抽出方法」という。かくして前記移動の起点から終点までに検出した境界点全部を用いて輪郭線を抽出する。

前記線分上の画素列の明暗の境界点を検出する方法としては、例えば図４に示す方法が挙げられる。この方法では、線分に沿った明るさ指数（＝階調値/階調の最大値×１００％）の変化率から中間部の暗部側境界１１と明部側境界１２を検出し、検出した暗部側境界１１と明部側境界１２の間である中間部の明るさ指数から最小二乗法により、明るさ指数回帰直線１５を導出し、明るさ指数回帰直線１５上で、明るさ指数が５０％になる位置を明暗の境界点とする。

ここで、検出した境界点全部を用いて輪郭線を抽出する方法としては、例えば、カーブフィッティングが挙げられる。カーブフィッティングとは、観測データに最もよくあてはまる曲線を求める手法である。カーブフィッティングの一種である非線形最小二乗法では、曲線としてパラメータを未知数とした非線形関数を設定し、観測データ（xi,yi）と非線形関数(Ｙ＝F(x))の差の二乗和(Σ（yi−Ｙi）^２)が最小となるようにするパラメータを推定する。前記非線形関数は、画像を採取した寸法測定対象の設計製作図面を参照して設定することができる。
なお、一次元型の境界点検出方法で検出した境界点を用いて輪郭線を抽出する方法を、「一次元型のエッジ抽出方法」という。

二次元型は、ソーベルフィルタ処理と呼ばれる方法であって、階調の空間１次微分を計算し、階調差のある部分を検出する方法である。具体的には、画面内のある画素とそれを中心画素として囲む周囲画素からなる３行３列の画素の各階調値に、図５に示す（ａ）水平方向オペレータ、（ｂ）垂直方向オペレータと呼ばれる二組の３行３列の対応する行列位置の重み付け値を掛け合わせ、その合計を中心画素の処理後の階調値とする。これによれば、処理前に階調差のあった部分では、処理後では階調が極値をとる。この極値をとった部分を、明暗の境界点として検出し、検出した境界点全部を用いて輪郭線を抽出する。

ここで、検出した境界点全部を用いて輪郭線を抽出する方法としては、例えば、前記カーブフィッティングが挙げられる。
なお、二次元型の境界点検出方法で検出した境界点を用いて輪郭線を抽出する方法を、「二次元型のエッジ抽出方法」という。

特許第３５５２４４０号公報特開昭６３−２１２８０８号公報特開２０１３−１３４２１８号公報

上記の一次元型の境界点検出方法では、中間部の明るさ指数回帰直線１５から明暗の境界点を検出するので、画素の個々の階調値に含まれるばらつき（「画素ノイズ」という）の影響は、明るさ指数回帰直線１５の導出に用いた中間部の画素全体では薄められる。したがって、一次元型は画素ノイズに対して安定である。

しかし、一次元型では、例えば図７に模式図を示すように、画像の例えば目視輪郭線（図示せず）が前記一つの線分の移動方向（Ａ軸方向）と略直交する領域Ｓ１では、それ以外の領域と比べ、黒丸で示す明暗の境界点の検出点数が大幅に減少する。これは、同じ粗輪郭線長さの目視輪郭線部分であっても、線分移動方向との交差角度が直角に近いほどその目視輪郭線長さ部分の線分移動方向長さ範囲は短くなり、その短くなった線分移動方向長さ範囲内では線分移動方向の画素数（検出点数）も減少する（例えば、目視輪郭線長さ部分と線分移動方向との交差角度が９０°である場合、その目視輪郭線長さ部分の線分移動方向長さ範囲内の画素数はわずか１個になる）ためである。そのため、目視輪郭線が線分移動方向と略直交する領域から抽出した輪郭線部分は、位置精度が他領域の輪郭線部分より低下し、その結果、その輪郭線２０を用いた寸法演算による寸法測定方法では、繰り返し精度が不十分となる場合が生じうる。

また、上記の二次元型の境界点検出方法では、二次元画面内の画素の個々に縦横方向の一次微分を施した結果から明暗の境界点を検出するため、境界点の検出点数は目視輪郭線の長さ方向が相異なる方向になる部分であってもそれら部分の長さ方向長さが同じであれば、同じ検出点数になる。

しかし、二次元型では、検出された各境界点には個々の画素ノイズがそのまま反映されて、例えば図８に模式図を示すように、黒丸で示す各境界点の位置精度が悪くなり、そのため、それら境界点全部から抽出した輪郭線２０を用いた寸法演算による寸法測定方法では、繰り返し精度が不十分となる場合がある。

例えば、油井管用ねじ継手において、３σで３μｍ以下の厳しい加工精度が要求され、従来の一次元型や二次元型のエッジ検出方法では、繰り返し精度が不十分であって、検査の信頼性が低い場合がある。

本発明は、上述の事情に鑑み、従来の一次元型、二次元型の境界点検出方法の欠点を補いうる境界点検出方法を案出し、該案出した境界点検出方法で検出した境界点から抽出した輪郭線を用いた寸法演算による寸法測定の繰り返し精度が、従来と比べてより高レベルになる、二次元画面内の画像（二次元画像）のエッジ抽出方法を提供することを目的とする。

上記の目的を達成するためになされた本発明は以下のとおりである。
（１）縦横直交二軸のいずれか一方であるＡ軸および他方であるＢ軸の各軸方向に画素を配置した画面内の画像の輪郭線を抽出する二次元画像のエッジ抽出方法であって、
画面内で、Ａ軸と略直交し、Ａ軸方向に移動する第１の線分を設定し、該第１の線分を用いた一次元型の境界点検出方法により明暗の境界点を検出し、該検出した境界点の全体を第１次境界点群とし、該第１次境界点群から粗輪郭線を抽出する工程（第１の工程）と、
前記粗輪郭線のＡ軸と略直交する部分を取り囲む矩形域を設定し、前記第１次境界点群から前記矩形域内の境界点を除いた残部を第１次境界点残群とし、前記矩形域内で、前記第１の線分と略直交しＢ軸方向に移動する第２の線分を設定し、該第２の線分を用いた一次元型の境界点検出方法により明暗の境界点を検出し、該検出した境界点の全体を第２次境界点群とする工程（第２の工程）と、
前記第１次境界点残群と前記第２次境界点群とを合併して第３次境界点群とし、該第３次境界点群を用いて輪郭線を抽出する工程（第３の工程）と
を具備することを特徴とする二次元画像のエッジ抽出方法。

（２）縦横直交二軸のいずれか一方であるＡ軸および他方であるＢ軸の各軸方向に画素を配置した画面内の画像の輪郭線を抽出する二次元画像のエッジ抽出方法であって、
画面内で、二次元型の境界点検出方法であるソーベルフィルタ処理により前記画像の明暗の境界点を検出し、検出した境界点の全体を第１次境界点群とし、該第１次境界点群から粗輪郭線を抽出する工程（第１の工程）と、
前記粗輪郭線を中心とする所定の線幅の曲線領域を、Ｂ軸と略直交する粗輪郭線部分を取り囲む第１の矩形域およびＡ軸と略直交する粗輪郭線部分を取り囲む第２の矩形域にて囲い込み、
前記第１の矩形域内でＡ軸と略直交しＡ軸方向に移動する第１の線分、および、前記第２の矩形域内でＢ軸と略直交しＢ軸方向に移動する第２の線分、を用いた一次元型の境界点検出方法により明暗の境界点を検出し、該検出した境界点の全体を第２次境界点群とする工程（第２の工程）と、
前記第２次境界点群を用いて輪郭線を抽出する工程（第３の工程）と
を具備することを特徴とする二次元画像のエッジ抽出方法。

上記（１）の方法は、上記（１）に記載の第１、第２、第３の工程をそれぞれ実行する第１、第２、第３の手段を具備した二次元画像のエッジ抽出装置（装置Ｅ１）の使用により、有利に実施することができる。
上記（２）の方法は、上記（２）に記載の第１、第２、第３の工程をそれぞれ実行する第１、第２、第３の手段を具備した二次元画像のエッジ抽出装置（装置Ｅ２）により、有利に実施することができる。
上記装置Ｅ１は、コンピュータを上記（１）に記載の第１、第２、第３の手段としてそれぞれ機能させるためのプログラム（プログラムＰ１）により、容易に構成することができる。
上記装置Ｅ２は、コンピュータを上記（２）に記載の第１、第２、第３の手段としてそれぞれ機能させるためのプログラム（プログラムＰ２）により、容易に構成することができる。

本発明によれば、従来の一次元型の境界点検出方法あるいは二次元型の境界点検出方法により検出した境界点を用いて抽出した輪郭線からの寸法演算による寸法測定の場合と比べて、本発明により抽出した輪郭線からの寸法演算による寸法測定の場合では、より高い繰り返し精度が得られるという優れた効果を奏する。

本発明の第１実施形態の工程を示す説明図である。本発明の第２実施形態の工程を示す説明図である。一次元型の境界点検出方法の説明図である。一次元型の境界点検出方法における線分上での明暗の境界点を検出する方法の説明図である。二次元型の境界点検出方法であるソーベルフィルタ処理に用いる（ａ）水平方向オペレータおよび（ｂ）垂直方向オペレータを示す図である。ねじ高さとねじ幅の定義説明図である。一次元型の境界点検出方法の欠点を示す模式図である。二次元型の境界点検出方法の欠点を示す模式図である。

本発明は、縦横直交二軸のいずれか一方であるＡ軸および他方であるＢ軸の各軸方向に画素を配置した画面内の画像の輪郭線を抽出する二次元画像のエッジ抽出方法に関する。以下、本発明の第１実施形態および第２の実施形態についてこの順に説明する。

（１）本発明の第１実施形態
本発明の第１実施形態は、第１〜第３の工程を具備する。
第１実施形態の第１の工程は、図１（ａ）に示すように、画面内で、Ａ軸と略直交し、Ａ軸方向に移動（Ａ軸方向を移動方向１Ｄとして移動）する第１の線分１を設定し、該第１の線分１を用いた一次元型の境界点検出方法により明暗の境界点４を検出し、該検出した境界点４の全体を第１次境界点群とし、該第１次境界点群から粗輪郭線５を抽出する。粗輪郭線５の抽出は、前記カーブフィッティングによる。
従来の一次元型によるエッジ抽出方法では、第１の工程のみで得た粗輪郭線５をそのまま最終的な輪郭線としていたのに対し、本発明の第１実施形態では、第１の工程後の第２、第３の工程により最終的な輪郭線を抽出する。
第１実施形態の第２の工程は、図１（ｂ）に示すように、前記粗輪郭線５のＡ軸と略直交する部分を取り囲む矩形域６を設定し、前記第１次境界点群から前記矩形域内の境界点を除いた残部を第１次境界点残群とし、前記矩形域内で、前記第１の線分と略直交しＢ軸方向に移動（Ｂ軸方向を移動方向２Ｄとして移動）する第２の線分２を設定し、該第２の線分２を用いた一次元型の境界点検出方法により明暗の境界点７を検出し、該検出した境界点７の全体を第２次境界点群とする。矩形域６の一辺はＡ軸、Ｂ軸のいずれかと平行（又は垂直）にとればよい。
なお、第１、第２の線分の移動方向１Ｄ、２Ｄは、図１に示した矢印とは逆の向きの矢印で示される方向であってもよい。
第１実施形態の第３の工程は、図１（ｃ）に示すように、前記第１次境界点残群（複数の境界点４からなる）と前記第２次境界点群（複数の境界点７からなる）とを合併して第３次境界点群とし、該第３次境界点群を用いて輪郭線３を抽出する。輪郭線３の抽出は、前記カーブフィッティングによる。
なお、図１において、３０は暗部、４０は明部、５０は中間部である。

（２）本発明の第２実施形態
本発明の第２実施形態は、図２（ａ）に示すように、画面内で、２次元型の境界点検出方法であるソーベルフィルタ処理により前記画像の明暗の境界点４を検出し、検出した境界点４の全体を第１次境界点群とし、該第１次境界点群から粗輪郭線５を抽出する。粗輪郭線５の抽出は、カーブフィッティングによる。なお、前記第１次境界点群は、第１の工程後は使用しない。
従来の二次元型によるエッジ抽出方法では、第１の工程のみで得た粗輪郭線５をそのまま最終的な輪郭線としていたのに対し、本発明の第２実施形態では、第１の工程後の第２、第３の工程により最終的な輪郭線を抽出する。
第２実記形態の第２の工程は、図２（ｂ）に示すように、まず、前記粗輪郭線５を中心とする所定の線幅Ｗの曲線領域２５を、Ｂ軸と略直交する粗輪郭線５部分を取り囲む第１の矩形域２１およびＡ軸と略直交する粗輪郭線５部分を取り囲む第２の矩形域２２にて囲い込む。第１の矩形域２１および第２の矩形域２２の一辺はＡ軸、Ｂ軸のいずれかと平行（又は垂直）にとればよい。前記所定の線幅Ｗは、小さすぎると境界点の検出が困難となり、大きすぎると検出に時間がかかりすぎるため、０．７５〜１ｍｍとするのが好ましい。なお、この線幅Ｗは、前記曲線領域の長さ方向位置により異なる値をとってもよい。

そして、前記第１の矩形域２１内でＡ軸と略直交しＡ軸方向に移動（Ａ軸方向を移動方向１Ｄとして移動）する第１の線分１、および、前記第２の矩形域２２内でＢ軸と略直交しＢ軸方向に移動（Ｂ軸方向を移動方向２Ｄとして移動）する第２の線分２、を用いた一次元型の境界点検出方法により明暗の境界点７を検出し、該検出した境界点７の全体を第２次境界点群とする。
なお、第１、第２の線分の移動方向１Ｄ、２Ｄは、図２に示した矢印とは逆の向きの矢印で示される方向であってもよい。
第２実施形態の第３の工程は、図２（ｃ）に示すように、前記第２次境界点群（複数の境界点７からなる）を用いて輪郭線３を抽出する。輪郭線３の抽出は、前記カーブフィッティングによる。
なお、図２において、３０は暗部、４０は明部、５０は中間部である。

ＡＰＩ規格で規定される管サイズが２−３/８”〜９−５/８”である管ねじ継手の、同一条件でねじ切削加工したねじ部を寸法測定対象とし、ＣＣＤカメラでねじ螺旋の延在方向に直交（管軸方向と略平行）する投影面内の画像を取得した。取得した画像を用い、以下の本発明例および比較例の方法で、ねじ高さおよびねじ幅（図６参照）を測定した。
（本発明例１）本発明の第１実施形態に則した方法。
（本発明例２）本発明の第２実施形態に則した方法。
（比較例１）従来の一次元型のエッジ抽出方法に則した方法。
（比較例２）従来の二次元型のエッジ抽出方法に則した方法。

本発明例１の方法は上記の装置Ｅ１を用いて実行し、該装置Ｅ１は、コンピュータに上記のプログラムＰ１をインストールして構成した。
本発明例２の方法は上記の装置Ｅ２を用いて実行し、該装置Ｅ２は、コンピュータに上記のプログラムＰ２をインストールして構成した。
上記各例による測定の繰り返し精度を表１に示す。繰り返し回数は各例とも１００回とした。繰り返し精度の指標には３σを用いた。ここで、３σは、３μｍ以下を目標とした。
表１に示されるとおり、本発明例では、繰り返し精度が比較例と比べ、格段に良好である（３σの値が目標をクリアしている）ことが分かる。

１第１の線分
１Ｄ第１の線分の移動方向
２第２の線分
２Ｄ第２の線分の移動方向
３輪郭線（本発明）
４境界点（第１次境界点群または第１次境界点残群の中の境界点）
５粗輪郭線
６矩形域
７境界点（第２次境界点群の中の境界点）
１１中間部の暗部側境界
１２中間部の明部側境界
１５中間部の明るさ指数回帰直線
２０輪郭線（従来）
２１第１の矩形域
２２第２の矩形域
２５線幅Ｗの曲線領域
３０暗部
４０明部
５０中間部

Claims

縦横直交二軸のいずれか一方であるＡ軸および他方であるＢ軸の各軸方向に画素を配置した画面内の画像の輪郭線を抽出する二次元画像のエッジ抽出方法であって、
画面内で、Ａ軸と略直交し、Ａ軸方向に移動する第１の線分を設定し、該第１の線分を用いた一次元型の境界点検出方法により明暗の境界点を検出し、該検出した境界点の全体を第１次境界点群とし、該第１次境界点群から粗輪郭線を抽出する工程と、
前記粗輪郭線のＡ軸と略直交する部分を取り囲む矩形域を設定し、前記第１次境界点群から前記矩形域内の境界点を除いた残部を第１次境界点残群とし、前記矩形域内で、前記第１の線分と略直交しＢ軸方向に移動する第２の線分を設定し、該第２の線分を用いた一次元型の境界点検出方法により明暗の境界点を検出し、該検出した境界点の全体を第２次境界点群とする工程と、
前記第１次境界点残群と前記第２次境界点群とを合併して第３次境界点群とし、該第３次境界点群を用いて輪郭線を抽出する工程と
を具備することを特徴とする二次元画像のエッジ抽出方法。
縦横直交二軸のいずれか一方であるＡ軸および他方であるＢ軸の各軸方向に画素を配置した画面内の画像の輪郭線を抽出する二次元画像のエッジ抽出方法であって、
画面内で、二次元型の境界点検出方法であるソーベルフィルタ処理により前記画像の明暗の境界点を検出し、検出した境界点の全体を第１次境界点群とし、該第１次境界点群から１本の連続した粗輪郭線を抽出する工程と、
前記１本の連続した粗輪郭線を中心とする所定の線幅の曲線領域を、Ｂ軸と略直交する粗輪郭線部分を取り囲む第１の矩形域およびＡ軸と略直交する粗輪郭線部分を取り囲む第２の矩形域にて囲い込み、
前記第１の矩形域内でＡ軸と略直交しＡ軸方向に移動する第１の線分、および、前記第２の矩形域内でＢ軸と略直交しＢ軸方向に移動する第２の線分、を用いた一次元型の境界点検出方法により明暗の境界点を検出し、該検出した境界点の全体を第２次境界点群とする工程と、
前記第２次境界点群を用いて輪郭線を抽出する工程と
を具備することを特徴とする二次元画像のエッジ抽出方法。