WO1991020049A1 - Line detection method - Google Patents

Description

明 細 害

ライン検出方法

〔技術分野〕

本発明は、 画像処理において、 直線状の検出対象、 たとえば溶接 線や対象物のエツジの位 Sを検出するライン検出方法に関するもの で、 特に周囲の環境が劣悪で入力画像が一定.しない場合や検出対象 が汚れている場合でも、 精度良く検出できる方法に関するものであ る o

〔背景技術〕

画像処理方法を用いて前纪のようなラインを検出する方法として は、 取り込んだ面像を 2値化して、 黒から白、 もしくは白から黒に 変化する位 11を検出する方法や、 3 X 3の画素 （ピクセル） のマト . リヅクスを用いて微分を行う方法が知られている。

画像を 2値化してラインやエッジを検出する方法は、 周囲の明る さの変化によって 2値化面像が変化するため、 周囲の明るさゃヮー クの状態を一定にする必要がある。

また、 3 X 3のマトリ ックスを用いる方法は、 局所的な明度の変 化に影響を受けるため、 面像が鮮明でなく、 面像の明度がなだらか に変化している場合では、 変化している.点、 つまり面像の輪郭を見 つけることができないのみならず、 画像に検出対象直線以外の汚れ 等がある場合は、 誤検出につながる可能性が高い。 また、 演算量が 多いため、 処理速度が遅くなるという問題がある。

したがって、 これらの方法は、 入力画像が一定していて鮮明であ れば適用することができるが、 多関節形の産業用ロボッ トが作業す るような、 例えば溶接などの悪環境では適用することができない。 本発明は、 前記の問題点を鑑みでなされたものであり、 環境が一 定せずワークの汚れがはげしいような作業においても、 高い信頼性 で検出対象のラインまたエツジを検出する方法を提供することを目 的とする。

〔発明の開示）

本発明は、 撮像装置によって画像処理装 «に取り込んだ画像から、 直線状の検出対象の位置を画像処理により検出する方法において、 まず、 次の処理からなる準備段瞎を行っておく ：

(a)検出対象のラインを長辺で横切る矩形ウィンドウを相互に平行に 2個設度する。

(b)前記矩形ウィンドウの短辺方向の面素列の面像濃淡値をそれぞれ 加'箅し、 その加箅值を ¾ぺた一次元データを前記各矩形ウィンドウ 毎に求める。

(c)前記一次元データの大小、 勾配、 勾配の変化等に基づいた特徴的 な値 （以下、 特徴値という） を持つ特徽点を前記各一次元データ毎 に少なく とも一つ求める。

(d)前記一方の一次元データの前記特徴点における前記特徴値と、 他 方の一次元データの前記特徵点における前記特徴値との和が最大値 となる組合せを求める。

(e)前記最大値を示す場合の 2つの特徴点を粽ぶ線の領きと、 前記和 の値を記憶する。

)その特徴点を結ぶ锒と前記矩形ウィンドウの短辺が平行になるよ うに各ウインドウを佞けて平行四辺形状のウインドウとする。

(8)前記平行四辺形状のウインドウについて、 前記 (b)から (e)までの処 理を行うことにより前記顇きと、 前記和の值を記億する。

実際に検出する際に次の段階からなる処理 (h)を行う ：

(h)準備段瞎で求めた平行四辺形状のウィンドウについて、 前記 (b)か ら前記 (e)までの処理を再度行い、 それによつて得た傾きと和の値を、 前記準備段階で得た値と比較して、 ラインの位置を検出する。 本発明は、 準傅段瞎において 2つの矩形ウィンドウから、 ゴミゃ 傷をラインの一部と仮 ¾して考えられる全てのラインの中から、 最 も妥当なものをラインとして認雜し、 ラインの佞きと特徴値を求め、 この煩きに沿って矩形ウィンドウを平行四辺形状に変形させる。

検出段瞎においては、 この平行四辺形状のウインドウを利用して、 ラインの傾きと特徴值を求めるので、 画像データが悪質な場合も充 分実用に耐える検出が可能となる。

〔図面の簡単な鋭明〕

図 1 A〜図 1 Eは、 本発明の実施例を説明する図、 図 2は本発明 の実 ίίに必要な装置を示す図、 図 3は本発明の 1画面の画素を示す 図、 図 4は本発明のライン認識を説明する図である。

〔発明を実施するための最良の形態〕 本発明の実施に必要な装 «のプロック図を図 2に示す。

C C Dカメラ 2 0 1が撮像するアナログのビデオ佾号は、 N T S C方式では、 一股に 5 2 5本の走査棣で構成されるが、 画面の周緣 部ではノイズが乗り易いため、 本発明実施例では、 中間部分の 4 .8 1本を有効な走査線とする。

そして、 A Z Dコンバータ 2 0 2により、 アナログのビデオ信号 を 8 ビッ トのデジタル值 （0から 2 5 5までの明度のレベル-画像 濃淡値） に変換し、 その出力をサンプリング回路 2 0 3により 1 ラ イン （ 1走査〉 の前記ビデオ信号の有効面像期間を 5 1 2分割する。 その結果、 1画面は 4 8 1行 5 1 2列の析目状のデータマトリ ッ ク ス （図 3参照） となって、 そのデータは D M A回路 2 0 4を介して 画像メモリ 2 0 5に転送される。

C P U 2 0 6は、 この面像メモリ 2 0 5のデータを読み出して画 像処理を行う。 画像処理のためのデータは C P U 2 0 6の内部メモ リまたは囡示しない外部のワーキングメモリに一時保持される。 図 2において 2 0 7は C R Tディスプレイ、 2 0 8はキーボー ドを示 している。

このような装置を用い、 本発明の一実施例を、 処理順序に沿って 説明する。

(a) オペレータは、 図 1 Aに示すように、 C R Tディスプレイ上に おいて、 検出対象のライン 1 0を長辺に沿って横切る矩形ウィン ド ゥ 1 2 , 1 4を互いに平行に 2個設置する。 第 1の矩形ウィン ドウ 1 2および第 2の矩形ウインドウ 1 4はラインがその内に収まるよ うに長辺の長さを設定し、 短辺は、 検出の儻頼性確保と処理時間の 長さの兼ね合いを考慮して、 たとえば数十面素とする。 図 1 Aにお いては、 理解し易くするために、 短辺の画素数を 5 としている。

(b) このように矩形ウィンドウ 1 2 , 1 4が設定されると、 C P U では前記矩形ウインドウ 1 2 , 1 4の短辺方向の酉素列の画像漉淡 値 D _K をそれぞれ加算し、 ∑ D K を得る （図 1 B参照） 。 したがって加算データは一次元データとなる。 このデータは、 C P Uの内部メモリまたは図示しない外部のワーキングメモリに一時 保存される。

図 4 (a)は、 検出対象ライン 4 0 1 と、 ごみ又はキズ 4 0 2をとら えた画像を示し、 図 4 (bl)は第 1の矩形ウィン ドウ ί 2における一 次元データを、 図 4 (b2〉は第 2の矩形ウインドウ 1 4における一次 元データをそれぞ 示す。

(c) 第 1の矩形ウィンドウ 1 2における一次元データの特徵点を少 なく とも一つ見つける。 本例では、 一次元データのうち、 最大値か ら 4位まで 4ケ所見つけることとする。 図 4 (bl)の A〜Dがその 4 ケ所である。 同様にして、 第 2の矩形ウィン ドウ 1 4における特徴 点を 4ケ所見つける。 図 4 (b2)の a〜dがそれである。 (d) 次に、 第 1の矩形ウィンドウ 1 2の特徵点 A〜Dと第 2の矩形 ウィ ン ドウ 1 4の特»点 a〜dの値の和が最大となる組合せを求め る。 すなわち、 A— a , A— b , A— c , A— d , B— a , B— b , • · · · , D— dの 1 6通りの組合せの中から最大値となる組合せ を選択する。

図 4 (M ), 0)2〉の例では C一 bが最大である。 つまり、 C地点と b地点を通る锒を検出対象のラインと S識する。

このような、 特徴点の求め方としては、 この例では単純な大小閩 係をみたが、 検出対象の特性によっては次のやり方としてもよい。

( i ) —次元データを、 所定の数 面素面痛毎に差分の絶対値をと り、 その差分の絶対値の極大を取る位 Sを特徼点とする。

( Π) 一次元データを、 所定の数の面素間 B毎に差分の絶対値を取 り、 その差分值の絶対値が大 小→大、 または小—大—小に変化す るときのみ差分値をとり、 その差分値が S大を取る位置を特徵点と する。

その他、 一次元データの標準偃差を利用する方法もあるが煩雑に なるのでここでは省略する。

なお、 差分を求めるときに、 所定の数の画素毎に行う理由は、 入 力画像が不鲜明な場合、 隣同士の差分を行っても、 その差が小さい ため、 いくつか面素を飛ばして差分を行うためで、 飛ばす面素の数 は画像の餑明さの度合いにより設定する。

(e) その組合せによる特徵値の和と、 傾きを記 «する。

(f) その傾きに沿って前記矩形ウィンドウの短辺が平行になるよう に、 各ウィンドウを煩けて、 平行四辺形状のウィンドウとする （図 1 C；) 。 この場合、 図 3に示した面素のマトリ ックス自体は変形で きないので、 どの画素のデータを取り込むかということを決めると いうことになる。 図 1 Dは 4 5度傾いた例、 図 1 Eは 2 7度傾いた 例である。

(S) 前記平行四 S形状のウィン ドウについて、 前記 (b)から ( までの 処理を行うことにより前記傾きと、 前記和の值を記憶する。

なお、 この (0ステツブはより高精度を望む场合に必要であるが、 簡易的な処理としては、 この (8)ステップを省路することができる。

ここまでが、 準備段陪の処理であり、 実際に作業に入る前に必要 な準備となる。 特に、 産業用ロボッ トの画像処理に本発明を適用し た場合は、 ロボッ トのティーチング時にこの作業を行う。

以下が、 検出段階の処理である。

(h) 準備段階で求めた平行四辺形状のウィンドウについて、 前記 (b) から (e)までの処理を行い、 これにより得た傾きと特徴値の和の値を、 前記準備段瞎で得た値と比較して、 求めたいラインの位置を検出す る。

このような方法を実行することにより、 ウィンドウの短辺方向に 面像濃淡値を加算することにより、 短辺方向の長さが短い汚れやご み等 4 0 2よりも、 検出対象のラインに相当する部分 4 0 1 の濃淡 特徵がより強謂されることになる。

以上述べたように、 本発明によれば、 検出対象が汚れていたり、 環境の悪さから入力画像僭号が安定しないような溶接作業、 大型機 械装置の組立作業などの工場現場でも精度良く面像処理が行えるよ うになるという効果がある。

また、 従来は良い面像が得られないため πボヅ トの導入が不可能 であった作業場にも、 この画像処理を用いて視覚付ロボッ トの導入 が可能となるので、 省力化に貢献するところ大なるものがある。

〔産業上の利用可能性〕

本発明は、 溶接線を監視しながら溶接を行う溶接ロボッ トにおけ る画像処理等に利用することができる。

Claims

請 求 の 範 囲

1. 撮像装置を用いた画像処理により、 直糠状の検出対象の位置を 検出する方法において、

準備段階として次の (a)から (g)までの処理を行っておき、 実際に直 線状の検出対象を検出する段階で (h)の処理を行うことを特徴とする ライ ン検出方法。

(a)検出対象のラインを長辺で横切る矩形ウイン ドウを相互に平行に 2個設 gし、

(b)前記矩形ウィン ドウの短辺方向の面素列の面像濃淡値をそれぞれ 加算し、 その加算值を並べた一次元データを前記各矩形ウィン ドウ 毎に求め、

(c)前記一次元データの大小、 勾配、 勾配の変化等に基づいた特徵的 な値を持つ特徵点を前記各一次元データ毎に少なく とも一つ求め、

(d)前記一方の一次元データの前記特徵点における前記特镦値と、 他 方の一次元データの前記特徴点における前記特徴値との和が最大値 となる組合せを求め、

(e)前記最大値を示す場合の 2つの特徴点を結ぶ線の傾きと、 前記和 の値を記億し、

(f)その特徴点を桔ぶ線と前記矩形ウィンドウの短辺が平行になるよ うに各ウィン ドウを傾けて平行四辺形状のウイン ドウとし、

(8)前記平行四辺形状のウイン ドウについて、 前記 (b)から (e)までの処 理を行うことにより前記傾きと、 前記和の値を記憶し、

(h)準備段瞎で求めた平行四辺形状のウィン ドウについて、 前記 (b)か ら前記 (e)までの処理を行い、 これにより得た傾きと和の値を、 前記 準備段階で得た値と比較して、 ラインの位置を検出する。

2. 撮像装置を用いた画像処理により、 直線状の検出対象の位置を 検出する方法において、 準備段階として次の (a)から (e)までの処理を行っておき、 実際に直 镍状の検出対象を検出する段階で (g)の処理を行うことを特徵とする ライ ン検出方法。

(a)検出対象のラインを長辺で横切る矩形ウインドウを相互に平行に 2偭設箧し、

(b) fr記矩形ウイン ドウの短辺方向の面素列の面像 »淡値をそれぞれ 加算し、 その加算值を並べた一次元データを前記各矩形ウイン ドウ 毎に求め、

(c)前記一次元データの大小、 勾配、 勾配の変化等に基づいた特徴的 な値を持つ特徵点 前記各一次元データ毎に少なく とも一つ求め、

(d)前記一方の一次元データの前記特¾点における前記特徴値と、 他 方の一次元データの前記特徴点における前記特徴値との和が最大値 となる組合せを求め、

(e)前記最大值を示す場合の 2つの特徵点を粽ぶ線の佞きと、 前記和 の値を記憶し、

ば)その特徴点を結ぶ線と前記矩形ウィンドウの短辺が平行になるよ うに各ウイン ドウを傾けて平行四辺形状のウインドウとし、

(8)準備段階で求めた平行四辺形状のウィン ドウについて、 前記 (b)か ら前記 (e)までの処理を行い、 これにより得た佞きと和の値を、 前記 準備段階で得た値と比較して、 ラインの位置を検出する。