JPH03142576A - 画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、撮像手段により取り込まれた画像上の直線を
ハフ変換ヒストグラムに基づいて検出する画像処理方法
に関する。

〔従来の技術〕

撮像手段により取り込まれた画像上の直線を検出する手
法として、ハフ（Ｈｏｕｇｈ　）変換が知られている。

かかるハフ変換は次のようにして行われる。まず、画像
上のある抽出点を通る直線をその抽出点を中心として回
転させ、単位回転角度毎にその抽出点を通る直線に画面
上のｘ−ｙ座標原点から垂線を引く。この垂線の長さを
ρ、垂線のＸ軸からの傾き角をθとし、θ−ρ平面上に
抽出点を通る全ての直線に対応する点をプロットし、θ
−ρ平面上にハフ曲線を得る。なお、ρ、θと抽出点の
座標Ｘ％ｙの間にはρ−ｘ　　ｃｏｓθ＋ｙ　　ｓｉｎ
θなる関係があり、ρは計算により求めることができる
。

ある直線上に存在する複数の抽出点についてのハフ曲線
は、θ−ρ平面上において一点で交わるから、この交点
からその直線を検出することができる。すなわち、−直
線上に複数の抽出点が存在する場合、各抽出点に対応す
るハフ曲線は一点で交わり、その交差回数はその抽出点
の数に対応する。したがって、ハフ曲線の交差回数につ
いて二次元のハフ変換ヒストグラムを作成し、そのピー
クを求めればそのθ、ρから直線が特定される。

〔発明が解決しようとする課題〕

しかし、上述したハフ変換により直線を検出する場合に
は、画像上の抽出点の全てについてそこを通る直線を少
なくとも１８０度回転させ、単位回転角毎にρを求めな
ければならない。この為、その計算に膨大な時間を必要
とした。

そこで、上述の事情に鑑み、本発明は、短時間に直線を
検出することができる画像処理方法を提供することを目
的としている。

〔課題を解決するための手段〕

上述の目的を達成するため、本発明による画像処理方法
においては、撮像手段により取り込まれた画像上の抽出
点を含む微小領域毎にグラジェントの傾き角が求められ
、このグラジェントの傾き角を中心とした所定角度範囲
内でその微小領域毎に抽出点についてのハフ変換が行わ
れ、このハフ変換の結果にグラジェントの傾き角からの
角度差に応じた重み付けがされてハフ変換ヒストグラム
が作成される。

〔作用〕

このように、グラジェントの傾き角を中心とした所定角
度範囲内で抽出点についてのハフ変換を行うことにより
、抽出点を通る直線を回転させる範囲が限定される。ま
た、ハフ変換の結果にグラジェントの傾き角からの角度
差に応じた重み付けをしてハフ変換ヒストグラムを作成
することにより、ヒストグラムに現れるピークが強調さ
れると共に、その収束性が向上する。

〔実施例〕

以下、本発明の実施例につ′いて第１図〜第１２図を参
照しつつ、説明する。

第１図は撮像手段により取り込まれた画像を示している
。この画像上には直線りを境界とした白と黒のパターン
が映し出されている。この画像上にｘ−ｙ座標をとり、
直線り上の画素（ｉ、ｊ）のグレイレベルをｆ　（ｉ、
ｊ）、グラジェント（Ｇｒａｄｌｅｎｔ）をｇ（ｉ、ｊ
）とする。ココテ、画素（ｉ、ｊ）のグラジェントの傾
きをθ（ｉ、ｊ）で表すことにすれば、 θ（１，ｊ）　−ｔａｎ−Ｉ（Δ　ｆ’（１，ｊ）／Δ
　ｆ（１，ｊ））ｙ　　　　　　　　　　　　　ｘ ただし、 と表せる。

なお、上述した例では計算時間を短縮するため、注目画
素（ｉ、ｊ）を中心とする３×３マスクからグラジェン
トの傾きθ（ｉ、ｊ）を求めているが、計算時間の制約
が無い場合には、３×３マスクよりも大きなマスクから
グラジェントの傾きを求めることも可能であり、そうす
ることによって精度の高いグラジェントの傾きを得るこ
とができる。

こうして求められるグラジェントの傾きθ（ｉ。

ｊ）は、座標原点Ｏから直線りへの垂線とＸ軸のなす乗
用θにほぼ等しい。もしも、乗用θとグラジェントの傾
きθ（ｉ、ｊ）とが正確に一致すれば、画素（ｉ、ｊ）
はハフ変換の式 ０式％（１） に乗用θを代入することにより、θ−ρ平面（ハフ平面
ともいう）の点（θ、ρ）へと変換され、同じ直線り上
の点は全て同一点（θ　、ρ。）へと変換される。

しかし、通常は乗用θとグラジェントの傾きθ（ｉ、ｊ
）とは正確に一致しない。

そこで、本発明においては、まず直線り上の注目してい
る抽出点画素（ｉ、ｊ）を含む微小領域を考え、この微
小領域についてグラジェントの傾きθ（ｉ、ｊ）を求め
、求められたグラジェントの傾きθ（ｉ、ｊ）を中心と
した所定角度範囲Δθ内で（１）式によりハフ変換を行
うこととしている。そして、この計算により求められた
（θ。

ρ）に対応するハフ平面上の座標に１をそれぞれ加算し
ていき、二次元のハフ変換ヒストグラムを作成すると第
２図（ａ）に示した如くとなる。Ｘ−ｙ平面上の同一直
線上の抽出点画素は、ハフ変換によってθ−ρ平面上の
同一点に変換されるので、直線りに対応してθ−ρ平面
上の一点（θ。

ρ）の度数が高くなる。従って、ハフ平面上に作成され
た二次元のハフ変換ヒストグラムを探索して度数の高い
点（ピーク）の座標（θ、ρ）を求めれば、直線りを検
出できる。

このように、グラジェントの傾き角θ（ｔ、ｊ）を中心
とした所定角度範囲内でθの展開範囲を制限し、ハフ変
換を行うようにすることで、直線の検出にはあまり必要
とされない計算を省き、ハフ曲線の交差点近傍の点のみ
が求まる計算を効率よく行うことができ、計算にかかる
時間が大幅に短縮される。

なお、上述した画素（ｉ、ｊ）のグラジェントの傾きθ
（ｉ、ｊ）は、例えばエツジ検出オペレータにより検出
される。

ところで、上述したようにハフ変換の結果として得られ
たθ−ρ平面上の座標（θ、ρ）に１を加算する場合に
は、ピークの収束性があまりよくない。このため、撮像
手段により得られた画像上にノイズがのっていると、ノ
イズの影響により間違ったところにハフ変換ヒストグラ
ムのピークが生じ、画像上に存在する直線により生じる
ピークがノイズによるピークにうもれて見つけ難くなり
、画像上に存在する直線を正確に検出できない場合があ
る。また、同図（ｂ）に示したように、ヒストグラムの
ピーク探索の速度を速くするため、上述のようにθ−ρ
平面上に作成された二次元のハフ変換ヒストグラムをθ
軸上に投影し、−次元のハフ変換ヒストグラムとし、そ
のピークを探索するようにした場合には、画像上にノイ
ズがなく直線りが凹凸のない理想的な直線であれば、グ
ラジェントの傾きθ（ｉ、ｊ）を中心とした角度幅Δθ
の範囲内でヒストグラムは高さ一定の分布をもつことに
なる。このため、−次元のハフ変換ヒストグラムではθ
方向のピークがΔθの範囲内で定まらず、直線の検出が
困難となる。

かかる事態を考慮し、本発明においては、上述の如くグ
ラジェントの傾き角θ（ｔ、ｊ）を中心とした所定角度
範囲Δθ内で（１）式によりハフ変換を行い、その結果
にグラジェントの傾き角θ（ｉ、ｊ）からの角度差に応
じた重み付けをしてハフ変換ヒストグラムを作成するこ
ととしている。

これにより、グラジェントの傾き角θ（ｉ、ｊ）により
近い乗用θを有する直線の存在確率が高くなり、θ−ρ
平面上でのピークの収束性が高まる。

したがって、ノイズの影響を受は難くなり、ピークを見
つけ易くなるのである。

すなわち、上述のようにθの展開範囲をグラジェントの
傾き角θ（ｉ、ｊ）を中心とした所定角度範囲（例えば
Δθ−５″）内に制限し、θを例えば１０毎に変化させ
て各抽出点画素（ｉ、ｊ）について（１）式によりρを
算出する。そして、この算出結果からθ−ρ平面上にハ
フ変換ヒストグラムを作成する際、θとグラジェントの
傾き角θ（ｉ、ｊ）との角度差に応じて重み付けされた
値をθ−ρ平面上のその座標に加算する。例えば、θ−
θ（ｉ、ｊ）の点には３を加算し、θ−θ（ｉ、ｊ）±
１″の点には２を加算し、θ−θ（ｔ、ｊ）±２″の点
には１を加算する。こうしてθ−ρ平而上面作成された
二次元のハフ変換ヒストグラムを第３図（ａ）に示す。

この図から明らかなように、（θ　、ρ。）における度
数は他と比べても格段に大きくそのピークは急峻となり
、ノイズが多く存在する画像に対してもノイズによる影
響をあまり受けずにピークがはっきり出るようになる。

また、この二次元のハフ変換ヒストグラムをθ軸上に投
影し、−次元のハフ変換ヒストグラムとしたものを同図
（ｂ）に示す。この図から明らかなように、−次元のヒ
ストグラムとした場合であっても、θ方向においてピー
クがθ−θ（Ｌ、ｊ）の点にはっきりと現れるようにな
る。

したがって、ノイズの影響を受は難くなり、ピークを見
つけ易くなる。

次に、上述した処理の実験結果を示す。

第４図に実験シュミレーション用に作成したサンプル画
像を示す。このサンプル画像には各辺が垂直方向に対し
て４５°傾けられた正方形が映し出され、その各辺には
それぞれ０．０００１の曲率がつけられている。そして
、エツジをぼかすため５×５のスムージングが２回施さ
れている。

第５図は第４図に示したサンプル画像を、上述したよう
にグラジェントの傾き角からの角度差に応じた重み付け
を考慮して作成した一次元のハフ変換ヒストグラムを示
し、第６図は重み付けを考慮せずに作成した一次元のハ
フ変換ヒストグラムを示している。重みを考慮した場合
のハフ変換のアルゴリズムを以下に示す。

なお、第５図及び第６図はθ方向０〜９０°の範囲で示
しており、グラジェントの傾き角からの角度差に応じた
重みは、角度差の絶対値が小さち）はうから４．３．２
．１とした。

この結果からも明らかなように、重み付けを考慮した第
５図のヒストグラムではピークがθ−４５＠の点にはっ
きりと出ている。これに対し、重み付けを考慮しなかっ
た第６図のヒストグラムではピークがθ−４３〜４７°
の幅をもって現れてしまい、その頂点を決定することが
困難である。

なお、上述した実施例では、グラジェントの傾き角から
の角度差に応じた重み付けは、その角度差の絶対値に反
比例して変化させることとしているが、これに限らず、
例えば処理する画像のグラジェントにより求めたエツジ
方向を予め別の方法で高精度に測定した結果と比較し、
グラジェント方向の角度確率を計算することにより、重
み付けを決定することもできる。すなわち、グラジェン
トにより求めたエツジ方向の角度確率をハフ変換のカウ
ント値として用いればよいのである。

次に、発光素子（赤外ＬＥＤ）の外観検査工程に本発明
を適用した例を示す。

発光素子の外観検査は目視検査による場合、個人差、疲
労度、体調等によって結果がばらつく。

このため、自動化の要求が高い。この例では、赤外ＬＥ
Ｄチップの発光パターンを赤外ＴＶカメラでとらえ、画
像解析をすることにより赤外ＬＥＤチップのカケ、キズ
、ムラ等を自動検査するシステムを試作した。その際、
検査時間を短縮化するための検査アルゴリズムの高速化
も検討した。

■、検査の諸要求 検査の対象となる赤外ＬＥＤ発行パターンは、第７図に
示す様に、中心のＬＥＤチップにボンディング線が配線
してあり、ＬＥＤ発光効率を上げるためのミゾにより周
りに外輪パターンがある。

測定対象は中央部の正方形部分で中央は電極の非発光部
分があり、これにボンディング線が接続されている。

く検査項目〉 外形カケ検査 内部キズ検査 内部輝度ムラ（発光不良）検査 ポンディングパッド位置ずれ検査 クラック（ヒビ割れ）検査 〈検査項目以外の装置に対する要求〉 検査基準： 現在検査員が目視検査で行っている基準に合わせること
。したがって良品と不良品を測定し、その条件出しが行
えるシステムでなければならない。

信頼性： 真に正常なもののみ正常と判定し、異常なもののみ異常
と判定し、疑わしいものはベンディング項目として出力
し、検査員の判断を仰ぐ様にする。

高速処理： 検査する対象が生産量が多量なもののため高速な処理手
法が望ましい。今回のケースでは、５秒以下の処理高速
を確保したい。

但し、高速にしたといって信頼性が低下する様では困る
。

以上の諸要求に対し、まず高速処理を意識することなし
に、まず確実に判断できる手法を確立し、その後その測
定精度を落すことのない様に高速に測ることを第一の方
針とした。

■、検査処理部の概要 まず、前章（１）で示した具体的検査項目について、検
査する機能の大まかな組立てを行った。

第８図に処理工程フローチャートを示す。処理を分類す
ると ■　前処理部 ■　発光パターン領域抽出部 ■　発光パターン検査部 に分けられる。

■の前処理としては、ＬＥＤは自発光のため２値化の手
法が比較的使い易いが、ただし輝度値は個々により異な
るため、自動しきい値を用いることにする。■の発光パ
ターン領域抽出部については基本的にＨＯＵ　Ｇ　１１
変換を用いることにした。■発光パターン検査部は、■
の抽出がうまくいけば、ＬＥＤのムラを除いて幾何学的
な測定になるので既存の画像処理手法で対処できると考
えた。以上の流れに沿って処理手法の説明をする。

再び第７図を観察すると、発光部の周囲に、リング状の
外輪パターンがＬＥＤ発光部の抽出を困難にしているこ
とが分かる。ＬＥＤ取り付は位置によっては、このリン
グ部と接触したりするので、単純にしきい値を設定し、
セグメント化しただけでは、このリングと同一セグメン
トと認識されてしまう。よって大局的な特徴量処理であ
るＨＯＵＧＨ変換を用いることにした。ＨＯＵ　Ｇ　Ｈ
変換による直線パターン検出の原理は、ｘ−ｙ空間座標
系の直線が（１′）式で示されるようなθ−ρパラメー
タであられせれることにある。

ｐ””ｘ”ｃｏｓθ十ｙＩＩＳｉｎθ−（１’）そこで
、今回のＬＥＤ発光部の４つの辺をこの変換にてサーチ
して検出することを試みた。

ＨＯＵＧＨ変換による領域の抽出はこれまで数々の方法
が提案されているが、いずれも変換する候補点を抽出す
るのに微分オペレータを用いている。今回のケースでは
、この微分オペレータでは確実に候補点が出てこないこ
とが分かった。その理由として （１）ＬＥＤはある高さを持っているのでメカニカルな
精度で、ピント位置が常に一定という訳にはいかず（測
定系＋ＬＥＤ取り付け精度）ある程度エツジがボケでし
まう。

（２）ＬＥＤのエツジ自体、カッティングの精度により
垂直端面ばかり出ているケースばかりでない。

が上げられる。よって今回は、発光部とバックグラウン
ドが自発光のため区別がつきゃすい点に注目し、自動２
値化の手法により２値画像を作り、この周辺部をトラッ
キングしながらＩＯ［ＪＧＨ変換を行う手法を採用した
。但し、この手法をとった場合ＨＯＵＧＨ変換を行う際
、以下の様な問題点が出てきた。

■　ＬＥＤ発光部の４つの辺が正確に直線にならない。

（ピントがあまい。ＬＥＤ自体の精度：■　ＬＥＤ発光
部エツジがなまっているため、Ｇｒａｄｉｅｎｔによる
角度制限付き高速ＨＯｔｌＧＨ変換の変換範囲の角度制
限をあまり強められない。

■　■及び、ＬＥＤ発光部周辺に散在する領域によって
、Ｉ（ＯＵＧ）Ｉ変換面での特徴量がバックグラウンド
に埋もれやすい。

よって、今回ＨＯＵＧＨ変換に対し、角度方向に対しカ
ウントアツプする際の重み付けを換えることにより、直
線収束性を向上させたアルゴリズムを試みた。

■、２　角度重み付けＩ（ＯＵ（Ｈ変換方式についてま
ず自動２値化にて２値化されたしきい値像は、第９図（
ａ）の様になるが、このエツジをＨＯＵＧＨ変換を行う
と、第９図（ｂ）の様にＨＯＬＩ（Ｈ変換面ではＬＥＤ
の４つの辺に対応する直線のピークが現れる。この４つ
のピークはθ方向の投影を考えれば、２つのピークを持
ち、この差は９０°ある。

またρ方向については、−辺の長さに対応した差ｄを持
つ。

今回はこの幾何学的情報を積極的に活用して、あまり精
度のないＬＥＤの４つの辺の探索を行うことにした。

まず、今回のＨＯＵＧＨ変換アルゴリズムを示す。

この方式では、まず２次元のＨ（ρ、θ）空間と同時に
Ａ（θ）という投影データを同時に作成し、この投影デ
ータによりＬＥＤの２つの平行な辺のベアに対する角度
をサーチする。次に、この２つの候補となるθ方向のラ
イ ンドウ領域により、 だけ離れた２つのピークを探索する方法をとった。

ＨＯＵＧＨ変換としては、ｇｒａｄｌｅｎｔ型ＨＯＵＧ
Ｈ変換を採用し、変換時間を短縮化した。このとき、一
つの直線に対するＨＯＵＧＨ変換データは、一箇所に集
中しないで、ある特定のバラツキを持つことが分かった
。この要因としては、主としてＬＥＤエツジのピントの
ボケにその原因がある。今回の重み付けＨＯＵ　Ｇ　Ｈ
変換は、このピントボケによる）ＩＯＵＧＨ変換データ
のピークのバラツキを、加算データに重み付けを行うこ
とにより、ある程度補正できないかという考えのちとに
行った。この時の重み付けを、次に示す様な実験的方法
にて決定した。モデルとして４５°傾いた正方形と、正
方形よりある曲率を持たせた図形を用意して、これに５
×５の平滑化を２回繰り返し、このデータに対しく　１
　）重み付けをしない （１１）重み付け１（リニア加重＋　ｍ　［Ｊコー（１
，２，３，４，３，２，Ｎ （１１１）重み付け２（リニア加重、　ｍ　［ｊ］　＝
（１，４，９，１６，９，４，１１ の３つのケースのＨＯＵＧＨ変換を行った時のθ方向の
投影データをチエツクして、その半値幅よりデータの収
束性を調べることにした。第１０図はこの曲率に対する
半値幅を示すが、第１１図のθ方向の投影データのグラ
フが示す様に実際には、半値幅以上に重み付け１の方が
データの収束性が良いと思われる。さらに、重み付けを
行わない場合は、先が丸味がかかっているため、４５″
からずれた位置にピークが出やすいので、ウィンドウの
位置精度が悪く、ウィンドウ幅を広げなければならなか
った。重み付け２については、さらに鋭いピークが得ら
れたのであるが、曲率が大きくなっていた時のグラフの
頂点の先割れ現象が起きてしまったので、今回は重み付
け１を用いた。本方式によりθ方向ウィンドウ探索範囲
を狭くして（〜７″）も良好なサーチ結果を得た。なお
この重み付はアルゴリズムについては、理論的には現在
解析中であり、詳細は別途報告する予定である。

■、検査部判定方式 前章（ｍ）までにＬＥＤ発光領域が抽出されたので、次
に検査ということであるが、項目としては１章に示した
様なものがある。この中でＬＥＤのカケやボンディング
部分、さらに大きなりラック等は、全く発光しないため
輝度がかなり下っている。そのため２値画像と抽出頭載
との論理積をとり、かつボンディング部を除くだけで検
出できた。

次にボンディング部の位置ずれの検出については、既に
発光領域が決定できているため中心はすぐに求まる。よ
ってこの中心から規定半径の円を描き、この円に沿って
２値パターンのＯＮの部分（発光部）が連続して規定の
長さだけ続いてる場合に良品とする。最後に細いクラッ
クや表面の汚れ等発光部と輝度差のない部分を検出する
手法について説明する。この処理の流れを第１２図に示
す。原画に対して先のＨＯＵＧＨ変換で抽出した２値画
に対し、ｅｒｏｓｉｏｎを行う。これは、次に２値画の
領域に対応する部分のみ画像平滑化して、原画との差分
をとる。という浮動しきい値と似た手法により、小さな
輝度差を検出する際、ＬＥＤ周辺部のエツジ情報を検出
しない様に、平滑化マスクサイズに合わせて行う。この
差分出力結果の輝度分散値が一定しきい値を越えた場合
、汚れもしくはクラックがあると判定することにした。

〔発明の効果〕

以上説明したように、本発明による画像処理方法によれ
ば、グラジェントの傾き角を中心とした所定角度範囲内
で画像上の抽出点についてのハフ変換を行うことにより
、抽出点を通る直線を回転させる範囲が限定される。ま
た、ハブ変換の結果にグラジェントの傾き角からの角度
差に応じた重み付けをしてハフ変換ヒストグラムを作成
することにより、ヒストグラムに現れるピークが強調さ
れると共に、その収束性が向上する。したがって、ノイ
ズの多い画像でもθ−ρ平面上におけるピークを発見し
易くなり、かつ、θ方向に投影した場合であってもピー
クが顕著に現れるようになる。

よって、ピーク検出範囲を大幅に狭めることが可能とな
り、より高速で画像上の直線を検出できる。

【図面の簡単な説明】 第１図は撮像手段により取り込まれた画像を示した図、
第２図は重みを考慮せずに作成したハフ変換ヒストグラ
ムを示した図、第３図は重みを考慮して作成したハフ変
換ヒストグラムを示した図、第４図はサンプル画像を示
した図、第５図は第４図のサンプル画像について重みを
考慮して作成したハフ変換ヒストグラムを示した図、第
６図は第４図のサンプル画像について重みを考慮せずに
作成したハフ変換ヒストグラムを示した図、第７図は測
定対象となるＬＥＤの構造を示した図、第８図は処理工
程フローチャートを示した図、第９図はＬＥＤＬきい値
とそのハフ変換データを示した図、第１０図はθ方向投
影データの曲率に対する反値幅の変化を示した図、第１
１図はθ方向投影データ（−次元のハフ変換ヒストグラ
ム）を示した図、第１ ２図はＬ ＥＤ汚れ検出アルゴリズムを 示した図である。

Claims (1)

1. 【特許請求の範囲】 撮像手段により取り込まれた画像上の直線がハフ変換ヒ
   ストグラムに基づいて検出される画像処理方法であって
   、 画像上の抽出点を含む微小領域毎にグラジエントの傾き
   角が求められる工程と、 この微小領域毎に前記抽出点について前記グラジエント
   の傾き角を中心とした所定角度範囲内でハフ変換が行わ
   れる工程と、 ハフ変換の結果に前記グラジエントの傾き角からの角度
   差に応じた重み付けがされて前記ハフ変換ヒストグラム
   が作成される工程とを備えていることを特徴とする画像
   処理方法。