JP2992446B2

JP2992446B2 - 画像認識方法およびその装置

Info

Publication number: JP2992446B2
Application number: JP6262953A
Authority: JP
Inventors: 長生 ▲濱▼田; 一成吉村; 朋広安田; ▲祐▼治佐久間
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 1994-10-26
Filing date: 1994-10-26
Publication date: 1999-12-20
Anticipated expiration: 2014-12-20
Also published as: JPH08123963A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、対象物と基準物との一
致度を一般化ハフ変換を用いて評価することにより、基
準物に対する対象物の位置および角度を求める画像認識
方法およびその装置に関するものである。

【０００２】

【従来の技術】従来より、生産ライン上などにおいて部
品のような対象物の基準物に対する位置（対象物の位置
は基準物に対して平行移動した変位量を意味する）およ
び基準物に対する角度（対象物の角度は基準物に対して
回転移動した回転角を意味する）を求めるために、対象
物をＴＶカメラのような画像入力装置で撮像して得た画
像と、あらかじめ基準物に基づいて作成されているテン
プレートテーブルとを比較し、基準物に対する対象物の
位置と角度とを求めることが考えられている。

【０００３】テンプレートテーブルは以下のようにして
作成される。まず、対象物とほぼ同形状を有し位置およ
び角度の基準となる基準物を画像入力装置で撮像して得
た濃淡画像から、基準物の輪郭線のような特徴となる基
準画素群を抽出し、基準画素群の各画素について画像内
の基準点（つまりテンプレートテーブルに対する座標原
点）に対する極座標と、各画素の近傍での濃度勾配を画
像内の基準方向に対する角度で表した方向値とを求め
る。基準画素群は、たとえば輪郭線上の画素群であると
すれば、画素の濃度を２値化することによって対象物と
背景とを区別したり、各画素の近傍の画素の濃度を用い
て求めた微分値によって輪郭線と他の部分とを区別した
りし、さらに細線化処理などを施して１画素幅の輪郭線
として抽出することができる。また、方向値は、各画素
の近傍（たとえば、８近傍）の画素について画像の基準
方向である水平方向と垂直方向との濃度差をそれぞれ求
め、垂直方向の濃度差を水平方向の濃度差で除して求め
た濃度勾配の逆正接により基準方向に対する角度として
求めることができる。このような方向値の求めかたは周
知である。

【０００４】以下では、基準画素群が輪郭線上の画素で
あるものとして説明する。上述のようにして、図１６に
示すような基準物Ｓについて輪郭線Ｌｂ上の各画素の極
座標（ｒ_i，α_i）および方向値φ_iが求まると、同じ
方向値φ_kを持つ極座標（ｒ _i，α_i）をまとめること
ができる。つまり、方向値φ_iが取り得る値は有限個に
制限されており（たとえば、３６０度を１６分割するこ
とで１６種類の値のみ取り得るように量子化される）、
輪郭線Ｌｂ上の各画素の各極座標（ｒ_i，α_i）の画素
はいずれかの方向値φ_iを持つから、図１７に示すよう
に、各方向値φ _iごとにその方向値φ_iを持つ極座標
（ｒ_i，α_i）を分類したテーブルを作成し、このテー
ブルを記憶装置に格納してテンプレートテーブルとして
用いるのである。

【０００５】次に、テンプレートテーブルと対象物とを
比較して対象物の基準物Ｓに対する位置および角度を求
める方法について説明する。対象物は基準物Ｓと同様に
画像入力装置で撮像され、撮像によって得られた濃淡画
像から輪郭線Ｌｂのような特徴となる対象画素群が抽出
される。ここで、テンプレートテーブルの作成に際して
輪郭線Ｌｂを用いているから、図１８に示すように、対
象物Ｔについても対象画素群として輪郭線Ｌｃを用い
る。まず、輪郭線Ｌｃの上の各画素について画像の水平
方向および垂直方向の座標軸を持つ直交座標系で座標
（ｘ_j，ｙ_j）を求めるとともに各画素の方向値φ_jを
求める。上記直交座標系は右手系であるものとする。

【０００６】いま、対象物Ｔが基準物Ｓに対して、上記
直交座標系での位置が（ｘ，ｙ）であり角度がθである
ものとする。この場合、図１９に示すように、上記直交
座標系で座標（ｘ_j，ｙ_j）である画素が方向値φ_jを
持っていたとすると、基準物Ｓの上でこの画素と等価な
画素の方向値φ_iは（φ_j−θ）になる。また、対象物
Ｔでは基準点Ｏ_Tが基準物Ｓの基準点Ｏ_Sに対して
（ｘ，ｙ）だけ位置しているから、基準物Ｓの基準点Ｏ
_Sの座標を（０，０）とすれば、対象物Ｔの基準点Ｏ_T
は（ｘ，ｙ）であって、この基準点Ｏ_Tを原点とし基準
物Ｓの基準方向に対して角度θだけ回転した極座標系で
は、上記直交座標系での座標（ｘ_j，ｙ_j）の画素の極
座標（ｒ_j，α_j）を、次式に示す一般化ハフ変換式で
表すことができる。ｘ＝ｘ_j−ｒ_j・cos(α_j＋θ) ｙ＝ｙ_j−ｒ_j・sin(α_j＋θ) しかして、対象物Ｔの輪郭線Ｌｃの上の画素が基準物Ｓ
の輪郭線Ｌｂの上の画素と等価であれば、ｒ_j＝ｒ_iか
つα_j＝α_iであるから、角度θを所定角度ずつ変化さ
せながら対象物Ｔの輪郭線Ｌｃの上の画素の方向値φ_i
に対して（φ_i−θ）を求め、この値をテンプレートテ
ーブルのφ_iと照合することによって抽出した極座標
（ｒ_i，α_i）を上式に適用したときに、輪郭線Ｌｃの
上の多数の画素について（ｘ，ｙ）がほぼ一致していれ
ば、そのときの角度θを対象物Ｔの角度とし、求めた
（ｘ，ｙ）を対象物Ｔの位置と考えることができる。

【０００７】上述した原理に基づいて、テンプレートテ
ーブルを用いて対象物Ｔの基準物Ｓに対する位置および
角度を一般化ハフ変換を適用して求める方法として次の
ものが考えられている。すなわち、上述したように、対
象物Ｔの輪郭線Ｌｃの上の画素について求めた方向値φ
_jから適当に決めた角度θを減算した値をテンプレート
テーブルと照合して得た極座標（ｒ_j，α_j）および角
度θを一般化ハフ変換式に代入して得た座標（ｘ，ｙ）
の一致度を求めればよいから、一般化ハフ変換式の適用
によって得られた座標（ｘ，ｙ）の発生度数を求め、度
数が極大となれば一致度が高いと評価することができ
る。そこで、図２０に示すように、対象物Ｔを含む画像
と同じサイズを有するアドレス空間（アキュムレータ配
列Ａと称する）を各角度θごとに設け、各角度θごとに
一般化ハフ変換によって上述のようにして座標（ｘ，
ｙ）を求めたときに、その座標（ｘ，ｙ）に対応したア
ドレスのアキュムレータ配列Ａの格納値を１だけインク
リメントする。このような処理によって、アキュムレー
タ配列Ａの各アドレスには、一般化ハフ変換によってそ
のアドレスに対応する座標（ｘ，ｙ）が得られた度数が
格納される。

【０００８】アキュムレータ配列Ａに度数を格納する処
理を、各角度θごとに設けたすべてのアキュムレータ配
列Ａに対して行なえば、角度θが対象物Ｔの角度θに一
致するアキュムレータ配列Ａでは、特定の座標（ｘ，
ｙ）に対応したアドレスに格納された度数が他のすべて
のアキュムレータ配列Ａの各アドレスに格納された度数
よりも高くなると考えられるから、このアキュムレータ
配列Ａに対応した角度θが対象物Ｔの角度θであり、度
数のもっとも多いアドレスに対応した座標（ｘ，ｙ）が
対象物Ｔの位置（ｘ，ｙ）になる。

【０００９】以上説明したように、一般化ハフ変換を適
用して対象物Ｔの基準物Ｓに対する位置および角度を求
めようとすると、角度を変化させる個数分のアキュムレ
ータ配列Ａ（すなわち、記憶空間）が必要になる。たと
えば、角度θを１度ずつ変化させるとすれば、３６０個
のアキュムレータ配列Ａが必要になり、大きな記憶空間
が必要になる。また、一般化ハフ変換の演算には三角関
数を含むから、このような演算を多数回に亙って行なう
と処理時間が非常に長くなるという問題が生じる。

【００１０】この種の問題を解決する目的で、特開平２
−１５８８８８号公報では、対象物の濃淡画像から得た
情報を位置および角度が保存されるような圧縮方法で圧
縮した後に、上述のような一般化ハフ変換によって対象
物Ｔの位置および角度を求める方法が提案されている。

【００１１】

【発明が解決しようとする課題】上記公報で提案されて
いる方法では、画像の圧縮によって記憶空間が削減され
かつ処理の高速化が図られているが、圧縮された画像の
みを用いて角度を認識するものであるから、角度分解能
が低いという問題がある。本発明は上記問題点の解決を
目的とするものであり、記憶空間を小さくしかつ高速な
処理を可能としながらも、位置および角度を高精度に検
出できる画像認識方法およびその装置を提供しようとす
るものである。

【００１２】

【課題を解決するための手段】請求項１の発明は、認識
すべき対象物の基準物に対する相対的な位置および角度
を求めるに際して、基準物の濃淡画像から抽出した特徴
部分の画素群の各画素の極座標と各画素の近傍の濃度勾
配を画像の基準方向に対する角度で表した方向値とを対
応付けたテンプレートテーブルを設けておき、対象物の
濃淡画像から抽出した特徴部分の画素群の各画素の座標
および方向値を求めた後、対象物に対する基準方向を所
定角度ずつ変化させて得た方向値をテンプレートテーブ
ルに照合することにより対象物から抽出した各画素の極
座標の候補を求め、次に設定した角度と極座標の候補と
に一般化ハフ変換を適用して得られる座標の発生度数を
各基準方向ごとに求め、度数が極大になる座標および基
準方向の角度をそれぞれ対象物の位置および角度とする
画像認識方法において、基準物に対する対象物の位置お
よび角度をあらかじめ低精度で抽出する前処理の後、求
めた位置および対象物の大きさに基づく制限された位置
範囲内、かつ求めた角度を含む制限された角度範囲内で
上記基準方向を変化させて対象物の位置および角度を求
めるようにし、前処理は、対象物を含むサイズの比較領
域を濃淡画像内で順次移動させるとともに、比較領域の
画素群の方向値のヒストグラムの最大度数とあらかじめ
基準物の特徴部分について求めた方向値のヒストグラム
の最大度数との差が許容範囲内であるときの比較領域の
位置を対象物の位置とし、かつそのときの両ヒストグラ
ムで最大度数となる方向値の差を対象物の角度とするこ
とを特徴とする。

【００１３】

【００１４】

【００１５】請求項２の発明では、一般化ハフ変換を適
用して得られる座標の発生頻度を格納するアキュムレー
タ配列は、対象物を含む濃淡画像と同じ座標空間を有す
る領域を中心として、水平方向と垂直方向とに対象物を
含む濃淡画像の３倍ずつの座標空間を有することを特徴
とする。

【００１６】請求項３の発明では、一般化ハフ変換を適
用して得られる座標の発生頻度を格納するアキュムレー
タ配列の座標空間の一部のサイズを有する位置検出マス
クをアキュムレータ配列内で順次移動させるとともに、
位置検出マスク内で所定のしきい値以上の度数を有する
領域の重心の位置を対象物の位置とすることを特徴とす
る。

【００１７】

【００１８】請求項４の発明は、認識すべき対象物の基
準物に対する相対的な位置および角度を求める装置であ
って、対象物の濃淡画像から抽出した特徴部分の画素群
の各画素の座標および各画素の近傍の濃度勾配を画像の
基準方向に対する角度で表した方向値を求める第１の微
分処理回路と、基準物の濃淡画像から抽出した特徴部分
の画素群の各画素の極座標と方向値とを対応付けたテン
プレートテーブルと、対象物に対する基準方向を所定角
度ずつ変化させて得た方向値をテンプレートテーブルに
照合することにより対象物から抽出した各画素の極座標
の候補を求め、設定した角度と極座標の候補とに一般化
ハフ変換を適用して得られる座標の発生度数を各基準方
向ごとに求めるハフ変換回路と、度数が極大になる座標
および基準方向の角度をそれぞれ対象物の位置および角
度とする第１の位置角度検出回路とを備える画像認識装
置において、対象物を含むサイズの比較領域を濃淡画像
内で順次移動させるとともに、比較領域の画素群の方向
値のヒストグラムの最大度数があらかじめ基準物の特徴
部分について求めた方向値のヒストグラムの最大度数と
の差を求めるヒストグラム比較回路と、ヒストグラムの
最大度数の差が許容範囲内であるときの比較領域の位置
を対象物の位置とし、かつそのときの両ヒストグラムで
最大度数となる方向値の差を対象物の角度とする第２の
位置角度算出回路と、第２の位置角度算出回路で求めた
対象物の位置および対象物の大きさに基づく制限された
位置範囲、かつ求めた角度を含む制限された角度範囲内
とする２次処理範囲設定回路とを付加して成ることを特
徴とする。

【００１９】

【作用】本実施例の基本的な処理手順を図１４に示す。
各請求項の発明では、前処理（１次処理）で対象物の角
度を低精度で求めた後に、求めた角度を含む制限された
角度範囲でのみ従来の技術として説明した一般化ハフ変
換を適用した方法で対象物の位置および角度を求める処
理（２次処理）を行なう方法を採用している。このこと
によって、大きな記憶空間を必要とし処理量の多い一般
化ハフ変換によるマッチング処理のうち無駄な処理を低
減し、記憶空間および処理量の低減を図っているのであ
る。

【００２０】ここでは、テンプレートテーブルはあらか
じめ作成されているものとする。対象物について画像入
力装置によって撮像して濃淡画像を得た後（１０１）、
濃淡画像の各画素に対して空間微分を行なって画像の水
平方向（ｘ方向）および垂直方向（ｙ方向）の微分値ｄ
ｘ、ｄｙを求める（１０２）。次に、各画素の微分値ｄ
ｘ、ｄｙが所定のしきい値以上か否かを判断する（１０
３）。対象物と背景との境界で明るさが十分に変化する
ような照明を行なっていれば、この処理によって、対象
物の輪郭線を抽出することができる。ステップ１０３で
対象物の輪郭線上の画素が抽出されると、その画素につ
いて濃度勾配ｄｙ／ｄｘの逆正接を求めてこの角度を方
向値とする（１０４）。ここに、方向値は有限な個数と
なるように量子化される。以上のような微分により輪郭
線を抽出し方向値を求める処理を全画素について行なっ
た後（１０５）、対象物の輪郭線上の画素について、画
像内に設定した直交座標系での座標（ｘ_j，ｙ_j）およ
び方向値とφ_jを対応付けて図１５に示すような方向値
データテーブルを作成し、記憶装置に格納する（１０
６）。

【００２１】次に１次処理によって対象物の位置および
角度を低精度で検出し（１０７）、また、既知である対
象物の寸法と１次処理で求めた位置とに基づいて画像内
で後述する２次処理を行なう空間領域を制限する（１０
８）。また、１次処理によって求めた角度を含むような
角度範囲で２次処理を行なう角度範囲を制限する（１０
９）。対象物を含む画像空間のうちステップ１０８で制
限した空間領域を対象物とのマッチング処理を行なう領
域とし（１１０）、かつステップ１０９で求めた角度範
囲の下限値を角度の初期値として設定する（１１１）。

【００２２】以後の処理は従来の技術として説明したと
おりであって、空間領域および角度範囲を制限した状態
で、ステップ１０６で作成した方向値データテーブルか
ら対象物の輪郭線上の画素の方向値φ_ｊおよび座標
（ｘ_ｊ，ｙ_ｊ）を順次読み出して一般化ハフ変換を
適用する（１１２）。一般化ハフ変換で用いる角度をス
テップ１１１で求めた初期値から所定角度（たとえば１
度）ずつ変化させ、各角度での一般化ハフ変換により座
標が求められると、各角度ごとに設けたアキュムレータ
配列において上記座標に対応するアドレスの格納値をイ
ンクリメントする（１１３）。ステップ１０９で制限し
た角度範囲の上限値に達するまでこのような処理を繰り
返す（１１４、１１５）。ステップ１０９で制限した角
度範囲での一般化ハフ変換による処理が終了した後、ア
キュムレータ配列中で格納値が最大になっているものを
検出し（１１６）、格納値が最大であるアキュムレータ
配列に対応した角度および格納値が最大であるアドレス
に対応した位置を求める（１１７）。その後、２次処理
を行なう空間領域が他に残っていれば（１１８）、その
空間領域に移動し（１１９）、ステップ１１０からの処
理を繰り返す。また、他の空間領域が残っていなければ
処理を終了する。

【００２３】以上説明したように、１次処理によって対
象物の位置および角度を低精度で検出し、その位置と角
度とに基づいて２次処理を行なう空間領域および角度範
囲を制限し、制限された範囲で一般化ハフ変換を適用し
て高精度に位置および角度を求めるから、画像内のすべ
ての空間領域についてすべての角度で一般化ハフ変換を
適用する場合に比較して、記憶および処理すべきデータ
量が大幅に低減し、記憶空間および処理量の大幅が低減
を図ることができる。

【００２４】

【実施例】以下の実施例では、対象物が部品であるもの
として説明する。（基本例）まず、基本例として１次処理において濃淡画像を圧縮し
た圧縮画像に対して一般化ハフ変換を適用することで、
部品の位置および角度を低精度で求める場合を例として
処理手順を説明する。図１に示すように、基本的には作
用で説明した処理手順と同様であるが、部品の撮像後に
濃淡画像を一旦記憶し（２０１）、この濃淡画像に１次
処理を施した後に（２０２〜２１４）、先に記憶した濃
淡画像を読み出し微分処理を施して方向値データテーブ
ルを作成し（２１５〜２１９：図１４の１０２〜１０６
に相当）、２次処理の空間領域および角度範囲を制限し
（２２０：図１４の１０８〜１０９に相当）、２次処理
を行なう（２２１：図１４の１１０〜１１９に相当）の
であり、１次処理を行なう順序が相違している。

【００２５】さらに具体的に説明すると、図２に示すよ
うに、画像入力装置としてのＴＶカメラ１により撮像し
て得た部品を含む濃淡画像を濃淡画像記憶部２に記憶
し、この濃淡画像に対して画像圧縮回路３で圧縮を施す
ようになっている。圧縮方法としては、図４（ａ）に示
すように画像の水平方向および垂直方向について一定個
数の画素毎（１つのます目が１画素を表す）に画素を取
り出し（取り出す画素に斜線を付してある）、取り出し
た画素を隣合わせに並べて図４（ｂ）のような圧縮画像
を得る方法がある。すなわち、一定個数ずつ画素を間引
くのである。このような圧縮方法では、図３（ａ）に示
す元の画像に対して図３（ｂ）に示すように部品の位置
や角度は保存される。また、元の濃淡画像から４画素毎
に画素を取り出すものとすれば、データ量は１６分の１
に圧縮されることになる。つまり、濃淡画像における対
象物Ｔは圧縮画像では１６分の１の大きさの対象物Ｔ′
として表され、角度は保存されるが位置は４分の１にな
る。

【００２６】画像圧縮回路３で上述のようにして得た圧
縮画像に対して微分処理回路４では各画素の近傍（８近
傍）の画素の濃度を用いて水平方向（ｘ方向）と垂直方
向（ｙ方向）との濃淡の変化率（微分値ｄｘ、ｄｙ）を
求め、方向値記憶部５では、微分処理回路４で求めた微
分値ｄｘ、ｄｙが所定のしきい値以上であるときにのみ
（すなわち、圧縮画像内で主として部品の輪郭線上と考
えられる画素について）微分値ｄｘ、ｄｙを方向値ルッ
クアップテーブル６と照合して方向値φを求め、求めた
方向値φを圧縮画像内での画素の座標に対応付けて方向
値データテーブルとして記憶する。いま、圧縮画像内で
の画素の座標が（ｘ_p，ｙ_p）であり、方向値がφ_pで
あるとすれば、方向値記憶部５には、（ｘ_p，ｙ_p，φ
_p）の３つ組が記憶される。方向値ルックアップテーブ
ル６は、微分値ｄｘ、ｄｙと方向値φ（φ＝Arctan（ｄ
ｙ／ｄｘ）であるから、量子化した微分値ｄｘ、ｄｙを
与えることで、量子化された方向値φを得ることができ
る）とを対応付けてあらかじめ登録したテーブルであっ
て、微分処理回路４で求めた微分値ｄｘ、ｄｙを入力す
れば、その微分値ｄｘ、ｄｙに対応する方向値φを出力
する。

【００２７】圧縮画像内で主として部品の輪郭線上の画
素についての方向値を求めた後、ハフ変換回路７では従
来の技術で説明した一般化ハフ変換の技術を適用して、
圧縮画像テンプレートテーブル８を参照することによ
り、圧縮画像内での部品についてのアキュムレータ配列
を作成する。圧縮画像テンプレートテーブル８は、圧縮
画像についてのテンプレートテーブルであり、基準とな
る部品について圧縮画像から求めた輪郭線上の各画素の
極座標を方向値ごとにまとめて格納したものである。ハ
フ変換回路７で作成されたアキュムレータ配列は位置角
度検出回路９に入力され、アキュムレータ配列の度数分
布に基づいて圧縮画像内での部品の位置および角度が求
められる。求めた位置は圧縮画像の作成時の画素の間引
き率に応じて補正され、また求めた角度はそのままで２
次処理範囲設定回路１２に与えられる。

【００２８】２次処理範囲設定回路１２は、圧縮画像に
ついて求められた補正後の位置と既知である部品の大き
さとに基づいて元の濃淡画像内で部品が存在する位置範
囲を推定し、２次処理を行なう位置範囲を制限する。ま
た、２次処理範囲設定回路１２は、圧縮画像について求
められた角度を含む比較的狭い範囲で２次処理を行なう
ように、２次処理を行なう角度範囲を制限する。このよ
うにして決定された２次処理の位置範囲および角度範囲
は２次処理サイズ記憶部１３に格納される。

【００２９】ここに、位置範囲は、圧縮画像について求
めた部品の１つの長辺に両端４画素ずつ加算した直線を
直径とする円に外接し一辺が画像の水平方向に平行な正
方形内とする。４画素ずつ加算しているのは元の濃淡画
像から４画素ずつ間引きして圧縮画像を作成したことに
より元の濃淡画像と圧縮画像とでは最大で４画素分のず
れが生じるからである。また、角度範囲は、後述する２
次処理で用いるテンプレートテーブル１３に格納した極
座標の距離値のうちの最大値Ｌ（つまり、基準点からも
っとも遠い画素までの距離）に対して、（８／Ｌ）の逆
正接の角度（Arctan（８／Ｌ））を求め、圧縮画像から
求めた角度をψとするとき、ψ±Arctan（８／Ｌ）とし
て設定する。これは、基準点からの距離が最大となる２
画素間について圧縮画像と元の濃淡画像とではそれぞれ
最大で４画素分の誤差を有するからである。

【００３０】２次処理を行なう位置範囲および角度範囲
が決まれば、処理範囲を制限する以外は圧縮画像と同様
の手順の処理を行なうことにより、部品の位置および角
度を求めることができる。すなわち、濃淡画像記憶部２
に格納されている元の濃淡画像の全画素について微分処
理回路１０での微分処理を行なって各画素の微分値ｄ
ｘ、ｄｙを求め、方向値記憶回路１１では微分値ｄｘ、
ｄｙが所定のしきい値以上である画素（主として部品の
輪郭線上の画素）についてのみ微分値ｄｘ、ｄｙを方向
値ルックアップテーブル６と照合し方向値φを求め、画
素の座標と方向値との３つ組として記憶する。ここで、
方向値ルックアップテーブル６は、圧縮画像と共通に用
いることができる。

【００３１】次に、方向値記憶回路１１に記憶された３
つ組のうち、座標が２次処理範囲設定回路内である画素
についてのみハフ変換回路７でテンプレートテーブル１
４を参照して一般化ハフ変換を適用しアキュムレータ配
列を作成する。したがって、画像内で背景から抽出され
て方向値記憶回路１１に記憶されている画素を除去する
ことができ、処理量が低減することになる。ここで、一
般化ハフ変換を適用する際に変更される角度は、２次処
理範囲設定回路１２で決められた角度範囲に制限され
る。たとえば、２次処理範囲設定回路１２において１次
処理で求めた角度に対して仮に±５度の範囲でアキュム
レータ配列を作成する角度範囲を制限しているとして
も、仮に０．５度刻みでアキュムレータ配列を作成する
としても２０個のアキュムレータ配列を作成すればよい
から、３６０度について１度刻みで３６０個のアキュム
レータ配列を作成する場合よりも精度を高くしながら
も、処理量を大幅に低減できるのである。したがって、
この例で考えると、従来の技術に比較して１次処理での
処理量として１６分の１を要し、２次処理での処理量と
して１８分の１を要するのであり、両者を合わせても８
分の１を越えることはない。実際には、角度範囲は±５
度よりも小さい範囲に制限されるから、処理量はさらに
低減し、加えて、２次処理を行なう画素の位置範囲を制
限しているから、角度を求める精度を高くしても、全体
としての処理量が大幅に低減することがわかる。

【００３２】ハフ変換回路７で作成されたアキュムレー
タ配列は位置角度検出回路９に入力されて、上述した処
理により部品の位置および角度が求められるのである。
以上の処理手順をまとめると図１のようになる。ここ
に、圧縮画像テンプレートテーブル８、テンプレートテ
ーブル１４はあらかじめ作成されているものとする。上
述したように、図１は作用で説明した処理手順のうち、
ステップ２０２〜２１４が主な相違点であり、以後の処
理は作用で説明した処理手順に準じている。すなわち、
ステップ２０２〜２１４に示す１次処理では、部品につ
いて画像入力装置によって撮像して得た濃淡画像の各画
素に対して圧縮（ここでは１６分の１）を施した後（２
０２）、空間微分を行なって画像の水平方向（ｘ方向）
および垂直方向（ｙ方向）の微分値ｄｘ、ｄｙを求める
（２０３）。次に、各画素の微分値ｄｘ、ｄｙが所定の
しきい値以上か否かを判断し（２０４）、しいき値以上
の画素について濃度勾配ｄｙ／ｄｘの逆正接を求めてこ
の角度を方向値とする（２０５）。微分処理により特徴
となる画素群を抽出し方向値を求める処理を全画素につ
いて行なった後（２０６）、抽出した画素群の画素につ
いて、画像内に設定した直交座標系での座標と方向値と
を対応付けて方向値データテーブルを作成し、記憶装置
に格納する（２０７）。

【００３３】次に、角度を０度に設定して（２０８）、
方向値データテーブルの画素に一般化ハフ変換を施し
（２０９）、アキュムレータ配列を作成する（２１
０）。この処理を角度が３５９度になるまで行ない（２
１１、２１２）、すべての角度についてアキュムレータ
配列を作成した後に、アキュムレータ配列内の度数分布
を調べて極大値を求める（２１３）。度数が極大となっ
ている画素の座標が部品の位置を示し、そのアキュムレ
ータ配列に対応した角度が部品の角度として出力される
のである（２１４）。

【００３４】（実施例１）本実施例は基本例とは１次処理が相違する。図５におけ
るステップ３０１〜３０６は、図１４に示したステップ
１０１〜１０６と同じ処理であって、方向値データテー
ブルが作成される。また、図５におけるステップ３１
３，３１４は図１に示したステップ２２０，２２１に相
当する。本実施例では、部品の輪郭線等の画素群の各画
素の方向値の度数分布に基づいて部品のおおよその角度
を検出して２次処理を行なう角度範囲を決定する。した
がって、以下では、図５におけるステップ３０７〜３１
２についてのみ説明する。

【００３５】いま、図７に示すように部品Ｔの輪郭線を
一方向（たとえば左回り）に追跡したときに４方向のみ
の成分しかなければ、理想的には方向値も４種類しかな
いことになる。そこで、図７のような形状の部品Ｔであ
れば、方向値のヒストグラムは図８に示すように４つの
ピークを持つことになる。このように、部品Ｔの形状に
よって方向値の度数分布のパターンに特徴が生じる。

【００３６】上述したような方向値のヒストグラムを作
成するために、対象物についてはヒストグラムを作成す
る対象となる画素を抽出する領域を制限する（３０
７）。すなわち、方向値データテーブルに格納されたの
画素のうち、図９のように部品Ｔの最長の特徴量（たと
えば、最長の対角線の長さなど）Ｍを直径とする円に外
接する大きさで一辺が画像の水平方向に平行な正方形を
比較領域を設定し、この比較領域内の画素について方向
値のヒストグラムを作成するのである。このようにして
得た比較領域を対象物を含む画像内で順次移動（ラスタ
走査など）させ、各位置での方向値の最大度数を求め
る。実際には方向値データテーブル内で上記正方形内の
座標を有する画素について方向値の最大度数と、その方
向値とを求める（３０８）。

【００３７】次に、あらかじめ基準物Ｓの特徴部分につ
いて求めた最大度数と部品Ｔについて上述のようにして
求めた最大度数とを比較し、基準物の最大度数に対して
部品Ｔの最大度数が既定の許容範囲（たとえば、±１０
％）以内であれば（３０９）、上述のようにして部品Ｔ
に対して設定した比較領域を２次処理の位置範囲として
用いる。

【００３８】また、基準物Ｓと部品Ｔとについて、とも
に最大度数となる方向値の差を求める（３１０）。図１
０（ａ）に示す基準物Ｓについてのヒストグラムが図１
０（ｂ）のようであるときに、部品Ｔが図１１（ａ）に
示すように基準物Ｓに対して角度θだけ傾いていたとす
れば、図１１（ｂ）に示すような方向値のヒストグラム
についても角度θだけ度数分布が偏移するから、基準物
Ｓと部品Ｔとの最大度数となる方向値φ_０２，φ_２の
差φ_２−φ_０２が角度θに相当する。このようにして
求めた角度θは方向値の度数分布から求めたものであ
り、比較的精度が低いから、この角度θに対して所定の
角度範囲を設定して２次処理を行なうのである。ステッ
プ３０９において基準物Ｓと部品Ｔとの最大度数の差が
許容範囲を越えている場合は、方向値データテーブルで
ヒストグラムを作成する領域を変更し、比較領域を次の
位置に移動させる（３１１）。

【００３９】以上のような１次処理を行なうことによっ
て、１次処理の終了時点（３１２）では部品Ｔについて
２次処理を行なう位置範囲および部品Ｔのおおよその位
置がわかっているから、２次処理を行なう位置範囲およ
び角度範囲を決定することができ（３１３）、２次処理
（３１４）の処理量を大幅に低減できるのである。本実
施例を実現する装置は、図６に示すようなものであっ
て、ＴＶカメラ１により撮像した濃淡画像を濃淡画像記
憶部２に格納し、この濃淡画像について微分処理回路４
で各画素の近傍の画素の濃度を用いて水平方向（ｘ方
向）と垂直方向（ｙ方向）との濃淡の変化率（微分値ｄ
ｘ、ｄｙ）を求め、方向値記憶部５では、微分処理回路
４で求めた微分値ｄｘ、ｄｙが所定のしきい値以上であ
るときにのみ微分値ｄｘ、ｄｙを方向値ルックアップテ
ーブル６と照合して方向値φを求め、求めた方向値φを
圧縮画像内での画素の座標に対応付けて方向値データテ
ーブルとして記憶する。微分処理回路４での微分処理に
はソーベルオペレータを用いる。

【００４０】方向値のヒストグラムはヒストグラム算出
回路１５で制限された領域内で求められ、基準物につい
てあらかじめ求めてあるヒストグラムを登録したヒスト
グラム分布データ記憶部１６に登録されているヒストグ
ラムとヒストグラム比較回路１７で最大度数が比較され
る。ヒストグラム比較回路１７では、比較した最大度数
の差が所定の許容範囲内であれば、位置角度算出回路１
８では両方の方向値の差を求める。最大度数の差が許容
範囲を越えているときには、方向値データテーブルから
ヒストグラムを求める領域を広げ、最大度数の差が許容
範囲内になるまでこの処理を繰り返す。部品Ｔのサイズ
は既知であって、部品Ｔのサイズから２次処理を行なう
位置範囲のサイズもわかるから、２次処理を行なう位置
範囲のサイズを２次処理サイズ記憶部１９にあらかじめ
格納しておき、位置角度算出回路１８で求めた角度とそ
の角度を求めた領域と２次処理サイズ記憶部１９に格納
されているサイズとに基づいて、２次処理範囲設定回路
１２において２次処理を行なうための位置範囲および角
度範囲を設定する。位置範囲および角度範囲の決定方法
は基本例と同様である。

【００４１】２次処理のための位置範囲および角度範囲
が決まれば、方向値記憶部５に格納されている画素の座
標と方向値との３つ組のうち、座標が位置範囲内である
ものを抽出し、ハフ変換回路７でテンプレートテーブル
１４を参照して一般化ハフ変換を適用しアキュムレータ
配列を作成する。この段階で、画像内で背景から抽出さ
れて方向値記憶回路５に記憶されている画素を除去する
ことができ、処理量が低減する。また、一般化ハフ変換
を適用する際に変更される角度は、２次処理範囲設定回
路１２で決められた角度範囲に制限されるから、角度を
求める精度を高くしても、全体としての処理量が大幅に
低減する。ハフ変換回路７で作成されたアキュムレータ
配列は位置角度検出回路９に入力されて、従来の技術で
も説明した処理により部品の位置および角度が求められ
る。他の処理手順および構成については基本例と同様で
ある。

【００４２】実施例１では、アキュムレータ配列を作成
する際に従来の技術として説明したテンプレートテーブ
ルを使用していたが、部品Ｔの位置および角度を求める
演算を行なう際の演算量を低減させるようにテンプレー
トテーブルを作成することもできる。

【００４３】すなわち、実施例１で用いたテンプレート
テーブルは、図１７に示したように、基準物Ｓについて
の方向値φ_ｉに、基準物Ｓの特徴となる画素群（たと
えば、輪郭線上の画素群）の各画素の極座標を対応付け
たものである。一方、アキュムレータ配列を作成する際
には、部品Ｔについて求めた方向値φ_ｊから各アキュ
レータ配列ごとに設定する角度θを減算した値φ_ｊ−
θをテンプレートテーブルの方向値φ_ｉと照合し、
（φ_ｊ−θ）の方向値に対応した極座標（ｒ_ｊ，α
_ｊ）を抽出して、この極座標（ｒ_ｊ，α_ｊ）に一
般化ハフ変換式を適用している。ここで、一般化ハフ変
換式におけるｒ_ｊ・cos(α_ｊ＋θ）およびｒ_ｊ・
sin(α_ｊ＋θ）の項は、角度θと方向値φ_ｊとが決
まればテンプレートテーブルを用いることで決定するこ
とができる値であるから、あらかじめ演算して求めてお
くことができる。つまり、Ｃ_ｘｊ＝ｒ_ｊ・cos(α_ｊ＋θ）Ｃ_ｙｊ＝ｒ_ｊ・sin(α_ｊ＋θ）とおけば、ｘ＝ｘ_ｊ＋Ｃ_ｘｊｙ＝ｙ_ｊ＋Ｃ_ｙｊであるから、φ_ｊ−θ＝φ_ｉ′とし、角度φ_ｉ′
に（Ｃ_ｘｊ，Ｃ_ｙｊ）の組を対応付けてテンプレートテ
ーブルとして格納しておけば、部品Ｔについて求めた方
向値φ_ｊから各アキュレータ配列ごとに設定する角度
θを減算した値φ_ｊ−θと、新たに設けたテンプレー
トテーブルの角度φ_ｉ′とを照合して、この角度φ
_ｉ′に対応する（Ｃ_ｘｊ，Ｃ_ｙｊ）の組を抽出して一
般化ハフ変換に用いるようにすれば、部品Ｔの位置およ
び角度を求める処理を行なう間には三角関数の演算が不
要になり、実際の計測時における処理の高速化を図るこ
とができる。

【００４４】他の構成および動作は実施例１と同様であ
る。（実施例２）本実施例は、アキュムレータ配列の記憶空間を上記実施
例よりも広くすることによって、アキュムレータ配列の
作成に要する時間を短縮したものである。通常、アキュ
ムレータ配列は、部品Ｔを含む画像と同じアドレス空間
を持っていれば部品の位置および角度を認識するには十
分であるが、部品Ｔがアドレス空間の中央付近に位置し
ていなかったり、部品Ｔがアドレス空間よりも大きかっ
たりすると、一般化ハフ変換の演算結果の一部しかアキ
ュムレータ配列に格納できなくなる。したがって、一般
には演算結果がアキュムレータ配列のアドレス空間内で
あることを確認する処理が必要になっている。本実施例
は、このような確認処理を不要にするために、アキュム
レータ配列のアドレス空間を十分に大きくしたものであ
る。

【００４５】具体的には、図１２に示すように、通常の
アキュムレータ配列Ａ_０を中心として同じサイズのア
ドレス空間を持つ８個のアキュムレータ配列Ａ_１〜Ａ
_８を追加しているのであって、上記実施例で用いたアキ
ュムレータ空間の９倍のアドレス空間を有している。こ
のようにアキュムレータ配列Ａ_０〜Ａ_８のアドレス
空間を非常に大きくとったことによって、一般化ハフ変
換による演算結果について確認処理を行なうことなくア
キュムレータ配列Ａ_０〜Ａ_８に格納することができ
る。他の構成および動作は実施例１と同様である。

【００４６】上述のように、アキュムレータ配列Ａ_０
〜Ａ_８に要する記憶空間が大きくなっているが、実施
例１で説明したように、圧縮画像に対してアキュムレー
タ配列を作成したり２次処理を行なう角度範囲を制限し
てアキュムレータ配列を作成するから、記憶空間の総量
は極端に大きくなることがなく、従来構成よりも小さい
記憶空間での実現が可能である。

【００４７】（実施例３）上記実施例においては、アキュムレータ配列において度
数が最大になる画素が１個であると仮定しているが、実
際には最大度数となる画素が複数個存在することが多
い。本実施例ではアキュムレータ配列における最大度数
の画素を精度よく求める方法を示す。

【００４８】処理手順は図１３に示す通りであって、実
施例１のような処理手順でアキュムレータ配列を作成し
た後（４０１）、所定サイズを有する正方形の位置検出
マスクを発生させる（４０２）。また、２次処理を行な
う位置範囲および角度範囲の初期値を設定し（４０
３）、位置範囲の初期値の位置に位置検出マスクの左上
隅を一致させる（４０４）。次に、位置検出マスク内の
度数を所定のしきい値で２値化し（４０５）、位置検出
マスク内でしきい値以上の度数を有する部位のの幾何学
的な重心位置を求める（４０６）。ここで、２値化のし
きい値は、テンプレートテーブルに登録される画素数に
基づいて、その画素数よりもやや小さい値に設定され
る。また、重心位置は度数を２値化したことにより度数
分布に関係なく幾何学的に決まることになる。このよう
にして求めた重心位置の座標および度数と、そのアキュ
ムレータ配列に対応する角度θとを記憶する（４０
７）。

【００４９】以後、位置検出マスクの座標を変更し、ま
た角度θを変更しながら上述の処理を繰り返し（４０
８、４０９）、２次処理を行なう位置範囲および角度範
囲のすべてのアキュムレータ配列について上記処理結果
が得られると、記憶した度数について所定のしきい値以
上の度数が得られていれば（４１０）、その角度θを対
象物Ｔの角度とし、その重心位置を対象物Ｔの位置とし
て出力する（４１１、４１２）。他の構成および処理手
順は実施例１と同様である。

【００５０】

【発明の効果】請求項１の発明は、認識すべき対象物の
基準物に対する相対的な位置および角度を一般化ハフ変
換を用いて求めるに際して、対象物の位置および角度を
低精度で求める前処理の後に、前処理で求めた位置およ
び対象物の大きさに基づく制限された位置範囲、かつ前
処理で求めた角度を含む制限された角度範囲で、一般化
ハフ変換を適用して対象物の位置および角度を高精度に
求めるから、比較的処理量の少ない前処理で対象物のお
およその位置および角度を把握した後に、制限された範
囲内でのみ高精度の処理を行なうことになり、全体を高
精度に処理する場合に比較して処理量が大幅に低減し、
処理に用いる記憶空間の低減および処理速度の向上につ
ながるという利点がある。しかも、前処理では、対象物
を含むサイズの比較領域の画素群の方向値のヒストグラ
ムの最大度数を基準物の特徴部分の方向値のヒストグラ
ムと比較し、この差が所定範囲内であるときの比較領域
の位置を対象物の位置とし、かつその差を対象物の角度
とするのであって、元の濃淡画像から位置および角度を
求める場合よりも前処理での処理量は非常に少ないもの
になる。

【００５１】

【００５２】

【００５３】

【００５４】請求項２の発明のように、一般化ハフ変換
を適用して得られる座標の発生頻度を格納するアキュム
レータ配列を、対象物を含む濃淡画像の９倍の大きさに
設定すれば、一般化ハフ変換を適用して座標がアキュム
レータ配列内に入るか否かの判定を行なう必要がなく、
判定処理が削除できる分だけ処理量が低減する。請求項
３の発明のように、一般化ハフ変換を適用して得られる
座標の発生頻度を格納するアキュムレータ配列の座標空
間の一部のサイズを有する位置検出マスク内で所定のし
きい値以上の度数を有する領域の重心の位置を対象物の
位置とすれば、度数が最大になる座標が複数個存在して
いる場合でも、もっともらしい１つの座標に決定するこ
とができる。

【００５５】請求項４の発明は、請求項１の発明を実現
する装置であって、請求項１の発明と同様の効果を奏す
る。

【図面の簡単な説明】

【図１】基本例の処理手順を示す流れ図である。

【図２】基本例のブロック図である。

【図３】基本例における圧縮画像の概念説明図である。

【図４】基本例における圧縮画像の作成例を説明する図
である。

【図５】実施例１の処理手順を示す流れ図である。

【図６】実施例１のブロック図である。

【図７】実施例１の原理説明図である。

【図８】実施例１の原理説明図である。

【図９】実施例１における比較領域の設定例を示す図で
ある。

【図１０】実施例１での基準物に対する方向値のヒスト
グラムの例を示す図である。

【図１１】実施例１での対象物に対する方向値のヒスト
グラムの例を示す図である。

【図１２】実施例１におけるアキュムレータ配列の設定
例を示す概念説明図である。

【図１３】実施例２の処理手順を示す流れ図である。

【図１４】本発明の基本の処理手順を示す流れ図であ
る。

【図１５】本発明に用いる方向値テーブルの例を示す図
である。

【図１６】基準物における極座標と方向値との概念説明
図である。

【図１７】テンプレートテーブルの例を示す図である。

【図１８】対象物の座標と方向値との概念説明図であ
る。

【図１９】一般化ハフ変換の概念説明図である。

【図２０】アキュムレータ配列の概念説明図である。

【符号の説明】

１ＴＶカメラ２濃淡画像記憶部３画像圧縮回路４微分処理回路５方向値記憶部６方向値ルックアップテーブル７ハフ変換回路８圧縮画像テンプレートテーブル９位置角度検出回路１０微分処理回路１１方向値記憶回路１２２次処理範囲設定回路１３２次処理サイズ記憶部１４テンプレートテーブル１５ヒストグラム算出回路１６ヒストグラム分布データ記憶部１７ヒストグラム比較回路１８位置角度算出回路１９２次処理サイズ記憶回路Ｓ基準物Ｔ対象物

───────────────────────────────────────────────────── フロントページの続き (72)発明者佐久間 ▲祐▼治大阪府門真市大字門真1048番地松下電工株式会社内 (56)参考文献特開平４−182881（ＪＰ，Ａ) 特開昭62−77689（ＪＰ，Ａ) 特開平４−24773（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 7/00 G06T 7/60

Claims

(57)【特許請求の範囲】

【請求項１】認識すべき対象物の基準物に対する相対
的な位置および角度を求めるに際して、基準物の濃淡画
像から抽出した特徴部分の画素群の各画素の極座標と各
画素の近傍の濃度勾配を画像の基準方向に対する角度で
表した方向値とを対応付けたテンプレートテーブルを設
けておき、対象物の濃淡画像から抽出した特徴部分の画
素群の各画素の座標および方向値を求めた後、対象物に
対する基準方向を所定角度ずつ変化させて得た方向値を
テンプレートテーブルに照合することにより対象物から
抽出した各画素の極座標の候補を求め、次に設定した角
度と極座標の候補とに一般化ハフ変換を適用して得られ
る座標の発生度数を各基準方向ごとに求め、度数が極大
になる座標および基準方向の角度をそれぞれ対象物の位
置および角度とする画像認識方法において、基準物に対
する対象物の位置および角度をあらかじめ低精度で抽出
する前処理の後、求めた位置および対象物の大きさに基
づく制限された位置範囲内、かつ求めた角度を含む制限
された角度範囲内で上記基準方向を変化させて対象物の
位置および角度を求めるようにし、前処理は、対象物を
含むサイズの比較領域を濃淡画像内で順次移動させると
ともに、比較領域の画素群の方向値のヒストグラムの最
大度数とあらかじめ基準物の特徴部分について求めた方
向値のヒストグラムの最大度数との差が許容範囲内であ
るときの比較領域の位置を対象物の位置とし、かつその
ときの両ヒストグラムで最大度数となる方向値の差を対
象物の角度とすることを特徴とする画像認識方法。
【請求項２】一般化ハフ変換を適用して得られる座標
の発生頻度を格納するアキュムレータ配列は、対象物を
含む濃淡画像と同じ座標空間を有する領域を中心とし
て、水平方向と垂直方向とに対象物を含む濃淡画像の３
倍ずつの座標空間を有することを特徴とする請求項１記
載の画像認識方法。
【請求項３】一般化ハフ変換を適用して得られる座標
の発生頻度を格納するアキュムレータ配列の座標空間の
一部のサイズを有する位置検出マスクをアキュムレータ
配列内で順次移動させるとともに、位置検出マスク内で
所定のしきい値以上の度数を有する領域の重心の位置を
対象物の位置とすることを特徴とする請求項１記載の画
像認識方法。
【請求項４】認識すべき対象物の基準物に対する相対
的な位置および角度を求める装置であって、対象物の濃
淡画像から抽出した特徴部分の画素群の各画素の座標お
よび各画素の近傍の濃度勾配を画像の基準方向に対する
角度で表した方向値を求める第１の微分処理回路と、基
準物の濃淡画像から抽出した特徴部分の画素群の各画素
の極座標と方向値とを対応付けたテンプレートテーブル
と、対象物に対する基準方向を所定角度ずつ変化させて
得た方向値をテンプレートテーブルに照合することによ
り対象物から抽出した各画素の極座標の候補を求め、設
定した角度と極座標の候補とに一般化ハフ変換を適用し
て得られる座標の発生度数を各基準方向ごとに求めるハ
フ変換回路と、度数が極大になる座標および基準方向の
角度をそれぞれ対象物の位置および角度とする第１の位
置角度検出回路とを備える画像認識装置において、対象
物を含むサイズの比較領域を濃淡画像内で順次移動させ
るとともに、比較領域の画素群の方向値のヒストグラム
の最大度数があらかじめ基準物の特徴部分について求め
た方向値のヒストグラムの最大度数との差を求めるヒス
トグラム比較回路と、ヒストグラムの最大度数の差が許
容範囲内であるときの比較領域の位置を対象物の位置と
し、かつそのときの両ヒストグラムで最大度数となる方
向値の差を対象物の角度とする第２の位置角度算出回路
と、第２の位置角度算出回路で求めた対象物の位置およ
び対象物の大きさに基づく制限された位置範囲、かつ求
めた角度を含む制限された角度範囲内とする２次処理範
囲設定回路とを付加して成ることを特徴とする画像認識
装置。