JPH1040393A

JPH1040393A - 画像認識方法およびこの方法を用いた画像認識装置ならびに電子部品実装装置

Info

Publication number: JPH1040393A
Application number: JP8193573A
Authority: JP
Inventors: Shinichi Yoshimura; 真一吉村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-07-23
Filing date: 1996-07-23
Publication date: 1998-02-13

Abstract

(57)【要約】【課題】画像の認識を高速、高精度で行う方法と装置
を提供する。【解決手段】画像入力部１は物体８を撮影し、その明
暗の様子を濃淡値データとして画像処理部２に出力す
る。照明部３は発光ダイオードやハロゲンランプ等を光
源とし、物体８を照明する。画像処理部２は画像入力部
１から送られてくる濃淡値データを受け、物体８の位置
と傾き角度を求める計算を行う。画像表示部４は画像処
理部２で得られた結果を表示する装置であり、コントロ
ーラ部５は画像処理部２で得られた物体８の位置と傾き
角度の数値データを受け、装着機構部６を適切な位置へ
移動させるための信号を出力する。装着機構部６はコン
トローラ部５の信号を受け、吸着ノズル７で物体８を吸
着し、基板９上の決められた位置へ決められた角度で装
着する。前記画像入力部１はこの吸着ノズル７に吸着さ
れた物体８の様子を撮影している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は撮像装置により撮影
した物体の位置と傾き角度を求める画像認識の方法およ
び装置、ならびにこの方法を用いた電子部品実装装置に
関するものである。

【０００２】

【従来の技術】従来例について図１２および図１３を参
照して説明する。図１２は従来の画像認識装置の構成を
示す図であり、図１３はＳｏｂｅｌオペレータの例を示
す図である。

【０００３】従来、撮像装置により撮影した物体の画像
から、画像処理によりその物体の位置と傾き角度を求め
る場合、物体の背後から照明し、計算量を少なくするた
めに得られた画像情報を２値化して行う方法があった。
一方、背後から照明することができない場合、撮像側か
らの照明となるが、このとき得られる画像情報は適切な
２値化が困難であり、従って、計算量は多くなるが濃淡
画像処理による方法が採られきた。

【０００４】図１２は従来の画像認識装置の構成を示す
図であって、２値画像処理および濃淡画像処理の何れに
も共通する構成となっている。画像入力部１はＣＣＤ等
を用いたテレビカメラであって、物体８を撮影し、その
明暗を幾つかの段階の濃淡値として画像処理部２に送
る。画像処理部２は画像入力部１のテレビカメラの他
に、画像表示部４のテレビモニタと、コントローラ部５
に接続されていて、画像入力部１からの濃淡値を入力し
て処理を行い、その結果である数値データをコントロー
ラ部５に出力すると共に、処理結果を画像表示部４に表
示する。

【０００５】コントローラ部５は画像処理部２に接続さ
れ、画像処理部２の数値結果を受けて判断を行い、必要
であれば判断結果を外部装置１０に出力する。尚、照明
として符号３ａを用いた場合は背後照明で、また、符号
３ｂを用いた場合は反射照明となる。

【０００６】さて、２値画像処理の場合、画像入力部１
から入力された濃淡値は、画像処理部２において、ある
決められた値（以下、単に「しきい値」と記す）を越え
ると「１」、それ以下であれば「０」である２値のデー
タに変換される。

【０００７】いま、物体の映像レベルを「１」とし、そ
れ以外の背景を「０」とする２値化を考える。物体の位
置と角度は、２値画像上で「１」で表される領域のモー
メントを求めればよい。物体の重心の位置を、その物体
の位置であるとすると、これは横方向（ｘ方向）の１次
モーメントＭ₁₀を面積Ｍ₀₀（０次モーメント）で割った
値ｘ_cと、縦方向（ｙ方向）の１次モーメントＭ₀₁を面
積Ｍ₀₀で割った値ｙ_cで、その物体の位置（ｘ_c，
ｙ_c）を示すことができる。

【０００８】即ち、画像をｘ方向に０，１，・・・，Ｘ
_w、ｙ方向に０，１，・・・，Ｙ_hで定義された領域と
すると、Ｍ₀₀、Ｍ₁₀、Ｍ₀₁はそれぞれ（１）式、（２）
式、（３）式で与えられる。但し、（１）〜（３）式中
のｂ_xyは、（４）式に示すように、しきい値以下の場合
はｂ_xy＝０、しきい値より大きい場合はｂ_xy＝１とす
る。

【数１】

【数２】

【数３】

【数４】

【０００９】従って、重心（ｘ_c，ｙ_c）は（５）式お
よび（６）式で与えられる。

【数５】

【数６】

【００１０】一方、物体の角度は、その慣性主軸が水平
方向に対してなす角度として定義し、横方向（ｘ方向）
の２次モーメントＭ₂₀、縦方向（ｙ方向）の２次モーメ
ントＭ₀₂、横方向と縦方向の共役モーメントをＭ₁₁とす
ると、それぞれ（７）式、（８）式、（９）式で与えら
れ、これらを用いた（１０）式のθの解として求められ
る。尚、（７）〜（９）式中のｂ_xyは、（４）式に示す
ものと同じである。

【数７】

【数８】

【数９】

【数１０】

【００１１】しかしながら、設定したしきい値の大きさ
によって、その後の処理結果に大きな影響が生じる。即
ち、しきい値が小さい場合は対象としている物体だけで
なく、周囲に存在する他の物体、或いはノイズまでも対
象物と同じ値、つまり「１」に変換されてしまう。一
方、しきい値が大きい場合、物体の画像の濃淡値が小さ
い部分については背景と同じ値、つまり「０」に変換さ
れてしまい、物体が欠けているかのように認識されてし
まう問題がある。

【００１２】このように、しきい値の設定によって、本
来対象としている物体とは異なる領域が処理の対象にな
ってしまう可能性があり、それが２値画像処理における
誤差の原因になっていた。

【００１３】一方、濃淡画像、即ち、多値の画像情報を
用いた方法では、画像入力部１から入力された濃淡値
は、画像処理部２において、多値のまま処理される。例
えば、この処理には、画像の全体、或いは予め決められ
た範囲内で濃淡値の差の大きな部分を抽出する処理を施
した後、抽出した部分だけをハフ変換処理によって直線
として抜き出し、それらを物体の輪郭として認識するこ
とで、その物体の位置と角度とを求める等の方法があ
る。

【００１４】濃淡値の差が大きな部分を抽出するには、
通常、フィルター演算、或いは積和演算を行うことが多
い。この演算は、画像の中の１画素を中心として、その
まわりの上下、左右、斜め上下の合計３×３画素の領域
において、各画素における濃淡値と各画素に対する重み
を掛けた値の総和を計算するものであり、この計算を中
心の画素を順次ずらしながら、決められた範囲において
行うことによって、その範囲内での濃淡値の差が大きな
部分を抽出することができる。

【００１５】例えば、横方向に濃淡の変化がある部分を
抽出したい場合には、図１３に示すような重みを持つ演
算子を用いることがある。この重みをＳｏｂｅｌオペレ
ータと称している。演算子の領域の大きさは３×３に限
らず、５×５や７×７等、大きなものにできることは当
然であるが、それだけ演算する量が増えて時間を要する
ことになる。

【００１６】また、ハフ変換は、平面上の１点（ｘ₀，
ｙ₀）を通る直線群は、ρ−θパラメータ平面上では、
（１１）式で表される一本の曲線に変換され、パラメー
タ平面上における曲線の交点がもとの平面における直線
を表すという性質を持つ。

【数１１】

【００１７】従って、このハフ変換を用いて物体の輪郭
を抽出するには、まず、フィルター演算によって濃淡値
の変化が大きな部分を残し、その結果を２値化した後、
細線化処理を行い、輪郭が１本の線で表現されるように
する。つぎに、この２値画像上に残った各点に対するパ
ラメータ平面上の曲線をそれぞれ求め、これらの曲線が
交わる点を抽出すれば、物体の輪郭に相当する直線が求
められることになる。

【００１８】しかし、この方法では濃淡値の差の大きな
部分を抽出するための計算量は多く、また、ハフ変換も
極めて演算量の多い手法であり、しかも細線化処理も繰
り返し演算が必要であって、多大な処理時間を要するも
のであった。更に、ハフ変換においては、パラメータ平
面上で曲線の交点を効率よく求めることは極めて困難で
あった。

【００１９】

【発明が解決しようとする課題】従って本発明の課題
は、従来の２値による画像認識方法では誤りが生じやす
いこと、また、濃淡値を用いる画像認識方法では必要と
する計算量、演算量が極めて多く、長い処理時間が必要
であること等の問題を解決する画像認識方法および装置
ならびにこの方法を用いた高速で高精度の電子部品実装
装置を提供しようとするものである。

【００２０】

【課題を解決するための手段】本発明は上記課題に鑑み
成されたものであり、撮像装置により撮影された物体お
よびその背景を含む濃淡画像に基づき、前記物体の位置
と傾き角度とを求める画像認識において、濃淡画像を、
縦方向および横方向に所定の間隔で分割し、分割されて
形成された画素の各々について、その濃淡値を求めて記
憶し、分割された全ての縦方向について、それぞれの縦
方向毎にその縦方向上にある画素の濃淡値を累積し、且
つ、分割された全ての横方向について、それぞれの横方
向毎にその横方向上にある画素の濃淡値を累積し、前記
累積した縦方向および横方向の濃淡値の分布状態から、
前記縦方向および横方向に平行な辺を有し、物体がその
内側に接する外接四角形を仮定し、前記物体を縦横比が
既知の長方形であると仮定して、前記外接四角形に内接
するときの物体の傾きの候補を２通り計算し、その後、
前記外接四角形の縦辺および横辺をそれぞれ２等分して
濃淡画像を４つの領域に分割し、それぞれの領域内の濃
淡値の分布を比較して、前記２つの傾きの候補の中から
１つを選定して、これを物体の傾き角度の予測値とする
と共に、前記予測値の角度を有する直線群と物体の輪郭
とが交わる、物体の対向する２つの辺に係わる２つの交
点群と、前記予測値の角度に直角な角度を有する直線群
と物体の輪郭とが交わる、物体の他の対向する２つの辺
に係わる２つの交点群とを求め、更に、前記４つの交点
群について、それぞれの交点群を表す最適の直線を求め
ると共に、求められた４本の最適な直線で囲まれる領域
が物体を表すと判断し、その領域の重心位置を物体の位
置とすると共に、長い方の２辺の傾きを物体の傾き角度
とする画像認識の方法を提供する。

【００２１】また、撮像装置により撮影された物体およ
びその背景を含む濃淡画像に基づき、前記物体の位置と
傾き角度とを求める画像認識装置は、少なくとも、濃淡
画像を、縦方向および横方向に所定の間隔で分割し、分
割されて形成された画素の各々について、その濃淡値を
求めて記憶する手段と、分割された全ての縦方向につい
て、それぞれの縦方向毎にその縦方向上にある画素の濃
淡値を累積する手段と、且つ、分割された全ての横方向
について、それぞれの横方向毎にその横方向上にある画
素の濃淡値を累積する手段と、前記累積した縦方向およ
び横方向の濃淡値の分布状態から、前記縦方向および横
方向に平行な辺を有し、物体がその内側に接する外接四
角形を仮定する手段と、前記物体を縦横比が既知の長方
形であると仮定して、前記外接四角形に内接するときの
物体の傾きの候補を２通り計算する手段と、その後、前
記外接四角形の縦辺および横辺をそれぞれ２等分して濃
淡画像を４つの領域に分割し、それぞれの領域内の濃淡
値の分布を比較して、前記２つの傾きの候補の中から１
つを選定して、これを物体の傾き角度の予測値とする手
段を有すると共に、前記予測値の角度を有する直線群と
物体の輪郭とが交わる、物体の対向する２つの辺に係わ
る２つの交点群を求める手段、および前記予測値の角度
に直角な角度を有する直線群と物体の輪郭とが交わる、
物体の他の対向する２つの辺に係わる２つの交点群とを
求める手段と、更に、前記４つの交点群について、それ
ぞれの交点群を表す最適の直線を求める手段と、求めら
れた４本の最適な直線で囲まれる領域の重心位置から物
体の位置を演算する手段と、更にまた、前記４本の最適
な直線のうち、対向する長い方の２辺の傾きから物体の
傾き角度を判定する手段とを有した画像認識装置を提供
する。

【００２２】また、前記各手段は中央演算装置を用いて
構成する。

【００２３】更に、上述した画像認識装置を用いて電子
部品実装装置を構成し、上記課題を解決する。

【００２４】本発明によると、物体の像をＣＣＤカメラ
等の撮像装置でとらえ、その濃淡値の累積分布を用いて
物体の外接四角形を求め、物体の位置と傾き角度を予測
することによって、それ以降の微分演算や直線の探索等
の処理に必要な計算量を減らすと共に、濃淡情報を損な
わずに処理を行うことができるので画像処理の高速性と
高精度性を確保でき、更に、この画像認識の方法を電子
部品の実装機に用いて、高精度で高速な実装処理が実現
できる。

【００２５】

【発明の実施の形態】本発明の画像認識方法およびその
方法を用いた画像認識装置、およびこの画像認識装置を
用いて構成された電子部品実装装置の形態例について図
１ないし図１１を参照して説明する。

【００２６】まず、本発明による画像認識方法を用いた
電子部品実装装置１００の形態例について図１を参照し
て説明する。同図に示すように、画像入力部１はＣＣＤ
等を用いたテレビカメラであって、物体８を撮影し、そ
の明暗の様子を濃淡値データとして画像処理部２に出力
する。照明部３は発光ダイオードやハロゲンランプ等を
光源とし、物体８を照明する。画像処理部２は画像入力
部１から送られてくる濃淡値データを受け、物体８の位
置と傾き角度を求める計算を行う。画像表示部４は画像
処理部２で得られた結果を表示する装置であり、コント
ローラ部５は画像処理部２で得られた物体８の位置と傾
き角度の数値データを受け、装着機構部６を適切な位置
へ移動させるための信号を出力する。装着機構部６はコ
ントローラ部５の信号を受け、吸着ノズル７で物体８を
吸着し、基板９上の決められた位置へ決められた角度で
装着する。前記画像入力部１はこの吸着ノズル７に吸着
された物体８の様子を撮影している。

【００２７】上述したように、本発明による画像認識方
法を用いた電子部品実装装置１００は、物体８、即ち電
子部品の吸着ノズル７に吸着された位置と傾き角度とを
高速で正確に求め、その値に基づいて装着機構部６が基
板９上のプリント回路パターンと一致するように電子部
品の位置と傾き角度とを調整して、基板９上に実装する
ものである。

【００２８】つぎに、本発明による画像認識の方法につ
いて、画像処理部２の構成ブロックと画像認識の流れを
示す図２および図３を参照して説明する。フレームメモ
リ１１は画像入力部１からの濃淡値データを、後段の処
理で参照されるために一時的に記憶しておく記憶装置で
あり、縦（垂直方向）と横（水平方向）に網状に区切ら
れた画素１２から構成されている。

【００２９】姿勢予測部２０は物体８の位置と傾き角度
のおおよその値、即ち、推定値を求めるブロックであっ
て、外接四角形抽出部３０と角度推定部４０とに分けら
れる。外接四角形抽出部３０はフレームメモリ１１に記
憶された物体８の濃淡値データから、縦方向累積濃淡値
演算部３１で縦方向の濃淡値の累積を求め、微分演算部
３２へ出力する。同様に横方向累積濃淡値演算部３３で
横方向の濃淡値の累積を求め、微分演算部３４へ出力す
る。微分演算部３２、３４では累積値の微分結果を外接
四角形決定部３５へ出力し、外接四角形決定部３５では
縦方向と横方向のそれぞれの累積値の微分結果から、累
積値の変化が急峻な位置を求めて外接四角形の範囲を決
定し、角度推定部４０と輪郭抽出部５０とに出力する。

【００３０】角度推定部４０の角度候補計算部４１は外
接四角形抽出部３０で求められた外接四角形の位置情報
から、その外接四角形に内接する、予め縦横比の分かっ
ている長方形の傾きを計算し、分割濃淡累積値演算部４
２へ出力する。

【００３１】角度候補計算部４１で求められた長方形の
傾きは、たかだか２通りであるので、そのいずれかを決
定するために分割濃淡累積値演算部４２では、外接四角
形を４等分して、それぞれの領域の内部全体、或いは内
部の一部において濃淡値の総和を求め、推定角度決定部
４３へ出力する（詳しくは、後段で図７を参照して説明
する）。

【００３２】推定角度決定部４３では、濃淡値の総和が
大きな領域では背景よりも物体が多く存在するという仮
定のもとに、物体の傾きを１通りに決定し、その角度情
報を図３の直線近似部６０に出力する。

【００３３】輪郭抽出部５０は外接四角形抽出部３０か
らの外接四角形の位置情報を受けて、フレームメモリ１
１のうち、外接四角形の内部、或いはそれよりも若干拡
大した範囲内において、縦方向微分演算部５１と横方向
微分演算部５３でＳｏｂｅｌオペレータ等の空間フィル
タによる処理を施す。

【００３４】絶対値演算部５２では縦方向微分演算部５
１の出力を受け、また、絶対値演算部５４では横方向微
分演算部５３の出力を受けて、画素毎に演算結果の絶対
値を求めた後、それぞれの絶対値を平均演算部５５に出
力する。平均演算部５５では絶対値演算部５２、５４の
画素毎の結果を平均して、半しきい値処理部５６に出力
する。

【００３５】半しきい値処理部５６では、画素の持つ濃
淡値が、所定のしきい値以下の値であれば「０」を、一
方、しきい値を越えた場合は、そのままの値を持つ画像
情報を出力して輪郭の抽出を効果的に行っている。フレ
ームメモリ５７には半しきい値処理部５６の結果が入力
され、輪郭画像が蓄積されることになる。

【００３６】直線近似部６０では輪郭抽出部５０のフレ
ームメモリ５７に蓄積された輪郭画と、角度推定部４０
からの角度情報が入力され、物体の輪郭を近似した直線
が求められる。第１第２直線抽出部６１では推定角度に
平行な数本の直線とフレームメモリ５７に蓄積された輪
郭画像との交点座標を求める。次段の第１第２直線近似
部６２では第１第２直線抽出部６１で得られた交点座標
から主成分分析等によって、それらの交点の列を近似す
る最も適した２本の直線を求める。この直線は物体の対
向する辺に相当する。

【００３７】同様に、第３第４直線抽出部６３では第１
第２直線近似部６２で得られた２本の直線に直交する数
本の直線と、フレームメモリ５７に蓄積された輪郭画像
との交点座標を求める。次段の第３第４直線近似部６４
では第３第４直線抽出部６３で得られた交点座標から主
成分分析等によって、それらの交点の列を近似する最も
適した２本の直線を求める。この直線は物体の対向する
他の辺に相当する。

【００３８】得られた４本の近似直線から判定部７０で
は、これらの直線で囲まれる領域が物体であるという仮
定のもとに物体の位置（Ｘ_C，Ｙ_C）と傾き角度（θ）
を求める。即ち、物体の重心位置が物体の位置であると
して、重心計算部７１においてその重心位置を計算し、
また、第１第２直線近似部６２で求めた２本の直線の傾
きの平均が物体の傾き角度であるとして、角度決定部７
２においてその傾き角度を求める。

【００３９】つぎに、上述した画像認識の動作につい
て、図４に示す物体の画像を例として詳細に説明する。

【００４０】画像入力部１から図４に示す物体の濃淡画
像がフレームメモリ１１に送られ蓄積される。フレーム
メモリ１１の横座標を列、縦座標を行と表現し、ｉ列ｊ
行に位置する画素における濃淡値を、図５に示すように
ｇ（ｉ，ｊ）と表現する。また、フレームメモリ１１内
では、予め物体が存在し得る領域が既知であれば、その
領域を初期処理範囲とすることができ、一方、既知でな
い場合にはフレームメモリ１１全体を初期処理範囲とし
て認識を行う。

【００４１】ここで、図５に示すように初期処理範囲
は、ｉを（１２）式、ｊを（１３）式で記述する範囲で
あるとする。

【数１２】

【数１３】

【００４２】まず、外接四角形抽出部３０の動作は次の
ようになる。縦方向累積濃淡値演算部３１では、フレー
ムメモリ１１の縦方向に沿って各画素における濃淡値を
順次累積して縦方向累積濃淡値とし、これを初期処理範
囲内の各列について求める〔（１４）式〕。

【数１４】

【００４３】同様に、横方向累積濃淡値演算部３３で
は、フレームメモリ１１の横方向に沿って各画素におけ
る濃淡値を順次累積して横方向累積濃淡値とし、これを
初期処理範囲内の各行について求める〔（１５）式〕。

【数１５】濃淡値の累積を求めることにより、画面内にランダム性
のノイズがある場合であっても、累積によってノイズが
平均化され、その影響が小さくなる。

【００４４】さて、累積濃淡値は画像の中の明るい部分
と、暗い部分の分布状況を示しているので、対象として
いる物体が背景に比べて明るければ、累積濃淡値の大き
な範囲を物体であると認識し、背景との分離が可能であ
る。しかしながら照明のムラ等を原因とする明るさの偏
りが画面の中に存在する場合、累積濃淡値の大きさだけ
で物体と背景との分離をすることはできない。

【００４５】そこで、縦方向累積濃淡値と横方向累積濃
淡値のそれぞれを、差分演算して累積値の変化の大きな
箇所を抽出すれば、明るさの偏りの影響を少なくするこ
とが可能である。これを行うのが微分演算部３２および
微分演算部３４である。微分演算部３２では縦方向累積
濃淡値演算部３１で得られた縦方向の累積濃淡値から、
例えば（１６）式に示すように差分値を求め、また、微
分演算部３４では横方向累積濃淡値演算部３３で得られ
た横方向の累積濃淡値から、例えば（１７）式に示すよ
うに差分値を求める。

【数１６】

【数１７】

【００４６】さて、物体と背景の分離は、縦方向累積濃
淡値差分と横方向累積濃淡値差分のそれぞれについて、
初期処理範囲の端から中央に向かって値を調べ、その値
が所定のしきい値Ｔｈ_pを越えた位置を物体と背景の境
界であるとして行う。

【００４７】即ち、ｉ＝Ｉ＋２，Ｉ＋３，．．．に対し
て、Ｄｖ（ｉ）＞Ｔｈ_pとなる最初のｉをＩ₁とし、ｉ
＝Ｎ−２，Ｎ−３，．．．に対して、Ｄｖ（ｉ）＞Ｔｈ
_pとなる最初のｉをＩ₂とすると、Ｉ₁とＩ₂で挟まれ
た領域が横方向の物体の投影幅となる。

【００４８】同様にして、ｊ＝Ｊ＋２，Ｊ＋３，．．．
に対して、Ｄｈ（ｊ）＞Ｔｈ_pとなる最初のｊをＪ₁と
し、ｊ＝Ｍ−２，Ｍ−３，．．．に対して、Ｄｈ（ｊ）
＞Ｔｈ_pとなる最初のｊをＪ₂とすると、Ｊ₁とＪ₂で
挟まれた領域が縦方向の物体の投影幅となる。

【００４９】以上のように求められた値をもとに、外接
四角形は４つの座標（Ｉ₁，Ｊ₁）、（Ｉ₂，Ｊ₁）、
（Ｉ₂，Ｊ₂）、（Ｉ₁，Ｊ₂）によって囲まれた矩形
領域であると定義し、外接四角形決定部３５はこの情報
をつぎの角度推定部４０と輪郭抽出部５０に出力する。

【００５０】つぎに、角度推定部４０の動作、即ち、予
め縦横比の分かっている物体の位置と傾きを、上述した
外接四角形から予測する方法を図６を参照して説明す
る。まず、物体の縦の長さを１としたときの横の長さの
比率をａで表現する。外接四角形の縦方向の長さ（高
さ）をｈ、横方向の長さ（幅）をｗとすると、この外接
四角形に物体が内接したときの傾きθ_pは（１８）式で
与えられる。但し、（１８）式中のｒは（１９）式で示
す外接四角形の縦横の比率である。従って、ｒ＝ａのと
きは物体が９０°の状態に配置されていることを示す。

【数１８】

【数１９】

【００５１】さて、実際の物体の傾きは、上で求めたθ
_pの場合と、−θ_pの場合の両方が考えられるため、い
ずれか一方に確定しなければならない。これを行うのが
分割濃淡累積値演算部４２である。ここでは図７に示す
ように、外接四角形の縦横をそれぞれ２等分し、４分割
された各々の領域内部で各画素の濃淡値の総和を求め、
物体の傾きを確定する。この場合、４分割された各領域
の内部において、更に小さな領域を設け、その内部での
濃淡値の総和を求めて傾きを確定する判断に供してもよ
い。

【００５２】つぎに、４分割した各々の領域内部で、各
画素の濃淡値の総和を求め物体の傾きを確定する方法の
原理について述べる。図７に示すように、４分割した領
域に左上から時計回りに１，２，３，４と番号をつけ、
それぞれの領域内で求まった濃淡値の総和をＧ₁、
Ｇ₂、Ｇ₃、Ｇ₄とする。物体は背景に比べて明るいと
仮定し、分割された領域内で物体が背景より多く存在す
れば、濃淡値の総和は大きくなり、逆に背景が物体より
多く存在すれば濃淡値の総和は小さくなる。従って、例
えばＧ₁とＧ₃がＧ₂とＧ₄より大きい場合には、物体
は第１領域と第３領域とに偏って存在すると判断でき
る。図７の例では物体は１点鎖線の状態にあると予想さ
れ、その角度の推定値は−θ_pとなる。

【００５３】つぎに、輪郭抽出部５０では、外接四角形
抽出部３０で求められた外接四角形の内側よりも数画素
拡大された領域内で、フレームメモリ１１の画像データ
に対して一般的な微分フィルター、例えば図１３に示す
Ｓｏｂｅｌオペレータを施して、濃淡値の変化の大きな
部分を抽出する。これが縦方向微分演算部５１、および
横方向微分演算部５３である。

【００５４】絶対値演算部５２、および絶対値演算部５
４では縦方向微分演算部５１、および横方向微分演算部
５３のそれぞれの演算結果に対して画素毎の絶対値を求
め、また、平均演算部５５では絶対値演算部５２、５４
からの出力の平均を画素毎に求める。勿論、絶対値演算
部５２、５４や平均演算部５５の処理は、画面全体に対
して行う必要はなく、縦方向微分演算や横方向微分演算
を施した領域内だけ行えばよく、それにより処理時間を
短縮することが可能となる。

【００５５】このようにして求められたデータは、物体
の輪郭のように背景と物体の濃淡値の差が大きい部分を
抽出するのに適しているが、このデータにはそれ以外の
部位も情報として含まれていることが多い。そこで、半
しきい値処理部５６を設け、平均演算部５５の演算結果
を、予め決められたしきい値以下のデータは「０」に変
換し、越えたデータはそのままの値で出力する処理を行
う。

【００５６】この処理により、縦方向微分演算部５１、
および横方向微分演算部５３によって得られた演算結果
のうち、濃淡値の変化が他の部位よりも急峻となる背景
と物体との境界部分、即ち、物体の輪郭だけを有効に抽
出することができる。しかも、濃淡値の変化の度合いが
そのままデータとして残っているため、単純に２値化す
る方法に比べて輪郭の情報をより多く使えることにな
る。また、この半しきい値処理部５６の結果はフレーム
メモリ５７に記憶しておく。

【００５７】つぎに、直線近似部６０の動作について説
明する。第１第２直線抽出部６１では、フレームメモリ
５７内の物体の輪郭画像において、角度推定部４０で推
定した傾き角度θ_p（以下、「推定角度」と記す）に沿
った方向の輪郭の２つの辺を、また、第３第４直線抽出
部６３では推定角度θ_pに直交する角度に沿った方向の
輪郭の２つの辺を求める。

【００５８】上述した推定角度に沿った方向の輪郭を求
める手順について図８を参照して説明する。まず、外接
四角形の中心ｐ₀：（ｘ_{c ,}ｙ_c）を通り、推定角度θ
_pを傾きにもつ直線ｌ₀上に、中心と外接四角形までの
距離を２等分する点ｐ_{1 ,}ｐ₂、およびその点と中心を
更に２等分する点ｐ_{3 ,}ｐ₄を設定する。中心ｐ₀とｐ
₁〜ｐ₄の合計５点から、その直線に直交する方向に沿
って、輪郭抽出された画像内を探索し、濃淡値が最大と
なる地点を求める。図８においてこれらの地点はｑ₀〜
ｑ₄、ｒ₀〜ｒ₄で示されている。これは、もとの画像
において、濃淡値の変化が最も大きな箇所を見つけるこ
とに相当する。尚、外接四角形の中心ｐ₀：（ｘ_{c ,}ｙ
_c）は（２０）式、（２１）式で与えられる。

【数２０】

【数２１】

【００５９】上述したように見つけられた２辺上のそれ
ぞれの点の集合から物体の輪郭を表すのに適した近似直
線を求めるのが第１第２直線近似部６２である。近似直
線は例えば主成分分析法によって、まず、片側の輪郭上
に存在する５つの点の集合を最もよく表すベクトルを１
本求め、つぎにそのベクトルに平行であって５点の平均
値点を通る直線を求める。これを他方の輪郭上にある５
点の集合に対しても行い、対向する一対の近似直線を求
める。

【００６０】主成分分析法については後段で詳細に説明
するが、２次元の平面上の点の集合が直線に近い形で分
布しているときに、直線から各点までの距離の２乗の総
和が最小となるような直線を求める手法である。そのた
めには固有値問題を解くことになるが、このとき得られ
る２つの固有値のうち、大きい方を第一固有値、小さい
方を第二固有値とすると、第二固有値は直線と各点まで
の距離、即ち誤差の２乗平均に一致することが知られて
おり、得られた直線の近似の度合いを測る尺度として用
いることができる。

【００６１】つぎに、図９を参照して第３第４直線抽出
部６３において推定角度θ_pに直交する角度に沿った方
向の輪郭を求める方法について説明する。まず、第１第
２直線近似部６２で得られた２本の直線のうち、第二固
有値がより小さいほうの直線を基準直線ｌ₁とし、他方
の直線をｌ₂とする。そして、基準直線ｌ₁に平行で、
なおかつ他方の直線ｌ₂との間に複数（例えば点ｐ₅〜
ｐ₉を通る５本）の探索直線を考え、それら探索直線の
方向に沿って輪郭抽出された画像を探索し、濃淡値が最
大値となる地点を求める。

【００６２】このようにして求められた点の集合から、
先と同様に主成分分析によりそれぞれの輪郭を近似する
直線を求め、これらをｌ₃、ｌ₄とするのが第３第４直
線近似部６４である。

【００６３】ところで、第３第４直線抽出部６３におけ
る探索直線の選び方であるが、直線ｌ₂を求めたときの
点の集合の平均地点から基準直線ｌ₁へ下ろした垂線を
考え、例えば５本の探索直線を選ぶのであれば、この垂
線を６等分する５点ｐ₅、ｐ₆、ｐ₇、ｐ₈、ｐ₉を通
って基準直線ｌ₁に平行な直線を求めればよい。以上の
ようにして求まった４本の直線ｌ₁、ｌ₂、ｌ₃、ｌ₄
を直線近似部６０出力とする。

【００６４】つぎに、判定部７０の説明を行う。図１０
に示すように、ここでは求めた４本の直線で囲まれる領
域を物体の存在範囲と仮定し、この範囲の中心を４つの
交点の平均値とする。即ち、４交点の座標をそれぞれ
（Ｘ₁，Ｙ₁）、（Ｘ₂，Ｙ₂）、（Ｘ₃，Ｙ₃）、
（Ｘ₄，Ｙ₄）とすれば、範囲の中心（Ｘ_c，Ｙ_c）は
（２２）式、（２３）式で与えられ、これが求めるべき
物体の中心位置となる。

【数２２】

【数２３】

【００６５】一方、物体の角度θは、４本の直線のう
ち、長い方の辺に相当する２本の直線の角度の平均とす
る。但し、どちらか一方の直線に対する第二固有値が極
めて大きい場合には、直線近似の誤差が大きいので、他
方の直線の角度だけを用いて物体の角度とする。

【００６６】ここで、前記主成分分析法について図１１
を参照して詳細に説明する。２次元座標上に（２４）式
で表されるサンプル列が存在した場合、これらのサンプ
ルが直線状に分布していると仮定して、その直線を求め
る問題を考える。

【数２４】誤差は、各点から直線までの距離の２乗の総和とし、こ
れが最小となるような直線を求めるものである。

【００６７】直線の方向ベクトルをｅ＝（ｕ，ｖ）と
し、この直線が（２５）式、（２６）式、（２７）式に
示すサンプルの中心を通るとすれば、この直線は（２
８）式で与えられる。

【数２５】

【数２６】

【数２７】

【数２８】

【００６８】これを、ｕ²＋ｖ²＝１という拘束条件の
もとで解くには、（２９）式、（３０）式、（３１）式
で表す共分散行列に対する（３２）式の固有値問題を解
くことになる。

【数２９】

【数３０】

【数３１】

【数３２】

【００６９】このとき得られる２つの固有値のうち、小
さくない方をλ₁とすると、これに対応する固有ベクト
ルｅ₁が求める直線の方向ベクトルとなり、他方の固有
値λ₂に対応する固有ベクトルｅ₂はそれに直交する方
向ベクトルとなる。また、固有値λ₂は各サンプル点と
直線を結ぶ距離の２乗平均、即ち、平均２乗誤差に等し
く、この値が小さいほどサンプル点がより良く直線状に
分布していると見なすことができる。

【００７０】さて、固有値問題は（３３）式、即ち、
（３４）式に帰着するので、その解は（３５）式、（３
６）式となり、λ₁に対応する固有ベクトルを求めれば
直線の方向ベクトルが得られる。

【数３３】

【数３４】

【数３５】

【数３６】

【００７１】ここで、直線と各サンプル点までの距離、
即ち、誤差についてもう一度考えてみる。本来各サンプ
ルは（３７）式、（３８）式、（３９）式のように固有
ベクトルの線型結合で表現できる。

【数３７】

【数３８】

【数３９】

【００７２】直線で近似した場合は、小さくない方の固
有値λ₁に対応する固有ベクトルｅ₁だけを用いて（４
０）式で表されるように近似したことになるので、その
誤差は、ｗ_2iｅ₂となる。

【数４０】

【００７３】従って、誤差の２乗平均εは、（４１）式
〜（４８）式に展開されるように、第二固有値に等しく
なることが分かる。即ち、第二固有値が小さいほど直線
近似の度合いが高いということである。

【数４１】

【数４２】

【数４３】

【数４４】

【数４５】

【数４６】

【数４７】

【数４８】

【００７４】

【発明の効果】以上説明したように、本発明によれば、
物体の像をＣＣＤカメラ等の撮像装置でとらえ、その濃
淡値の累積分布を用いて物体の外接四角形を求め、位置
と角度とを予測することによって、それ以降の微分演算
や直線の探索等の処理に必要な計算量を減らすと共に、
濃淡情報を損なわずに処理を行うので高速性と高精度の
確保が可能となった。

【００７５】また、累積濃淡値という比較的単純な処理
によって物体を囲む外接四角形を処理の初期段階で求め
ておくことにより、それ以降の処理を行う範囲が限定さ
れるので、処理の計算量が少なくてすみ、超小型電子部
品のプリント基板への実装装置に用いて、高速な実装処
理が実現できる。

【図面の簡単な説明】

【図１】本発明による画像認識装置の構成を示す図で
ある。

【図２】本発明の画像認識のフローチャートである。

【図３】図２に続く画像認識のフローチャートであ
る。

【図４】画像認識する物体の配置の例である。

【図５】初期処理範囲の例である。

【図６】外接四角形に内接する物体の傾きを示す図で
ある。

【図７】分割濃淡累積値演算について説明するための
図である。

【図８】推定角度を有する線分に沿った輪郭上の点の
抽出について説明するための図である。

【図９】推定角度に直角な角度を有する線分に沿った
輪郭上の点の抽出について説明するための図である。

【図１０】直線で囲まれる領域に基づき、物体の位置
と傾き角度の決定を説明するための図である。

【図１１】輪郭上の点のサンプル点列とその直線近似
（Ｎ＝５の場合）について説明するための図である。

【図１２】従来の画像認識装置の構成を示す図であ
る。

【図１３】Ｓｏｂｅｌオペレータの例を示す図であ
る。

【符号の説明】

１…画像入力部、２…画像処理部、３，３ａ，３ｂ…照
明部、４…画像表示部、５…コントローラ部、６…装着
機構部、７…吸着ノズル、８…物体、９…基板、１０…
外部装置、１１…フレームメモリ、１２…画素、２０…
姿勢予測部、３０…外接四角形抽出部、３１…縦方向累
積濃淡値演算部、３２…微分演算部、３３…横方向累積
濃淡値演算部、３４…微分演算部、３５…外接四角形決
定部、４０…角度推定部、４１…角度候補計算部、４２
…分割濃淡累積値演算部、４３…推定角度決定部、５０
…輪郭抽出部、５１…縦方向微分演算部、５２…絶対値
演算部、５３…横方向微分演算部、５４…絶対値演算
部、５５…平均演算部、５６…半しきい値処理部、５７
…フレームメモリ、６０…直線近似部、６１…第１第２
直線抽出部、６２…第１第２直線近似部、６３…第３第
４直線抽出部、６４…第３第４直線近似部、７０…判定
部、７１…重心計算部、７２…角度決定部

Claims

【特許請求の範囲】

【請求項１】撮像装置により撮影された物体およびそ
の背景を含む濃淡画像に基づき、前記物体の位置と傾き
角度とを求める画像認識において、前記濃淡画像を、縦方向および横方向に所定の間隔で分
割し、分割されて形成された画素の各々について、その濃淡値
を求めて記憶し、分割された全ての縦方向について、それぞれの縦方向毎
にその縦方向上にある画素の濃淡値を累積し、且つ、分
割された全ての横方向について、それぞれの横方向毎に
その横方向上にある画素の濃淡値を累積し、前記累積した縦方向および横方向の濃淡値の分布状態か
ら、前記縦方向および横方向に平行な辺を有し、物体が
その内側に接する外接四角形を仮定し、前記物体を縦横比が既知の長方形であると仮定して、前
記外接四角形に内接するときの物体の傾きの候補を２通
り計算し、その後、前記外接四角形の縦辺および横辺をそれぞれ２
等分して濃淡画像を４つの領域に分割し、それぞれの領
域内の濃淡値の分布を比較して、前記２つの傾きの候補
の中から１つを選定して、これを物体の傾き角度の予測
値とすると共に、前記予測値の角度を有する直線群と物体の輪郭とが交わ
る、物体の対向する２つの辺に係わる２つの交点群と、
前記予測値の角度に直角な角度を有する直線群と物体の
輪郭とが交わる、物体の他の対向する２つの辺に係わる
２つの交点群とを求め、更に、前記４つの交点群について、それぞれの交点群を
表す最適の直線を求めると共に、求められた４本の最適な直線で囲まれる領域が物体を表
すと判断し、その領域の重心位置を物体の位置とすると
共に、長い方の２辺の傾きを物体の傾き角度とすること
を特徴とする画像認識方法。
【請求項２】撮像装置により撮影された物体およびそ
の背景を含む濃淡画像に基づき、前記物体の位置と傾き
角度とを求める画像認識装置において、少なくとも、前記濃淡画像を、縦方向および横方向に所
定の間隔で分割し、分割されて形成された画素の各々に
ついて、その濃淡値を求めて記憶する手段と、分割された全ての縦方向について、それぞれの縦方向毎
にその縦方向上にある画素の濃淡値を累積する手段と、且つ、分割された全ての横方向について、それぞれの横
方向毎にその横方向上にある画素の濃淡値を累積する手
段と、前記累積した縦方向および横方向の濃淡値の分布状態か
ら、前記縦方向および横方向に平行な辺を有し、物体が
その内側に接する外接四角形を仮定する手段と、前記物体を縦横比が既知の長方形であると仮定して、前
記外接四角形に内接するときの物体の傾きの候補を２通
り計算する手段と、その後、前記外接四角形の縦辺および横辺をそれぞれ２
等分して濃淡画像を４つの領域に分割し、それぞれの領
域内の濃淡値の分布を比較して、前記２つの傾きの候補
の中から１つを選定して、これを物体の傾き角度の予測
値とする手段を有すると共に、前記予測値の角度を有する直線群と物体の輪郭とが交わ
る、物体の対向する２つの辺に係わる２つの交点群を求
める手段、および前記予測値の角度に直角な角度を有す
る直線群と物体の輪郭とが交わる、物体の他の対向する
２つの辺に係わる２つの交点群とを求める手段と、更に、前記４つの交点群について、それぞれの交点群を
表す最適の直線を求める手段と、求められた４本の最適な直線で囲まれる領域の重心位置
から物体の位置を演算する手段と、更にまた、前記４本の最適な直線のうち、対向する長い
方の２辺の傾きから物体の傾き角度を判定する手段とを
有して構成されたことを特徴とする画像認識装置。
【請求項３】前記各手段は中央演算装置で構成されて
いることを特徴とする、請求項２に記載の画像認識装
置。
【請求項４】請求項２に記載の画像認識装置を含んで
構成されていることを特徴とする電子部品実装装置。