JPH09229646A

JPH09229646A - 物体認識方法

Info

Publication number: JPH09229646A
Application number: JP8038573A
Authority: JP
Inventors: Kaishiyou Ko; 海松顧; Tomoharu Nakahara; 智治中原; Hidekazu Araki; 秀和荒木
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 1996-02-26
Filing date: 1996-02-26
Publication date: 1997-09-05
Anticipated expiration: 2016-02-26
Also published as: JP3372419B2

Abstract

(57)【要約】【課題】画像内の認識対象の中点を求めるに際して認識
対象と背景とのエッジを再現性よく検出し代表点の位置
を精度よく求める【解決手段】ＴＶカメラ１は、着目する境界線の形状が
点対称または少なくとも二組の向かい合う辺が平行であ
る多角形となる物体を撮像し、フレームメモリ３に濃淡
画像を格納する。微分処理部４は濃淡画像の各画素に関
する微分値の変化点を認識対象のエッジとして検出し、
エッジ上の各点に関してエッジの方向を規定することが
できるエッジ方向を求める。点対抽出部５はエッジ上で
エッジ方向が等しくなる２点を点対とし、中点検出部７
は点対の中点を求め、中心座標検出部８は点対の中点の
座標値に関するヒストグラムを作成するとともに、ヒス
トグラムにおいて最大度数が得られる座標値を認識対象
の代表点の座標として採用する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体を撮像した画
像に基づいて物体の位置や形状を測定する物体認識方法
に関するものである。

【０００２】

【従来の技術】従来より、物体を撮像した画像に基づい
て物体の位置や形状を測定する物体認識の技術が種々知
られている。この種の物体認識の技術において、画像内
で円、楕円、十字形、偶数個の辺を持つとともに向かい
合う辺同士が等しい長さを有するような多角形（長方
形、正方形、正六角形など）となるような認識対象（プ
リント基板の位置決め用マークが例示されている）の中
心位置を求める方法が、特開平５−１０７０３０号公報
に提案されている。

【０００３】上記公報に記載された技術では、認識対象
を撮像して得られた濃淡画像を２値化することにより認
識対象と背景とを分離している。その後、図２５に示す
ように、水平方向と垂直方向とにそれぞれ走査すること
によって、水平走査線Ｌｈおよび垂直走査線Ｌｖと認識
対象Ｏｂの境界との交点をそれぞれ求めている。交点は
各水平走査線Ｌｈおよび各垂直走査線Ｌｖについてそれ
ぞれ２個ずつ求められるから、各水平走査線Ｌｈおよび
各垂直走査線Ｌｖの上の２点間の中点Ｒをそれぞれ求め
る。このようにして求めた中点Ｒのヒストグラムを水平
方向と垂直方向とについてそれぞれ求めると、度数が極
大になる点（モード）をそれぞれ水平方向と垂直方向と
の中点の位置とみなすことができるのである。つまり、
認識対象Ｏｂのエッジ（境界線）に欠けなどの多少の変
形が存在していても大部分のエッジが正常な形状であれ
ば、上述のようにして認識対象Ｏｂの中心位置を求める
ことができる。

【０００４】

【発明が解決しようとする課題】しかしながら、上述の
方法では、認識対象Ｏｂと背景とを分離する際に、画素
の濃度値を適宜のしきい値で２値化しているものである
から、認識対象Ｏｂと背景との間で明るさが緩やかに変
化するような場合（たとえば図２６に濃度値の変化を例
示するような場合）には、設定するしきい値Ｔａ，Ｔｂ
に応じて認識対象Ｏｂのエッジの位置が変化することに
なる。図示例では、しきい値を大きい値に設定すると図
２７（ａ）のように２値化後の２値画像では認識対象Ｏ
ｂが小さくなり、しきい値を小さい値に設定すると図２
７（ｂ）に示すように２値化後の２値画像では認識対象
Ｏｂが大きくなるのである（適正なエッジの位置を破線
で示す）。したがって、濃度値をしきい値で２値化する
方法では認識対象Ｏｂによっては、しきい値の設定の仕
方によってエッジの位置が変化することになり、上述の
方法により求めた中心位置と実際の中心位置とのずれが
大きくなることがある。

【０００５】また、図２８（ａ）のように、認識対象Ｏ
ｂの中心線が画像の水平方向と垂直方向とのいずれにも
一致しない場合には、図２８（ｂ）のように中点のヒス
トグラムに度数が極大になる点が生じないから認識対象
Ｏｂの中心位置を検出することができないことになる。
さらに、上記公報に記載の方法では、水平走査線Ｌｈお
よび垂直走査線Ｌｖのそれぞれにおける認識対象Ｏｂの
エッジとの交点のうちの両端の点の中点を用いるから、
図２９（ａ）に示すように、１本の走査線（水平走査線
Ｌｈまたは垂直走査線Ｌｖ）が複数個の認識対象Ｏ
ｂ₁，Ｏｂ₂を通るとすると、走査線の両端に位置する
認識対象Ｏｂ₁，Ｏｂ₂からそれぞれ交点を求めること
になる。つまり、上記公報に記載の方法では、複数個の
認識対象Ｏｂ₁，Ｏｂ₂が存在するときに図２９（ｂ）
のように認識対象Ｏｂ₁，Ｏｂ₂の中間位置で度数が最
大になり、個々の認識対象Ｏｂ₁，Ｏｂ₂の中心位置を
求めることができないことになる。また、上記公報に記
載の方法では認識対象Ｏｂの中心位置を求めることはで
きても認識対象Ｏｂの形状を認識することはできない。

【０００６】本発明は、上記事由に鑑みて為されたもの
であり、その目的は、画像内の認識対象の中点を求める
に際して認識対象と背景とのエッジを再現性よく検出
し、しかも認識対象の向きや個数にかかわりなく個々の
認識対象の代表点の位置を精度よく求めることができる
ようにし、さらには、認識対象の形状も認識可能な物体
認識方法を提供することにある。

【０００７】

【課題を解決するための手段】請求項１の発明は、着目
する境界線の形状が点対称または少なくとも二組の向か
い合う辺が平行である多角形となる物体を撮像して得た
濃淡画像の各画素に関する微分値の変化点を認識対象の
エッジとして検出し、エッジ上の各点に関してエッジの
方向を規定することができるエッジ方向を求め、エッジ
上でエッジ方向が等しくなる２点を点対として点対間の
中点の座標値に関するヒストグラムを作成し、ヒストグ
ラムにおいて最大度数が得られる座標値を認識対象の代
表点の座標として採用することを特徴とする。

【０００８】この方法では、物体を含む濃淡画像を濃度
のしきい値により２値化するのではなく、濃淡画像を微
分し微分値の変化点を認識対象のエッジとして検出する
から、濃度の変化が比較的緩やかに変化する箇所を含む
場合でも再現性よくエッジを抽出することができる。ま
た、エッジ上でエッジ方向が等しい点対間の中点の座標
値に関するヒストグラムを作成して最大度数が得られる
座標値を認識対象の代表点の座標として採用するから、
多数個の点に基づいて認識対象の代表点を統計的に求め
ることになり、認識対象の代表点の位置を精度よく求め
ることが可能になる。ここに、エッジ方向はエッジの向
きを規定することができる方向であるから、通常は接線
方向または法線方向を意味する。

【０００９】請求項２の発明は、請求項１の発明におい
て、エッジ上でエッジ方向が等しくなる点対について、
点対間の中点が認識対象の代表点付近に位置する点対の
みを選択して中点を求めるように制限条件を設定したこ
とを特徴とする。この方法では、制限条件を設けること
によって多数の点対のうち認識対象の代表点を求めるの
に不要な点対を除去することができるから、比較的少な
い処理量で認識対象の代表点を精度よく求めることがで
きる。

【００１０】請求項３の発明は、請求項１または請求項
２の発明において、ヒストグラムにおいて最大度数が得
られた座標値を中点の座標とする点対により形成される
点列が並ぶエッジの特徴量に基づいて認識対象の図形的
特徴を抽出することを特徴とする。この方法は、認識対
象の代表点を決めるのに用いた点対のみからなる点列を
エッジ上の点として用いるから、認識対象の形状をよく
反映していると考えられる点列を抽出することになり、
このような点列を用いることによって認識対象の図形的
特徴を正確に認識することが可能になる。

【００１１】請求項４の発明は、請求項２の発明におい
て、上記点対のうち濃度勾配の差が所定範囲内である点
対のみを選択して中点を求めるように上記制限条件を設
定したことを特徴とする。請求項５の発明は、請求項２
の発明において、上記点対の一方の点に関する濃度勾配
の方向を中心線に持ち、中心線から所定の角度範囲内に
他方の点が存在する点対のみを選択して中点を求めるよ
うに上記制限条件を設定したことを特徴とする。

【００１２】請求項６の発明は、請求項２の発明におい
て、上記点対間の距離が所定範囲内である点対のみを選
択して中点を求めるように上記制限条件を設定したこと
を特徴とする。請求項４ないし請求項６の発明は、制限
条件の具体的な実施態様であって、点対の濃度勾配の
差、点対の位置関係などに基づいて認識対象の代表点の
位置を求める際に明らかに不要と考えられる点対を除外
して認識対象の代表点の位置を求めるから、処理が簡単
になるとともに求めた代表点の位置の精度が高くなる。

【００１３】請求項７の発明は、請求項１ないし請求項
６の発明において、濃淡画像はカラー画像であって、特
定の色範囲の領域に存在する認識対象について中点を求
めることを特徴とする。このように色範囲を制限するこ
とにより、たとえば複数個の異なる色の物体について個
別に代表点の位置を求める必要がある場合に、各物体を
色により個別に識別することが可能になる。

【００１４】請求項８の発明は、請求項１ないし請求項
６の発明において、上記エッジの一部を削除した残りの
エッジについて上記ヒストグラムを作成することを特徴
とする。この方法ではエッジの一部を削除した残りのエ
ッジについてヒストグラムを作成するから、複数個の物
体が存在するのであれば、不要な物体のエッジをあらか
じめ削除した上でヒストグラムを作成することにより、
無意味な情報が発生しにくくなり、認識対象の代表点の
位置を精度よく求めることが可能になる。

【００１５】請求項９の発明は、請求項３の発明におい
て、上記点列の各点に関する濃度勾配の分布を求め、濃
度勾配の分布パターンを既知の分布パターンと比較する
ことにより認識対象の形状を認識することを特徴とす
る。この方法では、点列の各点に関する濃度勾配の分布
パターンを求めるから、濃度勾配の分布パターンのパタ
ーンマッチングによって認識対象の形状を認識すること
が可能になる。しかも、濃度勾配の分布パターンを求め
る点列は認識対象の中点を求める際に用いた点列である
から、認識対象の形状をよく反映していると考えられ、
このような点列から認識対象の形状を求めることにより
認識対象の形状を正確に把握することができる。

【００１６】請求項１０の発明は、請求項３の発明にお
いて、上記点列の各点に関する濃度勾配の分布を求め、
濃度勾配の分布パターンに基づいて認識対象の向きを検
出することを特徴とする。この方法では、点列の各点に
関する濃度勾配の分布を求めることにより、濃度勾配の
分布パターンに基づいて認識対象の向きを求めることが
できる。しかも、濃度勾配の分布パターンを求める点列
は認識対象の代表点の座標を求める際に用いた点列であ
るから、認識対象の図形的特性をよく反映していると考
えられ、このような点列から認識対象の向きを求めるこ
とにより認識対象の向きを正確に把握することができ
る。

【００１７】請求項１１の発明は、請求項３の発明にお
いて、上記点列の個数を求め、点列の個数に基づいて認
識対象の大きさを検出することを特徴とする。この方法
では、点列の個数に基づいて認識対象の大きさを求める
ことができる。しかも、個数を求める点列は認識対象の
中点を求める際に用いた点列であるから、認識対象の図
形的特性をよく反映していると考えられ、このような点
列の個数を求めることにより認識対象の大きさを再現性
よく求めることができる。

【００１８】請求項１２の発明は、請求項１の発明にお
いて、上記ヒストグラムにおいて最大度数が得られる座
標値を代表点の座標に持つ認識対象のエッジを削除する
第１過程と、第１過程後に残ったエッジについて上記ヒ
ストグラムを再度作成する第２過程とを繰り返すことに
より、複数個の認識対象の代表点の座標を個別に求める
ことを特徴とする。

【００１９】この方法によれば、大きさの異なる複数個
の認識対象が存在する場合に、大きい認識対象から順に
代表点の位置を求めるとともに、代表点の位置を求めた
認識対象のエッジを除外してヒストグラムを作成するか
ら、各認識対象の代表点の位置を個別に求めることが可
能になる。請求項１３の発明は、請求項１の発明におい
て、複数個の認識対象を持つ物体について各認識対象の
代表点の座標を求め、求めた代表点の座標の位置関係に
基づいて物体の位置および向きを認識することを特徴と
する。

【００２０】この方法によれば、複数個の認識対象を持
つ物体から各認識対象の代表点の位置関係を求めるか
ら、物体の位置や向きを認識することが可能になる。請
求項１４の発明は、請求項１の発明において、物体を複
数の異なる位置から撮像することにより得た複数の濃淡
画像について、それぞれ認識対象の代表点の座標を求
め、求めた認識対象の代表点の座標を対応付けした後、
三角測量法を適用することにより物体までの距離を求め
ることを特徴とする。

【００２１】この方法によれば、ステレオ画像を用いて
認識対象までの距離を求めるに際して、複数の画像を対
応付けるために請求項１の方法により求めた認識対象の
代表点の位置を用いるから、高い精度で対応付けを行な
うことができる。その結果、認識対象までの距離を精度
よく求めることができるのである。請求項１５の発明
は、請求項３の発明において、物体を複数の異なる位置
から撮像することにより得た複数の濃淡画像について、
それぞれ認識対象の代表点の座標を求め、代表点の座標
を求めた点対により形成される点列が並ぶエッジの特徴
量に基づいて認識対象の図形的特徴を抽出し、各画像内
で同一の図形的特徴を有する領域を対応付けした後、三
角測量法を適用することにより物体までの距離を求める
ことを特徴とする。

【００２２】この方法によれば、ステレオ画像を用いて
認識対象までの距離を求めるに際して、複数の画像を対
応付けるために請求項３の方法により求めた認識対象の
図形的特徴を用いるから、高い精度で対応付けを行なう
ことができる。その結果、認識対象までの距離を精度よ
く求めることができる。請求項１６の発明は、請求項１
の発明において、複数個の認識対象を持つ物体を複数の
異なる位置から撮像することにより得た複数の濃淡画像
について、各認識対象の代表点の座標をそれぞれの画像
から求め、各画像内で求めた代表点の座標を対応付けし
た後に、三角測量法を適用することにより各認識対象の
代表点の座標の３次元空間での位置を求め、代表点の座
標の位置関係に基づいて３次元空間内での物体の位置お
よび向きを認識することを特徴とする。

【００２３】この方法によれば、ステレオ画像を用いて
３次元情報を得るに際して、物体の複数箇所の位置を求
め、これらの位置関係に基づいて物体の位置や向きを認
識するのであって、複数の画像の対応付けには請求項１
の方法により求めた認識対象の代表点の位置を用いるか
ら、高い精度でかつ再現性よく物体の３次元情報を得る
ことができる。

【００２４】

【発明の実施の形態】

（実施形態１）本実施形態の装置の概略構成を図１にブ
ロック図として示す。この装置は基本的にはコンピュー
タ装置を用いて実現されるものである。以下で説明する
認識対象は点対称な形状とし、代表点が中心である場合
について説明するが、必ずしもこれに限定されるもので
はなく、認識対象としては少なくとも二組の向かい合う
辺が平行である多角形も含むものである。この場合、代
表点の位置は中心にはならないが、代表点として規定で
きる位置を求めることができる。また、エッジ方向とし
て以下では基本的に接線方向を用いているが、接線方向
と法線方向とのどちらを用いてもよい場合には、法線方
向をエッジ方向として用いてもよい。

【００２５】ＴＶカメラ１は対象となる物体を含む空間
領域を撮像するものであって、物体を照明する光源（図
示せず）とＴＶカメラ１とは、ＴＶカメラ１に入射する
物体からの光量と背景からの光量とに十分な差が生じる
ように位置関係を設定してある。また、ＴＶカメラ１に
は入射光量に応じた出力の得られるものが用いられ、Ｔ
Ｖカメラ１の出力はＡ／Ｄ変換器２によりデジタル信号
に変換された後に、フレームメモリ３に格納される。す
なわち、フレームメモリ３には濃淡画像が格納される。
フレームメモリ３に格納された濃淡画像は微分処理部４
において空間微分が施される。

【００２６】微分処理部４では、上述のようにして認識
対象ＯｂのエッジＥを求めるとともに、エッジＥ上の各
点（画素）に対してそれぞれ濃度勾配がもっとも大きい
方向をその点の法線方向（エッジＥにほぼ直交する方向
という意味である）として求める。ここに、認識対象Ｏ
ｂは楕円状であって、微分処理部４で求めたエッジＥは
図２のような形状になるものとする。法線方向は図では
矢印ｎで示してある。微分値の絶対値｜Ｇ｜を求めると
ともに、濃度勾配が最大になる方向（法線方向にほぼ一
致：以下、微分方向値という）｜θ｜を求める方法には
各種の方法が考えられているが、ここでは、ソーベル法
を用いている。すなわち、ソーベルオペレータとして周
知の演算子を用いて、次式のような演算を行なうのであ
る。いま、着目する画素（点）の座標が（ｘ，ｙ）であ
って（ｘは水平方向、ｙは垂直方向の座標値であって、
ここでは右方向が水平方向の正向き、上方向が垂直方向
の正向きであるものとする）、その濃度がＩ_x,yである
とすると、各方向の１次微分値Ｇ_x，Ｇ_yは、次式によ
り表される。Ｇ_x＝（Ｉ_x+1,y-1＋２Ｉ_x+1,y＋Ｉ_x+1,y+1）−（Ｉ
_x-1,y-1＋２Ｉ_x-1,y＋Ｉ_x-1,y+1）Ｇ_y＝（Ｉ_x-1,y-1＋２Ｉ_x,y-1＋Ｉ_x+1,y-1）−（Ｉ
_x-1,y+1＋２Ｉ_x,y+1＋Ｉ_x+1,y+1）これらの１次微分値Ｇ_x，Ｇ_yを用いて、微分値の絶対
値｜Ｇ｜および微分方向値｜θ｜を次式で表すことがで
きる。｜Ｇ｜＝（Ｇ_x ²＋Ｇ_y ²）^1/2 ｜θ｜＝ tan^-1（Ｇ_y／Ｇ_x）微分処理部４において、微分値の絶対値｜Ｇ｜が求まる
と、適宜のしきい値によって微分値をスライスするとと
もに、しきい値以上の領域内で絶対値｜Ｇ｜が極大にな
る尾根線をエッジＥとして抽出することができる。この
ようにして求めたエッジＥは不連続になることがある
が、後述の方法では統計的手法を用いて認識対象Ｏｂの
中心の座標を求めるから、エッジＥが不連続であっても
とくに問題は生じない。

【００２７】法線方向ｎは画像内の水平方向ないし垂直
方向を基準として量子化される。たとえば、水平方向右
向きを基準線として左回りに角度を設定するとともに等
角度間隔で区間を定め、上述のようにして求めた法線方
向ｎが各区間内に含まれるときに、その区間を代表する
角度を割り当てるのである。あるいはまた、方向コード
として知られているように、量子化した角度に整数値を
割り当てるようにしてもよい。このようにして法線方向
ｎが決定されると、法線方向ｎに対して直交する方向を
エッジ方向（エッジＥを規定することができる方向とい
う意味である）として定める。ここに、エッジ方向は０
〜１８０°の範囲で定めるものとする。つまり、法線方
向ｎが１８０°異なる場合にはエッジ方向は等しくな
る。エッジ方向は図では直線ｔで示してある。

【００２８】点対抽出部５では、微分処理部４で求めた
エッジ方向ｔに基づいて、エッジ方向ｔごとに点を分類
して抽出する。また、エッジ方向ｔが等しい点を２つず
つ組み合わせて対にする。ところで、認識対象Ｏｂが図
２（ａ）に示すような楕円ないし円のときには、対にな
る点間を結ぶ線分の中点Ｃは認識対象Ｏｂの中心付近を
通ると予想される。つまり、画像上での座標と同じ座標
空間を有するとともに各座標値に度数値が与えられる図
２（ｂ）のような空間を設定し、楕円ないし円の認識対
象Ｏｂについて対になる各点間の中点Ｃの座標を求め、
上記空間におけるその座標値の度数に１を加算するとい
う操作を繰り返してヒストグラムを作成すると、対にな
る点間の中点Ｃの座標は認識対象Ｏｂの中心（ｘｃ，ｙ
ｃ）付近でもっとも大きくなる。

【００２９】また、認識対象Ｏｂが点対称となる多角形
のとき、たとえば図３（ａ）のような平行四辺形である
ときには、エッジ方向ｔの等しい点が多数個存在するこ
とになるが、エッジ方向ｔが等しいすべての点の対の中
点Ｃを求めたとすると、それらの中点Ｃの存在確率は認
識対象Ｏｂの中心（ｘｃ，ｙｃ）付近でもっとも高くな
ると予想される。つまり、対になる点間の中点Ｃの座標
の度数を求めれば、図３（ｂ）に示すように、対になる
点間の中点Ｃの座標は認識対象Ｏｂの中心（ｘｃ，ｙ
ｃ）付近でもっとも大きくなるようなヒストグラムが得
られる。

【００３０】ここに、上の議論は認識対象Ｏｂのエッジ
Ｅに欠けや脹らみがない場合を想定しているが、エッジ
Ｅに多少の欠けや脹らみが存在していたとしても上述の
ようにして求めた対になる点の中点Ｃの存在確率は認識
対象Ｏｂの中心付近でもっとも高くなり、認識対象Ｏｂ
の中心の位置を求めることができる。ただし、認識対象
Ｏｂの中心位置を求めるに際して、対になる点のすべて
の組み合わせについて中点Ｃを求めることは無駄な組み
合わせが多く発生することになるから処理効率が悪い。
そこで、条件検証部６において以下に示すような特定条
件を満たす点の対を抽出することにより無駄な組み合わ
せの発生を制限する。要するに条件検証部６では、点対
抽出部５で抽出した点の対のうち、それらの点間の中点
が認識対象Ｏｂの中心にほぼ一致する確率の高い点の対
のみを選択するのである。

【００３１】無駄な組み合わせを制限する第１の方法
は、対として抽出した各点の法線方向ｎの差を用いる方
法である。すなわち、認識対象Ｏｂが円、楕円、点対称
な多角形であれば、対になる点の中点が認識対象Ｏｂの
中心に一致するときには、両点の法線方向ｎは１８０°
異なるから、法線方向ｎが１８０°前後異なる点の対の
みを選択すれば認識対象Ｏｂの中心を求めることができ
ると考えられる。そこで、点対抽出部５において抽出さ
れた対になる点の法線方向ｎの差を求め、その差が所定
の範囲内（たとえば、１８０°±５°）である点の対の
みを採用する。たとえば、図４のように平行四辺形であ
れば、同じ辺上の点の対（図ではＰ₁，Ｐ ₂）と対向す
る辺上の点の対（図では点Ｐ₁，Ｐ₃）とのエッジ方向
ｔは等しいが、上述した法線方向ｎに関する制限条件を
用いると、点Ｐ₁，Ｐ₂の対は除去され、点Ｐ₁，Ｐ₃
の対についてのみ中点を求めることになる。つまり、こ
の制限条件を用いるだけで処理量がほぼ半減するのであ
る。

【００３２】無駄な組み合わせを制限する第２の方法
は、対として抽出した点の一方の法線方向ｎによって他
方の存在する領域を制限し、他方の点がその領域に存在
する対のみを抽出する方法である。ここに、各点は認識
対象Ｏｂのほうが背景よりも高い濃度を有するものとし
ている。すなわち、点対抽出部５において対になる点と
して抽出された一方の点を中心とし、その法線方向を中
心線とする適宜の角度範囲の領域を設定するのである。
いま、図５に示すように、２個の楕円状の認識対象Ｏｂ
₁，Ｏｂ₂が画像内で離れて存在するものとすれば、エ
ッジ方向ｔの等しくなる点は画像内に４個あるから点の
対は６種類になる。たとえば、図５に示す点Ｐ₄，
Ｐ₅，Ｐ₆のエッジ方向ｔが等しいものとすれば、点Ｐ
₄，Ｐ₅の対は認識対象Ｏｂ₁の中心を決める際に用い
ることができるが、点Ｐ₄，Ｐ₆の対や点Ｐ₅，Ｐ₆の
対の中点はどちらの認識対象Ｏｂ₁，Ｏｂ₂の中心にも
無関係である。そこで、たとえば点Ｐ₄に着目し、点Ｐ
₄を中心として点Ｐ₄に関する法線方向ｎを中心線とす
る適宜の角度範囲（たとえば、±５°）の領域Ｄ₁を設
定すれば、この領域Ｄ₁内に含まれるのは点Ｐ₅のみで
あるから、エッジ方向ｔの等しい他の点（Ｐ₆など）を
考慮することなく点対の中点を求めることができるので
ある。

【００３３】無駄な組み合わせを制限する第３の方法
は、対として抽出した点間の距離を用いる方法である。
すなわち、図６に示すように、２個の楕円状の認識対象
Ｏｂ₁，Ｏｂ₂が画像内で離れて存在する場合を想定す
ると、接線方向ｔの等しい点は４個存在することになる
が、対として抽出された各点間の距離範囲を制限すれ
ば、図に示されている点Ｐ₇，Ｐ₈，Ｐ₉については、
点Ｐ₇，Ｐ₈のみを選択し、点Ｐ₇，Ｐ₉の対や点
Ｐ₈，Ｐ₉の対は中点を求める対の対象としないように
することが可能である。

【００３４】無駄な組み合わせを制限する第４の方法
は、認識対象ＯｂのエッジＥのうちの特定の成分を無視
し、エッジＥの一部のみを用いて中心位置を求める方法
である。たとえば、図７に示すように、認識対象Ｏｂが
楕円状であってかつ両側縁が直線となるような形状であ
る場合に、直線部分Ｅａから対になる点を抽出すると対
になる点の組み合わせが非常に多くなる。これに対し
て、この認識対象Ｏｂでは曲線部分Ｅｂのみを用いて中
心位置を求めることが可能であるから、認識対象Ｏｂの
中心を求める上では直線部分Ｅａを無視しても差し支え
ない。そこで、点の対から曲線部分Ｅｂに存在する点の
対のみを選択するのである。この方法を採用すれば、認
識対象Ｏｂの中心位置を求めるにあたり、無駄な点の対
を用いることなく迅速な処理が可能になる。

【００３５】上述のように直線部分Ｅａと局線部分Ｅｂ
とを分離するには、次の方法を用いることができる。つ
まり、エッジＥの上に適宜に設定した始点からエッジＥ
を追跡し、着目している点の前後の点の方向の関係を求
める。たとえば、追跡している前後の点の方向が所定角
度（たとえば、１０度）以内であるときには、直線部分
Ｅａとみなし、上記所定角度を越えるときには曲線部分
Ｅｂと判断するのである。

【００３６】第１ないし第４の方法は単独で用いること
ができるが、これらを適宜に組み合わせて用いるように
すれば、認識対象Ｏｂの中心位置を求める際に不要な点
の対をより確実に除去することができる。たとえば、第
２の方法では領域Ｄ₁が設定される位置によっては一方
の認識対象Ｏｂ₁で設定した領域Ｄ₁の中に他方の認識
対象Ｏｂ₂において接線方向が同じになる点が含まれる
ことがあるが、第３の方法を併せて採用すれば、このよ
うな点を除去できる可能性がある。

【００３７】条件検証部６において選択された点の対に
ついて、中点検出部７では両点の中点の座標を求める。
中点検出部７では、求めた中点の座標値について図２
（ｂ）、図３（ｂ）を用いて説明したようなヒストグラ
ムが作成される。ここにおいて、条件検証部６での制限
条件を適用しているから、図２（ｂ）、図３（ｂ）に示
したヒストグラムに比較すると、認識対象Ｏｂの中心付
近の座標の度数に対する他の座標値の度数が大幅に少な
い度数分布が得られることになる。つまり、認識対象Ｏ
ｂの中心座標を求めるに際して不要な情報を大幅に減少
させることができ、中心座標を少ない処理で正確に求め
ることができるようになる。

【００３８】上述したようなヒストグラムでは認識対象
Ｏｂの中点の座標に対応する座標付近の度数が最大にな
るから、中心座標検出部８ではヒストグラムにおいて度
数が最大となる座標値（ｘｃ，ｙｃ）を求め、これを認
識対象Ｏｂの中心位置の座標として用いる。ここに、度
数計数空間の座標値は量子化されているからたいていの
場合には１つの座標値の度数が最大になるが、最大度数
となる座標値の周囲で同じかほぼ同じになる度数を持つ
座標値が発生することがある。このようなときには、度
数が所定範囲内である座標値の平均の座標値を中心位置
の座標として用いるようにしてもよい。

【００３９】しかして、図２（ａ）に示すように認識対
象Ｏｂが楕円であるとすれば、楕円の中心Ｃにほぼ一致
する座標を（ｘｃ，ｙｃ）として求めることができ、ま
た図３（ａ）に示すように認識対象Ｏｂが平行四辺形で
あるとすれば、対角線の交点Ｄにほぼ一致する座標を
（ｘｃ，ｙｃ）として求めることができるのである。以
上の処理をまとめると、図８に示すようになる。すなわ
ち、物体を撮像して濃淡画像をフレームメモリ３に格納
し（Ｓ１）、微分処理部４における微分処理によってエ
ッジＥを抽出するとともに、エッジＥの上の各点の法線
方向ｎ（濃度勾配）を求める（Ｓ２）。次に、エッジＥ
の上で接線方向の等しい点対を求め（Ｓ３）、各点対が
制限条件を満たしているか否かを判定する（Ｓ４）。制
限条件を満たすすべての点対について、点対の間の中点
の座標を求め、この座標値のヒストグラムを作成する
（Ｓ５）。このようにして他に点対がなくなれば（Ｓ
６）、作成されたヒストグラムから最大度数の座標値を
求めてこれを認識対象Ｏｂの中心の位置とするのである
（Ｓ７）。

【００４０】以上説明したように、濃淡画像を微分する
ことによって認識対象ＯｂのエッジＥを抽出するととも
にエッジ方向を求めるから、濃度変化が比較的緩やかな
物体であっても濃度勾配の変化点を抽出することによっ
て、再現性よく物体の境界線を抽出することが可能にな
る。つまり、従来のように濃度をしきい値によって２値
化するのではなく微分値をしきい値によって２値化する
から、物体の境界線を再現正よく抽出することができ
る。また、上述のような条件を満たす点の対のみを抽出
するから、認識対象Ｏｂを求めるのに際して不必要な点
の対を減少させることができ、また複数個の認識対象Ｏ
ｂ₁，Ｏｂ₂が存在するような場合でも、個々に分離し
て中心位置を求めることが可能になる。

【００４１】本実施形態においては、エッジＥの各点に
関する法線方向として、求める処理が簡単であることか
ら濃度変化の勾配方向を便宜的に採用しているが、実際
の法線方向ｎはエッジの形状に基づいて幾何学的に決定
されるものであるから、幾何学的に法線方向ないし接線
方向を求める処理を行なうようにしてもよい。（実施形態２）本実施形態は、ＴＶカメラ１の視野内に
複数の物体が存在し、かつ各物体の色が異なる場合に適
用可能な例であって、図９のように特定色抽出部９を設
けている点を除いては実施形態１とほぼ同様の構成にな
る。ＴＶカメラ１にはカラー画像を撮像することができ
るものを用い、また、フレームメモリ３にはＲ（赤）Ｇ
（緑）Ｂ（青）などの基本色の組み合わせの形で濃淡画
像が格納される。特定色抽出部９では、フレームメモリ
３に格納された画像から、所望の色範囲（色相、彩度、
明度の少なくとも１つの範囲）を有する領域が抽出され
る。つまり、複数個の物体を撮像したような場合でも、
物体の色によって認識対象Ｏｂを個別に抽出することが
できるのである。

【００４２】以後の処理は実施形態１と同様であり、接
線方向が同じである点の対を点対抽出部５で求め、条件
検証部６で制限条件を満たす点の対のみを選択し、中点
検出部７において対になる点の中点を求めて度数計数空
間に度数を与える。このようにして度数を求めた後に、
中心座標検出部８において認識対象Ｏｂの中心座標を求
めるのである。点対抽出部５、条件検証部６、中点検出
部７、中心座標検出部８については、実施形態１と同様
の機能であるから説明を省略する。

【００４３】ここに、フィルタを通してモノクロのＴＶ
カメラ１で空間領域を撮像することによっても、特定の
色範囲を抽出することができる。この場合は特定色抽出
部９は設けなくてもよい。（実施形態３）実施形態１は認識対象Ｏｂの中心位置を
求める技術について説明したが、本実施形態は認識対象
Ｏｂの中心位置だけではなく形状も併せて求める技術に
ついて説明する。本実施形態の装置の概略構成を図１０
にブロック図として示す。

【００４４】図１０において図１と同符号を付した構成
は同機能を有するが、本実施形態では条件検証部６を設
けずに認識対象Ｏｂの中心位置を求めている。また、認
識対象Ｏｂの形状を求めるために、中心位置を求める際
に用いたエッジＥを抽出するエッジ抽出部１０と、エッ
ジ抽出部１０で求めたエッジＥに基づいて認識対象Ｏｂ
の形状を認識する形状認識部１１とを付加してある。す
なわち、エッジ抽出部１０では認識対象Ｏｂの中心位置
を求めるときに用いた中点を有する線分の両端の点列の
並びからエッジＥを求める。また、複数個の座標値を平
均することによって認識対象Ｏｂの中心位置を求めたと
きには、各座標値についてそれぞれ認識対象Ｏｂの中心
位置を求めるときに用いた中点を有する線分の両端の点
列の並びによりエッジＥを求める。

【００４５】すなわち、認識対象Ｏｂの中心位置を求め
る処理と同様に、エッジＥの上の点対の中点を求める処
理を行ない、この中点の位置がすでに求められている認
識対象Ｏｂの中心から所定の距離範囲内であるときに、
その点対を認識対象Ｏｂの中心位置を求める際に用いた
エッジＥとするのである。ところで、形状認識部１１に
おいては、以下に説明する方法によってエッジＥの特徴
量を求め、その特徴量に基づいて認識対象Ｏｂの形状を
認識する。

【００４６】認識対象Ｏｂの形状を認識する第１の方法
では、エッジ抽出部１０においてエッジＥを抽出する際
に用いた点列に含まれる各点の濃度勾配が最大になる方
向の分布を用いる。つまり、実施形態１において法線方
向ｎに用いた値の分布を求めるのである。たとえば、図
１１（ａ）に示すように認識対象Ｏｂが楕円形である場
合には、法線方向ｎの度数分布が図１１（ｂ）のように
なる。図では法線方向ｎを連続値として表しているが実
際には０〜３６０°を１８分割あるいは３６分割などし
た離散値になる。したがって、法線方向ｎの度数分布は
正弦波形に近い形になる。また、認識対象Ｏｂが図１２
（ａ）のように平行四辺形であるとすれば、一つの辺の
上の点はすべて同じ法線方向ｎになるから、図１２
（ｂ）のように度数の大きい角度は４つの角度であり、
また各角度の比率は各辺の長さに比例することになる。
したがって、法線方向ｎの度数分布のパターンにより円
（度数分布が直線状）か楕円（度数分布が正弦波状）か
多角形（度数のピークが離散して現れる）かを識別する
ことができる。

【００４７】形状認識部１１では認識対象Ｏｂの向きを
併せて検出してもよい。認識対象Ｏｂの向きを検出する
には、０°〜３６０°の範囲の法線方向ｎの度数を順次
求め、度数が最初の極大値となる角度を求める。たとえ
ば、認識対象Ｏｂが楕円であれば度数の極大値は０°〜
３６０°の範囲で２回現れ、上述のように０°から始め
て度数を順次求めると最初の極大値は０°〜１８０°の
範囲で出現する。この角度は楕円の長軸に平行な接線方
向にほぼ直交するから楕円の長軸の方向を求めることが
できる。また、認識対象Ｏｂが平行四辺形であれば度数
の極大値は０°〜３６０°の範囲で４回現れ、０°〜９
０°の範囲で最初の極大値が出現する。この角度は平行
四辺形（長方形を含む）の短辺または長辺の方向にほぼ
一致する。そこで、これらの極大値のうちの最大値を求
め、最大値が２個あれば角度の小さいほうを平行四辺形
の向きとして定義する。なお、法線方向ｎの度数分布の
極大値を求めるには、まず角度軸に沿って１次元平滑化
して雑音成分を除去した後、１次元微分フィルタをかけ
ることによって微分曲線を求め、次に、角度軸に沿って
微分値の符号が正から負に変化する点を求め、この点で
の度数が所定のしきい値以上であるときに、その点を度
数の極大値として採用するのである。

【００４８】さらに、形状認識部１１では認識対象Ｏｂ
の大きさを併せて検出してもよい。認識対象Ｏｂの中心
位置を求める際に寄与したエッジＥの上の点の個数、す
なわち、ヒストグラムにおいてピーク値となる度数は、
認識対象Ｏｂの周長にほぼ比例していると考えられるか
ら、相似な認識対象Ｏｂではヒストグラムでの度数によ
って認識対象Ｏｂの大きさの目安を得ることができる。
たとえば、ＴＶカメラ１の視野内に大きさの異なる２個
の物体が存在する場合には、画像内には図１３（ａ）に
示すような大小２個の認識対象Ｏｂ₁，Ｏｂ₂が存在す
ることになる。そこで、各認識対象Ｏｂ₁，Ｏｂ₂を実
施形態１に説明した方法で個別に認識した上で、それぞ
れエッジＥの上で接線方向が同じになる２点間の中点を
とり、ヒストグラムに中点の座標の出現度数をとると、
図１３（ｂ）のように２個のピークを持つ度数分布が得
られることになる。ここに、認識対象Ｏｂ₁，Ｏｂ₂が
相似であれば、上述のように、度数の大きさが各認識対
象Ｏｂ₁，Ｏｂ₂の面積を反映するから、度数値に基づ
いて認識対象Ｏｂ₁，Ｏｂ₂の大きさを知ることが可能
になる。この方法は、物体が２個の場合に限らず３個以
上であっても適用可能である。

【００４９】（実施形態４）本実施形態は、図１４に示
すように、図１に示した実施形態１の構成に対して条件
検証部６を省略するとともにエッジ消去部１２を付加し
たものであって、図１５（ａ）に示すように画像内に複
数個の認識対象Ｏｂ₁，Ｏｂ₂，Ｏｂ₃が存在し、かつ
一部の認識対象Ｏｂ₁，Ｏｂ₂，Ｏｂ₃が重なっている
場合において、各認識対象Ｏｂ₁，Ｏｂ₂，Ｏｂ₃の中
心位置を個別に抽出することを可能にするものである。

【００５０】すなわち、点対抽出部５において実施形態
１と同様の方法で選択した点の対について中点を求め、
すべての点の対について中点検出部７で中点の座標の度
数を求めると、ヒストグラムには図１５（ｂ）のように
複数のピークが生じる。ピークとなる各座標には図１５
（ｃ）に示すように認識対象Ｏｂ₁，Ｏｂ₂，Ｏｂ₃の
中心位置Ｃ₁，Ｃ₂，Ｃ₃とは無関係なピークも含まれ
ているから、認識対象Ｏｂ₁，Ｏｂ₂，Ｏｂ₃の中心位
置Ｃ₁，Ｃ₂，Ｃ₃を求めるには、何らかの方法で無関
係なピークを除去しなければならない。無関係なピーク
は度数が比較的小さいから、度数の大きいピークについ
ては認識対象Ｏｂ₁の中心として抽出するのが容易であ
るが、度数の小さいピークは認識対象Ｏｂ₂，Ｏｂ₃の
中心か否かを識別するのが難しい。

【００５１】そこで、本実施形態では、エッジ消去部１
２を用いて、度数が最大である座標を中心に持つ認識対
象Ｏｂ₁について、その中心座標を求めるのに寄与した
点を含むエッジＥを除去する。その後、残りのエッジＥ
に対して、点対抽出部５で対になる点を再び抽出し、対
になる点の中点の座標を求めてヒストグラムを求める。
度数が最大の座標を中心に持つ認識対象Ｏｂ₁のエッジ
Ｅを消去した状態では、図１５（ｄ）のようになるか
ら、ヒストグラムには図１５（ｅ）のように２つ程度の
ピークしか現れなくなる。この状態で、度数が高いほう
の認識対象Ｏｂ₂についてエッジＥを消去し、残ったエ
ッジＥについて再び中点の度数を求め中点の座標を決定
する。このような処理をエッジＥがなくなるまで繰り返
せば、すべての認識対象Ｏｂ₁，Ｏｂ₂，Ｏｂ₃の中心
Ｃ₁，Ｃ₂，Ｃ₃を個別に求めることができる。他の構
成および動作は実施形態１と同様である。

【００５２】（実施形態５）本実施形態は実施形態１の
ように対になる点のうち所定の条件を満たすものから認
識対象Ｏｂの中心を求め、さらに実施形態３と同様に認
識対象Ｏｂの形状、向き、大きさなどを求めることがで
きるようにしたものである。したがって、図１６に示す
ように、図１に示した実施形態１の構成に実施形態３と
同様にエッジ抽出部１０および形状認識部１１を付加し
てある。

【００５３】本実施形態によれば、認識対象Ｏｂの中心
位置を求める際に中心位置を求めるために用いる点の対
を制限することによって無駄な処理を低減することがで
き、しかもヒストグラムにおける不要なピーク値の発生
を抑制することができる。さらに、認識対象Ｏｂの中心
の位置だけではなく形状、向き、大きさなども求めるこ
とが可能になる。図１６において図１、図１０と同符号
を付した箇所は同様に機能する。

【００５４】（実施形態６）本実施形態は認識対象Ｏｂ
の形状や向き認識することができるようにしたものであ
って、物体が比較的複雑な形状を有している場合につい
て適用可能な方法である。すなわち、図１８（ａ）に示
すように、一つの認識対象ＯｂについてエッジＥが円形
になる部分Ｑ₁，Ｑ₂，Ｑ₃が存在する場合などを対象
にしている。このような画像が得られる物体は、たとえ
ば円形に開口する孔が３個設けられているような物体で
ある。

【００５５】本実施形態では図１７に示すように、図１
に示した実施形態１の構成に形状認識部１１を付加した
構成を有し、この形状認識部１１の動作に特徴を有する
ものである。すなわち、条件検証部６では実施形態１に
説明した各方法を適用することによって上記部分Ｑ₁，
Ｑ₂，Ｑ₃の中心を求めるための対になる点を選択し、
中点検出部７および中心座標検出部８において各部分Ｑ
₁，Ｑ₂，Ｑ₃の中心Ｃ₁₁，Ｃ₁₂，Ｃ₁₃を求める。形状
認識部１１では、求めた中心Ｃ₁₁，Ｃ₁₂，Ｃ₁₃の位置関
係を、あらかじめ登録してある位置関係と照合すること
によって、認識対象Ｏｂがあらかじめ登録されているも
のか否かを識別するのである。また、登録されている物
体であれば、登録されている物体の位置を基準位置とし
て認識対象Ｏｂの向きを知ることができる。この種の技
術はパターンマッチング技術として周知のものを適用す
ることができる。図１７において図１に示したものと同
符号を付した部分は同機能を有する。

【００５６】（実施形態７）本実施形態は実施形態１な
いし実施形態６の技術を応用することによって、ステレ
オ画像の位置合わせを行なうようにし、ステレオ画像に
基づく３次元計測の精度を向上させようとするものであ
る。すなわち、３次元計測には各種の技術が知られてい
るが、図１９のように２台のＴＶカメラ１ａ，１ｂを用
いて同じ空間領域を撮像することにより、両ＴＶカメラ
１ａ，１ｂの視差を利用して空間領域の３次元情報を得
る技術がある。

【００５７】この種のステレオ画像を用いた３次元計測
について簡単に説明する。ステレオ画像を得るには、図
２０（ａ）に示すように、１個の物体Ｎを２台のＴＶカ
メラ１ａ，１ｂにより撮像し、得られた濃淡画像に平行
ステレオ変換を施す。ここにおいて、平行ステレオ変換
とは、２台のＴＶカメラ１ａ，１ｂを光軸および画像内
の水平方向がそれぞれ平行になるように配置するととも
に焦点距離を一致させた状態で、両ＴＶカメラ１ａ，１
ｂにより得られた画像の中で空間領域の同じ箇所に位置
する特定点の垂直方向の座標を一致させるように各画像
に変換を施すことである。平行ステレオ変換が施された
画像は、図２０（ｂ）のようになるから、画像内での特
定点の水平方向の位置ｘ１，ｘ２を求めると、各ＴＶカ
メラ１ａ，１ｂに用いたレンズの焦点距離Ｆ、両ＴＶカ
メラ１ａ，１ｂのレンズの中心間の距離Ｂを用いて物体
Ｎまでの距離Ｚを三角測量法の原理によって、次式で求
めることができる。Ｚ＝Ｂ・Ｆ／（ｘ１−ｘ２）しかして、物体Ｎの特定点として各ＴＶカメラ１ａ，１
ｂで得た画像内での認識対象Ｏｂａ，Ｏｂｂの中心Ｃ
ａ，Ｃｂを用いるものとすれば、中心Ｃａ，Ｃｂを求め
るために実施形態１ないし実施形態６で説明した技術を
適用することができるのであり、中心Ｃａ，Ｃｂを精度
よく求めることができるから、結果的に中心Ｃａ，Ｃｂ
の３次元的な位置（ＴＶカメラ１ａ，１ｂから物体Ｎま
での距離）を精度よく求めることができる。

【００５８】すなわち、各ＴＶカメラ１ａ，１ｂで撮像
された画像は、実施形態１ないし実施形態６で説明した
Ａ／Ｄ変換器２を入力段に持ち中心座標検出部８を出力
段に持つ画像処理装置Ａａ，Ａｂにより処理され、認識
対象Ｏｂａ，Ｏｂｂの中心Ｃａ，Ｃｂの位置を求めるこ
とができるのである。中心Ｃａ，Ｃｂの位置を求めた後
の処理は従来周知であって、３次元位置測定部１５では
上式を適用することによって物体Ｎまでの距離Ｚを求め
るのである。

【００５９】（実施形態８）実施形態７において、図２
２（ａ）のように複数個の物体Ｎ₁，Ｎ₂が存在する場
合には、各ＴＶカメラ１ａ，１ｂで得られた画像内に複
数個ずつの認識対象Ｏｂａ₁，Ｏｂａ₂，Ｏｂｂ₁，Ｏ
ｂｂ₂が存在することになる。このような場合に、各画
像ごとに複数個の中心位置が得られるから、どちらの物
体Ｎ₁，Ｎ₂について求めた中心位置かを識別すること
が必要である。そこで、本実施形態では、実施形態３と
同様の処理を行なって認識対象Ｏｂａ₁，Ｏｂａ₂，Ｏ
ｂｂ₁，Ｏｂｂ₂の形状を認識し、形状別に中心を求め
ることによって複数の物体Ｎ₁，Ｎ₂を分離して認識す
ることを可能にしている。

【００６０】図２２に示す例では認識対象Ｏｂａ₁，Ｏ
ｂａ₂，Ｏｂｂ₁，Ｏｂｂ₂には楕円と長方形とがある
から、実施形態３の技術によって各認識対象Ｏｂａ₁，
Ｏｂａ₂，Ｏｂｂ₁，Ｏｂｂ₂の形状を認識することが
できる。そこで、図２１に示すように、画像処理装置Ａ
ａ，Ａｂで求めた各認識対象Ｏｂａ₁，Ｏｂａ₂，Ｏｂ
ｂ₁，Ｏｂｂ₂ごとの中心位置を、対応付け処理部１６
において認識対象Ｏｂａ₁，Ｏｂａ₂，Ｏｂｂ₁，Ｏｂ
ｂ₂の形状ごとに対応付ける。すなわち、両ＴＶカメラ
１ａ，１ｂで得られた画像は水平ステレオ変換により垂
直方向の位置合わせが行なわれているから、対応付け処
理部１６では両画像を通る１本の走査線Ｌｓの上で同形
状の認識対象Ｏｂａ₁，Ｏｂａ₂，Ｏｂｂ₁，Ｏｂｂ₂
の中心位置を対応付けるのであり、この対応付けにより
各物体Ｎ₁，Ｎ₂を個別に認識することができ、３次元
位置測定部１５において各物体Ｎ₁，Ｎ₂までの距離を
個別に求めることができるのである。他の構成および動
作は実施形態７と同様である。

【００６１】（実施形態９）実施形態８では複数個の物
体が存在する場合についての例を示したが、本実施形態
では図２４（ａ）に示すように比較的複雑な形状の物体
Ｎについて３次元的な位置だけではなく、物体Ｎの向き
も検出するようにした例を示す。いま、物体Ｎは六角形
状であって円形に開口する３個の穴Ｍ₁，Ｍ₂，Ｍ₃が
形成されているものとする。この物体Ｎを２台のＴＶカ
メラ１ａ，１ｂにより撮像し、平行ステレオ変換を施す
とともに微分処理によってエッジを求めると図２４
（ｂ）に示すような画像が得られる。画像処理装置Ａ
ａ，Ａｂでは各ＴＶカメラ１ａ，１ｂにより得られた画
像内での認識対象Ｏｂａ，Ｏｂｂについて穴Ｍ₁，
Ｍ₂，Ｍ₃に対応する部分Ｑａ₁，Ｑａ₂，Ｑａ₃，Ｑ
ｂ₁，Ｑｂ₂，Ｑｂ₃の中心位置を求める。この処理に
は実施形態６と同様の処理を適用することができる。

【００６２】上述のようにして各部分Ｑａ₁，Ｑａ₂，
Ｑａ₃，Ｑｂ₁，Ｑｂ₂，Ｑｂ₃の中心位置が求まれ
ば、図２３に示すように、３次元位置測定部１５におい
て実施形態７の方法を用いることにより、穴Ｍ₁，
Ｍ₂，Ｍ₃の３次元的な位置を決定することができるの
である。このようにして穴Ｍ₁，Ｍ₂，Ｍ₃の中心の３
次元的な位置を決定されると、３次元姿勢測定部１７で
はこれらの中心の位置を用いて物体Ｎの３次元的な向き
を検出するのである。他の構成および動作は実施形態７
と同様である。

【００６３】

【発明の効果】請求項１の発明は、着目する境界線の形
状が点対称または少なくとも二組の向かい合う辺が平行
である多角形となる物体を撮像して得た濃淡画像の各画
素に関する微分値の変化点を認識対象のエッジとして検
出し、エッジ上の各点に関してエッジの方向を規定する
ことができるエッジ方向を求め、エッジ上でエッジ方向
が等しくなる２点を点対として点対間の中点の座標値に
関するヒストグラムを作成し、ヒストグラムにおいて最
大度数が得られる座標値を認識対象の代表点の座標とし
て採用するものであり、物体を含む濃淡画像を濃度のし
きい値により２値化するのではなく、濃淡画像を微分し
微分値の変化点を認識対象のエッジとして検出するか
ら、濃度の変化が比較的緩やかに変化する箇所を含む場
合でも再現性よくエッジを抽出することができるという
利点がある。また、エッジ上でエッジ方向が等しい点対
間の中点の座標値に関するヒストグラムを作成して最大
度数が得られる座標値を認識対象の代表点の座標として
採用するから、多数個の点に基づいて認識対象の代表点
を統計的に求めることになり、認識対象の代表点の位置
を精度よく求めることが可能になるという効果がある。

【００６４】請求項２の発明は、エッジ上でエッジ方向
が等しくなる点対について、点対間の中点が認識対象の
代表点付近に位置する点対のみを選択して中点を求める
ように制限条件を設定するものであり、制限条件を設け
ることによって多数の点対のうち認識対象の代表点を求
めるのに不要な点対を除去することができるから、比較
的少ない処理量で認識対象の代表点を精度よく求めるこ
とができるという利点を有するのである。

【００６５】請求項３の発明は、ヒストグラムにおいて
最大度数が得られた座標値を中点の座標とする点対によ
り形成される点列が並ぶエッジの特徴量に基づいて認識
対象の図形的特徴を抽出するものであり、認識対象の代
表点を決めるのに用いた点対のみからなる点列をエッジ
上の点として用いるから、認識対象の形状をよく反映し
ていると考えられる点列を抽出することになり、このよ
うな点列を用いることによって認識対象の図形的特徴を
正確に認識することが可能になるという利点がある。

【００６６】請求項４の発明は、上記点対のうち濃度勾
配の差が所定範囲内である点対のみを選択して中点を求
めるように上記制限条件を設定したものであり、請求項
５の発明は、上記点対の一方の点に関する濃度勾配の方
向を中心線に持ち、中心線から所定の角度範囲内に他方
の点が存在する点対のみを選択して中点を求めるように
上記制限条件を設定したものであり、請求項６の発明
は、上記点対間の距離が所定範囲内である点対のみを選
択して中点を求めるように上記制限条件を設定したもの
であって、点対の濃度勾配の差、点対の位置関係などに
基づいて認識対象の代表点の位置を求める際に明らかに
不要と考えられる点対を除外して認識対象の代表点の位
置を求めるから、処理が簡単になるとともに求めた代表
点の位置の精度が高くなるという利点がある。

【００６７】請求項７の発明は、濃淡画像がカラー画像
であって、特定の色範囲の領域に存在する認識対象につ
いて中点を求めるので、色範囲を制限することにより、
たとえば複数個の異なる色の物体について個別に代表点
の位置を求める必要がある場合に、各物体を色により個
別に識別することが可能になるという利点がある。請求
項８の発明は、上記エッジの一部を削除した残りのエッ
ジについて上記ヒストグラムを作成するから、複数個の
物体が存在するのであれば、不要な物体のエッジをあら
かじめ削除した上でヒストグラムを作成することによ
り、無意味な情報が発生しにくくなり、認識対象の代表
点の位置を精度よく求めることが可能になるという利点
がある。

【００６８】請求項９の発明は、上記点列の各点に関す
る濃度勾配の分布を求め、濃度勾配の分布パターンを既
知の分布パターンと比較することにより認識対象の形状
を認識するのであり、点列の各点に関する濃度勾配の分
布パターンを求めるから、濃度勾配の分布パターンのパ
ターンマッチングによって認識対象の形状を認識するこ
とが可能になる。しかも、濃度勾配の分布パターンを求
める点列は認識対象の中点を求める際に用いた点列であ
るから、認識対象の形状をよく反映していると考えら
れ、このような点列から認識対象の形状を求めることに
より認識対象の形状を正確に把握することができるとい
う利点がある。

【００６９】請求項１０の発明は、上記点列の各点に関
する濃度勾配の分布を求め、濃度勾配の分布パターンに
基づいて認識対象の向きを検出するのであり、点列の各
点に関する濃度勾配の分布を求めることにより、濃度勾
配の分布パターンに基づいて認識対象の向きを求めるこ
とができる。しかも、濃度勾配の分布パターンを求める
点列は認識対象の中点を求める際に用いた点列であるか
ら、認識対象の図形的特性をよく反映していると考えら
れ、このような点列から認識対象の向きを求めることに
より認識対象の向きを正確に把握することができるとい
う利点を有するのである。

【００７０】請求項１１の発明は、上記点列の個数を求
め、点列の個数に基づいて認識対象の大きさを検出する
のであり、点列の個数に基づいて認識対象の大きさを求
めることができる。しかも、個数を求める点列は認識対
象の中点を求める際に用いた点列であるから、認識対象
の図形的特性をよく反映していると考えられ、このよう
な点列の個数を求めることにより認識対象の大きさを再
現性よく求めることができるという利点がある。

【００７１】請求項１２の発明は、上記ヒストグラムに
おいて最大度数が得られる座標値を代表点の座標に持つ
認識対象のエッジを削除する第１過程と、第１過程後に
残ったエッジについて上記ヒストグラムを再度作成する
第２過程とを繰り返すことにより、複数個の認識対象の
代表点の座標を個別に求めるのであり、大きさの異なる
複数個の認識対象が存在する場合に、大きい認識対象か
ら順に代表点の位置を求めるとともに、代表点の位置を
求めた認識対象のエッジを除外してヒストグラムを作成
するから、各認識対象の代表点の位置を個別に求めるこ
とが可能になるという利点を有する。

【００７２】請求項１３の発明は、複数個の認識対象を
持つ物体について各認識対象の代表点の座標を求め、求
めた代表点の座標の位置関係に基づいて物体の位置およ
び向きを認識するのであり、複数個の認識対象を持つ物
体から各認識対象の代表点の位置関係を求めるから、物
体の位置や向きを認識することが可能になるという利点
がある。

【００７３】請求項１４の発明は、物体を複数の異なる
位置から撮像することにより得た複数の濃淡画像につい
て、それぞれ認識対象の代表点の座標を求め、求めた認
識対象の代表点の座標を対応付けした後、三角測量法を
適用することにより物体までの距離を求めるのであり、
ステレオ画像を用いて認識対象までの距離を求めるに際
して、複数の画像を対応付けるために請求項１の方法に
より求めた認識対象の代表点の位置を用いるから、高い
精度で対応付けを行なうことができる。その結果、認識
対象までの距離を精度よく求めることができるという利
点を有する。

【００７４】請求項１５の発明は、物体を複数の異なる
位置から撮像することにより得た複数の濃淡画像につい
て、それぞれ認識対象の代表点の座標を求め、代表点の
座標を求めた点対により形成される点列が並ぶエッジの
特徴量に基づいて認識対象の図形的特徴を抽出し、各画
像内で同一の図形的特徴を有する領域を対応付けした
後、三角測量法を適用することにより物体までの距離を
求めるのであり、ステレオ画像を用いて認識対象までの
距離を求めるに際して、複数の画像を対応付けるために
請求項３の方法により求めた認識対象の図形的特徴を用
いるから、高い精度で対応付けを行なうことができると
いう利点がある。その結果、認識対象までの距離を精度
よく求めることができる。

【００７５】請求項１６の発明は、複数個の認識対象を
持つ物体を複数の異なる位置から撮像することにより得
た複数の濃淡画像について、各認識対象の代表点の座標
をそれぞれの画像から求め、各画像内で求めた代表点の
座標を対応付けした後に、三角測量法を適用することに
より各認識対象の代表点の座標の３次元空間での位置を
求め、代表点の座標の位置関係に基づいて３次元空間内
での物体の位置および向きを認識するものであり、ステ
レオ画像を用いて３次元情報を得るに際して、物体の複
数箇所の位置を求め、これらの位置関係に基づいて物体
の位置や向きを認識するのであって、複数の画像の対応
付けには請求項１の方法により求めた認識対象の代表点
の位置を用いるから、高い精度でかつ再現性よく物体の
３次元情報を得ることができるという利点を有する。

【図面の簡単な説明】

【図１】実施形態１を示すブロック図である。

【図２】実施形態１の原理説明図である。

【図３】実施形態１の原理説明図である。

【図４】実施形態１における制限条件の例を示す図であ
る。

【図５】実施形態１における制限条件の例を示す図であ
る。

【図６】実施形態１における制限条件の例を示す図であ
る。

【図７】実施形態１における制限条件の例を示す図であ
る。

【図８】実施形態１の動作説明図である。

【図９】実施形態２を示すブロック図である。

【図１０】実施形態３を示すブロック図である。

【図１１】実施形態３の原理説明図である。

【図１２】実施形態３の原理説明図である。

【図１３】実施形態３の原理説明図である。

【図１４】実施形態４を示すブロック図である。

【図１５】実施形態４の動作説明図である。

【図１６】実施形態５を示すブロック図である。

【図１７】実施形態６を示すブロック図である。

【図１８】実施形態６の原理説明図である。

【図１９】実施形態７を示すブロック図である。

【図２０】実施形態７の原理説明図である。

【図２１】実施形態８を示すブロック図である。

【図２２】実施形態８の原理説明図である。

【図２３】実施形態９を示すブロック図である。

【図２４】実施形態８の原理説明図である。

【図２５】従来例の動作説明図である。

【図２６】従来例の問題点を説明する図である。

【図２７】従来例の問題点を説明する図である。

【図２８】従来例の問題点を説明する図である。

【図２９】従来例の問題点を説明する図である。

【符号の説明】

１ＴＶカメラ２Ａ／Ｄ変換器３フレームメモリ４微分処理部５点対抽出部６条件検証部７中点検出部８中心座標検出部

Claims

【特許請求の範囲】

【請求項１】着目する境界線の形状が点対称または少
なくとも二組の向かい合う辺が平行である多角形となる
物体を撮像して得た濃淡画像の各画素に関する微分値の
変化点を認識対象のエッジとして検出し、エッジ上の各
点に関してエッジの方向を規定することができるエッジ
方向を求め、エッジ上でエッジ方向が等しくなる２点を
点対として点対間の中点の座標値に関するヒストグラム
を作成し、ヒストグラムにおいて最大度数が得られる座
標値を認識対象の代表点の座標として採用することを特
徴とする物体認識方法。
【請求項２】エッジ上でエッジ方向が等しくなる点対
について、点対間の中点が認識対象の代表点付近に位置
する点対のみを選択して中点を求めるように制限条件を
設定したことを特徴とする請求項１記載の物体認識方
法。
【請求項３】ヒストグラムにおいて最大度数が得られ
た座標値を中点の座標とする点対により形成される点列
が並ぶエッジの特徴量に基づいて認識対象の図形的特徴
を抽出することを特徴とする請求項１または請求項２記
載の物体認識方法。
【請求項４】上記点対のうち濃度勾配の差が所定範囲
内である点対のみを選択して中点を求めるように上記制
限条件を設定したことを特徴とする請求項２記載の物体
認識方法。
【請求項５】上記点対の一方の点に関する濃度勾配の
方向を中心線に持ち、中心線から所定の角度範囲内に他
方の点が存在する点対のみを選択して中点を求めるよう
に上記制限条件を設定したことを特徴とする請求項２記
載の物体認識方法。
【請求項６】上記点対間の距離が所定範囲内である点
対のみを選択して中点を求めるように上記制限条件を設
定したことを特徴とする請求項２記載の物体認識方法。
【請求項７】濃淡画像はカラー画像であって、特定の
色範囲の領域に存在する認識対象について中点を求める
ことを特徴とする請求項１ないし請求項６記載の物体認
識方法。
【請求項８】上記エッジの一部を削除した残りのエッ
ジについて上記ヒストグラムを作成することを特徴とす
る請求項１ないし請求項６記載の物体認識方法。
【請求項９】上記点列の各点に関する濃度勾配の分布
を求め、濃度勾配の分布パターンを既知の分布パターン
と比較することにより認識対象の形状を認識することを
特徴とする請求項３記載の物体認識方法。
【請求項１０】上記点列の各点に関する濃度勾配の分
布を求め、濃度勾配の分布パターンに基づいて認識対象
の向きを検出することを特徴とする請求項３記載の物体
認識方法。
【請求項１１】上記点列の個数を求め、点列の個数に
基づいて認識対象の大きさを検出することを特徴とする
請求項３記載の物体認識方法。
【請求項１２】上記ヒストグラムにおいて最大度数が
得られる座標値を代表点の座標に持つ認識対象のエッジ
を削除する第１過程と、第１過程後に残ったエッジにつ
いて上記ヒストグラムを再度作成する第２過程とを繰り
返すことにより、複数個の認識対象の代表点の座標を個
別に求めることを特徴とする請求項１記載の物体認識方
法。
【請求項１３】複数個の認識対象を持つ物体について
各認識対象の代表点の座標を求め、求めた代表点の座標
の位置関係に基づいて物体の位置および向きを認識する
ことを特徴とする請求項１記載の物体認識方法。
【請求項１４】物体を複数の異なる位置から撮像する
ことにより得た複数の濃淡画像について、それぞれ認識
対象の代表点の座標を求め、求めた認識対象の代表点の
座標を対応付けした後、三角測量法を適用することによ
り物体までの距離を求めることを特徴とする請求項１記
載の物体認識方法。
【請求項１５】物体を複数の異なる位置から撮像する
ことにより得た複数の濃淡画像について、それぞれ認識
対象の代表点の座標を求め、代表点の座標を求めた点対
により形成される点列が並ぶエッジの特徴量に基づいて
認識対象の図形的特徴を抽出し、各画像内で同一の図形
的特徴を有する領域を対応付けした後、三角測量法を適
用することにより物体までの距離を求めることを特徴と
する請求項３記載の物体認識方法。
【請求項１６】複数個の認識対象を持つ物体を複数の
異なる位置から撮像することにより得た複数の濃淡画像
について、各認識対象の代表点の座標をそれぞれの画像
から求め、各画像内で求めた代表点の座標を対応付けし
た後に、三角測量法を適用することにより各認識対象の
代表点の座標の３次元空間での位置を求め、代表点の座
標の位置関係に基づいて３次元空間内での物体の位置お
よび向きを認識することを特徴とする請求項１記載の物
体認識方法。