JPH1097634A

JPH1097634A - 物体の認識方法

Info

Publication number: JPH1097634A
Application number: JP8252671A
Authority: JP
Inventors: Tomoharu Nakahara; 智治中原; Hidekazu Araki; 秀和荒木
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 1996-09-25
Filing date: 1996-09-25
Publication date: 1998-04-14
Anticipated expiration: 2016-09-25
Also published as: JP3552419B2

Abstract

(57)【要約】【課題】二値画像並びに多値画像の両画像に対応できる
高速な物体の認識方法を提供する。【解決手段】撮像装置１で物体を撮像しＡ／Ｄ変換部２
で濃淡画像を得る。濃淡画像の中で物体と背景を分離す
るように、画像蓄積部３にて二値化し二値画像を得る。
二値画像に対して、ウィンドウ生成部４は矩形のウィン
ドウ枠の少なくとも一辺が物体を横切るようにウィンド
ウＷを設定する。物体初期検出部５は、物体と交差する
ウィンドウ枠の辺を検出する。物体がおおよそ存在する
位置にウィンドウ枠を設定し、ウィンドウ枠上での物体
の有無を判断して、処理の最初に物体Ａのおおよその位
置及び方向（姿勢）を求めている。このため、物体の存
在している可能性の高い範囲に効率良く物体検出のため
の走査線を設定でき、物体検出に要する処理の回数を減
らすことができ、高速に処理を行うことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体を撮像して得
られる濃淡画像に基づいて物体の位置と姿勢を認識する
物体の認識方法に関する。

【０００２】

【従来の技術】従来より、所謂ピックアンドプレイス
（物体を保持して所定の位置に移動させる装置）やロボ
ット等により部品（物体）を拾い上げる時、特に部品が
位置決めされていないような場合には、撮像装置により
撮像した部品の画像を画像処理することで部品の位置と
姿勢を認識した後、認識された部品の位置と姿勢の情報
を用いてロボット等による作業が行われていた。このよ
うな場合の画像処理には高速な処理が要求されるため、
二値化された画像（二値画像）を使って重心と２次モー
メントを求めることにより物体の位置と姿勢を認識する
方法が一般に採られている。

【０００３】

【発明が解決しようとする課題】しかし、上記従来方法
では、部品を撮像した画像を構成する全ての画素に対し
て処理を行うため、検出精度を高めるために分解能の高
い画像、すなわち、画像サイズが大きい画像になると、
計算量が多く処理時間がかかるという問題がある。ま
た、二値画像を用いる画像処理において検出精度を高め
るためには、認識対象となる物体と背景とのコントラス
トが高いことが必要となるが、実際の生産ラインでは、
部品と背景とのコントラストを高くすることができない
場合があり、精度の高い位置と姿勢の認識の妨げとなっ
ている。

【０００４】本発明は上記問題に鑑みて為されたもので
あり、その目的とするところは、二値画像並びに多値画
像の両画像に対応できる高速な物体の認識方法を提供す
ることにある。

【０００５】

【課題を解決するための手段】請求項１の発明は、上記
目的を達成するために、物体を撮像して得られる濃淡画
像に対して、物体の少なくとも一部が横切るようなウィ
ンドウ枠を有するウィンドウを、物体がおおよそ存在す
る位置に予め設定し、ウィンドウ枠に沿って濃淡画像を
走査して各画素の画素データに基づいてウィンドウ枠上
での物体の有撫を判断し、物体が存在するウィンドウ枠
の位置に応じて濃淡画像を走査する走査方向と走査線移
動方向とを選択するとともに、選択された走査線移動方
向に沿って走査線を移動させながら、ウィンドウ内にお
ける走査線上での画素データに基づいて物体の有無を判
断することで物体の位置と姿勢を求めることを特徴と
し、物体がおおよそ存在する位置に設定されたウィンド
ウ枠上での物体の有無を判断して処理の最初に物体のお
およその位置・方向を求め、その情報に基づき走査線を
移動させて物体の詳細な位置と姿勢の認識を行うことに
より、物体の存在している可能性の高い位置に効率良く
物体検出のための走査線の位置を設定でき、物体の位置
と姿勢を求める処理の回数を減らすことができる。

【０００６】また、走査線上における物体の有無の判断
は走査線上の画素データの変化に基づいて行うため、請
求項４の発明のように、濃淡画像を空間微分して得られ
る微分値画像も使用でき、コントラストの低い物体の画
像に対しても物体と背景との境界を良く表した画像を使
って物体の位置と姿勢を認識することができる。

【０００７】

【発明の実施の形態】

（実施形態１）図１は本実施形態における物体の認識方
法を実現するためのシステム構成を示すブロック図であ
る。なお、本実施形態は濃淡画像を二値化して得られる
二値画像を用いて物体の位置と姿勢の認識処理を行うも
のである。

【０００８】テレビカメラのような撮像装置１により対
象物（物体）を撮像し、撮像したアナログ画像をＡ／Ｄ
変換部２においてディジタル値に変換することで図２に
示すような濃淡画像を得ている。ここで、濃淡画像と
は、各画素ごとに濃度に応じた値（画素データ）が与え
られた画像をいう。次に、この濃淡画像の中の物体の部
分（図２中のＡの部分、以下、物体Ａと表記する）と、
物体Ａ以外の背景の部分（図２中のＢの部分、以下、背
景Ｂと表記する）とを各々の明るさ（濃度値＝画素デー
タ）に応じて分離するように、濃淡画像を画像蓄積部３
において二値化し、得られた二値画像を図示しない画像
処理装置内のメモリに蓄える。

【０００９】図２に示した濃淡画像を二値化して得られ
る二値画像を図３に示す。このように、本実施形態の場
合では、物体Ａは’１’（明部）、背景は’０’（暗
部）に二値化される。この二値画像に対して、ウィンド
ウ生成部４では、図４に示すように、矩形のウィンドウ
枠Ｆの少なくとも一辺ｆ₁〜ｆ₄が物体Ａを横切るよう
にウィンドウＷを設定する。なお、説明を簡単にするた
めに、ウィンドウ枠Ｆの上辺をｆ₁、右辺をｆ₂、下辺
をｆ₃、左辺をｆ₄と表記する（図４参照）。また、上
辺ｆ₁及び下辺ｆ₃に平行な軸をｘ軸、右辺ｆ₂及び左
辺ｆ₄に平行な軸をｙ軸とする二次元直交座標系を想定
する。

【００１０】そして、物体初期検出部５は、図５のフロ
ーチャートに示すような処理を行なって、物体Ａと交差
するウィンドウ枠Ｆの辺ｆ₁〜ｆ₄を検出する。図５を
参照して上記検出処理をさらに詳しく説明する。まず、
ウィンドウ枠Ｆの何れかの辺ｆ₁〜ｆ₄上に走査開始点
を設定し、走査開始点に設定された画素から各辺ｆ₁〜
ｆ₄に沿って順次アドレスを進ませながら、各画素のデ
ータにより物体Ａの存在を検出する。すなわち、画素デ
ータが「１」の場合には物体Ａ有り、「０」の場合には
物体Ａ無しというように判断する。そして、物体Ａと交
差する（横切る）ウィンドウ枠Ｆの辺（図４の場合であ
れば下辺ｆ₃）が検出できれば、その辺ｆ₃を記憶し、
ウィンドウ枠Ｆの全ての辺ｆ₁〜ｆ₄についての走査が
終わればこの処理は終了する。なお、何れの辺ｆ₁〜ｆ
₄も物体Ａと交差していない場合には、ウィンドウ生成
部４において再度別のウィンドウＷを設定し、新しいウ
ィンドウＷに対して上記検出処理を行なえばよい。

【００１１】次に走査方向選択部６は、図６のフローチ
ャートに示すような処理を行ない、物体初期検出部５の
検出結果に応じて、ウィンドウ枠Ｆの上辺ｆ₁あるいは
下辺ｆ₃が物体Ａと交差する場合には走査方向をｘ軸に
平行とし、右辺ｆ₂あるいは左辺ｆ₄が物体Ａと交差す
る場合には走査方向をｙ軸に平行とする。すなわち、図
４に示すような場合には下辺ｆ₃が物体Ａと交差してい
るから、走査方向選択部６においてｘ軸方向が走査方向
として選択される。なお、何れの辺ｆ₁〜ｆ₄も物体Ａ
と交差しない場合には、上述のようにウィンドウの設定
からやり直すようにすればよい。

【００１２】走査線移動部７は、図７のフローチャート
に示すような処理を行ない、上記のように走査方向選択
部６にて選択された移動方向へ走査線の移動を行う。図
７を参照して上記移動処理をさらに詳しく説明する。ま
ず、初期値として、物体初期検出部５で検出されたウィ
ンドウ枠Ｆの下辺（物体Ａと交差する辺）ｆ₃を第一走
査線、第一走査線（下辺ｆ₃）に平行して対向するウィ
ンドウ枠Ｆの上辺ｆ₁を第二走査線と設定する。次に、
第一走査線と第二走査線の中間位置に第三走査線を設定
し、この第三走査線上で物体Ａが検出されれば（第三走
査線が物体Ａと交差すれば）、第三走査線を新たに第一
走査線とする。反対に第三走査線上で物体Ａが検出され
なければ（第三走査線が物体Ａと交差しなければ）、第
三走査線を新たに第二走査線とする。その後、第一走査
線と第二走査線の間隔が１画素となるまで上記処理を繰
り返し行なう。そして、繰り返し処理の終了時における
第一走査線上の物体が存在する位置を物体位置と認識す
る。

【００１３】次に、物体検出部８における上記走査線上
での物体検出の処理を、図３及び図８に示すフローチャ
ートを参照して説明する。図３において、走査線Ｌ₁上
の画素データを順次読みだしながら、読み出した画素デ
ータが「１」であれば、物体存在長さＫに１を加えると
ともにその画素の二値画像上でのアドレス（ｘｙ二次元
直交座標系における座標値で示される）を記憶する。反
対に画素データが「０」であれば、物体存在長さＫを０
に初期化するとともに、記憶しているその画素のアドレ
スを消去する。そして、物体存在長さＫを所定値αと比
較し、物体存在長さＫが所定値α以上であれば、記憶し
ている１乃至複数の画素のアドレスの重心（Ｃｘ，Ｃ
ｙ）を求め、その重心（Ｃｘ，Ｃｙ）を走査線Ｌ₁上の
物体位置とする。また、物体存在長さＫが所定値αより
小さい間は、画素データの読み出しからアドレスを記憶
するまでの上記処理を繰り返す。ここで、上記所定値α
は、例えば二値画像上での物体Ａの見かけ上の物体幅の
最小値に基づいて設定すればよい。

【００１４】なお、本実施形態では、撮像装置１から入
力された濃淡画像を予め二値化した二値画像に対して物
体検出の走査を行なっているが、物体検出の走査を入力
濃淡画像に対して行ない、画素データの二値化と物体検
出とを同時に行なうようにすることも可能であって、何
れの方法でも同様の結果が得られることはいうまでもな
い。

【００１５】そして、走査線移動部７および物体検出部
８の処理により得られた各走査線上での物体の位置（画
素のアドレス）に基づいて、位置・姿勢認識部９で物体
の位置と姿勢の認識を行う。以下、この位置・姿勢認識
部９における位置・姿勢認識処理を、図９及び図１０の
フローチャートを参照して説明する。まず、物体Ａの位
置を検出した走査線Ｌ₂上における物体位置を二値画像
上の座標Ｓ（ｘ_S，ｙ _S）とし、走査線Ｌ₂より所定距
離Ｎだけ離れた位置に別の走査線Ｌ₃を設定する。次
に、この新たに設定された走査線Ｌ₃上での物体位置を
座標Ｕ（ｘ_u，ｙ _u）とし、点Ｓと点Ｕを結ぶ線分と直
交軸（今の場合はｘ軸）とのなす角度Θを下式により求
め、この角度Θを物体Ａの姿勢とする。

【００１６】 Θ＝arctan｛（ｙ_u−ｙ_S）／（ｘ_u−ｘ_S）｝このようにして、物体Ａの位置Ｓと姿勢Θとを求めるこ
とができる。上述のように本実施形態によれば、物体Ａ
がおおよそ存在する位置にウィンドウを設定し、設定さ
れたウィンドウのウィンドウ枠上での物体Ａの有無を判
断して、処理の最初に物体Ａのおおよその位置及び方向
を求めた後、その位置及び方向の情報に基づいて走査線
を移動させ、物体Ａの詳細な位置と姿勢の認識を行うよ
うにしているため、物体Ａの存在している可能性の高い
範囲に効率良く物体検出のための走査線を設定でき、物
体検出に要する処理の回数を減らすことができ、高速に
処理を行うことができる。

【００１７】（実施形態２）本実施形態は、濃淡画像を
空間微分して得られる微分値画像と濃度方向画像とを利
用する点に特徴がある。なお、本実施形態の認識方法を
実現するためのシステム構成は図１に示した実施形態１
の構成と共通であるから、システム構成についての図示
及び説明は省略する。

【００１８】撮像装置１により対象物（物体）を撮像
し、撮像したアナログ画像をＡ／Ｄ変換部２においてデ
ィジタル値に変換して濃淡画像を得る（図２参照）。次
に、画像蓄積部３において、この濃淡画像を空間微分し
て図示しない画像処理装置内のメモリに蓄える。図１１
（ａ）に濃淡画像に対する微分値画像７１、同図（ｂ）
に濃度方向画像をそれぞれ示す。ここで、空間微分の方
法は従来から各種提案されているが、例えば次に示すよ
うな方法を用いることができる。すなわち、着目画素の
８近傍画素の濃度値Ｄ（ｘ，ｙ）から、下式により求め
られるｘ軸及びｙ軸方向の微分値Ｇｘ，Ｇｙを利用する
ものである。Ｇｘ＝｛Ｄ（ｘ＋１，ｙ−１）＋Ｄ（ｘ＋１，ｙ）＋Ｄ（ｘ＋１，ｙ＋１）｝− ｛Ｄ（ｘ−１，ｙ−１）＋Ｄ（ｘ−１，ｙ）＋Ｄ（ｘ−１，ｙ＋１）｝Ｇｙ＝｛Ｄ（ｘ−１，ｙ＋１）＋Ｄ（ｘ，ｙ＋１）＋Ｄ（ｘ＋１，ｙ＋１）｝− ｛Ｄ（ｘ−ｌ，ｙ−１）＋Ｄ（ｘ，ｙ−１）＋Ｄ（ｘ＋１，ｙ−１）｝これらより、着目画素（ｘ，ｙ）における微分値Ｇおよ
び濃度方向値θは以下の様になる。

【００１９】Ｇ＝（Ｇｘ²＋Ｇｙ²）^1/2 θ＝arctan（Ｇｙ／Ｇｘ）そして、上記微分値Ｇならびに濃度方向値θを画素デー
タに持つ微分値画像と濃度方向画像を得ることができ
る。画像処理装置内のメモリに蓄えられたメモリ画像
（微分値画像及び濃度方向画像）に対して、ウィンドウ
生成部１４では、図４に示すように実施形態１と同様に
して、矩形のウィンドウ枠Ｆの少なくとも一辺ｆ₁〜ｆ
₄が物体Ａを横切るようにウィンドウＷを設定する。

【００２０】そして、物体初期検出部５は、図５のフロ
ーチャートに示すような実施形態１と同様の処理を行な
って、物体Ａと交差するウィンドウ枠Ｆの辺ｆ₁〜ｆ₄
を検出する。なお、各辺ｆ₁〜ｆ₄を走査して物体Ａの
有無を検出する方法については後述する。次に走査方向
選択部６は、図６のフローチャートに示すような実施形
態１と同様の処理を行ない、物体初期検出部５の検出結
果に応じて、ウィンドウ枠Ｆの上辺ｆ₁あるいは下辺ｆ
₃が物体Ａと交差する場合には走査方向をｘ軸に平行と
し、右辺ｆ₂あるいは左辺ｆ₄が物体Ａと交差する場合
には走査方向をｙ軸に平行とする。

【００２１】走査線移動部７は、図１３に示すような処
理を行ない、上記のように走査方向選択部６にて選択さ
れた移動方向へ走査線の移動を行う。図１２及び図１３
のフローチャートを参照して上記移動処理をさらに詳し
く説明する。まず、初期値として、物体初期検出部５で
検出されたウィンドウ枠Ｆの辺ｆ₃を第一走査線Ｌ₁₁、
第一走査線Ｌ₁₁（＝辺ｆ₃）上での物体Ａの濃度方向
（図１２における矢印イ）に直交する方向（同図におけ
る矢印ロ）を走査線移動方向に設定する。次に、第一走
査線Ｌ₁₁から走査線移動方向ロに所定距離Ｍだけ離れた
位置に、走査移動方向ロと略直交する第二走査線Ｌ₁₂を
設定する。この第二走査線Ｌ₁₂上で物体Ａが検出されれ
ば（第二走査線Ｌ₁₂が物体Ａと交差すれば）、第二走査
線Ｌ₁₂上での物体Ａの濃度方向に直交する方向を新たな
走査線移動方向、第二走査線Ｌ₁₂を新たな第一走査線と
置き直す。反対に第二走査線Ｌ₁₂上で物体Ａが検出され
なければ（第二走査線Ｌ₁₂が物体Ａと交差しなけれ
ば）、上記所定距離ＭをＭ＝Ｍ／２に置き直す。その
後、所定距離Ｍが１画素以下となるまで上記処理を繰り
返し行なう。そして、繰り返し処理の終了時における第
一走査線上の物体が存在する位置を物体位置として認識
する。

【００２２】次に、物体検出部８における上記走査線上
での物体検出の処理を、図１１及び図１４に示すフロー
チャートを参照して説明する。まず、図１１（ａ）
（ｂ）に示す微分値画像及び濃度方向画像に対して、ｘ
軸に略平行な走査線Ｌ₁₄上の画素データ（微分値Ｇ）を
順次読みだし、画素データがしきい値以上である点Ｐを
検出し、点Ｐのアドレス（ｘ_p，ｙ_p）及び濃度方向値
θ₁を記憶する。さらに、点Ｐから走査線Ｌ₁₄上の画素
データを順次読みだし、画素データがしきい値以上であ
る点Ｑ（候補点）を検出し、点Ｑのアドレス（ｘ_q，ｙ
_q）及び濃度方向値θ₂を記憶する。このとき、点Ｐ−
Ｑ間の距離Ｌが所定値β以下であり、且つ１８０−Δθ
＜｜θ₁−θ₂｜＜１８０＋Δθであれば、点Ｐと点Ｑ
との中点を走査線Ｌ₁₄上の物体位置とする。ここで、上
記所定値βは、微分値画像あるいは濃度方向画像上での
物体Ａの見かけの物体幅の最大値に基づき設定され、Δ
θは濃度方向値の許容誤差を表す。

【００２３】なお、本実施形態では、撮像装置１から入
力された濃淡画像を予め空間微分した微分値画像及び濃
度方向画像に対して物体検出の走査を行なっているが、
物体検出の走査を入力濃淡画像に対して行ない、濃淡画
像に対する空間微分と物体検出とを同時に行なうように
することも可能であって、何れの方法でも同様の結果が
得られることはいうまでもない。

【００２４】そして、走査線移動部７および物体検出部
８の処理により得られた各走査線上での物体の位置（画
素のアドレス）に基づいて、位置・姿勢認識部９で物体
の位置と姿勢の認識を行う。以下、この位置・姿勢認識
部９における位置・姿勢認識処理を、図１５及び図１６
のフローチャートを参照して説明する。まず、物体Ａの
位置を検出した走査線Ｌ₁₅上における物体Ａと背景Ｂと
の境界点のアドレスをそれぞれ点Ｒ（ｘ_r，ｙ_r），点
Ｔ（ｘ_t，ｙ_t）とし、各点における濃度方向値θ_r，
θ_t（図１５における矢印ハ，ニ）を記憶する。次に点
Ｒ，Ｔの座標（（アドレス）から下式により物体位置Ｓ
（ｘ_s，ｙ_s）を計算する。

【００２５】ｘ_s＝（ｘ_r＋ｘ_t）／２ｙ_s＝（ｙ_r＋ｙ_t）／２さらに、各交点Ｒ，Ｔにおける濃度方向値θ_r，θ_tを
用いて物体Ａと直交軸（今の場合はｘ軸）とのなす角度
Θを下式により求め、この角度Θ（図１５における矢印
ホの方向）を物体Ａの姿勢とする。

【００２６】Θ＝（θ_r＋θ_t）／２このようにして、物体Ａの位置Ｓと姿勢Θとを求めるこ
とができる。上述のように本実施形態によれば、実施形
態１と同様に物体Ａの存在している可能性の高い範囲に
効率良く物体検出のための走査線を設定でき、物体検出
に要する処理の回数を減らすことができ、高速に処理を
行うことができる。また、濃淡画像を空間微分して得ら
れる微分値画像から物体Ａの位置と姿勢の認識を行なう
ことにより、コントラストの低い物体の画像に対して
も、物体Ａと背景Ｂとの境界を良く表した画像（微分値
画像及び濃度方向画像）を使って検出することができ、
精度の高い位置と姿勢の認識ができるという利点があ
る。

【００２７】（実施形態３）本実施形態は物体検出部８
における物体の検出方法に特徴を有し、他の構成及び処
理方法などは実施形態１と共通である。よって、共通す
る部分についての説明は省略する。本実施形態の特徴で
ある物体検出部８における物体の検出方法を、図１７及
び図１８のフローチャートを参照して説明する。図１７
において、走査線Ｌ₁上の画素データを順次読みだしな
がら、画素データが「１」である点Ｐを検出する。この
点Ｐから所定距離Ｌだけ走査線Ｌ₁上を進んだ点Ｒから
逆方向（点Ｐに近づく方向）に走査線Ｌ₁を走査し、画
素データが「１」である点Ｑを検出する。そして、点Ｐ
−Ｑ間の距離が所定値α以上であれば、点Ｐと点Ｑの中
点を走査線Ｌ₁上の物体位置とする。また、点Ｐ−Ｑ間
の距離が所定値αよりも小さければ、点Ｒのアドレスに
戻って上記処理を繰り返す。ここで、上記所定値αは、
例えば二値画像上での物体Ａの見かけの物体幅の最小値
に基づいて設定される。

【００２８】本実施形態によれば、物体Ａと背景Ｂとの
境界部分を検出することで物体Ａの位置を検出するよう
にしているため、例えば図１９に示すように物体Ａの表
面内側に文字（”９６０９１６”）が表されているよう
な場合であっても、その影響を受けずに物体Ａの位置と
姿勢の認識を行うことができるという利点がある。な
お、本実施形態では、撮像装置１から入力された濃淡画
像を予め二値化した二値画像に対して物体検出の走査を
行なっているが、物体検出の走査を入力濃淡画像に対し
て行ない、画素データの二値化と物体検出とを同時に行
なうようにすることも可能であって、何れの方法でも同
様の結果が得られることはいうまでもない。

【００２９】（実施形態４）本実施形態は物体検出部８
における物体の検出方法に特徴を有し、他の構成及び処
理方法などは実施形態２と共通である。よって、共通す
る部分についての説明は省略する。本実施形態の特徴で
ある物体検出部８における物体の検出方法を、図２０及
び図２１のフローチャートを参照して説明する。まず、
図２０（ａ）（ｂ）に示す微分値画像及び濃度方向画像
に対して、ｘ軸に略平行な走査線Ｌ₁₄上の画素データ
（微分値Ｇ）を順次読みだし、画素データがしきい値以
上である点Ｐを検出し、点Ｐのアドレス（ｘ_p，ｙ_p）
及び濃度方向値θ₁を記憶する。さらに、点Ｐから所定
距離Ｌだけ走査線Ｌ₁₄上を進んだ点Ｒ（候補点）から走
査線Ｌ₁₄を逆方向に走査して、画素データがしきい値以
上である点Ｑを検出し、点Ｑのアドレス（ｘ_q，ｙ_q）
及び濃度方向値θ₂を記憶する。このとき、点Ｐ−Ｑ間
の距離が所定値β以下であり、且つ１８０−Δθ＜｜θ
₁−θ₂｜＜１８０＋Δθであれば、点Ｐと点Ｑとの中
点を走査線Ｌ₁₄上の物体位置とする。ここで、上記所定
値βは、微分値画像あるいは濃度方向画像上での物体Ａ
の見かけの物体幅の最大値に基づき設定され、Δθは濃
度方向値の許容誤差を表す。

【００３０】本実施形態によれば、物体Ａと背景Ｂとの
境界部分を検出することで物体Ａの位置を検出するよう
にしているため、実施形態３と同様に物体Ａの表面内側
に文字が表されているような場合であっても、その影響
を受けずに物体Ａの位置と姿勢の認識を行うことができ
るという利点がある。なお、本実施形態では、撮像装置
１から入力された濃淡画像を予め空間微分した微分値画
像及び濃度方向画像に対して物体検出の走査を行なって
いるが、物体検出の走査を入力濃淡画像に対して行な
い、濃淡画像に対する空間微分と物体検出とを同時に行
なうようにすることも可能であって、何れの方法でも同
様の結果が得られることはいうまでもない。

【００３１】（実施形態５）本実施形態は、撮像装置
１’にカラーのテレビカメラを用い、物体Ａを撮像して
得られるカラー画像中から、物体Ａの輪郭の特徴を最も
顕著に表す特定色を抽出して、濃淡画像を得るようにし
ている点に特徴がある。なお、他の処理については実施
形態１あるいは実施形態２と共通であるから、共通する
部分については同一の符号を付して説明は省略する。

【００３２】図２２は本実施形態の認識方法を実現する
ためのシステム構成を示すブロック図である。カラーの
撮像装置１’より得られる入力カラー画像中から、特定
色抽出部１０において物体Ａの輪郭の特徴を最も顕著に
表す特定色を抽出して濃淡画像を得る。そして、実施形
態１と同様に濃淡画像から二値画像を得る場合には、濃
淡画像の中の物体の部分と、物体Ａ以外の背景の部分と
を各々の明るさ（濃度値＝画素データ）に応じて分離す
るように、濃淡画像を画像蓄積部３において二値化し、
得られた二値画像を図示しない画像処理装置内のメモリ
に蓄える。あるいは、実施形態２と同様に、画像蓄積部
３において、濃淡画像を空間微分して微分値画像と濃度
方向画像とを求め、図示しない画像処理装置内のメモリ
に蓄える。以降の処理は、実施形態１あるいは実施形態
２と同様である。

【００３３】なお、本実施形態ではカラーのテレビカメ
ラを撮像装置１’に用いて特定色の抽出を行なっている
が、例えば図２３に示すように、実施形態１や実施形態
２と同様に白黒のテレビカメラのような撮像装置１を用
い、撮像装置１のレンズの前に色フィルタ１１を配置
し、この色フィルタ１１を通して撮像した物体Ａの濃淡
画像を用いても、同様の結果が得られることはいうまで
もない。

【００３４】（実施形態６）本実施形態は、実施形態１
あるいは実施形態２において、物体検出部８で走査線上
の物体の検出を行なう際に用いられるパラメータを、物
体Ａの明るさ（濃度値）に応じて変更するようにしてい
る点に特徴がある。なお、本実施形態の認識方法を実現
するためのシステム構成は実施形態１あるいは実施形態
２と共通であり、共通する部分については説明を省略す
る。

【００３５】以下、本実施形態におけるパラメータの選
択方法について、図２４及び図２５のフローチャートを
参照して説明する。例えば図２４に示すように、画面内
に２つの物体Ａ₁，Ａ₂が存在し、各物体Ａ₁，Ａ₂の
位置と姿勢を認識するために、それぞれの物体Ａ₁，Ａ
₂に対してウィンドウ枠Ｆ₁，Ｆ₂を設定しているとす
る。なお、一方の物体Ａ₂の濃度値は、他方の物体Ａ₁
の濃度値よりも高い（明るい）ものとする。従って、そ
れぞれの物体Ａ₁，Ａ₂の物体検出を行なうために、濃
淡画像を二値化あるいは空間微分を行う際の最適なしき
い値は、それぞれの物体Ａ₁，Ａ₂により異なることに
なる。

【００３６】そこで、予め物体の濃度値（明るさ）とし
きい値とを対応づけるパラメータ選択テーブルを登録し
ておき、物体初期検出部５にて図２５のフローチャート
に示すような処理を行なうことにより、ウィンドウ枠Ｆ
₁，Ｆ₂上での物体Ａ₁，Ａ ₂の濃度値の検出を行なう
とともに、検出された濃度値に対してパラメータ選択テ
ーブルから最適なパラメータを選択する。

【００３７】図２５を参照して上記処理をもう少し詳し
く説明すると、実施形態１あるいは実施形態２と同様
に、ウィンドウ枠Ｆ₁，Ｆ₂の何れかの辺ｆ₁〜ｆ₄上
に走査開始点を設定し、走査開始点に設定された画素か
ら各辺ｆ₁〜ｆ₄に沿って順次アドレスを進ませなが
ら、各画素のデータにより物体Ａ₁，Ａ₂の存在を検出
する。この際、物体検出のしきい値はパラメータ選択テ
ーブルに登録されている中で一番濃度値の低い（暗い）
ものに対する値を用いればよい。

【００３８】そして、物体Ａが検出されれば、その画素
の画素データ（物体Ａ₁，Ａ₂の明るさ）を記憶し、ウ
ィンドウ枠Ｆの全ての辺ｆ₁〜ｆ₄についての走査が終
了した後、パラメータ選択テーブルより上記画素データ
に対応するパラメータを選択し、このパラメータを物体
検出のしきい値とする。本実施形態によれば、物体の明
るさ（濃度値）に応じて、物体検出を行なう際のパラメ
ータを最適な値に設定するようにしているので、安定し
た物体検出を行なうことができる。

【００３９】（実施形態７）本実施形態では、実施形態
１あるいは実施形態２において、位置と姿勢の認識を行
う前に、予め対象物（物体Ａ）を機械的に分離しておく
ことにより、物体Ａの位置と姿勢の認識の性能を高める
ようにしている。以下、図２６を参照して説明する。

【００４０】多数の物体Ａはホッパー１２に貯められて
おり、ホッパー１２より振動フィーダー１３に供給され
る。この振動フィーダー１３は従来周知の構成を有し、
各物体Ａを個別に分離させて単体でコンベア１４上へ供
給する。但し、振動フィーダー１３においては、所謂ツ
ーリング等の姿勢矯正は行わない。そして、コンベア１
４上に供給された個々の物体Ａを撮像装置１にて撮像
し、得られた濃淡画像から実施形態１〜６で説明したよ
うな構成及び方法を用いて、各物体Ａごとにその位置並
びに姿勢を認識する。

【００４１】さらに、位置・姿勢認識部９において検出
された各物体Ａごとの位置・姿勢検出結果である二次元
位置アドレス（ｘ，ｙ）と姿勢θを、通信部１５よりロ
ボット装置１６に送信する。ロボット装置１６は従来周
知の構成を有するものであって、通信部１５から受信し
たアドレス（ｘ，ｙ）と姿勢θに基づいて動作し、物体
Ａのピックアップを行う。

【００４２】上述のように、予め複数の物体Ａを個々に
分離させた後、物体Ａを単体ごとに撮像して濃淡画像を
得るようにすれば、認識処理が簡素化できるとともに認
識の精度も向上させることができる。なお、本実施形態
では複数の物体Ａを単体に分離するのに振動フィーダー
１３を用いているがこれに限定する主旨ではなく、複数
の物体Ａを分離する機能を有する装置であれば、同様の
結果が得られることはいうまでもない。

【００４３】（実施形態８）本実施形態は、実施形態１
あるいは実施形態２において、予め決められた台又はコ
ンベア１４上に置かれた物体Ａをロボット装置１６でピ
ックアップする時に、ロボット装置１６に対して二次元
位置アドレス（ｘ，ｙ）と姿勢θのデータに加えて距離
データも一緒に送ることにより、効率の良い処理を行う
ようにしたものである。以下、図２６〜図２８を参照し
て説明する。

【００４４】まず始めに、撮像装置１にて撮像される画
像上の各画素位置（二次元直交座標系の座標値）に対し
て、ロボット装置１６における座標系（例えば、三次元
直交座標系）の物体位置（Ｘ，Ｙ，Ｚ）を求めておき、
画像上での各画素位置とロボット装置１６における座標
系（以下、ロボット座標系と呼ぶ。）での物体位置とを
対応づける、図２７に示すような変換テーブルを予め登
録しておく。この変換テーブルにおいて、Ｔ（ｘm ，ｙ
n ）は、画像上のアドレス（ｘm ，ｙn ）に対応するロ
ボット座標系における物体位置（Ｘmn，Ｙmn，Ｚmn）へ
の変換（関数）を示すものである。

【００４５】次に、図２６に示すように、コンベア１４
上の物体Ａを撮像装置１により撮像して得られる濃淡画
像から、画像上の物体Ａの位置及び姿勢を表す二次元位
置アドレス（ｘ，ｙ）及び姿勢θを求める。なお、濃淡
画像から二次元位置アドレス（ｘ，ｙ）及び姿勢θを検
出する処理は実施形態１あるいは実施形態２の方法を用
いればよく、詳しい説明は省略する。

【００４６】本実施形態では、位置・姿勢認識部９’に
おいて図２８のフローチャートに示すような処理を行な
うことにより、検出された二次元位置アドレス（ｘm ，
ｙn）を変換テーブルを用いてロボット座標系における
物体位置（Ｘmn，Ｙmn，Ｚmn）に変換するとともに、こ
のロボット座標系における物体位置（Ｘmn，Ｙmn，Ｚm
n）と姿勢θとから、ロボット座標系における物体位置
と姿勢を表す指示データ（Ｘmn，Ｙmn，Ｚmn，θ）を作
成し、通信部１５よりロボット装置１６へ送信してい
る。そして、ロボット装置１６は通信部１５から受信し
た指示データ（Ｘmn，Ｙmn，Ｚmn，θ）に基づいて動作
し、物体Ａのピックアップを行う。

【００４７】上述のように画像上の物体位置を変換テー
ブルを用いてロボット座標系の物体位置に変換すること
により、ロボット装置１６の制御が容易になるという利
点がある。なお、本実施形態では、画像上の各画素位置
をロボット座標系における物体位置に変換するために変
換テーブルを用いているが、画像上の任意の画素位置と
ロボット座標系における物体位置との関係式を最小２乗
法などを用いて求め、その関係式を上記変換テーブルの
代わりに用いても同様の結果が得られることはいうまで
もない。

【００４８】（実施形態９）本実施形態は、実施形態２
において、物体検出を行なう際の空間微分を行う方向を
選択する処理に関するものである。以下、本実施形態の
特徴である上記処理を図４、図５並びに図２９のフロー
チャートを参照して説明する。なお、他の処理について
は実施形態２と共通であるから説明は省略する。

【００４９】まず、実施形態２で説明したように、物体
初期検出部５が図５のフローチャートに示すような処理
を行なって物体Ａが存在する（物体Ａと交差する）ウィ
ンドウ枠Ｆの辺ｆ₃を検出する。次に、物体検出部８で
は物体初期検出部５での検出結果を用い、図２９のフロ
ーチャートに示すような処理を行なう。すなわち、ウィ
ンドウ枠Ｆの上辺ｆ₁あるいは下辺ｆ₃が物体Ａと交差
する場合には微分方向をｘ軸に平行とし、右辺ｆ ₂ある
いは左辺ｆ₄が物体Ａと交差する場合には微分方向をｙ
軸に平行として、濃淡画像に対する空間微分を再度行る
ことで微分値画像及び濃度方向画像を作成し直し、以後
の処理は作成し直した新たな微分値画像及び濃度方向画
像を用いて行う。

【００５０】本実施形態によれば、ウィンドウ枠Ｆの何
れの辺ｆ₁〜ｆ₄が物体Ａと交差しているかによって、
濃淡画像を空間微分する際の微分方向を変えるようにし
ているため、コントラストが低い場合にも物体Ａを鮮明
に表すことができ、安定した物体の検出を行なうことが
できるという利点がある。

【００５１】

【発明の効果】請求項１の発明は、物体を撮像して得ら
れる濃淡画像に対して、物体の少なくとも一部が横切る
ようなウィンドウ枠を有するウィンドウを、物体がおお
よそ存在する位置に予め設定し、ウィンドウ枠に沿って
濃淡画像を走査して各画素の画素データに基づいてウィ
ンドウ枠上での物体の有撫を判断し、物体が存在するウ
ィンドウ枠の位置に応じて濃淡画像を走査する走査方向
と走査線移動方向とを選択するとともに、選択された走
査線移動方向に沿って走査線を移動させながら、ウィン
ドウ内における走査線上での画素データに基づいて物体
の有無を判断することで物体の位置と姿勢を求めるの
で、物体がおおよそ存在する位置に設定されたウィンド
ウ枠上での物体の有無を判断して処理の最初に物体のお
およその位置・方向を求め、その情報に基づき走査線を
移動させて物体の詳細な位置・姿勢の認識を行うことに
より、物体の存在している可能性の高い位置に効率良く
物体検出のための走査線の位置を設定でき、物体の位置
と姿勢を求める処理の回数を減らすことができるという
効果がある。

【００５２】また、走査線上における物体の有無の判断
は走査線上の画素データの変化に基づいて行うため、請
求項４の発明のように、濃淡画像を空間微分して得られ
る微分値画像も使用でき、コントラストの低い物体の画
像に対しても物体と背景との境界を良く表した画像を使
って物体の位置と姿勢を認識することができる。

【図面の簡単な説明】

【図１】実施形態１における物体の位置と姿勢の認識を
行なうためのシステム構成図である。

【図２】同上における濃淡画像を示す図である。

【図３】同上における二値画像を示す図である。

【図４】同上を説明するための説明図である。

【図５】同上を説明するためのフローチャートである。

【図６】同上を説明するためのフローチャートである。

【図７】同上を説明するためのフローチャートである。

【図８】同上を説明するためのフローチャートである。

【図９】同上を説明するための説明図である。

【図１０】同上を説明するためのフローチャートであ
る。

【図１１】（ａ）及び（ｂ）はそれぞれ実施形態２にお
ける微分値画像及び濃度方向画像を示す図である。

【図１２】同上を説明するための説明図である。

【図１３】同上を説明するためのフローチャートであ
る。

【図１４】同上を説明するためのフローチャートであ
る。

【図１５】同上を説明するための説明図である。

【図１６】同上を説明するためのフローチャートであ
る。

【図１７】実施形態３を説明するための説明図である。

【図１８】同上を説明するためのフローチャートであ
る。

【図１９】同上を説明するための説明図である。

【図２０】（ａ）及び（ｂ）はそれぞれ実施形態４にお
ける微分値画像及び濃度方向画像を示す図である。

【図２１】同上を説明するためのフローチャートであ
る。

【図２２】実施形態５における物体の位置と姿勢の認識
を行なうためのシステム構成図である。

【図２３】同上を説明するための説明図である。

【図２４】実施形態６を説明するための説明図である。

【図２５】同上を説明するためのフローチャートであ
る。

【図２６】実施形態７を説明するための説明図である。

【図２７】実施形態８を説明するための説明図である。

【図２８】同上を説明するためのフローチャートであ
る。

【図２９】実施形態９を説明するためのフローチャート
である。

【符号の説明】

１撮像装置２Ａ／Ｄ変換部３画像蓄積部４ウィンドウ生成部５物体初期検出部６走査方向選択部７走査線移動部８物体検出部９位置・姿勢認識部

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成８年１０月２１日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００１８

【補正方法】変更

【補正内容】

【００１８】撮像装置１により対象物（物体）を撮像
し、撮像したアナログ画像をＡ／Ｄ変換部２においてデ
ィジタル値に変換して濃淡画像を得る（図２参照）。次
に、画像蓄積部３において、この濃淡画像を空間微分し
て図示しない画像処理装置内のメモリに蓄える。図１１
（ａ）に濃淡画像に対する微分値画像、同図（ｂ）に濃
度方向画像をそれぞれ示す。ここで、空間微分の方法は
従来から各種提案されているが、例えば次に示すような
方法を用いることができる。すなわち、着目画素の８近
傍画素の濃度値Ｄ（ｘ，ｙ）から、下式により求められ
るｘ軸及びｙ軸方向の微分値Ｇｘ，Ｇｙを利用するもの
である。Ｇｘ＝｛Ｄ（ｘ＋１，ｙ−１）＋Ｄ（ｘ＋１，ｙ）＋Ｄ（ｘ＋１，ｙ＋１）｝− ｛Ｄ（ｘ−１，ｙ−１）＋Ｄ（ｘ−１，ｙ）＋Ｄ（ｘ−１，ｙ＋１）｝Ｇｙ＝｛Ｄ（ｘ−１，ｙ＋１）＋Ｄ（ｘ，ｙ＋１）＋Ｄ（ｘ＋１，ｙ＋１）｝− ｛Ｄ（ｘ−ｌ，ｙ−１）＋Ｄ（ｘ，ｙ−１）＋Ｄ（ｘ＋１，ｙ−１）｝これらより、着目画素（ｘ，ｙ）における微分値Ｇおよ
び濃度方向値θは以下の様になる。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００４９

【補正方法】変更

【補正内容】

【００４９】まず、実施形態２で説明したように、物体
初期検出部５が図５のフローチャートに示すような処理
を行なって物体Ａが存在する（物体Ａと交差する）ウィ
ンドウ枠Ｆの辺ｆ₃を検出する。次に、物体検出部８で
は物体初期検出部５での検出結果を用い、図２９のフロ
ーチャートに示すような処理を行なう。すなわち、ウィ
ンドウ枠Ｆの上辺ｆ₁あるいは下辺ｆ₃が物体Ａと交差
する場合には微分方向をｘ軸に平行とし、右辺ｆ ₂ある
いは左辺ｆ₄が物体Ａと交差する場合には微分方向をｙ
軸に平行として、濃淡画像に対する空間微分を再度行う
ことで微分値画像及び濃度方向画像を作成し直し、以後
の処理は作成し直した新たな微分値画像及び濃度方向画
像を用いて行う。

Claims

【特許請求の範囲】

【請求項１】物体を撮像して得られる濃淡画像に対し
て、物体の少なくとも一部が横切るようなウィンドウ枠
を有するウィンドウを、物体がおおよそ存在する位置に
予め設定し、ウィンドウ枠に沿って濃淡画像を走査して
各画素の画素データに基づいてウィンドウ枠上での物体
の有撫を判断し、物体が存在するウィンドウ枠の位置に
応じて濃淡画像を走査する走査方向と走査線移動方向と
を選択するとともに、選択された走査線移動方向に沿っ
て走査線を移動させながら、ウィンドウ内における走査
線上での画素データに基づいて物体の有無を判断するこ
とで物体の位置と姿勢を求めることを特徴とする物体の
認識方法。
【請求項２】撮像して得られる濃淡画像を濃度に基づ
いて二値化することで物体と背景とに分離された二値画
像を得るとともに、この二値画像を走査したときの画素
データの値が、所定の長さだけ連続して物体に対応する
値と一致するかを判断することで物体の位置と姿勢を求
めることを特徴とする請求項１記載の物体の認識方法。
【請求項３】撮像して得られる濃淡画像を濃度に基づ
いて二値化することで物体と背景とに分離された二値画
像を得るとともに、この二値画像を走査したときの画素
データの値が最初に物体に対応する値と一致した画素を
候補点とし、次に、走査線上を候補点より所定距離進ん
だ画素から候補点の方へ戻る方向に走査し、候補点に到
達するまでに物体に対応する値と一致する値を持った画
素データが存在する場合に物体が存在すると判断して物
体の位置と姿勢を求める請求項１記載の物体の認識方
法。
【請求項４】撮像して得られる濃淡画像を空間微分す
ることで微分値画像と濃度方向画像を得るとともに、こ
の微分値画像を走査したときに微分値が所定値以上とな
る画素を検出してその画素における濃度方向を物体と背
景の境界の候補点として記憶し、次に、走査線上の候補
点より所定距離内に候補点の濃度方向値と略１８０°異
なる濃度方向値を有し且つ微分値が所定値以上である画
素が存在する場合に物体が存在すると判断して物体の位
置と姿勢を求めることを特徴とする請求項１記載の物体
の認識方法。
【請求項５】撮像して得られる濃淡画像を空間微分す
ることで微分値画像と濃度方向画像を得るとともに、こ
の微分値画像を走査したときに微分値が所定値以上とな
る画素を検出してその画素における濃度方向を物体と背
景の境界の候補点として記憶し、次に、走査線上を候補
点より所定距離進んだ画素から候補点の方へ戻る方向に
走査し、候補点に到達するまでに候補点の濃度方向値と
略１８０°異なる濃度方向値を有し且つ微分値が所定値
以上である画素が存在する場合に物体が存在すると判断
して物体の位置と姿勢を求めることを特徴とする請求項
１記載の物体の認識方法。
【請求項６】物体を撮像して得られるカラー画像から
物体を表す特定色を抽出することで濃淡画像を作成する
ことを特徴とする請求項１記載の物体の認識方法。
【請求項７】ウィンドウ枠に沿って濃淡画像を走査し
たときの物体の有無の判断結果に応じて、物体が存在す
るウィンドウ枠の位置を含むウィンドウ枠の一辺と略平
行な方向を走査方向に選択することを特徴とする請求項
１記載の物体の認識方法。
【請求項８】ウィンドウ枠に沿って濃淡画像を走査し
たときの物体の有無の判断結果に応じて、物体が存在す
るウィンドウ枠の位置を含むウィンドウ枠の一辺と略平
行な方向のみを空間微分の方向としたことを特徴とする
請求項４又は５記載の物体の認識方法。
【請求項９】ウィンドウ枠に沿って濃淡画像を走査し
たときの物体の有無の判断結果に応じて、物体が存在す
るウィンドウ枠の位置を含むウィンドウ枠の一辺を第一
の走査線とするとともに、第一の走査線に対向するウィ
ンドウ枠の他の一辺を第二の走査線とし、第一の走査線
に基づいて選択された走査方向へ第一の走査線と第二の
走査線の間の距離の略２分の１だけ離れた位置に走査線
を移動させ且つこの走査線上での物体の有無を判断し、
物体が有る場合には物体が有ると判断した走査線を新た
に第一の走査線とし、物体が無い場合には物体が無いと
判断した走査線を新たに第二の走査線とするとともに、
選択された走査方向と逆方向へ第一の走査線と第二の走
査線の間の距離の略２分の１だけ離れた位置に走査線を
移動させ且つこの走査線上での物体の有無を判断する処
理を、第一の走査線と第二の走査線とが隣合うようにな
るまで繰り返し、処理の繰り返しが終了した時点におけ
る第一の走査線上の物体の位置を求めることを特徴とす
る請求項１記載の物体の認識方法。
【請求項１０】物体が存存するウィンドウ枠上におけ
る物体の方向に略直交するように所定距離だけ離れた位
置に走査線を移動させ、この走査線上で物体の有無を判
断し、物体が有る場合には、この走査線上における物体
の方向に略直交するように所定距離だけ離れた位置に走
査線を移動させて物体の有撫を判断するとともに、物体
が無い場分には、一つ前の走査線上における物体の方向
に略直交するように始めの所定距離より短い距離だけ離
れた位置に走査線を移動させて物体の有無を判断する処
理を、既に物体有無の判断処理を行った走査線の位置に
達するまで繰り返し、最終の走査線位置を物体の位置と
して求めることを特徴とする請求項１記載の物体の認識
方法。
【請求項１１】処理に必要なパラメータを物体の濃淡
画像における濃度値ごとに予め登録しておき、ウィンド
ウ枠上で物体の有無を判断する時に、走査線上の各点の
濃度値を、既に登録してある物体の濃淡画像における濃
度値と比較してパラメータを選択し、選択したパラメー
タに基づいて物体の位置と姿勢を求めることを特徴とす
る請求項１記載の物体の認識方法。
【請求項１２】予め複数の物体を個々に分離させた
後、物体を単体ごとに撮像して濃淡画像を得ることを特
徴とする請求項１記載の物体の認識方法。
【請求項１３】予め濃淡画像内の各画素における物体
の存在位置までの距離を測定して登録しておき、物体の
位置と姿勢を求める際に、求めた物体の濃淡画像上での
位置と、登録された物体までの距離とを参照して、三次
元での物体の位置と姿勢を求めることを特徴とする請求
項１記載の物体の認識方法。
【請求項１４】求めた物体の位置における走査線と、
この走査線に隣接する走査線上での物体の位置とから物
体の姿勢を求めることを特徴とする請求項１記載の物体
の認識方法。
【請求項１５】求めた物体の位置における画素の濃度
方向から物体の姿勢を求めることを特徴とする請求項４
又は５記載の物体の認識方法。