JP3426002B2 - 物体認識装置 - Google Patents

Description

【発明の詳細な説明】 【産業上の利用分野】 【０００１】この発明は、ロボット装置におけるワーク
の認識などのための物体認識装置に関するものである。【０００２】 【従来の技術】従来の技術１． 図３９ は例えば「画像解析ハンドブック」（監修；高木
幹雄、下田 陽久発行；１９９１年１月１７日 東京
大学出版会）の第５７２〜５７３頁に示された、従来の
物体認識装置におけるハフ（Hough ）変換による画像処
理の内容を示す説明図であり、図４０はそのハフ変換処
理の流れを示すフローチャートである。以下、それらを
もとにハフ変換による画像処理について説明する。ハフ
変換を行うためには、まず原画像のエッジ検出を行う
（ステップＳＴ４１）。検出されたハフ変換すべきエッ
ジ画像のエッジ点Ａ〜Ｇをｘ−ｙ平面上に示したものが
図３９（ａ）である。次に、ハフ平面としてρ−θ平面
（画像）を用意し、以下の手順でハフ変換を実行する。
即ち、図３９（ａ）に示したエッジ画像中の各エッジ点
（ｉ，ｊ）について次の式（２）に従ってρとθの関係
を求め、対応するハフ平面であるρ−θ平面上の画素に
投票する（ステップＳＴ４２）。【０００３】 ρ＝ｉ・ｃｏｓ（θ）＋ｊ・ｓｉｎ（θ） ‥‥‥‥‥（２）【０００４】 ここで、図３９（ｂ）は図３９（ａ）にＡ
〜Ｇで示された各エッジ点に対応するハフ平面上の投票
軌跡を描いたものである。このステップＳＴ４２による
投票操作はエッジ画像中の全てのエッジ点画素Ａ〜Ｇに
ついてそれぞれ実行される。次にハフ平面上を操作して
ピーク点を検出する（ステップＳＴ４３）。そのピーク
位置に対応するρとθの値から、上記式（２）によって
ｉとｊとの関係、即ち、エッジ画像平面における直線の
方程式が求められる（ステップＳＴ４４）。【０００５】 【発明が解決しようとする課題】【０００６】 従来の 物体認識装置は、前述のようにハフ
変換による画像処理を行っているので、エッジ画像上の
全ての点それぞれについて、ハフ平面での曲線に対応し
て投票を行うことが必要となり、投票に時間がかかり、
しかもピーク点が探索しにくいという問題点があった。【０００７】 この発明は上記のような従来の問題点を 解
消するためになされたもので、エッジ画像上のエッジ点
をハフ平面に投票するための時間が短く、ピーク点も探
索しやすい物体認識装置を得ることを目的とする。【０００８】 【課題を解決するための手段】この発明に係る物体認識
装置は、エッジ検出手段、水平線投票手段、垂直線投票
手段、および水平・垂直線以外投票手段を有し、エッジ
画像を水平および垂直に走査して得られたエッジ点が水
平線分であるかどうかを判定して水平線分であれば、そ
れを点としてハフ投票平面に投票する水平線投票手段
と、前記エッジ画像を垂直に走査して得られたエッジ点
が垂直線分であるかどうかを判定して垂直線分であれ
ば、それを点としてハフ投票平面に投票する垂直線投票
手段と、前記判定において水平線分でもなくかつ垂直線
分でもないと判定されたエッジ点を、曲線として前記ハ
フ投票平面に投票するものである。【０００９】 【作用】 この 発明における物体認識装置は、原画像より
検出されたエッジ画像を水平に走査して得られた水平線
分を水平線投票手段により、また、垂直に走査して得ら
れた垂直線分を垂直線投票手段により、それぞれハフ投
票平面に点として投票するとともに、水平線分でもなく
かつ垂直線分でもないと判定されたエッジ画像上のエッ
ジ点については従来のハフ変換操作により前記ハフ投票
平面に曲線として投票し、最後にそのハフ投票平面を探
索して局所的ピークを検出し、対応する原画像上の直線
を検出するように作用する。【００１０】 【実施例】参考例１ ． 以下、この発明の参考例１を図について説明する。図１
は参考例１を示す構成図である。図において、５０は例
えばパレット（図示省略）上に積載された複数のワーク
であり、５１はこのワーク５０の移載作業を実行するロ
ボット、５２はこのロボット５１のロボットハンドであ
る。５３はワーク５０の上面の画像を撮像する撮像手段
としてのテレビカメラであり、５４はこのテレビカメラ
５３によって撮像されたワーク５０の２次元的な配置を
認識する画像認識手段である。５５はこの画像認識手段
５４によって認識されたワーク５０の配置に基づいて、
ワーク５０の高さを測定するための最適な測定点を算出
し、距離計測プランの作成を行う距離計測プラン部であ
り、５６はこの距離計測プラン部５５が作成した距離計
測プランに従って、１つのワーク５０に対して少なくと
も１点のワーク高さ測定点の高さを計測する距離計測手
段、５７はこの距離計測手段５６の距離センサ（超音波
センサ）である。５８は画像認識手段５４の認識結果と
距離計測手段５６の計測結果より、ワーク５０の３次元
的な配置を認識するワーク配置認識手段であり、５９は
このワーク配置認識手段５８の認識結果に基づいて、ワ
ーク５０を移載するためのロボット５１の動作プランを
算出するロボット動作プラン部である。【００１１】 次に動作について説明する。ここで、図２
はこのように構成されたロボット装置の動作の流れを示
すフローチャートであり、以下、例えばパレット上に積
載された複数のワーク５０が、テレビカメラ５３の視野
内にあるという前提で動作を説明する。処理の最初の段
階で、鉛直下向きに設置されたテレビカメラ５３によっ
て、パレット上のワーク５０の画像が撮像される（ステ
ップＳＴ７１）。次に、画像認識手段５４によってワー
ク５０の２次元的な配置が認識される（ステップＳＴ７
２）。図３はこの参考例１における入力原画像の一例で
ある。画像視野内に＃１から＃６までの６個の箱状のワ
ーク５０が映っている。ワーク５０の高さは、図１にあ
るように、＃２のワーク５０のみが他の５つのワーク５
０より１段高い位置にある。この図３に示した画像を処
理した結果得られたワーク５０の位置と姿勢の関係を次
の表１に示す。【００１２】 【表１】 【００１３】つまり、画像認識手段５４による処理の結
果を示している。例えば、＃１のワーク５０は、位置が
（ｘ１，ｙ１）、姿勢（向き）が２次元的に角度ａ１で
あることを示している。このｘ１，ｙ１，ａ１などの変
数には認識データが格納されている。この表１のデータ
では各ワーク５０の高さ情報のみが未計測である。【００１４】 次に、距離計測プラン部５５はワーク５０
の高さを計測をすべき距離計測点と計測シーケンスを決
定する（ステップＳＴ７３）。図４における点Ｐ１，Ｐ
２，Ｐ３，Ｐ４，Ｐ５，Ｐ６の各点は決定された距離計
測点であり、認識された各ワーク５０の重心として計算
される。また、計測シーケンスとしてはＰ１から順にＰ
６まで順次計測する。距離センサ５７はロボットハンド
５２に取り付けられており、レーザビームにより三角測
量の原理で距離を計測する。そのため、ロボット動作を
行わせて（ステップＳＴ７４）、各計測点の真上に距離
センサ５７を移動させ、距離の計測を行う（ステップＳ
Ｔ７５）。距離計測はこの場合Ｐ１からＰ６まで６回行
われる。全ての距離計測点の計測が完了したことを検出
すると（ステップＳＴ７６）この距離計測を終了し、ワ
ーク配置認識手段５８によって各ワーク５０の高さが計
算される。最終的な配置認識結果を示したものが次の表
２であり、位置・姿勢の他に、高さ情報が格納されてい
る。【００１５】 【表２】 【００１６】このような一連の処理により、視野内の全
てのワーク５０に対する３次元情報が計算され（ステッ
プＳＴ７９）、ロボット動作プラン部５９でロボット５
１がワーク５０を移載作業するのに必要なロボット動作
が決定され、それに従ってロボット５１が動作する（ス
テップＳＴ７８）。【００１７】 なお、上記参考例１では、距離計測のため
の距離センサ５７としてレーザビーム型のものを使用し
たが、超音波式のものであっても、あるいはまた、複数
のテレビカメラを使用してステレオ視の距離を計測する
ものであってもよく、上記参考例と同様の効果を奏す
る。【００１８】 また、上記参考例１では距離計測点を各ワ
ーク５０の重心としたが、それ以外の複数の点を計測点
として決定してもよく、その場合はより高さ計測の信頼
性が向上する。【００１９】参考例２ ． 次に、この発明の参考例２を図について説明する。図５
は参考例２を示す構成図であり、相当部分には図１と同
一符号を付してその説明を省略する。図において、６０
は撮像手段としてのテレビカメラ５３がワーク５０の画
像を撮像した後に、撮像されたワーク５０の画像データ
の処理と平行して、予め定められている標準的な計測コ
ースに従って距離計測手段５６と共用される距離センサ
５７を移動させながらワーク５０の高さを計測する標準
距離計測手段である。【００２０】 次に動作について説明する。ここで、図６
はこのように構成されたロボット装置の動作の流れを示
すフローチャートであり、以下、参考例１の場合と同様
に各ワーク５０がテレビカメラ５３の視野内にあるとい
う前提で動作を説明する。処理の最初の段階で、鉛直下
向きに設置されたテレビカメラ５３によりワーク５０の
画像が撮像される（ステップＳＴ８１）。次に、画像認
識手段５４によってワーク５０の２次元的な配置の認識
が開始されるが（ステップＳＴ８２）、この画像認識処
理が開始されると同時に、標準距離計測手段６０によっ
て標準距離計測が実行される（ステップＳＴ８３）。こ
の標準距離計測とは、予め決められた複数の固定距離計
測点を、これも予め決められた距離計測シーケンスに従
って計測するものである。図７は標準距離計測点とその
シーケンスの例を示している。即ち、画像上のワーク５
０の位置や姿勢、ワーク５０の個数などに依存せず、標
準距離計測点Ｐ１からＰ１６までの全１６点について番
号順にワーク５０の高さを計測する。距離計測センサ５
７は参考例１の場合と同様に、ロボットハンド５２に取
り付けられたレーザ式距離センサであり、三角測量の原
理で距離を計測する。図７によれば、この場合にはワー
ク５０が＃１のワークから＃６のワークまで６個存在
し、例えば＃１のワークについては標準距離計測点Ｐ１
およびＰ８の２点が計測され、＃２のワークについては
標準距離計測点Ｐ２，Ｐ３，Ｐ６，Ｐ７の４点が計測さ
れることになる。標準距離計測点の位置やピッチは、認
識対象とするワーク５０の寸法や位置ずれ許容量などか
ら予め決定しておく。【００２１】 ここで、２次元配置認識とこの標準距離計
測にかかる処理時間のどちらが長いかについては視野内
の物体の個数や距離計測点数などによって異なるが、こ
の参考例２では標準距離計測が先に終了する。画像認識
手段５４は標準距離計測によって得られた距離情報を使
って粗い３次元認識を行う。【００２２】 画像認識が終了すると、より精密な認識を
行うために、先の標準距離計測で計測した標準距離計測
点が不足していればさらに距離計測を行う距離計測点を
距離計測プラン部５５により決定する。ここでは、例え
ば各ワークの重心に相当する位置を距離計測点として追
加する。この場合もロボットハンド５２に取り付けられ
た距離センサ５７により、各距離計測点の距離が追加計
測され（ステップＳＴ８４）、ワーク配置認識手段５８
により、前述した粗い認識結果と統合されて最終的にワ
ーク５０の精密で信頼性の高い３次元配置が認識される
（ステップＳＴ８５）。この３次元配置の認識結果はロ
ボット動作プラン部５９に送られて移載のためのロボッ
ト動作シーケンスが自動的に計算され、ロボット５１は
当該動作シーケンスのデータを受け取って所定の移載作
業を行う（ステップＳＴ８６）。【００２３】 ここで、図８は図６に示した各処理の実際
の時間関係を示すタイミング図である。同図で時刻ｔ１
において画像撮像が開始され、時刻ｔ２に撮像が終了す
る。時刻ｔ２では撮像された画像を使って２次元の粗い
配置認識が開始されると同時に、標準距離計測プランに
よる標準距離計測も開始される。前述のように、２次元
の配置認識と標準距離計測にかかる処理時間のどちらが
長いかについては視野内の物体の個数や距離計測点数な
どによって異なるが、この参考例２では時刻ｔ３でまず
標準距離計測が完了する。画像認識手段５４ではその標
準距離計測結果を使って認識処理を続行し、時刻ｔ４で
粗い配置認識を完了する。この時刻ｔ４では追加距離計
測が開始され、この追加距離計測が時刻ｔ５で終了する
と、信頼性の高いワーク５０の３次元配置認識が開始さ
れ、前記粗い配置認識の認識結果と追加距離計測結果と
が統合される。時刻ｔ６においてこの３次元配置認識が
終了すると、最後にロボット動作のための制御信号生成
とロボット動作が開始され、時刻ｔ７で移載作業を完了
する。【００２４】 なお、上記参考例２では標準距離計測点の
選び方として格子状に計測点を設定し、また計測シーケ
ンスも波状に設定したが、必ずしも規則的でなくてもよ
く、例えば中心部ほど計測ピッチを狭く、かつ中心部か
ら順次周辺部へと螺旋状に計測するシーケンスを設定し
てもよい。計測点が多いほど計測の信頼性が向上するこ
とはいうまでもないが、ロボット動作による計測時間を
短縮するために、ロボット軌跡が最短になるようなシー
ケンスを自動的に算出する方式でも効果がある。【００２５】 また、上記参考例２では追加距離計測とし
て、各ワーク５０について、ワーク５０の重心部分１点
のみを計測するものとしたが、その他にワーク５０の輪
郭部分やコーナー部分を複数箇所計測するようにしても
よく、それによってより正確な認識が可能となる。【００２６】参考例３ ． 次に、この発明の参考例３を図について説明する。図９
は参考例３を示す構成図であり、相当部分には図１と同
一符号を付してその説明を省略する。図において、６１
は距離計測手段５６にて計測した、１つのワーク５０あ
たり３点以上設定した距離計測点における高さの計測結
果から、ワーク５０の法線方向を計算する法線方向認識
手段である。なお、このワーク配置認識手段５８は、法
線方向認識部６１の計算した法線方向と画像認識手段５
４の認識結果とを用いてワーク５０の３次元的な配置の
認識を行うものである点で、参考例１のものとは異なっ
ている。【００２７】 次に動作について説明する。ここで、図１
０はこのように構成されたロボット装置の動作の流れを
示すフローチャートで、以下、参考例１の場合と同様に
各ワーク５０がテレビカメラ５３の視野内にあるという
前提で動作を説明する。最初の段階で、鉛直下向きに設
置されたテレビカメラ５３によりワーク５０の画像が撮
像される（ステップＳＴ９１）。次に、画像認識手段５
４によって、ワーク５０の２次元的な配置が認識される
（ステップＳＴ９２）。この２次元配置認識の認識結果
ではワーク５０の位置と姿勢（向き）が計測されてい
る。次に、各ワーク５０ごとに距離計測プラン部５５に
よりワーク５０の高さを計測すべき距離計測点が決定さ
れる（ステップＳＴ９３）。図１１は、この距離計測点
が決定される様子を示す説明図である。同図において、
画像中の点Ｐｃは、画像認識手段５４によって計測され
たワーク５０の位置、即ち物体の重心に相当する位置で
ある。距離計測プラン部５５では、この点Ｐｃと矢印Ａ
で示した物体の向きとから、ワーク５０のコーナー近傍
の２点Ｐ１およびＰ２の位置を計算し、Ｐｃと併せた合
計３点を距離計測点として出力する。【００２８】 次に、距離計測手段５６により各ワーク５
０についてそれぞれ上記距離計測プラン部５５で決定さ
れた３点づつの距離計測点において距離計測が行われる
（ステップＳＴ９４）。さらに、各ワーク５０の上面の
法線方向が法線方向認識手段６１によって計算される
（ステップＳＴ９５）。なお、この法線方向の決定は次
のように行われる。ここで、距離計測点の２次元的な位
置は画像処理で行われている。即ち、点Ｐｃ，Ｐ１，Ｐ
２の３点の２次元位置は既知である。また、距離計測手
段５６による計測結果から、前記３点の高さも既知とな
る。今、Ｐｃ，Ｐ１，Ｐ２の各点をそれぞれ３次元空間
上の点であるとし、３次元のベクトルで表現すると、法
線ベクトルｎは次の式（３）で表される。【００２９】 【数１】 【００３０】処理はさらに続き、ワーク配置認識手段５
８によって前記２次元配置の認識結果と距離計測結果が
統合され、ワーク５０の３次元的配置パターンが認識さ
れる（ステップＳＴ９６）。次いで、ロボット動作プラ
ン部５９によって、ワーク５０をロボット５１がハンド
リングするための位置、向きおよび移載シーケンスロボ
ット動作プランが決定される（ステップＳＴ９７）。こ
のとき、すでに求めた各ワーク５０上面の法線方向を使
用して、ロボットハンド５２のワーク５０との接触面を
計算する。例えば、段ボール箱のような上面が平面に近
いワーク５０でも、梱包時の失敗などの理由で、上面が
水平でないことがある。しかも、段ボール箱の移載装置
では、ロボットハンド５２としてよく真空式の吸着ハン
ドが使用される。これらのことから、ロボットハンド５
２のワーク５０の上面との位置関係は、ワーク５０のハ
ンドリングの信頼性に大きな影響を与えるものである
が、この参考例３によれば、ワーク５０の上面の傾きが
既知となるので、うまく吸着ハンドをワーク５０に接近
させることが可能である。最後に、ロボット５１が作動
してワーク５０の移載作業を行い（ステップＳＴ９
８）、一連の動作を完了する。【００３１】 なお、上記参考例３では、ワーク５０上面
の法線を決定するのに、図１１におけるＰｃ，Ｐ１，Ｐ
２の３点を用いたが、同図におけるＰ３，Ｐ４を含めた
５点を使用、または直線上に並ばない任意の３点を選ん
で使用してもよい。ワーク５０の２次元的配置が既知で
あるから、同一ワーク５０、即ち同一平面上に存在する
ことが明らかな直線上にない３点以上の計測点であれ
ば、法線を決定することが可能であることはいうまでも
ない。【００３２】 また、上記参考例３では、あるワーク５０
の上面は完全に平面であるものとして法線を求めている
が、ワーク５０によっては上面をさらにいくつかの部分
領域に分割し、各部分領域毎に法線を算出する方が合理
的な場合もあり、ワーク５０の形状によって法線の算出
方法を適宜選択する方式をとっても、上記参考例と同様
に効果を奏する。【００３３】参考例４ ． 次に、この発明の参考例４を図について説明する。図１
２は参考例４を示す構成図であり、相当部分には図１と
同一符号を付してその説明を省略する。図において、６
２はロボット動作プラン部５９にて決定されたロボット
の動作プランに従ってロボットを制御するロボット制御
部で、参考例１〜３ではその図示が省略されている。ま
た、６３はワークの２次元的な認識に用られる複数の基
準モデルが格納されているワークモデル格納手段であ
る。なお、画像認識手段５４は、距離計測手段５６で計
測されたワーク５０の高さの情報を使用して、撮像手段
５３で撮像された画像におけるワーク５０の大きさを推
測し、それによりワークモデル格納手段６３に格納され
た標準モデルのデータを切り換えて、ワークの精密な２
次元配置認識を行うものである点で、参考例１のものと
は異なっている。【００３４】 次に動作について説明する。ここで、図１
３はこのように構成されたロボット装置の動作の流れを
示すフローチャートで、以下、参考例１の場合と同様に
各ワークがテレビカメラ５３の視野内にあるという前提
で動作を説明する。最初の段階で、鉛直下向きに設置さ
れたテレビカメラ５３によって、パレット上のワーク画
像が撮像される（ステップＳＴ１００）。次に、画像認
識手段５４によって、ワーク５０の２次元的な配置が認
識される（ステップＳＴ１０１）。このとき、ワークモ
デル格納手段６３に格納されているのは、複数の標準モ
デルのデータである。ここで、テレビカメラ５３のパレ
ットからの距離は既知であるが、パレットに積載された
ワーク５０の配列やそれぞれのパレットからの高さは未
知である。ただし、ワーク５０の寸法は既知であるの
で、ワーク５０それぞれのパレットからの高さについて
は、ワーク高さ寸法の整数倍であることは利用できる。
このことから、ワークモデル格納手段６３に格納されて
いる標準モデルとしては、各々のワーク５０の高さに応
じたモデルを合わせ持っている。【００３５】 以下、図１４を用いてこの標準モデルの説
明を行う図１４ではパレット上に積載された同一種類の
＃１〜＃３の３つのワーク５０が示されている。つま
り、情景を真横からみた様子を模式的に示している。上
部にはテレビカメラ５３を代表させて、レンズ中心の位
置を示している。また、撮像された画像に対応する仮想
撮像面の位置を説明が容易なのでパレット上面と同一と
しているが、これはカメラ光軸に垂直でさえあれば何等
説明の内容に変わりはない。ワーク５０の個々の寸法に
ついては、長さＬ、高さＨである。このとき、撮像され
るワーク５０の仮想撮像面上でのサイズは、＃１のワー
クに対応するものがＬａ、＃２のワークに対応するもの
がＬｂ、＃３のワークに対応するものがＬｃとなる。こ
のように、ワーク上面のパレットからの高さによって撮
像面上のサイズは異なる。そこで、ワークモデル格納手
段６３内の標準モデルとしては、この場合、寸法Ｌａに
対応するもの、Ｌｂに対応するもの、Ｌｃに対応するも
のの３種類を合わせ持つ。【００３６】 画像認識手段５４による粗い２次元配置認
識では、まず上記のようにワークモデル格納手段６３に
複数格納されている標準モデルの中の１種類を代表させ
て用いる。撮像された画像を領域分割し、面積と主軸方
向といった特徴を抽出して標準モデルの同じ特徴と比較
することで認識する。そのため、物体の２次元的な位置
と向きについては概略を知ることが可能であるが、標準
モデルの寸法と実際に撮像されているワーク５０の寸法
とが異なる可能性があるために信頼性は低い。また、ワ
ーク５０の高さについては計算することはできない。【００３７】 次に、距離計測プラン部５５ではこの狙い
２次元配置認識の結果を使って距離計測のための計測点
の位置や計測順序を決定する（ステップＳＴ１０２）。
この参考例４では粗い２次元配置認識で得られた各ワー
ク５０の重心位置に対応するワーク５０上の位置を計測
点とし、計測順序は複数の計測点を結ぶ一連の順序経路
が最短になるように決定する。距離計測は距離計測手段
５６によってロボットハンド５２に取り付けられた光ビ
ームセンサなどの距離センサを用いて、三角測量の原理
で計測される（ステップＳＴ１０３）。【００３８】 この距離計測が完了すると各々のワーク５
０の高さが決定し、再び画像認識手段５４によって精密
な２次元配置認識が行われる。このとき、まずワークモ
デル格納手段６３に格納された標準モデルのなかから、
各ワーク５０の高さをもとに選択されたモデル１つを選
択し（ステップＳＴ１０４）、それを用いて精密な２次
元配置認識を実行する（ステップＳＴ１０５）。図１５
はこのワーク５０の形状に合った標準モデルを用いて行
われる信頼性の高い２次元配置認識の概念を示す説明図
である。【００３９】 前記精密な２次元配置認識結果は、距離計
測手段５６によって得られた各ワーク５０の距離（高
さ）情報と統合され、ワーク配置認識手段５８によって
ワークの３次元配置認識が行われる（ステップＳＴ１０
６）。ロボット動作プラン部５９ではこの３次元配置認
識結果を使ってワーク移載動作のためのロボット動作制
御信号を自動的に生成し、それをロボット制御部６２に
転送する。ロボット制御部６２はこの信号を受け取って
ロボットを制御し、所定のワーク移載作業を実行する
（ステップＳＴ１０７）。【００４０】 なお、上記参考例４では距離計測手段５６
の距離センサ５７として光りビーム利用したものについ
て説明したが、超音波センサによるものや、複数のテレ
ビカメラを用いたステレオ視の原理によるものなどであ
ってもよく、上記参考例と同様の効果を奏する。【００４１】 また、上記参考例４では、ワークの標準モ
デルとして同一種類のワークに対して３つのモデルを使
用したが、異なるワークそれぞれに対して複数の標準モ
デルを用意しておくようにしてもよい。【００４２】 また、この参考例４では、距離計測点とし
てワークの重心に対応する１点のみを計測したが、必ず
しも重心でなくてもよく、２点以上計測してもよい。さ
らに、計測シーケンスについては、ロボット動作時間短
縮の観点から、ロボット動作時間が最短になる経路を計
算することとしたが、その他のシーケンスを採用しても
同様であることはいうまでもない。【００４３】参考例５ ． 次に、この発明の参考例５を図について説明する。図１
６はこの参考例５を示す構成図であり、相当部分には図
１および図１２と同一符号を付してその説明を省略す
る。図において、６４は距離センサ５７として使用され
ている超音波センサの発生する計測ビームと平行で、テ
レビカメラ５３で撮像可能なポインタビームを投光する
光ビーム投光手段であり、６５はテレビカメラ５３にて
撮像された画像の中からこの光ビーム投光手段６４にて
投光されたポインタビームを検出するポインタビーム検
出手段である。なお、ワーク配置認識手段５８は、画像
認識手段５４の認識結果および距離計測手段５６の計測
結果とともに、このポインタビーム検出手段６５の検出
結果も用いてワークの３次元配置認識を行うものである
点で、参考例１のものとは異なっている。【００４４】 次に動作について説明する。ここで、図１
７はこのように構成されたロボット装置の動作の流れを
示すフローチャートで、以下、参考例１の場合と同様に
各ワークがテレビカメラ５３の視野内にあるという前提
で動作を説明する。最初の段階で、鉛直下向きに設置さ
れたテレビカメラ５３によって、パレット上のワーク画
像が撮像される（ステップＳＴ１１０）。次に、画像認
識手段５４によってワーク５０の２次元的な配置が認識
される（ステップＳＴ１１１）。【００４５】 次に、この認識された２次元配置パターン
をもとに、距離計測プラン部５５によって距離計測プラ
ンが決定される（ステップＳＴ１１２）。ここでは、距
離計測を行う点と、複数の距離計測点の計測順序を決定
する。各ワーク５０の２次元位置と向きが認識されてい
るので、ここでは距離計測点として各ワークの重心に相
当する位置が決定される。また、計測の順序について
は、計測精度や計測時間の観点から決定される。【００４６】 次に各距離計測点について距離計測手段５
６によって距離を計測する（ステップＳＴ１１３）。こ
の参考例５で使用される距離センサ５７には前述のよう
に超音波センサが用いられている。この超音波センサ５
７はロボットハンド５２に取り付けられた、送信モジュ
ールと受信モジュールからなる送受一体型となってお
り、送信モジュールから発射された音波が対象物に反射
して戻ってくる信号（エコー）を観測してその時間差か
ら距離を計測するものである。また、光ビーム投光手段
６４によって超音波センサ５７の発射する超音波ビーム
と平行なポインタビームを投光する（ステップＳＴ１１
４）。図１８はこの超音波センサ５７より発射された超
音波ビームによる距離計測ビームと、この距離計測ビー
ムと平行なレーザビームによるポインタビームとの関係
を示す説明図である。ロボットハンド５２にこの超音波
センサ５７と光ビーム投光手段６４の両方が一体的に取
り付けられており、ロボットハンド５２の移動にともな
って両手段５７，６４は同時に移動する。図示のよう
に、計測対象のワーク５０には超音波ビームによる距離
計測ビームがあたって反射されるとともに、レーザビー
ムによるポインタビームもまたその距離計測点に投光さ
れる。【００４７】 この光ビーム投光手段６４によって投光さ
れたポインタビームは、テレビカメラ５３により撮像さ
れた画像を処理することで、ポインタビーム検出手段６
５によって検出される（ステップＳＴ１１５）。このポ
インタビームは超音波センサ５７の発する距離計測ビー
ムの到達範囲にあるため、検出されたポインタビームの
位置を調べることにより、超音波センサ５７によって計
測されている被計測平面上の点を知ることが可能であ
る。これら一連の処理は、決定された距離計測プランに
従って、必要な全てのワーク５０上の計測点が計測され
るまで繰り返される。【００４８】 次に、画像認識手段５４による２次元配置
認識情報と、ポインタビームによってその位置が確認さ
れた距離計測点における距離計測手段５６の測定したワ
ーク５０の高さ情報は、ワーク配置認識手段５８によっ
て統合され、最終的にワークの３次元配置認識が行われ
る（ステップＳＴ１１６）。【００４９】 ロボット動作プラン部５９では前記ワーク
５０の３次元配置認識情報を使ってワーク５０を移載す
るためのロボットの動作プランを決定し（ステップＳＴ
１１７）、それに必要なロボット動作制御信号を生成し
てロボット制御部６２に送信する。ロボット制御部６２
では受け取った信号に基づいてロボット制御し、ワーク
の移載作業を実行する（ステップＳＴ１１８）。以上で
この参考例５の一連の動作が完了する。【００５０】 なお、上記参考例５では、距離センサ５７
として超音波センサを用いたが、光学的手法によらない
テレビカメラで映像化が困難な他の計測手段であっても
よく、またポインタビームとしてレーザビームを用いた
が、これも同様の光ビームであれば他のものであっても
よく上記参考例と同様の効果を奏する。【００５１】 また、上記参考例５では、距離計測は超音
波ビームだけで行い、光ビームは超音波ビームによって
計測されている点を確認するための手段として用いた
が、光ビームを距離計測に併用することにより、計測の
信頼性および精度を向上させることもできる。【００５２】 また、上記参考例５では、距離計測に超音
波ビームを用いていることから、計測点がそれほど精度
よく決定されないことが想像されるため、距離計測点の
位置を決定する際に各ワークの重心位置に相当する位置
としたが、指向性の強い超音波センサ５７を使用できる
状況では、例えば、ワーク５０のコーナー付近など複数
の点を計測するようにしてもよい。【００５３】 参考例６． 次に、この発明の参考例６を図について説明する。図１
９は参考例６を示す構成図である。図において、７０は
この参考例６による物体認識装置にて認識される認識対
象物体としての箱状物体であり、７１はこの箱状物体７
０の画像を入力する画像入力手段としてのテレビカメラ
である。７２はこのテレビカメラ７１より入力された原
画像のエッジを抽出するエッジ検出手段であり、７３は
このエッジ検出手段７２によって得られたエッジ画像上
の各エッジ点について座標変換操作を行い、順次投票平
面上に投票する座標変換手段である。７４はその投票平
面から情報を読み出して複数の認識対象の物体候補を抽
出する物体候補抽出手段、７５は抽出された物体候補の
それぞれについての信頼度を計算する信頼度計算手段で
あり、７６は算出された信頼度に基づいて原画像中の物
体の位置、およびその配列パターンを認識する画像認識
手段である。【００５４】 次に動作について説明する。なお、図２０
はこのように構成された物体認識装置の動作の流れを示
すフローチャートである。ここで、この参考例６におけ
る認識の対象は、図１９に示すような、パレット上に複
数の段にわたって積載された箱状物体７０である。処理
の最初の段階で、箱状物体７０に対して鉛直下向きに設
置されたテレビカメラ７１により箱状物体７０の画像が
撮像される（ステップＳＴ１２０）。次に、エッジ検出
手段７２によってその撮像された原画像に対しエッジ検
出が行われる（ステップＳＴ１２１）。当該エッジ検出
のアルゴリズムはこの参考例６では、例えば空間フィル
タの一種であるラプラシアン・オブ・ガウシアンフィル
タを用いたゼロクロス輪郭検出アルゴリズムを用いてい
るが、他のエッジ検出アルゴリズムでも本発明の作用を
説明する上では何等問題はない。【００５５】 座標変換手段７３はこのエッジ検出によっ
て得られたエッジ画像をもとに、ハフ変換によりハフ平
面への投票を行う（ステップＳＴ１２２）。図２１はこ
のハフ変換処理を模式的に表現した説明図であり、同図
（ａ）はエッジ画像の画像平面を同図（ｂ）はハフ投票
平面をそれぞれ表している。ハフ変換処理は、エッジ画
像中の全てのエッジ点（ｉ，ｊ）についてそれぞれ、従
来の技術５において説明した式（２）で表される座標変
換をおこない、対応する全てのハフ平面（ρ−θ平面）
上の点に投票することで行われる。【００５６】 ここで、図２１（ａ）中のエッジ点Ｐ１，
Ｐ２，Ｐ３はそれぞれ、同図（ｂ）に示したハフ平面で
は曲線Ｌ１，Ｌ２，Ｌ３に対応する。ハフ平面では、例
えば図２１（ｂ）における点Ｐｋ（θｋ，ρｋ）のよう
に、局所的に周囲より投票値の高い点が生じる。この点
は、即ちエッジ画像（図２１（ａ））では直線Ｌｋに対
応する。この直線Ｌｋの方程式は、式（２）にＰｋの座
標（θｋ，ρｋ）を代入することで求められる。このよ
うに、単純な投票操作によって、エッジ画像中に含まれ
る直線成分が検出される。【００５７】 次に物体候補抽出手段７４によりハフ平面
から認識対象の物体候補の抽出が行われる（ステップＳ
Ｔ１２３）。図２２はこの物体候補の抽出の様子を示す
説明図である。いま、抽出したい物体は箱状であり、原
画像上では矩形パターンである。したがって、ハフ平面
では、例えば同図の点Ｐ１，Ｐ２，Ｐ３，Ｐ４のような
相互関係にある４点を探索することが、エッジ画像にお
ける矩形パターンを囲む４つの輪郭直線を見つけること
に相当するのである。図２２では点Ｐ１，Ｐ２がまず検
出される。これは同じθの値θ１をもつことから平行線
を意味する。また、点Ｐ１，Ｐ２のρの値はそれぞれρ
１，ρ２であり、その差（ρ１−ρ２）は平行線の間隔
（距離）を表している。見つけたい矩形パターンの寸法
を予め格納しておくことで、ハフ平面上でこのような２
点を見つけることが可能である。また、同様に、点Ｐ
３，Ｐ４についても物体のモデルを利用してみつけるこ
とができる。さらに、ここで点Ｐ１とＰ３のθの値の差
（θ２−θ１）＝９０（度）であることを利用してい
る。即ち、これはエッジ画像上では２組の平行線が互い
に直行することを意味し、矩形パターンを検出すること
になる。以上の処理を繰り返すことで、ハフ平面から箱
状物体７０の候補を物体候補として抽出することができ
る。【００５８】 次に、このようにして抽出された各物体候
補の信頼度が信頼度計算手段７５によって計算される
（ステップＳＴ１２４）。この参考例６では、物体候補
である矩形パターンを構成する４つの直線、即ちハフ平
面では４点の投票値の合計をもって信頼度とする。【００５９】 次に、画像認識手段７６により、複数の物
体候補の合理的な組み合わせによる画像記述を解釈し、
画像認識を行う（ステップＳＴ１２５）。即ち、複数の
物体候補からどれを選択してシーンを構成すべきかを判
断する。図２３はこの画像認識手段７６によるシーン解
釈の流れを示すフローチャートである。以下、この図２
３を用いてシーン解釈の動作について説明する。【００６０】 まず最初に各物体候補について信頼度テー
ブルＣｆ〔ｎ〕が生成される（ステップＳＴ１３０）。
この信頼度テーブルの引数ｎは、物体候補の番号を示し
ている。なお、上記のように信頼度はハフ平面での投票
値であり、図２４（ａ）にこの信頼度テーブルＣｆの一
例を示す。図示のように、候補１の信頼度は２６５、候
補２の信頼度は１９９，……となる。この信頼度テーブ
ルＣｆはその内容によって降順にソートされる。ソート
されたテーブルを図２４（ｂ）に示す。また、その際同
時に候補テーブルＣｔ〔ｎ〕を生成する（ステップＳＴ
１３１）。この候補テーブルＣｔは図２４（ｃ）に示す
ような１次元テーブルであり、ソートされた信頼度テー
ブルＣｆのインデックスを格納している。例えば、候補
３は信頼度３０９であるが、ソートした結果、順位が２
番目であったため、Ｃｔ〔２〕＝３がセットされる。次
にカウンタ変数ｎが初期値“１”にセットされ（ステッ
プＳＴ１３２）。物体Ｃｔ〔１〕は無条件に認識リスト
に登録される（ステップＳＴ１３３）。これは、最大信
頼度をもつ物体候補は無条件に認識結果として採用され
るということである。【００６１】 次にｎは“１”だけ増加され（ステップＳ
Ｔ１３４）、続いて物体Ｃｔ〔ｎ〕がそれ以前に認識リ
ストに登録されている物体と干渉しないかどうか検査さ
れる（ステップＳＴ１３５）。認識リストに登録されて
いる物体の中に一つでもＣｔ〔ｎ〕と干渉するものがあ
れば、物体Ｃｔ〔ｎ〕は認識結果として採用されないの
で、ｎをさらに１だけインクリメントして処理を続け
る。また、認識リストの中に物体Ｃｔ〔ｎ〕と干渉する
ものが全くない場合は、新しく物体Ｃｔ〔ｎ〕を認識リ
ストに追加登録する（ステップＳＴ１３６）。この操作
を全ての物体候補について行うことにより（ステップＳ
Ｔ１３７）、最終的に相互干渉しない信頼度の高い物体
候補の組み合わせからなるシーンの解釈結果が得られ
る。なお、ここで、干渉とはたとえば２つの異なる物体
候補が空間内に存在するときに、物体の一部が同じ空間
を占有することを言う。【００６２】 以上のような動作により、箱状物体７０の
組み合わせからなる画像シーンが解釈され、動作は終了
する。【００６３】 なお、上記参考例６では、エッジ検出アル
ゴリズムとしてラプラシアン・オブ・ガウシアンフィル
タによるゼロクロス輪郭検出を用いたが、他のエッジ検
出方を使用してもよく、上記参考例と同様の効果を奏す
る。【００６４】 また、上記参考例６では、物体候補を抽出
するためにハフ変換を用いたが、座標変換・投票による
手法としてスポークフィルタによるパターン検出を用い
てもよく、この場合も上記参考例と同様の効果が得られ
ることはいうまでもない。【００６５】参考例７ ． 次に、この発明の参考例７を図について説明する。図２
５はこの参考例７を示す構成図で、相当部分には図１９
と同一符号を付してその説明を省略する。図において、
７７はハフ変換によるパターン検出に際して、物体検出
に必要な物体の寸法が格納される物体モデル情報格納手
段であり、７８はテンプレートマッチングによるパター
ン検出に際して、テンプレートマッチングに必要なモデ
ルを格納するテンプレート格納手段、７９は入力された
原画像について、このテンプレート格納手段７８に格納
されたモデルを使用したテンプレートマッチングにより
物体の位置と姿勢を検出し、認識対象の物体候補を抽出
するパターン検出手段である。なお、信頼度計算手段７
５は、物体候補抽出手段７４とパターン検出手段７９と
によって抽出された物体候補について、それぞれ信頼度
の計算を行う点で参考例６のものとは異なっている。【００６６】 次に動作について説明する。なお、図２６
はこのように構成された物体認識装置の動作の流れを示
すフローチャートであり、認識の対象は参考例６のもの
と同様である。処理の最初の段階で、ユーザが認識の対
象を当該物体認識装置に登録するが、その際にハフ変換
によるパターン検出をするか、テンプレートマッチング
によるパターン検出をするかを選択する（ステップＳＴ
１４０）。【００６７】 ハフ変換によるパターン検出を選択した場
合は、前記参考例６に記載した方法により物体候補が抽
出される。即ち、物体モデルとして、ハフ平面での物体
検出に必要な、物体の寸法を物体モデル情報格納手段７
７に格納する（ステップＳＴ１４１）。さらに、原画像
からエッジ検出手段７２によりエッジを検出し（ステッ
プＳＴ１４２）、ハフ変換式にそって、座標変換手段７
３により座標変換およびハフ平面への投票を行い、（ス
テップＳＴ１４３）、物体候補抽出手段７４によりハフ
平面を操作して矩形パターンとして物体候補を抽出する
（ステップＳＴ１４４）。【００６８】 一方、テンプレートマッチングによるパタ
ーン検出を選択した場合は、テンプレートマッチングに
必要なモデルをパターン検出用テンプレート格納手段７
８により登録する（ステップＳＴ１４５）。図２７は認
識対象物体の一例（ダンボール箱）と、物体を認識する
ために必要な複数の２次元テンプレート群の一部を示し
た説明図である。図２７（ａ）は、箱状物体７０として
の段ボール箱を模式的に描いたものである。梱包に使用
される段ボール箱は例えば図示のように中央付近にテー
プが貼付される。テンプレート群は図２７（ｂ）に示さ
れており、ちょうど物体のコーナー部に対応するような
パターンになっている。図示の例ではテンプレート群の
一部のみを示したが、テンプレートは少しづつ回転させ
た複数個が用意される。【００６９】 認識対象物体の画像が入力されると、テン
プレートマッチングが行われる（ステップＳＴ１４
６）。このテンプレートマッチングは、まずテンプレー
ト＃１から順に原画像上を探索され、２次元の相互相関
値を求めてもっとも高い位置で検出とみなす。この探索
を＃２以降のテンプレートについても同様におこない、
用意した全てのテンプレートとの相関係数をもとめ、原
画像中の段ボール箱のコーナーを検出する。このテンプ
レートマッチングの処理はパターン検出手段７９によっ
て行われ、得られたコーナー部の相互関係や各々に対応
するテンプレートの種類から、認識対象となる段ボール
箱の候補を検出する。【００７０】 続いて、抽出された各物体候補の信頼度が
信頼度計算手段７５により計算される（ステップＳＴ１
４７）。この参考例７では、ハフ変換によるパターン検
出の場合は物体候補を構成する４つの輪郭直線に対応す
るハフ平面での投票値の平均として信頼度を計算する。
また、テンプレートマッチングによるパターン検出の場
合は４ヵ所のコーナー部にマッチしたテンプレートマッ
チングのスコアである相互相関値の合計値として計算す
る。【００７１】 最後に、画像認識手段７６において、前記
参考例６において説明した方法と同様の手法で、上記物
体候補の最適な組み合わせを求めて、画像解釈・認識を
行う（ステップＳＴ１４８）。即ち、信頼度の高い物体
から順に認識結果リストに登録してゆき、もしある物体
候補がそれ以前に認識結果リストに登録されているどれ
かの物体候補と位置的に干渉する場合は登録を中断する
というものである。以上の一連の処理によりこの参考例
７の動作は終了する。【００７２】 なお、上記参考例７では、座標変換・投票
によるパターン検出手法としてハフ変換を用いたが、ス
ポークフィルタによるパターン検出手法を用いてもよ
く、上記参考例と同様の効果が期待できる。【００７３】 また、この参考例７では、処理の最初の段
階でユーザがハフ変換またはテンプレートマッチングに
よるパターン検出のどちらかを選択する場合について説
明したが、これは認識対象物体の形状や属性によって装
置が自動的に判断するようにしてもよい。【００７４】 また、上記参考例７では、テンプレートマ
ッチングによるパターン検出として、物体のコーナー部
分にマッチする複数のテンプレートを用意したが、コー
ナー部分以外、例えば物体表面に描かれた特徴ある模様
にマッチするテンプレートであってもよく、上記参考例
と同様の効果を奏する。【００７５】 さらに、上記参考例７では、複数の回転し
ながら生成したテンプレートを用いたものを示したが、
例えば円形のテンプレートを一つ使用して物体の円形パ
ターンを検出するようにしても物体候補の抽出が可能で
あることはいうまでもない。【００７６】参考例８ ． 次に、この発明の参考例８を図について説明する。図２
８は参考例８を示す構成図で、相当部分には図１９と同
一符号を付してその説明を省略する。図において、８０
は認識対象物体である箱状物体７０のモデルとして登録
されている、当該箱状物体７０の輪郭点をもとにした輪
郭テンプレートである。なお、信頼度計算手段７５は、
認識対象の物体候補の原画像上の輪郭点とこの輪郭テン
プレート８０を輪郭マッチングして得られた類似度よ
り、その物体候補の信頼度を算出する点で参考例６のも
のとは異なっている。【００７７】 次に動作について説明する。なお、図２９
はこのように構成された物体認識装置の動作の流れを示
すフローチャートであり、認識の対象は図２８に示すよ
うに参考例６のものと同様である。当該物体認識装置を
起動するのに先立って、認識対象物体のモデルを登録し
ておく必要がある。モデルは、図３０に示したような輪
郭テンプレート８０として格納する（ステップＳＴ１５
０）。同図においては、（ａ）に原画像の一例が、
（ｂ）にテンプレート画像としての段ボール箱の輪郭画
像が模式的に示されている。輪郭テンプレート８０は、
前記輪郭画像の輪郭部分の点列の座標を同図（ｃ）のよ
うな１次元のアレイに格納したものである。即ち、輪郭
テンプレート８０には、輪郭の存在する部分を表現した
点列の座標（ｉ，ｊ）が格納される。【００７８】 処理の最初の段階で、箱状物体７０に対し
て鉛直下向きに設置されたテレビカメラ７１により、箱
状物体７０の画像が撮像される（ステップＳＴ１５
１）。次に、撮像された画像に対して、前記参考例６に
て説明した手法で、エッジ検出と座標変換・投票処理が
なされ（ステップＳＴ１５２，ＳＴ１５３）、認識対象
の物体候補が抽出される（ステップＳＴ１５４）。この
物体候補のデータは、各箱状物体７０の２次元的位置と
姿勢（向き）とからなる。【００７９】 次に、信頼度計算手段７５で、ＥＰＴＭに
よる各物体候補の信頼度が計算される（ステップＳＴ１
５５）。この信頼度計算の流れを図３１に示すフローチ
ャートにそって、図３０を使って以下に説明する。図３
０（ａ）に示されているのは、画像Ｃ（ｉ，ｊ）上に存
在する物体候補の一例である。実際には複数の物体候補
が存在することが多いが、ここでは説明が簡単になるよ
うに画像中にひとつだけ候補があるとしている。前記認
識対象候補の物体について、位置と姿勢が計測されてい
るので、図３０（ｂ）のようなテンプレートを画像Ｃ上
の物体候補に重ね合わせるために、まず、位置と姿勢の
補正量を計算し（ステップＳＴ１６０）、それに基づい
てテンプレートの位置と姿勢の補正を行い（ステップＳ
Ｔ１６１）、画像Ｃ上の物体候補にテンプレートを重ね
合わせる（ステップＳＴ１６２）。ここで、物体候補の
位置として物体の重心をＰｃ（Ｐｃｘ，Ｐｃｙ）、ま
た、姿勢として段ボール箱の長手方向の軸方向Ａ（θ
Ａ）とする。また、テンプレート画像についても同様に
位置としての重心Ｐｔ（Ｐｔｘ，Ｐｔｙ）、軸方向Ｂ
（θＢ）とする。なお、図３０（ｃ）に示すように、輪
郭テンプレート８０は１次元であるが、ここでは説明が
容易なように２次元であるかのように記述することにす
る。重ね合わせは、重心ＰｃとＰｔを一致させ、かつ姿
勢ＡとＢを一致させるように行われる。信頼度計算手段
７５は次に次の式（４）に従って類似度、即ち信頼度Ｍ
計算する（ステップＳＴ１６３）。【００８０】 【数２】 【００８１】ここで、Ｃ（ｉ，ｊ）は認識対象画像、Ｘ
（ｋ），Ｙ（ｋ）は図３０に示した１次元テンプレー
ト、Ａｄは物体候補と輪郭テンプレート８０の姿勢を補
正する角度、関数Ｒｉ，Ｒｊはそれぞれテンプレートに
格納された座標列をＡｄだけ補正する回転補正関数であ
る。【００８２】 なお、画像Ｃ（ｉ，ｊ）は２値（１／０）
で表現されている。信頼度Ｍは上記式（４）のまま使用
してもよいが、テンプレート点数Ｎで割ることで正規化
も可能である。以上のようにして信頼度の計算が完了す
る。【００８３】 続いて、画像認識手段７６により前記参考
例６で説明した方法により、複数の物体候補の組み合わ
せを最適化して画像認識を行う（ステップＳＴ１５
６）。即ち、信頼度の高い物体から順に認識結果リスト
に登録していき、もしある物体候補がそれ以前に認識結
果リストに登録されているどれかの物体候補と位置的に
干渉する場合は登録を中断するというものである。以上
の処理により、本参考例における一連の動作を全て終了
する。【００８４】 なお、上記参考例８では、ＥＰＴＭによる
マッチングの際に、認識対象画像Ｃを、原画像から得ら
れたエッジ画像として生成したが、マッチングに先立っ
てエッジ画像を２回以上膨張させておくこともできる。
膨張とは画像中の輪郭の部分の太さを太める処理であ
り、このようにすることで物体候補の位置Ｐｃと姿勢Ａ
に多少の計測誤差があっても安定に信頼度を求めること
が可能になる。【００８５】 また、上記参考例８では、ＥＰＴＭによる
マッチングの際に、テンプレートとして物体の外形を示
す輪郭部分の他、上面に現れた輪郭画素も登録している
が、さらに物体に幾何学的にユニークな模様が存在する
場合には、その模様部分の輪郭もテンプレートに追加す
ることでより信頼度の信頼性が向上する。また、逆に連
続する輪郭画素を全てテンプレートとして登録するので
はなく、間引き処理を施すことによりテンプレートの長
さを短縮でき、マッチングに要する時間を短縮すること
も可能である。【００８６】参考例９ ． 次に、この発明の参考例９を図について説明する。図３
２は参考例９を示す構成図で、相当部分には図２８と同
一符号を付してその説明を省略する。図において、８１
は輪郭テンプレート８０が認識対象物体に関する輪郭点
をもとにした物体輪郭の存在する部分を表現するもので
あるのに対して、物体輪郭の存在しない部分を表現する
テンプレートである。なお、信頼度計算手段７５は、こ
の輪郭テンプレート８０とテンプレート８１の両方を使
用した輪郭マッチングによって類似度を得ている点で、
参考例８のものとは異なっている。【００８７】 次に動作について説明する。なお、図３３
はこのように構成された物体認識装置の動作の流れを示
すフローチャートであり、認識の対象は参考例６の場合
と同様である。当該物体認識装置を起動するのに先立っ
て、ＥＰＴＭのための認識対象物体のモデルを登録する
（ステップＳＴ１７０，ＳＴ１７１）。このモデルはテ
ンプレートとして登録され、そのテンプレートには物体
輪郭の存在する部分を表現する輪郭テンプレート８０
と、物体輪郭の存在しない部分を表現するテンプレート
８１の２種類がある。図３４はこれら輪郭テンプレート
８０およびテンプレート８１を説明する説明図であり、
同図（ａ）には認識対象となる段ボール箱の原画像が、
同図（ｂ）には輪郭テンプレート８０の概念が、同図
（ｃ）にはテンプレート８１の概念が、同図（ｄ）には
テンプレートの格納形式がそれぞれ示されている。この
図３４（ｂ）に示すように、輪郭テンプレート８０は認
識対象物体の輪郭画素集合としての点列であり、実際に
当該物体認識装置に格納される形式は図３４（ｄ）のよ
うな１次元形式である。また、図３４（ｃ）のように、
テンプレート８１は物体の輪郭が存在しない部分を表現
した画素集合としての点列であり、同様に図３４（ｄ）
のような１次元形式で格納されている。【００８８】 次に、鉛直下向きに設置されたテレビカメ
ラ７１により、認識対象物体の画像が撮像される（ステ
ップＳＴ１７２）。次に、この撮像された画像に対して
参考例６で説明した手法により、エッジ検出と座標変換
・投票処理がなされ（ステップＳＴ１７３，ＳＴ１７
４）、認識対象の物体の候補が抽出される（ステップＳ
Ｔ１７５）。この物体候補のデータは、各物体候補の２
次元的位置と姿勢（向き）とからなる。【００８９】 次に信頼度計算手段７５で、ＥＰＴＭによ
る各物体候補の信頼度が計算される（ステップＳＴ１７
６）。この信頼度計算の流れを、図３５に示すフローチ
ャートにそって、図３４を併用して以下に説明する。信
頼度計算が開始されるとまず、すでに計測された物体候
補の位置と姿勢データから、マッチングのための位置と
姿勢の補正量を計算する（ステップＳＴ１８０）。図３
４（ａ）に示されているのは、画像Ｃ（ｉ，ｊ）上に存
在する物体候補の一例である。図中、点Ｃ１と方向θ１
は候補＃１を表している。同様に点Ｃ２と方向θ２は候
補＃２を表している。候補＃１は正しいが、候補＃２は
誤った候補である。マッチングのための補正量が計算さ
れるとその値に基づいて輪郭テンプレート８０およびテ
ンプレート８１の座標が補正されて位置と姿勢が補正さ
れ（ステップＳＴ１８１）、画像Ｃに重ね合わされる
（ステップＳＴ１８２）。次に、次の式（５）にそっ
て、類似度Ｍａと、非類似度Ｍｂが計算される（ステッ
プＳＴ１８３，ＳＴ１８４）。【００９０】 【数３】 【００９１】類似度Ｍａは画像上のパターンがテンプレ
ートと類似している度合いを表したもので、非類似度Ｍ
ｂは同じく類似していない度合いを表したものである。
まず候補＃１の信頼度を求める過程を説明する。候補＃
１の重心Ｃ１（Ｐｃ１ｘ，Ｐｃ２ｘ）および姿勢として
の物体の長手方向の軸の傾きθ１は既知である。また、
輪郭テンプレート８０に示された物体の重心ＳＡ（ＰＳ
Ａｘ，ＰＳＡｙ）および軸方向θＡも既知である。【００９２】 ここで、Ｃ（ｉ，ｊ）は認識対象画像、Ｘ
（ｋ）、Ｙ（ｋ）は図３４に示した１次元テンプレー
ト、Ａｄは物体候補と輪郭テンプレート８０の姿勢を補
正する角度、Ｂｄは物体候補とテンプレート８１の姿勢
を補正する角度、関数Ｒｉ，Ｒｊはそれぞれテンプレー
トに格納された座標列をＡｄまたはＢｄだけ補正する回
転補正関数である。次に、これら類似度Ｍａと非類似度
Ｍｂは統合され（ステップＳＴ１８５）、次の式により
信頼度Ｍが求められる。なお、Ｎａ，Ｎｂはそれぞれ輪
郭テンプレート８０およびテンプレート８１に登録され
たエッジ点数である。【００９３】 Ｍ ＝ Ｍａ／Ｎａ − Ｍｂ／Ｎｂ【００９４】 候補＃１の場合には、輪郭テンプレート８
０に登録された輪郭点が全て画像Ｃに存在し、かつテン
プレート８１に登録された画素点列に相当する画像Ｃ上
の点は全く存在しないため、信頼度ＭはＭ＝１となる。【００９５】 次に候補＃２に対して同様のマッチングを
行うと、テンプレート８１に対応する画像Ｃ上の輪郭点
が主に候補＃１と候補＃２の境界や、それらの上に書か
れた文字（“ＡＢＣ”）などによって多数存在するため
に、非類似度Ｍｂが高まり、信頼度Ｍは低く評価される
ことになる。なお、画像Ｃ（ｉ，ｊ）は２値（１／０）
で表現されている。以上のようにして信頼度の計算が完
了する。【００９６】 続いて、画像認識手段７６により参考例６
で説明した方法により、複数の物体候補の組み合わせを
最適化して画像認識を行う（ステップＳＴ１７７）。即
ち、信頼度の高い物体から順に認識結果リストに登録し
ていき、もしある物体候補がそれ以前に認識結果リスト
に登録されているどれかの物体候補と位置的に干渉する
場合は登録を中断するというものである。以上の処理に
より、本参考例における一連の動作を全て終了する。【００９７】 なお、上記参考例９では、ＥＰＴＭによる
マッチングの際に、認識対象画像Ｃを、原画像から得ら
れたエッシ画像として生成したが、マッチングに先立っ
てエッジ画像を２回以上膨張させておくこともできる。【００９８】 また、上記参考例９では、ＥＰＴＭによる
マッチングの際に、輪郭テンプレート８１として物体の
外形を示す輪郭部分の他、上面に現れた輪郭画素も登録
しているが、さらに物体に幾何学的にユニークな模様が
存在する場合には、その模様部分の輪郭も輪郭テンプレ
ート８１に追加することでより信頼度の信頼性が向上す
る。また、逆に連続する輪郭画素を全てテンプレートと
して登録するのではなく、間引き処理を施すことにより
テンプレートの長さを短縮でき、マッチングに要する時
間を短縮することも可能である。【００９９】 また、上記参考例９では、テンプレート８
１として物体の中央部に集中して「輪郭の存在しない部
分を表現する画素」を登録しているが、輪郭テンプレー
ト８０に登録された輪郭に密着して平行した画素列を用
いてもよい。【０１００】実施例１． 次に、この発明の実施例１を図について説明する。図３
６は請求項１に記載した発明の実施例１を示す構成図で
ある。図において、９０は入力された原画像のエッジを
抽出するエッジ検出手段である。９１はこのエッジ検出
手段９０によって抽出されたエッジ画像の水平走査を行
って、水平線分である可能性の高い点列を検出するとそ
れを点としてハフ投票平面に投票する水平線投票手段、
９２は前記エッジ画像の垂直走査を行って、垂直線分で
ある可能性の高い点列を検出するとそれを点としてハフ
投票平面に投票する垂直線投票手段であり、９３は残っ
た水平線分または垂直線分である可能性の低い点列を、
曲線としてハフ投票平面に投票する水平・垂直線以外投
票手段である。９４は前記ハフ変換された点や曲線が投
票されたハフ投票平面が格納されたハフ平面格納メモリ
である。【０１０１】 次に動作について説明する。ここで、図３
７はこのように構成された物体認識装置の動作の流れを
示すフローチャートである。処理の最初の段階で、原画
像がエッジ検出手段９０に入力される（ステップＳＴ１
９０）。エッジ検出手段９０は入力された原画像に対し
てエッジ検出処理を実行し、画像中のエッジ部分を抽出
する（ステップＳＴ１９１）。ハフ変換はこのエッジ検
出されたエッジ画像に対して行われる。【０１０２】 次に、水平線投票手段９１によってそのエ
ッジ画像が水平に走査され（ステップＳＴ１９２）、水
平線セグメントが抽出される（ステップＳＴ１９３）。
図３８（ａ）にはこのエッジ画像の一例を示す。このエ
ッジ画像中で水平走査により、水平線分である水平線セ
グメントＨ１がまず検出される。この水平線セグメント
Ｈ１は従来の技術５において説明した式（２）に基づく
ハフ変換によりρ−θが計算され（ステップＳＴ１９
４）、図３８（ｂ）に示したハフ平面上に点Ｐ１（ρ
１，θ１）として投票される（ステップＳＴ１９５）。
この実施例１では、水平セグメントＨ１の方程式がｊ＝
−ｊｃ（ｊｃ＞０）となるので、式（２）がいかなる
ｉ，ｊをとってもｊ＝−ｊｓに等しくなるためには、θ
＝９０度、ρ＝−ｊｓ、またはθ＝２７０度、ρ＝ｊｓ
のどちらかでなければならない。従ってハフ平面上の点
Ｐ１（θ１＝９０，ρ１＝−ｊｓ）および点Ｐ１’（θ
１’＝２７０，ρ１’＝ｊｓ）に投票する。なお、図３
８（ｂ）では点Ｐ１のみを表示した。さらに、投票直後
に、投票に関与したエッジ画像上のエッジ点列、即ち水
平線セグメントＨ１を構成する点列をエッジ画像中から
削除する（ステップＳＴ１９６）。同様にして、図３８
（ａ）の水平線セグメントＨ２に対応するハフ平面上の
点のひとつはＰ２であるので、この水平線セグメントＨ
２を点Ｐ２に投票し、水平線セグメントＨ２に属する点
列を全て削除する。上記一連の処理を、エッジ画像全体
の水平走査が終了するまで続ける（ステップＳＴ１９
７）。【０１０３】 次に、垂直線投票手段９２によってエッジ
画像が垂直に走査され（ステップＳＴ１９８）、垂直線
セグメントが抽出される（ステップＳＴ１９９）。この
エッジ画像の垂直走査により、垂直線分である垂直線セ
グメントＶ１が検出される。この垂直線セグメントＶ１
についても同様にハフ変換されてρ−θが計算され（ス
テップＳＴ２００）、図３８（ｂ）に示したハフ平面上
に点Ｐ３として投票される（ステップＳＴ２０１）。そ
のとき同時に、エッジ画像上の垂直線セグメントＶ１に
属する点列は削除される（ステップＳＴ２０２）。上記
一連の処理を、エッジ画像全体の垂直走査が終了するま
で続ける（ステップＳＴ２０３）。【０１０４】 次に、前記水平線投票手段９１による処
理、および垂直線投票手段９２による処理の終了後にエ
ッジ画像上に残っているエッジ点に関して、水平・垂直
線以外投票手段９３によりハフ平面に投票する（ステッ
プＳＴ２０４）。これは、前記参考例６において説明し
た方法による。即ち、エッジ点をひとつづつハフ変換式
によって変換してゆく。図３８（ａ）におけるエッジ点
列ＰＬに対応する同図（ｂ）のハフ平面上の投票軌跡は
Ｓである。【０１０５】 上述の水平線投票手段９１、垂直線投票手
段９２、および水平・垂直線以外投票手段９３によるハ
フ平面への投票処理は、すべて同一のハフ平面に対して
おこなわれ、その結果がハフ平面格納メモリ９４に格納
される。この実施例１においては、以上の投票操作によ
って生成されたハフ平面に対し、局所的ピークを持つ位
置を求めることで、該ピーク位置に対応する直線の方程
式が求められることになり、当該参考例６の動作を完了
する。【０１０６】 なお、上記実施例１では、ハフ平面におい
て、θ＞１８０度の範囲にも投票したが、ρの正負を考
えることでθ＜１８０度の範囲でのみ投票することが可
能である。【０１０７】 また、上記実施例１では、投票に使用した
エッジ点を画像から逐次削除してゆくものについて説明
したが、削除せずに再び投票に使用してもよく、また削
除する場合でも別途用意したエッジ画像と同じサイズの
フラグ画像を用いて削除フラグを付加することも可能で
ある。【０１０８】 また、上記実施例１では、完全に水平の線
セグメントと完全に垂直の線セグメントを検出して投票
するものを示したが、幅２画素または３画素の線セグメ
ントを検出して投票に使用してもよく、上記参考例と同
様の効果を奏することはいうまでもない。 【０１０９】 【発明の効果】以上のように、この発明によれば、エッ
ジ画像を水平および垂直に走査して得られたエッジ点が
水平線分であるかどうかを判定して水平線分であれば、
それを点としてハフ投票平面に投票し、前記エッジ画像
を垂直に走査して得られたエッジ点が垂直線分であるか
どうかを判定して垂直線分であれば、それを点としてハ
フ投票平面に投票し、前記判定において水平線分でもな
くかつ垂直線分でもないと判定されたエッジ点を、曲線
として前記ハフ投票平面に投票するように構成したの
で、画像中に水平または垂直な線分要素が存在する場合
に、高速かつ高信頼度の投票を行うことができ、投票平
面からのパターン抽出の信頼性が高い、ハフ変換技術を
利用した物体認識装置が得られる効果がある。

【図面の簡単な説明】 【図１】この発明の参考例１によるロボット装置を示す
構成図である。 【図２】上記参考例の動作の流れを示すフローチャート
である。 【図３】上記参考例における認識対象物体の画像を示す
説明図である。 【図４】上記参考例における距離測定点を示す説明図で
ある。 【図５】この発明の参考例２によるロボット装置を示す
構成図である。 【図６】上記参考例の動作の流れを示すフローチャート
である。 【図７】上記参考例における基準距離計測経路を示す説
明図である。 【図８】上記参考例における各処理の時間関係を示すタ
イミング図である。 【図９】この発明の参考例３によるロボット装置を示す
構成図である。 【図１０】上記参考例の動作の流れを示すフローチャー
トである。 【図１１】上記参考例における距離測定点を示す説明図
である。 【図１２】この発明の参考例４によるロボット装置を示
す構成図である。 【図１３】上記参考例の動作の流れを示すフローチャー
トである。 【図１４】上記参考例における撮像手段と対象物との位
置関係を示す説明図である。 【図１５】上記参考例における距離計測の概念を示す説
明図である。 【図１６】この発明の参考例５によるロボット装置を示
す構成図である。 【図１７】上記参考例の動作の流れを示すフローチャー
トである。 【図１８】上記参考例における距離計測の概念を示す説
明図である。 【図１９】この発明の参考例６による物体認識装置を示
す構成図である。 【図２０】上記参考例の動作の流れを示すフローチャー
トである。 【図２１】上記参考例におけるハフ変換を示す説明図で
ある。 【図２２】上記参考例における矩形抽出を示す説明図で
ある。 【図２３】上記参考例における画像解釈処理の流れを示
すフローチャートである。 【図２４】上記参考例における信頼度および候補テーブ
ルの一例を示す説明図である。 【図２５】この発明の参考例７による物体認識装置を示
す構成図である。 【図２６】上記参考例の動作の流れを示すフローチャー
トである。 【図２７】上記参考例におけるテンプレートマッチング
の説明図である。 【図２８】この発明の参考例８による物体認識装置を示
す構成図である。 【図２９】上記参考例の動作の流れを示すフローチャー
トである。 【図３０】上記参考例におけるＥＰＴＭの説明図であ
る。 【図３１】上記参考例におけるＥＰＴＭの流れを示すフ
ローチャートである。 【図３２】この発明の参考例９による物体認識装置を示
す構成図である。 【図３３】上記参考例の動作の流れを示すフローチャー
トである。 【図３４】上記参考例におけるＥＰＴＭの説明図であ
る。 【図３５】上記参考例におけるＥＰＴＭの流れを示すフ
ローチャートである。 【図３６】この発明の実施例１による物体認識装置を示
す構成図である。 【図３７】上記実施例１の動作の流れを示すフローチャ
ートである。 【図３８】上記実施例１におけるハフ変換を説明するた
めの説明図である。【図３９】 従来の技術１による物体認識装置によるハフ
変換を示す説明図である。【図４０】 その動作の流れを示すフローチャートであ
る。 【符号の説明】 ５０ ワーク ５１ ロボット ５２ ロボットハンド ５３ 撮像手段（テレビカメラ） ５４ 画像認識手段 ５５ 距離計測プラン部 ５６ 距離計測手段 ５７ 距離センサ（超音波センサ） ５８ ワーク配置認識手段 ５９ ロボット動作プラン部 ６０ 標準距離計測手段 ６１ 法線方向認識手段 ６３ ワークモデル格納手段 ６４ 光ビーム投光手段 ６５ ポインタビーム検出手段 ７０ 認識対象物体（箱状物体） ７１ 画像入力手段（テレビカメラ） ７２ エッジ検出手段 ７３ 座標変換手段 ７４ 物体候補抽出手段 ７５ 信頼度計算手段 ７６ 画像認識手段 ７８ テンプレート格納手段 ７９ パターン検出手段 ８０ 輪郭テンプレート ８１ テンプレート ９０ エッジ検出手段 ９１ 水平線投票手段 ９２ 垂直線投票手段 ９３ 水平・垂直線以外投票手段

フロントページの続き (56)参考文献 特開 平４−364403（ＪＰ，Ａ) 特開 昭63−225881（ＪＰ，Ａ) 特開 昭64−31188（ＪＰ，Ａ) 特開 平５−127724（ＪＰ，Ａ) 特開 昭62−282882（ＪＰ，Ａ) 特開 昭63−238414（ＪＰ，Ａ) 特開 昭61−190680（ＪＰ，Ａ) 特開 平１−155202（ＪＰ，Ａ) 特開 昭63−75984（ＪＰ，Ａ) 特開 昭62−25385（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/60 G01B 11/00 B25J 13/08 B25J 19/04

Claims (1)

1. (57)【特許請求の範囲】 【請求項１】 入力された原画像のエッジを抽出するエ
   ッジ抽出手段と、前記エッジ抽出手段にて抽出されたエ
   ッジ画像を水平に走査して得られたエッジ点が水平線分
   であるかどうかを判定して水平線分であれば、それを点
   としてハフ投票平面に投票する水平線投票手段と、前記
   エッジ画像を垂直に走査して得られたエッジ点が垂直線
   分であるかどうかを判定して垂直線分であれば、それを
   点としてハフ投票平面に投票する垂直線投票手段と、前
   記判定において水平線分でもなくかつ垂直線分でもない
   と判定されたエッジ点を、曲線として前記ハフ投票平面
   に投票する水平・垂直線以外投影手段とを備えた物体認
   識装置。