JPH0788791A

JPH0788791A - ロボット装置およびその周辺装置

Info

Publication number: JPH0788791A
Application number: JP5233784A
Authority: JP
Inventors: Manabu Hashimoto; 橋本　　学; Kazuhiko Washimi; 和彦鷲見; Miwako Hirooka; 美和子広岡
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1993-09-20
Filing date: 1993-09-20
Publication date: 1995-04-04
Anticipated expiration: 2018-07-14
Also published as: JP3426002B2

Abstract

(57)【要約】【目的】物体の表面に特別な識別用のマークを付加す
る必要がなく、対象物体を安定に識別して移載作業が正
確に行えるロボット装置、およびその周辺装置を得る。【構成】撮像された画像よりワークの２次元的な配置
を認識して距離計測プランを決定し、それに従って計測
したワークの高さの計測値を前記２次元配置情報と統合
してワークの３次元的な配置を認識し、ロボット動作プ
ランを計算するロボット装置、および、ハフ変換処理に
よる投票、輪郭テンプレートによるＥＰＴＭ、あるいは
遺伝的アルゴリズムによるビット列操作などによって物
体認識の信頼度を向上させ、かつ処理を高速化した、物
体認識装置、画像処理装置、および情報処理装置。

Description

【発明の詳細な説明】【産業上の利用分野】

【０００１】この発明は、視覚装置を備えたロボット装
置、およびワークの認識などのための物体認識装置、画
像処理装置、情報処理装置等のロボット装置の周辺装置
に関するものである。

【０００２】

【従来の技術】

従来の技術１．図５５は例えば、特開平３−２３４４９
１号公報に示された、従来のロボットを用いた自動移載
装置を示すブロック図である。図において、１は移載さ
れるワークとしての荷であり、２はこの荷１が載せられ
るパレット、３は荷１が載せられたパレット２を移送す
るコンベアである。４はコンベア３で移送される荷１を
移載するロボットであり、５はこのロボット４のロボッ
ト動作を制御するロボットコントローラである。６はパ
レット２が第１の位置に達したことを検出する第１の光
センサ、７はパレット２が第２の位置に達したことを検
出する第２の光センサであり、８は荷１に投射されたレ
ーザ光、９はこのレーザ光８の投射を行うレーザ光源で
ある。１０は第２の位置に達した荷１を前記レーザ光８
とともに撮像する第１のカメラ、１１はこの第１のカメ
ラ１０で撮像された画像の処理を行う第１の画像処理装
置であり、１２は第１の位置に達した荷１を撮像する第
２のカメラ、１３は第２のカメラ１２で撮像された画像
の処理を行う第２の画像処理装置である。１４はこれら
第１および第２の画像処理装置１１，１３の処理結果な
どをもとに、当該自動移載装置全体の制御を行う統括コ
ントローラであり、１５は荷１に予めつけられた固有マ
ークである。１６はコンベア３を移動させるモータ、１
７はその回転速度を監視するパルスエンコーダであり、
１８はコンベア３の制御を行うコンベアコントローラで
ある。

【０００３】次に動作について説明する。ここで、図５
６はその動作の流れを示すフローチャートである。ロボ
ット４により移載されるべき荷１はパレット２上に載
り、パレット２はコンベア３の上に置かれている。コン
ベア３はコンベアコントローラ１８の制御によって矢印
ａで示す図の右方向に移動しており、まず第２の光セン
サ７によってパレット２が第２の位置に到達したことが
確認され（ステップＳＴ１）、それによってレーザ光源
９よりレーザ光８が荷１に対して照射される（ステップ
ＳＴ２）。そして、このレーザ光８を含む荷１の映像が
第１のカメラ１０によって斜め上方より撮像されて（ス
テップＳＴ３）、その画像が第１の画像処理装置１１で
処理され、レーザ光８の画像上の位置を検出することに
より荷１の高さが検出される（ステップＳＴ４）。次
に、コンベア３がさらに右方向に移動し、パレット２が
第１の位置に到達したことが第１の光センサ６によって
検出される（ステップＳＴ５）。この第１の位置では、
第２のカメラ１２によって荷１の画像が上方より撮像さ
れ（ステップＳＴ６）、第２の画像処理装置１３で処理
されて、荷１に予めつけられている固有マーク１５が検
出される（ステップＳＴ７）。次いで、前記レーザ光８
の位置検出によって得られた荷１の高さと、固有マーク
１５の認識により得られた荷１の位置および姿勢（向
き）の情報が統括コントローラ１４に送られ、統括コン
トローラ１４はそれをもとに、ロボットコントローラ５
に対してロボット４の動作指令を出力し、移載作業を実
行する（ステップＳＴ８）。

【０００４】従来の技術２．また、図５７は例えば、特
開平４−２４４３９１号公報に示された、従来のロボッ
トを用いた自動移載装置を示すブロック図である。図に
おいて、２０はロボットによって移載される箱状のワー
クであり、２１はこのワーク２０が載せられるパレット
である。２２はワーク２０の平面配置を撮像するカメラ
であり、２３はカメラ２２の撮像した画像を処理する画
像処理装置、２４はこの画像処理装置２３が参照する箱
サイズ情報ファイルである。２５は画像処理装置２３の
処理結果に従ってロボットを制御するロボット制御部、
２６はこのロボット制御部２５によって制御されるロボ
ット、２７はそのロボットハンドであり、２８はワーク
２０の高さを測定するためにロボットハンド２７に取り
付けられた距離センサである。２９はワークが移載され
る目的のコンベアである。

【０００５】次に動作について説明する。この装置は上
記公開特許公報内では「段バラシ装置」と呼ばれてお
り、段積みされたワーク２０をロボットハンド２７によ
って把持し、取り出すという動作を行う装置で、従来の
技術１で説明した自動移載装置と同様の目的で使用され
る技術である。なお、図５８はこの従来の技術２による
自動移載装置の動作の流れを示すフローチャートであ
る。

【０００６】ロボット２６によって移載されるべき荷で
あるワーク２０はパレット２１の上に載せられており、
カメラ２２によってその平面的な配置が撮影されて取り
込まれる（ステップＳＴ１１）。取り込まれた画像は画
像処理装置２３に送られ、図示を省略した箱輪郭抽出手
段によってワーク２０のエッジ部が抽出される（ステッ
プＳＴ１２）。このとき、箱サイズ情報ファイル２４に
記憶されている箱サイズ情報が画像処理装置２３によっ
て参照される。続いて、以後の処理を簡単にするための
ラベルを、図示を省略した箱ラベリング手段によってワ
ーク２０に付与する（ステップＳＴ１３）。次いで、抽
出されたワーク２０の輪郭よりその高さを計測するにあ
たって、距離センサ２８を効率的に操作させるための最
少数のスキャン位置が決定される（ステップＳＴ１
４）。

【０００７】ここで、図５９は箱状のワーク２０がパレ
ット２１に載っている様子を模式的に示した斜視図であ
り、図中にＬで示した走査ラインは、決定されたスキャ
ン位置の一部分である。距離センサ２８はこの走査ライ
ンＬに沿って移動してワーク２０の高さを測定し（ステ
ップＳＴ１５）、距離計測結果が取り出される（ステッ
プＳＴ１６）。また、図６０はこの走査ラインＬに沿っ
てワーク２０の高さを測定した距離計測結果を示すもの
で、横軸は走査ラインＬの延長方向（ｘ）、縦軸は測定
結果の距離（ｚ）である。この例においては、高い位置
にある箱（ワーク２０）の高さが距離ｚ１、低い位置に
ある箱の高さが距離ｚ２であり、ｙ軸に平行な輪郭線の
位置がｅ１〜ｅ４に表われている。得られた箱の形状情
報と高さ情報とから、順次取り出すべきワーク２０とそ
の取り出しの方向を決定する（ステップＳＴ１７）。目
的のワーク２０はロボットハンド２７によってハンドリ
ングされて、目的のコンベア２９に移載される（ステッ
プＳＴ１８）。所望のワーク２０が全て移載されるまで
以上の処理が繰り返され、全ての移載の完了が検出され
ると（ステップＳＴ１９）一連の処理が終了する。

【０００８】従来の技術３．また、図６１は例えば、実
開平６１−１１０６４０号公報に示された、従来のロボ
ットを用いた自動移載装置を示すブロック図である。図
において、３０はロボットによって移載されるワークと
しての荷であり、３１はこの荷３０が載せられるパレッ
ト、３２は荷３０が載せられたパレット３１を昇降させ
るテーブルリフレクタである。３３は荷３０の積載レベ
ルを検出するレベル検知装置、３４はこのレベル検知装
置３３の検知出力に基づいてテーブルリフレクタ３２の
昇降を制御するテーブルリフレクタコントローラであ
り、３５はその荷３０の移載作業を実行するロボットで
ある。３６は荷３０の平面配置を撮像するイメージセン
サであり、３７はマイクロコンピュータやロボットコン
トローラよりなり、イメージセンサ３５からの画像を処
理してロボット３５を制御する制御装置、３８はこの制
御装置３７が接続されたホストコンピュータである。ま
た、図６２は前記ワークとしての荷３０の一例を示す斜
視図であり、図中、３９はこの荷３０の上面に記された
固有マークである。この固有マーク３９は荷３０の上面
の対角線にそって２つ配置され、荷３０の積載方向を識
別可能とするために互いに異なる形状を持っている。

【０００９】次に動作について説明する。ここで、図６
３はその動作の流れを示すフローチャートである。荷３
０を移載するに際して、まず最初にパレット３１の位置
決めが行われる（ステップＳＴ２１）。荷を積載したパ
レット３１はテーブルリフレクタ３２によって上昇させ
られ、最上段の荷３０が移載レベルに達したことがレベ
ル検知装置３３によって検知されると、テーブルリフレ
クタコントローラ３４の制御によってテーブルリフレク
タ３２の上昇は停止する。次に、イメージセンサ３６に
よって荷３０の上面の画像が撮像されて制御装置３７に
入力される（ステップＳＴ２２）。一方、移載対象とな
る荷３０には図６２に示したような固有マーク３９が設
けられており、制御装置３７はこの固有マーク３９を認
識することにより（ステップＳＴ２３）、その固有マー
ク３９の位置と方向から荷３０の位置と向きとを認識す
る（ステップＳＴ２４）。最後に、制御装置３７よりロ
ボット３５に対して、荷３０の位置と向きより算出した
荷３０の中心部の座標が与えられ、所望の移載作業が実
行される（ステップＳＴ３５）。

【００１０】従来の技術４．また、図６４は例えば、１
９９０年電子情報通信学会春季全国大会の発表論文Ｄ−
５０７「エッジ点列を用いたテンプレートマッチング
法」（橋本学他２名予稿集７−２５９頁）に示
された、従来の物体認識装置を示すブロック図である。
図において、４０はテンプレート画像のエッジを検出す
るエッジ検出手段、４１は検出されたエッジ画像を追跡
してエッジ点列を列挙・抽出するエッジ点追跡手段、４
２はそのエッジ点列を格納するエッジ点バッファであ
り、４３はオフセット値を加算するオフセット加算手段
である。４４はサンプル画像のエッジを検出するエッジ
検出手段、４５はそのエッジ画像の膨張処理を行う画像
膨張手段であり、４６は膨張処理されたエッジ画像が格
納される膨張画像格納手段である。４７はオフセット値
が加算されたテンプレートのエッジ点列と膨張処理され
たエッジ画像とを重ね合わせてマッチングスコアを計算
するマッチングスコア計算手段であり、４８は計算され
たマッチングスコアをマッチングスコアマップに格納す
るマッチングスコアマップ格納手段である。

【００１１】次に動作について説明する。ここで、図６
５はその動作の流れを示すフローチャートである。ま
ず、テンプレートのもととなる原画像であるテンプレー
ト画像よりそのエッジをエッジ検出手段４０で検出し、
さらに検出されたエッジ画像をエッジ点追跡手段４１で
追跡してエッジ点列Ｘｉ，Ｙｉの抽出を行い、その１次
元点列データ（テンプレート）をエッジ点バッファ４２
に格納する（ステップＳＴ３１）。一方、マッチング対
象の画像であるサンプル画像よりそのエッジをエッジ検
出手段４４で検出し（ステップＳＴ３２）、標本化やエ
ッジ検出の際に生ずる誤差を吸収するために、この検出
されたエッジ画像に対して必要に応じて膨張処理を施す
（ステップＳＴ３３）。この膨張処理されたエッジ画像
は膨張画像格納手段４６に一旦格納される。次に、エッ
ジ点バッファ４２に格納されていたテンプレートＸｉ，
Ｙｉに適当なオフセット値ｄｘ，ｄｙが加算されて、膨
張画像格納手段４６に格納されていたエッジ画像を重ね
合わされ、次の式（１）で定義されるマッチング度Ｍ
（ｄｘ、ｄｙ）がマッチングスコア計算手段４７におい
て計算される（ステップＳＴ３４）。

【００１２】Ｍ（ｄｘ，ｄｙ）＝ΣＲ（Ｘｉ＋ｄｘ，Ｙｉ＋ｄｙ） ‥‥‥‥‥（１）ｉ＝０，１，２，‥‥‥‥，ｎ

【００１３】なお、上記式（１）においてＲは膨張処理
後のエッジ画像であり、この式（１）で求められたマッ
チングスコアＭはマッチングスコアマップ格納手段４８
に格納される（ステップＳＴ３５）。このマッチングス
コアＭのピーク点を求めることでマッチングが完了す
る。

【００１４】従来の技術５．また、図６６は例えば「画
像解析ハンドブック」（監修；高木幹雄、下田陽久
発行；１９９１年１月１７日東京大学出版会）の第５
７２〜５７３頁に示された、従来の画像処理装置におけ
るハフ（Hough ）変換による画像処理の内容を示す説明
図であり、図６７はそのハフ変換処理の流れを示すフロ
ーチャートである。以下、それらをもとにハフ変換によ
る画像処理について説明する。ハフ変換を行うために
は、まず原画像のエッジ検出を行う（ステップＳＴ４
１）。検出されたハフ変換すべきエッジ画像のエッジ点
Ａ〜Ｇをｘ−ｙ平面上に示したものが図６６（ａ）であ
る。次に、ハフ平面としてρ−θ平面（画像）を用意
し、以下の手順でハフ変換を実行する。即ち、図６６
（ａ）に示したエッジ画像中の各エッジ点（ｉ，ｊ）に
ついて次の式（２）に従ってρとθの関係を求め、対応
するハフ平面であるρ−θ平面上の画素に投票する（ス
テップＳＴ４２）。

【００１５】 ρ＝ｉ・ｃｏｓ（θ）＋ｊ・ｓｉｎ（θ） ‥‥‥‥‥（２）

【００１６】ここで、図６６（ｂ）は図６６（ａ）にＡ
〜Ｇで示された各エッジ点に対応するハフ平面上の投票
軌跡を描いたものである。このステップＳＴ４２による
投票操作はエッジ画像中の全てのエッジ点画素Ａ〜Ｇに
ついてそれぞれ実行される。次にハフ平面上を操作して
ピーク点を検出する（ステップＳＴ４３）。そのピーク
位置に対応するρとθの値から、上記式（２）によって
ｉとｊとの関係、即ち、エッジ画像平面における直線の
方程式が求められる（ステップＳＴ４４）。

【００１７】従来の技術６．また、図６８は例えば「ロ
ボットビジョン」（著；谷内田正彦発行；１９９０
年１０月３０日昭晃堂）の第１９５〜１９７頁に示さ
れた、従来の画像処理装置における３次元認識処理の流
れを示すフローチャートである。物体を認識するため
に、まずシーンから特徴の抽出を行う（ステップＳＴ５
１）。この場合には、生成した距離画像の２次微分を行
ってゼロ交叉点を求め、同一平面上にのっているものに
グループ化して直線や円弧にて記述する。この特徴量と
して、ここではエッジの長さや形、さらにはそれを構成
する両隣の面の形などが使用される。次に、シーンの解
釈のために重要そうな特徴の選択が行われる（ステップ
ＳＴ５２）。即ち、認識を行うのに重要そうな特徴から
順にモデルとの照合を行ってゆく。この重要そうな特徴
とモデルとの照合によって解釈の候補を求める（ステッ
プＳＴ５３）。解釈の候補が得られたならば、モデルを
当てはめることによって解釈の正しさを検証する（ステ
ップＳＴ５４）。検証の結果、正しい解釈であると確認
されると、シーン内の全ての特徴に対して解釈が終了し
たか否かを判定し（ステップＳＴ５５）。終了していな
ければ上記の処理を繰り返す。シーン内の全ての特徴が
解釈されたことが検出されると、一連の処理を終了す
る。

【００１８】従来の技術７．また、図６９は例えば「パ
ート５遺伝的アルゴリズム最適化問題を繰り返し操
作で解く」（松原仁日経バイト１９９２年６月号
第２６４〜２６７頁）に示された、従来の情報処理装
置の遺伝的アルゴリズムにおける遺伝子の集団を示す説
明図、図７０はその遺伝子の交叉を示す説明図であり、
図７１はその処理の流れを示すフローチャートである。
まず最初に、図６９に示すように解くべき問題を１次元
の遺伝子に割り付けて遺伝子の集団を決定する。なお、
この集団の遺伝子の数ｎや各遺伝子のビット数ｋをどれ
くらいにするかは問題によって異なるものである。次
に、集団の各遺伝子の適合度関数の値を計算する（ステ
ップＳＴ６１）。そして、得られた適合度に応じて、高
い適合度をもつ遺伝子ほど高い期待値となるように、遺
伝子の複製を行う（ステップＳＴ６２）。次に、その複
製された遺伝子集合に対して、予め定められているある
確率に従って遺伝子の交叉を行わせる（ステップＳＴ６
３）。この遺伝子の交叉は図７０に示すように、２つの
遺伝子の同じ位置、例えば図７０に１点鎖線で示した位
置において切断し、それぞれを入れ替えるという操作に
よって実現される。次に、その遺伝子にさらにある確率
で突然変異を起こさせる（ステップＳＴ６４）。この突
然変異には、遺伝子の適当な位置のビットの“１”と
“０”とを反転させる「反転」の他にも、「削除」や
「挿入」などのバリエーションが上記文献中にもいくつ
か例示されている。得られた遺伝子による新しい世代を
もとに、前述のステップＳＴ６１〜ＳＴ６４の処理を繰
り返す。その結果、徐々に適合度の高い遺伝子が出現し
て集団の中で増殖してゆく。この適合度の高い遺伝子こ
そが求める遺伝子、即ち情報である。

【００１９】

【発明が解決しようとする課題】従来の技術１に示され
たロボットを使用した自動移載装置は前述のように構成
されているので、帯状のレーザ光８を投光することで荷
１の高さ方向を得ており、荷１の２次元的配置が既知、
またはずれの許容度が既知でないと物体それぞれを同定
することが困難であり、高さ情報と配置パターンとの統
合を誤る可能性があるばかりか、荷１の上面に固有マー
ク１５を必要とし、固有マーク１５を付加するために余
分なコストを必要とするなどの問題点があった。

【００２０】また、従来の技術２に示された段バラシ装
置によるロボットを用いた自動移載装置は前述のように
構成されているので、エッジを見つけるのに距離センサ
２８を走査して得られる高さ分布情報を使用しており、
隣接するワーク２０と密着しているワーク２０の場合に
はエッジが見つけにくく、また、高さ計測に連続した距
離データを必要とするため、データ処理のコストがかか
るばかりか、ワーク２０の向きによらずｘ軸に平行なス
キャン位置を生成するため、２次元的に傾いたワーク２
０などでは認識の信頼性が劣化するなどの問題点があっ
た。

【００２１】また、従来の技術３に示されたロボットを
使用した自動移載装置は前述のように構成されているの
で、最上段の荷３０の上面が所定の位置にきたことをレ
ベル検知装置３３で検出して荷３０の移載を行うもので
あるため、荷３０が積載されたパレット３１をテーブル
リフレクタ３２で上下させ、所定位置で停止させる制御
を行うことが必要となり、また、荷３０の上面に固有マ
ーク３９を設けておく必要もあり、そのために余分なコ
ストがかかるなどの問題点があった。

【００２２】また、従来の技術４に示された物体認識装
置は前述のように構成されているので、物体の認識を行
う場合に、物体の輪郭または画像パターン上のエッジの
存在する部分についてのみがテンプレートとして登録さ
れて、マッチングに使用されるため、マッチング対象と
なる物体の方にテンプレートの一部と類似したパターン
が存在する場合には、マッチングの信頼性が低下すると
いう問題点があった。

【００２３】また、従来の技術５に示された画像処理装
置は、前述のようにハフ変換による画像処理を行ってい
るので、エッジ画像上の全ての点それぞれについて、ハ
フ平面での曲線に対応して投票を行うことが必要とな
り、投票に時間がかかり、しかもピーク点が探索しにく
いという問題点があった。

【００２４】また、従来の技術６に示された画像処理装
置は、前述のように３次元的認識処理を行っているので
認識すべき対象画像の特徴量は重要な順に認識に用いら
れ、特徴の信頼性が低いものは認識にはほとんど使用さ
れず、シーン全体として合理的な解釈を求めることが必
要な場合には不向きであるという問題点があった。

【００２５】また、従来の技術７に示された情報処理装
置は、前述のように遺伝的アルゴリズムを用いて処理し
ているので、適合度というひとつの指標のみによって世
代交代のもととなる親の複製を生成しているため、あっ
てはいけない遺伝子の形、即ち致死遺伝子を表現するこ
とが困難であり、また、世代交代の途中で現れて淘汰さ
れていった遺伝子を解とすることが困難であるなどの問
題点があった。

【００２６】請求項１〜５に記載した発明は、従来の技
術１および２における上記のような問題点を解消するた
めになされたもので、認識用の固有マークを設ける必要
がなく、認識対象の２次元的な配置やずれの許容度が既
知ではなく、また隣接した認識対象が密着していたり２
次元的に傾いていても、高さ測定を精度よく、低コスト
で高速に行える視覚装置を備えたロボットを得ることを
目的とする。

【００２７】また、請求項６〜８に記載した発明は、従
来の技術３における上記のような問題点を解消するため
になされたもので、認識用の固有マークを設ける必要が
なく、認識対象の位置や姿勢を高い精度で認識できる物
体認識装置を得ることを目的とする。

【００２８】また、請求項９に記載した発明は、従来の
技術４における上記のような問題点を解消するためにな
されたもので、マッチングの信頼性が高い物体認識装置
を得ることを目的とする。

【００２９】また、請求項１０に記載した発明は、従来
の技術５における上記のような問題点を解消するために
なされたもので、エッジ画像上のエッジ点をハフ平面に
投票するための時間が短く、ピーク点も探索しやすい画
像処理装置を得ることを目的とする。

【００３０】また、請求項１１および１２に記載した発
明は、従来の技術６における上記のような問題点を解消
するためになされたもので、シーン全体の合理的な解釈
にも適した画像認識装置を得ることを目的とする。

【００３１】また、請求項１３および１４に記載した発
明は、従来の技術７における上記のような問題点を解消
するためになされたもので、致死遺伝子などの表現、さ
らには淘汰されてしまった遺伝子の表現も容易な情報処
理装置、あるいは画像処理装置を得ることを目的とす
る。

【００３２】

【課題を解決するための手段】請求項１に記載の発明に
係るロボット装置は、撮像手段、画像認識手段、距離計
測プラン部、距離計測手段、ワーク配置認識手段、およ
びロボット動作プラン部を有し、撮像された画像よりワ
ークの２次元配置を認識して距離計測プランを決定し、
それに従って計測した計測結果を２次元配置情報と統合
してワークの３次元配置を認識し、ロボットの動作プラ
ンを計算するものである。

【００３３】また、請求項２に記載の発明に係るロボッ
ト装置は、標準距離計測手段を付加し、その測定結果を
用いた粗い３次元配置認識を行い、その認識結果に基づ
く距離計測プランで計測した結果により、その粗い３次
元配置認識の結果を補正するようにしたものである。

【００３４】また、請求項３に記載の発明に係るロボッ
ト装置は、法線方向認識手段を付加し、１つのワークあ
たり３点以上の計測点で距離を計測してワーク上面の法
線方向を計算し、その法線方向よりロボットの動作プラ
ンを計算するものである。

【００３５】また、請求項４に記載の発明に係るロボッ
ト装置は、ワークモデル格納部に複数の標準モデルを格
納しておき、粗い２次元配置認識結果に基づいて選択し
た標準モデルにより精密な２次元配置認識を行うもので
ある。

【００３６】また、請求項５に記載の発明に係るロボッ
ト装置は、光ビーム投光手段を付加し、距離センサの距
離計測ビームと平行に撮像手段で撮像可能なポインタビ
ームを投光するようにしたものである。

【００３７】また、請求項６に記載の発明に係る物体認
識装置は、画像入力手段、エッジ検出手段、座標交換手
段、物体候補抽出手段、信頼度計算手段、および画像認
識手段を有し、エッジ画像の座標変換・投票結果をもと
に抽出した認識対象の物体候補についてそれぞれの信頼
度を計算し、それに基づいて物体の位置と配置パターン
を認識するものである。

【００３８】また、請求項７に記載の発明に係る物体認
識装置は、テンプレート格納手段とパターン検出手段を
付加し、座標変換・投票による物体候補の抽出と、テン
プレートマッチングによる物体候補の抽出が行えるよう
にしたものである。

【００３９】また、請求項８に記載の発明に係る物体確
認装置は、信頼度計算手段に認識対象物体の輪郭を表現
した輪郭テンプレートを持たせ、各物体候補についてそ
の輪郭テンプレートによるエッジ点列テンプレートマッ
チング（Edge Point Tempel-ate Matching, 以下ＥＰＴ
Ｍという）を行い、それによって得られた類似度よりそ
の物体候補の信頼度を算出するものである。

【００４０】また、請求項９に記載の発明に係る物体確
認装置は、信頼度計算手段に、上記輪郭テンプレートの
他に、物体輪郭の存在しない部分を表現するテンプレー
トも持たせたものである。

【００４１】また、請求項１０に記載の発明に係る画像
処理装置は、エッジ検出手段、水平線投票手段、垂直線
投票手段、および水平・垂直線以外投票手段を有し、エ
ッジ画像を水平および垂直に走査して、水平線分または
垂直線分である可能性の高い点列についてはまとめて点
としてハフ投票平面に投票し、そのいずれである可能性
も低い点列については、ハフ変換式に基づいて曲線とし
てハフ投票平面に投票するものである。

【００４２】また、請求項１１に記載の発明に係る画像
処理装置は、画像入力手段、物体候補抽出手段、ビット
列定義手段、初期ビット列生成手段、適応度計算手段、
およびビット列操作手段を有し，画像の解釈をビットの
列で表現し、予め設定した手順で複数のビット列を発生
させて、各ビット列の適応度を算出して、適応度の高い
ビット列から新たなビット列を生成したり、予め設定さ
れた割合でビット列の変換を行う操作を繰り返し、より
適応度の高いビット列を得ることで画像の解釈を行うも
のである。

【００４３】また、請求項１２に記載の発明に係る画像
処理装置は、上記ビット列の配列を全て２次元配列とし
たものである。

【００４４】また、請求項１３に記載の発明に係る画像
処理装置は、最大適応度ビット列計算手段と結果ビット
列格納手段を付加し、最大適応度をもつビット列が一定
時間以上不変であった場合にその当該ビット列を随時付
加保存し、最終的に保存された複数のビット列に対応す
る複数の画像解釈結果をもって当該画像処理装置の出力
とするものである。

【００４５】また、請求項１４に記載の発明に係る情報
処理装置は、初期ビット列生成手段、適応度計算手段、
不適応度計算手段、ビット列選択手段、新ビット列生成
手段、ビット列操作手段、ビット列格納手段、およびビ
ット列削除手段を有し、各々のビット列について適応度
と不適応度を算出し、不適応度が一定値以上の場合には
そのビット列を削除し、高い適応度を持つビット列ほど
選択確率が高くなるように設定して選択した複数のビッ
ト列より新しいビット列を生成し、そのビット列に対し
て交叉や突然変異などのビット操作を行い、その適応度
と不適応度を計算し、算出された不適応度が一定値以上
ならそのビット列を削除し、一定値以下ならビット列群
に追加して適応度の低いビット列をそのビット列群より
削除し、この一連の動作の繰り返しによって、より適応
度の高いビット列を生成するものである。

【００４６】

【作用】請求項１に記載の発明におけるロボット装置
は、撮像手段により撮像された画像からワークの２次元
的な配置を認識し、その認識結果に基づいて決定された
距離計測プランに従って計測された距離情報を２次元配
置情報と統合してワークの３次元的な配置を認識し、ロ
ボット動作のための動作プランを計測するように作用す
る。

【００４７】また、請求項２に記載の発明におけるロボ
ット装置は、撮像手段により撮像された画像に対する処
理が開始されると同時に、別途格納された標準的距離計
測プランに基づく距離計測が開始され、画像認識は前記
標準的距離計測プランに基づく距離計測結果を使用して
粗い３次元認識を行い、さらにその結果に基づく距離計
測プランに従って再度距離計測を実行し、その距離計測
結果により前記粗い３次元認識結果を修正してロボット
動作のための動作プランを計算するように作用する。

【００４８】また、請求項３に記載の発明におけるロボ
ット装置は、決定された距離計測プランに基づいて１つ
のワークあたり３点以上の計測点について距離計測を行
ってワークごとの法線方向を計算し、前記距離情報を２
次元配置情報と統合してワークの３次元的な配置を認識
し、さらに前記法線情報をもとにロボットハンドの位置
と姿勢を含めたロボット動作のための動作プランを計算
するように作用する。

【００４９】また、請求項４に記載の発明におけるロボ
ット装置は、ワークの粗い２次元的な配置の認識結果に
基づく距離計測プランに従って実行された距離計測の計
測結果を使用して、個々のワークに対する標準モデルを
選択し、その標準モデルによって精密な２次元配置認識
を行い、その情報と距離計測結果を統合してワーク３次
元的な配置を認識し、ロボット動作のための動作プラン
を計算するように作用する。

【００５０】また、請求項５に記載の発明におけるロボ
ット装置は、ワークの２次元的な配置の認識結果をもと
に決定された距離計測プランに従って、超音波センサな
どの光学的手段を用いないセンサによる距離計測を行
い、その時、超音波ビームと平行して光ビームを投光し
て、その光ビームの位置を画像処理により検出すること
により距離計測点を検出し、その２次元配置認識結果と
距離計測結果を統合してワークの３次元的な配置を認識
し、ロボット動作のための動作プランを計算するように
作用する。

【００５１】また、請求項６に記載の発明における物体
認識装置は、対象物体を撮像して得られた原画像をエッ
ジ検出し、それを座標変換して投票平面に投票した投票
結果をもとに認識対象の物体候補を抽出し、さらに、物
体候補各々に関して信頼度の計算を行い、その信頼度を
もとに画像中の物体の位置と配列パターンを認識するよ
うに作用する。

【００５２】また、請求項７に記載の発明における物体
認識装置は、物体のモデル登録時に、座標変換・投票に
よるパターンの抽出が選択された場合には、原画像から
検出されたエッジの座標変換・投票により投票平面が生
成されて、その投票平面から物体候補が抽出され、テン
プレートマッチングによるパターンの抽出が選択された
場合には、原画像に対してテンプレートマッチングによ
り物体候補が抽出され、そのどちらの場合でも物体候補
各々の信頼度の計算を行って、その信頼度をもとに画像
中の物体の位置と配列パターンを認識するように作用す
る。

【００５３】また、請求項８に記載の発明における物体
認識装置は、予め認識対象の物体輪郭を表現した輪郭テ
ンプレートを登録しておき、対象物体を撮像して得られ
た原画像をエッジ検出し、座標変換して投票平面に投票
した投票結果をもとに物体候補の抽出を行い、さらに、
物体候補各々に関して、前記輪郭テンプレートによるＥ
ＰＴＭにより信頼度の計算を行って、その信頼度をもと
に画像中の物体の位置と配列パターンを認識するように
作用する。

【００５４】また、請求項９に記載の発明における物体
認識装置は、認識対象の物体輪郭を表現した輪郭テンプ
レートと、物体の輪郭が存在しない部分を登録したテン
プレートを予め登録しておき、エッジ検出された対象物
体の投票平面への投票結果をもとに物体候補の抽出を行
い、さらに、物体候補各々に関して、前記２種類のテン
プレートによるＥＰＴＭにより信頼度を計算して、その
信頼度をもとに画像中の物体の位置と配列パターンを認
識するように作用する。

【００５５】また、請求項１０に記載の発明における画
像処理装置は、原画像より検出されたエッジ画像を水平
に走査して検出した水平線分を水平線投票手段により、
また、垂直に走査して検出した垂直線分を垂直線投票手
段により、それぞれハフ投票平面に点として投票すると
ともに、水平線分または垂直線分のどちらでもないエッ
ジ画像上のエッジ点については従来のハフ変換操作によ
り前記ハフ投票平面に曲線として投票し、最後にそのハ
フ投票平面を探索して局所的ピークを検出し、対応する
原画像上の直線を検出するように作用する。

【００５６】また、請求項１１に記載の発明における画
像処理装置は、撮像された原画像から抽出された複数の
物体候補の画像上での、存在有無を１ビットの情報（有
＝１、無＝０など）で表現したビット列を生成し、初期
ビット列として複数のビット列群を生成して、それぞれ
のビット列に対して正しいシーン解釈である可能性を示
す適応度の計算を行い、その適応度をもとに適応度の高
いビット列ほど高い確率で選択するように前記ビット列
群の中から複数のビット列を選択し、さらに予め設定し
た割合で一定の手順によるビット列操作を行い、結果と
して発生した新しいビット列を前記ビット列群に加える
とともに、適応度の低いビット列を削除することで前記
ビット列群の更新を行い、この適応度計算からビット列
群更新までの処理を繰り返すことにより、より適応度の
高いビット列を生成するように作用する。

【００５７】また、請求項１２に記載の発明における画
像処理装置は、撮像された原画像から抽出された複数の
物体候補の画像上での、存在有無を１ビットの情報（有
＝１、無＝０など）で表現した２次元のビット列を、２
次元の原画像中の物体候補の位置に対応させて生成し、
初期ビット列として複数の２次元ビット列群を生成し
て、それぞれのビット列に対して正しいシーン解釈であ
る可能性を示す適応度の計算を行い、その適応度をもと
に適応度の高いビット列ほど高い確率で選択するように
前記ビット列群の中から複数のビット列を選択し、さら
に予め設定した割合で一定の手順によるビット列操作を
行い、結果として発生した新しいビット列を前記ビット
列群に加えるとともに、適応度の低いビット列を削除す
ることで前記ビット列群の更新を行い、この適応度計算
からビット列群更新までの処理を繰り返すことにより、
より適応度の高い２次元ビット列を生成するように作用
する。

【００５８】また、請求項１３に記載の発明における画
像処理装置は、請求項１１に記載した発明における適応
度計算からビット列群更新までの処理を繰り返す過程に
おいて、各段階でのビット列群における最大適応度をも
つビット列の番号を記憶し、そのビット列が一定時間以
上不変であった場合に、当該ビット列を結果ビット列格
納手段に随時付加保存し、最終的に結果ビット列保存手
段に格納された複数のビット列に対応する画像の解釈を
もって出力結果とするように作用する。

【００５９】また、請求項１４に記載の発明における情
報処理装置は、最適化問題をコーディングした初期ビッ
ト列群に属する各々のビット列について、ビット列が最
適である可能性としての度合いを示す適応度と、最適で
ない度合いを示す不適応度を算出し、その不適応度を検
査してそれが一定以上であった場合にはそのビット列の
削除を行い、次に前記適応度に基づいて、高い適応度を
持つビット列ほど選択される確率が高くなるように複数
のビット列の選択を行って、交叉および突然変異の操作
を行い、新しく生成した前記ビット列の適応度と不適応
度を計算して、不適応度が一定以上ならそのビット列を
削除し、一定以下ならそれをビット列群に加えて、適応
度の低いビット列の削除を行い、この一連の操作を繰り
返すことにより、より適応度の高いビット列を生成する
ように作用する。

【００６０】

【実施例】

実施例１．以下、この発明の実施例１を図について説明
する。図１は請求項１に記載した発明の一実施例を示す
構成図である。図において、５０は例えばパレット（図
示省略）上に積載された複数のワークであり、５１はこ
のワーク５０の移載作業を実行するロボット、５２はこ
のロボット５１のロボットハンドである。５３はワーク
５０の上面の画像を撮像する撮像手段としてのテレビカ
メラであり、５４はこのテレビカメラ５３によって撮像
されたワーク５０の２次元的な配置を認識する画像認識
手段である。５５はこの画像認識手段５４によって認識
されたワーク５０の配置に基づいて、ワーク５０の高さ
を測定するための最適な測定点を算出し、距離計測プラ
ンの作成を行う距離計測プラン部であり、５６はこの距
離計測プラン部５５が作成した距離計測プランに従っ
て、１つのワーク５０に対して少なくとも１点のワーク
高さ測定点の高さを計測する距離計測手段、５７はこの
距離計測手段５６の距離センサ（超音波センサ）であ
る。５８は画像認識手段５４の認識結果と距離計測手段
５６の計測結果より、ワーク５０の３次元的な配置を認
識するワーク配置認識手段であり、５９はこのワーク配
置認識手段５８の認識結果に基づいて、ワーク５０を移
載するためのロボット５１の動作プランを算出するロボ
ット動作プラン部である。

【００６１】次に動作について説明する。ここで、図２
はこのように構成されたロボット装置の動作の流れを示
すフローチャートであり、以下、例えばパレット上に積
載された複数のワーク５０が、テレビカメラ５３の視野
内にあるという前提で動作を説明する。処理の最初の段
階で、鉛直下向きに設置されたテレビカメラ５３によっ
て、パレット上のワーク５０の画像が撮像される（ステ
ップＳＴ７１）。次に、画像認識手段５４によってワー
ク５０の２次元的な配置が認識される（ステップＳＴ７
２）。図３はこの実施例１における入力原画像の一例で
ある。画像視野内に＃１から＃６までの６個の箱状のワ
ーク５０が映っている。ワーク５０の高さは、図１にあ
るように、＃２のワーク５０のみが他の５つのワーク５
０より１段高い位置にある。この図３に示した画像を処
理した結果得られたワーク５０の位置と姿勢の関係を次
の表１に示す。

【００６２】

【表１】

【００６３】つまり、画像認識手段５４による処理の結
果を示している。例えば、＃１のワーク５０は、位置が
（ｘ１，ｙ１）、姿勢（向き）が２次元的に角度ａ１で
あることを示している。このｘ１，ｙ１，ａ１などの変
数には認識データが格納されている。この表１のデータ
では各ワーク５０の高さ情報のみが未計測である。

【００６４】次に、距離計測プラン部５５はワーク５０
の高さを計測をすべき距離計測点と計測シーケンスを決
定する（ステップＳＴ７３）。図４における点Ｐ１，Ｐ
２，Ｐ３，Ｐ４，Ｐ５，Ｐ６の各点は決定された距離計
測点であり、認識された各ワーク５０の重心として計算
される。また、計測シーケンスとしてはＰ１から順にＰ
６まで順次計測する。距離センサ５７はロボットハンド
５２に取り付けられており、レーザビームにより三角測
量の原理で距離を計測する。そのため、ロボット動作を
行わせて（ステップＳＴ７４）、各計測点の真上に距離
センサ５７を移動させ、距離の計測を行う（ステップＳ
Ｔ７５）。距離計測はこの場合Ｐ１からＰ６まで６回行
われる。全ての距離計測点の計測が完了したことを検出
すると（ステップＳＴ７６）この距離計測を終了し、ワ
ーク配置認識手段５８によって各ワーク５０の高さが計
算される。最終的な配置認識結果を示したものが次の表
２であり、位置・姿勢の他に、高さ情報が格納されてい
る。

【００６５】

【表２】

【００６６】このような一連の処理により、視野内の全
てのワーク５０に対する３次元情報が計算され（ステッ
プＳＴ７９）、ロボット動作プラン部５９でロボット５
１がワーク５０を移載作業するのに必要なロボット動作
が決定され、それに従ってロボット５１が動作する（ス
テップＳＴ７８）。

【００６７】なお、上記実施例１では、距離計測のため
の距離センサ５７としてレーザビーム型のものを使用し
たが、超音波式のものであっても、あるいはまた、複数
のテレビカメラを使用してステレオ視の距離を計測する
ものであってもよく、上記実施例と同様の効果を奏す
る。

【００６８】また、上記実施例１では距離計測点を各ワ
ーク５０の重心としたが、それ以外の複数の点を計測点
として決定してもよく、その場合はより高さ計測の信頼
性が向上する。

【００６９】実施例２．次に、この発明の実施例２を図
について説明する。図５は請求項２に記載した発明の一
実施例を示す構成図であり、相当部分には図１と同一符
号を付してその説明を省略する。図において、６０は撮
像手段としてのテレビカメラ５３がワーク５０の画像を
撮像した後に、撮像されたワーク５０の画像データの処
理と平行して、予め定められている標準的な計測コース
に従って距離計測手段５６と共用される距離センサ５７
を移動させながらワーク５０の高さを計測する標準距離
計測手段である。

【００７０】次に動作について説明する。ここで、図６
はこのように構成されたロボット装置の動作の流れを示
すフローチャートであり、以下、実施例１の場合と同様
に各ワーク５０がテレビカメラ５３の視野内にあるとい
う前提で動作を説明する。処理の最初の段階で、鉛直下
向きに設置されたテレビカメラ５３によりワーク５０の
画像が撮像される（ステップＳＴ８１）。次に、画像認
識手段５４によってワーク５０の２次元的な配置の認識
が開始されるが（ステップＳＴ８２）、この画像認識処
理が開始されると同時に、標準距離計測手段６０によっ
て標準距離計測が実行される（ステップＳＴ８３）。こ
の標準距離計測とは、予め決められた複数の固定距離計
測点を、これも予め決められた距離計測シーケンスに従
って計測するものである。図７は標準距離計測点とその
シーケンスの例を示している。即ち、画像上のワーク５
０の位置や姿勢、ワーク５０の個数などに依存せず、標
準距離計測点Ｐ１からＰ１６までの全１６点について番
号順にワーク５０の高さを計測する。距離計測センサ５
７は実施例１の場合と同様に、ロボットハンド５２に取
り付けられたレーザ式距離センサであり、三角測量の原
理で距離を計測する。図７によれば、この場合にはワー
ク５０が＃１のワークから＃６のワークまで６個存在
し、例えば＃１のワークについては標準距離計測点Ｐ１
およびＰ８の２点が計測され、＃２のワークについては
標準距離計測点Ｐ２，Ｐ３，Ｐ６，Ｐ７の４点が計測さ
れることになる。標準距離計測点の位置やピッチは、認
識対象とするワーク５０の寸法や位置ずれ許容量などか
ら予め決定しておく。

【００７１】ここで、２次元配置認識とこの標準距離計
測にかかる処理時間のどちらが長いかについては視野内
の物体の個数や距離計測点数などによって異なるが、こ
の実施例２では標準距離計測が先に終了する。画像認識
手段５４は標準距離計測によって得られた距離情報を使
って粗い３次元認識を行う。

【００７２】画像認識が終了すると、より精密な認識を
行うために、先の標準距離計測で計測した標準距離計測
点が不足していればさらに距離計測を行う距離計測点を
距離計測プラン部５５により決定する。ここでは、例え
ば各ワークの重心に相当する位置を距離計測点として追
加する。この場合もロボットハンド５２に取り付けられ
た距離センサ５７により、各距離計測点の距離が追加計
測され（ステップＳＴ８４）、ワーク配置認識手段５８
により、前述した粗い認識結果と統合されて最終的にワ
ーク５０の精密で信頼性の高い３次元配置が認識される
（ステップＳＴ８５）。この３次元配置の認識結果はロ
ボット動作プラン部５９に送られて移載のためのロボッ
ト動作シーケンスが自動的に計算され、ロボット５１は
当該動作シーケンスのデータを受け取って所定の移載作
業を行う（ステップＳＴ８６）。

【００７３】ここで、図８は図６に示した各処理の実際
の時間関係を示すタイミング図である。同図で時刻ｔ１
において画像撮像が開始され、時刻ｔ２に撮像が終了す
る。時刻ｔ２では撮像された画像を使って２次元の粗い
配置認識が開始されると同時に、標準距離計測プランに
よる標準距離計測も開始される。前述のように、２次元
の配置認識と標準距離計測にかかる処理時間のどちらが
長いかについては視野内の物体の個数や距離計測点数な
どによって異なるが、この実施例２では時刻ｔ３でまず
標準距離計測が完了する。画像認識手段５４ではその標
準距離計測結果を使って認識処理を続行し、時刻ｔ４で
粗い配置認識を完了する。この時刻ｔ４では追加距離計
測が開始され、この追加距離計測が時刻ｔ５で終了する
と、信頼性の高いワーク５０の３次元配置認識が開始さ
れ、前記粗い配置認識の認識結果と追加距離計測結果と
が統合される。時刻ｔ６においてこの３次元配置認識が
終了すると、最後にロボット動作のための制御信号生成
とロボット動作が開始され、時刻ｔ７で移載作業を完了
する。

【００７４】なお、上記実施例２では標準距離計測点の
選び方として格子状に計測点を設定し、また計測シーケ
ンスも波状に設定したが、必ずしも規則的でなくてもよ
く、例えば中心部ほど計測ピッチを狭く、かつ中心部か
ら順次周辺部へと螺旋状に計測するシーケンスを設定し
てもよい。計測点が多いほど計測の信頼性が向上するこ
とはいうまでもないが、ロボット動作による計測時間を
短縮するために、ロボット軌跡が最短になるようなシー
ケンスを自動的に算出する方式でも効果がある。

【００７５】また、上記実施例２では追加距離計測とし
て、各ワーク５０について、ワーク５０の重心部分１点
のみを計測するものとしたが、その他にワーク５０の輪
郭部分やコーナー部分を複数箇所計測するようにしても
よく、それによってより正確な認識が可能となる。

【００７６】実施例３．次に、この発明の実施例３を図
について説明する。図９は請求項３に記載した発明の一
実施例を示す構成図であり、相当部分には図１と同一符
号を付してその説明を省略する。図において、６１は距
離計測手段５６にて計測した、１つのワーク５０あたり
３点以上設定した距離計測点における高さの計測結果か
ら、ワーク５０の法線方向を計算する法線方向認識手段
である。なお、このワーク配置認識手段５８は、法線方
向認識部６１の計算した法線方向と画像認識手段５４の
認識結果とを用いてワーク５０の３次元的な配置の認識
を行うものである点で、実施例１のものとは異なってい
る。

【００７７】次に動作について説明する。ここで、図１
０はこのように構成されたロボット装置の動作の流れを
示すフローチャートで、以下、実施例１の場合と同様に
各ワーク５０がテレビカメラ５３の視野内にあるという
前提で動作を説明する。最初の段階で、鉛直下向きに設
置されたテレビカメラ５３によりワーク５０の画像が撮
像される（ステップＳＴ９１）。次に、画像認識手段５
４によって、ワーク５０の２次元的な配置が認識される
（ステップＳＴ９２）。この２次元配置認識の認識結果
ではワーク５０の位置と姿勢（向き）が計測されてい
る。次に、各ワーク５０ごとに距離計測プラン部５５に
よりワーク５０の高さを計測すべき距離計測点が決定さ
れる（ステップＳＴ９３）。図１１は、この距離計測点
が決定される様子を示す説明図である。同図において、
画像中の点Ｐｃは、画像認識手段５４によって計測され
たワーク５０の位置、即ち物体の重心に相当する位置で
ある。距離計測プラン部５５では、この点Ｐｃと矢印Ａ
で示した物体の向きとから、ワーク５０のコーナー近傍
の２点Ｐ１およびＰ２の位置を計算し、Ｐｃと併せた合
計３点を距離計測点として出力する。

【００７８】次に、距離計測手段５６により各ワーク５
０についてそれぞれ上記距離計測プラン部５５で決定さ
れた３点づつの距離計測点において距離計測が行われる
（ステップＳＴ９４）。さらに、各ワーク５０の上面の
法線方向が法線方向認識手段６１によって計算される
（ステップＳＴ９５）。なお、この法線方向の決定は次
のように行われる。ここで、距離計測点の２次元的な位
置は画像処理で行われている。即ち、点Ｐｃ，Ｐ１，Ｐ
２の３点の２次元位置は既知である。また、距離計測手
段５６による計測結果から、前記３点の高さも既知とな
る。今、Ｐｃ，Ｐ１，Ｐ２の各点をそれぞれ３次元空間
上の点であるとし、３次元のベクトルで表現すると、法
線ベクトルｎは次の式（３）で表される。

【００７９】

【数１】

【００８０】処理はさらに続き、ワーク配置認識手段５
８によって前記２次元配置の認識結果と距離計測結果が
統合され、ワーク５０の３次元的配置パターンが認識さ
れる（ステップＳＴ９６）。次いで、ロボット動作プラ
ン部５９によって、ワーク５０をロボット５１がハンド
リングするための位置、向きおよび移載シーケンスロボ
ット動作プランが決定される（ステップＳＴ９７）。こ
のとき、すでに求めた各ワーク５０上面の法線方向を使
用して、ロボットハンド５２のワーク５０との接触面を
計算する。例えば、段ボール箱のような上面が平面に近
いワーク５０でも、梱包時の失敗などの理由で、上面が
水平でないことがある。しかも、段ボール箱の移載装置
では、ロボットハンド５２としてよく真空式の吸着ハン
ドが使用される。これらのことから、ロボットハンド５
２のワーク５０の上面との位置関係は、ワーク５０のハ
ンドリングの信頼性に大きな影響を与えるものである
が、この実施例３によれば、ワーク５０の上面の傾きが
既知となるので、うまく吸着ハンドをワーク５０に接近
させることが可能である。最後に、ロボット５１が作動
してワーク５０の移載作業を行い（ステップＳＴ９
８）、一連の動作を完了する。

【００８１】なお、上記実施例３では、ワーク５０上面
の法線を決定するのに、図１１におけるＰｃ，Ｐ１，Ｐ
２の３点を用いたが、同図におけるＰ３，Ｐ４を含めた
５点を使用、または直線上に並ばない任意の３点を選ん
で使用してもよい。ワーク５０の２次元的配置が既知で
あるから、同一ワーク５０、即ち同一平面上に存在する
ことが明らかな直線上にない３点以上の計測点であれ
ば、法線を決定することが可能であることはいうまでも
ない。

【００８２】また、上記実施例３では、あるワーク５０
の上面は完全に平面であるものとして法線を求めている
が、ワーク５０によっては上面をさらにいくつかの部分
領域に分割し、各部分領域毎に法線を算出する方が合理
的な場合もあり、ワーク５０の形状によって法線の算出
方法を適宜選択する方式をとっても、上記実施例と同様
に効果を奏する。

【００８３】実施例４．次に、この発明の実施例４を図
について説明する。図１２は請求項４に記載した発明の
一実施例を示す構成図であり、相当部分には図１と同一
符号を付してその説明を省略する。図において、６２は
ロボット動作プラン部５９にて決定されたロボットの動
作プランに従ってロボットを制御するロボット制御部
で、実施例１〜３ではその図示が省略されている。ま
た、６３はワークの２次元的な認識に用られる複数の基
準モデルが格納されているワークモデル格納手段であ
る。なお、画像認識手段５４は、距離計測手段５６で計
測されたワーク５０の高さの情報を使用して、撮像手段
５３で撮像された画像におけるワーク５０の大きさを推
測し、それによりワークモデル格納手段６３に格納され
た標準モデルのデータを切り換えて、ワークの精密な２
次元配置認識を行うものである点で、実施例１のものと
は異なっている。

【００８４】次に動作について説明する。ここで、図１
３はこのように構成されたロボット装置の動作の流れを
示すフローチャートで、以下、実施例１の場合と同様に
各ワークがテレビカメラ５３の視野内にあるという前提
で動作を説明する。最初の段階で、鉛直下向きに設置さ
れたテレビカメラ５３によって、パレット上のワーク画
像が撮像される（ステップＳＴ１００）。次に、画像認
識手段５４によって、ワーク５０の２次元的な配置が認
識される（ステップＳＴ１０１）。このとき、ワークモ
デル格納手段６３に格納されているのは、複数の標準モ
デルのデータである。ここで、テレビカメラ５３のパレ
ットからの距離は既知であるが、パレットに積載された
ワーク５０の配列やそれぞれのパレットからの高さは未
知である。ただし、ワーク５０の寸法は既知であるの
で、ワーク５０それぞれのパレットからの高さについて
は、ワーク高さ寸法の整数倍であることは利用できる。
このことから、ワークモデル格納手段６３に格納されて
いる標準モデルとしては、各々のワーク５０の高さに応
じたモデルを合わせ持っている。

【００８５】以下、図１４を用いてこの標準モデルの説
明を行う図１４ではパレット上に積載された同一種類の
＃１〜＃３の３つのワーク５０が示されている。つま
り、情景を真横からみた様子を模式的に示している。上
部にはテレビカメラ５３を代表させて、レンズ中心の位
置を示している。また、撮像された画像に対応する仮想
撮像面の位置を説明が容易なのでパレット上面と同一と
しているが、これはカメラ光軸に垂直でさえあれば何等
説明の内容に変わりはない。ワーク５０の個々の寸法に
ついては、長さＬ、高さＨである。このとき、撮像され
るワーク５０の仮想撮像面上でのサイズは、＃１のワー
クに対応するものがＬａ、＃２のワークに対応するもの
がＬｂ、＃３のワークに対応するものがＬｃとなる。こ
のように、ワーク上面のパレットからの高さによって撮
像面上のサイズは異なる。そこで、ワークモデル格納手
段６３内の標準モデルとしては、この場合、寸法Ｌａに
対応するもの、Ｌｂに対応するもの、Ｌｃに対応するも
のの３種類を合わせ持つ。

【００８６】画像認識手段５４による粗い２次元配置認
識では、まず上記のようにワークモデル格納手段６３に
複数格納されている標準モデルの中の１種類を代表させ
て用いる。撮像された画像を領域分割し、面積と主軸方
向といった特徴を抽出して標準モデルの同じ特徴と比較
することで認識する。そのため、物体の２次元的な位置
と向きについては概略を知ることが可能であるが、標準
モデルの寸法と実際に撮像されているワーク５０の寸法
とが異なる可能性があるために信頼性は低い。また、ワ
ーク５０の高さについては計算することはできない。

【００８７】次に、距離計測プラン部５５ではこの狙い
２次元配置認識の結果を使って距離計測のための計測点
の位置や計測順序を決定する（ステップＳＴ１０２）。
この実施例４では粗い２次元配置認識で得られた各ワー
ク５０の重心位置に対応するワーク５０上の位置を計測
点とし、計測順序は複数の計測点を結ぶ一連の順序経路
が最短になるように決定する。距離計測は距離計測手段
５６によってロボットハンド５２に取り付けられた光ビ
ームセンサなどの距離センサを用いて、三角測量の原理
で計測される（ステップＳＴ１０３）。

【００８８】この距離計測が完了すると各々のワーク５
０の高さが決定し、再び画像認識手段５４によって精密
な２次元配置認識が行われる。このとき、まずワークモ
デル格納手段６３に格納された標準モデルのなかから、
各ワーク５０の高さをもとに選択されたモデル１つを選
択し（ステップＳＴ１０４）、それを用いて精密な２次
元配置認識を実行する（ステップＳＴ１０５）。図１５
はこのワーク５０の形状に合った標準モデルを用いて行
われる信頼性の高い２次元配置認識の概念を示す説明図
である。

【００８９】前記精密な２次元配置認識結果は、距離計
測手段５６によって得られた各ワーク５０の距離（高
さ）情報と統合され、ワーク配置認識手段５８によって
ワークの３次元配置認識が行われる（ステップＳＴ１０
６）。ロボット動作プラン部５９ではこの３次元配置認
識結果を使ってワーク移載動作のためのロボット動作制
御信号を自動的に生成し、それをロボット制御部６２に
転送する。ロボット制御部６２はこの信号を受け取って
ロボットを制御し、所定のワーク移載作業を実行する
（ステップＳＴ１０７）。

【００９０】なお、上記実施例４では距離計測手段５６
の距離センサ５７として光りビーム利用したものについ
て説明したが、超音波センサによるものや、複数のテレ
ビカメラを用いたステレオ視の原理によるものなどであ
ってもよく、上記実施例と同様の効果を奏する。

【００９１】また、上記実施例４では、ワークの標準モ
デルとして同一種類のワークに対して３つのモデルを使
用したが、異なるワークそれぞれに対して複数の標準モ
デルを用意しておくようにしてもよい。

【００９２】また、この実施例４では、距離計測点とし
てワークの重心に対応する１点のみを計測したが、必ず
しも重心でなくてもよく、２点以上計測してもよい。さ
らに、計測シーケンスについては、ロボット動作時間短
縮の観点から、ロボット動作時間が最短になる経路を計
算することとしたが、その他のシーケンスを採用しても
同様であることはいうまでもない。

【００９３】実施例５．次に、この発明の実施例５を図
について説明する。図１６は請求項５に記載した発明の
一実施例を示す構成図であり、相当部分には図１および
図１２と同一符号を付してその説明を省略する。図にお
いて、６４は距離センサ５７として使用されている超音
波センサの発生する計測ビームと平行で、テレビカメラ
５３で撮像可能なポインタビームを投光する光ビーム投
光手段であり、６５はテレビカメラ５３にて撮像された
画像の中からこの光ビーム投光手段６４にて投光された
ポインタビームを検出するポインタビーム検出手段であ
る。なお、ワーク配置認識手段５８は、画像認識手段５
４の認識結果および距離計測手段５６の計測結果ととも
に、このポインタビーム検出手段６５の検出結果も用い
てワークの３次元配置認識を行うものである点で、実施
例１のものとは異なっている。

【００９４】次に動作について説明する。ここで、図１
７はこのように構成されたロボット装置の動作の流れを
示すフローチャートで、以下、実施例１の場合と同様に
各ワークがテレビカメラ５３の視野内にあるという前提
で動作を説明する。最初の段階で、鉛直下向きに設置さ
れたテレビカメラ５３によって、パレット上のワーク画
像が撮像される（ステップＳＴ１１０）。次に、画像認
識手段５４によってワーク５０の２次元的な配置が認識
される（ステップＳＴ１１１）。

【００９５】次に、この認識された２次元配置パターン
をもとに、距離計測プラン部５５によって距離計測プラ
ンが決定される（ステップＳＴ１１２）。ここでは、距
離計測を行う点と、複数の距離計測点の計測順序を決定
する。各ワーク５０の２次元位置と向きが認識されてい
るので、ここでは距離計測点として各ワークの重心に相
当する位置が決定される。また、計測の順序について
は、計測精度や計測時間の観点から決定される。

【００９６】次に各距離計測点について距離計測手段５
６によって距離を計測する（ステップＳＴ１１３）。こ
の実施例５で使用される距離センサ５７には前述のよう
に超音波センサが用いられている。この超音波センサ５
７はロボットハンド５２に取り付けられた、送信モジュ
ールと受信モジュールからなる送受一体型となってお
り、送信モジュールから発射された音波が対象物に反射
して戻ってくる信号（エコー）を観測してその時間差か
ら距離を計測するものである。また、光ビーム投光手段
６４によって超音波センサ５７の発射する超音波ビーム
と平行なポインタビームを投光する（ステップＳＴ１１
４）。図１８はこの超音波センサ５７より発射された超
音波ビームによる距離計測ビームと、この距離計測ビー
ムと平行なレーザビームによるポインタビームとの関係
を示す説明図である。ロボットハンド５２にこの超音波
センサ５７と光ビーム投光手段６４の両方が一体的に取
り付けられており、ロボットハンド５２の移動にともな
って両手段５７，６４は同時に移動する。図示のよう
に、計測対象のワーク５０には超音波ビームによる距離
計測ビームがあたって反射されるとともに、レーザビー
ムによるポインタビームもまたその距離計測点に投光さ
れる。

【００９７】この光ビーム投光手段６４によって投光さ
れたポインタビームは、テレビカメラ５３により撮像さ
れた画像を処理することで、ポインタビーム検出手段６
５によって検出される（ステップＳＴ１１５）。このポ
インタビームは超音波センサ５７の発する距離計測ビー
ムの到達範囲にあるため、検出されたポインタビームの
位置を調べることにより、超音波センサ５７によって計
測されている被計測平面上の点を知ることが可能であ
る。これら一連の処理は、決定された距離計測プランに
従って、必要な全てのワーク５０上の計測点が計測され
るまで繰り返される。

【００９８】次に、画像認識手段５４による２次元配置
認識情報と、ポインタビームによってその位置が確認さ
れた距離計測点における距離計測手段５６の測定したワ
ーク５０の高さ情報は、ワーク配置認識手段５８によっ
て統合され、最終的にワークの３次元配置認識が行われ
る（ステップＳＴ１１６）。

【００９９】ロボット動作プラン部５９では前記ワーク
５０の３次元配置認識情報を使ってワーク５０を移載す
るためのロボットの動作プランを決定し（ステップＳＴ
１１７）、それに必要なロボット動作制御信号を生成し
てロボット制御部６２に送信する。ロボット制御部６２
では受け取った信号に基づいてロボット制御し、ワーク
の移載作業を実行する（ステップＳＴ１１８）。以上で
この実施例５の一連の動作が完了する。

【０１００】なお、上記実施例５では、距離センサ５７
として超音波センサを用いたが、光学的手法によらない
テレビカメラで映像化が困難な他の計測手段であっても
よく、またポインタビームとしてレーザビームを用いた
が、これも同様の光ビームであれば他のものであっても
よく上記実施例と同様の効果を奏する。

【０１０１】また、上記実施例５では、距離計測は超音
波ビームだけで行い、光ビームは超音波ビームによって
計測されている点を確認するための手段として用いた
が、光ビームを距離計測に併用することにより、計測の
信頼性および精度を向上させることもできる。

【０１０２】また、上記実施例５では、距離計測に超音
波ビームを用いていることから、計測点がそれほど精度
よく決定されないことが想像されるため、距離計測点の
位置を決定する際に各ワークの重心位置に相当する位置
としたが、指向性の強い超音波センサ５７を使用できる
状況では、例えば、ワーク５０のコーナー付近など複数
の点を計測するようにしてもよい。

【０１０３】実施例６．次に、この発明の実施例６を図
について説明する。図１９は請求項６に記載した発明の
一実施例を示す構成図である。図において、７０はこの
実施例６による物体認識装置にて認識される認識対象物
体としての箱状物体であり、７１はこの箱状物体７０の
画像を入力する画像を入力する手段としてのテレビカメ
ラである。７２はこのテレビカメラ７１より入力された
原画像のエッジを抽出するエッジ検出手段であり、７３
はこのエッジ検出手段７２によって得られたエッジ画像
上の各エッジ点について座標変換操作を行い、順次投票
平面上に投票する座標変換手段である。７４はその投票
平面から情報を読み出して複数の認識対象の物体候補を
抽出する物体候補抽出手段、７５は抽出された物体候補
のそれぞれについての信頼度を計算する信頼度計算手段
であり、７６は算出された信頼度に基づいて原画像中の
物体の位置、およびその配列パターンを認識する画像認
識手段である。

【０１０４】次に動作について説明する。なお、図２０
はこのように構成された物体認識装置の動作の流れを示
すフローチャートである。ここで、この実施例６におけ
る認識の対象は、図１９に示すような、パレット上に複
数の段にわたって積載された箱状物体７０である。処理
の最初の段階で、箱状物体７０に対して鉛直下向きに設
置されたテレビカメラ７１により箱状物体７０の画像が
撮像される（ステップＳＴ１２０）。次に、エッジ検出
手段７２によってその撮像された原画像に対しエッジ検
出が行われる（ステップＳＴ１２１）。当該エッジ検出
のアルゴリズムはこの実施例６では、例えば空間フィル
タの一種であるラプラシアン・オブ・ガウシアンフィル
タを用いたゼロクロス輪郭検出アルゴリズムを用いてい
るが、他のエッジ検出アルゴリズムでも本発明の作用を
説明する上では何等問題はない。

【０１０５】座標変換手段７３はこのエッジ検出によっ
て得られたエッジ画像をもとに、ハフ変換によりハフ平
面への投票を行う（ステップＳＴ１２２）。図２１はこ
のハフ変換処理を模式的に表現した説明図であり、同図
（ａ）はエッジ画像の画像平面を同図（ｂ）はハフ投票
平面をそれぞれ表している。ハフ変換処理は、エッジ画
像中の全てのエッジ点（ｉ，ｊ）についてそれぞれ、従
来の技術５において説明した式（２）で表される座標変
換をおこない、対応する全てのハフ平面（ρ−θ平面）
上の点に投票することで行われる。

【０１０６】ここで、図２１（ａ）中のエッジ点Ｐ１，
Ｐ２，Ｐ３はそれぞれ、同図（ｂ）に示したハフ平面で
は曲線Ｌ１，Ｌ２，Ｌ３に対応する。ハフ平面では、例
えば図２１（ｂ）における点Ｐｋ（θｋ，ρｋ）のよう
に、局所的に周囲より投票値の高い点が生じる。この点
は、即ちエッジ画像（図２１（ａ））では直線Ｌｋに対
応する。この直線Ｌｋの方程式は、式（２）にＰｋの座
標（θｋ，ρｋ）を代入することで求められる。このよ
うに、単純な投票操作によって、エッジ画像中に含まれ
る直線成分が検出される。

【０１０７】次に物体候補抽出手段７４によりハフ平面
から認識対象の物体候補の抽出が行われる（ステップＳ
Ｔ１２３）。図２２はこの物体候補の抽出の様子を示す
説明図である。いま、抽出したい物体は箱状であり、原
画像上では矩形パターンである。したがって、ハフ平面
では、例えば同図の点Ｐ１，Ｐ２，Ｐ３，Ｐ４のような
相互関係にある４点を探索することが、エッジ画像にお
ける矩形パターンを囲む４つの輪郭直線を見つけること
に相当するのである。図２２では点Ｐ１，Ｐ２がまず検
出される。これは同じθの値θ１をもつことから平行線
を意味する。また、点Ｐ１，Ｐ２のρの値はそれぞれρ
１，ρ２であり、その差（ρ１−ρ２）は平行線の間隔
（距離）を表している。見つけたい矩形パターンの寸法
を予め格納しておくことで、ハフ平面上でこのような２
点を見つけることが可能である。また、同様に、点Ｐ
３，Ｐ４についても物体のモデルを利用してみつけるこ
とができる。さらに、ここで点Ｐ１とＰ３のθの値の差
（θ２−θ１）＝９０（度）であることを利用してい
る。即ち、これはエッジ画像上では２組の平行線が互い
に直行することを意味し、矩形パターンを検出すること
になる。以上の処理を繰り返すことで、ハフ平面から箱
状物体７０の候補を物体候補として抽出することができ
る。

【０１０８】次に、このようにして抽出された各物体候
補の信頼度が信頼度計算手段７５によって計算される
（ステップＳＴ１２４）。この実施例６では、物体候補
である矩形パターンを構成する４つの直線、即ちハフ平
面では４点の投票値の合計をもって信頼度とする。

【０１０９】次に、画像認識手段７６により、複数の物
体候補の合理的な組み合わせによる画像記述を解釈し、
画像認識を行う（ステップＳＴ１２５）。即ち、複数の
物体候補からどれを選択してシーンを構成すべきかを判
断する。図２３はこの画像認識手段７６によるシーン解
釈の流れを示すフローチャートである。以下、この図２
３を用いてシーン解釈の動作について説明する。

【０１１０】まず最初に各物体候補について信頼度テー
ブルＣｆ〔ｎ〕が生成される（ステップＳＴ１３０）。
この信頼度テーブルの引数ｎは、物体候補の番号を示し
ている。なお、上記のように信頼度はハフ平面での投票
値であり、図２４（ａ）にこの信頼度テーブルＣｆの一
例を示す。図示のように、候補１の信頼度は２６５、候
補２の信頼度は１９９，……となる。この信頼度テーブ
ルＣｆはその内容によって降順にソートされる。ソート
されたテーブルを図２４（ｂ）に示す。また、その際同
時に候補テーブルＣｔ〔ｎ〕を生成する（ステップＳＴ
１３１）。この候補テーブルＣｔは図２４（ｃ）に示す
ような１次元テーブルであり、ソートされた信頼度テー
ブルＣｆのインデックスを格納している。例えば、候補
３は信頼度３０９であるが、ソートした結果、順位が２
番目であったため、Ｃｔ〔２〕＝３がセットされる。次
にカウンタ変数ｎが初期値“１”にセットされ（ステッ
プＳＴ１３２）。物体Ｃｔ〔１〕は無条件に認識リスト
に登録される（ステップＳＴ１３３）。これは、最大信
頼度をもつ物体候補は無条件に認識結果として採用され
るということである。

【０１１１】次にｎは“１”だけ増加され（ステップＳ
Ｔ１３４）、続いて物体Ｃｔ〔ｎ〕がそれ以前に認識リ
ストに登録されている物体と干渉しないかどうか検査さ
れる（ステップＳＴ１３５）。認識リストに登録されて
いる物体の中に一つでもＣｔ〔ｎ〕と干渉するものがあ
れば、物体Ｃｔ〔ｎ〕は認識結果として採用されないの
で、ｎをさらに１だけインクリメントして処理を続け
る。また、認識リストの中に物体Ｃｔ〔ｎ〕と干渉する
ものが全くない場合は、新しく物体Ｃｔ〔ｎ〕を認識リ
ストに追加登録する（ステップＳＴ１３６）。この操作
を全ての物体候補について行うことにより（ステップＳ
Ｔ１３７）、最終的に相互干渉しない信頼度の高い物体
候補の組み合わせからなるシーンの解釈結果が得られ
る。なお、ここで、干渉とはたとえば２つの異なる物体
候補が空間内に存在するときに、物体の一部が同じ空間
を占有することを言う。

【０１１２】以上のような動作により、箱状物体７０の
組み合わせからなる画像シーンが解釈され、動作は終了
する。

【０１１３】なお、上記実施例６では、エッジ検出アル
ゴリズムとしてラプラシアン・オブ・ガウシアンフィル
タによるゼロクロス輪郭検出を用いたが、他のエッジ検
出方を使用してもよく、上記実施例と同様の効果を奏す
る。

【０１１４】また、上記実施例６では、物体候補を抽出
するためにハフ変換を用いたが、座標変換・投票による
手法としてスポークフィルタによるパターン検出を用い
てもよく、この場合も上記実施例と同様の効果が得られ
ることはいうまでもない。

【０１１５】実施例７．次に、この発明の実施例７を図
について説明する。図２５は請求項７に記載した発明の
一実施例を示す構成図で、相当部分には図１９と同一符
号を付してその説明を省略する。図において、７７はハ
フ変換によるパターン検出に際して、物体検出に必要な
物体の寸法が格納される物体モデル情報格納手段であ
り、７８はテンプレートマッチングによるパターン検出
に際して、テンプレートマッチングに必要なモデルを格
納するテンプレート格納手段、７９は入力された原画像
について、このテンプレート格納手段７８に格納された
モデルを使用したテンプレートマッチングにより物体の
位置と姿勢を検出し、認識対象の物体候補を抽出するパ
ターン検出手段である。なお、信頼度計算手段７５は、
物体候補抽出手段７４とパターン検出手段７９とによっ
て抽出された物体候補について、それぞれ信頼度の計算
を行う点で実施例６のものとは異なっている。

【０１１６】次に動作について説明する。なお、図２６
はこのように構成された物体認識装置の動作の流れを示
すフローチャートであり、認識の対象は実施例６のもの
と同様である。処理の最初の段階で、ユーザが認識の対
象を当該物体認識装置に登録するが、その際にハフ変換
によるパターン検出をするか、テンプレートマッチング
によるパターン検出をするかを選択する（ステップＳＴ
１４０）。

【０１１７】ハフ変換によるパターン検出を選択した場
合は、前記実施例６に記載した方法により物体候補が抽
出される。即ち、物体モデルとして、ハフ平面での物体
検出に必要な、物体の寸法を物体モデル情報格納手段７
７に格納する（ステップＳＴ１４１）。さらに、原画像
からエッジ検出手段７２によりエッジを検出し（ステッ
プＳＴ１４２）、ハフ変換式にそって、座標変換手段７
３により座標変換およびハフ平面への投票を行い、（ス
テップＳＴ１４３）、物体候補抽出手段７４によりハフ
平面を操作して矩形パターンとして物体候補を抽出する
（ステップＳＴ１４４）。

【０１１８】一方、テンプレートマッチングによるパタ
ーン検出を選択した場合は、テンプレートマッチングに
必要なモデルをパターン検出用テンプレート格納手段７
８により登録する（ステップＳＴ１４５）。図２７は認
識対象物体の一例（ダンボール箱）と、物体を認識する
ために必要な複数の２次元テンプレート群の一部を示し
た説明図である。図２７（ａ）は、箱状物体７０として
の段ボール箱を模式的に描いたものである。梱包に使用
される段ボール箱は例えば図示のように中央付近にテー
プが貼付される。テンプレート群は図２７（ｂ）に示さ
れており、ちょうど物体のコーナー部に対応するような
パターンになっている。図示の例ではテンプレート群の
一部のみを示したが、テンプレートは少しづつ回転させ
た複数個が用意される。

【０１１９】認識対象物体の画像が入力されると、テン
プレートマッチングが行われる（ステップＳＴ１４
６）。このテンプレートマッチングは、まずテンプレー
ト＃１から順に原画像上を探索され、２次元の相互相関
値を求めてもっとも高い位置で検出とみなす。この探索
を＃２以降のテンプレートについても同様におこない、
用意した全てのテンプレートとの相関係数をもとめ、原
画像中の段ボール箱のコーナーを検出する。このテンプ
レートマッチングの処理はパターン検出手段７９によっ
て行われ、得られたコーナー部の相互関係や各々に対応
するテンプレートの種類から、認識対象となる段ボール
箱の候補を検出する。

【０１２０】続いて、抽出された各物体候補の信頼度が
信頼度計算手段７５により計算される（ステップＳＴ１
４７）。この実施例７では、ハフ変換によるパターン検
出の場合は物体候補を構成する４つの輪郭直線に対応す
るハフ平面での投票値の平均として信頼度を計算する。
また、テンプレートマッチングによるパターン検出の場
合は４ヵ所のコーナー部にマッチしたテンプレートマッ
チングのスコアである相互相関値の合計値として計算す
る。

【０１２１】最後に、画像認識手段７６において、前記
実施例６において説明した方法と同様の手法で、上記物
体候補の最適な組み合わせを求めて、画像解釈・認識を
行う（ステップＳＴ１４８）。即ち、信頼度の高い物体
から順に認識結果リストに登録してゆき、もしある物体
候補がそれ以前に認識結果リストに登録されているどれ
かの物体候補と位置的に干渉する場合は登録を中断する
というものである。以上の一連の処理によりこの実施例
７の動作は終了する。

【０１２２】なお、上記実施例７では、座標変換・投票
によるパターン検出手法としてハフ変換を用いたが、ス
ポークフィルタによるパターン検出手法を用いてもよ
く、上記実施例と同様の効果が期待できる。

【０１２３】また、この実施例７では、処理の最初の段
階でユーザがハフ変換またはテンプレートマッチングに
よるパターン検出のどちらかを選択する場合について説
明したが、これは認識対象物体の形状や属性によって装
置が自動的に判断するようにしてもよい。

【０１２４】また、上記実施例７では、テンプレートマ
ッチングによるパターン検出として、物体のコーナー部
分にマッチする複数のテンプレートを用意したが、コー
ナー部分以外、例えば物体表面に描かれた特徴ある模様
にマッチするテンプレートであってもよく、上記実施例
と同様の効果を奏する。

【０１２５】さらに、上記実施例７では、複数の回転し
ながら生成したテンプレートを用いたものを示したが、
例えば円形のテンプレートを一つ使用して物体の円形パ
ターンを検出するようにしても物体候補の抽出が可能で
あることはいうまでもない。

【０１２６】実施例８．次に、この発明の実施例８を図
について説明する。図２８は請求項８に記載した発明の
一実施例を示す構成図で、相当部分には図１９と同一符
号を付してその説明を省略する。図において、８０は認
識対象物体である箱状物体７０のモデルとして登録され
ている、当該箱状物体７０の輪郭点をもとにした輪郭テ
ンプレートである。なお、信頼度計算手段７５は、認識
対象の物体候補の原画像上の輪郭点とこの輪郭テンプレ
ート８０を輪郭マッチングして得られた類似度より、そ
の物体候補の信頼度を算出する点で実施例６のものとは
異なっている。

【０１２７】次に動作について説明する。なお、図２９
はこのように構成された物体認識装置の動作の流れを示
すフローチャートであり、認識の対象は図２８に示すよ
うに実施例６のものと同様である。当該物体認識装置を
起動するのに先立って、認識対象物体のモデルを登録し
ておく必要がある。モデルは、図３０に示したような輪
郭テンプレート８０として格納する（ステップＳＴ１５
０）。同図においては、（ａ）に原画像の一例が、
（ｂ）にテンプレート画像としての段ボール箱の輪郭画
像が模式的に示されている。輪郭テンプレート８０は、
前記輪郭画像の輪郭部分の点列の座標を同図（ｃ）のよ
うな１次元のアレイに格納したものである。即ち、輪郭
テンプレート８０には、輪郭の存在する部分を表現した
点列の座標（ｉ，ｊ）が格納される。

【０１２８】処理の最初の段階で、箱状物体７０に対し
て鉛直下向きに設置されたテレビカメラ７１により、箱
状物体７０の画像が撮像される（ステップＳＴ１５
１）。次に、撮像された画像に対して、前記実施例６に
て説明した手法で、エッジ検出と座標変換・投票処理が
なされ（ステップＳＴ１５２，ＳＴ１５３）、認識対象
の物体候補が抽出される（ステップＳＴ１５４）。この
物体候補のデータは、各箱状物体７０の２次元的位置と
姿勢（向き）とからなる。

【０１２９】次に、信頼度計算手段７５で、ＥＰＴＭに
よる各物体候補の信頼度が計算される（ステップＳＴ１
５５）。この信頼度計算の流れを図３１に示すフローチ
ャートにそって、図３０を使って以下に説明する。図３
０（ａ）に示されているのは、画像Ｃ（ｉ，ｊ）上に存
在する物体候補の一例である。実際には複数の物体候補
が存在することが多いが、ここでは説明が簡単になるよ
うに画像中にひとつだけ候補があるとしている。前記認
識対象候補の物体について、位置と姿勢が計測されてい
るので、図３０（ｂ）のようなテンプレートを画像Ｃ上
の物体候補に重ね合わせるために、まず、位置と姿勢の
補正量を計算し（ステップＳＴ１６０）、それに基づい
てテンプレートの位置と姿勢の補正を行い（ステップＳ
Ｔ１６１）、画像Ｃ上の物体候補にテンプレートを重ね
合わせる（ステップＳＴ１６２）。ここで、物体候補の
位置として物体の重心をＰｃ（Ｐｃｘ，Ｐｃｙ）、ま
た、姿勢として段ボール箱の長手方向の軸方向Ａ（θ
Ａ）とする。また、テンプレート画像についても同様に
位置としての重心Ｐｔ（Ｐｔｘ，Ｐｔｙ）、軸方向Ｂ
（θＢ）とする。なお、図３０（ｃ）に示すように、輪
郭テンプレート８０は１次元であるが、ここでは説明が
容易なように２次元であるかのように記述することにす
る。重ね合わせは、重心ＰｃとＰｔを一致させ、かつ姿
勢ＡとＢを一致させるように行われる。信頼度計算手段
７５は次に次の式（４）に従って類似度、即ち信頼度Ｍ
計算する（ステップＳＴ１６３）。

【０１３０】

【数２】

【０１３１】ここで、Ｃ（ｉ，ｊ）は認識対象画像、Ｘ
（ｋ），Ｙ（ｋ）は図３０に示した１次元テンプレー
ト、Ａｄは物体候補と輪郭テンプレート８０の姿勢を補
正する角度、関数Ｒｉ，Ｒｊはそれぞれテンプレートに
格納された座標列をＡｄだけ補正する回転補正関数であ
る。

【０１３２】なお、画像Ｃ（ｉ，ｊ）は２値（１／０）
で表現されている。信頼度Ｍは上記式（４）のまま使用
してもよいが、テンプレート点数Ｎで割ることで正規化
も可能である。以上のようにして信頼度の計算が完了す
る。

【０１３３】続いて、画像認識手段７６により前記実施
例６で説明した方法により、複数の物体候補の組み合わ
せを最適化して画像認識を行う（ステップＳＴ１５
６）。即ち、信頼度の高い物体から順に認識結果リスト
に登録していき、もしある物体候補がそれ以前に認識結
果リストに登録されているどれかの物体候補と位置的に
干渉する場合は登録を中断するというものである。以上
の処理により、本実施例における一連の動作を全て終了
する。

【０１３４】なお、上記実施例８では、ＥＰＴＭによる
マッチングの際に、認識対象画像Ｃを、原画像から得ら
れたエッジ画像として生成したが、マッチングに先立っ
てエッジ画像を２回以上膨張させておくこともできる。
膨張とは画像中の輪郭の部分の太さを太める処理であ
り、このようにすることで物体候補の位置Ｐｃと姿勢Ａ
に多少の計測誤差があっても安定に信頼度を求めること
が可能になる。

【０１３５】また、上記実施例８では、ＥＰＴＭによる
マッチングの際に、テンプレートとして物体の外形を示
す輪郭部分の他、上面に現れた輪郭画素も登録している
が、さらに物体に幾何学的にユニークな模様が存在する
場合には、その模様部分の輪郭もテンプレートに追加す
ることでより信頼度の信頼性が向上する。また、逆に連
続する輪郭画素を全てテンプレートとして登録するので
はなく、間引き処理を施すことによりテンプレートの長
さを短縮でき、マッチングに要する時間を短縮すること
も可能である。

【０１３６】実施例９．次に、この発明の実施例９を図
について説明する。図３２は請求項９に記載した発明の
一実施例を示す構成図で、相当部分には図２８と同一符
号を付してその説明を省略する。図において、８１は輪
郭テンプレート８０が認識対象物体に関する輪郭点をも
とにした物体輪郭の存在する部分を表現するものである
のに対して、物体輪郭の存在しない部分を表現するテン
プレートである。なお、信頼度計算手段７５は、この輪
郭テンプレート８０とテンプレート８１の両方を使用し
た輪郭マッチングによって類似度を得ている点で、実施
例８のものとは異なっている。

【０１３７】次に動作について説明する。なお、図３３
はこのように構成された物体認識装置の動作の流れを示
すフローチャートであり、認識の対象は実施例６の場合
と同様である。当該物体認識装置を起動するのに先立っ
て、ＥＰＴＭのための認識対象物体のモデルを登録する
（ステップＳＴ１７０，ＳＴ１７１）。このモデルはテ
ンプレートとして登録され、そのテンプレートには物体
輪郭の存在する部分を表現する輪郭テンプレート８０
と、物体輪郭の存在しない部分を表現するテンプレート
８１の２種類がある。図３４はこれら輪郭テンプレート
８０およびテンプレート８１を説明する説明図であり、
同図（ａ）には認識対象となる段ボール箱の原画像が、
同図（ｂ）には輪郭テンプレート８０の概念が、同図
（ｃ）にはテンプレート８１の概念が、同図（ｄ）には
テンプレートの格納形式がそれぞれ示されている。この
図３４（ｂ）に示すように、輪郭テンプレート８０は認
識対象物体の輪郭画素集合としての点列であり、実際に
当該物体認識装置に格納される形式は図３４（ｄ）のよ
うな１次元形式である。また、図３４（ｃ）のように、
テンプレート８１は物体の輪郭が存在しない部分を表現
した画素集合としての点列であり、同様に図３４（ｄ）
のような１次元形式で格納されている。

【０１３８】次に、鉛直下向きに設置されたテレビカメ
ラ７１により、認識対象物体の画像が撮像される（ステ
ップＳＴ１７２）。次に、この撮像された画像に対して
実施例６で説明した手法により、エッジ検出と座標変換
・投票処理がなされ（ステップＳＴ１７３，ＳＴ１７
４）、認識対象の物体の候補が抽出される（ステップＳ
Ｔ１７５）。この物体候補のデータは、各物体候補の２
次元的位置と姿勢（向き）とからなる。

【０１３９】次に信頼度計算手段７５で、ＥＰＴＭによ
る各物体候補の信頼度が計算される（ステップＳＴ１７
６）。この信頼度計算の流れを、図３５に示すフローチ
ャートにそって、図３４を併用して以下に説明する。信
頼度計算が開始されるとまず、すでに計測された物体候
補の位置と姿勢データから、マッチングのための位置と
姿勢の補正量を計算する（ステップＳＴ１８０）。図３
４（ａ）に示されているのは、画像Ｃ（ｉ，ｊ）上に存
在する物体候補の一例である。図中、点Ｃ１と方向θ１
は候補＃１を表している。同様に点Ｃ２と方向θ２は候
補＃２を表している。候補＃１は正しいが、候補＃２は
誤った候補である。マッチングのための補正量が計算さ
れるとその値に基づいて輪郭テンプレート８０およびテ
ンプレート８１の座標が補正されて位置と姿勢が補正さ
れ（ステップＳＴ１８１）、画像Ｃに重ね合わされる
（ステップＳＴ１８２）。次に、次の式（５）にそっ
て、類似度Ｍａと、非類似度Ｍｂが計算される（ステッ
プＳＴ１８３，ＳＴ１８４）。

【０１４０】

【数３】

【０１４１】類似度Ｍａは画像上のパターンがテンプレ
ートと類似している度合いを表したもので、非類似度Ｍ
ｂは同じく類似していない度合いを表したものである。
まず候補＃１の信頼度を求める過程を説明する。候補＃
１の重心Ｃ１（Ｐｃ１ｘ，Ｐｃ２ｘ）および姿勢として
の物体の長手方向の軸の傾きθ１は既知である。また、
輪郭テンプレート８０に示された物体の重心ＳＡ（ＰＳ
Ａｘ，ＰＳＡｙ）および軸方向θＡも既知である。

【０１４２】ここで、Ｃ（ｉ，ｊ）は認識対象画像、Ｘ
（ｋ）、Ｙ（ｋ）は図３４に示した１次元テンプレー
ト、Ａｄは物体候補と輪郭テンプレート８０の姿勢を補
正する角度、Ｂｄは物体候補とテンプレート８１の姿勢
を補正する角度、関数Ｒｉ，Ｒｊはそれぞれテンプレー
トに格納された座標列をＡｄまたはＢｄだけ補正する回
転補正関数である。次に、これら類似度Ｍａと非類似度
Ｍｂは統合され（ステップＳＴ１８５）、次の式により
信頼度Ｍが求められる。なお、Ｎａ，Ｎｂはそれぞれ輪
郭テンプレート８０およびテンプレート８１に登録され
たエッジ点数である。

【０１４３】Ｍ＝Ｍａ／Ｎａ − Ｍｂ／Ｎｂ

【０１４４】候補＃１の場合には、輪郭テンプレート８
０に登録された輪郭点が全て画像Ｃに存在し、かつテン
プレート８１に登録された画素点列に相当する画像Ｃ上
の点は全く存在しないため、信頼度ＭはＭ＝１となる。

【０１４５】次に候補＃２に対して同様のマッチングを
行うと、テンプレート８１に対応する画像Ｃ上の輪郭点
が主に候補＃１と候補＃２の境界や、それらの上に書か
れた文字（“ＡＢＣ”）などによって多数存在するため
に、非類似度Ｍｂが高まり、信頼度Ｍは低く評価される
ことになる。なお、画像Ｃ（ｉ，ｊ）は２値（１／０）
で表現されている。以上のようにして信頼度の計算が完
了する。

【０１４６】続いて、画像認識手段７６により実施例６
で説明した方法により、複数の物体候補の組み合わせを
最適化して画像認識を行う（ステップＳＴ１７７）。即
ち、信頼度の高い物体から順に認識結果リストに登録し
ていき、もしある物体候補がそれ以前に認識結果リスト
に登録されているどれかの物体候補と位置的に干渉する
場合は登録を中断するというものである。以上の処理に
より、本実施例における一連の動作を全て終了する。

【０１４７】なお、上記実施例９では、ＥＰＴＭによる
マッチングの際に、認識対象画像Ｃを、原画像から得ら
れたエッシ画像として生成したが、マッチングに先立っ
てエッジ画像を２回以上膨張させておくこともできる。

【０１４８】また、上記実施例９では、ＥＰＴＭによる
マッチングの際に、輪郭テンプレート８１として物体の
外形を示す輪郭部分の他、上面に現れた輪郭画素も登録
しているが、さらに物体に幾何学的にユニークな模様が
存在する場合には、その模様部分の輪郭も輪郭テンプレ
ート８１に追加することでより信頼度の信頼性が向上す
る。また、逆に連続する輪郭画素を全てテンプレートと
して登録するのではなく、間引き処理を施すことにより
テンプレートの長さを短縮でき、マッチングに要する時
間を短縮することも可能である。

【０１４９】また、上記実施例９では、テンプレート８
１として物体の中央部に集中して「輪郭の存在しない部
分を表現する画素」を登録しているが、輪郭テンプレー
ト８０に登録された輪郭に密着して平行した画素列を用
いてもよい。

【０１５０】実施例１０．次に、この発明の実施例１０
を図について説明する。図３６は請求項１０に記載した
発明の一実施例を示す構成図である。図において、９０
は入力された原画像のエッジを抽出するエッジ検出手段
である。９１はこのエッジ検出手段９０によって抽出さ
れたエッジ画像の水平走査を行って、水平線分である可
能性の高い点列を検出するとそれを点としてハフ投票平
面に投票する水平線投票手段、９２は前記エッジ画像の
垂直走査を行って、垂直線分である可能性の高い点列を
検出するとそれを点としてハフ投票平面に投票する垂直
線投票手段であり、９３は残った水平線分または垂直線
分である可能性の低い点列を、曲線としてハフ投票平面
に投票する水平・垂直線以外投票手段である。９４は前
記ハフ変換された点や曲線が投票されたハフ投票平面が
格納されたハフ平面格納メモリである。

【０１５１】次に動作について説明する。ここで、図３
７はこのように構成された画像処理装置の動作の流れを
示すフローチャートである。処理の最初の段階で、原画
像がエッジ検出手段９０に入力される（ステップＳＴ１
９０）。エッジ検出手段９０は入力された原画像に対し
てエッジ検出処理を実行し、画像中のエッジ部分を抽出
する（ステップＳＴ１９１）。ハフ変換はこのエッジ検
出されたエッジ画像に対して行われる。

【０１５２】次に、水平線投票手段９１によってそのエ
ッジ画像が水平に走査され（ステップＳＴ１９２）、水
平線セグメントが抽出される（ステップＳＴ１９３）。
図３８（ａ）にはこのエッジ画像の一例を示す。このエ
ッジ画像中で水平走査により、水平線分である水平線セ
グメントＨ１がまず検出される。この水平線セグメント
Ｈ１は従来の技術５において説明した式（２）に基づく
ハフ変換によりρ−θが計算され（ステップＳＴ１９
４）、図３８（ｂ）に示したハフ平面上に点Ｐ１（ρ
１，θ１）として投票される（ステップＳＴ１９５）。
この実施例１０では、水平セグメントＨ１の方程式がｊ
＝−ｊｃ（ｊｃ＞０）となるので、式（２）がいかなる
ｉ，ｊをとってもｊ＝−ｊｓに等しくなるためには、θ
＝９０度、ρ＝−ｊｓ、またはθ＝２７０度、ρ＝ｊｓ
のどちらかでなければならない。従ってハフ平面上の点
Ｐ１（θ１＝９０，ρ１＝−ｊｓ）および点Ｐ１’（θ
１’＝２７０，ρ１’＝ｊｓ）に投票する。なお、図３
８（ｂ）では点Ｐ１のみを表示した。さらに、投票直後
に、投票に関与したエッジ画像上のエッジ点列、即ち水
平線セグメントＨ１を構成する点列をエッジ画像中から
削除する（ステップＳＴ１９６）。同様にして、図３８
（ａ）の水平線セグメントＨ２に対応するハフ平面上の
点のひとつはＰ２であるので、この水平線セグメントＨ
２を点Ｐ２に投票し、水平線セグメントＨ２に属する点
列を全て削除する。上記一連の処理を、エッジ画像全体
の水平走査が終了するまで続ける（ステップＳＴ１９
７）。

【０１５３】次に、垂直線投票手段９２によってエッジ
画像が垂直に走査され（ステップＳＴ１９８）、垂直線
セグメントが抽出される（ステップＳＴ１９９）。この
エッジ画像の垂直走査により、垂直線分である垂直線セ
グメントＶ１が検出される。この垂直線セグメントＶ１
についても同様にハフ変換されてρ−θが計算され（ス
テップＳＴ２００）、図３８（ｂ）に示したハフ平面上
に点Ｐ３として投票される（ステップＳＴ２０１）。そ
のとき同時に、エッジ画像上の垂直線セグメントＶ１に
属する点列は削除される（ステップＳＴ２０２）。上記
一連の処理を、エッジ画像全体の垂直走査が終了するま
で続ける（ステップＳＴ２０３）。

【０１５４】次に、前記水平線投票手段９１による処
理、および垂直線投票手段９２による処理の終了後にエ
ッジ画像上に残っているエッジ点に関して、水平・垂直
線以外投票手段９３によりハフ平面に投票する（ステッ
プＳＴ２０４）。これは、前記実施例６において説明し
た方法による。即ち、エッジ点をひとつづつハフ変換式
によって変換してゆく。図３８（ａ）におけるエッジ点
列ＰＬに対応する同図（ｂ）のハフ平面上の投票軌跡は
Ｓである。

【０１５５】上述の水平線投票手段９１、垂直線投票手
段９２、および水平・垂直線以外投票手段９３によるハ
フ平面への投票処理は、すべて同一のハフ平面に対して
おこなわれ、その結果がハフ平面格納メモリ９４に格納
される。この実施例１０においては、以上の投票操作に
よって生成されたハフ平面に対し、局所的ピークを持つ
位置を求めることで、該ピーク位置に対応する直線の方
程式が求められることになり、当該実施例６の動作を完
了する。

【０１５６】なお、上記実施例１０では、ハフ平面にお
いて、θ＞１８０度の範囲にも投票したが、ρの正負を
考えることでθ＜１８０度の範囲でのみ投票することが
可能である。

【０１５７】また、上記実施例１０では、投票に使用し
たエッジ点を画像から逐次削除してゆくものについて説
明したが、削除せずに再び投票に使用してもよく、また
削除する場合でも別途用意したエッジ画像と同じサイズ
のフラグ画像を用いて削除フラグを付加することも可能
である。

【０１５８】また、上記実施例１０では、完全に水平の
線セグメントと完全に垂直の線セグメントを検出して投
票するものを示したが、幅２画素または３画素の線セグ
メントを検出して投票に使用してもよく、上記実施例と
同様の効果を奏することはいうまでもない。

【０１５９】実施例１１．次に、この発明の実施例１１
を図について説明する。図３９は請求項１１に記載した
発明の一実施例を示す構成図である。図において、１０
０は認識対象物体の画像を入力する画像入力手段として
のテレビカメラであり、１０１はこのテレビカメラ１０
０より入力された原画像より認識対象の物体候補を抽出
する物体候補抽出手段である。１０２は原画像中の物体
候補の存在の有無を１ビットの情報で表現して、原画像
の解釈をそのビットの列で表現したビット列を定義する
ビット列定義手段であり、１０３は予め設定した手順で
初期値たる複数のビット列を生成する初期ビット列生成
手段である。１０４は初期ビット列生成手段１０３にて
生成されたビット列が格納されるビット列格納手段であ
り、１０５は各々のビット列についてそれが正しい解釈
である可能性を示す指標である適応度を算出する適応度
計算手段である。１０６，１０７は適応度計算手段１０
５で算出された適応度の高いビット列から新たなビット
列を生成したり、予め設定された割合でビット列を変換
するなどのビット列操作を行うビット列操作手段で、１
０６は２つのビット列を同じビット位置で切断して交叉
させる交叉操作手段、１０７はビット列中の適当なビッ
トについて、その“１”と“０”とを反転させる突然変
異手段である。１０８はこれらビット列操作手段として
の交叉操作手段１０６および突然変異操作手段１０７の
動作を規定するための乱数を発生する乱数発生手段であ
る。

【０１６０】次に動作について説明する。ここで、図４
０はこのように構成された画像認識装置の動作の流れを
示すフローチャートである。処理の最初の段階で、テレ
ビカメラ１００により認識対象物体の画像が入力される
（ステップＳＴ２１０）。図４１（ａ）はこの入力され
た画像を模式的に示したものである。この場合、認識対
象物体は段ボール箱であり、その中央部分には梱包のた
めのテープが貼付されていて、物体＃１および物体＃２
がそれ以外の物体の上に積載されている。この実施例１
１では積載された複数の物体中の最上段に置かれたもの
の認識を課題としているので、この物体＃１と物体＃２
の認識を目的としている。また、同図で物体＃１と物体
＃２の濃度がそれ以外の物体のものと異なるのは、説明
を容易にするためであって、物体としては同一種類のも
のである。

【０１６１】次に、入力された原画像から物体候補抽出
手段１０１によって、認識対象の物体候補が抽出される
（ステップＳＴ２１１）。図４１（ｂ）には抽出された
１２の物体候補が示されている。図から容易にわかると
おり、物体＃１は候補＃６に相当し、物体＃２は候補＃
１２に相当する。なお、候補＃２，候補＃４，候補＃
８，候補＃１０は全て、実際の物体とは対応しない誤っ
た候補である。

【０１６２】次に、物体候補リストＣＬ〔ｎ〕が生成さ
れる（ステップＳＴ２１２）。この候補リストの一例を
次の表３に示す。当該候補リストには候補番号をインデ
ックスとして、前記物体候補抽出手段１０１によって認
識された各物体候補の２次元的位置と姿勢（向き）が格
納されている。

【０１６３】

【表３】

【０１６４】次に、ビット列定義手段１０２によって、
画像中の各物体候補の存在有無をそれぞれ１ビットの情
報で表現したビット列が定義される（ステップＳＴ２１
３）。図４１（ｃ）は定義されたビット列の一例を示す
もので、１２ビットからなるビット列の各ビットは、そ
れぞれに対応する物体候補の存在有無が、存在する場合
は“１”、存在しない場合は“０”として表現されてい
る。図４１（ｃ）の例では、左から第１，第３，第６，
第７，第１０，第１１の各ビットが“１”になっており
それ以外は“０”である。従って、候補＃１，候補＃
３，候補＃６，候補＃７，候補＃１０，候補＃１１が画
像中に存在し、候補＃２，候補＃４，候補＃５，候補＃
８，候補＃９，候補＃１２は画像中には存在しないよう
な画像を意味している。また、図４１（ｄ）は同様に候
補＃６，候補＃１２に対応するビットのみ１になってお
り、この実施例１１で求めたい結果に相当する。

【０１６５】次に、初期ビット列生成手段１０３によっ
て複数の初期ビット列群が生成され、それがビット列格
納手段１０４に格納される（ステップＳＴ２１４）。こ
の実施例１１では、初期ビット列として１００個のビッ
ト列を乱数発生手段１０８の発生するランダムなデータ
に基づいてランダムに生成する。

【０１６６】続いて、適応度計算手段１０５によってこ
の初期ビット列生成手段１０３の生成した各ビット列の
適応度が計算され、ビット列格納手段１０４にそのデー
タが格納される（ステップＳＴ２１５）。第ｎ番目のビ
ット列に対応する適応度Ｆ〔ｎ〕は次の式（６）で計算
される。

【０１６７】

【数４】

【０１６８】ここで、Ｆｃ〔ｍ〕は候補＃ｍの信頼度、
Ｆｈ〔ｍ〕は候補＃ｍの高さ信頼度であり、Ｌ〔ｎ〕
〔ｍ〕は第ｎ番目のビット列の第ｍ番目のビットを表
す。高さ信頼度は、当該物体候補が高い位置であると判
定されているほど高い信頼度をもつように値が決められ
ている。適応度を高速に計算するために、この実施例１
１では次の表４に示したようなテーブルを使用する。こ
の表４に示すように、各物体候補をインデックスとして
信頼度と高い信頼度が格納されており、適応度計算時に
は本テーブルを参照することで計算を高速に実行しう
る。

【０１６９】

【表４】

【０１７０】続く処理では、ビット列格納手段１０４に
格納された１００個のビット列の中から適応度に応じ
て、適応度が高いほど選択される確率が高くなるように
２つの親ビット列を選択する（ステップＳＴ２１６）。
さらに、その選択されたそれぞれの親ビット列と同一の
ビット列として、２つの子ビット列を生成する（ステッ
プＳＴ２１７）。

【０１７１】ここで、乱数発生手段１０８により決めら
れた範囲の乱数を発生させ、発生した乱数を予め設定し
たしきい値ｔｈｃと比較する（ステップＳＴ２１
８）。そして、しきい値ｔｈｃより大きな乱数が発生
した場合には交叉操作手段１０６によって交叉操作を行
なう。この実施例１１では、発生する乱数値の範囲を０
から１までとし、しきい値ｔｈｃとしては０．６を用
いた。しかし、確率的に交叉操作を行なう同等の手段で
あれば同等の作用を得ることはいうまでもない。

【０１７２】以下にこの交叉操作手段１６２により実行
される交叉操作について説明する。図４２に交叉操作の
様子を模式的に示す。交叉操作は２つの子ビット列Ｐ１
およびＰ２に対してまず、交叉位置を決定し（ステップ
ＳＴ２１９）、この交叉位置において子ビット列Ｐ１と
Ｐ２を交叉させる（ステップＳＴ２２０）。図４２に示
したビット列Ｃ１は交叉位置より左のＰ１と交叉位置よ
り右のＰ２をビット列として接続して生成し、ビット列
Ｃ２は交叉位置より左のＰ２と交叉位置より右のＰ１を
ビット列として接続して生成したものである。なお、交
叉位置は乱数発生手段によって発生された乱数に基づい
て確率的に決定する。このような操作は、ビット列を遺
伝子にたとえると、ちょうど生物学における遺伝子の交
叉現象に類似しているために交叉操作と呼ばれる。

【０１７３】図４３は交叉操作の別の一例を示す説明図
であり、この実施例１１では用いなかったが、上述の方
法に代えて用いても同様の効果がある。この図４３に示
した交叉操作では、ビット列Ｐ１およびＰ２に対してマ
スクビット列をランダムに発生する。ビット列Ｃ１はマ
スクビット列の値１の位置に対応するＰ１のビットと、
同じく値０の位置に対応するＰ２のビットとの組み合わ
せで生成する。ビット列Ｃ２はマスクビット列の値１の
位置に対応するＰ２のビットと、同じく値０の位置に対
応するＰ１のビットとの組み合わせで生成する。

【０１７４】この交叉操作が終了した場合、あるいは発
生した乱数の値がしきい値ｔｈｃより小さかった場合
には、さらに乱数発生手段１０８によって突然変異操作
のための乱数を発生させ、その乱数値としきい値ｔｈ
ｍの大小関係を判定する（ステップＳＴ２２１）。そし
て、発生した乱数の値がしきい値ｔｈｍより大きけれ
ば突然変異操作手段１０７による突然変異操作を行な
う。この突然変異操作について図４４を使って以下に説
明する。まず、図４４（ａ）では反転型の突然変異操作
を説明する。操作対象のビット列Ａに対して、突然変異
位置を乱数発生手段１０８により発生させた乱数値に基
づいてランダムに決定し（ステップＳＴ２２２）、その
突然変異位置に対応するビットを反転させることによっ
てビット列Ｂを得る（ステップＳＴ２２３）。また、図
４４（ｂ）は２点置換型の突然変異操作を示す説明図で
あり、操作対象のビット列Ａに対して２ヵ所の突然変異
位置を、乱数発生手段１０８によって発生させた乱数値
に基づいてランダムに決定し（ステップＳＴ２２２）、
当該位置のビットを置換（交換）することによってビッ
ト列Ｂに変化させる（ステップＳＴ２２３）。この実施
例１１では、前記反転型突然変異操作を行い、さらに２
点置換型突然変異操作を行なう。この操作も、ビット列
を遺伝子による突然変異現象のアナロジーとして捉え、
突然変異操作と呼んでいる。

【０１７５】次に、ビット列格納手段１０４に格納され
た１００個のビット列それぞれの適応度を調べ、もっと
も低い適応度を持つ２つのビット列を削除する（ステッ
プＳＴ２２４）。そして、代わりに上述の一連の処理で
生成された２つの新しいビット列を新たにビット列格納
手段１０４に追加登録する（ステップＳＴ２２５）。

【０１７６】以降、以上説明した適応度計算（ステップ
ＳＴ２１５）から新ビット列追加登録（ステップＳＴ２
２５）までの処理を、終了条件が満足されるまで繰り返
す（ステップＳＴ２２６）。なお、この実施例１１では
その終了条件として、１００個のビット列群の中の最大
適応度を持つビット列パターンの変化がない状態が継続
する時間を用いている。即ち、前記継続時間が一定しき
い値以上になった時に、ビット列群の動きが止まったと
して一連の処理を終了させる。処理終了時点で、ビット
列格納手段１０４に格納されているビット列の中で最大
適応度をもつビット列が最終結果として出力され、前記
物体候補リストＣＬと組み合わせることで、最終的な物
体認識結果が出力される。

【０１７７】なお、上記実施例１１では、交叉操作のあ
とに突然変異操作を行うものを示したが、どちらか一方
だけを実行するようにしてもよく、また突然変異操作に
関しては、反転型と２点置換型の２種類とも行うことと
したが、ランダムに発生した値に基づいてどちらか片方
だけ実行するようにしても、あるいは両方とも実行しな
くてもよく、その効果が変わることはない。

【０１７８】また、上記実施例１１では、終了条件とし
て最大適応度をもつビット列に変化のない継続時間をも
とにしているが、予め設定した繰り返し回数の処理後に
終了するようにしてもよく、その効果は上記実施例の場
合と同等である。

【０１７９】また、上記実施例１１では、適応度を計算
するのに物体の信頼度と高さ信頼度をもとに計算する場
合について説明したが、それ以外に画像の解釈に使用可
能な情報をもとに計算するようにしても差し支えないこ
とはいうまでもない。

【０１８０】また、上記実施例１１では、ビット列格納
手段１０４に格納されるビット列の数を１００個に固定
し、常に一定としたが、ビット列の数はいくらでもよ
く、また常に不変にする必要もない。これらの制約はこ
の実施例の効果に特に本質的な影響を与えるものではな
い。

【０１８１】また、上記実施例１１では、乱数発生手段
１０８によってその都度乱数を発生させるものを示した
が、予め乱数テーブルを用意してメモリ等に格納してお
き、随時その乱数テーブルを参照してランダムな振る舞
いをさせるようにしてもよく、上記実施例と同様の効果
を奏する。

【０１８２】実施例１２．次に、この発明の実施例１２
を図について説明する。図４５は請求項１２に記載した
発明の一実施例を示す構成図であり、各部には図３９に
示した実施例１１の相当部分と同一の符号を付している
が、ビット列定義手段１０２で定義されるビット列、初
期ビット列生成手段１０３で生成されるビット列、ビッ
ト列格納手段１０４に格納されるビット列、適応度計算
手段１０５、あるいは交叉操作手段１０６や突然変異操
作手段１０７などで処理されるビット列の並びが２次元
配列である点で、実施例１１とは異なっている。

【０１８３】次に動作について説明する。ここで、図４
６はこのように構成された画像認識装置の動作の流れを
示すフローチャートである。処理の最初の段階で、テレ
ビカメラ１００によって認識対象物体の画像が入力され
（ステップＳＴ２３０）、物体候補抽出手段１０１によ
って認識対象の物体候補が抽出される（ステップＳＴ２
３１）。なお、認識対象は図４１（ａ）に示すような積
載された段ボール箱であり、最終的に認識したい物体は
実施例１１の場合と同様に、図４１（ｂ）に示した候補
＃６および候補＃１２である。また、候補＃２，＃４，
＃８，＃１０は誤った認識であり、候補＃１，＃３，＃
５，＃７，＃１１は正しい認識ではあるがこの実施例１
２においては認識目標ではない。次に、物体候補リスト
ＣＬが生成される（ステップＳＴ２３２）。この物体候
補リストＣＬは、候補番号をインデックスとして各候補
の２次元的位置と姿勢（向き）が格納された、前記表３
に示した実施例１１と同様のものである。

【０１８４】次に、ビット列定義手段１０２により２次
元配列のビット列が定義される（ステップＳＴ２３
３）。即ち、前記図４１（ｂ）に示された各物体候補＃
１〜＃１２の、画像中の存在有無をそれぞれ１ビットで
表現し、図４７に示すような２次元のビット列を用いて
これを表現する。この図４１では縦５、横３の合計１５
個のビットからなるビット集合（ビット列）が描かれて
いるが、１２個の物体候補をそれぞれのビットに割り付
け、存在するなら“１”、存在しないなら“０”、もと
もと空のビットなら“−１”を与える。言い換えれば、
前記ビット列は画像の解釈を表現しており、画像中に、
“１”になっているビットに対応する物体候補は存在
し、“０”になっているビットに対応する物体候補は存
在しないことを意味する。なお、“−１”のビットに対
応する候補はもともと定義していない。各ビットは１ビ
ットであるので、“１”か“０”のみを取りうるもので
あり、この実施例１２では説明が容易なように“−１”
も取りうるとしているが、実際には“−１”が格納され
ているビット自体が存在していない。

【０１８５】次に、初期ビット列生成手段１０３によっ
て２次元の初期ビット列が生成され、それがビット列格
納手段１０４に格納される（ステップＳＴ２３４）。こ
のとき、乱数発生手段１０８によって発生されたランダ
ムなデータに基づいて、ランダムに初期ビット列を発生
させる。この実施例１２においても発生させるビット列
の個数は１００である。

【０１８６】次に、適応度計算手段１０５によって、こ
の初期ビット列生成手段１０３の生成した各ビット列の
適応度が計算され、ビット列格納手段１０４にそのデー
タが格納される（ステップＳＴ２３５）。第ｎ番目のビ
ット列に対応する適応度Ｆ〔ｎ〕は実施例１１に記載の
方法で、前記式（６）によって計算される。なお、高さ
信頼度は当該物体候補が高い位置であると判定されてい
るほど高い信頼度をもつように値が決められており、こ
の適応度を高速に計算するため、この実施例１２におい
ても実施例１１と同様に、表４に示したテーブルを使用
している。

【０１８７】続く処理では、ビット列格納手段１０４に
格納された１００個の２次元ビット列の中から適応度に
応じて、適応度が高いほど選択される確率が高くなるよ
うに２つの親ビット列が選択される（ステップＳＴ２３
６）。さらに、その選択されたそれぞれの親ビット列と
同一のビット列として、２次元の子ビット列を２つ生成
する（ステップＳＴ２３７）。

【０１８８】次に、乱数発生手段１０８により決められ
た範囲の乱数を発生させて予め設定したしきい値ｔｈ
ｃと比較し（ステップＳＴ２３８）、それより大きけれ
ば交叉操作手段１０６によって交叉操作を行なう。この
実施例１１でも、発生する乱数値の範囲を０から１まで
とし、しきい値ｔｈｃとしては０．６を用いた。しか
し、確率的に交叉操作を行なう同等の手段であれば同等
の作用を得ることは実施例１１の場合と同様である。

【０１８９】なお、この交叉操作は図４８に示すように
して実行される。即ち、２つのビット列Ｐ１とＰ２に対
して交叉領域の位置と形状、サイズがランダムに決定さ
れる（ステップＳＴ２３９）。図中の×印は図４７にお
ける−１のビットを意味し、操作にはいっさい関与しな
い。前記交叉領域の内容について、ビット列Ｐ１および
Ｐ２で置換をおこない、得られた２つの２次元のビット
列をＣ１，Ｃ２とする（ステップＳＴ２４０）。このよ
うな操作は、ビット列を遺伝子にたとえると、ちょうど
生物学における遺伝子の交叉現象に類似しているために
交叉操作と呼ばれる。

【０１９０】次に、さらに乱数発生手段１０８によって
突然変異操作のための乱数を発生させ、その乱数値とし
きい値ｔｈ＿ｍの大小関係に基づいて、突然変異手段１
０７による突然変異操作を行なうかどうかを決定する
（ステップＳＴ２４１）。以下にこの突然変異操作につ
いて図４９を使って説明する。図４９（ａ）は反転型の
突然変異操作を説明するもので、操作対象のビット列Ａ
に対して、突然変異領域の位置とサイズを乱数発生手段
１０８により発生させた乱数値に基づいてランダムに決
定し（ステップＳＴ２４２）、その位置に対応するビッ
トを反転させることによって、ビット列Ｂに変化させる
（ステップＳＴ２４３）。また、図４９（ｂ）は置換型
の突然変異操作を説明するものであり、操作対象のビッ
ト列Ａに対して２ヵ所の突然変異領域の位置とサイズ
を、乱数発生手段１０８によって発生させた乱数値に基
づいてランダムに決定し（ステップＳＴ２４２）、当該
位置のビットを置換（交換）することによってビット列
Ｂに変化させる（ステップＳＴ２４３）。このとき、２
ヵ所の突然変異領域のサイズは一致している必要があ
る。この実施例１２では、前記反転型突然変異操作を行
い、さらに置換型突然変異操作を行なう。この操作も、
ビット列を遺伝子による突然変異現象のアナロジーとし
て捉え、突然変異操作と呼んでいる。

【０１９１】次に、ビット列格納手段１０４に格納され
た１００個のビット列それぞれの適応度を調べ、もっと
も低い適応度を持つ２つの２次元のビット列を削除する
（ステップＳＴ２４４）。そして、代わりに上述の一連
の処理で生成された２つの新しい２次元のビット列を新
たにビット列格納手段１０４に追加登録する（ステップ
ＳＴ２４５）。

【０１９２】上記の適応度計算（ステップＳＴ２３５）
から、新ビット列追加（ステップＳＴ２４５）までの処
理を、終了条件が満足されるまで繰り返す（ステップＳ
Ｔ２４６）。なお、この実施例１２ではその終了条件と
して、１００個のビット列群の中の最大適応度を持つビ
ット列パターンの変化がない状態が継続する時間を用い
る。即ち、前記継続時間が一定しきい値以上になった時
に、ビット列群の動きが止まったとして一連の処理を終
了させる。処理終了時点で、ビット列格納手段１０４に
格納されている２次元のビット列の中で最大適応度をも
つビット列が最終結果として出力され、前記物体候補リ
ストＣＬと組み合わせることで、最終的な物体認識結果
が出力される。

【０１９３】なお、上記実施例１２では、交叉操作のあ
とに突然変異操作を行うものを示したが、どちらか一方
だけを実行するようにしてもよく、また突然変異操作に
関しては、反転型と置換型の２種類とも行うこととした
が、ランダムに発生した値に基づいてどちらか片方だけ
実行するようにしても、あるいは両方とも実行しなくて
もよく、その効果が変わることはない。

【０１９４】また、上記実施例１２では、交叉操作や突
然変異操作における交叉領域、または突然変異領域の形
状を、矩形領域としたが、必ずしも矩形でなくてもよ
く、円形や十字型などの任意の形状を用いてもよく、そ
の効果はなんら変わることはない。

【０１９５】また、上記実施例１２では、終了条件とし
て最大適応度をもつビット列に変化のない継続時間をも
とにしているが、予め設定した繰り返し回数の処理後に
終了するようにしてもよく、上記実施例と同様の効果を
奏する。

【０１９６】また、上記実施例では、ビット列格納手段
１０４に格納されるビット列の数を１００個に固定し、
常に一定としたが、ビット列の数はいくらでもよく、ま
た常に不変にする必要もない。これらの制約はこの実施
例の効果に特に本質的な影響を与えるものではない。

【０１９７】また、上記実施例１２では、適応度を計算
するのに物体の信頼度と高さ信頼度をもとに計算する場
合について説明したが、それ以外に画像の解釈に使用可
能な情報をもとに計算するようにしても差し支えないこ
とはいうまでもない。

【０１９８】また、上記実施例では、乱数発生手段１０
８によってその都度乱数を発生させるものを示したが、
予め乱数テーブルを用意してメモリ等に格納しておき、
随時その乱数テーブルを参照してランダムな振る舞いを
させるようにしてもよく、上記実施例と同様の効果を奏
する。

【０１９９】実施例１３．次に、この発明の実施例１３
を図について説明する。図５０は請求項１３に記載した
発明の一実施例を示す構成図で、相当部分には図３９と
同一符号を付してその説明を省略する。図において、１
０９は図３９に示した交叉操作手段１０６や突然変異操
作手段１０７などによるビット列操作手段である。１１
０はそれぞれの適応度が大きいほど高い確率で選択され
るように、ビット列格納手段１０４に格納されているビ
ット列の選択を行うビット列選択手段である。１１１は
ビット列格納手段１０４に格納されているビット列の中
で最も適応度の高いビット列を算出する最大適応度ビッ
ト列計算手段であり、１１２は最大適応度をもつビット
列が一定時間以上不変であった場合に、そのビット列を
随時付加保存する結果ビット列格納手段である。

【０２００】次に動作について説明する。ここで、図５
１はこのように構成された画像処理装置の動作の流れを
示すフローチャートである。なお、この実施例１４では
最適化問題をあつかう。まず、最適化したい問題をもと
に、解を複数のビットからなるビット列として表現す
る。ここでは、図４１（ａ）に示した段ボール箱を認識
する場合に、それより抽出された同図（ｂ）に示す１２
の物体候補について、実施例１１に記載されているよう
な方式で、同図（ｃ）に示されているビット列を得る。
処理の最初の段階では、初期ビット列生成手段１０３に
よって初期ビット列群がランダムに生成される（ステッ
プＳＴ２５０）。なお、この実施例１３ではビット列は
１００個生成される。このビット列の生成には乱数を発
生させ、ビット列の“１”の値を取る位置をランダムに
決定する。生成されたビット列は全てビット列格納手段
１０４に格納される。

【０２０１】次に、ビット列格納手段１０４に格納され
た１００個のビット列それぞれの適応度Ｆを、適応度計
算手段１０５によって計算し（ステップＳＴ２５１）、
ビット列格納手段１０４にそのデータを格納する。この
適応度Ｆは前記実施例１１に記載したものと同様のもの
を用いる。続く処理では、この適応度が大きいほど選択
される確率が高くなるように、ビット列選択手段１１０
によってビット列が選択され（ステップＳＴ２５２）、
さらに、新ビット列が前記選択されたビット列のコピー
として生成される（ステップＳＴ２５３）。

【０２０２】次に、ビット列操作手段１０９では実施例
１１の場合と同様に２種類のビット列の操作が行なわれ
る（ステップＳＴ２５４）。即ち、乱数発生手段１０８
により発生された乱数と、あらかじめ設定されたしきい
値ｔｈｃとを比較して子ビット列に対して交叉位置を
決定し、交叉操作を施したり、また同じく乱数としきい
値ｔｈｍとの比較により突然変異位置を決定して子ビ
ット列の突然変異操作を行なうものである。ここで、乱
数を発生させたのは、子ビット列に対してかかるビット
列操作を行なうかどうか、また行なうとして交叉の位置
や突然変異の位置をビット列のどの部分に対して行なう
かを、ランダムに決定するためである。従って、この実
施例１３ではその都度乱数を発生させたが、あらかじめ
乱数テーブルを作成してメモリ等に格納しておき、随時
その乱数テーブルを参照する方式でも差し支えない。

【０２０３】このビット例操作の結果得られたビット列
はビット列格納手段１０４に格納され、同時にこのビッ
ト列格納手段１０４に格納された全てのビット列の中で
最も適応度の低い２つのビット列が削除される。さら
に、最大適応度ビット列計算手段１１１により、このビ
ット列格納手段１０４に格納されているビット列の中で
最も適応度の高いビット列Ｓが算出され（ステップＳＴ
２５５）、最大適応度ビット列としてその番号が記憶さ
れる。また、このビット列Ｓがどのくらいの時間、最大
適応度ビット列として継続的に記憶されているかを示す
継続時間ｔも併せて計算され（ステップＳＴ２５６）、
その継続時間ｔが予め設定されたしきい値ｔｈされて
（ステップＳＴ２５７）、しきい値ｔｈよりも大ならば
そのビット列Ｓを結果ビット列格納手段１１２に格納す
る（ステップＳＴ２５８）。一方、しきい値ｔｈより大
でないなら結果ビット列格納手段１１２へのビット列Ｓ
の保存は行わない。

【０２０４】図５２は、時間とともに前記最大適応度の
ビット列Ｓの持つ適応度がどのように変化するかの一例
を示す説明図である。なお、横軸は時間であるが、遺伝
子による世代交代とのアナロージーからこの実施例１４
では世代と呼んでいる。図において、世代０における適
応度はＦ１である。世代Ｇ１までの過程で徐々に適応度
は増加し、世代Ｇ１においては適応度はＦ２に急激に変
化している。これは交叉操作や突然変異操作の結果とし
て適応度が高いビット列が新たに生成され、全ビット列
群のなかでの最大適応度ビット列に変化が生じたからで
ある。さらに、世代Ｇ２までの期間で、適応度はＦ２の
まま不変である。即ち最大適応度ビット列Ｓが（Ｇ２−
Ｇ１）の時間だけ不変であるということであるから、前
記時間がしきい値ｔｈより大ならば、この適応度Ｆ２を
持つビット列Ｓは結果ビット列格納手段１１２に追加登
録されることになる。一方、同図において、世代Ｇ２か
らＧ３までは適応度Ｆ３で一定であるが、時間（Ｇ３−
Ｇ２）がしきい値ｔｈより大でなければ、結果ビット列
格納手段１１２に格納されることはない。

【０２０５】図５１のフローチャートにおいて、適応度
算出（ステップＳＴ２５１）から、最大適応度ビット列
Ｓの継続時間ｔとしきい値ｔｈとの比較（ステップＳＴ
２５７）あるいはビット列Ｓの保存（ステップＳＴ２５
８）での各処理は、予め定義された終了条件が満足され
るまで繰り返される（ステップＳＴ２５９）。なお、こ
の実施例１３では終了条件として、前記継続時間ｔが一
定しきい値ｔｈｔ以上になった時に、ビット列群の動
きが完全に止まったとして一連の処理を終了させ、この
実施例１４における動作は完了する。

【０２０６】なお、上記実施例１３では、終了条件とし
て最大適応度をもつビット列に変化のない継続時間をも
とにしているが、予め設定した繰り返し回数の処理後に
終了するようにしてもよく、上記実施例と同等の効果を
期待することができる。

【０２０７】また、上記実施例１４では、ビット列格納
手段１０４に格納されるビット列の数を１００個に固定
し、常に一定としたが、ビット数はいくらでもよく、ま
た常に不変にする必要もない。これらの制約はこの実施
例の効果に特に本質的な影響を与えるものではない。

【０２０８】実施例１４．次に、この発明の実施例１４
を図について説明する。図５３は請求項１４に記載した
発明の一実施例を示す構成図である。図において、１２
０は複数のビット列を予め設定した方法で生成する初期
ビット列生成手段であり、１２１は生成されたビット列
の情報としての適応の度合いを表現した適応度を計算す
る適応度計算手段である。１２２はその適応度の高いビ
ット列より複数のビット列の選択を行うビット列選択手
段であり、１２３はこのビット列選択手段１２２にて選
択されたビット列から新しいビット列を生成する新ビッ
ト列生成手段である。１２４はこの新ビット列生成手段
１２３によって生成されたビット列に対して、予め設定
されているビット列の交叉操作や突然変異操作などのビ
ット列操作を行うビット列操作手段であり、１２５はこ
れらビット列を全て格納できるビット列格納手段であ
る。１２６はビット列の情報としての不適応の度合いを
表現した不適応度を計算する不適応度計算手段であり、
１２７はこの不適応度計算手段１２６の計算した不適応
度を検査する不適応度検査手段、１２８は不適応度検査
手段１２７の検査結果に基づいてビット列格納手段１２
５に格納されているビット列の削除を行うビット列削除
手段である。

【０２０９】次に動作について説明する。ここで、図５
４はこのように構成された情報処理装置の動作の流れを
示すフローチャートである。なお、この実施例１４では
実施例１３の場合と同様に最適化問題をあつかう。ま
ず、最適化したい問題をもとに、解を複数のビットから
なるビット列として表現する。ここでも、図４１（ａ）
に示した段ボール箱を認識する場合に、それより抽出さ
れた同図（ｂ）に示す１２の物体候補について、実施例
１１に記載されているような方式で、同図（ｃ）に示さ
れているビット列を得る。処理の最初の段階では、この
ビット列を複数個、この実施例１４では１００個、初期
ビット列生成手段１２０によって生成する（ステップＳ
Ｔ２６０）。生成には乱数を発生させ、ビット列の
“１”の値を取る位置をランダムに決定する。生成され
たビット列は全てビット列格納手段１２５に格納され
る。

【０２１０】次に、格納された１００個のビット列それ
ぞれの適応度Ｆを適応度計算手段１２１によって計算し
（ステップＳＴ２６１）、ビット列格納手段１２５にそ
のデータを格納する。この適応度Ｆは前記実施例１１に
記載したものと同様のものを用いる。さらに、不適応度
計算手段１２６により、各ビット列について不適応度Ｇ
が計算される（ステップＳＴ２６２）。ビット列ｎに対
応する不適応度Ｇ〔ｎ〕は、以下の式（７）によって計
算される。

【０２１１】

【数５】

【０２１２】ここで、Ｉ〔ｎ〕〔ｍ〕は物体候補＃ｎと
物体候補＃ｍとの干渉度合いを表しており、１を最大と
して、重なり度合いが大きいほど値は大きくなり、物体
候補＃ｎと＃ｍが完全に位置的に離れている場合は０に
なる。この干渉の度合いＩの一例は次の表５に示されて
いる。なお、この表５ではＩの値を干渉あり（Ｉ＝１）
と干渉なし（Ｉ＝０）に２値化して示している。

【０２１３】

【表５】

【０２１４】次に、ビット列格納手段１２５に格納され
ている全ビット列を検査し（ステップＳＴ２６３）、こ
の不適応度が予め設定された値より大きければ、再び初
期ビット列生成処理（ステップＳＴ２６０）からやり直
す。不適応度検査が“ＯＫ”となければ、ビット列群は
ビット列格納手段１２５に登録される（ステップＳＴ２
６４）。

【０２１５】続く処理では、ビット列格納手段１２５に
格納されている各ビット列の適応度が計算され（ステッ
プＳＴ２６５）、適応度が大きいほど選択される確率が
高くなるように、ビット列選択手段１２２によって親ビ
ット列が選択される（ステップＳＴ２６６）。子ビット
列は、新ビット列生成手段１２３によって、前記選択さ
れた親ビット列のコピーとして生成される（ステップＳ
Ｔ２６７）。

【０２１６】ビット列操作手段１２４では、実施例１１
において説明したビット列の操作が行なわれる。即ち、
乱数発生手段（図示省略）により発生された乱数と、あ
らかじめ設定されたしきい値ｔｈｃとを比較して（ス
テップＳＴ２６８）子ビット列に対して交叉位置を決定
し（ステップＳＴ２６９）、交叉操作を施したり（ステ
ップＳＴ２７０）、また乱数としきい値ｔｈｍとの比
較により（ステップＳＴ２７１）突然変異位置を決定し
て（ステップＳＴ２７２）子ビット列の突然変異操作を
行なう（ステップＳＴ２７３）ものである。ここで、乱
数を発生させたのは、子ビット列に対して、かかるビッ
ト列操作を行なうかどうか、また行なうとして交叉の位
置や突然変異の位置をビット列のどの部分に対して行な
うかを、ランダムに決定するためである。従って、この
実施例１４ではその都度乱数を発生させたが、あらかじ
め乱数テーブルを作成してメモリ等に格納しておき、随
時その計数テーブルを参照する方式でも差し支えない。

【０２１７】このビット列操作が施されたビット列は一
旦ビット列格納手段１２５に格納され、さらに、不適応
度計算手段１２６によって、すでに説明した方法による
当該子ビット列の不適応度が計算される（ステップＳＴ
２７４）。次に、その不適応度が不適応度検査手段１２
７によって予め設定されたしきい値ｔｈｘと比較され
（ステップＳＴ２７５）、不適応度がしきい値ｔｈｘ
より大きければ、当該子ビット列はいわゆる致死遺伝子
即ち集団なかでは生存できないほど適応度が低いビット
列であると判定され、前記ビット列格納手段１２５から
ビット列削除手段１２８によって削除される（ステップ
ＳＴ２７６）。不適応度がしきい値ｔｈｘより小さけれ
ばその子ビット列はそのままビット列格納手段１２５に
残され、かわりにビット列格納手段１２５に格納されて
いる全てのビット列の中で最も適応度の低い２つのビッ
ト列がビット列削除手段１２８によって削除される（ス
テップＳＴ２７７）。この処理によって子ビット列が前
記ビット列格納手段１２５に追加登録されたことになる
（ステップＳＴ２７８）。

【０２１８】上記の各ビット列の適応度計算（ステップ
ＳＴ２６５）から子ビット列追加（ステップＳＴ２７
８）までの処理を、終了条件が満足されるまで繰り返す
（ステップＳＴ２７９）。なお、この実施例１４ではそ
の終了条件として、１００個のビット列群の中の最大適
応度を持つビット列パターンの変化がない状態が継続す
る時間を用いている。即ち、前記継続時間が一定しきい
値以上になった時に、ビット列群の動きが止まったとし
て一連の処理を終了させる。処理終了時点で、ビット列
格納手段１２５に格納されているビット列の中で最大適
応度をもつビット列が最終結果として出力され、最適化
されたビット列が出力されることになる。

【０２１９】なお、上記実施例１４では、不適応度を定
義するのに２つの物体候補の２次元的干渉度合いをもと
に算出するように定義したが、別の手法として別途計測
された各物体候補の高さ情報をも利用して干渉度合いを
決定するようにしてもよい。

【０２２０】また、上記実施例１４では、終了条件とし
て最大適応度をもつビット列に変化のない継続時間をも
とにしているが、予め設定した繰り返し回数の処理後に
終了するようにしてもよく、上記実施例と同様の効果を
奏する。

【０２２１】また、上記実施例１４では、ビット列格納
手段１２５に格納されるビット列の数を１００個に固定
し、常に一定としたが、ビット列の数はいくらでもよ
く、また常に不変にする必要もない。これらの制約はこ
の実施例の効果に特に本質的な影響を与えるものではな
い。

【０２２２】また、上記実施例１４では、乱数発生手段
１０８によってその都度乱数を発生させるものとして説
明したが、予め乱数テーブルを用意してメモリ等に格納
しておき、随時その乱数テーブルを参照してランダムな
振る舞いをさせるようにしてもよく、上記実施例と同様
の効果を奏する。

【０２２３】

【発明の効果】以上のように、請求項１に記載の発明に
よれば、撮像された画像よりワークの２次元配置を認識
して距離計測プランを決定し、それに従って計測した計
測結果を２次元配置情報と統合してワークの３次元配置
を認識し、ロボットの動作プランを計算するように構成
したので、物体の表面になんら特別な識別用のマークを
付加する必要がなくなり、また、識別対象物体を２次元
的および３次元的に識別することが可能となって、移載
作業を正確に行うことができるロボット装置が得られる
効果がある。

【０２２４】また、請求項２に記載の発明によれば、標
準距離計測手段の測定結果を用いた粗い３次元配置認識
を行い、その認識結果に基づく距離計測プランで計測し
た結果により、その粗い３次元配置認識の結果を補正す
るように構成したので、画像データ処理中に並行して距
離計測の一部を実行することが可能となって、より高速
な識別対象物体の識別が可能となる効果がある。

【０２２５】また、請求項３に記載の発明によれば、１
つのワーク毎に３点以上で距離を計測してワーク上面の
法線方向を計算し、その法線方向よりロボットの動作プ
ランを計算するように構成したので、移載作業を物体上
面の法線方向に基づいたより確実なものとすることがで
きる効果がある。

【０２２６】また、請求項４に記載の発明によれば、ワ
ークモデル格納部に格納しておいた複数の標準モデルの
中から、粗い２次元配置認識結果に基づいて選択した標
準モデルを用いて精密な２次元配置認識を行うように構
成したので、物体認識における撮像手段と物体との距離
が未知であることに起因する２次元配置認識の信頼性の
低下を抑制することも可能となって、２次元配置認識を
高信頼度で行うことができる効果がある。

【０２２７】また、請求項５に記載の発明によれば、距
離センサの距離計測ビームに平行して撮像手段で撮像可
能なポインタビームを投光するように構成したので、距
離センサとして超音波センサ等の非光学的手法を適用し
たものを用いた場合でも、物体表面における距離計測点
を正確に把握することができ、より高精度に物体を認識
することが可能となる効果がある。

【０２２８】また、請求項６に記載の発明によれば、エ
ッジ画像の座標変換・投票結果をもとに抽出した認識対
象の物体候補についてそれぞれの信頼度を計算し、それ
に基づいて物体の位置と配置パターンを認識するように
構成したので、物体の表面になんら特別な識別用のマー
クを付加する必要がなくなり、また、物体の位置と姿勢
を正確に認識することが可能な物体認識装置が得られる
効果がある。

【０２２９】また、請求項７に記載の発明によれば、座
標変換・投票とテンプレートマッチングのそれぞれによ
る物体候補の抽出を行えるように構成したので、物体上
面の模様などの絵柄パターンに応じて最適な認識アルゴ
リズムを適用することが可能となり、さらに信頼性の高
い認識が可能となる効果がある。

【０２３０】また、請求項８に記載の発明によれば、各
物体候補についてその輪郭テンプレートによるＥＰＴＭ
を行って、得られた類似度よりその物体候補の信頼度を
算出するように構成したので、複数の物体候補の信頼度
を高速に計算することが可能となって、高精度の認識を
短時間で行うことが可能となる効果がある。

【０２３１】また、請求項９に記載の発明によれば、上
記輪郭テンプレートとともに、物体輪郭の存在しない部
分を表現するテンプレートも信頼度計算手段に持たせる
ように構成したので、さらに、物体表面上に紛らわしい
模様が存在しても、複数の物体候補の信頼性を、高い精
度で算出できる効果がある。

【０２３２】また、請求項１０に記載の発明によれば、
エッジ画像を水平および垂直に走査して、水平線分また
は垂直線分である可能性の高い点列についてはまとめて
点として、またそのいずれである可能性も低い点列につ
いてはハフ変換式に基づいて曲線として、それぞれハフ
投票平面に投票するように構成したので、画像中に水平
または垂直な線分要素が存在する場合に、高速かつ高信
頼度の投票を行うことができ、投票平面からのパターン
抽出の信頼性が高い、ハフ変換技術を利用した画像処理
装置が得られる効果がある。

【０２３３】また、請求項１１に記載の発明によれば、
予め設定した手順で複数のビット列を発生させて各ビッ
ト列の適応度を算出し、適応度の高いビット列から新た
なビット列を生成したり、予め設定された割合でビット
列の変換を行うビット列操作を繰り返して、より適応度
の高いビット列を得ることによって画像の解釈を行うよ
うに構成したので、画像から抽出した複数の物体パター
ンの組み合わせで画像を認識する場合に、信頼度の高い
画像認識を高速に行うことができる画像処理装置が得ら
れる効果がある。

【０２３４】また、請求項１２に記載の発明によれば、
上記ビット列の全てを２次元配列とするように構成した
ので、画像認識をさらに高速かつ高信頼度で行うことが
できる効果がある。

【０２３５】また、請求項１３に記載の発明によれば、
最大適応度をもつビット列が一定時間以上不変であった
場合にその当該ビット列を随時付加保存し、最終的に保
存された複数のビット列に対応する複数の画像解釈結果
をもって当該画像処理装置の出力とするように構成した
ので、繰り返し行われる世代交代において、各世代で最
も適応度の高い遺伝子を保存し、対応する局所的最適解
を適宜追加登録することで、複数の画像解釈が可能な画
像解釈問題において複数の解を出力することができる、
いわゆる遺伝的アルゴリズムを利用した画像処理装置が
得られる効果がある。

【０２３６】また、請求項１４に記載の発明によれば、
各ビット列について適応度と不適応度を算出し、不適応
度が一定値以上の場合にはそのビット列削除し、高い適
応度を持つビット列ほど選択確率が高くなるように設定
して選択した複数のビット列より新しいビット列を生成
し、そのビット列に対して交叉や突然変異などのビット
操作を行い、その適応度と不適応度を計算し、算出され
た不適応度が一定値以上ならそのビット列を削除し、一
定値以下ならビット列群に追加して適応度の低いビット
列をそのビット列群より削除し、この一連の動作の繰り
返しによってより適応度の高いビット列を生成するよう
に構成したので、遺伝子としての生存が非常に困難な固
体を早い段階で削除できて無駄な処理時間が節約でき、
高速処理が可能な、いわゆる遺伝的アルゴリズムを利用
した情報処理装置が得られる効果がある。

【図面の簡単な説明】

【図１】この発明の実施例１によるロボット装置を示す
構成図である。

【図２】上記実施例の動作の流れを示すフローチャート
である。

【図３】上記実施例における認識対象物体の画像を示す
説明図である。

【図４】上記実施例における距離測定点を示す説明図で
ある。

【図５】この発明の実施例２によるロボット装置を示す
構成図である。

【図６】上記実施例の動作の流れを示すフローチャート
である。

【図７】上記実施例における基準距離計測経路を示す説
明図である。

【図８】上記実施例における各処理の時間関係を示すタ
イミング図である。

【図９】この発明の実施例３によるロボット装置を示す
構成図である。

【図１０】上記実施例の動作の流れを示すフローチャー
トである。

【図１１】上記実施例における距離測定点を示す説明図
である。

【図１２】この発明の実施例４によるロボット装置を示
す構成図である。

【図１３】上記実施例の動作の流れを示すフローチャー
トである。

【図１４】上記実施例における撮像手段と対象物との位
置関係を示す説明図である。

【図１５】上記実施例における距離計測の概念を示す説
明図である。

【図１６】この発明の実施例５によるロボット装置を示
す構成図である。

【図１７】上記実施例の動作の流れを示すフローチャー
トである。

【図１８】上記実施例における距離計測の概念を示す説
明図である。

【図１９】この発明の実施例６による物体認識装置を示
す構成図である。

【図２０】上記実施例の動作の流れを示すフローチャー
トである。

【図２１】上記実施例におけるハフ変換を示す説明図で
ある。

【図２２】上記実施例における矩形抽出を示す説明図で
ある。

【図２３】上記実施例における画像解釈処理の流れを示
すフローチャートである。

【図２４】上記実施例における信頼度および候補テーブ
ルの一例を示す説明図である。

【図２５】この発明の実施例７による物体認識装置を示
す構成図である。

【図２６】上記実施例の動作の流れを示すフローチャー
トである。

【図２７】上記実施例におけるテンプレートマッチング
の説明図である。

【図２８】この発明の実施例８による物体認識装置を示
す構成図である。

【図２９】上記実施例の動作の流れを示すフローチャー
トである。

【図３０】上記実施例におけるＥＰＴＭの説明図であ
る。

【図３１】上記実施例におけるＥＰＴＭの流れを示すフ
ローチャートである。

【図３２】この発明の実施例９による物体認識装置を示
す構成図である。

【図３３】上記実施例の動作の流れを示すフローチャー
トである。

【図３４】上記実施例におけるＥＰＴＭの説明図であ
る。

【図３５】上記実施例におけるＥＰＴＭの流れを示すフ
ローチャートである。

【図３６】この発明の実施例１０による画像処理装置を
示す構成図である。

【図３７】上記実施例の動作の流れを示すフローチャー
トである。

【図３８】上記実施例におけるハフ変換を説明するため
の説明図である。

【図３９】この発明の実施例１１による画像処理装置を
示す構成図である。

【図４０】上記実施例の動作の流れを示すフローチャー
トである。

【図４１】上記実施例における認識対象とビット列の一
例を示す説明図である。

【図４２】上記実施例におけるビット列の交叉操作の一
例を示す説明図である。

【図４３】上記実施例におけるビット列の交叉操作の他
の例を示す説明図である。

【図４４】上記実施例におけるビット列の突然変異操作
の一例を示す説明図である。

【図４５】この発明の実施例１２による画像処理装置を
示す構成図である。

【図４６】上記実施例の動作の流れを示すフローチャー
トである。

【図４７】上記実施例におけるビット列の一例を示す説
明図である。

【図４８】上記実施例におけるビット列の交叉操作の一
例を示す説明図である。

【図４９】上記実施例におけるビット列の突然変異操作
の一例を示す説明図である。

【図５０】この発明の実施例１３による画像処理装置を
示す構成図である。

【図５１】上記実施例の動作の流れを示すフローチャー
トである。

【図５２】上記実施例における世代と適応度の関係を示
す説明図である。

【図５３】この発明の実施例１４による情報処理装置を
示す構成図である。

【図５４】上記実施例の動作の流れを示すフローチャー
トである。

【図５５】従来の技術１による自動移載装置を示す構成
図である。

【図５６】その動作の流れを示すフローチャートであ
る。

【図５７】従来の技術２による自動移載装置を示す構成
図である。

【図５８】その動作の流れを示すフローチャートであ
る。

【図５９】そのワークの積載例を示す斜視図である。

【図６０】その距離計測データの一例を示す説明図であ
る。

【図６１】従来の技術３による自動移載装置を示す構成
図である。

【図６２】そのワークの一例を示す斜視図である。

【図６３】その動作の流れを示すフローチャートであ
る。

【図６４】従来の技術４による物体認識装置を示す構成
図である。

【図６５】その動作の流れを示すフローチャートであ
る。

【図６６】従来の技術５による画像処理装置によるハフ
変換を示す説明図である。

【図６７】その動作の流れを示すフローチャートであ
る。

【図６８】従来の技術６による画像処理装置における動
作の流れを示すフローチャートである。

【図６９】従来の技術７による情報処理装置の遺伝的ア
ルゴリズムにおける遺伝子集団を示す説明図である。

【図７０】上記遺伝子アルゴリズムにおける遺伝子の交
叉を示す説明図である。

【図７１】その動作の流れを示すフローチャートであ
る。

【符号の説明】

５０ワーク５１ロボット５２ロボットハンド５３撮像手段（テレビカメラ）５４画像認識手段５５距離計測プラン部５６距離計測手段５７距離センサ（超音波センサ）５８ワーク配置認識手段５９ロボット動作プラン部６０標準距離計測手段６１法線方向認識手段６３ワークモデル格納手段６４光ビーム投光手段６５ポインタビーム検出手段７０認識対象物体（箱状物体）７１画像入力手段（テレビカメラ）７２エッジ検出手段７３座標変換手段７４物体候補抽出手段７５信頼度計算手段７６画像認識手段７８テンプレート格納手段７９パターン検出手段８０輪郭テンプレート８１テンプレート９０エッジ検出手段９１水平線投票手段９２垂直線投票手段９３水平・垂直線以外投票手段１００画像入力手段（テレビカメラ）１０１物体候補抽出手段１０２ビット列定義手段１０３初期ビット列生成手段１０５適応度計算手段１０６ビット列操作手段（交叉操作手段）１０７ビット列操作手段（突然変異操作手段）１０９ビット列操作手段１１１最大適応度ビット列計算手段１１２結果ビット列格納手段１２０初期ビット列生成手段１２１適応度計算手段１２２ビット列選択手段１２３新ビット列生成手段１２４ビット列操作手段１２５ビット列格納手段１２６不適応度計算手段１２７不適応度検査手段１２８ビット列削除手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｔ 7/00 9287−5ＬＧ０６Ｆ 15/62 ４１５

Claims

【特許請求の範囲】

【請求項１】ロボットハンドによって把持されて移載
されるワークを撮像する撮像手段と、前記撮像手段にて
撮像されたワークの２次元的な配置を認識する画像認識
手段と、前記画像認識手段にて認識されたワークの配置
に基づいて最適なワーク高さ測定点を算出して距離計測
プランを作成する距離計測プラン部と、前記距離計測プ
ラン部の作成した距離計測プランに基づいて、１つのワ
ーク毎に少なくとも１点のワーク高さ測定点の高さを計
測する距離計測手段と、前記画像認識手段の認識結果と
前記距離計測手段の計測結果を用いて、ワークの３次元
的な配置を認識するワーク配置認識手段と、前記ワーク
配置認識手段の認識結果に基づいて、ワーク移載のため
のロボットの動作プランを算出するロボット動作プラン
部とを備えたロボット装置。
【請求項２】前記撮像手段がワークの画像を撮像した
後に、撮像されたワークの画像データの処理と並行し
て、予め定められた標準的な計測コースに従って距離セ
ンサを移動させながらワークの高さの計測を行う標準距
離計測手段を付加したことを特徴とする請求項１に記載
のロボット装置。
【請求項３】前記距離計測手段にて高さを計測するワ
ーク高さ計測点の数を１つのワークあたり３点以上と
し、前記距離計測手段の計測結果からワークの法線方向
を計算する法線方向認識手段を付加し、前記ワーク配置
認識手段が、前記画像認識手段の認識結果と前記法線方
向認識手段の計算した法線方向を用いて、ワークの３次
元的な配置の認識を行うものであることを特徴とする請
求項１に記載のロボット装置。
【請求項４】前記ワークの２次元的な配置の認識に用
いる複数の標準モデルのデータが格納されたワークモデ
ル格納手段を付加し、前記画像認識手段が、前記距離計
測手段で計測されたワークの高さの情報を使用して、前
記撮像手段で撮像された画像におけるワークの大きさを
推測し、それに基づいて用いる前記基準モデルの切り換
えを行うものであることを特徴とする請求項１に記載の
ロボット装置。
【請求項５】前記距離計測手段の距離センサによる距
離計測ビームと平行で、前記撮像手段にて撮像すること
が可能なポインタビームを投光する光ビーム投光手段
と、前記撮像手段にて撮像された画像中より、前記光ビ
ーム投光手段より投光されたポインタビームを検出する
ポインタビーム検出手段とを付加したことを特徴とする
請求項１に記載のロボット装置。
【請求項６】認識対象物体の画像を入力する画像入力
手段と、前記画像入力手段より入力された原画像のエッ
ジを抽出するエッジ検出手段と、前記エッジ検出手段に
て得られたエッジ画像上の各エッジ点について、座標変
換操作を行って投票平面上に順次投票する座標変換手段
と、前記投票平面から情報を読み出して複数の認識対象
の物体候補を抽出する物体候補抽出手段と、抽出された
前記物体候補のそれぞれについて信頼度の計算を行う信
頼度計算手段と、算出された前記信頼度に基づいて前記
原画像中の物体の位置、およびその配列パターンを認識
する画像認識手段とを備えた物体認識装置。
【請求項７】テンプレートマッチングに必要な前記認
識対象物体のモデルを格納するテンプレート格納手段
と、入力された前記原画像について、前記テンプレート
格納手段に格納されたモデルを使用したテンプレートマ
ッチングを行って物体の位置と姿勢を検出し、認識対象
の物体候補を抽出するパターン検出手段とを付加し、前
記信頼度計算手段が、前記物体候補抽出手段と前記パタ
ーン検出手段とによって抽出された前記物体候補につい
て信頼度の計算を行うものであることを特徴とする請求
項６に記載の物体認識装置。
【請求項８】前記信頼度計算手段が、認識対象物体に
関する輪郭点をもとにした輪郭テンプレートを備え、前
記物体候補の原画像上の輪郭点と前記輪郭テンプレート
との輪郭マッチングによって得られた類似度より、その
物体候補の信頼度を算出するものであることを特徴とす
る請求項６に記載の物体認識装置。
【請求項９】前記信頼度計算手段が、認識対象物体に
関する輪郭点をもとにした物体輪郭の存在する部分を表
現する輪郭テンプレートと、物体輪郭の存在しない部分
を表現するテンプレートとを備え、前記類似度を、これ
ら両方のテンプレートを使用した輪郭マッチングによっ
て得るものであることを特徴とする請求項８に記載の物
体認識装置。
【請求項１０】入力された原画像のエッジを抽出する
エッジ検出手段と、前記エッジ検出手段にて抽出された
エッジ画像を水平に走査し、水平線分である可能性の高
い点列を検出すると、それを点としてハフ投票平面に投
票する水平線投票手段と、前記エッジ画像を垂直に走査
して垂直線分である可能性の高い点列を検出すると、そ
れを点として前記ハフ投票平面に投票する垂直線投票手
段と、前記水平線分または垂直線分である可能性の低い
点列を、曲線として前記ハフ投票平面に投票する水平・
垂直線以外投票手段とを備えた画像処理装置。
【請求項１１】認識対象物体の画像を入力する画像入
力手段と、前記画像入力手段より入力された原画像より
認識対象の物体候補を抽出する物体候補抽出手段と、前
記原画像中の前記物体候補の存在の有無を１ビットの情
報で表現して、前記原画像の解釈をそのビットの列で表
現したビット列を定義するビット列定義手段と、予め設
定した手順で初期値たる複数のビット列を生成する初期
ビット列生成手段と、前記初期ビット列生成手段にて生
成された各々のビット列について、それが正しい解釈で
ある可能性を示す指標である適応度を算出する適応度計
算手段と、前記適応度計算手段で算出された適応度の高
い前記ビット列から新たなビット列を生成したり、予め
設定された割合で前記ビット列を変換するなどのビット
列操作を行うビット列操作手段とを備えた画像処理装
置。
【請求項１２】前記ビット列が全て２次元に配列され
ていることを特徴とする請求項１１に記載の画像処理装
置。
【請求項１３】前記ビット列格納手段に格納されてい
るビット列の中で最も適応度の高いビット列を算出する
最大適応度ビット列計算手段と、前記最大適応度ビット
列計算手段で算出された最大適応度をもつビット列が一
定時間以上不変であった場合に、当該ビット列を随時付
加保存する結果ビット列格納手段とを付加したことを特
徴とする請求項１１に記載の画像処理装置。
【請求項１４】情報を表現したビット列を予め設定し
た方法で複数生成する初期ビット列生成手段と、前記初
期ビット列生成手段で生成されたビット列の情報として
の適応の度合いを表現した適応度を計算する適応度計算
手段と、前記適応度の高いビット列から複数のビット列
を選択するビット列選択手段と、前記ビット列選択手段
によって選択されたビット列から新しいビット列を生成
する新ビット列生成手段と、前記新ビット列生成手段の
生成したビット列に対して、予め設定されている方法で
ビット列操作を行うビット列操作手段と、前記ビット列
を全て格納可能なビット列格納手段と、前記ビット列の
情報としての不適応の度合いを表現した不適応度を計算
する不適応度計算手段と、前記不適応度計算手段の計算
した不適応度の検査を行う不適応度検査手段と、前記不
適応度検査手段の検査結果に基づいて前記ビット列を前
記ビット列格納手段より削除するビット列削除手段とを
備えた情報処理装置。