JPH0875418A - 物体の自動認識方法および自動認識装置 - Google Patents

物体の自動認識方法および自動認識装置

Info

Publication number
JPH0875418A
JPH0875418A JP6209423A JP20942394A JPH0875418A JP H0875418 A JPH0875418 A JP H0875418A JP 6209423 A JP6209423 A JP 6209423A JP 20942394 A JP20942394 A JP 20942394A JP H0875418 A JPH0875418 A JP H0875418A
Authority
JP
Japan
Prior art keywords
image
color
information
recognizing
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6209423A
Other languages
English (en)
Other versions
JP3301031B2 (ja
Inventor
Nobuyuki Yoshizawa
信幸 吉澤
Original Assignee
Nippon Telegr & Teleph Corp <Ntt>
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegr & Teleph Corp <Ntt>, 日本電信電話株式会社 filed Critical Nippon Telegr & Teleph Corp <Ntt>
Priority to JP20942394A priority Critical patent/JP3301031B2/ja
Publication of JPH0875418A publication Critical patent/JPH0875418A/ja
Application granted granted Critical
Publication of JP3301031B2 publication Critical patent/JP3301031B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【目的】 影へのロバスト性の向上による屋外で作動で
きる。また、CCDカメラの撮像精度を活かした認識精
度を得る。また、位置や向きが自由な未確認物体のカラ
ー物体像の背景からの抽出と認識を可能にする。 【構成】 距離画像に基づいて個体を抽出して、該個体
の形状と大きさおよび三次元位置、一平面内の向きを認
識する第一の過程と、該第一の過程の認識結果に基づい
てカメラ画像情報から個体を抽出し、表面情報を認識す
る第二の過程からなる三次元物体の自動認識方法であ
る。第一の観察手段の観察結果に基づいて物体を推定す
る第一の過程と、前記第一の観察手段の推定結果に対応
する、異なる第二の観察手段のモデルと、前記第二の観
察手段のモデルに記載された情報に基づく第二の観察手
段による観察結果を比較して検定する第二の過程により
物体を認識する三次元物体の自動認識方法である。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、物体の自動認識方法お
よび物体自動認識装置に関し、特に、三次元物体の自動
認識方法および自動認識装置に適用して有効な技術に関
するものである。
【0002】
【従来の技術】これまで三次元物体の認識方法として
は、超音波センサとニューラルネットワークを用いる方
法が提案されているが、当然のことながら物体の色や表
面の記号など表面情報を認識できないという問題があ
る。この問題点を補う意味で超音波センサとCCDカメ
ラによる平面画像をフュージョン(合成)による物体認
識方法として、(1)濃淡画像を用いる、(2)微分画
像を用いる、(3)カラー画像を用いる、などの方法が
提案されている。
【0003】
【発明が解決しようとする課題】しかしながら、前述の
従来技術には、以下の問題点がある。
【0004】(1)の方法では、超音波像単独に比べて
物体像を飛躍的に向上することができるが、しかし、影
への対応が難しいことが明らかになり、屋外環境におい
ては併用する超音波のロバスト性(頑健性)を活かすこ
とができないという問題が生じる。
【0005】(2)の方法では、濃淡画像に比べれば明
るさの変化に対しロバストであるが、しかし、微分画像
は再現性に問題があり、また、分解能が劣化するので折
角の画像の精細さを損なう結果となってしまう。
【0006】(3)の方法では、色に基づいて物体像を
抽出するので、影の影響を受けにくい長所があるが、し
かし、物体の色が予めわからない場合には試行錯誤によ
る物体像抽出に時間を要す上、多色物体の場合には全体
像を一度に認識することができないという問題が生じ
る。なぜなら、色の異なった部分のいずれが物体を構成
するのか不明なため、全体像を構成できないためであ
る。人間と同様な認識機能を実現するには様々な改善が
必要である。
【0007】本発明の目的は、影へのロバスト性の向上
による屋外で作動できる技術を提供することにある。
【0008】本発明の他の目的は、CCDカメラの撮像
精度を活かした認識精度を得ることができる技術を提供
することにある。
【0009】本発明の他の目的は、位置や向きが自由な
未確認物体のカラー物体像の背景からの抽出と認識が可
能な技術を提供することにある。
【0010】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。
【0011】
【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概略を簡単に説明すれば、以
下のとおりである。
【0012】(1)距離画像に基づいて個体を抽出し
て、該個体の形状と大きさおよび三次元位置、一平面内
の向きを認識する第一の過程と、第一過程の認識結果に
基づいてカメラ画像情報から個体を抽出し、表面情報を
認識する第二の過程からなる三次元物体の自動認識方法
である。
【0013】(2)第一の観察手段の観察結果に基づい
て物体を推定する第一の過程と、前記第一の観察手段の
推定結果に対応する、異なる第二の観察手段のモデル
と、前記第二の観察手段のモデルに記載された情報に基
づく第二の観察手段による観察結果を比較して検定する
第二の過程により物体を認識する三次元物体の自動認識
方法である。
【0014】(3)観察による距離画像測定手段、カラ
ーカメラ画像測定手段、及び認識するパターン検定手段
によって構成される三次元物体の自動認識装置であっ
て、前記距離画像測定手段で測定した距離情報の差に基
づいて物体像を抽出し、前記物体像を規格化した情報を
前記パターン検定手段に入力することによって物体を推
定する物体推定手段と、前記カラーカメラ画像測定手段
で測定した物体像のうち、前記推定物体の色に含まれる
色領域のみを残すことによって作成したモデルをテンプ
レートとし、前記テンプレートとカラーカメラ画像測定
系によるモデルとの一致度を前記パターン検定回路で検
定することによって物体を認識する物体認識手段を備え
たものである。
【0015】(4)前記(3)の三次元物体の自動認識
装置において、距離画像測定手段としてレーザー光切断
法、もしくは超音波センサアレイ法を用い、カメラ画像
測定手段としてビデオカメラ法を用い、パターン検定手
段としてニューラルネットワーク法もしくはテンプレー
トマッチング法を用いるものである。
【0016】
【作用】前述した手段によれば、物体の外形と位置や向
きを判断し、詳細な形状や表面情報を認識する階層シス
テムを構成することにより、物体を推定した上で色情報
の認識を行うので、色フィルタを限定でき、不要な色認
識作業を節約できる。
【0017】また、色情報に基づくので、影の影響が小
さく、正確な物体平面像を得ることができる。特に、色
分布のマッチングを行えるので、全体像の検定を一度に
行うことができる。
【0018】また、このプロセスをニューラルネットに
比べて計算機に必要なメモリ数が少なくてすむパターン
マッチングで処理することができるので、メモリ数に限
定のある小型の計算機でも比較的多くの情報を扱える利
点がある。
【0019】また、物体上の記号位置をデータベースに
与えることができるので、場所を限定した画像探索が可
能となり、表面記号の読み取りも可能になる。
【0020】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。
【0021】なお、実施例を説明するための全図におい
て、同一機能を有するものは同一符号を付け、その繰り
返しの説明は省略する。
【0022】本発明は、第一の過程と第二の過程とから
なるが、第一の過程の内容は、超音波像をニューラルネ
ットワークで認識するものであり、その構成及び処理の
詳細は、特開平5−19052号公報に記載される技術
と同様である。
【0023】図1は、本発明に係る測定系(測定手段)
の一実施例の概略構成を示すブロック図であり、1は超
音波センサアレイ、2はカラービデオカメラ、3は物
体、4は測定面(背景)、5は正規化手段、6は第1の
パターン検定回路、7は色認識手段、8は第2のパター
ン検定回路である。
【0024】本実施例の測定系(測定手段)は、超音波
センサを8行8列に計64個同一平面上に設置して超音
波センサアレイ1を構成し、これの中央にカラービデオ
カメラ(カラーCCDカメラ)2を設置する。前記超音
波センサアレイ1及びカラービデオカメラ(カラーCC
Dカメラ)2を下向きに設置し、対向する測定面4上に
認識させる物体3を設置する。
【0025】超音波センサはパルス遅延時間法もしくは
開口合成法を用いて駆動することによって、物体1及び
背景(測定面4)までの距離情報の平面分布を得る。こ
の情報に基づいて物体の立体像を得る。
【0026】また、カラービデオカメラ(カラーCCD
カメラ)2により物体3のカラー平面像を得る。これら
の情報はニューラルネットワークに取り込まれる。ニュ
ーラルネットワークに取り込んだ距離情報の分布を学習
値と比較することにより、物体が予め学習した物体のい
ずれに一番類似しているかを判定する。
【0027】次に、第一の過程および第二の過程の処理
の流れと各プロセスの内容を示す。
【0028】〔第一の過程〕以下に第一の過程の処理の
流れと各プロセスの内容を示す。 (11):超音波像測定を行う。 (12):ノイズ孤立処理を行う。 (13):物体像抽出を行う。 (14):平行移動を行う。 (15):ニューラル回転対照法による形状認識および
向きの記録を行う (16):断面積および高さ検出を行う。 (17):物体認識を行う。 (18):物体モデルおよび向きの提案を行う。
【0029】前記プロセス(11)の超音波像測定によ
り、撮像面の縦横に対応した15×15程度の距離デー
タを得る。空間分解能はパルス遅延時間法ではセンサ間
隔の半分程度、開口合成法では波長程度である。陸上で
は周波数200kHzでは1.7mm程度の分解能とな
る。
【0030】前記プロセス(12)のノイズ処理は、測
定した距離情報の分布において、距離情報が前後左右の
値に対して孤立している場合はノイズとして消去する。
【0031】前記プロセス(13)は、物体表面まで
と、背景までの距離の差に基づいて物体像を背景から抽
出する。背景までの距離は予め設定してもよいし、測定
値の最大値を用いても良い。
【0032】前記プロセス(14)は、物体の重心を算
出し、ニューラルネットワークに取り込むデータ列の特
定位置に重心が来るよう平行移動して、縦横の位置を正
規化する。
【0033】前記プロセス(15)は、重心中心に物体
像を一定角度毎に回転させたデータをニューラルネット
ワークに取り込み、物体形状および向きを認識する。
【0034】前記プロセス(16)は、物体1の断面積
および高さを検出する。
【0035】前記プロセス(17)は、物体形状、断面
積および高さをニューラルネットワークに取り込み、物
体を認識する。
【0036】前記プロセス(18)は、前記プロセス
(17)の認識結果に基づき、確率の高い順番に候補物
体を提示し、向きをラベルに記録する。
【0037】以上のプロセス(11)〜(18)によっ
て位置及び平面内の向きが自由な物体1を認識できる。
さらに、物体1の重心位置および向きを知ることができ
る。特に、このプロセスは、超音波センサを用いて行わ
れるので、環境の明るさに影響されないメリットがあ
る。しかし、超音波の課題として外径が分解能以下の物
体は推定できない欠点がある。物体を推定できる場合
は、向きも推定できる。
【0038】なお、開口合成法は物体表面の平行度に対
するロバスト性にも優れているので超音波による斜め方
向観察も可能である。
【0039】〔第二の過程〕第二の過程は、第一の過程
で推定した物体のモデルを想起して、これをカメラ画像
とテンプレートマッチング法により検定するものであ
る。以下に、第二の過程の処理の流れと各プロセスの内
容を示す。
【0040】(21):640×400画素のカラー像
撮像を行う。サンプルを撮像画面内に設置し、撮像す
る。 (22):超音波像で求めた重心位置に対応する点を中
心に256×256画素のカラー画像を抽出する。 (23):1画素毎にサンプリングして、128×12
8画素のカラー画像とする。 (24):カラーモデルのラベルから色番号と回転角を
読み込む。 (25):ニューラルネットワークによりカラー画像の
色を識別し、前記プロセス(24)で読み込んだ色番号
の画素については同じ色番号を付与し、他の画素は全て
0を付与する。 (26):重心を測定し、平行移動する。さらに、ラベ
ルから読み込んだ回転角だけ回転させてテンプレート画
像とする。 (27):カラーモデルとテンプレート画像を並列表示
し、パターンマッチングにより誤差の最小値を求める。 (28):最小値がしきい値以下にならない場合は、次
のカラーモデルについて前記プロセス(24)以下の手
続きを繰り返す。しきい値以下の値が得られた時点で処
理を終了し、認識結果を表示する。
【0041】以下に各プロセスの内容を補足する。
【0042】前記プロセス(21)でカラー撮像する。
前記プロセス(22)は、超音波像に基づいて物体の位
置を把握し、物体像が中心になるように画像を抽出す
る。前記プロセス(23)は、単にデータ量を減らして
演算を容易にするためのサンプリングである。前記プロ
セス(24)で超音波像の認識結果に従いモデルを想起
する。特に、以下の処理で必要となる色情報と回転角を
読み込む。
【0043】前記プロセス(25)は、ニューラルネッ
トワーク等で物体平面像の色認識を行い、色規格化像を
作成する。色認識はカラーカメラのRGB出力の比によ
って行う。色認識後の画像で、前記プロセス(24)で
読み込んだ面積規格化カラーモデルの色のみを保存し、
他の色についてはノイズおよび背景として0に置換す
る。
【0044】結果として、背景が0の規格化像を得る。
前記プロセス(26)で重心を検出し、位置を正規化す
る。また、超音波像の回転対照でピークを得た回転角だ
け像を回転させ、テンプレート像を作成する。
【0045】前記プロセス(27)は、以上のプロセス
で得たテンプレート画面を面積規格化カラーモデルとパ
ターンマッチング法によって検定する。両方の像は位置
や向き、大きさを整合させてある上、テンプレートは面
積規格化カラーモデルの色のみ残して他の色は背景と同
じ0に処理されているので、両者が一致する時は誤差は
小さいが、別物体である場合は大きな誤差を生じる。
【0046】前記プロセス(28)は、誤差の大きさに
より処理を終了もしくは次候補を検定する。次候補の場
合は前記プロセス(25)のプロセスにおいて、前候補
と異なる色が保存されるので、テンプレートは前候補の
場合と全く異なった像となる。従って、間違った像を想
起しても、それを正解と誤認識する可能性は著しく低く
なる。逆に、正解を得る確率は高くなる。
【0047】また、保存された色に対応する画素は、同
一物体を構成するものであることが保証されている。従
って、複数色に彩られた物体を一つの物体と認識でき
る。さらに、物体像の抽出にカラー画像を用いることが
できるので、照明の変化に寛容で再現性良く物体像を抽
出できる。また、影の影響にもロバストな長所がある。
これらが、本発明の特徴である。
【0048】なお、前記の実施例例では、パターン検定
にテンプレートマッチング法を用いた。これは、計算機
のメモリーを節約できるメリットが有るが、段階1と同
様にパーセプトロンなどのニューラルネットワークを用
いても良い。通常はパターン認識にニューラルネットワ
ークを用いる利点として複数のパターンを一度に検定で
きる利点があるが、この場合は、新しいテンプレート作
成にプロセス(24)〜(26)の操作を繰り返す必要
があるので、新しいテンプレート毎にプロセス(27)
とプロセス(28)のプロセスを繰り返す必要がある。
【0049】なお、面積規格化カラーモデルは、以下の
プロセスで作成される。
【0050】(1):画素が640×400×RGBの
カラー像撮像を行う。物体を撮像画面中央に同じ向きに
設置し、撮像する。 (2):中央部256×256画素のカラー像を抽出す
る。 (3):1画素毎にサンプリングして、128×128
画素のカラー像とする。 (4):ニューラルネットワークにより7色に識別し、
色番号を付与する。 (5):色番号画像を表示する。 (6):背景色を指定して、0に置換する。 (7):重心を測定し、画像の中央に平行移動する。 (8):左右上下に12画素ずつ0画素を付加して、1
52×152画素とする。 (9):色番号をラベルに記録する。 (10):全てのサンプルについて上記手続きによりカ
ラーモデルを作成し記録する。
【0051】前記プロセス(8)の処理は、画像の周囲
に余白を設けることにより、テンプレート像を色々な位
置にずらしてマッチングできるようにするためのもので
ある。パターン検定にニューラルネットワークを用いる
場合には、前記プロセス(8)は不要である。
【0052】以下に実験結果を示し、本実施例の有効性
を説明する。
【0053】(1)高さと直径が3cmの円柱、一辺が
3cmの立方体および外観が水色のシャープペンシル、
赤ボールペン、緑蛍光ペン、黒マジックについて前記プ
ロセスでサンプルモデルを作成した。モデル作成におい
ては、サンプルを水平に置いて撮像した。特に、筆記具
についてはそれらのクリップが向かって左、かつ上向き
になるよう設置した。
【0054】(2)以上の6種のサンプルについて、認
識実験を行い、各サンプルについて正解、誤解と誤差を
記録した。筆記具についてはクリップの向きも変えて実
験し、記録した。なお、各実験はサンプルを1つずつ、
測定面内の任意の位置に自由な向きに設置して行った。
また、同一サンプルについて背景色を変えて実験した。
【0055】(3)第一の過程では、物体を円柱、立方
体および筆記具の合計3種に分類できるよう構成した。
従って、ニューラルネットワークには、これらの3種に
ついて分離できるよう学習させた。筆記具については、
超音波のみでは外形の差異の抽出は困難なうえ、当然の
ことながら表面のカラー情報を得ることはできないの
で、これらの分離はできない。従って、筆記具は4種を
まとめて筆記具として認識し、それらの位置と向きを求
める様に構成した。
【0056】(4)実験の結果、円柱と正方形と筆記具
は、それぞれ形状が著しく異なるので、第一過程の超音
波像に基づく認識だけで正解に分離できた。しかし、第
一の過程では4種の筆記具の分離はできないので、引き
続き第二の過程による処理を行った。以下に第二の過程
の実験結果の一部を図面を用いて説明する。
【0057】(5)図2(a)に緑色の蛍光ペンの場合
のテンプレート20Aを示し、図2(b)にそのカラー
モデル20Bを示す。図2(a)および(b)とも本質
的にカラー画像であるものを、特許出願のために、特
に、白黒画像で表示してある。
【0058】図2(c)および(d)は、前記図2
(a)および(b)の色分布を説明するための説明図で
ある。図2(b)のカラーモデル20Bは、例えば、図
2(d)に示すように、黒(0)、青色(1)、赤色
(0)、紫色(9)、緑色(681)、水色(38
7)、黄色(364)、白(0)の画素数で構成され、
誤差は(507)である。これらの8色の画素数の和は
1442となるので、黒と白はなく、水色は蛍光ペンの
カラーモデル全体の面積の387/1442=27%を
占めることを示している。
【0059】前記図2(a)および(b)の枠20C
は、縦横124画素の領域を示す。テンプレート20A
は、蛍光ペンを白色の背景の上に置いて撮像したもので
ある。テンプレート20Aでは、背景中から物体像のみ
が抽出されている。一般的に、カラー画像中から物体像
を抽出する場合、物体色と背景色が同じ場合は、色に基
づく抽出は困難である。しかし、物体と背景の色が異な
る場合でも、物体の色や場所、大きさなどが予め分かっ
ていない限りは、背景から物体像を機械的に抽出するこ
とはできない。特に、物体が複数の色で構成されている
場合には、カラー画像中のどの色領域が同一の物体を構
成しているかがわからない限り、全体の物体像は抽出で
きない。本発明では、カラーモデル20Bの色に従って
物体像を抽出するので、図2に示したように、蛍光ペン
の物体像を抽出することに成功した。
【0060】また、図2(d)中に示した誤差680と
は、テンプレートマッチングの結果を示す。つまり、モ
デルの画素数1442のうち、680画素、つまり割合
にして47.1%の領域でテンプレート20Aとカラー
モデル20Bが異なることを示す。テンプレート20A
の蛍光ペンの右端が欠けているのは、撮像領域が狭い
上、平行移動のプロセスでの重心位置の測定誤差によ
る。
【0061】4種の筆記具に対するテンプレートマッチ
ングの結果を表1に示す。
【0062】
【表1】
【0063】表1中のいずれの場合も、テンプレート2
0Aとカラーモデル20Bが一致した時が一番誤差が少
なく、正解が得られることがわかる。なお、誤差画素数
の割合が100%を越える例があるのは、モデルの画素
数よりもテンプレートの画素数が多くなる場合があるた
めである。
【0064】また、水色シャープペンシルのクリップの
向きをカラーモデルと異なえた場合の認識結果を図3
(a),(b)と図4(a),(b)にそれぞれ水色シ
ャープペンシル30Aとカラーモデル30Bを示す。図
3(b)のカラーモデル30Bは、クリップを左下向き
にした結果、図4(b)は右上向きにした結果であり、
それぞれのカラーモデル30Bは、例えば、図3
(d),図4(d)に示すように、黒(0)、青色
(0)、赤色(0)、紫色(0)、緑色(345)、水
色(907)、黄色(99)、白(0)の画素数で構成
され、誤差はそれぞれ554と620であった。この結
果を表1と比べると、認識結果は水色シャープペンシル
30Bとなり、正解が得られることがわかる。この結果
が示すとおり、向きによる形状差は、物体の色の差に比
べると小さく認識され、テンプレートマッチングを用い
た本発明の有効性が確認できる。
【0065】次に、背景の色を図5(a)の様に画面中
央で異なえて青色領域BYと白色領域WYの2色にした
場合のテンプレート(水色のシャープペンシル)20A
を図5(b)に示す。背景を図5(a)の左半分を青色
BY、右半分を白色WYとした場合でも、テンプレート
はほぼ物体像だけを抽出できている。なお、中央の縦線
は青色BYと白色WYの境界部で水色と判定された部分
である。以上の例では、図2に示したとおり色を黒色、
青色、赤色、紫色、緑色、水色、黄色、白色の8色に分
離したが、さらに細かく分離すれば、繊細な色の違いに
基づいて認識することが可能なことは言うまでもない。
【0066】なお、以上の実施例では第一の過程として
距離画像を得るための手段として超音波を用いる例を示
したが、同様な目的で広く用いられているレーザー光源
を用いた光切断法を用いても良いことは言うまでもな
い。
【0067】以上述べた本発明の実施例についての動作
処理の流れを図6に示す。図6からわかるよに本発明は
見方によって以下の3方法に記述できる。
【0068】(1)距離画像に基づいて個体を抽出し
て、該個体の形状と大きさおよび三次元位置、一平面内
の向きを認識する第一の過程と、第一の過程の認識結果
に基づいてカメラ画像情報から個体を抽出し、表面情報
を認識する第二の過程からなる三次元物体の自動認識方
法。
【0069】(2)少なくとも二つの観察手段a,bと
認識手段によって構成され、観察手段aの観察結果に基
づいて物体を推定する第一の過程と、前記推定結果に対
応する、異なる観察手段bのモデルと、前記観察手段b
のモデルに記載された情報に基づく観察手段bによる観
察結果を比較して検定する第二の過程により物体を認識
する三次元物体の自動認識方法。
【0070】(3)観察手段である距離画像測定手段と
カラーカメラ画像測定手段、及び認識手段であるパター
ン検定回路によって構成され、前記距離画像測定手段で
測定した距離情報の差に基づいて物体像を抽出し、前記
物体像を規格化した情報を前記パターン検定回路に入力
することによって物体を推定する第一の過程と、前記カ
ラーカメラ画像測定手段で測定した物体像のうち、前記
推定物体の色に含まれる色領域のみを残すことによって
作成したモデルをテンプレートとし、前記テンプレート
とカラーカメラ画像測定手段によるモデルとの一致度を
前記パターン検定回路で検定することによって物体を認
識する第二の過程により物体を認識する三次元物体の自
動認識方法。
【0071】以上、本発明を前記実施例に基づき具体的
に説明したが、本発明は、前記実施例に限定されるもの
ではなく、その要旨を逸脱しない範囲において種々変更
可能であることは勿論である。
【0072】
【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。
【0073】(1)複数の色で構成される物体を、単一
物体として、画像から抽出することが可能になる。
【0074】(2)色情報を用いているので、照明条件
に寛容であり、また、影に影響されにくい利点がある。
【0075】(3)距離画像で得た位置情報と向きに関
する情報を利用することができるので、精細なカラー像
に基づくパターン検定が可能になり、極めて精度が高
く、環境にロバストな実用に足る三次元物体認識を達成
することができる。
【図面の簡単な説明】
【図1】 本発明に係る測定系(測定手段)の一実施例
の概略構成を示すブロック図である。
【図2】 本実施例の緑色の蛍光ペンの場合のテンプレ
ートおよびそのカラーモデルを示す図である。
【図3】 本実施例の水色シャープペンシルのクリップ
の向きをカラーモデルと異なえた場合のクリップを左上
向きのテンプレートとカラーモデルと誤差の認識結果を
示す図である。
【図4】 本実施例の水色シャープペンシルのクリップ
の向きをカラーモデルと異なえた場合のクリップが右上
向きのテンプレートとカラーモデルと誤差の認識結果を
示す図である。
【図5】 本実施例の背景色と得られたテンプレートを
示す説明図である。
【図6】 本実施例の動作処理の流れを示すフローチャ
ートである。
【符号の説明】
1…超音波センサアレイ、2…カラービデオカメラ、3
…物体、4…測定面(背景)、5…正規化手段、6…第
1のパターン検定回路、7…色認識手段、8…第2のパ
ターン検定回路、20A…テンプレート、20B…テン
プレートのカラーモデル、30A…水色シャープペンシ
ル、30B…水色シャープペンシルのカラーモデル。

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 距離画像に基づいて個体を抽出して、該
    個体の形状と大きさおよび三次元位置、一平面内の向き
    を認識する第一の過程と、第一過程の認識結果に基づい
    てカメラ画像情報から個体を抽出し、表面情報を認識す
    る第二の過程からなることを特徴とする三次元物体の自
    動認識方法。
  2. 【請求項2】 第一の観察手段の観察結果に基づいて物
    体を推定する第一の過程と、前記第一の観察手段の推定
    結果に対応する、異なる第二の観察手段のモデルと、前
    記第二の観察手段のモデルに記載された情報に基づく第
    二の観察手段による観察結果を比較して検定する第二の
    過程により物体を認識することを特徴とする三次元物体
    の自動認識方法。
  3. 【請求項3】 観察による距離画像測定手段、カラーカ
    メラ画像測定手段、及び認識するパターン検定手段で構
    成される三次元物体の自動認識装置であって、前記距離
    画像測定手段で測定した距離情報の差に基づいて物体像
    を抽出し、前記物体像を規格化した情報を前記パターン
    検定手段に入力することによって物体を推定する物体推
    定手段と、前記カラーカメラ画像測定手段で測定した物
    体像のうち、前記推定物体の色に含まれる色領域のみを
    残すことによって作成したモデルをテンプレートとし、
    該テンプレートとカラーカメラ画像測定手段によるモデ
    ルとの一致度を前記パターン検定手段で検定することに
    よって物体を認識する物体認識手段を備えたことを特徴
    とする三次元物体の自動認識装置。
  4. 【請求項4】 前記距離画像測定手段としてレーザー光
    切断法、もしくは超音波センサアレイ法を用い、カメラ
    画像測定手段としてビデオカメラ法を用い、パターン検
    定手段としてニューラルネットワーク法もしくはテンプ
    レートマッチング法を用いることを特徴とする請求項3
    に記載の三次元物体の自動認識装置。
JP20942394A 1994-09-02 1994-09-02 物体の自動認識方法および自動認識装置 Expired - Fee Related JP3301031B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20942394A JP3301031B2 (ja) 1994-09-02 1994-09-02 物体の自動認識方法および自動認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20942394A JP3301031B2 (ja) 1994-09-02 1994-09-02 物体の自動認識方法および自動認識装置

Publications (2)

Publication Number Publication Date
JPH0875418A true JPH0875418A (ja) 1996-03-22
JP3301031B2 JP3301031B2 (ja) 2002-07-15

Family

ID=16572627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20942394A Expired - Fee Related JP3301031B2 (ja) 1994-09-02 1994-09-02 物体の自動認識方法および自動認識装置

Country Status (1)

Country Link
JP (1) JP3301031B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219421A (ja) * 1998-01-30 1999-08-10 Toshiba Corp 画像認識装置及び画像認識装置方法
JP2008032678A (ja) 2006-06-29 2008-02-14 Naberu:Kk 卵の品質指標検査装置
JP2008506199A (ja) * 2004-07-08 2008-02-28 インテル・コーポレーション 表面モデルから抽出される基本フィーチャの組み合わせによる走査ビーム画像のシミュレーション
JP2012251895A (ja) * 2011-06-03 2012-12-20 Mitsubishi Electric Corp 障害物検出装置
EP3032522A1 (en) 2014-12-10 2016-06-15 Seiko Epson Corporation Head-mounted display device, method of controlling head-mounted display devic e, and computer program
KR101696088B1 (ko) * 2015-08-11 2017-01-24 포항공과대학교 산학협력단 초음파 물체 인식 방법 및 장치
US9746914B2 (en) 2014-11-17 2017-08-29 Seiko Epson Corporation Head mounted display, display system, control method of head mounted display, and computer program
WO2019130642A1 (ja) * 2017-12-27 2019-07-04 パナソニックIpマネジメント株式会社 形状識別装置及び宅配ボックス
JP2020152531A (ja) * 2019-03-20 2020-09-24 株式会社タダノ クレーン

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219421A (ja) * 1998-01-30 1999-08-10 Toshiba Corp 画像認識装置及び画像認識装置方法
JP2008506199A (ja) * 2004-07-08 2008-02-28 インテル・コーポレーション 表面モデルから抽出される基本フィーチャの組み合わせによる走査ビーム画像のシミュレーション
JP2008032678A (ja) 2006-06-29 2008-02-14 Naberu:Kk 卵の品質指標検査装置
JP2012251895A (ja) * 2011-06-03 2012-12-20 Mitsubishi Electric Corp 障害物検出装置
US9746914B2 (en) 2014-11-17 2017-08-29 Seiko Epson Corporation Head mounted display, display system, control method of head mounted display, and computer program
US10185388B2 (en) 2014-11-17 2019-01-22 Seiko Epson Corporation Head mounted display, display system, control method of head mounted display, and computer program
EP3032522A1 (en) 2014-12-10 2016-06-15 Seiko Epson Corporation Head-mounted display device, method of controlling head-mounted display devic e, and computer program
US9891702B2 (en) 2014-12-10 2018-02-13 Seiko Epson Corporation Head-mounted display device, method of controlling head-mounted display device, and computer program
KR101696088B1 (ko) * 2015-08-11 2017-01-24 포항공과대학교 산학협력단 초음파 물체 인식 방법 및 장치
WO2019130642A1 (ja) * 2017-12-27 2019-07-04 パナソニックIpマネジメント株式会社 形状識別装置及び宅配ボックス
JP2020152531A (ja) * 2019-03-20 2020-09-24 株式会社タダノ クレーン

Also Published As

Publication number Publication date
JP3301031B2 (ja) 2002-07-15

Similar Documents

Publication Publication Date Title
CN105913093B (zh) 一种用于文字识别处理的模板匹配方法
TWI254891B (en) Face image detection method, face image detection system, and face image detection program
TWI313576B (en) Board inspecting apparatus, its parameter setting method and parameter setting apparatus
JP2001524228A (ja) 機械視覚較正標的並びに画像内で標的の位置及び方向を決定する方法
CN106204618A (zh) 基于机器视觉的产品包装表面缺陷检测与分类方法
CN106290392A (zh) 一种小微轴承表面凹痕缺陷在线检测方法及其系统
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
JP3301031B2 (ja) 物体の自動認識方法および自動認識装置
US6987875B1 (en) Probe mark inspection method and apparatus
CN108562250A (zh) 基于结构光成像的键盘键帽平整度快速测量方法与装置
CN106651802B (zh) 机器视觉焊锡定位检测方法
US6898333B1 (en) Methods and apparatus for determining the orientation of an object in an image
CN108564092A (zh) 基于sift特征提取算法的向日葵病害识别方法
CN112508826A (zh) 一种基于特征配准及梯度形状匹配融合的印刷品缺陷检测方法
US11049249B2 (en) Method, apparatus and system for cell detection
JP4115378B2 (ja) 欠陥検出方法
JP3281946B2 (ja) 3次元物体の認識方法
US20200234464A1 (en) System for counting quantity of game tokens
CN110555889A (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
CN106996911B (zh) 二维检测锡膏印刷的定位方法
KR101782366B1 (ko) 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법
Lin et al. X-ray imaging inspection system for blind holes in the intermediate layer of printed circuit boards with neural network identification
JPH0933227A (ja) 三次元形状識別方法
Dominguez-Nicolas et al. Indentation image analysis for Vickers hardness testing
Ieamsaard et al. Vertical edge detection-based automatic optical inspection of HGA solder jet ball joint defects

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees