JPH07160881A - 環境認識装置 - Google Patents

環境認識装置

Info

Publication number
JPH07160881A
JPH07160881A JP5306176A JP30617693A JPH07160881A JP H07160881 A JPH07160881 A JP H07160881A JP 5306176 A JP5306176 A JP 5306176A JP 30617693 A JP30617693 A JP 30617693A JP H07160881 A JPH07160881 A JP H07160881A
Authority
JP
Japan
Prior art keywords
information
environment
template
recognition device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP5306176A
Other languages
English (en)
Inventor
Naoki Sashita
直毅 指田
Daiki Masumoto
大器 増本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP5306176A priority Critical patent/JPH07160881A/ja
Publication of JPH07160881A publication Critical patent/JPH07160881A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 本発明は、複数のセンサを用いて外部環境を
認識する環境認識装置に関し、テンプレート・マッチン
グ法を用いて、画像平面上での特徴領域を抽出する際
の、環境が変化した場合での、該特徴領域の抽出を正確
に行う。 【構成】 予め、テンプレートと呼ばれる画像中の特徴
的な部分領域の画像を記憶しておき、このテンプレート
と、入力画像とを比較して、相関値が最大になる点から
該特徴領域の画像平面上での位置を推定する方法であっ
て、該テンプレート画像として、部分画像中に含まれる
画素の濃淡値を用い、この濃淡テンプレート画像を記憶
し、環境の変化に対応して変形する機構に、例えば、ニ
ューラルネットワークを用いて、予め、複数の環境の変
化に対応する濃淡テンプレート画像を学習させて、該テ
ンプレートの変形規則を獲得して、該学習された環境範
囲での特徴領域の画像平面上での位置を正確に抽出す
る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、複数のセンサから得ら
れる情報を用いて、外部環境を認識する装置に関する。
【0002】
【従来の技術】近年、ロボット要素技術の急速な発展に
伴い、工場などの限られた環境だけでなく未知の環境下
においても、各種のセンサ情報を用いて自ら適応的に動
作を選択することが可能な自律型ロボットの実現の期待
が高まっている。
【0003】然し、このような自律型ロボットが自らの
動作計画を生成するためには、ロボットが未知の外部環
境をどのように認識し、理解するかという問題が非常に
重要となる。例えば、自律型ロボットを用いて、カメラ
などの視覚センサを用いてテーブル上に乱雑に置かれた
物体群の中から選択的に対象物体を検出し、把持し、移
動させるタスクを考える。このタスクを実行するために
は、先ず、視覚センサにより取り込まれた画像情報の中
から対象物体を切り出し、この情報を基に、対象物体の
置かれている位置や向き、或いは、対象物体がカップの
場合には、把手の部分に相当する把持ポイント(物体中
の特徴的な一部分)を正確に認識することが必要であ
る。
【0004】視覚センサより得られる外部環境の画像情
報の中から対象物体を切り出す手法として、物体の特徴
領域の画像平面上における位置を推定するテンプレート
・マッチング法が知られている。このテンプレート・マ
ッチング法とは、先ず、予め、テンプレートと呼ばれる
画像中の特徴的な部分領域の情報を記憶しておき、この
テンプレートと入力画像を比較して、相関値が最大とな
る点から特徴領域の画像平面上での位置を推定する手法
である。
【0005】図8, 図9は、従来のテンプレート・マッ
チング法を説明する図である。従来のテンプレート・マ
ッチング法では、図8に示されているように、入力画像
と比較されるテンプレート画像は、常に一定であり、環
境が変化しても最初に記憶されたテンプレートを用いて
認識を行っていた。この手法は、テンプレートを記憶す
る時の環境と実際にマッチングを行う時の環境にほとん
ど差がない場合には特徴領域の検出が可能であるが、若
し、何らかの理由で環境がテンプレート作成時の環境か
ら変化すると、特徴領域も環境の変化に応じて変形する
ために、変形しないテンプレートでは特徴部分の位置を
検出することが困難になる。
【0006】そこで、上記の問題を解決するために、図
9に示されているように、先ず、入力画像が変動を受け
たときの特徴部分の形状変化を、予め、観測して、特徴
部分の変形規則をパラメータ表現で記述し、これを入力
画像に対応させて適当に調整することで、テンプレート
の形状を変えて環境の変化に対応する手法が提案されて
いる。
【0007】該手法の詳細は、例えば、「“変形テンプ
レートを用いた顔からの特徴抽出",エイ. エル. ユイ
レ, ピー. ダブリュウ. ハリマン, ディ. エス. コーエ
ン著,国際ジャーナルコンピュータビジョン, 第8巻,
第2号,99頁〜111 頁,1992 年刊」{"Feature Extract
ionfrom Faces Using Deformable Templates," A. L. Y
uille, P. W. Hallinan, and D. S. Cohen,Int. J. Com
puter Vision,Vol.8, No.2, pp. 99-111 (1992) }」に
示されているが、上記の文献に示されている技法におい
ては、テンプレートとして、視覚センサにより測定され
る濃淡画像ではなく、特徴部分をエッジで表した線画像
を用いているものである。
【0008】
【発明が解決しようとする課題】上記文献に示されてい
る手法を用いることにより、環境が変わったとき、テン
プレートの形状を変えることはできるが、上記のよう
に、観測データを基にして、実際のテンプレートのすべ
ての変形をパラメータ表現で記述することは非常に難し
く、正確なテンプレートの変形規則を得るためには、多
くのパラメータが必要になるという問題がある。
【0009】又、上記の手法は、特徴部分の線画像を用
いてテンプレート・マッチングを行っているため、入力
画像のエッジのコントラストが強調されていなければ、
正しくマッチングできないという問題も含んでいる。
【0010】本発明は上記従来の欠点に鑑み、上記のよ
うに、環境の変化に伴うテンプレートの変形規則をパラ
メータ表現で記述する必要がなく、又、入力画像のエッ
ジのコントラストが強調されていないような画像でも、
確実に、テンプレート・マッチングができる環境認識装
置を提供することを目的とするものである。
【0011】
【課題を解決するための手段】図1は、本発明の原理説
明図である。上記の問題点は下記の如くに構成された環
境認識装置によって解決される。
【0012】複数のセンサを用いて外部環境を認識する
環境認識装置であって、センサ群A1a から得られる情
報 (位置, 姿勢情報等) に基づいて、予め、記憶されて
いる外部環境に関する情報、例えば、テンプレートを変
形する手段 4と、該変形された外部環境に関する情報
(テンプレート) と、他のセンサ群B 1b から得られた
情報 (画像情報) とを比較する手段 5とを備え、上記セ
ンサ群B 1b から得られる外部環境に対応する情報とし
て、視覚センサによる画像情報を用い、上記センサ群A
1a からの情報に基づいて、予め、記憶されている外部
環境に関する情報、即ち、上記テンプレートを変形する
情報として、視覚センサによる画像の部分領域の情報を
用いるように構成する。
【0013】又、上記センサ群A 1a から得られる情報
として、環境内の上記センサ群A 1a の上記位置情報,
姿勢情報, 又は、照明条件, 又は、上記センサ群A 1a
から得られる物体の変形情報 (例えば、歪み, 傾き等の
情報) を用い、該変形された外部環境に関する情報 (変
形された、上記テンプレート) と、他のセンサ群B 1b
から得られた情報 (入力画像情報) とを比較し、環境を
認識する手段 4として、テンプレート・マッチング法を
用いるように構成する。
【0014】又、上記センサ群A 1a から得られる情報
(位置情報, 姿勢情報) に基づいて、予め、記憶されて
いる外部環境に関する情報、即ち、上記テンプレートを
変形する手段 4として、学習機能を備えた装置、例え
ば、ニューラルネットワークを用いるように構成する。
【0015】更に、上記視覚センサによる画像の部分領
域の情報として、上記視覚センサより得られる情報を、
そのまま、使用するか、又は、上記視覚センサより得ら
れる情報に、所定の画像処理、例えば、エッジ処理等を
施した後の情報を用いるか、又は、上記視覚センサより
得られる情報から抽出された特徴量、例えば、重心の位
置、情報の向き等を用いるように構成する。
【0016】
【作用】即ち、本発明の環境認識装置では、図1に示さ
れているように、テンプレート・マッチング法によって
画像中の所定の領域中に存在する情報、例えば、文字を
認識することで、該文字の存在している環境を認識する
ものであって、該テンプレート画像として部分画像中に
含まれる画素の濃淡値を用い、この濃淡テンプレート画
像を記憶し、環境の変化に対応して、該濃淡テンプレー
トを変形する機構4としてニューラルネットワークを用
いるようにしたものである。
【0017】これにより、予め、環境を変化させて観測
された図1中のセンサ群A 1a のデータ (位置, 姿勢デ
ータ) とテンプレート画像のデータをニューラルネット
ワーク 4に学習させるだけで、自動的にテンプレートの
変形規則を獲得することができる。又、本発明では変形
されるテンプレートとして画像の濃淡値を用いているた
め、線画像よりも確実に画像中から特徴領域Tの位置を
探索することが可能となる。
【0018】即ち、本発明による環境認識装置では、与
えられた観測データからテンプレート画像の変形規則を
得る際に、学習機能を有するニューラルネットワーク 4
を用いているため、従来のように変形規則をパラメータ
表現で記述する必要がなく、自動的に獲得できる利点を
持つ。又、各画素の濃淡値で表されたテンプレートを用
いることにより、入力画像のエッジのコントラストが強
調されていないような画像でも確実にマッチングができ
る効果が得られる。
【0019】
【実施例】以下本発明の実施例を図面によって詳述す
る。前述の図 1が、本発明の原理説明図であり、図2〜
図7は、本発明の一実施例を示した図であって、図2
は、マニピュレータシステムの構成例を示し、図3は、
学習過程を説明する図であり、図4は階層型ニューラル
ネットワークの構成例を示し、図5は、ニューラルネッ
トワークへ提示する教師データの例を示し、図6は、
対象物体と学習範囲の位置関係を示し、図7は、本発明
の環境認識装置での認識結果の例を示している。
【0020】本発明においては、テンプレート・マッチ
ング法によって画像中の所定の領域中に存在する情報、
例えば、文字を認識することで、該文字の存在している
環境を認識する環境認識装置であって、該テンプレート
画像として部分画像中に含まれる画素の濃淡値を用い、
この濃淡テンプレート画像を記憶し、環境の変化に対応
して、該濃淡テンプレート(Template 、以下省略) を変
形する機構としてニューラルネットワーク(Neural Netw
ork 、以下省略) 4 を用いる手段が、本発明を実施する
のに必要な手段である。尚、全図を通して同じ符号は同
じ対象物を示している。
【0021】以下、図1を参照しながら、図2〜図7に
よって、本発明の環境認識装置の構成と動作を説明す
る。先ず、図2は、マニピュレータシステムの構成例を
示した図であり、ステージ(Stage, 又は、Work Table、
以下省略) 3 上に設置された6自由度垂直多関節型マニ
ピュレータ(Manipulator、以下省略) 1 と、ハンドに固
定されたCCDカメラ(CCD Camera 、以下省略) 1b、更
に、マニピュレータ 1の可動範囲内に置かれた対象物体
(Target Object、以下省略) 2 より構成される。
【0022】本実施例は、環境内に置かれた対象物体 2
に対し、前述のテンプレート・マッチングの手法を用い
て、CCDカメラ 1b から得られた画像から、その対象
物体2のもつ特徴領域の画像平面上での位置を検出する
ものである。
【0023】本実施例は、以下のように学習と実行の2
つの過程からなる。 学習過程(図3参照): 1) 対象物体 2の位置,姿勢を計測する。 2) マニピュレータ 1をいろいろな位置,姿勢に移動さ
せ、各関節に備えられている角度センサ 1a により計測
された各関節の回転角度から、該ロボットハンドの位
置,姿勢を計算し、対象物体 2とハンドの相対位置姿勢
を表すベクトルPを求める。 3) CCDカメラ 1b により対象物体 2のカメラ画像を
得る。 4) 3)で得た画像の中からある特徴領域T(物体表面に
描かれた文字等)を切り出す。 5) 上記ベクトルPと、特徴領域Tを一対の教師データ
とする。 6) いろいろな位置・姿勢について 2) 〜 5) の処理を
繰り返し、n組の教師データを作成する。このn組の
教師データの特徴領域の文字が、n組の変形テンプレ
ートの教師信号となる。 7) 6)で得られたn組の教師データを、階層型ニュー
ラルネットワーク 4に学習させ、上記n組のベクトルP
に対応した特徴領域の文字、即ち、変形したテンプレー
ト画像を学習させる。具体的には、上記教師データを
入力して、該階層型ニューラルネットワーク 4からの出
力画像データとの差が最も小さくなるように、○印で示
したニューロ素子間の重み付け関数の値を変更する。
【0024】実行過程: 1) ある位置にマニピュレータ 1を移動させ、CCDカ
メラ 1b より対象物体 2のカメラ画像を得る。 2) 上記角度センサ 1a により、1)の状態における各関
節の回転角度を計測し、対象物体 2とハンドの相対位
置,姿勢を計算する。 3) 2)で得られたハンドの相対位置,姿勢情報を、上記
学習したニューラルネットワーク 4に入力し、その出力
として変形されたテンプレート画像を得る。 4) このテンプレート画像と、実際のカメラ画像を比較
して、両者の相関値を計算し、その中で最大の相関値を
示す点を特徴領域の存在する場所であると決める。
【0025】ただし、本実施例では、図4に示すような
3層構造の階層型ニューラルネットワーク 4を用い、そ
の入力として対象物体 2とCCDカメラ 1b の相対位置
を表すベクトルp= (x,y,z)と,相対姿勢を表す四元数
ベクトルq=( q,ωx,ωy,ωz ) を合わせた、計7変数
のベクトルPを与える。ここで、上記四元数とは、姿勢
を表すのに一般的に用いられるオイラー数が持つ不連続
性の問題を回避するための姿勢表現法である。又、特徴
テンプレートを表すデータとしては、図4に示されてい
るように、特徴領域の部分画像に含まれる各画素の濃淡
値(256段階表示)を用い、ニューラルネットワーク
4の出力に、この格子状に並んだ各画素の濃淡値 I [
i, j ] を正規化した値を順番に割り当てた。
【0026】又、図5に示すように、この階層型ニュー
ラルネットワーク 4は、切り出す特徴領域の数mだけ用
意した。それぞれのニューラルネットワーク 4に対し
て、n組の教師データを提示し、その出力誤差が許容
範囲以下に小さくなるまで学習を繰り返し、テンプレー
トの変形規則を獲得させた。
【0027】この環境認識装置を用い、例えば、対象物
体 2上に描かれたの文字「A」を検出する実験を行っ
た。CCDカメラ 1b により得られる対象物体 2の画像
は、濃淡値画像であり、この対象物体の表面上に印刷さ
れた文字「A」を囲む領域を特徴領域Tとして選択し
た。{図3参照} 又、図6に示すように、CCDカメラ 1b の動きを、上
記特徴領域Tを含む平面に対し、垂直な直線L方向に限
定した。図6に示す慣性座標系に対して、CCDカメラ
1b の先端位置が、X=228 mmから、X=328 mm(対象
物体との相対距離ΔX= 233 mm) までの100 mmの直線区
間において、この直線Lに沿った並進運動と直線Lに垂
直な平面内の回転運動の2自由度に関して、ハンドの相
対位置とテンプレート画像の測定を行い、ニューラルネ
ットワーク 4に提示するための教師データを作成し
た。但し、並進運動に関するデータは20 mm ごとに,
又、回転運動に関するデータは、各位置Xにおいて 30
°ごとに 0°から360 °の範囲を測定した。
【0028】以上により得られたn(13 回転角度×6 水
平距離=78)組の教師データを、階層型ニューラルネッ
トワーク 4に提示し、誤差が許容の範囲内に小さくなる
まで、3万回の繰り返し学習を行った。
【0029】この学習の結果、回転角度 0°から右側へ
順番に回転角度 30 °ごとの入力値を与えると、ニュー
ラルネットワーク 4は、それに応じて回転するテンプレ
ート画像を出力しており、学習によって、ニューラルネ
ットワーク 4が、テンプレートの変形規則を獲得するこ
とになる。又、同様に、並進に関しても、入力値に応じ
て文字「A」を拡大縮小をするテンプレート画像が得ら
れる。このニューラルネットワーク 4により出力される
テンプレート画像を用いて、図3に示されているよう
に、前述のCCDカメラ 1b から得られる実画像に対し
て、所定の大きさの領域の画像を抽出して、該抽出され
た領域での濃淡画像との濃度差相関(濃度差の絶対値で
画像間の相関を評価する手法)によるマッチングを行う
と、希望の文字「A」を持つ特徴領域Tの上でマッチン
グし、正しい特徴領域Tの位置を探索することができ
た。
【0030】この実験で、ニューラルネットワーク 4に
学習させた領域を、並進−回転空間上で図示すると、図
7の斜線で示すような範囲となる。このうち、周辺の参
照データが少ない学習領域の境界上では、学習による教
師データの獲得が難しいので、ニューラルネットワーク
4の出力するテンプレートで、マッチングを行った時に
失敗する可能性は、この境界上で高くなる可能性があ
る。
【0031】そこで、この学習領域の境界上( x = 228
mm と x = 328 mm )で、マッチングできるかどうかを
調べた。その結果を、図7に重ねて示す。黒丸はデータ
を学習したポイントを表しており、白丸はそのポイント
において正しい領域にマッチングができたことを表して
いる。それぞれの位置 x = 228 mm と x = 328 mm で15
°おきに、CCDカメラ 1b を回転させてマッチング
実験を行い、φ=0°〜360 °のすべてのポイントにお
いて、正しい領域にマッチングすることができることが
確認された。
【0032】又、ニューラルネットワーク 4による教師
データの補間性能を調べるため、データを学習してい
ない位置(x = 318 mm),回転角度(φ=15°, 45°,
75°... , 30°×n+15°){図7の斜線で示した領域
中の○印で示した位置}で実験し、すべてのポイントで
マッチングが可能であることを確認した。
【0033】更に、未学習領域に対してマッチング実験
を行った結果、上下方向(Z軸方向)のずれには 50 m
m,左右方向(Y軸方向)のずれには 40 mm程度,姿勢
角のずれに対しては、ピッチ方向に 10 °,ヨー方向に
10 °程度までならば,学習空間以外でもマッチングが
可能であった。
【0034】今回の実施例では、実行過程においてニュ
ーラルネットワーク 4に与える入力として、対象物体 2
の相対位置,姿勢が既知であるとしたが、実際の環境認
識装置において、対象物体 2の相対位置,姿勢を推定す
る場合は、先ず、何らかの方法で、対象物体 2の相対位
置,姿勢の初期推定値(予測値)を入力として、ニュー
ラルネットワーク 4に与え、その結果、出力されたテン
プレート画像で検出された複数の特徴領域の画像平面上
の位置関係を使って、より初期推定値よりも精度の高い
相対位置,姿勢を推定する方法等が考えられる。
【0035】以上のように、本手法を用いれば、図7の
斜線で表された学習領域においては、ほぼ完全に対応す
る特徴領域を検出することが可能であることが分かっ
た。尚、上記の実施例においては、センサ群A 1a から
の情報として、位置, 姿勢情報の例で説明したが、濃淡
画像の濃淡度に影響を与える照明条件の情報とか、対象
物体 2の変形情報、例えば、該対象物体 2の傾き情報,
歪み情報等を用いても良いことは言う迄もないことであ
る。
【0036】又、上記の実施例においては、センサ群B
1b からの情報 (画像情報) を、その儘、用いる例で説
明したが、該画像情報に、所定の画像処理、例えば、エ
ッジ強調処理とか、空間フィルタ処理等を施した結果情
報を用いてるとか、或いは、該画像情報の重心位置, 文
字の向きを示す情報といった該画像情報の特徴を抽出し
て用いるようにしても良いことは言う迄もないことであ
る。
【0037】このように、本発明の環境認識装置は、複
数のセンサを用いて外部環境を認識する環境認識装置に
おいて、テンプレート・マッチング法を用いて、画像平
面上での特徴領域を抽出するのに、予め、画像中のテン
プレートと呼ばれる特徴的な部分画像を記憶しておき、
このテンプレート画像と、入力画像とを比較して、相関
値が最大になる点から該特徴領域の画像平面上での位置
を推定する方法であって、該テンプレート画像として、
部分画像中に含まれる画素の濃淡値を用い、この濃淡テ
ンプレート画像を記憶し、環境の変化に対応して、該濃
淡テンプレート画像を変形する機構に、例えば、ニュー
ラルネットワークを用いて、予め、複数の環境の変化に
対応する濃淡テンプレート画像を学習させて、該テンプ
レートの変形規則を獲得して、該学習された環境範囲で
の特徴領域の画像平面上での位置を正確に抽出するよう
にしたところに特徴がある。
【0038】
【発明の効果】以上、詳細に説明したように、本発明の
環境認識装置は、外部環境の変動を測定するセンサの情
報を用いて、予め、記憶された外部環境に関する情報
(例えば、テンプレート)を変形させることにより、環
境が変化する場合においても、その変化に対応して正確
な環境認識を実行することができる。
【0039】又、上記外部環境に対応して変形するテン
プレートを得るのに、ニューラルネットワーク等の学習
可能な記憶装置を用いることにより、観測データを与え
るだけで記憶された外部環境に関する情報(テンプレー
ト)の変形規則を自動的に得ることができる。
【0040】又、記憶された環境情報と外部環境の情報
を比較する手段として、テンプレート・マッチング法を
用いる場合、ニューラルネットワークから出力されるテ
ンプレートに濃淡値画像を用いることにより、入力画像
のコントラストが明確でない画像からでも確実に特徴領
域の画面上での位置を探索することができる。
【図面の簡単な説明】
【図1】本発明の原理説明図
【図2】本発明の一実施例を示した図(その1)
【図3】本発明の一実施例を示した図(その2)
【図4】本発明の一実施例を示した図(その3)
【図5】本発明の一実施例を示した図(その4)
【図6】本発明の一実施例を示した図(その5)
【図7】本発明の一実施例を示した図(その6)
【図8】従来のテンプレート・マッチング法を説明する
図(その1)
【図9】従来のテンプレート・マッチング法を説明する
図(その2)
【符号の説明】
1 マニピュレータ(Manipulator) 1a 角度センサ 1b CCDカメラ(CCD camera) 2 対象物体,物体(Target Object) 3 ステージ(Stage,Work table) 4 ニューラルネットワーク(Neuarl Network) 教師データ P 位置,姿勢ベクトル T 特徴領域
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G01B 11/26 H G06F 15/18 560 C 9071−5L

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】複数のセンサを用いて外部環境を認識する
    環境認識装置であって、 センサ群A(1a)から得られる情報に基づいて、予め、記
    憶されている外部環境に関する情報を変形する手段(4)
    と、 該変形された外部環境に関する情報と、他のセンサ群B
    (1b)から得られた情報とを比較する手段(5) とを備えた
    ことを特徴とする環境認識装置。
  2. 【請求項2】請求項1に記載の環境認識装置であって、
    上記センサ群B(1b)から得られる外部環境に対応する情
    報として、視覚センサによる画像情報を用いることを特
    徴とする環境認識装置。
  3. 【請求項3】請求項1に記載の環境認識装置であって、
    上記センサ群A(1a)からの情報に基づいて、予め、記憶
    されている外部環境に関する情報を変形する情報とし
    て、視覚センサによる画像の部分領域の情報を用いるこ
    と特徴とする環境認識装置。
  4. 【請求項4】請求項1に記載の環境認識装置であって、
    上記センサ群A(1a)から得られる情報として、環境内の
    上記センサ群A(1a)の位置情報を用いることを特徴とす
    る環境認識装置。
  5. 【請求項5】請求項1に記載の環境認識装置であって、
    上記センサ群A(1a)から得られる情報として、環境内の
    上記センサ群A(1a)から得られる照明条件の情報を用い
    ることを特徴とする環境認識装置。
  6. 【請求項6】請求項1に記載の環境認識装置であって、
    上記センサ群A(1a)から得られる情報として、環境内の
    上記センサ群A(1a)から得られる物体の変形情報を用い
    ることを特徴とする環境認識装置。
  7. 【請求項7】請求項1に記載の環境認識装置であって、
    該変形された外部環境に関する情報と、他のセンサ群B
    (1b)から得られた情報とを比較し、環境を認識する手段
    (5)として、テンプレート・マッチング法を用いること
    を特徴とする環境認識装置。
  8. 【請求項8】請求項1に記載の環境認識装置であって、
    センサ群A(1a)から得られる情報に基づいて、予め、記
    憶されている外部環境に関する情報を変形する手段(4)
    として、学習機能を備えた装置を使用することを特徴と
    する環境認識装置。
  9. 【請求項9】請求項8に記載の学習機能を備えた装置と
    して、ニューラルネットワークを用いることを特徴とす
    る環境認識装置。
  10. 【請求項10】請求項3に記載の視覚センサによる画像
    の部分領域の情報として、上記視覚センサより得られる
    情報を、そのまま、使用することを特徴とする環境認識
    装置。
  11. 【請求項11】請求項3に記載の視覚センサによる画像
    の部分領域の情報として、上記視覚センサより得られる
    情報に、所定の画像処理を施した後の情報を用いること
    を特徴とする環境認識装置。
  12. 【請求項12】請求項3に記載の視覚センサによる画像
    の部分領域の情報として、上記視覚センサより得られる
    情報から抽出された特徴量を用いることを特徴とする環
    境認識装置。
JP5306176A 1993-12-07 1993-12-07 環境認識装置 Withdrawn JPH07160881A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5306176A JPH07160881A (ja) 1993-12-07 1993-12-07 環境認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5306176A JPH07160881A (ja) 1993-12-07 1993-12-07 環境認識装置

Publications (1)

Publication Number Publication Date
JPH07160881A true JPH07160881A (ja) 1995-06-23

Family

ID=17953958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5306176A Withdrawn JPH07160881A (ja) 1993-12-07 1993-12-07 環境認識装置

Country Status (1)

Country Link
JP (1) JPH07160881A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076098B2 (en) 2001-03-02 2006-07-11 Denso Corporation Adaptive image processing unit for extracting characteristic portion from image
JP2019093461A (ja) * 2017-11-20 2019-06-20 株式会社安川電機 把持システム、学習装置、把持方法、及び、モデルの製造方法
WO2019216303A1 (ja) * 2018-05-09 2019-11-14 レーザーテック株式会社 検査装置、検査方法、学習方法、及びプログラム
JPWO2021090473A1 (ja) * 2019-11-08 2021-05-14

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076098B2 (en) 2001-03-02 2006-07-11 Denso Corporation Adaptive image processing unit for extracting characteristic portion from image
JP2019093461A (ja) * 2017-11-20 2019-06-20 株式会社安川電機 把持システム、学習装置、把持方法、及び、モデルの製造方法
US11338435B2 (en) 2017-11-20 2022-05-24 Kabushiki Kaisha Yaskawa Denki Gripping system with machine learning
WO2019216303A1 (ja) * 2018-05-09 2019-11-14 レーザーテック株式会社 検査装置、検査方法、学習方法、及びプログラム
JPWO2019216303A1 (ja) * 2018-05-09 2021-03-25 レーザーテック株式会社 検査装置、検査方法、学習方法、及びプログラム
JPWO2021090473A1 (ja) * 2019-11-08 2021-05-14
WO2021090473A1 (ja) * 2019-11-08 2021-05-14 日本電気株式会社 物体検知装置、学習方法、及び、記録媒体

Similar Documents

Publication Publication Date Title
JP3842233B2 (ja) 画像処理装置及びロボットシステム
US9616569B2 (en) Method for calibrating an articulated end effector employing a remote digital camera
US20190193947A1 (en) Article transfer apparatus, robot system, and article transfer method
JP3242108B2 (ja) ターゲットマークの認識・追跡システム及び方法
US8098928B2 (en) Apparatus for picking up objects
US8467596B2 (en) Method and apparatus for object pose estimation
WO2015045834A1 (ja) マーカ画像処理システム
JP4931218B2 (ja) 撮像装置、物体検出方法及び姿勢パラメータの算出方法
Azad et al. Stereo-based 6d object localization for grasping with humanoid robot systems
US10430650B2 (en) Image processing system
CN110926330B (zh) 图像处理装置和图像处理方法
JP2005326282A (ja) 位置姿勢計測方法および装置
JPH0798208A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JP5093591B2 (ja) 三次元位置姿勢計測方法および装置
JP2014029664A (ja) 比較画像範囲生成方法、位置姿勢検出方法、比較画像範囲生成装置、位置姿勢検出装置、ロボット、ロボットシステム、比較画像範囲生成プログラム及び位置姿勢検出プログラム
JP2004243215A (ja) シーラー塗布装置のロボットティーチング方法及びシーラー塗布装置
KR100647750B1 (ko) 화상 처리 장치
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP2021000694A (ja) ロボット教示装置及びロボットシステム
JP5083715B2 (ja) 三次元位置姿勢計測方法および装置
JPH07160881A (ja) 環境認識装置
CN116901054A (zh) 识别位置姿态的方法、系统以及存储介质
CN116460851A (zh) 一种视觉迁移的机械臂装配控制方法
KR102452315B1 (ko) 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법
CN112584041B (zh) 一种图像识别动态纠偏方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20010306