JPH1158279A - 把持位置姿勢教示装置及びその処理を実現するソフトウェアを記録した記録媒体 - Google Patents

把持位置姿勢教示装置及びその処理を実現するソフトウェアを記録した記録媒体

Info

Publication number
JPH1158279A
JPH1158279A JP22594197A JP22594197A JPH1158279A JP H1158279 A JPH1158279 A JP H1158279A JP 22594197 A JP22594197 A JP 22594197A JP 22594197 A JP22594197 A JP 22594197A JP H1158279 A JPH1158279 A JP H1158279A
Authority
JP
Japan
Prior art keywords
vector
point
gripping
grip
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP22594197A
Other languages
English (en)
Other versions
JP4233620B2 (ja
Inventor
Nobuyuki Fujiwara
伸行 藤原
Toshikazu Onda
寿和 恩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Original Assignee
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp, Meidensha Electric Manufacturing Co Ltd filed Critical Meidensha Corp
Priority to JP22594197A priority Critical patent/JP4233620B2/ja
Publication of JPH1158279A publication Critical patent/JPH1158279A/ja
Application granted granted Critical
Publication of JP4233620B2 publication Critical patent/JP4233620B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)

Abstract

(57)【要約】 【課題】 ロボットを実際に動作させずに、把持位置姿
勢を短時間で簡単に教示できる技術を提供することにあ
る。 【解決手段】 ハンドリング位置に設置された対象部品
の画像を入力する画像入力部と、画像上において対象部
品の二つの把持点p1,p2を指定し、指定した点について
位置計測を行い、二つの把持点の三次元位置データを部
品把持データとして設定する部品把持データ設定部と、
ハンドに設定された姿勢を示すアプローチベクトルa、
オリエントベクトルo、ノーマルベクトルn及び基準座
標系からの位置ベクトルpについて、鉛直下向き方向の
単位ベクトルをアプローチベクトルaに設定し、水平面
に投影した時の点p1から点p2への単位ベクトルをノーマ
ルベクトルnに設定し、外積n×aで得られるベクトル
をオリエントベクトルoに設定し、位置ベクトルpを以
下のように設定する把持位置姿勢計算部とを備え、把持
位置姿勢の教示を行うことを特徴とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、いわゆるロボット
の教示に関する技術である。
【0002】
【従来の技術】作業者がティーチングボックス等でロボ
ットを操作し、所定の場所に設置された部品を、実際に
把持する位置姿勢へハンドを移動し、その時の位置姿勢
データを保存することで、把持位置姿勢の教示を行う
(例えば、福地、粟根、杉山「ロボットの現状と将来展
望」日立評論Vol.68. No.10, pp763-768, 1986)。
【0003】
【発明が解決しようとする課題】実際のシステムにおい
ては、対象部品と、それを把持するために設計されたハ
ンドとのクリアランスは大きなものではなく、把持する
直前の対象部品とハンドは、非常に接近した状態にあ
る。現在の把持位置姿勢の教示では、このような部品を
把持する直前の状態へ、作業者がティーチングボックス
等で実際にロボットを操作し、ハンドを移動させるのだ
が、部品とハンドが接近した状態であるため、衝突等で
システムを損傷しないよう、慎重な操作が要求されるた
め、作業者に多大な負担を与える。
【0004】
【課題を解決するための手段】上記課題を解決する本発
明の請求項1に係る把持位置姿勢教示装置及びその処理
を実現するソフトウェアを記録したフロッピーディス
ク、CD−ROM等の記録媒体は、ハンドリング位置に
設置された対象部品の画像を入力する画像入力部と、画
像上において対象部品の二つの把持点p1,p2を指定し、
指定した点について位置計測を行い、二つの把持点の三
次元位置データを部品把持データとして設定する部品把
持データ設定部と、ハンドに設定された姿勢を示すアプ
ローチベクトルa、オリエントベクトルo、ノーマルベ
クトルn及び基準座標系からの位置ベクトルpについ
て、鉛直下向き方向の単位ベクトルをアプローチベクト
ルaに設定し、水平面に投影した時の点p1から点p2への
単位ベクトルをノーマルベクトルnに設定し、外積n×
aで得られるベクトルをオリエントベクトルoに設定
し、位置ベクトルpを以下のように設定する把持位置姿
勢計算部と、把持位置姿勢の教示を行うことを特徴とす
る。 p=[(x1+x2)/2 (y1+y2)/2 max(z1,
z2)−1]T 但し、p1,p2の座標をそれぞれ(x1,y1,z1)、(x2,
y2,z2)とする。
【0005】上記課題を解決する本発明の請求項2に係
る把持位置姿勢教示装置及びその処理を実現するソフト
ウェアを記録したフロッピーディスク、CD−ROM等
の記録媒体は、ハンドリング位置に設置された対象部品
の画像を入力する画像入力部と、画像上において対象部
品の二つの把持点p1,p2を指定し、指定した点について
位置計測を行い、二つの把持点の三次元位置データを部
品把持データとして設定する部品把持データ設定部と、
ハンドに設定された姿勢を示すアプローチベクトルa、
オリエントベクトルo、ノーマルベクトルn及び基準座
標系からの位置ベクトルpについて、点p1から点p2への
単位ベクトルを、ノーマルベクトルnに設定し、鉛直線
と点p1,p2の作る直線の作る平面上において、ノーマル
ベクトルnと直交する単位ベクトルを、アプローチベク
トルaに設定し、外積n×aで得られるベクトルをオリ
エントベクトルoに設定し、点p1,p2の中点から、アプ
ローチベクトルaに沿って、挿入深さ1の位置にある点
の成分を持つベクトルを、位置ベクトルpに設定する把
持位置姿勢計算部とを備え、把持位置姿勢の教示を行う
ことを特徴とする。
【0006】上記課題を解決する本発明の請求項3に係
る把持位置姿勢教示装置及びその処理を実現するソフト
ウェアを記録したフロッピーディスク、CD−ROM等
の記録媒体は、ハンドリング位置に設置された対象部品
の画像を入力する画像入力部と、ハンドに設定された姿
勢を示すアプローチベクトルa、オリエントベクトル
o、ノーマルベクトルn及び基準座標系からの位置ベク
トルpについて、画像上において対象部品の二つの把持
点p1,p2及び把持面上の1点p3を指定し、指定した点に
ついて位置計測を行い、それら3点の三次元位置データ
を部品把持データとして設定する部品把持データ設定部
と、点p1から点p3へのベクトルと点p1から点p2へのベク
トルの外積で得られる単位ベクトルを、アプローチベク
トルaに設定し、点p1から点p2への単位ベクトルを、ノ
ーマルベクトルnに設定し、外積n×aで得られるベク
トルをオリエントベクトルoに設定し、点p1,p2の中点
から、アプローチベクトルaに沿って、挿入深さ1の位
置にある点の成分を持つベクトルを、位置ベクトルpに
設定する把持位置姿勢計算部とを備え、把持位置姿勢の
教示を行うことを特徴とする。
【0007】上記課題を解決する本発明の請求項4に係
る把持位置姿勢教示装置及びその処理を実現するソフト
ウェアを記録したフロッピーディスク、CD−ROM等
の記録媒体は、ハンドリング位置に設置された対象部品
の画像を入力する画像入力部と、ハンドに設定された姿
勢を示すアプローチベクトルa、オリエントベクトル
o、ノーマルベクトルn及び基準座標系からの位置ベク
トルpについて、画像上において把持面上にある凹凸や
模様による直線部分を描き、対象部品の二つの把持点p
1,p2を指定し、直線上の点及び把持点の位置計測を行
い、直線上の点及び把持点の三次元位置データを部品把
持データとして設定する部品把持データ設定部と、直線
上の点の位置データから把持面を計算し、点p1,p2を把
持面へ投影し、把持面の法線方向の単位ベクトルを、ア
プローチベクトルaに設定し、把持面上へ投影した点p1
から点p2への単位ベクトルを、ノーマルベクトルnに設
定し、外積n×aで得られるベクトルをオリエントベク
トルoに設定し、把持面へ投影した点p1,p2の中点か
ら、アプローチベクトルaに沿って、挿入深さ1の位置
にある点の成分を持つベクトルを、位置ベクトルpに設
定する把持位置姿勢計算部とを備え、把持位置姿勢の教
示を行うことを特徴とする。
【0008】上記課題を解決する本発明の請求項5に係
る把持位置姿勢教示装置及びその処理を実現するソフト
ウェアを記録したフロッピーディスク、CD−ROM等
の記録媒体は、ハンドリング位置に設置された対象部品
の画像を入力する画像入力部と、ハンドに設定された姿
勢を示すアプローチベクトルa、オリエントベクトル
o、ノーマルベクトルn及び基準座標系からの位置ベク
トルpについて、画像上において把持面上にある凹凸や
模様による直線部分を描き、対象部品の二つの把持点p
1,p2を指定し、直線上の点及び把持点の位置計測を行
い、直線上の点及び把持点の三次元位置データを部品把
持データとして設定する部品把持データ設定部と、直線
上の点の位置データから把持面を計算し、直線l1、点p
1,p2を把持面へ投影し、把持面上において、点p1を通
り、かつ直線l1に垂直な直線上へ、点p2から降ろした垂
線の足p2’を設定し、把持面の法線方向の単位ベクトル
を、アプローチベクトルaに設定し、把持面上において
点p1から点p2’への単位ベクトルをノーマルベクトルn
に設定し、外積n×aで得られるベクトルをオリエント
ベクトルoに設定し、把持面上において、点p1,p2’の
中点から、アプローチベクトルaに沿って、挿入深さ1
の位置にある点の成分を持つベクトルを、位置ベクトル
pに設定する把持位置姿勢計算部とを備え、把持位置姿
勢の教示を行うことを特徴とする。
【0009】上記課題を解決する本発明の請求項6に係
る把持位置姿勢教示装置及びその処理を実現するソフト
ウェアを記録したフロッピーディスク、CD−ROM等
の記録媒体は、ハンドリング位置に設置された対象部品
の画像を入力する画像入力部と、画像上において把持面
上にある凹凸や模様による直線部分を描き、対象部品の
二つの把持点p1,p2を指定し、直線上の点及び把持点の
位置計測を行い、直線上の点及び把持点の三次元位置デ
ータを部品把持データとして設定する部品把持データ設
定部と、ハンドに設定された姿勢を示すアプローチベク
トルa、オリエントベクトルo、ノーマルベクトルn及
び基準座標系からの位置ベクトルpについて、直線上の
点の位置データから、三次元直線をそれぞれ計算し、平
行でない2直線の外積で得られるベクトルを幾つか求
め、これらのベクトルを平均した単位ベクトルを、アプ
ローチベクトルaに設定し、点p1から点p2へのベクトル
とアプローチベクトルaの外積で得られる単位ベクトル
を、オリエントベクトルoに設定し、外積a×oで得ら
れるベクトルをノーマルベクトル1に設定し、点p1,p2
の中点から、アプローチベクトルaに沿って、挿入深さ
1の位置にある点の成分を持つベクトルを、位置ベクト
ルpに設定する把持位置姿勢計算部とを備え、把持位置
姿勢の教示を行うことを特徴とする。
【0010】上記課題を解決する本発明の請求項7に係
る把持位置姿勢教示装置及びその処理を実現するソフト
ウェアを記録したフロッピーディスク、CD−ROM等
の記録媒体は、ハンドリング位置に設置された対象部品
の画像を入力する画像入力部と、ハンドに設定された姿
勢を示すアプローチベクトルa、オリエントベクトル
o、ノーマルベクトルn及び基準座標系からの位置ベク
トルpについて、画像処理により、対象部品の直線特徴
抽出を行い、画像上において、把持面上にある直線特徴
を選択し、対象部品の二つの把持点p1,p2を指定し、直
線上の点及び把持点の位置計測を行い、直線上の点及び
把持点の三次元位置データを部品把持データとして設定
する部品把持データ設定部と、直線上の点の位置データ
から把持面を計算し、点p1,p2を把持面へ投影し、把持
面の法線方向の単位ベクトルを、アプローチベクトルa
に設定し、把持面上へ投影した点p1から点p2への単位ベ
クトルを、ノーマルベクトルnに設定し、外積n×aで
得られるベクトルをオリエントベクトルoに設定し、把
持面へ投影した点p1,p2の中点から、アプローチベクト
ルaに沿って、挿入深さ1の位置にある点の成分を持つ
ベクトルを、位置ベクトルpに設定する把持位置姿勢計
算部とを備え、把持位置姿勢の教示を行うことを特徴と
する。
【0011】上記課題を解決する本発明の請求項8に係
る把持位置姿勢教示装置及びその処理を実現するソフト
ウェアを記録したフロッピーディスク、CD−ROM等
の記録媒体は、ハンドリング位置に設置された対象部品
の画像を入力する画像入力部と、画像処理により、対象
部品の直線特徴抽出を行い、画像上において、把持面上
にある直線特徴を選択し、対象部品の二つの把持点p1,
p2を指定し、直線上の点及び把持点の位置計測を行い、
直線上の点及び把持点の三次元位置データを部品把持デ
ータとして設定する部品把持データ設定部と、ハンドに
設定された姿勢を示すアプローチベクトルa、オリエン
トベクトルo、ノーマルベクトルn及び基準座標系から
の位置ベクトルpについて、直線上の点の位置データか
ら把持面を計算し、直線l1、点p1,p2を把持面へ投影
し、把持面上において、点p1を通り、かつ直線l1に垂直
な直線上へ、点p2から降ろした垂線の足p2’を設定し、
把持面の法線方向の単位ベクトルを、アプローチベクト
ルaに設定し、把持面上において点p1から点p2’への単
位ベクトルをノーマルベクトルnに設定し、外積n×a
で得られるベクトルをオリエントベクトルoに設定し、
把持面上において、点p1,p2’の中点から、アプローチ
ベクトルaに沿って、挿入深さ1の位置にある点の成分
を持つベクトルを、位置ベクトルpに設定する把持位置
姿勢計算部とを備え、把持位置姿勢の教示を行うことを
特徴とする。
【0012】上記課題を解決する本発明の請求項9に係
る把持位置姿勢教示装置及びその処理を実現するソフト
ウェアを記録したフロッピーディスク、CD−ROM等
の記録媒体は、ハンドリング位置に設置された対象部品
の画像を入力する画像入力部と、ハンドに設定された姿
勢を示すアプローチベクトルa、オリエントベクトル
o、ノーマルベクトルn及び基準座標系からの位置ベク
トルpについて、画像処理により、対象部品の直線特徴
抽出を行い、画像上において、把持面上にある直線特徴
を選択し、対象部品の二つの把持点p1,p2を指定し、直
線上の点及び把持点の位置計測を行い、直線上の点及び
把持点の三次元位置データを部品把持データとして設定
する部品把持データ設定部と、直線上の点の位置データ
から、三次元直線をそれぞれ計算し、平行でない2直線
の外積で得られるベクトルを幾つか求め、これらのベク
トルを平均した単位ベクトルを、アプローチベクトルa
に設定し、点p1から点p2へのベクトルとアプローチベク
トルaの外積で得られる単位ベクトルを、オリエントベ
クトルoに設定し、外積a×oで得られるベクトルをノ
ーマルベクトル1に設定し、点p1,p2の中点から、アプ
ローチベクトルaに沿って、挿入深さ1の位置にある点
の成分を持つベクトルを、位置ベクトルpに設定する持
位置姿勢計算部とを備え、把持位置姿勢の教示を行うこ
とを特徴とする。
【0013】上記課題を解決する本発明の請求項10に
係る把持位置姿勢教示装置及びその処理を実現するソフ
トウェアを記録したフロッピーディスク、CD−ROM
等の記録媒体は、ハンドリング位置に設置された対象部
品の画像を入力する画像入力部と、ハンドに設定された
姿勢を示すアプローチベクトルa、オリエントベクトル
o、ノーマルベクトルn及び基準座標系からの位置ベク
トルpについて、画像上において把持面となる円筒や円
柱の断面を円弧で描き、対象部品の把持点を指定し、円
弧上の点及び把持点の位置計測を行い、円孤上の点及び
把持点の三次元位置データを部品把持データとして設定
する部品把持データ設定部と、円弧もしくは閉曲線上の
点の位置データから把持面を計算し、把持面上において
円近似を行い、円形断面の中心を求め、把持面の法線方
向の単位ベクトルを、アプローチベクトルaに設定し、
円形断面の中心から点p1への単位ベクトルを、ノーマル
ベクトルnに設定し、外積n×aで得られるベクトルを
オリエントベクトルoに設定し、円形断面の中心から、
アプローチベクトルaに沿って、挿入深さ1にある点の
成分を持つベクトルを、位置ベクトルpに設定する把持
位置姿勢計算部とを備え、把持位置姿勢の教示を行うこ
とを特徴とする。
【0014】上記課題を解決する本発明の請求項11に
係る把持位置姿勢教示装置及びその処理を実現するソフ
トウェアを記録したフロッピーディスク、CD−ROM
等の記録媒体は、ハンドリング位置に設置された対象部
品の画像を入力する画像入力部と、ハンドに設定された
姿勢を示すアプローチベクトルa、オリエントベクトル
o、ノーマルベクトルn及び基準座標系からの位置ベク
トルpについて、画像処理により、対象部品の円弧特徴
抽出を行い、画像上において、把持面となる円筒や円柱
の断面の円弧特徴を選択し、対象部品の把持点を指定
し、円弧上の点及び把持点の位置計測を行い、円弧上の
点及び把持点の三次元位置データを部品把持データとし
て設定する部品把持データ設定部によって部品把持デー
タを設定し、円弧もしくは閉曲線上の点の位置データか
ら把持面を計算し、把持面上において円近似を行い、円
形断面の中心を求め、把持面の法線方向の単位ベクトル
を、アプローチベクトルaに設定し、円形断面の中心か
ら点p1への単位ベクトルを、ノーマルベクトルnに設定
し、外積n×aで得られるベクトルをオリエントベクト
ルoに設定し、円形断面の中心から、アプローチベクト
ルaに沿って、挿入深さ1にある点の成分を持つベクト
ルを、位置ベクトルpに設定する把持位置姿勢計算部と
を備え、把持位置姿勢の教示を行うことを特徴とする。
【0015】上記課題を解決する本発明の請求項12に
係る把持位置姿勢教示装置及びその処理を実現するソフ
トウェアを記録したフロッピーディスク、CD−ROM
等の記録媒体は、ハンドリング位置に設置された対象部
品の画像を入力する画像入力部と、ハンドに設定された
姿勢を示すアプローチベクトルa、オリエントベクトル
o、ノーマルベクトルn及び基準座標系からの位置ベク
トルpについて、画像処理により対象部品の閉曲線特徴
抽出を行い、画像上において、把持面となる円筒や円柱
の断面の閉曲線特徴を選択し、対象部品の把持点p1を指
定し、閉曲線上の点及び把持点の位置計測を行い、閉曲
線上の点及び把持点の三次元位置データを部品把持デー
タとして設定する部品把持データ設定部と、円弧もしく
は閉曲線上の点の位置データから把持面を計算し、把持
面上において円近似を行い、円形断面の中心を求め、把
持面の法線方向の単位ベクトルを、アプローチベクトル
aに設定し、円形断面の中心から点p1への単位ベクトル
を、ノーマルベクトルnに設定し、外積n×aで得られ
るベクトルをオリエントベクトルoに設定し、円形断面
の中心から、アプローチベクトルaに沿って、挿入深さ
1にある点の成分を持つベクトルを、位置ベクトルpに
設定する把持位置姿勢計算部とを備え、把持位置姿勢の
教示を行うことを特徴とする。
【0016】上記課題を解決する本発明の請求項13に
係る把持位置姿勢教示装置及びその処理を実現するソフ
トウェアを記録したフロッピーディスク、CD−ROM
等の記録媒体は、カメラによりハンドリング位置に設置
された対象部品の画像を入力し、画像データを基に、対
象部品を把持するための部品把持データを設定し、部品
把持データを基に、把持位置姿勢を計算した後、ハンド
衝突検査を行い、衝突確認付きの把持位置姿勢教示を行
うことを特徴とする。
【0017】上記課題を解決する本発明の請求項14に
係る把持位置姿勢教示装置及びその処理を実現するソフ
トウェアを記録したフロッピーディスク、CD−ROM
等の記録媒体は、カメラによりハンドリング位置に設置
された対象部品の画像を入力し、画像データを基に、対
象部品を把持するための部品把持データを設定し、部品
把持データを基に、把持位置姿勢を計算した後、ハンド
衝突検査を行い、激突する部分があれば、衝突が無くな
るまで把持位置姿勢を調整して、把持位置姿勢教示を行
うことを特徴とする。
【0018】
【発明の実施の形態】
(1)基本的な考え方 本発明の目的は、対象部品の把持位置姿勢を得ることで
ある。ハンドの位置姿勢は図1の例に示すように、ハン
ドに設定された姿勢を示すアプローチベクトルa、オリ
エントベクトルo、ノーマルベクトルnと基準座標系か
らの位置ベクトルpで設定される。つまり、把持位置姿
勢における各ベクトルを決定すれば良い。そこで、本発
明では、図2に示すフローチャートに従い、次の手順に
より、把持位置姿勢を決定する。 カメラによりハンドリング位置に設置された対象部品
の画像を入力する。画像データを基に、部品を把持す
るためのデータを設定する。具体的には、後述する部品
把持データの設定方法による。 部品把持データを基に、把持位置姿勢を計算する。具
体的には、後述する把持位置姿勢計算方法による。
【0019】(2)部品把持データの設定方法 部品把持データは、把持する点の位置及び把持する点を
含む面(以下、把持面と呼ぶ)上の特徴等を入力画像上
で設定する。その方法は、以下に示す(2.1)〜
(2.7)が挙げられる。
【0020】(2.1)把持する2点を設定する方法 この方法は、図4に示すフローチャートに従い、以下の
ように行う。 画像上において、図3に示すように部品の任意の把持
点の2点p1,p2を指定する。 指定した点について位置計測を行う。 二つの把持点の三次元位置データを部品把持データと
して設定する。
【0021】(2.2)把持点及び把持面上の点を設定
する方法 この方法は、図6に示すフローチャートに従い、以下の
ように行う。 画像上において、図5に示すように部品の把持点の2
点p1,p2及び把持面上の他の1点p3を指定する。 指定した点について位置計測を行う。 それら3点の三次元位置データを部品把持データとし
て設定する。
【0022】(2.3)把持面上の直線及び把持する2
点を設定する方法(その1) この方法は、図8に示すフローチャートに従い、以下の
ように行う。 画像上において、図7に示すように、把持面上にある
凹凸や模様による直線部分l1,l2,l3,l4を描く。 画像上において、図7に示すように部品の任意の二つ
の把持点p1,p2を指定する。 ,による直線上の点及び把持点の位置計測を行
う。 直線上の点及び把持点の三次元位置データを部品把持
データとして設定する。
【0023】(2.4)把持面上の直線及び把持する2
点を設定する方法(その2) この方法は、図9に示すフローチャートに従い、以下の
ように行う。 画像処理により、対象部品の直線特徴抽出を行う。 画像上において、図7に示すように把持面上にある直
線特徴を選択する。 画像上において、図7に示すように部品の任意の二つ
の把持点p1,p2を指定する。 ,による直線上の点及び把持点の位置計測を行
う。 直線上の点及び把持点の三次元位置データを部品把持
データとして設定する。
【0024】(2.5)把持面上の円弧及び把持点を設
定する方法(その1) この方法は、図11に示すフローチャートに従い、以下
のように行う。 把持面が円筒や円柱の断面となる場合、図10に示す
ように画像上において、その断面を円弧で描く。 画像上において、図10に示すように部品の一つの把
持点p1を指定する。 ,による円弧上の点及び把持点の位置計測を行
う。 円弧上の点及び把持点の三次元位置データを部品把持
データとして設定する。
【0025】(2.6)把持面上の円弧及び把持点を設
定する方法(その2) この方法は、図12に示すフローチャートに従い、以下
のように行う。 画像処理により、対象部品の円弧特徴抽出を行う。 把持面が円筒や円柱の断面となる場合、図10に示す
ように画像上において、その断面上にある円弧特徴を選
択する。 画像上において、図10に示すように部品の一つの把
持点p1を指定する。 ,による円弧上の点及び把持点の位置計測を行
う。 円弧上の点及び把持点の三次元位置データを部品把持
データとして設定する。
【0026】(2.7)把持面上の閉曲線及び把持点を
設定する方法 この方法は、図14に示すフローチャートに従い、以下
のように行う。 画像処理により、対象部品の閉曲線特徴抽出を行う。 把持面が円筒や円柱の断面となる場合、図13に示す
ように画像上において、その断面上にある閉曲線特徴を
選択する。 図13に示すように画像上において、部品の一つの把
持点p1を指定する。 ,による閉曲線上の点及び把持点の位置計測を行
う。 閉曲線上の点及び把持点の三次元位置データを部品把
持データとして設定する。
【0027】(3)把持位置姿勢計算方法 部品把持データを基に、アプローチベクトルa、オリエ
ントベクトルo、ノーマルベクトルn、位置ベクトルp
から構成される把持位置姿勢データを計算する。その方
法は、以下に示す(3.1)〜(3.7)が挙げられ
る。
【0028】(3.1)把持位置姿勢計算方法(その
1) 点p1,p2及び挿入深さ1が与えられた場合、図15のよ
うに把持位置姿勢を設定する。この方法は、図16に示
すフローチャートに従い、以下のように行う。 鉛直下向き方向の単位ベクトルをアプローチベクトル
aに設定する。 水平面に投影した時の点p1から点p2への単位ベクトル
を、ノーマルベクトルnに設定する。 外積n×aで得られるベクトルをオリエントベクトル
oに設定する。 位置ベクトルpを次式のように設定する。但し、p1,
p2の座標をそれぞれ(x1,y1,z1)、(x2,y2,z2)と
する。 p=[(x1+x2)/2 (y1+y2)/2 max(z1,
z2)−1]T
【0029】(3.2)把持位置姿勢計算方法(その
2) 点p1,p2及び挿入深さ1が与えられた場合、把持位置姿
勢を図17のように設定する。この方法は、図18に示
すフローチャートに従い、以下のように行う。 点p1から点p2への単位ベクトルを、ノーマルベクトル
nに設定する。 鉛直線と点p1,p2の作る直線の作る平面上において、
ノーマルベクトルnと直交する単位ベクトルを、アプロ
ーチベクトルaに設定する。 外積n×aで得られるベクトルをオリエントベクトル
oに設定する。 点p1,p2の中点から、アプローチベクトルaに沿っ
て、挿入深さ1の位置にある点の成分を持つベクトル
を、位置ベクトルpに設定する。
【0030】(3.3)把持位置姿勢計算方法(その
3) 点p1,p2,p3及び挿入深さ1が与えられた場合、把持位
置姿勢を図19のように設定する。この方法は、図20
に示すフローチャートに従い、以下のように行う。 点p1から点p3へのベクトルと点p1から点p2へのベクト
ルの外積で得られる単位ベクトルを、アプローチベクト
ルaに設定する。 点p1から点p2への単位ベクトルを、ノーマルベクトル
nに設定する。 外積n×aで得られるベクトルをオリエントベクトル
oに設定する。 点p1,p2の中点から、アプローチベクトルaに沿っ
て、挿入深さ1の位置にある点の成分を持つベクトル
を、位置ベクトルpに設定する。
【0031】(3.4)把持位置姿勢計算方法(その
4) 把持面上の直線、点p1,p2、挿入深さ1が与えられた場
合、把持位置姿勢を図21のように設定する。この方法
は、図22に示すフローチャートに従い、以下のように
行う。 直線上の点の位置データから平面(把持面)を計算す
る。 点p1,p2を把持面へ投影する。 把持面の法線方向の単位ベクトルを、アプローチベク
トルaに設定する。 把持面上へ投影した点p1から点p2への単位ベクトル
を、ノーマルベクトルnに設定する。 外積n×aで得られるベクトルをオリエントベクトル
oに設定する。 把持面へ投影した点p1,p2の中点から、アプローチベ
クトルaに沿って、挿入深さ1の位置にある点の成分を
持つベクトルを、位置ベクトルpに設定する。
【0032】(3.5)把持位置姿勢計算方法(その
5) 把持面上の直線、点p1,p2、挿入深さ1が与えられた場
合、把持位置姿勢を図23のように設定する。この方法
は、図24に示すフローチャートに従い、以下のように
行う。 直線上の点の位置データから平面(把持面)を計算す
る。 直線l1、点p1,p2を把持面へ投影する。 把持面上において、点p1を通り、かつ直線l1に垂直な
直線上へ、点p2から降ろした垂線の足p2’を設定する。 把持面の法線方向の単位ベクトルを、アプローチベク
トルaに設定する。 把持面上において点p1から点p2’への単位ベクトルを
ノーマルベクトルnに設定する。 外積n×aで得られるベクトルをオリエントベクトル
oに設定する。 把持面上において、点p1,p2’の中点から、アプロー
チベクトルaに沿って、挿入深さ1の位置にある点の成
分を持つベクトルを、位置ベクトルpに設定する。
【0033】(3.6)把持位置姿勢計算方法(その
6) 把持面上の直線、点p1,p2、挿入深さ1が与えられた場
合、把持位置姿勢を図25のように設定する。この方法
は、図26に示すフローチャートに従い、以下のように
行う。 直線上の点の位置データから、三次元直線をそれぞれ
計算する。 平行でない2直線の外積で得られるベクトルを幾つか
求め、これらのベクトルを平均した単位ベクトルを、ア
プローチベクトルaに設定する。 点p1から点p2へのベクトルとアプローチベクトルaの
外積で得られる単位ベクトルを、オリエントベクトルo
に設定する。 外積a×oで得られるベクトルをノーマルベクトルn
に設定する。 点p1,p2の中点から、アプローチベクトルaに沿っ
て、挿入深さ1の位置にある点の成分を持つベクトル
を、位置ベクトルpに設定する。
【0034】(3.7)把持位置姿勢計算方法(その
7) 把持面上の円弧や閉曲線、点p1、挿入深さ1が与えられ
た場合、把持位置姿勢を図27のように設定する。この
方法は、図28に示すフローチャートに従い、以下のよ
うに行う。 円弧もしくは閉曲線上の点の位置データから平面(把
持面)を計算する。 把持面上において円近似を行い、円形断面の中心を求
める。 把持面の法線方向の単位ベクトルを、アプローチベク
トルaに設定する。 円形断面の中心から点p1への単位ベクトルを、ノーマ
ルベクトルnに設定する。 外積n×aで得られるベクトルをオリエントベクトル
oに設定する。 円形断面の中心から、アプローチベクトルaに沿っ
て、挿入深さ1にある点の成分を持つベクトルを、位置
ベクトルpに設定する。
【0035】
【実施例】
〔実施例1〕本発明による把持位置姿勢を教示する基本
装置の実施例を図29に示す。この装置は、カメラによ
りハンドリング位置に設置された対象部品の画像を入力
し、画像データを基に、部品把持データ設定部により部
品を把持するための部品把持データを設定し、部品把持
データを基に、把持位置姿勢計算部により把持位置姿勢
を計算することで、把持位置姿勢の教示を行うものであ
る。部品把持位置データ設定部としては、図30〜図3
6に示す部品把持データ設定装置1〜7を使用すること
ができる。把持位置姿勢計算部としては、図37〜図4
3に示す把持位置姿勢計算装置1〜7を使用することが
できる。
【0036】〔実施例2〕本発明による部品把持データ
設定装置1の実施例を図30に示す。この装置は、図3
0に示すように、把持点設定部、位置計測部及び部品把
持データ設定部よりなり、図4に示すフローチャートに
従い、把持する2点を設定するものである。従って、画
像上において、図3に示す部品の二つの把持点p1,p2を
指定し、指定した点について位置計測を行い、二つの把
持点の三次元位置データを部品把持データとして設定す
ることができる。
【0037】〔実施例3〕本発明による部品把持データ
設定装置2の実施例を図31に示す。この装置は、図3
1に示すように、把持点指定部、把持面上の点指定部、
位置計測部及び部品把持データ設定部よりなり、図6に
示すフローチャートに従い、二つの把持点及び把持面上
の1点を設定するものである。従って、画像上におい
て、図5に示す部品の二つの把持点p1,p2及び把持面上
の1点p3を指定し、指定した点について位置計測を行
い、それら3点の三次元位置データを部品把持データと
して設定することができる。
【0038】〔実施例4〕本発明による部品把持データ
設定装置3の実施例を図32に示す。この装置は、図3
2に示すように、直線描画部、把持点指定部、位置計算
部及び部品把持データ設定部よりなり、図8に示すフロ
ーチャートに従い、把持面上の直線及び把持する2点を
設定するものである。従って、画像上において、図7に
示す把持面上にある凹凸や模様による直線部分を描き、
部品の二つの把持点p1,p2を指定し、直線上の点及び把
持点の位置計測を行い、直線上の点及び把持点の三次元
位置データを部品把持データとして設定することができ
る。
【0039】〔実施例5〕本発明による部品把持データ
設定装置4の実施例を図33に示す。この装置は、図3
3に示すように、直線抽出部、直線選択部、把持点指定
部、位置計測部及び部品把持データ設定部よりなり、図
9に示すフローチャートに従い、把持面上の直線及び把
持する2点を設定するものである。従って、画像処理に
より、対象部品の直線特徴抽出を行い、画像上におい
て、把持面上にある直線特徴を選択し、部品の二つの把
持点p1,p2を指定し、直線上の点及び把持点の位置計測
を行い、直線上の点及び把持点の三次元位置データを部
品把持データとして設定することができる。
【0040】〔実施例6〕本発明による部品把持データ
設定装置5の実施例を図34に示す。この装置は、図3
4に示すように、円弧描画部、把持点指定部、位置計測
部及び部品把持データ設定部よりなり、図11に示すフ
ローチャートに従い、把持面上の円弧及び把持点を設定
するものである。従って、画像上において、図10に示
す把持面となる円筒や円柱の断面を円弧で描き、部品の
把持点を指定し、円弧上の点及び把持点の位置計測を行
い、円孤上の点及び把持点の三次元位置データを部品把
持データとして設定することができる。
【0041】〔実施例7〕本発明による部品把持データ
設定装置6の実施例を図35に示す。この装置は、図3
5に示すように、円弧抽出部、円弧選択部、把持点指定
部、位置計測部及び部品把持データ設定部よりなり、図
12に示すフローチャートに従い、把持面上の円弧及び
把持点を設定するものである。従って、画像処理によ
り、対象部品の円弧特徴抽出を行い、画像上において、
把持面となる円筒や円柱の断面の円弧特徴を選択し、部
品の把持点を指定し、円弧上の点及び把持点の位置計測
を行い、円弧上の点及び把持点の三次元位置データを部
品把持データとして設定することができる。
【0042】〔実施例8〕本発明による部品把持データ
設定装置7の実施例を図36に示す。この装置は、図3
6に示すように、閉曲面抽出部、閉曲面選択部、把持点
指定部、位置計測部及び部品把持データ設定部よりな
り、図14に示すフローチャートに従い、把持面上の閉
曲線及び把持点を設定するするものである。従って、画
像処理により、図13に示す対象部品の閉曲線特徴抽出
を行い、画像上において、把持面となる円筒や円柱の断
面の閉曲線特徴を選択し、部品の把持点p1を指定し、閉
曲線上の点及び把持点の位置計測を行い、閉曲線上の点
及び把持点の三次元位置データを部品把持データとして
設定することができる。
【0043】〔実施例9〕本発明による把持位置姿勢計
算装置1の実施例を図37に示す。この装置は、図37
に示すように、アプローチベクトル計算部type1、ノー
マルベクトル計算部type1、位置ベクトル計算部type1、
オリエントベクトル計算部type1及び把持位置姿勢デー
タ設定部により構成され、図16に示すフローチャート
に従い、点p1,p2及び挿入深さ1が与えられた場合の把
持位置姿勢を計算するものである。従って、図15に示
すように、鉛直下向き方向の単位ベクトルをアプローチ
ベクトルaに設定し、水平面に投影した時の点p1から点
p2への単位ベクトルをノーマルベクトルnに設定し、外
積n×aで得られるベクトルをオリエントベクトルoに
設定し、位置ベクトルpを以下のように設定することが
できる。 p=[(x1+x2)/2 (y1+y2)/2 max(z1,
z2)−1]T
【0044】〔実施例10〕本発明による把持位置姿勢
計算装置2の実施例を図38に示す。この装置は、図3
8に示すように、アプローチベクトル計算部type2、ノ
ーマルベクトル計算部type2、位置ベクトル計算部type
2、オリエントベクトル計算部type1及び把持位置姿勢デ
ータ設定部により構成され、図18に示すフローチャー
トに従い、点p1,p2及び挿入深さ1が与えられた場合の
把持位置姿勢を計算するものである。従って、図17に
示すように、点p1から点p2への単位ベクトルを、ノーマ
ルベクトルnに設定し、鉛直線と点p1,p2の作る直線の
作る平面上において、ノーマルベクトルnと直交する単
位ベクトルを、アプローチベクトルaに設定し、外積n
×aで得られるベクトルをオリエントベクトルoに設定
し、点p1,p2の中点から、アプローチベクトルaに沿っ
て、挿入深さ1の位置にある点の成分を持つベクトル
を、位置ベクトルpに設定することができる。
【0045】〔実施例11〕本発明による把持位置姿勢
計算装置3の実施例を図39に示す。この装置は、図3
9に示すように、アプローチベクトル計算部type3、ノ
ーマルベクトル計算部type2、位置ベクトル計算部type
2、オリエントベクトル計算部type1及び把持位置姿勢デ
ータ設定部により構成され、図20に示すフローチャー
トに従い、点p1,p2,p3及び挿入深さ1が与えられた場
合の把持位置姿勢を計算するものである。従って、図1
9に示すように、点p1から点p3へのベクトルと点p1から
点p2へのベクトルの外積で得られる単位ベクトルを、ア
プローチベクトルaに設定し、点p1から点p2への単位ベ
クトルを、ノーマルベクトルnに設定し、外積n×aで
得られるベクトルをオリエントベクトルoに設定し、点
p1,p2の中点から、アプローチベクトルaに沿って、挿
入深さ1の位置にある点の成分を持つベクトルを、位置
ベクトルpに設定することができる。
【0046】〔実施例12〕本発明による把持位置姿勢
計算装置4の実施例を図40に示す。この装置は、図4
0に示すように、把持面計算部、データ投影部、アプロ
ーチベクトル計算部type4、ノーマルベクトル計算部typ
e2、位置ベクトル計算部type2、オリエントベクトル計
算部type1及び把持位置姿勢データ設定部により構成さ
れ、図22に示すフローチャートに従い、把持面上の直
線、点p1,p2、挿入深さ1が与えられた場合の把持位置
姿勢を計算するものである。従って、図21に示すよう
に、直線上の点の位置データから平面(把持面)を計算
し、点p1,p2を把持面へ投影し、把持面の法線方向の単
位ベクトルを、アプローチベクトルaに設定し、把持面
上へ投影した点p1から点p2への単位ベクトルを、ノーマ
ルベクトルnに設定し、外積n×aで得られるベクトル
をオリエントベクトルoに設定し、把持面へ投影した点
p1,p2の中点から、アプローチベクトルaに沿って、挿
入深さ1の位置にある点の成分を持つベクトルを、位置
ベクトルpに設定することができる。
【0047】〔実施例13〕本発明による把持位置姿勢
計算装置5の実施例を図41に示す。この装置は、図4
1に示すように、把持面計算部、データ投影部、把持点
再設定部、アプローチベクトル計算部type4、ノーマル
ベクトル計算部type2、位置ベクトル計算部type2及びオ
リエントベクトル計算部type1、把持位置姿勢データ設
定部により構成され、図24に示すフローチャートに従
い、把持面上の直線、点p1,p2、挿入深さ1が与えられ
た場合の把持位置姿勢を計算するものである。従って、
図23に示すように、直線上の点の位置データから平面
(把持面)を計算し、直線l1、点p1,p2を把持面へ投影
し、把持面上において、点p1を通り、かつ直線l1に垂直
な直線上へ、点p2から降ろした垂線の足p2’を設定し、
把持面の法線方向の単位ベクトルを、アプローチベクト
ルaに設定し、把持面上において点p1から点p2’への単
位ベクトルをノーマルベクトルnに設定し、外積n×a
で得られるベクトルをオリエントベクトルoに設定し、
把持面上において、点p1,p2’の中点から、アプローチ
ベクトルaに沿って、挿入深さ1の位置にある点の成分
を持つベクトルを、位置ベクトルpに設定することがで
きる。
【0048】〔実施例14〕本発明による把持位置姿勢
計算装置6の実施例を図42に示す。この装置は、図4
2に示すように、三次元直線計算部、アプローチベクト
ル計算部type5、ノーマルベクトル計算部type3、位置ベ
クトル計算部type2、オリエントベクトル計算部type2及
び把持位置姿勢データ設定部により構成され、図26に
示すフローチャートに従い、把持面上の直線、点p1,p
2、挿入深さ1が与えられた場合の把持位置姿勢を計算
するものである。従って、図25に示すように、直線上
の点の位置データから、三次元直線をそれぞれ計算し、
平行でない2直線の外積で得られるベクトルを幾つか求
め、これらのベクトルを平均した単位ベクトルを、アプ
ローチベクトルaに設定し、点p1から点p2へのベクトル
とアプローチベクトルaの外積で得られる単位ベクトル
を、オリエントベクトルoに設定し、外積a×oで得ら
れるベクトルをノーマルベクトルnに設定し、点p1,p2
の中点から、アプローチベクトルaに沿って、挿入深さ
1の位置にある点の成分を持つベクトルを、位置ベクト
ルpに設定することができる。
【0049】〔実施例15〕本発明による把持位置姿勢
計算装置7の実施例を図43に示す。この装置は、図4
3に示すように、把持面計算部、円計算部、アプローチ
ベクトル計算部type4、ノーマルベクトル計算部type4、
位置ベクトル計算部type3、オリエントベクトル計算部t
ype1及び把持位置姿勢データ設定部により構成され、図
28に示すフローチャートに従い、把持面上の円弧や閉
曲線、点p1、挿入深さ1が与えられた場合の把持位置姿
勢を計算するものである。従って、図27に示すよう
に、円弧もしくは閉曲線上の点の位置データから平面
(把持面)を計算し、把持面上において円近似を行い、
円形断面の中心を求め、把持面の法線方向の単位ベクト
ルを、アプローチベクトルaに設定し、円形断面の中心
から点p1への単位ベクトルを、ノーマルベクトルnに設
定し、外積n×aで得られるベクトルをオリエントベク
トルoに設定し、円形断面の中心から、アプローチベク
トルaに沿って、挿入深さ1にある点の成分を持つベク
トルを、位置ベクトルpに設定することができる。
【0050】〔実施例16〕本発明による把持位置姿勢
教示装置1の実施例を図44に示す。この装置は、請求
項1に係るものである。即ち、この装置は、図44に示
すように、画像入力部(カメラ)によりハンドリング位
置に設置された対象部品の画像を入力し、部品把持デー
タ設定部type1によって部品把持データを設定し、把持
位置姿勢計算部type1によって把持位置姿勢を計算する
ことで、把持位置姿勢の教示を行うものである。部品把
持データ設定部type1として、図30に示す部品把持デ
ータ設定装置1を用いれば、図4に示すフローチャート
に従い、画像上において、図3に示す部品の二つの把持
点p1,p2を指定し、指定した点について位置計測を行
い、二つの把持点の三次元位置データを部品把持データ
として設定する。把持位置姿勢計算部type1として、図
37に示す把持位置姿勢計算装置1を用いれば、図16
に示すフローチャートに従い、鉛直下向き方向の単位ベ
クトルをアプローチベクトルaに設定し、水平面に投影
した時の点p1から点p2への単位ベクトルをノーマルベク
トルnに設定し、外積n×aで得られるベクトルをオリ
エントベクトルoに設定し、位置ベクトルpを以下のよ
うに設定することができる。 p=[(x1+x2)/2 (y1+y2)/2 max(z1,
z2)−1]T この装置によれば、入力として画像上の2点を指定する
だけでよいので、操作が簡単で、対象部品に対する制約
が少なく、鉛直下向き方向をアプローチベクトルとする
場合、様々な部品に対応できるメリットがある。
【0051】〔実施例17〕本発明による把持位置姿勢
教示装置2の実施例を図45に示す。この装置は、請求
項2に係るものである。即ち、この装置は、図45に示
すように、画像入力部(カメラ)によりハンドリング位
置に設置された対象部品の画像を入力し、部品把持デー
タ設定部type1によって部品把持データを設定し、把持
位置姿勢計算部type2によって把持位置姿勢を計算する
ことで、把持位置姿勢の教示を行うものである。部品把
持データ設定部type1として、図30に示す部品把持デ
ータ設定装置1を用いれば、図4に示すフローチャート
に従い、画像上において、図3に示す部品の二つの把持
点p1,p2を指定し、指定した点について位置計測を行
い、二つの把持点の三次元位置データを部品把持データ
として設定する。把持位置姿勢計算部type2として、図
38に示す把持位置姿勢計算装置2を用いれば、図18
に示すフローチャートに従い、点p1から点p2への単位ベ
クトルを、ノーマルベクトルnに設定し、鉛直線と点p
1,p2の作る直線の作る平面上において、ノーマルベク
トルnと直交する単位ベクトルを、アプローチベクトル
aに設定し、外積n×aで得られるベクトルをオリエン
トベクトルoに設定し、点p1,p2の中点から、アプロー
チベクトルaに沿って、挿入深さ1の位置にある点の成
分を持つベクトルを、位置ベクトルpに設定することが
できる。この装置によれば、入力として画像上の2点を
指定するだけでよいので、操作が簡単で、対象部品に対
する制約が少なく、把持点の選び方によって、アプロー
チベクトルを適切な方向に設定でき、様々な部品に対応
できるメリットがある。
【0052】〔実施例18〕本発明による把持位置姿勢
教示装置3の実施例を図46に示す。この装置は、請求
項3に係るものである。即ち、この装置は、図46に示
すように、画像入力部(カメラ)によりハンドリング位
置に設置された対象部品の画像を入力し、部品把持デー
タ設定部type2によって部品把持データを設定し、把持
位置姿勢計算部type3によって把持位置姿勢を計算する
ことで、把持位置姿勢の教示を行うものである。部品把
持データ設定部type2として、図31に示す部品把持デ
ータ設定装置2を用いれば、図6に示すフローチャート
に従い、画像上において、図5に示す部品の二つの把持
点p1,p2及び把持面上の1点p3を指定し、指定した点に
ついて位置計測を行い、それら3点の三次元位置データ
を部品把持データとして設定することができる。把持位
置姿勢計算部type3として、図39に示す把持位置姿勢
計算装置3を用いれば、図20に示すフローチャートに
従い、点p1から点p3へのベクトルと点p1から点p2へのベ
クトルの外積で得られる単位ベクトルを、アプローチベ
クトルaに設定し、点p1から点p2への単位ベクトルを、
ノーマルベクトルnに設定し、外積n×aで得られるベ
クトルをオリエントベクトルoに設定し、点p1,p2の中
点から、アプローチベクトルaに沿って、挿入深さ1の
位置にある点の成分を持つベクトルを、位置ベクトルp
に設定することができる。この装置によれば、入力とし
て画像上の3点を指定するだけでよいので、操作が簡単
で、対象部品に対する制約が少なく、最も簡単な方式
で、アプローチベクトルを把持面の法線方向に設定で
き、様々な部品に対応できるメリットがある。
【0053】〔実施例19〕本発明による把持位置姿勢
教示装置4の実施例を図47に示す。この装置は、請求
項4に係るものである。即ち、この装置は、図47に示
すように、画像入力部(カメラ)によりハンドリング位
置に設置された対象部品の画像を入力し、部品把持デー
タ設定部type3によって部品把持データを設定し、把持
位置姿勢計算部type4によって把持位置姿勢を計算する
ことで、把持位置姿勢の教示を行うものである。部品把
持データ設定部type3として、図32に示す部品把持デ
ータ設定装置3を用いれば、図8に示すフローチャート
に従い、画像上において、図7に示す把持面上にある凹
凸や模様による直線部分を描き、部品の二つの把持点p
1,p2を指定し、直線上の点及び把持点の位置計測を行
い、直線上の点及び把持点の三次元位置データを部品把
持データとして設定することができる。把持位置姿勢計
算部type4として、図40に示す把持位置姿勢計算装置
4を用いれば、図22に示すフローチャートに従い、直
線上の点の位置データから平面(把持面)を計算し、点
p1,p2を把持面へ投影し、把持面の法線方向の単位ベク
トルを、アプローチベクトルaに設定し、把持面上へ投
影した点p1から点p2への単位ベクトルを、ノーマルベク
トルnに設定し、外積n×aで得られるベクトルをオリ
エントベクトルoに設定し、把持面へ投影した点p1,p2
の中点から、アプローチベクトルaに沿って、挿入深さ
1の位置にある点の成分を持つベクトルを、位置ベクト
ルpに設定することができる。この装置によれば、把持
面上に直線特徴が存在する場合、作業者がその直線を描
く機能を持つため、部品の表面状態や環境条件の良否に
関係なく必要な直線を入力として指定できる。また、直
線上の多くの点の位置データから計算した把持面の法線
方向をアプローチベクトルとして設定するため、そのデ
ータの信頼性が大きい。
【0054】〔実施例20〕本発明による把持位置姿勢
教示装置5の実施例を図48に示す。この装置は、請求
項5に係るものである。即ち、この装置は、図48に示
すように、画像入力部(カメラ)によりハンドリング位
置に設置された対象部品の画像を入力し、部品把持デー
タ設定部type3によって部品把持データを設定し、把持
位置姿勢計算部type5によって把持位置姿勢を計算する
ことで、把持位置姿勢の教示を行うものである。部品把
持データ設定部type3として、図32に示す部品把持デ
ータ設定装置3を用いれば、図8に示すフローチャート
に従い、画像上において、図7に示す把持面上にある凹
凸や模様による直線部分を描き、部品の二つの把持点p
1,p2を指定し、直線上の点及び把持点の位置計測を行
い、直線上の点及び把持点の三次元位置データを部品把
持データとして設定することができる。把持位置姿勢計
算部type5として、図41に示す把持位置姿勢計算装置
5を用いれば、図24に示すフローチャートに従い、直
線上の点の位置データから平面(把持面)を計算し、直
線l1、点p1,p2を把持面へ投影し、把持面上において、
点p1を通り、かつ直線l1に垂直な直線上へ、点p2から降
ろした垂線の足p2’を設定し、把持面の法線方向の単位
ベクトルを、アプローチベクトルaに設定し、把持面上
において点p1から点p2’への単位ベクトルをノーマルベ
クトルnに設定し、外積n×aで得られるベクトルをオ
リエントベクトルoに設定し、把持面上において、点p
1,p2’の中点から、アプローチベクトルaに沿って、
挿入深さ1の位置にある点の成分を持つベクトルを、位
置ベクトルpに設定することができる。この装置によれ
ば、把持面上に直線特徴が存在する場合、作業者がその
直線を描く機能を持つため、部品の表面状態や環境条件
の良否に関係なく必要な直線を入力として指定できる。
また、直線上の多くの点の位置データから計算した把持
面の法線方向をアプローチベクトルとして設定するた
め、そのデータの信頼性が大きい。さらに、把持面上に
基準となる線がある場合、その基準線に垂直な方向をオ
リエントベクトルとして設定できるため、適切な把持位
置姿勢を教示できるメリットがある。
【0055】〔実施例21〕本発明による把持位置姿勢
教示装置6の実施例を図49に示す。この装置は、請求
項6に係るものである。即ち、この装置は、図49に示
すように、画像入力部(カメラ)によりハンドリング位
置に設置された対象部品の画像を入力し、部品把持デー
タ設定部type3によって部品把持データを設定し、把持
位置姿勢計算部type6によって把持位置姿勢を計算する
ことで、把持位置姿勢の教示を行うものである。部品把
持データ設定部type3として、図32に示す部品把持デ
ータ設定装置3を用いれば、図8に示すフローチャート
に従い、画像上において、図7に示す把持面上にある凹
凸や模様による直線部分を描き、部品の二つの把持点p
1,p2を指定し、直線上の点及び把持点の位置計測を行
い、直線上の点及び把持点の三次元位置データを部品把
持データとして設定することができる。把持位置姿勢計
算部type6として、図42に示す把持位置姿勢計算装置
6を用いれば、図26に示すフローチャートに従い、直
線上の点の位置データから、三次元直線をそれぞれ計算
し、平行でない2直線の外積で得られるベクトルを幾つ
か求め、これらのベクトルを平均した単位ベクトルを、
アプローチベクトルaに設定し、点p1から点p2へのベク
トルとアプローチベクトルaの外積で得られる単位ベク
トルを、オリエントベクトルoに設定し、外積a×oで
得られるベクトルをノーマルベクトルnに設定し、点p
1,p2の中点から、アプローチベクトルaに沿って、挿
入深さ1の位置にある点の成分を持つベクトルを、位置
ベクトルpに設定することができる。この装置によれ
ば、把持面上に直線特徴が存在する場合、作業者がその
直線を描く機能を持つため、部品の表面状態や環境条件
の良否に関係なく必要な直線を入力として指定できる。
また、直線上の多くの点からまず直線の三次元データを
計算し、さらに、三次元直線を用いてアプローチベクト
ルの計算をするため、信頼性の高いアプローチベクトル
を得ることができる。また、その後の計算を簡単なベク
トル演算のみで行うため、システムを簡単にできるメリ
ットがある。
【0056】〔実施例22〕本発明による把持位置姿勢
教示装置7の実施例を図50に示す。この装置は、請求
項7に係るものである。即ち、この装置は、図50に示
すように、画像入力部(カメラ)によりハンドリング位
置に設置された対象部品の画像を入力し、部品把持デー
タ設定部type4によって部品把持データを設定し、把持
位置姿勢計算部type4によって把持位置姿勢を計算する
ことで、把持位置姿勢の教示を行うものである。部品把
持データ設定部type4として、図33に示す部品把持デ
ータ設定装置4を用いれば、図9に示すフローチャート
に従い、画像処理により、対象部品の直線特徴抽出を行
い、画像上において、把持面上にある直線特徴を選択
し、部品の二つの把持点p1,p2を指定し、直線上の点及
び把持点の位置計測を行い、直線上の点及び把持点の三
次元位置データを部品把持データとして設定することが
できる。把持位置姿勢計算部type4として、図40に示
す把持位置姿勢計算装置4を用いれば、図22に示すフ
ローチャートに従い、直線上の点の位置データから平面
(把持面)を計算し、点p1,p2を把持面へ投影し、把持
面の法線方向の単位ベクトルを、アプローチベクトルa
に設定し、把持面上へ投影した点p1から点p2への単位ベ
クトルを、ノーマルベクトルnに設定し、外積n×aで
得られるベクトルをオリエントベクトルoに設定し、把
持面へ投影した点p1,p2の中点から、アプローチベクト
ルaに沿って、挿入深さ1の位置にある点の成分を持つ
ベクトルを、位置ベクトルpに設定することができる。
この装置によれば、把持面上に直線特徴が存在する場
合、直線特徴抽出機能を持つため、把持面上の直線候補
データを自動的に作成することで、作業者の負担を軽減
することができる。また、直線上の多くの点の位置デー
タから計算した把持面の法線方向をアプローチベクトル
として設定するため、そのデータの信頼性が大きい。
【0057】〔実施例23〕本発明による把持位置姿勢
教示装置8の実施例を図51に示す。この装置は、請求
項8に係るものである。即ち、この装置は、図51に示
すように、画像入力部(カメラ)によりハンドリング位
置に設置された対象部品の画像を入力し、部品把持デー
タ設定部type4によって部品把持データを設定し、把持
位置姿勢計算部type5によって把持位置姿勢を計算する
ことで、把持位置姿勢の教示を行うものである。部品把
持データ設定部type4として、図33に示す部品把持デ
ータ設定装置4を用いれば、図9に示すフローチャート
に従い、画像処理により、対象部品の直線特徴抽出を行
い、画像上において、把持面上にある直線特徴を選択
し、部品の二つの把持点p1,p2を指定し、直線上の点及
び把持点の位置計測を行い、直線上の点及び把持点の三
次元位置データを部品把持データとして設定することが
できる。把持位置姿勢計算部type5として、図41に示
す把持位置姿勢計算装置5を用いれば、図24に示すフ
ローチャートに従い、直線上の点の位置データから平面
(把持面)を計算し、直線l1、点p1,p2を把持面へ投影
し、把持面上において、点p1を通り、かつ直線l1に垂直
な直線上へ、点p2から降ろした垂線の足p2’を設定し、
把持面の法線方向の単位ベクトルを、アプローチベクト
ルaに設定し、把持面上において点p1から点p2’への単
位ベクトルをノーマルベクトルnに設定し、外積n×a
で得られるベクトルをオリエントベクトルoに設定し、
把持面上において、点p1,p2’の中点から、アプローチ
ベクトルaに沿って、挿入深さ1の位置にある点の成分
を持つベクトルを、位置ベクトルpに設定することがで
きる。この装置によれば、把持面上に直線特徴が存在す
る場合、直線特徴抽出機能を持つため、把持面上の直線
候補データを自動的に作成することで、作業者の負担を
軽減することができる。また、直線上の多くの点の位置
データから計算した把持面の法線方向をアプローチベク
トルとして設定するため、そのデータの信頼性が大き
い。さらに、把持面上に基準となる線がある場合、その
基準線に垂直な方向をオリエントベクトルとして設定で
きるため、適切な把持位置姿勢を教示できるメリットが
ある。
【0058】〔実施例24〕本発明による把持位置姿勢
教示装置9の実施例を図52に示す。この装置は、請求
項9に係るものである。即ち、この装置は、図52に示
すように、画像入力部(カメラ)によりハンドリング位
置に設置された対象部品の画像を入力し、部品把持デー
タ設定部type4によって部品把持データを設定し、把持
位置姿勢計算部type6によって把持位置姿勢を計算する
ことで、把持位置姿勢の教示を行うものである。部品把
持データ設定部type4として、図33に示す部品把持デ
ータ設定装置4を用いれば、図9に示すフローチャート
に従い、画像処理により、対象部品の直線特徴抽出を行
い、画像上において、把持面上にある直線特徴を選択
し、部品の二つの把持点p1,p2を指定し、直線上の点及
び把持点の位置計測を行い、直線上の点及び把持点の三
次元位置データを部品把持データとして設定することが
できる。把持位置姿勢計算部type6として、図42に示
す把持位置姿勢計算装置6を用いれば、図26に示すフ
ローチャートに従い、直線上の点の位置データから、三
次元直線をそれぞれ計算し、平行でない2直線の外積で
得られるベクトルを幾つか求め、これらのベクトルを平
均した単位ベクトルを、アプローチベクトルaに設定
し、点p1から点p2へのベクトルとアプローチベクトルa
の外積で得られる単位ベクトルを、オリエントベクトル
oに設定し、外積a×oで得られるベクトルをノーマル
ベクトルnに設定し、点p1,p2の中点から、アプローチ
ベクトルaに沿って、挿入深さ1の位置にある点の成分
を持つベクトルを、位置ベクトルpに設定することがで
きる。この装置によれば、把持面上に直線特徴が存在す
る場合、直線特徴抽出機能を持つため、把持面上の直線
候補データを自動的に作成することで、作業者の負担を
軽減することができる。また、直線上の多くの点からま
ず直線の三次元データを計算し、さらに、三次元直線を
用いてアプローチベクトルの計算をするため、信頼性の
高いアプローチベクトルを得ることができる。また、そ
の後の計算を簡単なベクトル演算のみで行うため、シス
テムを簡単にできるメリットがある。
【0059】〔実施例25〕本発明による把持位置姿勢
教示装置10の実施例を図53に示す。この装置は、請
求項10に係るものである。即ち、この装置は、図53
に示すように、画像入力部(カメラ)によりハンドリン
グ位置に設置された対象部品の画像を入力し、部品把持
データ設定部type5によって部品把持データを設定し、
把持位置姿勢計算部type7によって把持位置姿勢を計算
することで、把持位置姿勢の教示を行うものである。部
品把持データ設定部type5として、図34に示す部品把
持データ設定装置5を用いれば、図11に示すフローチ
ャートに従い、画像上において、図10に示す把持面と
なる円筒や円柱の断面を円弧で描き、部品の把持点を指
定し、円弧上の点及び把持点の位置計測を行い、円孤上
の点及び把持点の三次元位置データを部品把持データと
して設定することができる。把持位置姿勢計算部type7
として、図43に示す把持位置姿勢計算装置7を用いれ
ば、図28に示すフローチャートに従い、円弧もしくは
閉曲線上の点の位置データから平面(把持面)を計算
し、把持面上において円近似を行い、円形断面の中心を
求め、把持面の法線方向の単位ベクトルを、アプローチ
ベクトルaに設定し、円形断面の中心から点p1への単位
ベクトルを、ノーマルベクトルnに設定し、外積n×a
で得られるベクトルをオリエントベクトルoに設定し、
円形断面の中心から、アプローチベクトルaに沿って、
挿入深さ1にある点の成分を持つベクトルを、位置ベク
トルpに設定することができる。この装置によれば、円
筒や円柱の断面が把持面となる場合、作業者がその円弧
を描く機能を持つため、部品の表面状態や環境条件の良
否に関係なく必要な円弧を入力として指定できる。ま
た、円弧上の多くの点の位置データから計算した把持面
の法線方向をアプローチベクトルとして設定し、断面上
の円の中心を基に、位置ベクトルを設定するため、それ
らのデータの信頼性が大きい。
【0060】〔実施例26〕本発明による把持位置姿勢
教示装置11の実施例を図54に示す。この装置は、請
求項11に係るものである。即ち、この装置は、図54
に示すように、画像入力部(カメラ)によりハンドリン
グ位置に設1された対象部品の画像を入力し、部品把持
データ設定部type6によって部品把持データを設定し、
把持位置姿勢計算部type7によって把持位置姿勢を計算
することで、把持位置姿勢の教示を行うものである。部
品把持データ設定部type6として、図35に示す部品把
持データ設定装置6を用いれば、図12に示すフローチ
ャートに従い、画像処理により、対象部品の円弧特徴抽
出を行い、画像上において、把持面となる円筒や円柱の
断面の円弧特徴を選択し、部品の把持点を指定し、円弧
上の点及び把持点の位置計測を行い、円弧上の点及び把
持点の三次元位置データを部品把持データとして設定す
ることができる。把持位置姿勢計算部type7として、図
43に示す把持位置姿勢計算装置7を用いれば、図28
に示すフローチャートに従い、円弧もしくは閉曲線上の
点の位置データから平面(把持面)を計算し、把持面上
において円近似を行い、円形断面の中心を求め、把持面
の法線方向の単位ベクトルを、アプローチベクトルaに
設定し、円形断面の中心から点p1への単位ベクトルを、
ノーマルベクトルnに設定し、外積n×aで得られるベ
クトルをオリエントベクトルoに設定し、円形断面の中
心から、アプローチベクトルaに沿って、挿入深さ1に
ある点の成分を持つベクトルを、位置ベクトルpに設定
することができる。この装置によれば、円筒や円柱の断
面が把持面となる場合、円弧特徴抽出機能を持つため、
把持面上の円弧候補データを自動的に作成することで、
作業者の負担を軽減することができる。また、円弧上の
多くの点の位置データから計算した把持面の法線方向を
アプローチベクトルとして設定し、断面上の円の中心を
基に、位置ベクトルを設定するため、それらのデータの
信頼性が大きい。
【0061】〔実施例27〕本発明による把持位置姿勢
教示装置12の実施例を図55に示す。この装置は、請
求項12に係るものである。即ち、この装置は、図55
に示すように、画像入力部(カメラ)によりハンドリン
グ位置に設置された対象部品の画像を入力し、部品把持
データ設定部type7によって部品把持データを設定し、
把持位置姿勢計算部type7によって把持位置姿勢を計算
することで、把持位置姿勢の教示を行うものである。部
品把持データ設定部type7として、図36に示す部品把
持データ設定装置7を用いれば、図14に示すフローチ
ャートに従い、画像処理により、図13に示す対象部品
の閉曲線特徴抽出を行い、画像上において、把持面とな
る円筒や円柱の断面の閉曲線特徴を選択し、部品の把持
点p1を指定し、閉曲線上の点及び把持点の位置計測を行
い、閉曲線上の点及び把持点の三次元位置データを部品
把持データとして設定することができる。把持位置姿勢
計算部type7として、図43に示す把持位置姿勢計算装
置7を用いれば、図28に示すフローチャートに従い、
円弧もしくは閉曲線上の点の位置データから平面(把持
面)を計算し、把持面上において円近似を行い、円形断
面の中心を求め、把持面の法線方向の単位ベクトルを、
アプローチベクトルaに設定し、円形断面の中心から点
p1への単位ベクトルを、ノーマルベクトルnに設定し、
外積n×aで得られるベクトルをオリエントベクトルo
に設定し、円形断面の中心から、アプローチベクトルa
に沿って、挿入深さ1にある点の成分を持つベクトル
を、位置ベクトルpに設定することができる。この装置
によれば、円筒や円柱の断面が把持面となる場合、閉曲
線特徴抽出機能を持つため、ノイズの多い入力画像から
でも、把持面上の閉曲線候補データを自動的に作成する
ことができ、作業者の負担を軽減することができる。ま
た、円弧上の多くの点の位置データから計算した把持面
の法線方向をアプローチベクトルとして設定し、断面上
の円の中心を基に、位置ベクトルを設定するため、それ
らのデータの信頼性が大きい。
【0062】〔実施例28〕本発明による衝突確認付き
把持位置姿勢教示装置の実施例を図56に示す。この装
置は、請求項13に係るものである。即ち、この装置
は、図56に示すように、画像入力部、部品把持データ
設定部、把持位置姿勢計算部及びハンド衝突検査部より
なり、図57に示すフローチャートに従い、カメラによ
りハンドリング位置に設置された対象部品の画像を入力
し、画像データを基に、部品を把持するための部品把持
データを設定し、部品把持データを基に、把持位置姿勢
を計算した後、ハンド衝突検査(特願平9−12374
1号)を行い、衝突確認付きの把持位置姿勢教示を行う
ものである。この装置によれば、把持位置姿勢を計算し
た後、ハンド衝突検査機能により、実機でのテストを行
う前に、把持位置姿勢が適切かどうかを判断できるた
め、作業効率が良く、また、システムの損傷を予防でき
るメリットがある。尚、上記ハンド衝突検査は、実際に
ハンドリングを行う前に、ロボットのハンドが対象部品
等に衝突するか否かを事前に検査することを目的とし、
ハンド形状データ設定部により予め設定したハンド形状
データを、座標変換部により、ハンドリング位置姿勢に
座標変換し、座標変換したハンド形状データを基に、位
置計測範囲設定部により、位置計測範囲を設定し、三次
元位置計測部により、設定した位置計測範囲内の点の三
次元位置計測を行い、衝突解析点抽出部により、三次元
位置計測を行った点から、衝突検査に必要な衝突解析点
を抽出し、抽出した衝突解析点を基に、衝突判断部によ
り、衝突する点の有無を判断するものである。
【0063】〔実施例29〕本発明による調整機能付き
把持位置姿勢教示装置の実施例を図58に示す。この装
置は、請求項14に係るものである。即ち、この装置
は、図58に示すように部品把持データ設定部、把持位
置姿勢計算部、ハンド衝突検査部及び把持位置姿勢調整
部よりなり、図59に示すフローチャートに従い、カメ
ラによりハンドリング位置に設置された対象部品の画像
を入力し、画像データを基に、部品を把持するための部
品把持データを設定し、部品把持データを基に、把持位
置姿勢を計算した後、ハンド衝突検査(特願平9−12
3741号)を行い、激突する部分があれば、衝突が無
くなるまで把持位置姿勢を調整して、把持位置姿勢教示
を行うものである。この装置によれば、把持位置姿勢を
計算した後、ハンド衝突検査機能により、実機でのテス
トを行う前に、把持位置姿勢が適切かどうかを判断でき
るため、システムの損傷を予防できる。さらに、把持位
置姿勢の調整機能により、把持位置姿勢の微調整ができ
るため、ハンド衝突検査で現在の把持位置姿勢が不適当
と判断されても、最初から把持位置姿勢教示を行う必要
が無く、作業を効率よく行うことができるメリットがあ
る。
【0064】
【発明の効果】以上、詳細に説明したように、ロボット
の教示に関する本発明は、以下の効果を奏する。 (1)ロボットを実際に動作させる教示とは異なり、慎
重な操作が必要でないため、作業者の肉体的且つ精神的
負担を軽減できる。 (2)ロボットを実際に動作させる教示に比べて、教示
に必要な時間が短いため、作業時間を短縮できる。 (3)ロボットを実際に動作させる教示に比べて、簡単
に教示できるため、把持位置姿勢の変更が容易に行え
る。 (4)把持位置姿勢の変更が容易なため、対象部品の変
更に容易に対応できる。 (5)(2),(3)の理由で、把持位置姿勢教示作業
の作業効率を上げることができる。 (6)ロボットを実際に動作させる教示に比べて、簡単
に教示できるため、他品種の対象物に対する教示が、容
易に行える。 (7)実際のロボットの動作とほ別に、オフラインで教
示が行えるため、ロボット操作ミスによるシステムへの
損傷が生しない。 (8)ロボットから離れた場所で教示が可能なため、作
業者の安全を確保できる。
【図面の簡単な説明】
【図1】ハンドの位置姿勢の設定例を示す説明図である
る。
【図2】本発明の部品把持データ設定方法のフローチャ
ートである。
【図3】把持点の設定例を示す説明図である。
【図4】本発明の部品把持データ設定方法のフローチャ
ートである。
【図5】把持点及び把持面上の点の設定例を示す説明図
である。
【図6】本発明の部品把持データ設定方法のフローチャ
ートである。
【図7】把持点上の直線及び把持点の設定例を示す説明
図である。
【図8】本発明の部品把持データ設定方法のフローチャ
ートである。
【図9】本発明の部品把持データ設定方法のフローチャ
ートである。
【図10】把持点上の円弧及び把持点の設定例を示す説
明図である。
【図11】本発明の部品把持データ設定方法のフローチ
ャートである。
【図12】本発明の部品把持データ設定方法のフローチ
ャートである。
【図13】把持点上の閉曲面及び把持点の設定例を示す
説明図である。
【図14】本発明の部品把持データ設定方法のフローチ
ャートである。
【図15】本発明の把持位置姿勢設定例を示す説明図で
ある。
【図16】本発明の把持位置姿勢計算法を示すフローチ
ャートである。
【図17】本発明の把持位置姿勢設定例を示す説明図で
ある。
【図18】本発明の把持位置姿勢計算法を示すフローチ
ャートである。
【図19】本発明の把持位置姿勢設定例を示す説明図で
ある。
【図20】本発明の把持位置姿勢計算法を示すフローチ
ャートである。
【図21】本発明の把持位置姿勢設定例を示す説明図で
ある。
【図22】本発明の把持位置姿勢計算法を示すフローチ
ャートである。
【図23】本発明の把持位置姿勢設定例を示す説明図で
ある。
【図24】本発明の把持位置姿勢計算法を示すフローチ
ャートである。
【図25】本発明の把持位置姿勢設定例を示す説明図で
ある。
【図26】本発明の把持位置姿勢計算法を示すフローチ
ャートである。
【図27】本発明の把持位置姿勢設定例を示す説明図で
ある。
【図28】本発明の把持位置姿勢計算法を示すフローチ
ャートである。
【図29】本発明の第1の実施例に係る把持位置姿勢を
教示する基本装置を示す構成図である。
【図30】本発明の第2の実施例に係る部品把持データ
設定装置を示す構成図である。
【図31】本発明の第3の実施例に係る部品把持データ
設定装置を示す構成図である。
【図32】本発明の第4の実施例に係る部品把持データ
設定装置を示す構成図である。
【図33】本発明の第5の実施例に係る部品把持データ
設定装置を示す構成図である。
【図34】本発明の第6の実施例に係る部品把持データ
設定装置を示す構成図である。
【図35】本発明の第7の実施例に係る部品把持データ
設定装置を示す構成図である。
【図36】本発明の第8の実施例に係る部品把持データ
設定装置を示す構成図である。
【図37】本発明の第9の実施例に係る把持位置姿勢計
算装置を示す構成図である。
【図38】本発明の第10の実施例に係る把持位置姿勢
計算装置を示す構成図である。
【図39】本発明の第11の実施例に係る把持位置姿勢
計算装置を示す構成図である。
【図40】本発明の第12の実施例に係る把持位置姿勢
計算装置を示す構成図である。
【図41】本発明の第13の実施例に係る把持位置姿勢
計算装置を示す構成図である。
【図42】本発明の第14の実施例に係る把持位置姿勢
計算装置を示す構成図である。
【図43】本発明の第15の実施例に係る把持位置姿勢
計算装置を示す構成図である。
【図44】本発明の第16の実施例に係る把持位置姿勢
教示装置を示す構成図である。
【図45】本発明の第17の実施例に係る把持位置姿勢
教示装置を示す構成図である。
【図46】本発明の第18の実施例に係る把持位置姿勢
教示装置を示す構成図である。
【図47】本発明の第19の実施例に係る把持位置姿勢
教示装置を示す構成図である。
【図48】本発明の第20の実施例に係る把持位置姿勢
教示装置を示す構成図である。
【図49】本発明の第21の実施例に係る把持位置姿勢
教示装置を示す構成図である。
【図50】本発明の第22の実施例に係る把持位置姿勢
教示装置を示す構成図である。
【図51】本発明の第23の実施例に係る把持位置姿勢
教示装置を示す構成図である。
【図52】本発明の第24の実施例に係る把持位置姿勢
教示装置を示す構成図である。
【図53】本発明の第25の実施例に係る把持位置姿勢
教示装置を示す構成図である。
【図54】本発明の第26の実施例に係る把持位置姿勢
教示装置を示す構成図である。
【図55】本発明の第27の実施例に係る把持位置姿勢
教示装置を示す構成図である。
【図56】本発明の第28の実施例に係る衝突確認付き
把持位置姿勢教示装置を示す構成図である。
【図57】本発明の第28の実施例に係る衝突確認付き
把持位置姿勢教示装置を示すフローチャートである。
【図58】本発明の第29の実施例に係る調整機能付き
把持位置姿勢教示装置を示す構成図である。
【図59】本発明の第29の実施例に係る調整機能付き
把持位置姿勢教示方法を示すフローチャートである。
【符号の説明】 a アプローチベクトル o オリエントベクトル n ノーマルベクトル p1,p2 把持点 p3 把持面上の他の点 l1 ,l2 ,l3,l4 直線

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 ハンドリング位置に設置された対象部品
    の画像を入力する画像入力部と、画像上において対象部
    品の二つの把持点p1,p2を指定し、指定した点について
    位置計測を行い、二つの把持点の三次元位置データを部
    品把持データとして設定する部品把持データ設定部と、
    ハンドに設定された姿勢を示すアプローチベクトルa、
    オリエントベクトルo、ノーマルベクトルn及び基準座
    標系からの位置ベクトルpについて、鉛直下向き方向の
    単位ベクトルをアプローチベクトルaに設定し、水平面
    に投影した時の点p1から点p2への単位ベクトルをノーマ
    ルベクトルnに設定し、外積n×aで得られるベクトル
    をオリエントベクトルoに設定し、位置ベクトルpを以
    下のように設定する把持位置姿勢計算部とを備え、把持
    位置姿勢の教示を行うことを特徴とする把持位置姿勢教
    示装置及びその処理を実現するソフトウェアを記録した
    記録媒体。 p=[(x1+x2)/2 (y1+y2)/2 max(z1,
    z2)−1]T 但し、p1,p2の座標をそれぞれ(x1,y1,z1)、(x2,
    y2,z2)とする。
  2. 【請求項2】 ハンドリング位置に設置された対象部品
    の画像を入力する画像入力部と、画像上において対象部
    品の二つの把持点p1,p2を指定し、指定した点について
    位置計測を行い、二つの把持点の三次元位置データを部
    品把持データとして設定する部品把持データ設定部と、
    ハンドに設定された姿勢を示すアプローチベクトルa、
    オリエントベクトルo、ノーマルベクトルn及び基準座
    標系からの位置ベクトルpについて、点p1から点p2への
    単位ベクトルを、ノーマルベクトルnに設定し、鉛直線
    と点p1,p2の作る直線の作る平面上において、ノーマル
    ベクトルnと直交する単位ベクトルを、アプローチベク
    トルaに設定し、外積n×aで得られるベクトルをオリ
    エントベクトルoに設定し、点p1,p2の中点から、アプ
    ローチベクトルaに沿って、挿入深さ1の位置にある点
    の成分を持つベクトルを、位置ベクトルpに設定する把
    持位置姿勢計算部とを備え、把持位置姿勢の教示を行う
    ことを特徴とする把持位置姿勢教示装置及びその処理を
    実現するソフトウェアを記録した記録媒体。
  3. 【請求項3】 ハンドリング位置に設置された対象部品
    の画像を入力する画像入力部と、画像上において対象部
    品の二つの把持点p1,p2及び把持面上の1点p3を指定
    し、指定した点について位置計測を行い、それら3点の
    三次元位置データを部品把持データとして設定する部品
    把持データ設定部と、ハンドに設定された姿勢を示すア
    プローチベクトルa、オリエントベクトルo、ノーマル
    ベクトルn及び基準座標系からの位置ベクトルpについ
    て、点p1から点p3へのベクトルと点p1から点p2へのベク
    トルの外積で得られる単位ベクトルを、アプローチベク
    トルaに設定し、点p1から点p2への単位ベクトルを、ノ
    ーマルベクトルnに設定し、外積n×aで得られるベク
    トルをオリエントベクトルoに設定し、点p1,p2の中点
    から、アプローチベクトルaに沿って、挿入深さ1の位
    置にある点の成分を持つベクトルを、位置ベクトルpに
    設定する把持位置姿勢計算部とを備え、把持位置姿勢の
    教示を行うことを特徴とする把持位置姿勢教示装置及び
    その処理を実現するソフトウェアを記録した記録媒体。
  4. 【請求項4】 ハンドリング位置に設置された対象部品
    の画像を入力する画像入力部と、画像上において把持面
    上にある凹凸や模様による直線部分を描き、対象部品の
    二つの把持点p1,p2を指定し、直線上の点及び把持点の
    位置計測を行い、直線上の点及び把持点の三次元位置デ
    ータを部品把持データとして設定する部品把持データ設
    定部と、ハンドに設定された姿勢を示すアプローチベク
    トルa、オリエントベクトルo、ノーマルベクトルn及
    び基準座標系からの位置ベクトルpについて、直線上の
    点の位置データから把持面を計算し、点p1,p2を把持面
    へ投影し、把持面の法線方向の単位ベクトルを、アプロ
    ーチベクトルaに設定し、把持面上へ投影した点p1から
    点p2への単位ベクトルを、ノーマルベクトルnに設定
    し、外積n×aで得られるベクトルをオリエントベクト
    ルoに設定し、把持面へ投影した点p1,p2の中点から、
    アプローチベクトルaに沿って、挿入深さ1の位置にあ
    る点の成分を持つベクトルを、位置ベクトルpに設定す
    る把持位置姿勢計算部とを備え、把持位置姿勢の教示を
    行うことを特徴とする把持位置姿勢教示装置及びその処
    理を実現するソフトウェアを記録した記録媒体。
  5. 【請求項5】 ハンドリング位置に設置された対象部品
    の画像を入力する画像入力部と、画像上において把持面
    上にある凹凸や模様による直線部分を描き、対象部品の
    二つの把持点p1,p2を指定し、直線上の点及び把持点の
    位置計測を行い、直線上の点及び把持点の三次元位置デ
    ータを部品把持データとして設定する部品把持データ設
    定部と、ハンドに設定された姿勢を示すアプローチベク
    トルa、オリエントベクトルo、ノーマルベクトルn及
    び基準座標系からの位置ベクトルpについて、直線上の
    点の位置データから把持面を計算し、直線l1、点p1,p2
    を把持面へ投影し、把持面上において、点p1を通り、か
    つ直線l1に垂直な直線上へ、点p2から降ろした垂線の足
    p2’を設定し、把持面の法線方向の単位ベクトルを、ア
    プローチベクトルaに設定し、把持面上において点p1か
    ら点p2’への単位ベクトルをノーマルベクトルnに設定
    し、外積n×aで得られるベクトルをオリエントベクト
    ルoに設定し、把持面上において、点p1,p2’の中点か
    ら、アプローチベクトルaに沿って、挿入深さ1の位置
    にある点の成分を持つベクトルを、位置ベクトルpに設
    定する把持位置姿勢計算部とを備え、把持位置姿勢の教
    示を行うことを特徴とする把持位置姿勢教示装置及びそ
    の処理を実現するソフトウェアを記録した記録媒体。
  6. 【請求項6】 ハンドリング位置に設置された対象部品
    の画像を入力する画像入力部と、画像上において把持面
    上にある凹凸や模様による直線部分を描き、対象部品の
    二つの把持点p1,p2を指定し、直線上の点及び把持点の
    位置計測を行い、直線上の点及び把持点の三次元位置デ
    ータを部品把持データとして設定する部品把持データ設
    定部と、ハンドに設定された姿勢を示すアプローチベク
    トルa、オリエントベクトルo、ノーマルベクトルn及
    び基準座標系からの位置ベクトルpについて、直線上の
    点の位置データから、三次元直線をそれぞれ計算し、平
    行でない2直線の外積で得られるベクトルを幾つか求
    め、これらのベクトルを平均した単位ベクトルを、アプ
    ローチベクトルaに設定し、点p1から点p2へのベクトル
    とアプローチベクトルaの外積で得られる単位ベクトル
    を、オリエントベクトルoに設定し、外積a×oで得ら
    れるベクトルをノーマルベクトル1に設定し、点p1,p2
    の中点から、アプローチベクトルaに沿って、挿入深さ
    1の位置にある点の成分を持つベクトルを、位置ベクト
    ルpに設定する把持位置姿勢計算部とを備え、把持位置
    姿勢の教示を行うことを特徴とする把持位置姿勢教示装
    置及びその処理を実現するソフトウェアを記録した記録
    媒体。
  7. 【請求項7】 ハンドリング位置に設置された対象部品
    の画像を入力する画像入力部と、画像処理により、対象
    部品の直線特徴抽出を行い、画像上において、把持面上
    にある直線特徴を選択し、対象部品の二つの把持点p1,
    p2を指定し、直線上の点及び把持点の位置計測を行い、
    直線上の点及び把持点の三次元位置データを部品把持デ
    ータとして設定する部品把持データ設定部と、ハンドに
    設定された姿勢を示すアプローチベクトルa、オリエン
    トベクトルo、ノーマルベクトルn及び基準座標系から
    の位置ベクトルpについて、直線上の点の位置データか
    ら把持面を計算し、点p1,p2を把持面へ投影し、把持面
    の法線方向の単位ベクトルを、アプローチベクトルaに
    設定し、把持面上へ投影した点p1から点p2への単位ベク
    トルを、ノーマルベクトルnに設定し、外積n×aで得
    られるベクトルをオリエントベクトルoに設定し、把持
    面へ投影した点p1,p2の中点から、アプローチベクトル
    aに沿って、挿入深さ1の位置にある点の成分を持つベ
    クトルを、位置ベクトルpに設定する把持位置姿勢計算
    部とを備え、把持位置姿勢の教示を行うことを特徴とす
    る把持位置姿勢教示装置及びその処理を実現するソフト
    ウェアを記録した記録媒体。
  8. 【請求項8】 ハンドリング位置に設置された対象部品
    の画像を入力する画像入力部と、画像処理により、対象
    部品の直線特徴抽出を行い、画像上において、把持面上
    にある直線特徴を選択し、対象部品の二つの把持点p1,
    p2を指定し、直線上の点及び把持点の位置計測を行い、
    直線上の点及び把持点の三次元位置データを部品把持デ
    ータとして設定する部品把持データ設定部と、ハンドに
    設定された姿勢を示すアプローチベクトルa、オリエン
    トベクトルo、ノーマルベクトルn及び基準座標系から
    の位置ベクトルpについて、直線上の点の位置データか
    ら把持面を計算し、直線l1、点p1,p2を把持面へ投影
    し、把持面上において、点p1を通り、かつ直線l1に垂直
    な直線上へ、点p2から降ろした垂線の足p2’を設定し、
    把持面の法線方向の単位ベクトルを、アプローチベクト
    ルaに設定し、把持面上において点p1から点p2’への単
    位ベクトルをノーマルベクトルnに設定し、外積n×a
    で得られるベクトルをオリエントベクトルoに設定し、
    把持面上において、点p1,p2’の中点から、アプローチ
    ベクトルaに沿って、挿入深さ1の位置にある点の成分
    を持つベクトルを、位置ベクトルpに設定する把持位置
    姿勢計算部とを備え、把持位置姿勢の教示を行うことを
    特徴とする把持位置姿勢教示装置及びその処理を実現す
    るソフトウェアを記録した記録媒体。
  9. 【請求項9】 ハンドリング位置に設置された対象部品
    の画像を入力する画像入力部と、画像処理により、対象
    部品の直線特徴抽出を行い、画像上において、把持面上
    にある直線特徴を選択し、対象部品の二つの把持点p1,
    p2を指定し、直線上の点及び把持点の位置計測を行い、
    直線上の点及び把持点の三次元位置データを部品把持デ
    ータとして設定する部品把持データ設定部と、ハンドに
    設定された姿勢を示すアプローチベクトルa、オリエン
    トベクトルo、ノーマルベクトルn及び基準座標系から
    の位置ベクトルpについて、直線上の点の位置データか
    ら、三次元直線をそれぞれ計算し、平行でない2直線の
    外積で得られるベクトルを幾つか求め、これらのベクト
    ルを平均した単位ベクトルを、アプローチベクトルaに
    設定し、点p1から点p2へのベクトルとアプローチベクト
    ルaの外積で得られる単位ベクトルを、オリエントベク
    トルoに設定し、外積a×oで得られるベクトルをノー
    マルベクトル1に設定し、点p1,p2の中点から、アプロ
    ーチベクトルaに沿って、挿入深さ1の位置にある点の
    成分を持つベクトルを、位置ベクトルpに設定する把持
    位置姿勢計算部とを備え、把持位置姿勢の教示を行うこ
    とを特徴とする把持位置姿勢教示装置及びその処理を実
    現するソフトウェアを記録した記録媒体。
  10. 【請求項10】 ハンドリング位置に設置された対象部
    品の画像を入力する画像入力部と、画像上において把持
    面となる円筒や円柱の断面を円弧で描き、対象部品の把
    持点を指定し、円弧上の点及び把持点の位置計測を行
    い、円孤上の点及び把持点の三次元位置データを部品把
    持データとして設定する部品把持データ設定部と、ハン
    ドに設定された姿勢を示すアプローチベクトルa、オリ
    エントベクトルo、ノーマルベクトルn及び基準座標系
    からの位置ベクトルpについて、円弧もしくは閉曲線上
    の点の位置データから把持面を計算し、把持面上におい
    て円近似を行い、円形断面の中心を求め、把持面の法線
    方向の単位ベクトルを、アプローチベクトルaに設定
    し、円形断面の中心から点p1への単位ベクトルを、ノー
    マルベクトルnに設定し、外積n×aで得られるベクト
    ルをオリエントベクトルoに設定し、円形断面の中心か
    ら、アプローチベクトルaに沿って、挿入深さ1にある
    点の成分を持つベクトルを、位置ベクトルpに設定する
    把持位置姿勢計算部とを備え、把持位置姿勢の教示を行
    うことを特徴とする把持位置姿勢教示装置及びその処理
    を実現するソフトウェアを記録した記録媒体。
  11. 【請求項11】 ハンドリング位置に設置された対象部
    品の画像を入力する画像入力部と、画像処理により、対
    象部品の円弧特徴抽出を行い、画像上において、把持面
    となる円筒や円柱の断面の円弧特徴を選択し、対象部品
    の把持点を指定し、円弧上の点及び把持点の位置計測を
    行い、円弧上の点及び把持点の三次元位置データを部品
    把持データとして設定する部品把持データ設定部と、ハ
    ンドに設定された姿勢を示すアプローチベクトルa、オ
    リエントベクトルo、ノーマルベクトルn及び基準座標
    系からの位置ベクトルpについて、円弧もしくは閉曲線
    上の点の位置データから把持面を計算し、把持面上にお
    いて円近似を行い、円形断面の中心を求め、把持面の法
    線方向の単位ベクトルを、アプローチベクトルaに設定
    し、円形断面の中心から点p1への単位ベクトルを、ノー
    マルベクトルnに設定し、外積n×aで得られるベクト
    ルをオリエントベクトルoに設定し、円形断面の中心か
    ら、アプローチベクトルaに沿って、挿入深さ1にある
    点の成分を持つベクトルを、位置ベクトルpに設定する
    把持位置姿勢計算部とを備え、把持位置姿勢の教示を行
    うことを特徴とする把持位置姿勢教示装置及びその処理
    を実現するソフトウェアを記録した記録媒体。
  12. 【請求項12】 ハンドリング位置に設置された対象部
    品の画像を入力する画像入力部と、画像処理により対象
    部品の閉曲線特徴抽出を行い、画像上において、把持面
    となる円筒や円柱の断面の閉曲線特徴を選択し、対象部
    品の把持点p1を指定し、閉曲線上の点及び把持点の位置
    計測を行い、閉曲線上の点及び把持点の三次元位置デー
    タを部品把持データとして設定する部品把持データ設定
    部と、ハンドに設定された姿勢を示すアプローチベクト
    ルa、オリエントベクトルo、ノーマルベクトルn及び
    基準座標系からの位置ベクトルpについて、円弧もしく
    は閉曲線上の点の位置データから把持面を計算し、把持
    面上において円近似を行い、円形断面の中心を求め、把
    持面の法線方向の単位ベクトルを、アプローチベクトル
    aに設定し、円形断面の中心から点p1への単位ベクトル
    を、ノーマルベクトルnに設定し、外積n×aで得られ
    るベクトルをオリエントベクトルoに設定し、円形断面
    の中心から、アプローチベクトルaに沿って、挿入深さ
    1にある点の成分を持つベクトルを、位置ベクトルpに
    設定する把持位置姿勢計算部とを備え、把持位置姿勢の
    教示を行うことを特徴とする把持位置姿勢教示装置及び
    その処理を実現するソフトウェアを記録した記録媒体。
  13. 【請求項13】 カメラによりハンドリング位置に設置
    された対象部品の画像を入力し、画像データを基に、対
    象部品を把持するための部品把持データを設定し、部品
    把持データを基に、把持位置姿勢を計算した後、ハンド
    衝突検査を行い、衝突確認付きの把持位置姿勢教示を行
    うことを特徴とする把持位置姿勢教示装置及びその処理
    を実現するソフトウェアを記録した記録媒体。
  14. 【請求項14】 カメラによりハンドリング位置に設置
    された対象部品の画像を入力し、画像データを基に、対
    象部品を把持するための部品把持データを設定し、部品
    把持データを基に、把持位置姿勢を計算した後、ハンド
    衝突検査を行い、激突する部分があれば、衝突が無くな
    るまで把持位置姿勢を調整して、把持位置姿勢教示を行
    うことを特徴とする把持位置姿勢教示装置及びその処理
    を実現するソフトウェアを記録した記録媒体。
JP22594197A 1997-08-22 1997-08-22 把持位置姿勢教示装置 Expired - Lifetime JP4233620B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22594197A JP4233620B2 (ja) 1997-08-22 1997-08-22 把持位置姿勢教示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22594197A JP4233620B2 (ja) 1997-08-22 1997-08-22 把持位置姿勢教示装置

Publications (2)

Publication Number Publication Date
JPH1158279A true JPH1158279A (ja) 1999-03-02
JP4233620B2 JP4233620B2 (ja) 2009-03-04

Family

ID=16837304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22594197A Expired - Lifetime JP4233620B2 (ja) 1997-08-22 1997-08-22 把持位置姿勢教示装置

Country Status (1)

Country Link
JP (1) JP4233620B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007319997A (ja) * 2006-06-01 2007-12-13 Nissan Motor Co Ltd 教示装置および教示方法
JP2012110255A (ja) * 2010-11-22 2012-06-14 National Agriculture & Food Research Organization 果柄切断装置
JP2013043271A (ja) * 2011-08-26 2013-03-04 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2018144162A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2018144164A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
WO2021095521A1 (ja) * 2019-11-15 2021-05-20 オムロン株式会社 設定装置、設定方法およびプログラム
JP6878727B1 (ja) * 2020-12-01 2021-06-02 株式会社エクサウィザーズ アノテーション支援装置、方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104626206B (zh) * 2014-12-17 2016-04-20 西南科技大学 一种非结构环境下机器人作业的位姿信息测量方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007319997A (ja) * 2006-06-01 2007-12-13 Nissan Motor Co Ltd 教示装置および教示方法
JP2012110255A (ja) * 2010-11-22 2012-06-14 National Agriculture & Food Research Organization 果柄切断装置
JP2013043271A (ja) * 2011-08-26 2013-03-04 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2018144162A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2018144164A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
WO2021095521A1 (ja) * 2019-11-15 2021-05-20 オムロン株式会社 設定装置、設定方法およびプログラム
JP2021079464A (ja) * 2019-11-15 2021-05-27 オムロン株式会社 設定装置、設定方法およびプログラム
JP6878727B1 (ja) * 2020-12-01 2021-06-02 株式会社エクサウィザーズ アノテーション支援装置、方法、及びプログラム
JP2022087396A (ja) * 2020-12-01 2022-06-13 株式会社エクサウィザーズ アノテーション支援装置、方法、及びプログラム

Also Published As

Publication number Publication date
JP4233620B2 (ja) 2009-03-04

Similar Documents

Publication Publication Date Title
US10618166B2 (en) Teaching position correction device and teaching position correction method
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JPH0869314A (ja) リードスルーによるロボットプログラミングシステム
US20190160662A1 (en) Teaching device for performing robot teaching operations and teaching method
Offodile et al. Evaluating the effect of speed and payload on robot repeatability
JP2010149267A (ja) ロボットのキャリブレーション方法および装置
JP6903777B1 (ja) 自動ティーチングシステム
JPH1158279A (ja) 把持位置姿勢教示装置及びその処理を実現するソフトウェアを記録した記録媒体
KR20180076966A (ko) 용접로봇의 작업대상물 용접선 검출방법
WO2023013740A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
JP3089228B2 (ja) 溶接ロボット用溶接手順ティーチング装置
JP3970559B2 (ja) データの座標変換方法
JPH1063324A (ja) 画像入力型ロボットシステム
JPH05303425A (ja) 直接教示方式ロボット
JP2616225B2 (ja) 相対位置決め方式
JP6908908B2 (ja) ロボットアームの経路生成装置および経路生成プログラム
CN114029950A (zh) 机器人的坐标系分析方法及装置、机器人设备、存储介质
JPH0839467A (ja) ロボット教示装置およびロボット教示方法
JP2001051712A (ja) ロボットの技能教示方法及び装置
JP2635027B2 (ja) ロボットによるワーク移送の教示方法およびその教示方法に使用する治具
JPS63256281A (ja) 溶接ト−チ姿勢の教示方式
JPH06137854A (ja) 三次元形状の検査方法
JPS62195513A (ja) 物体形状検知方法
JPH1133955A (ja) ロボットティーチング用二次元シミュレーション方法
JPH0724762A (ja) ロボット制御装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060403

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060801

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061002

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061116

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20061124

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20061215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080808

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080808

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131219

Year of fee payment: 5

EXPY Cancellation because of completion of term