JP4647687B2 - ロボットコマンド決定方法およびロボットコマンド決定システム - Google Patents

ロボットコマンド決定方法およびロボットコマンド決定システム Download PDF

Info

Publication number
JP4647687B2
JP4647687B2 JP2008507820A JP2008507820A JP4647687B2 JP 4647687 B2 JP4647687 B2 JP 4647687B2 JP 2008507820 A JP2008507820 A JP 2008507820A JP 2008507820 A JP2008507820 A JP 2008507820A JP 4647687 B2 JP4647687 B2 JP 4647687B2
Authority
JP
Japan
Prior art keywords
robot
subset
command determination
indistinguishable
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008507820A
Other languages
English (en)
Other versions
JP2008538327A (ja
JP2008538327A5 (ja
Inventor
ゴンザレス−バノス、ヘクター
エヌジー−ソウ−ヒング、ビクター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2008538327A publication Critical patent/JP2008538327A/ja
Publication of JP2008538327A5 publication Critical patent/JP2008538327A5/ja
Application granted granted Critical
Publication of JP4647687B2 publication Critical patent/JP4647687B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39001Robot, manipulator control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40564Recognize shape, contour of object, extract position and orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

関連出願
本願は、米国仮出願第60/672,916号(2005年4月18日提出)および米国出願(出願番号未定:2006年4月17日提出)「ロボットの姿勢制御」に基づき優先権を主張し、この参照により全文を本開示に含むものとする。
本発明は、ロボットコマンド(ロボットに対する命令)の決定に関し、特に、対象物(人体など)の姿勢に基づいたロボットコマンドの決定に関する。
ロボット制御は、特別なユーザインタフェースのチャレンジを提供する。精巧なロボットは、予め設けられたとても幅広いコマンドを実行することができる。そして、精巧なロボットは、これらのロボットを制御するためのユーザインタフェースが、高い自由度を持っている入力を受け入れることを必要とする。一方、ロボットアプリケーションは、ロボットの制御が速くて、直観的で、低労力であることを必要とすることが多い。
ロボットを制御する前のアプローチは、制御装置を操作することに焦点を当てる。例えば、ユーザは、ジョイスティックを使う、キーボードを打つ、あるいは、遠隔操作のために構成されたロボットの模型を動かすことによって、ロボットコマンドを選ぶかもしれない。しかし、そのような方法は、通常彼らが選ぶことに慣れている命令の自由度の数で制限されるか、あるいは、場合によってはユーザにとって非直観的であり、高いレベルの操作訓練を必要とする。
したがって、必要なのは、制御装置の操作を必要としない、ロボットコマンドを決定するためのシステムと方法である。
本発明では、対象物の姿勢に基づいてロボットコマンドを決定するシステムと方法が提案される。対象物上での位置を表している区別不能な点の集合は、サブセット(部分集合)に分けられる。
点のサブセットは、対象物の姿勢を決定するのに用いられる。例えば、1つの実施形態において、点のサブセットは、対象物のサブパーツ(部位)の方向(方位)を決定するのに用いられる。対象物における1つ以上のサブパーツの方向は、対象物の姿勢を集合的に決定するのに用いられてもよい。
点のサブセットの数は、対象物の姿勢によって表現されるコマンドのセット(集合)に基づく。例えば、1つの実施形態において、対象物の姿勢は、2つのコマンドのうちの1つを意味する。また、各コマンドは、1つ以上のパラメータを有する。
対象物の姿勢は、対象物の姿勢で表現されるコマンドのセットから1つ以上のロボットコマンドを決定するのに用いられる。
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。本実施形態において、同一の参照符号は、同一あるいは機能的に類似する要素を指す。また、図面においても、各参照符号の一番左の数字は、その参照符号が最初に使われる図面(の番号)と一致する。
「1つの実施形態」への、または、「実施形態」への本明細書においての参照とは、実施形態と関連して記述される特別な特徴、構造または特性が発明の少なくとも1つの実施形態に含まれることを意味する。明細書の様々な箇所での「1つの実施形態において」というフレーズの出現のすべてが、必ずしも、同じ実施形態に言及しているわけではない。
以下の詳細な説明のいくつかの部分は、コンピュータメモリの範囲内におけるデータビット上での操作のアルゴリズムや象徴的な表現という観点で示されている。これらのアルゴリズム的な説明や表現は、データ処理技術に精通した人々が、他の当業者に対して、最も効果的に自分たちの成果の本質を伝えるために使う手段である。ここで、一般に、アルゴリズムとは、望む結果につながっているステップ(命令)の首尾一貫したシーケンスであると理解されている。各ステップは、それらの要求している、物理量に対する物理的な操作である。通常、必然性はないが、これらの量は、電気、磁気あるいは光学信号の形をとる。電気、磁気あるいは光学信号は、保存、移転、結合、比較、その他の操作が可能である。主に一般的な用法上の理由で、ビット、価値、要素、シンボル、文字、用語、数、またはその種の他のものとしてこれらの信号を使用することは、便利であることが多い。さらにまた、一般性の損失なしで、モジュールまたはコード装置として物理量の物理的な操作を必要としているステップの特定の配列を参照することも、便利であることが多い。
しかし、これらおよび類似した語のすべては、適当な物理量に対応していて、単にこれらの量に適用される便宜的なラベルにすぎない。以下の説明から明らかなものとして他で特別に言及されない限り、説明を通して、「処理」、「コンピューティング」、「計算」、「決定」、「表示」、その他のような用語を使用する説明は、コンピュータシステム、あるいは類似した電子コンピュータ装置の動作や処理のことを指す。コンピュータシステム、あるいは類似した電子コンピュータ装置は、コンピュータシステムのメモリやレジスタやその他(情報記憶装置、送信装置、表示装置など)の中の物理的な(電子的な)量として表現されるデータを操作したり変換したりする。
本発明のいくつかの特徴は、アルゴリズムの形でこの明細書中に記述されたプロセスステップと命令を含む。本発明におけるプロセスステップと命令は、ソフトウェア、ファームウェアまたはハードウェアで表現される。そして、本発明におけるプロセスステップと命令は、ソフトウェアで表現されるとき、ダウンロードされ、様々なオペレーティングシステムにより用いられる異なるプラットホームから操作される。
本発明は、また、この明細書では、オペレーションを実行する装置に関するものである。この装置は、要求された目的のために特別に構築されたものであってもよいし、または、コンピュータに格納されるコンピュータプログラムによって選択的に起動されたあるいは変更された汎用コンピュータであってもよい。そのようなコンピュータプログラムは、例えば、コンピュータで読取り可能な記憶媒体に格納されればよいが、それに限定されない。そのようなコンピュータプログラムは、フレキシブルディスク、光ディスク、CD−ROM、磁気光ディスク、ROM(Read Only Memory)、RAM(Random Access Memory)、EPROM、EEPROM、磁気あるいは光のカード、ASIC(Application Specific Integrated Circuit)、あるいは、電子命令を格納するのに適してコンピュータシステムバスに接続されたどんな種類の記憶媒体に格納されてもよい。さらにまた、本明細書中で言及されるコンピュータは、単一のプロセッサを有していてもよいし、コンピューティング能力増加のための複数のプロセッサ設計を採用した構造であってもよい。
この明細書で表現されるアルゴリズムと表示は、いかなる特別なコンピュータや他の装置とも本質的には関連がない。様々な汎用システムもまた、この明細書での教示内容に従ってプログラムとともに使用される。あるいは、要求された方法ステップを実行するために、より専門化した装置を構築することが便利であるとわかるかもしれない。様々なこれらのシステムのために必要な構成は、以下の説明から明らかになるであろう。さらに、本発明は、いずれかの特定のプログラミング言語によって記述されるわけではない。この明細書中に記載されているように様々なプログラミング言語が本発明の教示内容を実行するのに用いられることがわかるであろう。そして、特定の言語に対する以下のどんな言及も使用可能性の開示と本発明のベストモードのために用意されている。
1.対象物(人体など)の姿勢に基づくロボットコマンドの決定
1つの実施形態において、システムは、対象物の姿勢に基づいてロボットコマンドを決定する。システムによって決定されるロボットコマンドは、実在あるいは仮想のロボット、人型ロボット、その他のロボットを制御するのに用いられる。例えば、コマンドによって制御されるロボットは、アバター(インターネットなどの仮想現実における自分の化身)、スクリーン上の仮想キャラ、あるいは、姿勢が決定している対象物から数千マイル離れてもおそらく動いている物理的なロボットでありえる。ロボットコマンドによって制御されるロボットの他の例は、当業者にとって明らかであろう。これらのいずれのロボットも、本発明の範囲から逸脱することなく使われる。
システムで決定されるコマンドは、利用できるロボットコマンドのセットのメンバである。ロボットコマンドは、特定の単位のレベルで、ロボットの行動を定める。ロボットコマンドの単位は、そのコマンドが使われるアプリケーションに依存して異なる。例えば、場合によっては、コマンドが特定のサーボ間命令のレベルであることは、有用かもしれない。そのようなコマンドは、ローレベルのタスク表現を持っている、と言われる。その他の場合、コマンドがあらかじめ定義されたプログラムのレベル(例えば「朝の雑用を遂行せよ」といった命令)であることが、有用かもしれない。1つの実施形態で、ロボットコマンドは、基本的なタスク(例えば「新聞紙を取って来い」、「カップをひっくり返せ」)と一致した単位のレベルで、ロボットの行動を定める。そのようなコマンドは、ハイレベルのタスク表現を持っている、と言われる。ハイレベルのタスク表現を有しているコマンドの実行は、ローレベルのタスク表現を有している複数のコマンドの実行(連続あるいは並行で)に帰着するかもしれない。
また、利用できるロボットコマンドのセットは、コマンドによって制御されるロボットの自由度にも依存するであろう。例えば、旧式のロボットは、たった2つの自由度(例えば方向と前進/後退)しか持たないかもしれない。他の例として、人型ロボットは、80もの(またはそれより多くの)自由度を持ち、姿勢、前進/後退、頭の方向、胴の方向、左ひじの角度、右ひじの角度などを決めることができるように作られてきた。自由度の高い人型ロボットと旧式ロボットとは利用できるコマンドの単位が異なるが、一般的に、人型ロボットは、旧式ロボットよりも、利用できるコマンドを多く持つであろう。
ロボットの性能とロボットコマンドの単位はともに、コマンドボキャブラリ(決定されるかもしれないコマンドがある検索スペース)を定める。コマンドボキャブラリの範囲は、前記した例の場合のようにロボットの性能だけでなく、それらのコマンドが使われるアプリケーションにも依存する。例えば、精巧さが同じ程度の2つのロボット(または同じロボットさえ)には異なるコマンドボキャブラリがあり、各々のボキャブラリがロボットの1つの特定の使用にふさわしいかもしれない。1つのアプリケーションにおいては、1つ1つ、ジョイント特定コマンドを使ってロボットを制御することが望ましいかもしれない。一方、他のアプリケーションにおいては、より広い、ゴール特定コマンドを使ってロボットを制御することが望ましい。1つの実施形態において、ロボットのコマンドボキャブラリは、ロボットが実行することができるコマンド(「利用できる」コマンド)の集合のサブセットである。
システムは、対象物の姿勢を決定することによって、コマンドボキャブラリからロボットコマンドを決定する。対象物の姿勢を決定することは、潜在的に難しく、リソースを消耗するタスクである。システムがロボットコマンドを決定する目的で対象物の姿勢を決定するので、対象物の姿勢検出の効率は、対象物の姿勢検出の精度を制限することによって改善できる。例えば、対象物の姿勢検出の精度は、コマンドボキャブラリの自由度に基づかせることができる。多くの場合、対象物の姿勢を部分的に検出すれば、限られたコマンドボキャブラリからロボットコマンドを決定することができる。対象物の姿勢検出に必要な処理が減ることは、ロボット制御システムにおけるリアルタイムパフォーマンス性、低労力性および効率性をアップさせる。
システムは、コマンドボキャブラリの自由度に基づく分析によって、対象物の姿勢を決定する。当業者に明らかなように、対象物の姿勢は様々な技術を使用して決定される。対象物の姿勢を決定する1つの方法を以下に記す。対象物の姿勢を決定する他の方法は、本発明の範囲から逸脱することなく実行される。
2.区別不能な点を使った対象物の姿勢の決定
対象物の姿勢を決定する1つの方法は、区別不能な点の集合(集合体)を使う。点は、対象物の三次元(3D)位置を示す。図1を参照して以下で述べるように、点は、様々な技術を使用してマーカから検出される。マーカは、実在と仮想のいずれでもよく、どんな対象物、人型ロボット、その他とも関係する。マーカは、対象物に関するどんな自然または人工の視覚的な特徴であってもよい。本発明の1つの実施形態によると、マーカは対象物自体の一部である視覚的な特徴である。本発明のもう1つの実施形態によると、マーカは、対象物とは別でありえて、対象物の位置、または、対象物の位置からの一定の距離である位置に一致している視覚的な特徴を導入する。また、マーカは、薄くても濃くてもよい。好ましい実施形態において、少なくとも3つのマーカが対象物に関連する。
どんな2点の既知の違いもそれらの位置に限られるという意味で、点は区別が不能である。対照的に、区別可能な点は、付加情報を含む。付加情報は、点が対象物上で特定の位置と関係していることを示すか、あるいは、その特定の点が時間内の過去の瞬間にどこにあったかを示す。区別不能な点を使うことの1つの長所は、ラベルのないマーカを使うことができることである。ラベルのないマーカは、通常、ラベルをつけられたマーカに比べて、対象物上で構成することが、より労力を要さず、より簡単である。例えば、受動的に光を反射するマーカのような、設置不要のマーカが使われる。その方法は、1つの点の現在の位置と時間内の過去の位置とを関連させる必要を避ける。したがって、少ないコンピュータ資源や雑音の多い環境とともに使われるときでも、その方法はリアルタイムオペレーションと増加した頑丈さを可能にする。
その方法は、対象物の方向か姿勢を決定するのに用いられる。方向(方位)は、対象物に対する全体的な評価である。方向検出の目的のために、対象物は堅い(変形しない)と仮定される。すべての堅い対象物(実在または仮想)は、方向を有する。
関節でつながれた対象物(以下、「関節対象物」という。)は、ジョイントでつながれる堅い対象物の集合体と定義される。すべての関節対象物は姿勢を有する。姿勢は、関節対象物を構成している堅い対象物の方向の集合体として定義される。それゆえに、非関節対象物にとっては、姿勢は意味のないことである。非関節対象物の姿勢は、その非関節対象物を構成する単一の堅い対象物の方向である。
標準的なコーヒーカップは、非関節対象物の例である。カップは方向を持ち、その方向は3次元空間のどんな方向でもありえる。ホッチキスは、単純な関節対象物の例である。カップと同様に、ホッチキスは3次元空間のどんな方向でも向きえる。しかし、カップと違って、ホッチキスは、方向を有する2つの堅い物体(ベースとトップ)から構成されている。ホッチキスの姿勢は、ベースの方向とトップの方向との関係として定義される。
人体は、より複雑な関節対象物の例である。人体には、方向と複雑な姿勢がある。人体は、堅い対象物の集合体として近似視できる。これらの堅い対象物は、人体のパーツと一致しうる。例えば、人体の左上腕を第1の堅い対象物、頭を第2の堅い対象物、胴上部(胴の上半分)を3つ目の堅い対象物、胴下部(胴の下半分)を4つ目の堅い対象物、などと考えることができる。ホッチキスの例と同様、人体の姿勢は、これらの堅い対象物の方向間の関係として定義される。
通常、複雑な関節対象物(例えば人体)の完全な姿勢をリアルタイムで決定するためには、大量の処理リソースを必要とする。しかし、多くのアプリケーションにとって、そのような分析は不要である。例えば、姿勢を決定する主な目的がロボットコマンドを決定することであれば、姿勢の決定の詳細のレベルはロボットコマンドボキャブラリの自由度と同等にまで減じられる。人体の完全な姿勢がたくさんの堅いパーツの方向間の関係を表現する一方、単純化された姿勢はより少数の堅いパーツの方向間の関係を表現することができる。多くのロボット制御アプリケーションにとって、単純化された姿勢を決定することで、ロボットコマンドを決定するのに十分な場合がある。
説明を目的として、人体を、方向と姿勢がある対象物の例として選んだ。その方法が方向や姿勢を有するどんな対象物(実在あるいは仮想)にも適用できること、および、その人体の説明が何ら制限を設けないこと、は明らかである。例えば、人は関節対象物を操作することができる。また、対象物の方向や姿勢は、ロボットコマンドを決定するのに用いられる。
本発明の1つの実施形態によると、対象物の方向は、その対象物に添付された点の集合体の方向に基づいて決定される。例えば、方向検出システムは、3次元位置を示す点の集合体(の情報)を受ける。その後、システムは、点の集合体の機能として、3次元参照フレーム(3本の直角軸からなる参照フレーム)を構築する。点が対象物に添付されるので、点の集合体の方向を決定することは対象物の方向を決定することに帰結する。
本発明の1つの実施形態によると、システムは、方位調整可能な幾何学図形をデータ点の配列や分布に合致させることによって、3次元参照フレームを構築する。順応可能な幾何学図形は、平面、一組のベクトル、固有ベクトルまたは回転変化に不変でない他のどの構成概念でもありえる。「合致」は、最適化または他の数の計算テクニックを使用することで実現される。
いくつかの仮定によって、対象物の方向の決定を容易にすることができる。例えば、点の間で、または、点と堅い対象物の間で特定の空間関係を仮定することは、有効なことがある。例えば、点が同一平面上にあるという仮定は、平面上の対象物の機能を選ぶことに役立つ。また、特定の方向だけが可能である、あるいは、特定の方向だけが特定の他の方向からの区別を必要とすると仮定することが役に立つこともある。例えば、ロボットコマンドボキャブラリの自由度は、システムを、横方向の変位を不認識とさせることができる。この不認識が与えられれば、方向検出システムは、姿勢検出の自由度を制限することができる。人体の姿勢を検出し、コマンドボキャブラリに依存することの例において、人体の特定のパーツの方向は、セットからコマンドを決定するために無関係でありえる。
点の集合体の特定の方向が対象物の特定の方向と対応していると仮定されうるように、姿勢検出システムは校正されなければならない。例えば、マーカが添付された人間のオペレータは、較正姿勢を仮定することによって、姿勢検出システムを調整する。調整は、マーカを示している点の集合体の方向と、マーカが添付される体のパーツの方向の関係を確立する。一旦、点の集合体の方向と対象物の方向の関係が確立されれば、点の集合体の方向は対象物の方向を決定するのに用いられる。
3.区別不能な点を使用した姿勢検出によるロボット制御
図1は、姿勢検出によってロボットを制御するシステムを例示したものである。点(点集合)102は、3次元空間での位置を示す。各々の点は、対象物上での位置を示す。1つの実施形態において、対象物は人体である、そして、その姿勢は様々な体のパーツの方向に基づいて決定される。姿勢はそれから、ロボットコマンドを決定するのに用いられ、そして、ロボットコマンドは実行のためにロボットに送られる。
本発明の1つの実施形態によると、各々の点は、対象物に添付されたマーカの位置を示す。対象物上の位置は、様々な方法を使用することによって、検出され、獲得され、感知される。例えば、対象物の位置は、写真測量装置、光学センサまたは慣性検出器に接続され配列された複数のカメラを使って感知される。対象物上の位置を検出するためのこれらの技術例は、単に例示の目的のために与えられたものであり、何ら制限をするものではない。対象物上でマーカや他の位置を検出するための他の技術は、本発明の範囲から逸脱することなく実現される。対象物上の位置の検出は、点102に帰結する。
1つの堅い対象物上の位置を示す点102は、その堅い対象物の方向を決定するのに用いられる。関節対象物の堅いサブパーツ(また、「部位」と呼ばれる。)の少なくともいくつかに添付される点102は、関節対象物の姿勢と同様、それらの堅いサブパーツの方向を決定するのに用いられる。
姿勢検出器104は点(点集合)102を受けて、対象物の方向や姿勢を決定する。姿勢検出器104の方法は、本発明の1つの実施形態によって、図2を参照して本明細書に記述される。姿勢検出器104は、姿勢データ105を発生する。
姿勢データ105は、対象物の方向や姿勢を示す。1つの実施形態において、姿勢データ105は、方向(例えば、サブパーツの)や方向間の角度の形で与えられる。例えば、検出された方向が平面として示されるなら、姿勢データ105は、ある基準面があり、各方向平面の交差によって作られる2つの角度(例えばシータとファイ)を示しうる。1つ以上の次元では、姿勢データ105は、また、いろいろな方向平面の間で作られる角度を含むこともできる。本発明の1つの実施形態によると、姿勢データ105は、対象物の完全な姿勢よりも明確性が劣る姿勢を示す。
ロボット制御モジュール106は、姿勢データ105を受ける。ロボット制御モジュール106は、姿勢データ105をロボットコマンド107に変換する。ロボット制御モジュール106は、例えば、入力変換器、ロボットモータコマンドモジュール、ロボットコントローラによって実現される。
ロボットコマンド107は、ロボット108によって実行される一組の1つ以上の命令を含む。ロボット108は、ロボット制御モジュール106からロボットコマンド107を受け取って、ロボットコマンド107を実行する。
図2は、姿勢検出装置(例えば姿勢検出器104)におけるデータの流れを例示したものである。姿勢検出装置は、点(点集合)202を受け取る。本発明の1つの実施形態によると、点202は図1を参照してこの明細書に記述された点102に類似している。
群識別204は、点(点集合)202を点のサブセットに分ける。点集合が分離されて発生するサブセットの数は、姿勢の決定の結果に影響を及ぼす。そのように、1つの実施形態において、点集合が分離されて発生するサブセットの数は、ロボットのコマンドボキャブラリのサイズに基づく。
本発明の1つの実施形態によると、群識別204は、どの点が第1の堅い対象物上の位置を示すか、そして、どの点が第2の堅い対象物上の位置を示すかを決定する。例えば、ロボットのコマンドボキャブラリにおけるコマンドのセットが、人体の頭部、胴上部および胴下部の方向によって十分明確にされると想定する。群識別204は、点(点集合)202を、頭部点206、胴上部点208および胴下部点210に分けることができる。これらのような点のサブセットは説明目的の例として選ばれたものであり、その例は何ら制限するものではない。本発明の範囲から逸脱することなく、群識別204は、点(点集合)202を、いろいろな方法を使用し、様々な結果を生むサブセットに分けることができる。
本発明の1つの実施形態によると、群識別204は、垂直方向に最大離隔した2つの点202を決定して、この分離が頭と胴上部の間の輪郭描写であると想定する。その2点のうちの高いほうの点よりも上に位置する点202はすべて、頭部点206と分類される。群識別204は、残りの点(上記2点のうちの低いほうの点よりも下に位置する点)をとって、垂直方向で中央値に沿ってそれらを分離する。この中央値よりも上に位置する点202はすべて、胴上部点208と分類される。そして、この中央値よりも下に位置する点202は胴下部点210と分類される。
点(点集合)202をいろいろなサブセットに分ける他の方法は、本発明の範囲から逸脱することなく実行される。例えば、いくつかの期待されるサブセットを与えられたとき、既存の点群化方法は点集合をサブセットに分けるのに用いられうる。点集合が分離されて発生しなければならないサブセットの数は、ロボットのコマンドボキャブラリ、対象物自体の自由度、あるいは、その両方に依存する。
方向検出212は、頭部の方向218を決定するために、頭部点206を使う。方向検出212は、先に述べたように点から方向を決定する。方向検出212は、頭(例えば、頭に添付される点の球平面配列あるいは平面配列)と関連した点のために、特定の仮定で作動することができる。
方向検出214と方向検出216は、方向検出212に同様に作動する、つまり、それぞれ、胴上部点208と胴下部点210を使って、それぞれ、胴上部の方向220と胴下部の方向222を生じる。
頭部の方向218、胴上部の方向220および胴下部の方向222の1つ以上のどんな組合せでも、姿勢を定める。その3つの方向の集合は、姿勢データ224を作り出す。そして、姿勢データ224は、図1を参照してこの明細書で記述された姿勢データ105に類似していることがありえる。システムは、さらに、はっきりと接合部の角度を姿勢データ224に含むために、角度差計算を実行することができる。姿勢データ224は、一組のロボットコマンド(例えば、ロボットのコマンドボキャブラリから)からロボットコマンドを決定するのに用いられる。
上記した例において、非常に基本的な姿勢だけを決定している間、対象物の特性とコマンドボキャブラリのコマンドのセットはロボットの十分な制御を可能にする。例において、システムが3つの対象物(頭、胴上部、胴下部)の方向だけを決定するので、システムは、人体の完全な姿勢を見つけている類似したシステムに比較して、少ない処理リソースを使用することになる。処理オーバヘッドの減少は、パフォーマンスを向上させ、また、ロボット制御システムの全体的なユーザビリティ(使いやすさ)を増加させる。
対象物の3つのサブパート(すなわち「部位」)の方向に基づく姿勢の例は、説明の目的のために示された。異なるコマンドボキャブラリからコマンドを決定するとき、同じシステム(または類似したシステム)は、より大きいまたは小さい詳細(例えば、4、5あるいは12のサブパートの方向を決定することによって)で姿勢を決定することができる。例えば、異なる能力があるロボットのためにロボットコマンドを生み出すとき、あるいは、ロボットが異なるコマンドの微小さから利益を得ているアプリケーションのために使われているとき、姿勢決定の詳細の増加は有用であろう。このシステムの他の利点とアプリケーションは、本発明の範囲から逸脱することなく、当業者にとって明らかであろう。
この明細書で使用された用語は、主に読みやすさと教育目的のために選ばれていて、創意に富んだ発明の主題を正確に描写したり、その境界を明確にしたりするために選ばれなかったかもしれない。したがって、本発明の公開は、発明の範囲に関して例示的であり何ら制限するものではなく、特許請求の範囲の外部に及ぶ。
姿勢検出によってロボットを制御するシステムを例示したものである。 姿勢検出装置におけるデータの流れを例示したものである。

Claims (29)

  1. ロボットを制御するための1つ以上のロボットコマンドを決定するロボットコマンド決定方法であって、
    姿勢を有する対象物上のラベルのないマーカに対応する区別不能な点からなるセットを受信するステップと、
    前記区別不能な点を群にすることによって、前記区別不能な点からなるセットを、前記対象物の第1の部分上の位置を示す区別不能な点からなる第1のサブセットと、前記対象物の第2の部分上の位置を示す区別不能な点からなる第2のサブセットと、を含み、それぞれのサブセットが前記対象物の異なる領域を示し、予めロボットコマンドのボキャブラリのサイズに基づいて定められた数の複数のサブセットに分離するステップと、
    前記区別不能な点からなる複数のサブセットから、前記対象物の姿勢を決定するステップと、
    前記決定した対象物の姿勢に基づいて、1つ以上のロボットコマンドを決定するステップと、
    を有することを特徴とするロボットコマンド決定方法。
  2. 前記ラベルのないマーカは前記対象物の視覚的な特徴から構成されることを特徴とする請求項1のロボットコマンド決定方法。
  3. 前記ラベルのないマーカは前記対象物に取り付けられることを特徴とする請求項1に記載のロボットコマンド決定方法。
  4. 前記ラベルのないマーカそれぞれは前記対象物の位置から一定の距離にあることを特徴とする請求項3に記載のロボットコマンド決定方法。
  5. カメラを使って前記ラベルのないマーカの位置を検出するステップを、さらに有することを特徴とする請求項1に記載のロボットコマンド決定方法。
  6. 光学センサを使って前記ラベルのないマーカの位置を検出するステップを、さらに有することを特徴とする請求項1に記載のロボットコマンド決定方法。
  7. 前記対象物は、人体であることを特徴とする請求項1に記載のロボットコマンド決定方法。
  8. 前記対象物の第1の部分は前記人体の第1の部位であり、前記対象物の第2の部分は前記人体の第2の部位であることを特徴とする請求項に記載のロボットコマンド決定方法。
  9. 前記対象物の姿勢を決定するステップは、
    前記区別不能な点からなる第1のサブセットの方向を決定するステップと、
    前記区別不能な点からなる第2のサブセットの方向を決定するステップと、
    を含むことを特徴とする請求項1に記載のロボットコマンド決定方法。
  10. 前記区別不能な点からなる第1のサブセットの方向を決定するステップは、
    方位調整可能な幾何学図形を前記区別不能な点からなる第1のサブセットに合致させるステップを含むことを特徴とする請求項に記載のロボットコマンド決定方法。
  11. 前記1つ以上のロボットコマンドを決定するステップは、
    前記区別不能な点からなる第1のサブセットの方向と前記区別不能な点からなる第2のサブセットの方向とに対応して行われることを特徴とする請求項に記載のロボットコマンド決定方法。
  12. 前記1つ以上のロボットコマンドを決定するステップは、
    前記区別不能な点からなる第1のサブセットの方向と前記区別不能な点からなる第2のサブセットの方向との間の角度に対応して行われることを特徴とする請求項に記載のロボットコマンド決定方法。
  13. 前記1つ以上のロボットコマンドは、ロボットを制御することに用いられることを特徴とする請求項1に記載のロボットコマンド決定方法。
  14. 前記ロボットは、人型ロボットであることを特徴とする請求項13に記載のロボットコマンド決定方法。
  15. 前記ロボットは、仮想ロボットであることを特徴とする請求項13に記載のロボットコマンド決定方法。
  16. ロボットを制御するための1つ以上のロボットコマンドを決定するロボットコマンド決定システムであって、
    姿勢を有する対象物上のラベルのないマーカに対応する区別不能な点からなるセットを受信し、
    前記区別不能な点を群にすることによって、前記区別不能な点からなるセットを、前記対象物の第1の部分上の位置を示す区別不能な点からなる第1のサブセットと、前記対象物の第2の部分上の位置を示す区別不能な点からなる第2のサブセットと、を含み、それぞれのサブセットが前記対象物の異なる領域を示し、予めロボットコマンドのボキャブラリのサイズに基づいて定められた数の複数のサブセットに分離する点分離器と、
    前記区別不能な点からなる複数のサブセットから、前記対象物の姿勢を決定する姿勢決定器と、
    前記決定した対象物の姿勢に基づいて、1つ以上のロボットコマンドを決定するロボットコマンド決定器と、
    を備えることを特徴とするロボットコマンド決定システム。
  17. 前記ラベルのないマーカの位置を検出するように構成されたカメラを、さらに有することを特徴とする請求項16に記載のロボットコマンド決定システム。
  18. 前記ラベルのないマーカの位置を検出するように構成された光学センサを、さらに有することを特徴とする請求項16に記載のロボットコマンド決定システム。
  19. 前記区別不能な点からなる第1のサブセットの方向を決定する第1の方向決定器と、
    前記区別不能な点からなる第2のサブセットの方向を決定する第2の方向決定器と、をさらに備える
    ことを特徴とする請求項16に記載のロボットコマンド決定システム。
  20. 前記第1の方向決定器は、方位調整可能な幾何学図形を前記区別不能な点からなる第1のサブセットに合致させる幾何学図形適合器である
    ことを特徴とする請求項19に記載のロボットコマンド決定システム。
  21. 前記ロボットコマンド決定器は、前記区別不能な点からなる第1のサブセットの方向と前記区別不能な点からなる第2のサブセットの方向とに基づいたロボットコマンドのセットから、1つ以上のロボットコマンドを決定する
    ことを特徴とする請求項19に記載のロボットコマンド決定システム。
  22. 前記ロボットコマンド決定器は、前記区別不能な点からなる第1のサブセットの方向と前記区別不能な点からなる第2のサブセットの方向との角度に基づいたロボットコマンドのセットから、1つ以上のロボットコマンドを決定する
    ことを特徴とする請求項19に記載のロボットコマンド決定システム。
  23. 姿勢を有する対象物上のラベルのないマーカに対応する区別不能な点からなるセットの検出に反応する1つ以上のロボットコマンドを決定するロボットコマンド決定システムであって、
    前記区別不能な点からなるセットを受信する手段と、
    前記区別不能な点を群にすることによって、前記区別不能な点からなるセットを、前記対象物の第1の部分上の位置を示す区別不能な点からなる第1のサブセットと、前記対象物の第2の部分上の位置を示す区別不能な点からなる第2のサブセットと、を含み、それぞれのサブセットが前記対象物の異なる領域を示し、予めロボットコマンドのボキャブラリのサイズに基づいて定められた数の複数のサブセットに分離する手段と、
    前記区別不能な点からなる複数のサブセットから、前記対象物の姿勢を決定する手段と、
    前記決定した対象物の姿勢に基づいて、1つ以上のロボットコマンドを決定する手段と、を備える
    ことを特徴とするロボットコマンド決定システム。
  24. 前記ラベルのないマーカの位置を検出するように構成されたカメラを、さらに有することを特徴とする請求項23に記載のロボットコマンド決定システム。
  25. 前記ラベルのないマーカの位置を検出するように構成された光学センサを、さらに有することを特徴とする請求項23に記載のロボットコマンド決定システム。
  26. 前記区別不能な点からなる第1のサブセットの方向を決定する手段と、
    前記区別不能な点からなる第2のサブセットの方向を決定する手段と、をさらに備える
    ことを特徴とする請求項23に記載のロボットコマンド決定システム。
  27. 前記区別不能な点からなる第1のサブセットの方向を決定する手段は、方位調整可能な幾何学図形を前記区別不能な点からなる第1のサブセットに合致させる手段であることを特徴とする請求項26に記載のロボットコマンド決定システム。
  28. 前記1つ以上のロボットコマンドを決定する手段は、前記区別不能な点からなる第1のサブセットの方向と前記区別不能な点からなる第2のサブセットの方向とに対応することを特徴とする請求項26に記載のロボットコマンド決定システム。
  29. 前記1つ以上のロボットコマンドを決定する手段は、前記区別不能な点からなる第1のサブセットの方向と前記区別不能な点からなる第2のサブセットの方向との間の角度に対応することを特徴とする請求項26に記載のロボットコマンド決定システム。
JP2008507820A 2005-04-18 2006-04-18 ロボットコマンド決定方法およびロボットコマンド決定システム Expired - Fee Related JP4647687B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US67291605P 2005-04-18 2005-04-18
US11/406,483 US7664571B2 (en) 2005-04-18 2006-04-17 Controlling a robot using pose
PCT/US2006/014634 WO2006113755A2 (en) 2005-04-18 2006-04-18 Controlling a robot using pose

Publications (3)

Publication Number Publication Date
JP2008538327A JP2008538327A (ja) 2008-10-23
JP2008538327A5 JP2008538327A5 (ja) 2010-04-22
JP4647687B2 true JP4647687B2 (ja) 2011-03-09

Family

ID=37115885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008507820A Expired - Fee Related JP4647687B2 (ja) 2005-04-18 2006-04-18 ロボットコマンド決定方法およびロボットコマンド決定システム

Country Status (3)

Country Link
US (1) US7664571B2 (ja)
JP (1) JP4647687B2 (ja)
WO (1) WO2006113755A2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8147503B2 (en) * 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
US8108072B2 (en) * 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
KR101494344B1 (ko) * 2008-04-25 2015-02-17 삼성전자주식회사 휴머노이드 로봇의 움직임 제어 시스템 및 그 방법
TWI373361B (en) * 2008-10-09 2012-10-01 Univ Nat Chiao Tung Glove puppet manipulation system
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
TWI471755B (zh) * 2010-01-13 2015-02-01 Chao Lieh Chen 能操控電氣設備作動模式的操控裝置
US10166680B2 (en) 2015-07-31 2019-01-01 Heinz Hemken Autonomous robot using data captured from a living subject
US9676098B2 (en) 2015-07-31 2017-06-13 Heinz Hemken Data collection from living subjects and controlling an autonomous robot using the data
US11281208B2 (en) * 2018-03-02 2022-03-22 Carnegie Mellon University Efficient teleoperation of mobile robots via online adaptation
US11919170B2 (en) * 2019-12-13 2024-03-05 Edda Technology, Inc. Fast method for robot path planning with obstacle avoidance

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031551A (ja) * 1996-07-15 1998-02-03 Mitsubishi Electric Corp ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置
JP2000099741A (ja) * 1998-09-25 2000-04-07 Atr Media Integration & Communications Res Lab 多眼画像処理による人物の三次元姿勢推定方法
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JP2003039365A (ja) * 2001-03-28 2003-02-13 Honda Motor Co Ltd ジェスチャを認識するコンピュータシステム、歩行ロボット及び方法
JP2003527708A (ja) * 2000-03-13 2003-09-16 アーベー イン クレデブル ジェスチャ認識システム
JP2004094288A (ja) * 2002-07-12 2004-03-25 Honda Motor Co Ltd 指示位置検出装置及び自律ロボット
JP2004188533A (ja) * 2002-12-10 2004-07-08 Toyota Motor Corp 対象物の取扱い推定方法および取扱い推定装置
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61146482A (ja) 1984-12-20 1986-07-04 工業技術院長 異構造異自由度バイラテラル・マスタスレイブ・マニピユレ−タの制御装置
US5876325A (en) 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
US5930741A (en) * 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
KR100449429B1 (ko) 1995-09-14 2004-12-13 가부시키가이샤 야스가와덴끼 로봇의교시장치
US5790124A (en) * 1995-11-20 1998-08-04 Silicon Graphics, Inc. System and method for allowing a performer to control and interact with an on-stage display device
US6088042A (en) * 1997-03-31 2000-07-11 Katrix, Inc. Interactive motion data animation system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
JP3110403B2 (ja) 1998-11-16 2000-11-20 技術研究組合医療福祉機器研究所 マスタスレーブマニピュレータ装置の制御方法とマニピュレータ操作入力のトレーニング方法
US6341246B1 (en) * 1999-03-26 2002-01-22 Kuka Development Laboratories, Inc. Object oriented motion system
US6347261B1 (en) 1999-08-04 2002-02-12 Yamaha Hatsudoki Kabushiki Kaisha User-machine interface system for enhanced interaction
JP3443077B2 (ja) 1999-09-20 2003-09-02 ソニー株式会社 ロボットの運動パターン生成装置及び運動パターン生成方法、並びにロボット
US6377281B1 (en) * 2000-02-17 2002-04-23 The Jim Henson Company Live performance control of computer graphic characters
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
JP4624577B2 (ja) 2001-02-23 2011-02-02 富士通株式会社 複数のセンサによるヒューマンインタフェースシステム
JP2002301674A (ja) * 2001-04-03 2002-10-15 Sony Corp 脚式移動ロボット及びその運動教示方法、並びに記憶媒体
US6831603B2 (en) * 2002-03-12 2004-12-14 Menache, Llc Motion tracking system and method
US6978167B2 (en) 2002-07-01 2005-12-20 Claron Technology Inc. Video pose tracking system and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031551A (ja) * 1996-07-15 1998-02-03 Mitsubishi Electric Corp ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JP2000099741A (ja) * 1998-09-25 2000-04-07 Atr Media Integration & Communications Res Lab 多眼画像処理による人物の三次元姿勢推定方法
JP2003527708A (ja) * 2000-03-13 2003-09-16 アーベー イン クレデブル ジェスチャ認識システム
JP2003039365A (ja) * 2001-03-28 2003-02-13 Honda Motor Co Ltd ジェスチャを認識するコンピュータシステム、歩行ロボット及び方法
JP2004094288A (ja) * 2002-07-12 2004-03-25 Honda Motor Co Ltd 指示位置検出装置及び自律ロボット
JP2004188533A (ja) * 2002-12-10 2004-07-08 Toyota Motor Corp 対象物の取扱い推定方法および取扱い推定装置
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム

Also Published As

Publication number Publication date
US20060271239A1 (en) 2006-11-30
JP2008538327A (ja) 2008-10-23
WO2006113755A2 (en) 2006-10-26
US7664571B2 (en) 2010-02-16
WO2006113755A3 (en) 2007-11-22

Similar Documents

Publication Publication Date Title
JP4647687B2 (ja) ロボットコマンド決定方法およびロボットコマンド決定システム
JP6546618B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
KR102230421B1 (ko) 가상 모델 제어 방법 및 장치
CN113696186B (zh) 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
CN109202942B (zh) 手控制装置、手控制方法以及手的模拟装置
JP4934220B2 (ja) ラベル割当を用いた手サイン認識
JP6429450B2 (ja) 情報処理装置、情報処理方法
EP1810217B1 (en) Automated gesture recognition
JP6007636B2 (ja) ロボット制御システム及びロボット制御装置
JP7051751B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
Ehlers et al. A human-robot interaction interface for mobile and stationary robots based on real-time 3D human body and hand-finger pose estimation
EP4173776A1 (en) Robot control device and robot control method, and program
WO2023178984A1 (en) Methods and systems for multimodal hand state prediction
JP4997419B2 (ja) ロボット用動作変換システム
JP6456557B1 (ja) 把持位置姿勢教示装置、把持位置姿勢教示方法及びロボットシステム
JP7349423B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
JP6455869B2 (ja) ロボット、ロボットシステム、制御装置、及び制御方法
Usabiaga et al. Global hand pose estimation by multiple camera ellipse tracking
Hoffmann et al. Automatic calibration of a motion capture system based on inertial sensors for tele-manipulation
CN117340914B (zh) 一种仿人机器人体感控制方法及控制系统
JP2018077732A (ja) 画像処理装置、画像処理方法
KR20170128668A (ko) 핸드 제스처 인식 장치 및 방법
CN118488885A (zh) 机器人控制设备和机器人控制方法
Zeller et al. Vision-based robot motion planning using a topology representing neural network
Kulecki Multimodal robot programming interface based on RGB-D perception and neural scene understanding modules

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100302

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20100302

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20100309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101130

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4647687

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees