JP5576008B2 - 方向付け/位置決めシステム制御方法 - Google Patents

方向付け/位置決めシステム制御方法 Download PDF

Info

Publication number
JP5576008B2
JP5576008B2 JP2006210060A JP2006210060A JP5576008B2 JP 5576008 B2 JP5576008 B2 JP 5576008B2 JP 2006210060 A JP2006210060 A JP 2006210060A JP 2006210060 A JP2006210060 A JP 2006210060A JP 5576008 B2 JP5576008 B2 JP 5576008B2
Authority
JP
Japan
Prior art keywords
sensor
sensor means
actuator
orientation
linear mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006210060A
Other languages
English (en)
Other versions
JP2007044865A (ja
Inventor
フランク・ヨーブリン
トビアス・ローデマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Research Institute Europe GmbH
Original Assignee
Honda Research Institute Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Research Institute Europe GmbH filed Critical Honda Research Institute Europe GmbH
Publication of JP2007044865A publication Critical patent/JP2007044865A/ja
Application granted granted Critical
Publication of JP5576008B2 publication Critical patent/JP5576008B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39367Using a motion map, association between visual position and joint position
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39387Reflex control, follow movement, track face, work, hand, visual servoing
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40617Agile eye, control position of camera, active vision, pan-tilt camera, follow object

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、自己適応型センサ−モータ・システムの耐性向上の技術に関し、特に、外部運動が存在する環境におけるセンサ−モータ・システムの自動較正の耐性向上の技術に関する。
本発明の背景は、方向情報を供給するセンサ手段を持つ方向づけ/位置決め装置の分野であり、該センサ手段の入力空間が、方向づけ/ 位置決め装置の駆動手段によって制御される実際の行動(アクション)によって変わり得るものである。このような装置の1つの適用例において、センサ手段の入力空間において認識されたパターンが、例えばセンサ手段の入力空間座標の中心(原点)のような目標位置に移されるようにセンサ手段が方向付け/位置決めされる。本発明のシステムおよび方法に関する応用の典型的な例は、例えば、ロボットのカメラの焦点合わせ動作、自動カメラによる監視あるいはポインティング・デバイスである。本発明に従ったカメラおよび方向付けシステムを備えるロボットは、認識された対象物に焦点を合わせ、対象物を取り扱うため対象物方向に移動することができる。
適切に動作するように頻繁な較正(キャリブレーション)を必要とすることが、そのような方向付け/位置決め装置の欠点である。(例えばセンサと装置のアクチュエータとの間の物理的関係が変更される場合のような)システム配置におけるあらゆる変更の後、(レンズ交換、モータ修正などのような)あらゆる修正の後、および、変化するまたは制御されてない環境で装置が使用される場合に、そのような較正が実施されなければならない。
ある特定の環境では、ユーザによる手作業の較正が不可能かまたは望ましくない。 更に、システム配置における頻繁な変更の場合、または、センサあるいはモータの頻繁な修正の場合、または制御されていない環境の場合、頻繁な較正は非常に時間浪費的で手間を要する。
そのため、自動較正型方向付け/位置決め装置がいくつか提案されている。特に、ヨーロッパ特許出願第04009123.3号に記述されている自動較正型センサ方向付けシステムは、Art. 54(3) EPCに従った最先端技術とみなされる。この特許出願は、少なくとも1つのセンサ手段と該センサ手段の方向付けおよび/または位置決め行動を制御するアクチュエータ手段とを備えた方向付け/位置決めシステムを制御する方法を提案している。
該方法は、
(S1)センサの入力空間におけるパターンの位置を検出するため前記センサ手段の行動前出力情報を評価するステップ;
(S2)センサの入力空間における当該パターンの目標とされた動作後位置を決定するステップ;
(S3)センサ手段の入力空間における行動前位置と目標動作後位置との偏差を所定のマッピング機能を使用してアクチュエータ制御座標にマッピングすることによってアクチュエータ手段に関するコマンドを定義するステップ;
(S4)方向付け/位置決め行動を実行するため定義されたコマンドに従ってアクチュエータ手段によってセンサ手段を方向付け/位置決めを行うステップ;
(S5)センサ手段の入力空間における実際の行動後位置を検出するステップ;および
(S6)マッピング機能の漸増適応型学習(incremental adaptive learning)を実行するためセンサ手段の入力空間における行動前位置と目標動作後位置との偏差に基づいて上記ステップ(S3)において使用されたマッピング機能を適応させるステップを含み、それぞれに適応されたマッピング機能を使用して、上記ステップ(S1)からステップ(S6)が少なくとも一度周期的に反復される。
しかしながら、例えば動く人物のような外部の動きがあると、視野における視覚可能対象物のどのような運動も、システムの較正戻しまたは一層長時間の較正プロセスを必要とする点において、適応プロセスをゆがめるので、この手法は機能しない可能性がある。これは、人間の介入が伴うすべてのシナリオにおける共通の問題である。
従って、本発明の目的は、上述のような環境においても精度の高いシステム自動較正を可能にする方向付けシステム制御方法および自動較正型方向付けシステムを提供することにある。
本発明の1つの側面に従って、少なくとも1つのセンサ手段、該センサ手段の環境において外部要因による運動を検出する外部運動検出装置、センサ手段の方向付けおよび/あるいは位置決め行動を制御するアクチュエータ手段を備える方向付け/位置決めシステムを制御する方法が提案される。
方向付けシステムを制御する方法であって、該システムは、少なくとも1つのセンサ手段(S)と、該センサ手段のセンサ範囲における運動の存在を検出する外部運動検出装置(M)と、前記センサ手段(S)の方向付けまたは位置決め行動を制御するアクチュエータ手段(A)とを備えるシステムを制御する方法であって、
(S1)センサ手段の入力空間におけるパターンの位置を検出するため前記センサ手段の方向付け行動前の出力情報を評価するステップと、
(S2)センサ手段の入力空間における前記パターンの目標位置を決定するステップと、を含み
(S3)センサ手段の入力空間座標における前記パターンの位置と該パターンの前記目標位置との偏差を所定の線形マッピングまたは非線形マッピングを使用してアクチュエータ制御座標にマップすることによって前記パターンが前記目標位置にくるよう前記アクチュエータ手段を駆動するためのコマンドを用い、前記アクチュエータ手段によってセンサ手段の方向付けまたは位置決めを行うステップと、
(S4)前記ステップS3による方向付け後に、前記センサ手段の入力空間における前記パターンの実際の位置を検出するステップと、を含む方法において、
(S5)前記外部運動検出装置(M)を使用して前記パターンの動きを検出するステップと、
(S6)前記偏差が所定の値より小さくなるよう、前記線形マッピングまたは非線形マッピングを適応させて更新するステップと、を含み、
前記ステップ(S1)乃至ステップ(S6)を少なくとも一度または繰り返し実行し、
前記外部運動検出装置(M)によって前記パターンの動きが検出されると、前記線形マッピングまたは非線形マッピングの更新を禁止すること、を含むことを特徴とする。
留意されるべき点であるが、ステップS4において、(例えば、センサ手段が車またはロボットに搭載されている場合のように、センサ手段の支持部を動かすことによって)センサ手段は直接または間接的に動かされることができる。
ステップS7において、センサ手段の入力空間におけるパターンの実際の行動後位置と目標位置との偏差に基づいて、補正信号が計算されることができる。マッピング機能は、補正信号およびセンサ手段の入力空間におけるパターンの行動後位置を考慮に入れて、適応されることができる。
ステップS7において、代替的に、行動を実行する時実際に目標行動後位置へ動かされた行動後位置に基づいて、補正信号を計算することもできる。マッピング機能は、補正信号およびセンサ手段の入力空間におけるパターンの行動後位置を考慮に入れて、適応されることができる。
マッピング機能を適応する前に、マッピング機能に関する適応率を制御するため、適応ベクトルに0以上1以下の係数を乗算することができる。
マッピング機能は、参照テーブルという手段によって実施することができる。参照テーブルは、センサ座標を対応するアクチュエータ座標に関連づける。
マッピング機能の適応は、センサ座標またはアクチュエータ座標のいずれにおいてでも実行することができる。
この手法は、例えば、人間の介入を必要とする環境において作動するカメラ・システムに関して使用することができる。
本発明のシステムは、従来技術の自動方向付け/自動較正システムに比べて、より簡単でより柔軟であり、保守の必要性がより少ない。本発明のシステムの配置の変更は、外部の動きが存在する場合でさえ、アクチュエータ手段およびセンサ手段の新しい較正を必要とすることなく、可能である。
添付図面を参照して、本発明の実施形態を以下に記述する。以下の記述において、図面における同じ参照記号は同じ構成要素を意味する。
図1のaを参照して、本発明に従ったプロセスを以下に記述する。既知のプロセスと同様に、センサ手段1の入力空間において認識されたパターンの目標位置に関する判断を行うため、センサの出力信号が評価される。この目標位置は、事前に計算される「ワン・ストライク」行動(“one-strike” action)によって到達されるべきものである。このことは、1つの行動、すなわち、実世界との計画された相互作用が先ず設定され、次に、それが完全に実行されることを意味する。その行動が完了した後にのみ、当初計画された行動と実際の結果との間の差異が評価され、付加的な補正をするための行動が計画され、実行される。
決定された行動のセンサ座標を本発明に従ってアクチュエータ座標にマップするため、適応型学習マッピングが使用される。方向付けの最初の周期において、大まかに推定された、または、任意に(arbitrarily)設定されたマッピング機能が使用される。少なくとも1つの更なる周期において、改良された「学習された」マッピング機能が使用される。
この手法は、(摩耗、設定変更、置き換え、温度変動等のように)センサ / アクチュエータ特性が変化する場合、人間の介入なしに、また、アクチュエータとセンサとの間の座標の相関を分析的に(再)定義することなく、数回(a few)の学習/適応周期を介して正確なセンサ / アクチュエータ・マッピングを自動的に達成するという利点を持つ。
適応型学習プロセスを実行するため、1周期が完了し、1つの行動が実行されたなら、行動の成功、すなわち、パターンが実際に目標位置の近くに動かされたか否かが評価され、偏差に従って、補正信号が生成され、漸増型学習ステップを実行するため該補正信号がマッピング装置へ供給される。この周期は、終了条件が満たされるまで、反復される。すなわち、計画された行動と実世界(real world:実際の)結果との間の偏差があらかじめ設定されたしきい値より小さくなるまで、周期的反復が、繰り返されるか、または、無制限に続行される。
ワン・ストライクで所望の結果を生み出すように意図された行動が完了した後、補正信号が生成される点注意されるべきである。
要約すれば、本例に従えば、実行されるべき行動がセンサ座標において決定され、その結果がアクチュエータ(モータ)座標にマップされる。
図1bは代替構成を示す。この代替構成においては、アクチュエータ座標系において判断プロセスを実行する前に、センサ座標が先ずアクチュエータ座標にマップされる。この構成の利点は、例えば、アクチュエータ座標において判断が行われている間、アクチュエータ座標に関する制約(最大値範囲、速度、加速度など)を容易に考慮に入れることができる点である。
更に、図1bの代替構成によれば、種々の、すなわち異種のセンサの出力信号をそれぞれのアクチュエータ座標に個別にマップすることができる。次に、それぞれのアクチュエータ座標は結合することができ、その結合されたアクチュエータ座標に基づいて実行すべき行動が決定される。
ここで、図2aを参照して、補正信号の計算およびマッピング機能の適応の第1の実施形態を以下に記述する。上述のように、センサ座標において決定された行動の座標をアクチュエータ手段の制御のために適応される座標へ変換することがマッピング機能の目的である。従って、図2aは、センサ・アレイおよびモータ・アレイ両方のブロック図を示している。本例において、行動前位置
Figure 0005576008
をセンサ・アレイ(センサ入力空間)の中央に移すような行動を実行することが想定されている。あらかじめ設定されたマッピング機能を使用して、対応するアクチュエータ(モータ)コマンドが
Figure 0005576008
であると仮定される。しかしながら、このコマンドを使用すると、行動前位置(数1に示す記号)はセンサ・アレイの目標位置へ正確に移すことができず、行動後位置
Figure 0005576008
へ移される。ここで、本発明に従って、マッピング機能の漸増的学習適応が、線形補外法として、実行される。すなわち、座標(自由度)xに関し、次の周期で使用されるべき適応的に補正されたモータ・コマンドが以下のように計算される。
Figure 0005576008
ただし、
Figure 0005576008
であり、αは、座標xの適応率を制御するための(0以上で1以下の)オプション・パラメータである。
この補外型学習プロセスは非線形マッピングに関して使用することもできる点留意されるべきである。
更に、図2aに示されている学習プロセスは、図1aおよび図1b両方の判断手法に適応することができる。
最後に、この学習プロセスは、センサの入力空間に刺激を発する源(stimulus
-emitting sources)が一つある場合のみならず複数の刺激を発するがある場合にも使用することができる。
図2bを参照して、補正信号の計算およびマッピング機能の適応の参考例を以下に記述する。この形態においても、マッピング機能の目的は、センサ座標において決定された行動の座標をアクチュエータ手段の制御のために適応される座標へ変換することにある。従って、図2bは、センサ・アレイおよびモータ・アレイ両方のブロック図を示している。本例において、行動前位置(数1に示す)をセンサ・アレイ(センサ入力空間)の中央に移すような行動を実行することが想定されている。あらかじめ設定されたマッピング機能を使用して、対応するアクチュエータ(モータ)コマンドが数2に示すものと仮定される。しかしながら、このモータ・コマンドを使用すると、行動前位置(数9に示す)はセンサ・アレイの目標位置へ移る。この参考例では、コマンド(数2に示す)による行動を実行する時、実際に目標位置に移された基準位置が識別される。更に、第1の実施形態と対照的に、マッピングの適応は次式に従ってセンサ空間において実行される。
Figure 0005576008
上式において、
Figure 0005576008
は、時間tにおける次元xに関する補正された目標行動後位置であり、
Figure 0005576008
は、時間t−1における次元xに関する(未補正の)目標行動後位置であり、
Figure 0005576008
は、時間t−1における次元xに関する行動前基準位置であり、αは、次元xに関する適応率を制御する(0以上で1以下の)定数である。
留意されるべき点であるが、この学習プロセスは、図1aおよび図1b両方の判断手法に適応することができる。しかしながら、これは比較的手っ取り早い方法であり、入力空間に複数の刺激を発する源が存在することを必要とする。ただ1つの刺激を発する源しか存在しない場合、上述のような基準位置を検出することは明らかに不可能である。
次に、図3を参照して、外部運動検出装置からの出力信号を使用することによる適応ステップの制御を記述する。
運動の方向を含み、運動を計算する標準手法が存在する。(参照:http://en.wikipedia.orglwiki/Motion_detection または http://www.canberra.com1literature/1070.aspに記載の"motion detection technologies")。図3に示されているように、運動検出器Mまたはセンサ・システムSの能力に応じて、外部運動検出装置Mによって運ばれる情報は以下の1つである:
−運動検出システムは、センサ範囲全体における運動の存在だけを検出することができる。例えばカメラ・システムは2つの連続した画像が同一ではないことを認める。
−運動検出システムは、運動がどこで発生したかを指摘することができる。例えば、カメラ・システムは2つの連続画像の間でどのピクセルが異なるかを示すことができる。
−運動検出システムは、運動ベクトルを提供する。すなわち、対象物の正確な統合化された運動(全体の変位)が提供される。
運動検出システムの上記出力の各々について、マッピング機能の適応を制御する異なる手法が存在する。それらの異なった実施形態を以下に記述する。
本発明のこれから記述される実施形態において、運動検出システムはセンサ領域全体において運動の存在だけを検出することができると仮定される。例えば、カメラ・システムは、連続センサ測定値を別の測定値から差し引くことによって、2つの連続画像が同一でないことを認識する(ケース1)。
方向付け動作の前後のセンサ入力の比較に基づいて上記2つのセンサ入力スナップショットが取られる時、時間的に2つの点の間でなんらかの運動が検出されれば、センサ/モータ・マッピングの適応が抑制される。(運動検出装置において)自我運動が補償されることができなければ、前回の2つの方向付け運動の間で運動が検出されたなら、少なくとも適応は禁止される。その後、本発明において、適応が禁止されているため、入力が必要でないので、外部運動の検出もまたその他の較正手順の禁止/抑制をもたらす。
本発明の更なる実施形態において、運動がどこで発生したかを運動検出システムが指摘することができると仮定される。すなわち、カメラ・システムが連続する画像の間でどのピクセルが異なるかを示すことができる。この能力が存在していれば、対象ポイントの周辺の領域Fにおいて運動が検出された場合に限り学習が中止されればよい。
図2aに関連して上述された学習手法の実施形態に関して、この対象ポイントは方向付け動作の前の対象物の位置である。
図2bに関連して上述された学習手法の実施形態に関して、この対象ポイントは実際に目標位置に動かされたパターンの位置である。
領域Fの大きさは運動検出システムの精度に応じて選択されなければならない。
図4のa、bおよびcを参照して更に別の実施形態を以下に記述する。
図4のa、bおよびcは、本発明において、外部運動検出装置Mからの情報を使用して、センサ装置の方向付け動作によって誘発された外部対象物の実際の動作をどのように推論することができるかを示す。
図 4aにおいて、方向付け動作の前と後にセンサ手段によって対象物/ パターンの位置が測定される。留意されるべき点であるが、当該対象物の変位は、すべて方向付け動作(自我運動)によるか、あるいは、すべて対象物の外部運動によるか、あるいは、(最も可能性があるが)両者の組み合わせによるかいずれかである。
次に、図4bにおいて、対象物の運動、すなわち、時間的に異なる2つのポイントにおける(すなわち方向付け動作の前と後における)対象物の位置が同様に測定される。ここで、方向付けステップの前と後で取られるセンサ・スナップショットの間における主システムのセンサ入力における対象物の正確な統合化された運動(全転位)を運動検出システムが提供することができると仮定される。
最後に、図4cは、方向付け動作の前後に測定された対象物運動と検出された対象物運動を結合することによってセンサ装置の方向付け動作によって誘発された外部対象物の実際の動作がどのように得られるかを示している。
次に、この情報が以下のように適応ステップに含まれる。
図2aに関連して上述された適応方法に関しては、方向付け運動の後の目標の位置が、検出された全外部運動に基づいて、修正される。
両方のセンサが同じ座標系で動作すると仮定すれば、有効目標位置(数3に示す記号)(=適応のため使用された位置)は、次式のように、(方向付け動作の後の)方向付けセンサ・システムSaから累積外部運動Seを差し引いた値となる。
Figure 0005576008
位置はピクセルに対応し、減算はベクトル演算である。
図2bに関連して上述された適応方法に関しては、統合された外部運動Seによって補正される中心配置の対象物の動作前位置(数9に示す記号)は、
Figure 0005576008
となる。演算はベクトル算で共通座標系を仮定している。
図5は、本発明に従った自己較正型方向付け/位置決めシステムの1つの実施形態のブロック図である。
該システムは、センサ手段1の少なくとも1次元入力空間における(例えば認識および定義された対象物の)パターンの位置を特定するため実世界の情報を収集するセンサ・システムSを備える。センサ・システムSは、代替的に、レーダ画像アレイ、化学的検出センサ・アレイ、または、当該パターンによって発せられる音の位置を特定するステレオ・マイクロホンあるいはその他の方向性センサであってもよい。
Sからのセンサ入力に基づいて、アクチュエータ制御装置Cにおいて目標が選択され、目標に焦点を合わせるための対応するコマンドがアクチュエータユニットAに対してアクチュエータ制御装置Cによって発信される。アクチュエータ手段は、例えば、センサ・システムSを傾けたり、左右に動かすように適応されている。アクチュエータ手段は例えば線形モータである。
センサ手段の入力空間座標における行動前位置と目標とされた行動後位置との偏差をあらかじめ定められたマッピング機能を使用してアクチュエータ制御座標へマップすることによってアクチュエータ装置Aに関する対応するコマンドが得られる。
その結果、アクチュエータ装置Aは、センサ手段1自体を移動させることによってセンサ手段の入力空間を変更するように適応される。注意されるべき点であるが、実世界における操作によってセンサ・システムSの入力空間を変えるように適応されるいかなる意図されたプロセスも、本明細書の記述において「行動」と呼ばれている。これに伴って、「行動前」および「行動後」は、それぞれ、アクチュエータによって制御されるそのような行動が発生する前と後の状態を指す。
センサ・システムSおよびアクチュエータ装置Aの両方はアクチュエータ制御装置Cに接続されている。
図4において、当該アクチュエータ制御装置Cは、センサ手段の入力空間におけるパターンの目標とされた行動後位置を定義し、センサ・システムSを動かすアクチュエータ装置Aに対するコマンドを計算するように適応されたコンピュータであることもできる。代替的にあるいは付加的に、ロボット(図示されてない)のマニピュレータを計算するようにアクチュエータ制御装置Cを適応することもできる。この場合、マニピュレータ8の動作は、アクチュエータ装置Aの制御の下でセンサ・システムSの入力空間を変えるように適合された行動である。
アクチュエータ装置Aに関するコマンドを計算する時、アクチュエータ制御装置Cは、該センサ・システム5によって提供される行動前位置情報、すなわち、行動発生前のセンサ・システムSの入力空間におけるパターンの位置に関する情報、および、目標とされた行動後位置情報、すなわち、行動発生後のパターン2の目標位置を表す情報を使用する。目標位置は、例えば、センサ・システムSの入力空間の中心である。代替的に、特に、アクチュエータ手段が例えばロボットのマニピュレータ腕などを制御する場合には、目標位置は、ロボットによって取り扱われるべき対象物の(やはりセンサ・システム5の入力空間における)位置として設定することができる。
本実施形態は、更に、適応装置Lを備える。該適応装置Lは、別のコンピュータであるか、または、アクチュエータ制御装置Cと同じコンピュータ上に実装されてもよい。
適応装置Lは、決定手段(図示されてない)および比較手段(同様に図示されてない)を含む。
適応装置Lの決定手段は、センサ・システムSを動かすかまたはマニピュレータ8を動かすことによるアクチュエータ装置Aや上記パターンを有するロボット43やマニピュレータ8の動作が完了した後、センサ・システムSによって出力される行動後位置情報が、アクチュエータ制御装置Cによって既に定義された目標行動後位置と一致するか否かを判断する。
適用装置Lの決定手段が、行動後対象物−センサ位置情報が目標対象物−センサ位置情報と一致しないと判断する場合、アクチュエータ制御装置Cは、適応装置Lの比較手段によって出力される比較結果をそれぞれ使用することによってアクチュエータおよびロボット43に関して計算されたコマンドを補正するように更に適応される。補正されたコマンドは将来の行動のため使用される。
図1aの学習手法を実行するため、適応装置Lは、行動後対象物−センサ位置情報と目標行動後対象物−センサ位置情報との間の差異を計算し、
Figure 0005576008
の式を使用することによってアクチュエータ手段41、42に関して計算されたコマンドを自動的に補正するように適応される。上記数12の式において、ただし、
Figure 0005576008
であり、
Figure 0005576008
は、時間t+1における次元xに関するアクチュエータ装置Aに関する補正されたコマンドであり、数2は、時間tー1における次元xに関するアクチュエータ装置Aに関する未補正コマンドであり、数3は、アクチュエータ装置Aが未補正コマンドに従って制御された後の時間tにおける次元x に関する行動後対象物−センサ位置情報であり、数1は、時間t−1における次元xに関する目標行動後対象物−センサ位置情報であり、αは次元xに関する適応率を制御する定数である。
アクチュエータ装置Aおよび/あるいはロボット43を制御するため以前に使用されたコマンドによって現在達成された正確性の度合いが考慮されているので、上記のような差異の使用が、アクチュエータ装置Aおよび/あるいはロボット43に関して計算されたコマンドの非常に正確な補正を可能にする。
図1bの学習手法を実施するため、
Figure 0005576008
の式を使用することによって目標行動後位置情報と行動後位置情報との間の差異を計算するように適応装置Lを適応させることができる。上記数15の式において、ただし、数3は、時間tにおける次元xに関する適応された目標行動後位置であり、数1は、時間t−1における次元xに関する目標行動後位置であり、数9は、時間t−1における次元xに関する行動前基準パターン位置であり、αは次元xに関する適応率を制御する(0以上で1以下の)定数である。
目標行動後対象物−センサ位置に位置する基準−対象物を使用することによって基準位置が選択されるので、基準−対象物がアクチュエータ装置Aおよび/あるいはロボット43のそれぞれの行動を較正するのに最も適していることが保証される。また、この較正が、単一の基準ポイントを使用して実行されるのではなく、対応する目標行動後対象物−センサ位置情報を使用して実行されているので、モータ/センサ応答における非線形性をも取り扱うことができる。
補正されたコマンド、すなわち、適応的に学習されたマッピング機能は、適応装置Lによって上記コマンド−マップの保存手段に保存されることができる。
コマンド・マップに保存されたコマンドは、アクチュエータ装置Aおよびロボット43に関するそれぞれ新しいコマンドを計算するためアクチュエアータ制御装置によって使用される。
運動検出器Mは外部世界における動きを検出することができる機能を持つ。この機能は、Sまたは付加的センサ手段からのセンサ・データに基づくことができる。
センサがカメラである場合、連続画像を比較することによって運動を検出することができる。
更に、自我運動(ego-motion)はMによって認識されないと仮定される(すなわち、自我運動を補償するのは別の独立したセンサ装置またはアルゴリズムである)。
聴覚システムの場合、状況は少し異なる。主聴覚システムによって認識され追跡される対象物の運動だけが適応プロセスにとって重要である。しかしながら、従来手法において、付加的カメラ・システムによって測定される運動は、Sがマイクロホンであるシステムに適合することができた。聴覚信号は本質的に動的であり、位置情報が信号に明示的に含まれてないので、聴覚運動は一般的に検出が比較的困難である。
MとSとが同等である場合、較正されたシステムを必要とするので(パターン位置に対する方向付け動作の効果を予測すること、すなわち、システムが学習しなければならないマッピングを必要とするので)、自我運動を外部運動と区別するのが難しく、従って、異なる手法が取られる。非常に速い方向付け動作に関しては、方向付け動作の前および/または後に直接記録されたいかなる運動も方向付け動作の間に存在している可能性があると仮定することができる。従って、方向付けセンサが動いてない間にのみ運動を測定することが提案される。もし自我運動が正確に取り扱われることができるなら、この手法は必要とされない。
センサ・システムの行動後出力をセンサ・システムの行動前出力と比較し、比較結果を使用してアクチュエアータ装置Aに関する計算されたコマンドを補正することによって、本発明は、方向付けシステムの自動較正および変化し制御されない環境に対する適応を可能にする。
従って、本発明は、方向付けシステムを制御する方法および自動較正型方向付けシステムを提供する。これによって、人的介入なしに高精度でシステムの自動較正を行うことが可能とされる。更に、方向付けシステムを制御する本発明の方法および本発明の自動較正型方向付けシステムは、モータ/センサ応答における非線形性を処理するように適応され、保守が不可能または望ましくない変化し制御されない環境においても使用可能なように適応される。このように、本発明のシステムおよび方法は人的介入なしに長期間動作することが可能である。
本発明のシステムは、従来技術の自動較正システムに比べて、より簡単でより柔軟であり、保守の必要性がより少ない。本発明のシステムの配置の変更は、アクチュエータ手段およびセンサ手段の新しい較正を必要とすることなく、可能である。
本発明のシステムおよび方法の応用の典型的例は、ロボットのカメラの焦点合わせ操作、自動カメラによる監視あるいはポインティング・デバイスなどである。かくして、本発明に従ったカメラおよび方向付けシステムを備えるロボットは、認識された対象物に焦点を合わせ、対象物を取り扱うためその方向に移動することができる。
本発明に従ったプロセスの流れ図である。 本発明に従った代替プロセスの流れ図である。 マッピング機能の適応型学習のため補正信号を計算する実施形態を示すブロック図である。 マッピング機能の適応型学習のため補正信号を計算する代替の実施形態を示すブロック図である。 運動検出装置の機能性の異なる可能性を示すグラフである。 外部運動と自我運動との間の関係を示すグラフである。 外部運動と自我運動との間の関係を示すグラフである。 外部運動と自我運動との間の関係を示すグラフである。 本発明の1つの実施形態に従ったシステム構成のブロック図である。

Claims (4)

  1. 自動較正型方向付けまたは位置決めシステムを制御する方法であって、該システムは、少なくとも1つのセンサ手段(S)と、該センサ手段のセンサ範囲における対象物自体の動きを検出する外部運動検出装置(M)と、前記センサ手段(S)の方向付けまたは位置決め動作をするアクチュエータ手段(A)と、前記アクチュエータ手段を制御するアクチュエータ制御装置(C)と、を備えるシステムを制御する方法であって、
    該方法は、前記センサ手段の前記動作前の出力情報を解析することで、前記センサ手段から得られる画像空間における対象物の位置を探知するステップ(S1)と、
    前記センサ手段から得られる画像空間における前記センサ手段の前記動作後の前記対象物の目標位置を決定するステップ(S2)と、を含み、
    前記アクチュエータ制御装置が、前記センサ手段から得られる画像間における前記対象物前記動作前の位置と前記動作後の目標位置との偏差を、予め作成しておいた線形マッピングまたは非線形マッピングの式を使用してアクチュエータ制御座標に座標変換して、前記対象物が前記目標位置にくるよう前記アクチュエータ手段を駆動する指令を作成し、前記アクチュエータ手段を前記指令により駆動してセンサ手段の方向付けまたは位置決めを行うステップ(S3)と、
    前記ステップS3による方向付けまたは位置決め後に、前記センサ手段から得られる画像空間における前記対象物の実際の位置を探知するステップ(S4)と、を含む方法において、
    前記外部運動検出装置(M)を使用して前記対象物自体の動きを検出するステップ(S5)と、
    前記偏差が所定の値より小さくなるよう、前記ステップ(S3)で座標変換に用いた線形マッピングまたは非線形マッピングの式を修正適合させるステップ(S6)と、を含み、前記ステップ(S1)乃至ステップ(S6)を少なくとも一度または繰り返し実行し、前記線形マッピングまたは非線形マッピングの式を毎回修正適合させて用い、
    前記外部運動検出装置(M)によって前記対象物自体の動きが検出されると、前記線形マッピングまたは非線形マッピングの修正適合を禁止すること、
    を含むことを特徴とする前記方法。
  2. 前記システムを制御するコンピュータ装置上で実行され、請求項1に記載の方法を実行するために前記ステップ(S1)乃至(S6)を少なくとも一度または繰り返し実行するコンピュータ・ソフトウェア。
  3. 少なくとも1つのセンサ手段と、前記センサ手段の方向付けまたは位置決め動作をするアクチュエータ手段と、前記アクチュエータ手段を制御するアクチュエータ制御装置と、前記センサ手段のセンサ範囲における対象物自体の動きを検出する外部運動検出装置とを備え、請求項1の方法を実行する自動較正型方向付けまたは位置決めシステムであって、
    前記アクチュエータ制御装置が、
    前記センサ手段の前記動作前の出力情報を解析することで、前記センサ手段から得られる画像空間における対象物の位置を探知する手段と、
    前記センサ手段から得られる画像空間における前記センサ手段の前記動作後の前記対象物の目標位置を探知する手段と、
    前記センサ手段から得られる画像空間における前記対象物の前記動作前の位置と前記動作後の目標位置との偏差を予め作成しておいた線形マッピングまたは非線形マッピングの式を使用してアクチュエータ制御座標に座標変換することによって前記アクチュエータ手段を駆動する指令を作成し、前記アクチュエータ手段を前記指令により駆動してセンサ手段の方向付けまたは位置決めを行う手段と、
    前記方向付けまたは位置決め後の前記センサ手段から得られる画像空間における前記対象物の実際の位置を探知する手段と、を備え、
    前記自動較正型方向付けまたは位置決めシステムは、
    前記偏差が所定の値より小さくなるよう、前記座標変換に用いた前記線形マッピングまたは非線形マッピングの式を修正適合させる修正適合手段を備え、
    前記修正適合手段は、
    前記外部運動検出装置(M)によって前記対象物自体の動きが検出されると、前記線形マッピングまたは非線形マッピングの式の修正適合を禁止する手段を備えることを特徴とする、自動較正型方向付けまたは位置決めシステム。
  4. 請求項3に記載のシステムを備えたロボット。
JP2006210060A 2005-08-10 2006-08-01 方向付け/位置決めシステム制御方法 Expired - Fee Related JP5576008B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05017386A EP1752263B1 (en) 2005-08-10 2005-08-10 Increasing robustness of online calibration through motion detection
EP05017386.3 2005-08-10

Publications (2)

Publication Number Publication Date
JP2007044865A JP2007044865A (ja) 2007-02-22
JP5576008B2 true JP5576008B2 (ja) 2014-08-20

Family

ID=35229914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006210060A Expired - Fee Related JP5576008B2 (ja) 2005-08-10 2006-08-01 方向付け/位置決めシステム制御方法

Country Status (4)

Country Link
US (1) US7295942B2 (ja)
EP (1) EP1752263B1 (ja)
JP (1) JP5576008B2 (ja)
DE (1) DE602005008234D1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217823A (ja) * 2001-11-14 2008-09-18 Ricoh Co Ltd 補助電力供給装置
US8345101B2 (en) * 2008-10-31 2013-01-01 International Business Machines Corporation Automatically calibrating regions of interest for video surveillance
US8612286B2 (en) * 2008-10-31 2013-12-17 International Business Machines Corporation Creating a training tool
US8429016B2 (en) * 2008-10-31 2013-04-23 International Business Machines Corporation Generating an alert based on absence of a given person in a transaction
EP3067763B1 (en) * 2015-03-11 2022-06-29 Siemens Aktiengesellschaft Assignment of sensors to machine parts
CN107972027B (zh) * 2016-10-25 2020-11-27 深圳光启合众科技有限公司 机器人的定位方法和装置、机器人
CN110167721B (zh) * 2018-06-11 2023-05-02 深圳蓝胖子机器人有限公司 机器人系统及自动校准方法、存储装置
DE102019220223A1 (de) * 2019-12-19 2021-06-24 Robert Bosch Gmbh Verfahren zum Betreiben eines Sensors eines Kraftfahrzeugs

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5294873A (en) * 1992-10-27 1994-03-15 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Kinematic functions for redundancy resolution using configuration control
US20020099475A1 (en) * 2000-12-01 2002-07-25 Ronald Spangler Method and device for vibration control
JP3442140B2 (ja) * 1994-04-20 2003-09-02 ファナック株式会社 3次元視覚センサを用いた位置計測装置及び位置ずれ補正装置
US6917855B2 (en) * 2002-05-10 2005-07-12 Honda Motor Co., Ltd. Real-time target tracking of an unpredictable target amid unknown obstacles
US7133570B1 (en) * 2003-02-06 2006-11-07 Correlated Solutions, Inc. Calibrated sensor and method for calibrating same
DE602004013720D1 (de) * 2004-04-16 2008-06-26 Honda Res Inst Europe Gmbh Selbstkalibrierendes Sensororientierungssystem
EP1586421B1 (en) * 2004-04-16 2008-03-05 Honda Research Institute Europe GmbH Self-calibrating orienting system for a manipulating device

Also Published As

Publication number Publication date
US7295942B2 (en) 2007-11-13
JP2007044865A (ja) 2007-02-22
EP1752263A1 (en) 2007-02-14
DE602005008234D1 (de) 2008-08-28
US20070038398A1 (en) 2007-02-15
EP1752263B1 (en) 2008-07-16

Similar Documents

Publication Publication Date Title
JP5576008B2 (ja) 方向付け/位置決めシステム制御方法
US7324907B2 (en) Self-calibrating sensor orienting system
JP2005305633A (ja) 操作デバイス用の自己較正指向システム
US10035268B2 (en) Measurement system used for calibrating mechanical parameters of robot
US10618164B2 (en) Robot system having learning control function and learning control method
US11235461B2 (en) Controller and machine learning device
JP6456555B1 (ja) キャリブレーション装置、キャリブレーション方法および制御装置
US20070213874A1 (en) Device, program, recording medium and method for robot simulation
JP2020183035A5 (ja)
US10737384B2 (en) Robot system
JP2017056546A (ja) ロボットの機構パラメータを校正するために使用される計測装置
JP2017077609A (ja) ロボットの手首部の機構パラメータを校正する校正装置および校正方法
US20110218673A1 (en) Robot control apparatus
JP2010005762A (ja) 行動推定システム
JP6836544B2 (ja) 制御システムおよび被駆動体の制御方法
JP2018027580A (ja) ロボット制御装置
JP6568172B2 (ja) キャリブレーションを行うロボット制御装置、計測システム及びキャリブレーション方法
KR102561103B1 (ko) 로봇 보정 시스템 및 그것의 보정 방법
WO2020161910A1 (ja) 制御装置、制御方法、記録媒体
EP2026589B1 (en) Online calibration of stereo camera systems including fine vergence movements
US20220402141A1 (en) Method and apparatus for calibrating position of robot using 3d scanner
JP7301238B2 (ja) ロボット制御装置
JP2020121358A (ja) 学習制御装置、ロボット制御装置およびロボット
WO2024070925A1 (ja) 画像処理装置、画像処理方法及びプログラム
CN117207190B (zh) 基于视觉与触觉融合的精准抓取机器人系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101013

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101018

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111207

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120807

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121115

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20121115

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121127

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20130215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140703

R150 Certificate of patent or registration of utility model

Ref document number: 5576008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

LAPS Cancellation because of no payment of annual fees