JP6426143B2 - 複雑な表面検査及び加工のための制御された自律型ロボットシステムおよびその方法 - Google Patents

Description

本発明は、３次元物体の表面上において表面加工装置を運動させるためのロボットマニピュレータの制御に関する。具体的には、本出願は、航空機の胴体の表面、翼、及び操縦舵面からの塗装の除去における有用性を有する。

ロボットが、所与の作業空間の全体にわたって、加工し、訪問し、或いは、なんらかの方式で動作を実行することを必要とするシナリオは、カバレッジ問題（coverage problem）と呼称されている。カバレッジ問題の一般的な例は、芝刈り、調査のための地図作成、家庭内の電気掃除機による掃除、偵察、表面塗装及び塗装除去、殺虫剤の噴霧、並びに、多数のその他のものを含む。これらの問題は、多くのものを共通的に有する一方で、多くの重要な点において異なっており、これらの相違は、その解決策を最適化及び自動化するべく使用される方式に対して相当な影響を有している。大部分のカバレッジ問題においては、カバレッジ要件は、均一にサイズ設定された２次元又は３次元のセルに分割され、この場合に、それぞれのセルは、カバレッジを必要としうるエリア又は容積を表している。適切なモデルを使用することにより、いずれのセルが、ワールド状態、ロボット状態、及びロボット動作の特定の組合せにより、「カバー」されることになるのかを推定することができる。カバレッジプランナは、アルゴリズムの階層構造システムと共に、この推定を使用することにより、任意のプロセス固有の制約を順守しつつ、カバレッジ要件を効率的に充足するロボット動作のシーケンスを判定する。

これらのアルゴリズムの特性は、環境的不確実性のレベル、環境的且つロボット的な制約、及びカバレッジ動作の特性などの基準の影響を強く受ける。調査のための地図作成などのいくつかの問題は、多くの未知のものを伴う動的環境に対して動作している。これらの問題においては、カバレッジプランナは、リアルタイムで適応的に計画しなければならず、その理由は、新しい情報が発見されるのに伴って「正しい」動作が常に変化するからである。芝刈りなどのその他の問題は、準静的環境に対して動作しており、この結果、ロボット動作を格段に事前に計画することが可能である。又、環境的且つロボット的な制約は、使用されるアルゴリズムのタイプに対しても大きな影響を及ぼす。例えば、相対的に低速の全方向型芝刈り機は、通常、非ホロノミックな操向を伴う相対的に高速の芝刈り機とは異なるカバレッジ方式を選択することになる。全方向型芝刈り機は、単純な矩形のグラフサーチアルゴリズムを使用しうる一方で、非ホロノミックな車両は、相対的に複雑な格子プランナを使用する傾向を有することになろう。

又、カバレッジ基準の特性も、検討対象のアルゴリズムのタイプに対して強力な影響を及ぼす。カメラの照準をほぼ無限数の有利な地点のうちのいずれかから所定の場所に対して合わせることにより、エリアをカバーする偵察ロボットは、単にエリアにわたって移動することによってエリアをカバーする電気掃除ロボットとは異なる計画法を必要とすることになる。

本明細書において開示されているシステムは、１つ又は複数のマシン・ビジョン・コンポーネント及び／又は１つ又は複数の表面加工装置を３次元物体の表面上において正確に操作する。ビジョン・システムは、表面プロセスの通知に使用される表面に関するデータを収集する。これらのデータは、色、テクスチャ、又は要約分類結果などの表面の固有特性のみならず、加工地点との関係における表面の距離及び向きの正確な推定値をも含む。これらのデータは、高品質の結果を効率的に生成するように、表面プロセスを正確に計画すると共に変調するべく、使用される。本発明の好適な実施形態においては、マシン・ビジョン・コンポーネントは、塗装及び基礎をなす基材の様々な層の間を弁別可能な対応する照明源を有するマルチスペクトルカメラから構成されており、且つ、表面加工装置は、航空表面からコーティングを除去するべく使用される本来はレーザー溶接のために構成されたハイパワーレーザースキャナである。

中心的な動作原理である。表面特性アナライザの対称性は、加工の直前及び直後における表面分類データの生成を許容する。 図１に示されているすべてのコンポーネントと、レーザーコーティング除去プロセス用の表面マッピングユニット及びその他のサポートコンポーネントと、を含むレーザーコーティング除去のためのエンドエフェクタである。 自動的な表面加工のための完全な可動システムである。 ２Ｄ表面パッチの組へのフル３Ｄ表面モデルの分解であり、例示用の航空構造の翼上部パッチ及び胴体上部パッチを示している。このモデルは、もう１つの翼上部表面と３つの類似の「下部」表面をカバーするべく、４つの更なるパッチ（図示されてはいない）を含むことになるという点に留意されたい。 試験エンドエフェクタ（左側）上に取り付けられたマッピングセンサと、関係するＣＡＤモデル（挿入図）と、である。又、右側には、Ｓｉｃｋ ＬＭＳ４００のカメラ及びレーザーファン用の錐台として、相対的なセンサの視野が示されている。 一般的なノイズの多いセンサ出力は、約１〜２ｃｍ（左）の群の厚さを結果的にもたらす。群を複数の角度ビンにおいてビン化し、且つ、それぞれのビンごとに最も確率の高い距離を演算することにより、特定の方向における実際の距離の格段に良好な推定値が結果的に得られる。結果的に得られた距離の推定値を３次元に再度投射して戻すことにより、サブミリメートルの群の厚さが得られ、データ量が大幅に低減され、且つ、正確な幾何学的表現が維持される（右）。 平面パッチモデルのオクトリーに基づいた生成である。相対的に高分解能のパッチは、平面構造のエッジにおいてモデルの詳細をキャプチャするが、表面を表現するには、格段に少ないデータしか必要とされないことに留意されたい。 センサの姿勢の不確実性に対して強力な制約を提供する表面モデルの側面を識別するべく使用される発見的方法を定性的に示す。 表面軌跡の生成であり、（左）現時点の基部の場所及びアームの運動が付与された場合に、「解多様体」が生成される。（中央）カバレッジ列が解多様体上において生成される。（右）プロセスポリシー及び制約を同時に順守しつつ、列シーケンスが実行時間について最適化される。 解多様体の生成である。（左）表面形状は、反対運動解を演算するべく使用される。（右）地理的に且つ物理的に隣接する反対運動解は、「解パッチ」を形成するべく成長させられる。 カバレッジパスの生成である。（左）解パッチは、「カバレッジ経路」に分割される。（中央）カバレッジ経路は、既に完了したセクションを除去するべく取り除かれる。（右）結果的に得られたカバレッジ経路の最小限の組は、エンドエフェクタの加速及び減速を許容するべく拡張される。 カバレッジ計画のスムージングである。 ＳＰＡ加工手順である。（左）画像データが、表面上にマッピングされる。（中央）データが、サブセルラー領域にビン化され、これらのサブセルラー領域は、異なる方式で着色されたサブセル境界によってここでは表された状態で、個々に分類されている。（右）これらのサブセルラー領域は、セルレベルの分類をもたらすための構成可能なポリシーに従って集計される。 画像データとガウス混合モデルの分類結果を並べた比較である。 現時点における表面特性アナライザのハードウェアを示す機能図である。左側においては、白色光が、偏光フィルタを通じて放出され、且つ、共線偏光フィルタの背後の１つと直交フィルタの背後の１つという２つのＲＧＢカメラにより、収集されている。右側においては、近赤外線光が、適切な帯域通過フィルタを有する第３カメラによって放出及び収集されている。 表面計画プロセスであり、現時点のシステム状態及び計画されたアームの軌跡は、まさに加工されようとしているターゲット表面の領域を判定するべく、使用される。関連する分類情報は、高度に構成可能なポリシーに従って加工コマンドを生成するべく、表面モデルから取得される。 レーザーコーティング除去用の表面プロセスモジュレータのブロックダイアグラムである。 グローバルローカリゼーションであり、ロボット上のカメラは、周知の（調査された）場所を有する視覚的ランドマーク（黒色及び白色コード化された正方形）を観察している。マニピュレータの基部との関係におけるカメラの配置は、フル６ＤＯＦ姿勢を付与する。 マルチ分解能衝突モデルの概要である。（左）例示用のマニピュレータ及びエンドエフェクタである。（中央）「衝突カプセル」とオーバーレイされたサンプルマニピュレータである。（右）マルチ分解能衝突モデルに対する衝突カプセル評価の２次元表現である。 ポイントツーポイント経路計画プロセスである。 可動基部の運動であり、ホイールの角度及び速度は、ロボットの座標フレームにおいて直線及び回転速度に低減されうる。 全方向型基部用の極度に単純化された計画であり、平行運動と面内回転の組合せに分解されている。 航空機のポート側部をカバーする例示用のＭＢＵステーションシーケンスである。 安全システム状態機械及び例示用の安全遠隔である。 主エンドユーザ動作モデルである。青色矢印は、ユーザによってトリガされた状態遷移を示しており、且つ、赤色矢印は、ジョブモデルとの間のデータフローを示している。 協働プロセス規範であり、複数のプロセスは、メッセージルーターを通じた階層構造メッセージングを使用することにより、ホストに跨って互いに通信している。 システムのユーザインターフェイス（ＵＩ）の具体例であり、プラグインは、１つ又は複数の領域用のＵＩ要素を提供し、且つ、これらのＵＩ要素をシステム状態と同期した状態で管理している。 このプロジェクトのために開発された階層構造ロボットシステムの構造モデルであり、右側の「ロボット」全体は、基部と、マニピュレータと、エンドエフェクタと、から構成されている。左側のそれぞれのサブコンポーネントの特定のインスタンスは、システム内のなんらのソフトウェアの変更をも必要とすることなしに、マニピュレータの代替モデル又は代替エンドエフェクタ形状などの、異なっているが類似しているコンポーネントによって置換されうる。 基本的な層化アーキテクチャであり、（左）ライブ状態の、（中央）高忠実度シミュレートされた状態の、及び（右）低忠実度シミュレートされた状態の構成において産業的マニピュレータ（アーム）を制御及びシミュレートするための懸念のモデル・コントローラ・ビューの分離を示している。

一実施形態においては、システムは、２つのマシン・ビジョン・コンポーネントと１つの表面加工装置を３次元物体の表面上において操作することができる。ビジョン・システムは、高品質の結果を効率的に生成するように表面プロセスを正確に計画及び調整するべく、加工地点の下方を通過する表面に関する十分なデータを収集することを目的としている。現時点において実装されるシステムの場合には、表面加工装置は、一例において、航空表面（aeronautical surfaces）からコーティング（coating）を除去するべく使用される本来はレーザー溶接のために構成されたハイパワーレーザースキャナであり、且つ、ビジョン・コンポーネントは、表面の現在の状態、即ち、剥離すべきコーティングが残っている場所、のみならず、上述のハイパワーレーザースキャナとの関係における表面の距離及び向きをも、推定している。

図１には、連続的な表面加工の中心的な使用状況がキャプチャされており、５つの重要なシステムコンポーネントとターゲット表面の間の主要な協働を示しているが、詳細に後述されるこれらの５つのコンポーネントには、以下のものが含まれる。

・表面特性アナライザ（Surface Property Analyzer）
・表面モデル（Surface Model）
・表面プロセスプランナ（Surface Process Planner）
・表面プロセスモジュレータ（Surface Process Modulator）
・表面カバレッジプランナ（Surface Coverage Planner）
２つの表面特性アナライザは、動作中のプロセスとの関係において分類情報を生成するべく、加工地点の前及び後の両方において画像データを処理している。レーザーコーティング除去の場合には、これは、表面を「上塗り」、「下地塗り」、又は「基材」のうちの１つとして分類することを意味しており、この場合に、最初の２つは、ある程度の量の加工を要する状態に留まっていることを意味し、且つ、最後のものは、その加工が完了していることを意味している。これらの表面分析の結果は、表面モデル内において保存され、この場合に、加工地点の「前」からのデータは、表面プロセスプランナが表面プロセスを調整するために使用され、且つ、加工地点の「後」からのデータは、プロセスの結果を検査するために、且つ、コーティング除去の例においては、更なるパスが必要であるかどうかを判定するために、使用される。

表面モデルは、完全な表面形状をキャプチャすると共に、ターゲット表面の分類された状態を表面検査又は加工を経験している物理的物体と関連した永続的なデータベース内においてキャッシュに記憶する（cache）。

表面プロセスプランナは、加工動作のシーケンスを計画するべく、加工ツールの軌跡に直接的に沿ったターゲット表面からの最も最近に観察されたＳＰＡデータについて問い合わせる。この一連の動作は、表面プロセスモジュレータに伝達される。

表面プロセスモジュレータは、全体的なプロセス及び高品質な最終結果の相対的に微細な制御をもたらすべく、表面プロセスプランナからのコマンドをリアルタイムフィードバックと組み合わせる。レーザーコーティング除去の場合には、これは、以前のレーザーコマンドに対する表面の反応に応じて、レーザー強度を変調することを意味している。

このシステムの本実装形態は、ターゲット表面との関係において正確な位置決め及び滑らかな運動を許容するべく、これらのコンポーネントと、更なるものと、を、例えば、産業用マニピュレータに取り付けられる図２に示されているカスタムエンドエフェクタとして組み合せている。

様々な物体上において一貫性のある性能を可能にするべく、このシステムは、高度にモデル中心的なプログラミング方式を採用することにより、図１に示されているように、計画を生成し、認識結果を保存し、且つ、ターゲット表面の明示的なモデルとの関係におけるシステム動作をその他の方法で規定している。従って、システムの最終的な精度及び有効性は、ターゲット表面形状の非常に正確なモデルの構築及び維持、その現在の状態、並びに、最も重要な点として、ロボットとの関係におけるその正確な位置により、大きく左右される。

３次元物体の表面の正確な幾何学的モデルが付与された場合に、表面カバレッジプランナは、表面プロセスの幾何学的且つ時間的制約を尊重しつつ、ターゲット表面全体を効率的にカバーする産業用アームの操作を計画する。これに加えて、上述のコンポーネントは、単一の固定されたマニピュレータの場所から完全に到達可能である相対的に小さなターゲット物体の表面エリア全体を加工するべく、十分なものとなっている。到達可能な表面面積の量は、図３に示されているものなどの可動基部ユニットに対してマニピュレータを取り付けることにより、マニピュレータが、必要に応じて表面全体に到達するように、航空機などの相対的に大きな物体の周りの様々な場所に再位置決めされることを許容することにより、拡張される。

一実施形態においては、表面モデルは、３次元物体の表面を「表面パッチ（Surface Patche）」と呼称される同形の２次元多様体（homomorphic two-dimensional manifold）の組として表している。同形性を維持するためには、つまり、２Ｄ多様体内の距離が３Ｄ表面上の同一の距離に対して強力にマッピングされ、且つ、２Ｄ多様体内のベクトルの間の角度が、３Ｄ空間内にマッピングされた際に、保持されるようにするには、それぞれの個々の表面パッチは、以下のようないくつかの重要な幾何学的特性を有していなければならない。

・パッチは、局所的に連続した形状を有することを要し、つまり、パッチは、少なくとも二次まで連続的であることを要し、且つ、
・少しでも湾曲している場合には、後述する状態となるように、例えば、航空機胴体の周り又は航空機翼の前方方向に沿って、単一の「支配的」な曲がりの方向が存在することを要し、
・それぞれのパッチは、最小限の局所的な歪を伴って容易に「展開」され、これにより、局所的な同形性が保持されうる。

図４に示されているこれらの幾何学的な制約は、テクスチャマッピングのコンピュータグラフィクスの概念に非常に類似している。重要な相違点は、２Ｄ「テクスチャ」と３Ｄモデルの間の幾何学的同形性の重要性にある。更に一般的なコンピュータグラフィクス設定においては、局所的なテクスチャの歪は、才能豊かなアーティストによって補償することが可能であるが、本出願においては、表面カバレッジプランナは、２Ｄ空間における３Ｄ操作を効率的に計画するべく、局所的な同形性に依存している。

それぞれの個々のパッチは、個々のセルに更に分割され、これらの個々のセルは、テクスチャ画像内の個々のピクセルに類似しているが、任意の幾何学的領域の色を表す代わりに、表面エリアの物理的単位の詳細な状態を表している。それぞれの個々のセルは、当面の検査又は加工タスクに関係する表面の状態を表現した「表面特性」の柔軟な組と共に、中心位置及び法線、大及び小曲率軸を含むその３Ｄ形状をエンコードしている。表面特性の関係する組は、特定の用途によって左右される。レーザーコーティング除去の場合には、関係する表面特性は、例えば、以下のものを含む。

１．基材のタイプであり、それが、最も最近に、「上塗り」、「下地塗り」、又は「基材」のいずれとして分類されたのか、並びに、それが、最後に、そのように、いつ分類されたのか
２．それがレーザーエネルギーに曝露された最も最近の時点とその強度
３．例えば、以下を実行するべく、プロセス計画をオーバーライドしうるユーザ対話型マーカーのアレイ
・影響を受けやすい領域がレーザーエネルギーに曝露されることを防止するなどのために、その領域内における表面加工を抑制する「仮想マーキング済み」として特定のエリアをマーキングする。

・表面カバレッジプランナがエリア上においてエンドエフェクタを少しでも姿勢をとらせることを防止することになると共に表面障害物について補償するべく使用されうる「仮想的立ち入り禁止」として特定のエリアをマーキングし、或いは、この逆に、
・それが単に異常な塗装色又はその他の表面異常であることを操作者が観察しうる際に、「基材」として誤って分類されたエリアをオーバーライドするなどのために、「更なる加工を要する」として特定のエリアをマーキングする。

すべてのこのような表面データは、ターゲット表面の詳細な形状及び状態が任意の時点において任意のシステムコンポーネントから問合せされうるように、システム全体からアクセス可能なデータベース内に保存される。これは、懸念の良好なモデル・コントローラ・ビューの分離（Model-Controller-View separation）を維持しつつ、様々な認識、計画、及び分析タスクを直接的にサポートする。又、このモデルは、結果をその他の同一タイプの航空機のものと、或いは、場合によっては、その加工施設への後続の訪問（visitation）の際の同一の航空機と、比較するなどのために、オフライン分析において実現されてもよい。

本発明の一実施形態においては、モデル生成は、手によって生成されうるか又は既存の３Ｄモデルから導出されうるが、その構成についていくつかの制約を有する先行モデルの構築によって開始される手動的なプロセスである。最も単純なケースにおいては、先行モデルは、加工対象である物体の「外側モールド線（outer mold line）」を表す単一の閉じた３Ｄ形状から構成されうる。即ち、物理的に連続した表面が、連続的な形状によって表現されなければならず、連続的な形状は、一見したところ、単純であるが、大部分の既存の３Ｄモデルの構造とは反対である。例えば、翼に装着された操縦舵面などの隣接する又はオーバーラップする物理的コンポーネントは、しばしば、製造、組立、及び関節運動の懸念を表現するべく、別個の形状としてモデル化される。一例においては、ベースモデルは、システムの幾何学的要件を充足するモデルを生成するための外側モールド問題の人間的直観及び理解に依存することにより、既存の３Ｄモデル及び表面マッピングプロセスからの中間結果の組合せから手作業で生成されている。正確な表面形状が付与された場合に、一例においては、パッチのサブ分割（patch subdivision）は、プロフェッショナルな３Ｄモデル化ツールに組み込まれたテクスチャマップ「展開」機能を使用すると共にテクスチャマップを個々の表面パッチに割り当てることにより、判定されうる。

一実施形態においては、表面モデルの生成及びローカリゼーション（localization）は、従来のＬＩＤＡＲ、能動型ステレオ投影、又はフラッシュＬＩＤＡＲなどの３次元距離センサからのデータを使用することにより、実行されている。本システムは、図５に示されているように、第３の次元を通じて計測プレーンを掃引するカスタム傾斜メカニズム上において２次元プレーナースキャナ（two-dimensional planar scanner）を取り付けることによって構築された３Ｄ測距センサを使用している。傾斜メカニズムは、表面の色及びテクスチャ情報を有する結果的に得られた距離データの増強を可能にするプレーナーＬＩＤＡＲスキャナのものに類似した水平方向視野を有するカラーカメラを含む。マッピングセンサは、複数の有利な地点からターゲット表面の距離データを取得するべく、同一の産業用マニピュレータによって操作されうるように、図２に示されたエンドエフェクタに含まれている。

一実施形態においては、「点群（point cloud）」と呼称される表面の単一のスキャンをキャプチャするプロセスは、以下のものから構成されている。
１．まだ計測されていないターゲット表面の領域からデータを取得するなどのために、マッピングセンサ用の望ましい有利な地点を選択するステップ、
２．その有利な地点においてマッピングセンサに姿勢を取らせるようにマニピュレータに対して命令するステップ、
３．マニピュレータの操作の完了と、運動のなんらかの動的な副作用が落ち着くことを許容するためのわずかな遅延と、にわたって待機するステップ、
４．その傾斜メカニズムを望ましい範囲を通じて滑らかに掃引することにより、掃引を通じて継続的にＬＩＤＡＲデータを収集するように、マッピングセンサに対して命令するステップ、
５．その掃引に沿った個々の位置に対して傾斜メカニズムに反復的に命令し、これにより、ＬＩＤＡＲデータと同一の角度範囲をカバーするカラー画像データをキャプチャするステップ、及び、
６．傾斜メカニズムを公称的「ホーム」位置に戻すステップ
上述のプロセスは、隔離状態にあるマッピングセンサの単一の姿勢から可能なものよりも格段に大きな表面からデータをキャプチャするべく、複数の有利な地点から、且つ、複数の可動基部の場所から、複数回にわたって反復されてもよい。それぞれのスキャンの際の合計システム状態、即ち、可動基部の姿勢と、産業用マニピュレータの継手状態の継手角度と、は、結果的に得られた点群を作業環境の基準フレーム内において見当合わせするべく、使用される。これらの状態変数は、この「未加工」の点群の収集に伴う全体的な演算の複雑さを単純化するべく、上述のステップ「３．」（待機するステップ）の後に、一定であるものと仮定される。但し、すべての物理的システムと同様に、マッピングセンサの導出された姿勢には、系統的誤差及びランダム誤差の両方が存在しており、この結果、このようなスキャンの後続のアライメントが必要となる。

又、これらの点群のそれぞれは、特定量の固有センサノイズを含んでいる。従って、点群は、図６に示されているように、角度ビニングコンテキスト（angular binning context）において相対的に高精度の距離データを推定することによって固有センサノイズを事実上抑圧するべく、最大尤度方式を使用することにより、事後処理される。この事後処理ステップは、表面の相対的に滑らかな且つ相対的に高精度の表現のみならず、下流の加工及び表示のための冗長データの大幅な低減をも提供する。このアルゴリズムは、現時点で使用されている特定のＬＩＤＡＲスキャナ及び傾斜メカニズムのノイズ特性に対してチューニングされるが、任意の類似の３次元地点計測装置からのデータを使用するように、容易に調節されうる。但し、ＬＩＤＡＲスキャナの固有特性は、最終的な結果の品質に大きな影響を及ぼすと共に、センサからの誤差の増大は、以下のもののうちの少なくとも１つを意味していることに留意することが重要である。

・結果的に得られる生成されたモデル及びローカリゼーションにおける誤差の比例した増大、
・誤差を統計的に低減するべく、オーバーラップしたスキャンデータをキャプチャするために相対的に大きな時間を費やす必要性、或いは、
・センサの出力における固有ノイズのモデル化及びその補償のための相対的に高度なアルゴリズムの開発
その相対的な姿勢におけるある程度の量の誤差の予想を伴うこのような点群の組が付与された場合に、それぞれの群内のデータを使用してデータセット全体をコレーレントな完全体としてアライメントするリファインメントステップ（refinement step）を実行する必要がある。これは、一般に、同一の物理表面の矛盾した推定値を示すスキャンデータのオーバーラップした領域内の過度な「厚さ」として観察可能である。この矛盾は、ターゲット表面を相対的に良好に推定する単一の「相対的に薄い」点群に最終的に収束させるという目標の下に、所与の群内のそれぞれの地点とその他の群のオーバーラップした領域によって示されている表面の間の距離を増分的に低減する反復的スキャンマッチング法を使用することにより、解決される。

これらのスキャンマッチングアルゴリズムは、一般に、表面がマッチングプロセスにおいて互いに上下の状態において誤って「滑る（gliding）」ことを防止するべく、強力な幾何学的特徴（例えば、ハードコーナー、エッジ、又は直交プレーン）に依存している。但し、航空機上のコーティング除去の環境においては、航空表面の一般に大きく滑らかな曲線は、相対的にこのような制約をほとんど有しておらず、この結果、上述の「滑り」が大きな課題となる。一例においては、このような滑らかな表面の取得された点群におけるマッチング結果を改善する新しい制約検出アルゴリズムが開発されている。このアルゴリズムは、相対的に高品質な点群のマッチングを下流のアルゴリズムに対する入力として提供することにより、モデル生成プロセスを大幅に改善する。

結果的に得られたリファインされ（refined）且つアライメントされた点群は、プロフェッショナルなモデル編集ソフトウェアにインポートされることが可能であると共に、一例においては、手作業によるモデル生成のために使用されうる多角形メッシュに変換されている。一例においては、メッシュ変換プロセスは、所与のセル内の地点を正確に推定すると共に平面パッチによって置換しうる時点まで、オクトリーデータ構造（octree data structure）を使用し、地点データを漸進的に相対的に小さな３Ｄセルに再帰的にサブ分割している。現時点においては、結果的に得られるメッシュは、生成された表面モデルに関する要件を充足しておらず、且つ、従って、直接的に使用することはできない。具体的には、この技法は、閉じると共に接続された三角形モデルをもたらさず、従って、手作業によるモデル化プロセスにおけるガイドとしてしか使用することができない。それにも拘らず、このプロセスは、以下のようないくつかの注目するべき特性を有するターゲット表面の多角形推定値を結果的にもたらす。

・結果的に得られる多角形のサイズは、一般に、計測された表面の特定の近傍における曲がりの量に反比例して変化し、これは、相対的に高密度の相対的に小さな多角形が、特定の大きな曲がり又は不確実性のエリア内においてのみ生成されるという点において有益であり、且つ、
・表面は、従来のボクセルに基づいた点群メッシュ化法よりもはるかに少ない数の多角形によって近似されており、これは、表面の相対的に良好な近似であることに加えて、更に、
・結果的に得られるモデル内の面の数を低減し、これにより、上述のモデル操作の手作業によるプロセスに伴う難しさが低減される。

表面モデルが生成及び／又はリファインされた後に、オリジナルの全体的に登録されたスキャンデータ（original globally-registered scan data）は、上述のスキャンの間におけるマッチング法と同様に、ローカリゼーションステップにおいて再度使用されるが、この場合には、この結果、代わりに、スキャンを生成されたモデルに対してマッチングすることにより、作業環境内におけるモデルの位置がリファインされる。この結果、システムは、加工対象の物体の場所及び形状の相対的に正確な推定が付与された状態において、ターゲット表面に対して格段に近接した状態で相対的に安全に動作することができる。

一例においては、ターゲット表面の表現として点群をリファインする（refine）プロセスにおける手作業によるやり取りの役割は、モデル生成の支援としてのみならず、且つ、表面モデル自体の構成要素として、表面を表すべく使用されるガウス確率密度分布を介して低減される。例えば、表面形状の残留する不確実性は、表面との衝突を回避するために、表面カバレッジプランナによって使用される安全スタンドオフ距離に対して影響を及ぼすべく使用される。

又、モデル構築の範囲を超えて、可動基部及びマニピュレータの姿勢推定における小さな誤差も、表面カバレッジ操作の計画及び実行における大きな懸念事項である。即ち、表面加工のスタンドオフ及び直交性の要件は、エンドエフェクタがターゲット表面に対して非常に近接した状態で操作されることを必要としており、且つ、表面との関係におけるアームの姿勢における不正確性は、意図せぬ表面との接触、最適ではないコーティング除去、又は過燃焼を含むいくつかの問題をもたらしうるであろう。従って、表面カバレッジコマンドの計画及び実行の直前に、可動基部の姿勢は、加工対象であるターゲット表面エリアのいくつかのスキャンを取得すると共に上述の同一のスキャン−マッチング法を適用することにより、リファインされる。

一例においては、センサの姿勢は、新しい次善スキャン法（novel next-best-scan technique）を使用することにより、計画されており、この次善スキャン法は、いずれの可能なスキャンがターゲット表面との関係におけるマニピュレータの基部の姿勢に関する最も新しい情報を追加することになるのかに基づいて、次のスキャンを選択している。一例においては、情報取得の発見的方法は、主に、十分な密度の地点によって完全なターゲット表面形状をカバーすることに基づいているが、この発見的方法は、更には、ターゲット表面との関係におけるマニピュレータの基部の姿勢の推定された不確実性の低減の相対的に明示的な推定を含むように、拡張されうる。従って、次善スキャンの選択は、加工対象である表面の完全にオーバーラップしたカバレッジをもたらしつつ、マニピュレータの基部の姿勢を制約する有利な地点を同時に強調しうる。以下の図８には、この手作業による情報取得方式が単純な２Ｄの場合について示されている。姿勢、距離計測値、及び表面によって制約された地点の推定された不確実性は、楕円として示される。表面モデルのそれぞれの地点ごとに、姿勢の小さな摂動（perturbation）を計測された距離の結果的に得られた摂動に対して関係付けるヤコビアン（Jacobian）が推定される。表面計測によって提供される制約をセンサの姿勢の不確実性と交差させることにより、表面の様々な計測によって提供される姿勢の制約が予測される。これは、表面の特定部分の計測を実施することにより、センサの姿勢の不確実性の低減を最大限にすることに基づいた次善のスキャンをもたらす更なる情報が得られることを意味している。

一例においては、これらの結果的に得られたスキャンは、スキャン取得の際のマニピュレータの基部の姿勢を推定するべく、予め構築されたモデルとマッチングされる。このリファインされた姿勢は、ターゲット表面を加工するために必要とされる継手操作を判定する際に使用するべく、表面カバレッジプランナについて公開される。この「ジョストインタイム（just in time）」表面ローカリゼーション法は、結果的に得られる姿勢が、両方の誤差源のなんらかの組合せについて補償していると見なされうるという点において、姿勢推定の不正確性と表面モデルの不正確性の間のラインを不鮮明にしているという点が、注目に値する。

一例においては、次善スキャン選択の概念は、初期フル表面マッピングプロセスのために使用される可動基部の場所、即ち、「ステーション（station）」の計画及び選択に伴う更に大きな問題に対して適用されうる。又、上述のアルゴリズムは、次善スキャンの選択というその主要目的に加えて、ステーション選択プロセスを自動化すると共に、それぞれのステーションにおける収集されたスキャンの数と共に、可動基部の運動を極小化することにより、初期モデル構築マッピングスキャンに必要とされる時間を最適化するベースステーションプランナ（base station planner）用の価値関数をも表現している。

別の例においては、事前モデル構築の際の、又は特定の表面インスタンス上における使用のためのリファインの際の、表面モデルの手作業による調節のための要件は、非エキスパートであるエンドユーザがモデルの構築及び調節のために利用しうるツールの組を介して、完全に除去されない場合にも、緩和される。基本的に、３次元物体の全体形状をキャプチャする初期シェルモデルは、可能な場合に観察及びアライメントされたデータの形状にフィットするように、自動的に調節され、これにより、必要とされるなんらかの少なからぬ調節のための手動的介入についてユーザに通知し、且つ、これを要求することができる。これは、表面の調節が許容される方向と、その程度とを正確に表すようにベースモデルの表面法線を定義することにより、可能とされる。データの取得及び表面を表す確率密度関数の判定という上述の段階の後に、表面形状を確率的表面の最大尤度とマッチングさせるべく、数値回帰アルゴリズムが使用されてもよい。これは、物体の周り又は近傍においてやり取りを実行する前に、ユーザが検証するための「最も確率の高い」表面を結果的にもたらしうる。これに対する当然の拡張は、ユーザのやり取りを必要とする許容可能な自律的調節に関する相対的に小さな閾値を伴って、近接表面加工の直前に、相対的に小さなスケールにおいて類似の自動化された表面調節を実行するというものとなる。

大部分のカバレッジ問題においては、作業空間は、均一なサイズの２Ｄ又は３Ｄセルに分割され、この場合に、それぞれのセルは、カバレッジを必要としうるエリア又は容積を表している。適切なモデルを使用することにより、いずれのセルが、ワールド状態、ロボット状態、及びロボット動作の特定の組合せによってカバーされることになるのかを推定することができる。カバレッジプランナは、任意のプロセス固有の制約を守りつつ、カバレッジ要件を効率的に充足するロボット動作のシーケンスを判定するべく、アルゴリズムの階層構造システムと共に、この推定を使用する。これらのアルゴリズムの特性は、環境的不確実性のレベル、環境的且つロボット的な制約、及びカバレッジ動作の特性などの基準の強力な影響を受ける。調査のための地図作成などのいくつかの問題は、多くの未知のもの伴う動的環境に対して動作している。これらの問題においては、カバレッジプランナは、リアルタイムで適応的に計画しなければならず、その理由は、新しい情報が発見されるのに伴って「正しい」動作が常に変化するからである。芝刈りなどのその他の問題は、準静的環境に対して動作しており、これにより、ロボット動作は、格段にはるかに事前に計画することができる。又、環境的且つロボット的な制約も、使用されるアルゴリズムのタイプに対して大きな影響を及ぼす。例えば、相対的に低速の全方向型芝刈り機は、通常、非ホロノミックな操向を伴う相対的に高速の芝刈り機とは異なるカバレッジ方式を選択することになる。全方向型芝刈り機は、単純な矩形のグラフサーチアルゴリズム（rectangular graph search algorithm）を使用してもよい一方で、非ホロノミックな車両は、相対的に複雑な格子に基づいたプランナを使用する傾向を有することになろう。又、カバレッジ基準の特性も、検討対象であるアルゴリズムのタイプに対して強力な影響を及ぼす。カメラをほぼ無限数の有利な地点のいずれかから場所に向かって照準することによってエリアをカバーする偵察ロボットは、エリアにわたって単純に移動することによってエリアをカバーする電気掃除ロボットとは異なる計画法を必要とすることになる。

表面カバレッジプランナは、準静的カバレッジ問題を検討し、この場合には、コーティング除去のためのレーザーなどの装置が３次元物体の表面上に配置されなければならない。上述のように、表面は、同形の２Ｄ多様体の組上にマッピングされ、次いで、これらの多様体は、規則的なグリッドに沿って相対的に小さなセルに分割される。それぞれのセルは、形状、色、及び分類データのみならず、「仮想マスク」又は「立ち入り禁止」などのカバレッジのための要件を抑圧可能なその他のマーカーをも含む表面の個々のエリアの状態をモデル化する。カバレッジは、これらの表面セルが、コーティング除去の場合に、「下地塗り」又は「基材」などの規定された状態に到達した際に完全なものとなるように、定義される。

これらのセルの状態を変更するべく、システムは、動作中の表面プロセスを制御するポリシーによってそれぞれが判定される所定の向き、スタンドオフ距離、及び速度において、エンドエフェクタを表面上において運動させる。レーザーコーティング除去の場合には、図２のエンドエフェクタの先端部におけるセルの１次元の区域は、任意の１つのシステム姿勢の影響を受け、且つ、プロセスポリシーは、受け入れ可能な結果をもたらすべく、同一の表面セルへの後続の訪問の間において観察されなければならない特定の表面横断速度及び最小「クールダウン時間」を規定している。セルは、通常、望ましい状態に到達する前に、複数回にわたってカバーされなければならず、且つ、この数の推定値が表面カバレッジプランナにとって入手可能でありうる状態においては、完全性は、主に、表面処理地点の「後」に後続する表面特性アナライザによる検知を介して判定される。

表面上においてエンドエフェクタを運動させるべく、システムは、周知の基部場所から動作する多軸の商用マニピュレータを利用する。この商用マニピュレータは、前方及び反対方向の運動の組によって定義され、これらは、個々の軸位置とエンドエフェクタの姿勢の間において平行運動する。大部分のこのようなマニピュレータは、少なくとも部分的に運動学的冗長性を有しているという点が、つまり、任意の付与された軸位置の組が、明瞭なエンドエフェクタの姿勢に平行運動している間に、所与のエンドエフェクタの姿勢は、通常、複数の軸位置によって実現されることになるという点が、注目に値する。滑らかなエンドエフェクタの運動について計画する際には、この１対多の逆マッピング（one-to-many inverse mapping）は、反対運動空間内の特異性によって更に複雑化され、この場合に、マニピュレータ内の継手は、１つ又は複数の方向におけるエンドエフェクタの瞬間的運動がもはや不可能となるように、アライメントされる。又、エンドエフェクタの運動を本質的に制限することに加えて、このような特異性の近傍における軸構成は、数値的及び動的な不安定性を経験する傾向をも有し、その理由は、エンドエフェクタにおける相対的に小さな速度を維持するために、漸近的に無限の継手速度が必要となるからである。

これらの運動には、いくつかのマニピュレータの、環境の、及びプロセスの制約が適用される。例えば、商用マニピュレータは、固有の軸位置、速度、及び加速度限度を有しており、これらのそれぞれは、安全な動作を保証すると共に意図せぬ振動に起因したプロセスノイズを軽減するべく、構成可能なマージンによって低減される。マニピュレータの自己衝突及びテザーラッピング（tether wrapping）の制限は、軸位置のサブセットの複素関数としてモデル化される制約を誘発する。環境的制約は、航空機、架台、建物の上部構造、床、天井、及び壁の場所などの環境内に配置されているすべての物体を表す静的障害物マップのみならず、基部を表す準静的障害物マップをも含む。プロセスの制約は、エンドエフェクタのスタンドオフ距離、障害物のスタンドオフ距離、理想的なカバレッジ速度、最大非カバレッジ表面横断速度、並びに、多くのその他のものを含む。

表面カバレッジプランナは、所与の可動基部の場所から、且つ、すべてのロボット、プロセス、及び環境の制約が適用される、ターゲット表面パッチのうちの可能な限り多くのものを可能な限り迅速にカバーするロボット状態のタイミング設定されたシーケンスを生成する。このプランナにおける最も重要な考慮事項は、動作中の加工の時間を最大限にすること（maximize）であるが、このプランナは、主要な目的として、安全性、安定性、及び完全性についても考慮する。

カバレッジ問題は、あらゆる一般的な形態において扱いにくいものとなる傾向を有し、且つ、通常は、中心的な問題を相対的に容易に対処されるサブ問題の階層構造的な組にセグメント化することを許容する単純化するための仮定を行うことにより、解決される。一例においては、表面カバレッジプランナは、ターゲット表面を連続的な２次元の「解多様体（Solution Manifold）」に変換する位置に基づいた制約の新しい適用を介してこれを実行しており、これらの解多様体は、関連するマニピュレータ状態を収容しており、且つ、幾何学的に隣接した表面セルが継手空間隣接マニピュレータ状態をも有するという制約が適用される。この形式は、６軸マニピュレータによって３次元表面をカバーするという問題を所与の解多様体内における任意の２つの隣接セルの間において遷移しうる全方向型「仮想ロボット」に伴う相対的に単純な２次元のカバレッジ問題に単純化する。

この表現を使用することにより、カバレッジ経路は、単純なシーケンスの２次元座標により、規定されることが可能であり、且つ、これらは、解多様体の必要とされる部分を効率的にカバーするべく、容易に生成されうる。図９に示されているように、これは、オフセットが表面加工ポリシーに対応した状態において、単一の解多様体の全体性をカバーする平行ラインセグメントの組を規定することと同程度に単純でありうる。次いで、オプティマイザが、これらのカバレッジ経路を順序付けし、移動の方向（即ち、前方又は後方）を選択し、且つ、そのエンドポイントを最適な移動セグメントと接続する。

次いで、これらの２次元経路は、表面加工ポリシーによって規定された速度制約に従って、スムージングされ、ブレンドされ、且つ、時間に基づいたマニピュレータ状態軌跡に変換される。次いで、固有のマニピュレータの速度及び加速度制約は、すべてのこのような制約が充足される時点まで、２つの軌跡地点の間の時間を「拡張」させる新しいアルゴリズムを介して、結果的に得られた軌跡上に重畳される。

一実施形態においては、表面カバレッジプランナは、所与の表面パッチを安全且つ効率的にカバーする複雑な継手空間マニピュレータ軌跡を生成するべくやり取りするいくつかの階層構造的なモジュール化されたソフトウェアコンポーネント（modularized software component）から構成されている。

解多様体生成器は、隣接継手状態によってエンドエフェクタによって連続的に「横断」されうる表面の２次元表現を生成する責任を担っている。これは、事実上、所与の表面セルにおける３次元表面形状を対応するマニピュレータ継手状態に変換することにより、以下のことを保証している。

・個々のマニピュレータの状態が、ユニバーサルに実現可能であり、障害物及び自己衝突から免れており、且つ、その動的且つ数値的課題を回避するために上述の特異性から十分に遠く離れていること
・隣接解多様体セルが隣接マニピュレータ状態を有し、これにより、カバレッジ問題を２次元サーチ空間に単純化していること
上述のように、運動の冗長性に対処するべく、基部の位置及び表面パッチの任意の所与の組合せについて、いくつかの候補解多様体が演算される。

以下の内容は、それぞれのこのような候補に対して適用され、且つ、全体的カバレッジ基準を最良に充足する多様体が、実行のために選択される。
解多様体の生成は、反対運動ソルバ（inverse kinematic solver）、優先順位キューに基づいた最も接近した隣接解パッチ成長アルゴリズム（neighbor solution patch growing algorithm）、及び解パッチ重み付け及び選択アルゴリズム（solution patch weighting and selection algorithm）という３つの主要コンポーネントに分割される。反対運動ソルバは、所与の継手構成においてアームの質量によって印加されるトルクによって生成される可動基部ユニット上に取り付けられたマニピュレータの偏向などの物理的影響の補償を含むカバレッジ要件を充足するエンドエフェクタの姿勢をもたらすすべての有効なマニピュレータ継手状態を演算する。

第１に、システムは、表面パッチ内のそれぞれのセル用のカバレッジ基準を充足する表面姿勢の組を判定する。コーティング除去プロセスの場合には、これらは、表面との関係におけるハイパワーレーザースキャナからのスタンドオフ及びその向きに関する許容値として表現され、これにより、表面加工装置の公称的姿勢の小さな組がもたらされる。許される許容範囲内において、この初期の組は、相対的に複雑な表面形状のその他の方法によってはアクセス不能であるエリアにアクセスするべく、表面スタンドオフ又は姿勢における小さな逸脱を許容するなどのために、わずかな量だけ、摂動させられてもよい。これらの候補表面姿勢は、セルの場所と法線の両方にわたる重み付けされた２次元の表面回帰を使用することにより、演算され、これにより、上述の表面パッチ表現などの分割されたモデルにおいて自然に発生する量子化アーチファクトの大部分を除去する数値的に安定し、正確であり、且つ、滑らかな表面形状が得られる。

候補表面姿勢が所与のセルについて演算されたら、これらは、加工装置の基準フレームから産業用マニピュレータの固有のエンドエフェクタフレームに変換される。次いで、カスタマイズされた反対運動ソルバは、障害物、自己衝突、及び所与のマニピュレータ状態によって生成される推定された基部の逸脱を考慮した結果的に得られたエンドエフェクタの姿勢のそれぞれを充足する可能なマニピュレータ状態の組を演算する。カバレッジポリシーによって許容される複数のエンドエフェクタ姿勢との組合せにおいて現時点のマニピュレータにおける冗長性が付与された場合に、所与の表面セルについて、１６個以上の反対運動解（inverse kinematic solutions）を得ることは珍しいことではない。

次いで、解パッチ生成アルゴリズムは、上述のように、それぞれのセルごとの実現可能な反対運動解の組を解多様体の組にパーティション化する。これは、本質的に、個々の解多様体を形成するべく、表面パッチの中心から始まり、且つ、すべての隣接セルを十分に近接したマニピュレータ状態と接続するフラッド−フィル（flood-fill）アルゴリズムである。継手空間内における「十分」な近接性の判定は、所与のマニピュレータ軸によって実現可能である速度に従って定義される。このフラッド−フィルは、所与の多様体に内蔵されるのに伴って、それぞれの候補反対運動解を「消費」し、且つ、プロセスは、すべての候補が多様体に対して割り当てられる時点まで、それぞれの残りの反対運動解ごとに、反復される。最終的な結果は、表面形状の複雑さ及びマニピュレータの運動作業空間の特性に応じて、任意の大きさを有しうるターゲット表面にわたる解多様体の集合体である。結果的に得られる解多様体は、サイズによってソートされ、且つ、最大のものの選択は、以下のものを組み合わせた評価アルゴリズムに従って処理される。

・更なる加工を必要とするセルのカバレッジに基本的に報いるそれぞれの到達可能なセルごとの現時点の加工要件、及び、
・多様体選択プロセスを異質なアーム運動を必要とする解から離れるようにバイアスする初期のマニピュレータ状態に対する近接性
次いで、最高スコアを有する解多様体が更なる加工のために選択される。一例においては、この「最良」の多様体は、隔離状態において処理されるが、１つのパスにおいてカバーされる表面の量を増大させるべく、オーバーラップした多様体の間において転送地点を定義することにより、複数の多様体を単一の相対的に大きな表面多様体に事実上結合することもできる。

カバレッジ経路ジェネレータ
最適な解多様体は、表面加工ポリシーの幾何学的且つ動的な制約を充足する双方向経路の組に更にセグメント化される。レーザーコーティング除去の場合には、これは、所与の姿勢におけるレーザーによって影響を及ぼされる表面エリアの判定を必要とする訪問の間の「クールダウン」期間及び構成可能な期間内において同一エリアをレーザーエネルギーに曝露しないカバレッジ経路の選択と共に、表面の所与の単位に適用されるレーザーエネルギーの量を制限する公称的表面横断速度を含む。これらの制約は、現時点においては、以下のものを介して対処される。

・例えば、任意の１つの列についてレーザーエネルギーに曝露された表面が、隣接する列のものとオーバーラップしないように、固定されたオフセットだけ、解多様体に沿って均一に離隔した「列」を生成すること。但し、
・総体として、すべてのこのような列によってカバーされた表面エリアは、解多様体の到達可能エリアの全体をカバーし、且つ、
・任意の所与の列の移動の方向において、解多様体を有する反対運動解は、多様体を生成するべく元々使用された近接性規則の相対的に厳格な変動を充足すると共に、従って、必要とされる横断速度を実現する可能性が相対的に大きい。

最初の２つの要件は、解多様体の最大カバレッジを保証することにより、カバレッジ問題に対する解決策を直接的に表しており、第３のものは、表面上における滑らかな線形運動の保証を強化している。次いで、解多様体全体をカバーする結果的に得られる双方向性カバレッジ経路の組は、図１１に示されているように、効率性を目的として刈り込まれる。表面加工ポリシーに従って既に「完全」である表面セルをカバーしているセクションは、除去され、これにより、不完全な領域をカバーする経路のみが残される。この最適化ステップは、有効な列の終了点が、隣接列にショートカットするか又は動作中の加工についてその他の方法で許容されるものよりも格段に迅速に表面を横断する経路と接続されることを許容することにより、動作中の加工の時間を増大させる。

カバレッジ計画ジェネレータ
次いで、最適化されたカバレッジ経路の組は、従来のグラフサーチアルゴリズムと新しいグラフサーチアルゴリズムの組合せにより、単一のカバレッジ操作として組み立てられる。第１の相対的に従来型のコンポーネントは、コストと、解多様体上の任意の２つの点の間の最適な経路と、を演算するための矩形接続性グラフに対するダイクストラ（Djikstra）のアルゴリズムの標準的な適用である。

「カバレッジ経路オプティマイザ（Coverage Path Optimizer）」と呼称される第２のコンポーネントは、問題を二項の一般化された移動するセールスマン問題として表現することにより、それぞれのカバレッジ経路ごとのほぼ最適な順序付け及び横断方向を判定するオプティマイザである。従って、それぞれの経路は、それぞれの横断方向ごとに１つという２つの「都市（city）」の組として表現され、この場合には、いずれか１つのものを訪問した場合に、経路全体が「訪問済み（visited）」としてマーキングされる。

都市から都市への初期コストは、上述のグラフサーチプランナからの最適な経路コストを使用することにより、生成され、且つ、その後に、表面プロセスの任意の時間パラメータによって変調される。レーザーコーティング除去の場合には、この変調は、「過剰に近接」していると共にレーザープロセスの熱冷却要件に違反する隣接列を横断するコストの人為的な増大から構成されている。

カバレッジ経路の順序付け及び方向が最適化された後に、これらは、上述の従来のグラフサーチ法を介して接続され、この結果、図９におけるように、解多様体の必要とされる部分を完全にカバーするべくエンドエフェクタが辿るべき、「カバレッジ」又は「移動」というラベルが付与された、表面多様体座標の連続的な組が得られる。

ロボット状態軌跡ジェネレータ
ロボット状態軌跡ジェネレータは、２次元表面座標のリストからの最適化されたカバレッジ計画を表面プロセス速度要件と固有マニピュレータ速度及び加速度制約の両方を充足するマニピュレータ状態の時間的シーケンスに変換する。又、この段階においては、結果的に得られる軌跡は、分割された表面上におけるグラフサーチに起因したエイリアシングの影響（aliasing effect）を低減するべく、且つ、カバレッジと移動セグメントの間の遷移内の「ハード（hard）」コーナーを望ましくないシステム振動を極小化しつつ動作中の加工の時間を最大限にする相対的に滑らかな遷移によって置換するべく、フィルタリングされる。

このような２つのフィルタリング段階のうちの第１のフィルタリング段階は、表面空間内における上述のエイリアシングの影響を抑圧するべく、適応型二次回帰を表面軌跡のローリングウィンドウに対して適用する表面−空間アルゴリズムから構成されている。このアルゴリズムは、マニピュレータの自己振動又は「立ち入り禁止」領域の観察などの基礎をなすシステム制約を依然として守りつつスムージングの発生を許容する適応型パラメータ化を含む。

次いで、これらのスムージングされた経路は、適応型混合アルゴリズムを通過し、この適応型混合アルゴリズムは、正弦波重み付け方式を使用してカバレッジと移動経路の間の接続地点を近似する（round off）ことにより、図１２に示されているスプライン様の最終的な表面軌跡をもたらす。この段階は、カバレッジと移動経路の間の準静的接合部を表面上の横断方向を変更するべく停止状態まで減速するという要件を低減又は除去する完全な動的軌跡によって置換することにより、動作中の加工の時間を増大させる。

スムージングされたカバレッジ計画が２Ｄ表面座標内において生成されたら、これは、解多様体を通じてインデックス化して（indexing）対応する反対運動解を取得することにより、有効なマニピュレータ継手空間軌跡に変換される。この段階においては、表面分割又は数値精度に起因した望ましくない振動を抑圧するべく、２次元二次回帰の更なる形態が使用され、且つ、ターゲットエンドエフェクタ速度を現時点の表面加工プロセスの関数として演算することにより、それぞれのマニピュレータ状態の間の時間インターバルが導出される。

最終的な加工ステップとして、結果的に得られた継手空間軌跡に対して、以下の内容を強制するための表面カバレッジ操作における隣接状態間の時間を反復的に拡張する制約に基づいた時間拡張アルゴリズムの組が適用される。

・本実施形態においては、５００ｍｍ／ｓに構成されている安全面において非常に重要な最大エンドエフェクタ速度
・マニピュレータの構成可能な継手空間速度の限度
・マニピュレータの構成可能な継手空間加速度の限度
この順序におけるこれらの制約の適用は、任意の所与のインスタンスにおいてエンドエフェクタの表面速度を最大限にし、この結果、このシステムにおける主要な性能パラメータである動作中の加工の時間が最大限にされる。

表面入口／出口プランナ
完全な表面カバレッジ操作を構築する際の最後のステップは、マニピュレータの初期状態を表面上軌跡（on-surface trajectory）内の適切な地点に接続する経路を生成し、且つ、同様に、表面加工が完了した際に、マニピュレータをその初期位置に戻すというものである。「入口」及び「出口」操作と呼称されるこれらの操作は、計画障害について実施される特殊な例外を伴って、一般化されたアーム運動と非常によく似た方式によって計画される。このようなケースにおいては、交互に変化する入口及び出口地点は、両方の計画が成功する時点まで、置換され、且つ、必要に応じて、オリジナルのカバレッジ計画に接続するべく、移動経路が表面上軌跡に追加される。更なる安全メカニズムとして、上述の時間拡張アルゴリズムは、表面衝突を強制しうる「プランジング」振動のリスクを軽減すると共にシステムの動作に伴うエンドユーザの快適性を全般的に増大させるべく、表面の近傍におけるエンドエフェクタの速度を減速させる「軟着陸」規則によって拡張される。

計画検証及びメトリックの組
マニピュレータ制御タスクに対して公開される前に、軌跡は、カバレッジ経路生成におけるアルゴリズム的又は数値的誤差が、表面と衝突することになる経路をもたらしうるリスクの軽減策として障害物検出メカニズムの非常に控えめな変動を使用した１つの最終的な検証ステップを経験する。これは、特に、産業用マニピュレータを数センチメートルの潜在的に有用なターゲット表面内において動作させる際に、賢明である。

又、様々な性能メトリックも、非効率性の任意の原因の詳細な一覧と共に、結果的に得られる計画が動作中の加工の時間を最大限にさせる程度をキャプチャする計画検証プロセスの副作用として演算され、これにより、最終的使用法及び現在の能力の継続的な技術設計の努力とシステム全体の主要な非効率性の両方が通知される。

障害回復
長期間にわたる産業的な配備が最終的に意図されているシステムの場合には、安定した障害の検出及び処理が非常に重要な設計課題である。その非常に控えめな表面安全規則と結合された状態において、表面カバレッジプランナの複雑さが付与された場合に、基部の姿勢、表面の形状、機械的剛性などにおける誤差のわずかな合流に起因した間欠的障害の可能性が存在している。制御された自律性規範の一部として、このような障害を対話型の解決のために操作者に対して提示する必要があるが、誤差に対処するべく必要とされる手動的介入の程度を極小化することも必要である。表面カバレッジ計画の場合には、エンドユーザには、通常の障害のケースを克服するように設計された補完的方式の組により、表面カバレッジコマンドを再度実行する選択肢が提供される。このような方式の一例は、ローカリゼーションシステムにおける一時的な誤差のアーチファクトである偽−真（false-positive）「衝突」からロボットを救出するべく、障害物チェックポリシーに適用される保守性の程度を一時的に低減するというものになろう。このような操作は、増大した操作者による制御の可能性を有し、且つ、通常は、正常な動作が再開されうる時点まで、相対的に低速において実行される。

以上、本発明については、主に、可能な限りターゲット表面パッチの多くのものをカバーするロボット状態の時間的シーケンスを生成するべく表面カバレッジプランナを使用した実施形態の観点において説明したが、当業者は、本発明の方法は、以下のようなその他の技術に対しても使用されうることを認識するであろう。

・カバレッジ経路を表面経路に跨る包括的な角度にまで拡張すること（現時点において、これらは、移動の方向にのみおけるものである）
・列カバレッジプランナが単一の計画において複数のカバレッジ多様体を使用することを可能にすること
・様々な主要性能パラメータ（Key Performance Parameter : KPP）を最適化すること（事実上は、レーザーのオン時間）
・オフラインの基部位置計画をサポートすること
・シーケンシャルに基づいた制約（熱放散など）を列カバレッジ計画オプティマイザに直接的に内蔵すること
・コーティングの厚さなどの新しい情報が発見されるのに伴って剥離プロセスにいてカバレッジ経路を変更することになるリアルタイム適応型経路計画を完全なものにすること
表面カバレッジ計画を実行している間に、すべての表面特性アナライザ（ＳＰＡ）入力装置は、継続的に、表面画像データをキャプチャし、且つ、表面分類情報を更新する。本実施形態においては、単一のＳＰＡ装置は、図１５に示されているように、７チャネルマルチスペクトル画像センサをもたらすべく、適切なフィルタリング及び照明と共に、２つのＲＧＢカラーカメラと、単一の近赤外線カメラと、から構成されている。これらのセンサからのこれらの分類結果は、以下のものを組み合わせることにより、表面モデル内において保存される。

・データ取得の時点におけるエンドエフェクタの瞬間的な姿勢、及び、
・視野内にあるターゲット表面の領域を判定するための表面モデルに組み込まれた形状及び既存の分類情報
表面画像データは、個々の画像ピクセルを分類対象の対応する表面セルと関連付けるべく、ターゲット表面領域上に投射される。次いで、これらのピクセルは、図１３に示されているように、それぞれのセルごとにサブ領域内にクラスタ化され、その相対的に小さなスケールにおいて個々に分類され、次いで、最終的なセル分類に集計される。図１３（中央）に示されているセルラーサブ分割の程度は、現在、それぞれの表面セルごとに、４×４グリッド、即ち、１６サブセルである。現時点のシステムは、サポートベクターマシン（Support Vector Machine : SVM）分類アルゴリズムを使用しており、これは、基礎をなすモデルの複雑さとはほぼ無関係であるレートにおいて入力データを分類するその能力に起因して選択されたものである。ＳＶＭは、通常、非確率論的２値線形分類（non-probabilistic binary linear classification）のために使用されるが、標準的なアルゴリズムは、通常、マルチクラス又は確率論的結果をもたらすべく、拡張される。本実施形態においては、ＳＰＡアルゴリズムは、このような拡張を使用することにより、それぞれの画像領域ごとに、例えば、上塗り対下地塗り対基材などのその領域におけるそれぞれの潜在的な分類に対応する確率を生成している。

図１３（右）に示されているこれらのサブセル分類のセルレベルの分類への変換は、高度に構成可能な集計ポリシーによって左右され、この集計ポリシーは、例えば、基材タイプなどのターゲット表面の２次的特徴に依存するように、構成されうる。公称的なケースにおいては、構成するサブセルのサイズ及びその相対的な分類に基づいて、重み付けされた投票方式が使用されている。

又、集計ステップは、表面分類のサブセルラー分布に関するなんらかの情報を保持するべく、ガウス混合モデル（Gaussian Mixture Model : GMM）をも生成する。これは、任意の分割のレベルにおいて、所与の表面セルが複数の表面クラスを全般的に含むことになり、且つ、それらのクラスの適切な分布が下流の消費者にとって有用な情報であるという概念の明示的表現であるという別個の利点を有する。図１４の例示用のＧＭＭデータは、この表現を使用してセル・エイリアシング（cell-aliasing）及び量子化の課題を克服することに伴う潜在的な利益を示している。従って、表面加工プランナは、サブセルレベルにおいて相対的に高忠実度の加工コマンドを生成するべく、この交互に変化する表現を活用している。

以上においては、表面特性アナライザのアルゴリズムは、ＳＰＡ画像データの単一の組からの分類情報を表現するべく、主に、そのガウス混合モデルの使用の観点において、説明されているが、当業者は、本発明の方法は、以下のものなどのその他の技術と共に使用されることも可能であることを認識するであろう。

・その他のＳＰＡ画像データセットからのオーバーラップした領域を使用することによるＧＭＭ生成の精度の改善
・画像データ内の検出された特徴による明示的な幾何学的形状の生成などのためのサブセルラー領域生成用のガウスに基づいてはいない関数の使用などの交互に変化するサブセルラーセグメント化アルゴリズムの適用
・交互に変化する分類アルゴリズム（即ち、ＳＶＭ以外のもの）の導入、或いは、相対的に高忠実度の結果を生成するための複数の分類器（classifier）の間における重み付けされた投票方式の使用
・ＳＰＡ画像データからの情報を表面の特定領域の以前の観察以降に発生した任意の加工の予想される影響と組み合わせるようにチューニングされうる分類プロセスへのフィードフォワードモデルの内蔵
ＳＶＭ分類器の使用は、様々なセンサデータが分類問題に対して適用されることを許容し、これにより、センサの十分に識別可能な組及び関連するトレーニングデータが付与された場合に、異なる表面加工タスクについて分類するようにＳＰＡを容易に再構成することが可能となる。レーザーコーティング除去の場合には、現時点の実装形態は、上述のように、且つ、図１５におけるように、３つのカメラと、関連する有効な照明源と、を利用している。これらのカメラのそれぞれからの個々のカラーチャネルは、分類アルゴリズムにおいて直接的に使用され、これにより、共線偏光を有するＲＧＢ、直交偏光を有するＲＧＢ、及び８５０ｎｍの赤外線というＳＶＭ用の７次元特徴空間がもたらされる。

図１５に示されているカメラ及び光源は、３つのカメラのそれぞれからの画像が、同一の視野及び同一の時点を表すことを保証するべく、同期化される。必須ではないが、この結果、ＳＰＡアルゴリズムの初期段階におけるすべての３つのカメラからの画像データのマージに伴う演算の複雑さが低減される。更には、カメラ及び照明は、レーザーコーティング除去プロセスを補完するように、トリガされ、つまり、画像は、レーザープロセスからの光漏洩の影響を極小化するべく、レーザーがオフである間に取得される。

標準的なオフラインＳＶＭトレーニング法に加えて、ＳＰＡ分類パラメータは、実行時に反復的に更新されてもよい。これを実行するべく、操作者は、図１３に示されているものに類似したデータを提示するＧＵＩ内において表面セルを選択し、且つ、それらのセルの新しい望ましい分類を選択する。次いで、これらのセルからの現時点の画像データは、更新済みのモデルを生成するべく、現時点の分類モデルに追加される。次いで、ユーザは、例えば、以下のような更新済みのモデルのいくつかの選択肢の間において選択することができる。

・現時点のパッチ内の既存の画像データに基づいた新しいモデルにおける分類結果のプレビュー
・ライブＳＰＡ分類エンジンに対する新しいモデルの適用、及び／又は、
・オフライン比較などの後で使用するための新しいモデルの保存
これは、最終的なシステムにおける重要な特徴であり、その理由は、これにより、エンドユーザは、既存のＳＰＡモデルによっては正しく分類されない着色によるコーティングなどの新しい表面に対して採用するべき適切な動作を識別することができるからである。従って、ＳＰＡが所与のセルの正しい分類について不確かである際に、再トレーニングの支援について自律型加工動作のスーパーバイザに対して通知する高度なＧＵＩツール及び通知方式が使用される。

表面プロセスプランナは、図１６に示されているように、以下のものを組み合せることにより、表面加工動作の規則的な時間分割されたシーケンスを生成する。
・ＳＰＡによって判定され、且つ、表面モデルによってエンコードされる単位面積当たりの現時点の分類状態
・表面カバレッジプランナによって意図されている産業用マニピュレータの予想運動
・エンドエフェクタが表面の近傍にある間に直接的な距離及び姿勢の計測を提供するローカルフレームフィードバックセンサ
・高度に構成可能な表面加工ポリシーの組及び効果的な表面加工のための様々な要件、最も顕著には、表面分類当たりに採用するべき適切な動作
又、上述の例において表示されているレーザー強度などの表面分類を加工コマンドに変換するための詳細なアルゴリズムに加えて、プロセスポリシーは、以下のものをもエンコードする。

・レーザーコーティング除去の場合に特に重要である表面姿勢又は加工ツールからのスタンドオフ距離などの効果的な加工のための幾何学的要件
・表面のすべて（又は、少なくともその大部分）が「下地塗り」又は「基材」と分類された際にプロセスの終了を意味することになる「上塗りのみの除去」などの表面プロセスの正常な完了のための最終的な条件
一般に、表面加工ポリシーは、表面分類を更なる訪問を必要とする状態（「実行を要する更なる作業が残されている」状態）からそうではない状態（「作業が完了した」状態）に変化させることになる方式で表現を変換するように表面に対して作用することになるプロセスコマンドを生成するものと予想される。ターゲットとする用途に応じて、コマンド生成アルゴリズム及び周辺ポリシーは、任意に複雑なものであってもよい。レーザーコーティング除去の場合には、例示用のポリシーは、コーティング除去プロセスに固有のレーザー合焦及びその他のパラメータと共に、所与の表面分類に適用されるべき望ましいレーザー強度を含むことになろう。又、プロセスポリシーは、上述のように、表面カバレッジプランナの動作に影響を及ぼすことになるエンドエフェクタの横断速度及びクールダウン時間などの幾何学的且つ時間的な懸念をエンコードしてもよい。

表面カバレッジプランナによって生成されたエンドエフェクタの予想軌跡が付与された場合に、表面プロセスプランナは、数秒の時間にわたる加工装置の場所、速度、及び向きを予測する。これらの予測により、且つ、その同一の時間範囲に沿って、表面プロセスプランナは、様々なプロセス基準がほぼ充足されることになるかどうかと、その時期と、を判定するべく、空間及び時間計算を実行する。次いで、プロセス基準が充足されることになる時点について、表面プロセスプランナは、作用されうる表面モデルの領域を演算する。次いで、エンドエフェクタが表面を横断するのに伴って実行されるべきプロセスコマンドを判定するべく、それらの領域と関連した現時点の表面特性が、表面加工ポリシーを介して、使用される。

これは、主には、幾何学的論考問題であるが、表面加工プランナは、ＳＰＡによって誤分類されたエリア内においてコーティング除去パスを強制するなどのために、操作者が規定したマスキング制約の尊重や一時的なポリシーオーバーライドの受け入れなどの特定量のユーザによるやり取りをも、同様に、サポートしなければならない。一例においては、これらの機能は、相対的に高度な制御を全体プロセスに対して提供するために、エンドユーザが上述の表面速度又はレーザー強度などの表面加工ポリシーの相対的に重要な態様を変更することを許容するべく、拡張されている。

又、一例においては、ＳＰＡユニットと表面加工ユニットの間の緩いフィードバックループに加えて、本システムは、表面プロセスのための相対的に緊密なローカルフレームフィードバック制御メカニズムをも収容している。このフィードバック制御ループは、マシンビジョンシステムよりも、格段に高いレートにおいて、且つ、格段に低いレイテンシーにより、動作し、且つ、プロセスのリアルタイム変調を許容する。レーザーコーティング除去の場合には、この「表面プロセスモジュレータ」（ＳＰＭ）は、以下のようないくつかの主要コンポーネントから構成されている。

・アナログ信号調整電子回路を有する光学センサのアレイ
・アナログ−デジタルコンバータ
・高速デジタル通信バス
・組込み型のマイクロコントローラ上において稼働するプロセス変調アルゴリズム
・ハイパワーレーザーに対する出力コマンドを駆動するためのデジタル−アナログコンバータ
図１７は、レーザーコーティング除去のために使用される表面プロセスモジュレータのブロックダイアグラムを示している。センサ組立体は、光学センサが、レーザーが表面と交差する地点を、且つ、従って、コーティング除去プロセスによって放出される光を、直接的に観察しうるように、エンドエフェクタ内において取り付けられている。センサは、フォトダイオードであり、これらのそれぞれは、光の特定の波長に対する感度を有し、且つ、入射照明の強度に比例した電圧を生成するアナログ回路と結合されている。この回路の利得は、ソフトウェアによって制御されたポテンショメータ（potentiometer）を介してオンザフライで調節されうる。この結果、表面プロセスからのフルダイナミックレンジの光強度をキャプチャするべく、回路を容易にチューニングすることができる。それぞれのセンサによって生成されるアナログ信号は、高速アナログ−デジタルコンバータに接続されており、このコンバータは、一例においては、２５０ＫＨｚ超のレートにおいてそれぞれのセンサの１２ビットサンプリングを実行する能力を有する。この装置は、以下の点において、類似の従来技術とは異なっている。

１．この装置は、その組み合わせられた視野がその時の（present）レーザーコーティング除去プロセスの瞬間的な作業空間とマッチングしている光学センサのアレイを使用している。

２．この装置は、センサヘッドにおけるセンサデータをデジタル化し、且つ、データを高速デジタルデータリンク上においてマイクロコントローラに対して送信している。
３．この装置は、レーザーデコードプロセスのフル幅に跨ってそれぞれのセンサの応答を特徴判定し、且つ、信号応答が実施されることを保証するべく、構成可能なアナログ利得とデジタル正規化関数の両方を適用している。

４．この装置は、そのセンサ応答を特定の用途に対して更にチューニングするべく、様々な標準的産業用光学フィルタの設置を許容している。
５．この装置は、センサ応答の連続的な監視、アナログ回路利得及びプロセスパラメータのオンライン調節、及び専用のＴＣＰ／ＩＰネットワークリンク上における演算されたコマンド出力の連続的な表示を許容している。

ＡＤＣによって生成されるデジタルデータは、標準ネットワークケーブルを使用することにより、最大で１００ｍの距離にわたって、最大で１００Ｍｂｉｔ／ｓの誤りのないデータレートに対応したＩＥＥＥ ８０２．３ｕ １００ＢＡＳＥ−ＴＸ物理層装置を介して送信される。コントローラにおいては、デジタルセンサデータは、ＡＲＭ Ｃｏｒｔｅｘ Ｍ４Ｆマイクロコントローラにより、受信及び処理され、このマイクロコントローラは、表面に対して適用するためのレーザーパワーの値を微細チューニングするべく、信号を外部的に規定された処理コマンドと組み合わせる。次いで、マイクロコントローラは、最後のデジタル−アナログコンバータを通じて、望ましいレーザーパワーについて命令する。

センサ読み取りに基づいた表面に適用するべきレーザーパワーの正しい値を判定するべく使用されるアルゴリズムは、高度に構成可能であり、且つ、ＳＰＭシステム内において現在実装されている２つの主要なアルゴリズムが存在している。第１のものは、固定されたレーザーパワーを表面に対して適用する単純な一定パワーアルゴリズムであり、これは、公称的には、開発の際に使用される。第２のアルゴリズムは、命令するべきレーザーパワーの値を判定するべく、センサのフルアレイの組合せから導出された単一の信号の応答に適用される閾値の組を使用している。当業者は、本発明の方法は、例えば、アレイ内の物理的位置と設置された光学フィルタの組合せに基づいて個々のセンサを異なる方式で取り扱う相対的に複雑な加工アルゴリズムを使用するように、容易に拡張されうることを認識するであろう。

これらのアルゴリズム及びそのパラメータは、検査されてもよく、選択されてもよく、且つ、専用のＴＣＰ／ＩＰ通信を介して調整されてもよい。これらの動作パラメータのオンライン調節は、システムが動作している間に、即座に効力を発し、且つ、これらは、不揮発性のＥＥＰＲＯＭ内において保存され、これにより、装置がその望ましい構成を保持すると共に電源投入の際に自動的に読み込むことを許容してもよい。又、ＴＣＰ／ＩＰリンクは、ライブデータを表面センサから送信することによってユーザが動作の際にリアルタイムでセンサ読み取りを観察することを許容するべく、使用されうる。

図１において示されている基本的なワークフローは、単一の固定された場所から任意の合理的に精巧な産業用マニピュレータによって実行されうるが、固定された基部位置の通常の使用法によれば、到達可能な作業空間のサイズが、そのマニピュレータの固有の能力に制限される。大規模な作業表面の加工を可能にするべく、このシステムは、このようなマニピュレータを可動基部ユニット（Mobile Base Unit : ＭＢＵ）に取り付けており、この可動基部ユニットは、ターゲット表面との関係において、アームのその他の方法で固定された基部を再位置決めするべく、使用される。この結果、従来の可動ロボットナビゲーションと関連した多数の要件が導入されるが、このシステムに内蔵されている解決策は、以下のとおりである。

・ローカリゼーション、或いは、固定された外部基準フレーム内におけるロボットの姿勢の判定
・グローバルな障害物制約下におけるマニピュレータ経路の計画
・グローバルな障害物制約下における可動ロボット経路の計画及び追跡
・可動ロボットの近傍における操作者の安全、ＭＢＵ−アームシステムの動的安定性、及び障害物モデルの検証に関する改善された安全メカニズム及びインターロック
特定の動作の環境に対してそれぞれがチューニングされた状態において、その作業環境における個々のロボットをローカライズするべく、センサと技法の組合せが使用される。第１に、且つ、真っ先に、図１８に示されている視覚的ランドマークに基づいたローカリゼーション法を使用することにより、環境内のロボットの全体的なグローバル姿勢が導出され、この場合に、カメラのアレイは、起点と呼称される調査対象であるランドマークを観察している。起点に基づいた技法に加えて、プロセスを実行するために最高の精度が必要とされる際には、表面追跡及び見当合わせ法が使用される。

一例においては、「ＡｐｒｉｌＴａｇ」と呼称される図１８に示されている環境マーカーは、４つの主回転を通じて一意であるピクセルエンコーディングを使用することにより、画像内において容易に且つ一意に識別可能となるように、構成されている。つまり、タグは、観察の視野に拘わらず、互いに混同されえず、或いは、異なる向きにおけるそれ自体と混同されえない。ローカリゼーションシステムの初期セットアップは、以下のものから構成されている。

１．ロボットの任意の所与の姿勢が、それぞれのカメラの視野内の複数のタグを含むことになるように、環境内において起点の集合体を付加すること
２．その一意のＩＤを環境内においてそのフル６ＤＯＦ姿勢と関連付けるように、それぞれの起点を調査すること
３．ロボットに対して複数のカメラを（例えば、マニピュレータの基部において）付加し、且つ、高精度を有するロボットとの関係においてその非本質的な形状を判定すること
これらの前提条件が付与された場合に、ローカリゼーションアルゴリズムのオンライン部分は、ローカリゼーションカメラからの画像データのそれぞれの組ごとに、以下のものから構成される。

１．シーン内におけるそれぞれの可視状態の起点を識別し、且つ、その一意のＩＤを抽出する。
２．それぞれの識別された起点の調査された姿勢を取得し、且つ、その姿勢を観察しているカメラの座標フレームに変換する。

３．既知のカメラ及び起点形状との組合せにおいてコンピュータビジョンの基本的な幾何学的原理を使用することにより、複数の候補姿勢を導入する。
４．以下のステップにより、数値最適化アルゴリズムを介してマルチカメラシステム用の候補姿勢をリファインする。

４．１ 現時点の姿勢推定を使用し、それぞれの識別された起点をその観察しているカメラの画像プレーン内に投射するステップ（即ち、起点が画像内において「存在するべきである」場所を判定する）
４．２ 起点の予測されたコーナーと検出されたコーナーの間の画像空間における誤差ベクトルを判定するステップ
４．３ エラー極小化アルゴリズムに対する誤差及び勾配関数として、観察しているカメラ用の姿勢対画像空間ヤコビ行列と共に、これらの誤差ベクトルを提供するステップ
５．システムの残りの部分に対する伝播のために最小誤差を有する候補姿勢を選択する。

この技法は、向きを非常に正確に計測するその能力、その潜在的に非常に大きな作業エンベロープ、及び複数のカメラを可動基部に対して接続するメカニズムの構造的偏向を観察するその能力に起因し、既存の屋内ローカリゼーションシステムよりも優先して選択される。又、この方式は、相対的に低コストであり、環境ランドマークの計測の際のわずかな誤差に対する安定性を有し、且つ、単純にランドマークの追加によって閉塞について補正する能力をも有する。視覚的ローカリゼーションシステムからの結果は、システムの瞬間的な姿勢を判定するべく、環境に依存した方式により、その他のセンサ及びローカリゼーション法と組み合わせられる。ローカリゼーションのその他の主要な供給源は、以下のものを含む。

・可動基部ユニット上における走行距離、慣性、且つその他の固有受容型センサ
・マッピングサブシステムからの表面ローカリゼーションの結果
システムの全体的状態に対するこれらのセンサのうちのそれぞれのセンサの影響の程度は、表１において要約されているように、システムの動作環境によって左右される。

この重み付けスキームの背後の全般的な概念は、以下のとおりである。

１．基部が運動中である際には、視覚的ローカリゼーション法は、カメラの同期化課題及び／又はモーションブラーに起因し、劣化する場合があり、従って、可動基部ユニットの自己受容型センサ（即ち、ホイールエンコーダ及び慣性センサを介した推測航法）は、システム状態に対して相対的に強力に影響を及ぼすことになるが、
２．基部が静止状態にある際には、視覚的ローカリゼーション法は、格段に安定しており、従って、システム状態は、次の内容を除いて、その結果によって最も直接的に影響を受けることになり、
３．表面カバレッジ操作を計画する前に、システムは、表面の形状を追跡しつつ、最大精度のために作業表面との関係におけるロボットの「ジャストインタイム」ローカリゼーションを実行することを要する。

一例においては、ローカリゼーションサブシステムは、大きな貨物又は旅客航空機の翼の下方において作業する際などの有意な起点閉塞が回避されえない作業エリアについて補償するべく、プレーナーレーザースキャナ又はテザー装置などのその他の姿勢供給源からのデータによって増強されてもよい。

マニピュレータプランナは、すべてのロボット、プロセス、及び環境制約を守りつつ、マニピュレータを所与の現時点の状態から規定された状態に安全に遷移させるロボット状態の時間的シーケンスを生成する。これらは、マニピュレータ固有の位置、速度及び加速度の限度、ロボットの自己衝突制約、及び広範な環境衝突モデルを含む。プランナは、マルチ分解能衝突モデルとポイントツーポイント経路計画の組という２つの主要なコンポーネントにサブ分割される。

マルチ分解能衝突モデル
一例においては、障害物の回避は、２部分マルチ分解能衝突モデルによって実施されている。これは、環境内の障害物の分割された容積計測表現によって始まるが、その表現に基づいて、障害物の場所のみならず、それぞれの非障害物「ボクセル（voxel）」から最も近接した障害物までの距離をもエンコードするべく、拡張されている。このモデルは、図１９に示されているように、マニピュレータ、ケーブルテザー、及びエンドエフェクタの単純化された「エンクロージングカプセル（enclosing capsule）」表現を処理するべく、使用される。

この衝突モデルを生成及び拡張するべく、限定を伴うことなしに、以下のものを含むいくつかのアルゴリズムが使用される。
・それぞれのボクセルから最も近接した障害物セルまでの最小距離を判定する優先順位キューに基づいたフリーセル拡張アルゴリズム（priority-queue-based free cell expansion algorithm）
・再帰的に分割されたボクセルに基づいた３次元障害物マップ
・そのラインに沿って最小障害物距離を判定すると共に所与の閾値未満の距離を有するボクセルを収集するべく障害物マップを通じたラインに沿ってスキャンするラスタサーチアルゴリズム（raster search algorithm）
・所与のロボット状態が障害物と交差するかどうかを効率的且つ正確に判定するべく所与のラインを再帰的に二等分する２項障害物サーチアルゴリズム（binomial obstacle search algorithm）
・隣接するボクセルを使用して分割プロセスにおけるエイリアシングの影響を抑圧すると共に障害物の距離推定を改善する準補間アルゴリズム
ポイントツーポイントプランナ
別の例においては、図２０に示されているように構成されたコンポーネントの階層構造的な組により、ポイントツーポイント計画が実施されている。この組は、接続され、継手座標内において規定され、且つ、「現時点の」状態及び「命令された」状態と呼称される２つのマニピュレータ状態によって始まる。２つのこのような状態が付与された場合に、単純な同期式継手状態プランナは、マニピュレータ固有の速度及び加速度限度を使用し、これらの状態の間の最も高速の可能な経路を生成する。次いで、結果的に得られた計画は、計画検証モジュールによってチェックされ、計画検証モジュールは、上述の様々な速度、加速度、自己衝突、及び環境衝突規則を強制する。この初期の極度に単純化された運動がこれらのチェックに合格した場合には、更なる作業は、実行されず、且つ、その計画は、実行のために選択される。

ロボットの作業空間のサイズと、この作業空間が非本質的な障害物が存在しない状態においてほぼ維持されるという事実と、により、この極度に単純化されたなプランナが、例えば、一般的な使用法における約３５〜４０％などの少なくない数のケースにおいて成功することが許容されているという点は、注目に値する。但し、この単純な計画が失敗した場合には、制御は、目標に至る相対的に複雑な衝突なし経路を生成する高度な格子に基づいたプランナに渡される。これは、オリジナルの開始及び終了状態の様々なわずかに摂動された変動を提供しうる開始及び終了地点選択モジュールによって開始される。このモジュールは、以下のような２つの主要な機能を有する。

１．効率性を目的としてマニピュレータの継手空間を分割するが、衝突状態にはない「リアル」な開始及び終了地点が、隣接状態に量子化されうる問題をも導入する格子プランナにおけるエイリアシングの影響を抑圧し、且つ、
２．これに関連して、特に、ターゲット表面の近傍における任意の数の正しく計画されたロボット動作は、ローカリゼーションシステム内のセンサノイズ及び／又はわずかなマニピュレータ追跡誤差に起因して、その最終状態においてわずかに衝突状態にあるように見える場合がある。

いくつかの自動化された障害回復シナリオを含むこれらのケースにおいては、様々な初期及び最終状態が、格子プランナによって使用されるべく、生成されてもよく、これらのそれぞれは、真の初期状態からのわずかな「変化」である。開始及び終了構成のそれぞれの組合せは、１つのこのような組合せが成功する時点まで、或いは、すべてのこのような選択肢が尽きる時点まで、格子プランナに伝達され、これらの時点において、安全な経路を計画するための障害が操作者に対して報告される。

一例においては、格子プランナは、オープンソースサーチに基づいた計画ライブラリ（Search Based Planning Library : SBPL）に基づいており、このＳＢＰＬは、発見的な方法によってガイドされた格子に基づいたサーチアルゴリズムを利用し、所与の構成空間を通じた複雑な衝突なし経路を生成する。格子プランナとして、ＳＢＰＬは、継手空間内において分割されると共にロボットによる実行の前にスムージングされなければならない軌跡を生成する。格子計画スムージングアルゴリズムは、上述の極度に単純化された継手空間プランナの一変形を使用することにより、ロボット及び環境衝突制約を依然として守りつつ、滑らかなアーム運動により、可能な限り多くの格子プランナからの個別の計画セグメントを置換する。すべてのその他の計画生成シーケンスと同様に、結果的に得られる計画は、計画を実行のためにコントローラタスクに伝達する前に、最後の独立した衝突モデル有効性チェックを通過する。

一実施形態においては、可動基部運動プランナの目的は、産業用マニピュレータの基部を環境内において規定された姿勢に配置するように、可動基部ユニットを安全に操作するというものである。一般に、この姿勢は、３つのデカルト座標と作業環境基準フレーム内の３つのオイラー角度という完全な６つの自由度を使用することにより、規定される。但し、本実施形態においては、ＭＢＵは、垂直方向軸における液圧作動を伴うプレーナー可動ロボットである。これは、すべての３つのデカルト軸の完全な制御を許容するが、マニピュレータ基部のヨー角度（垂直方向を中心とした回転）のみが明示的に制御されうる。マニピュレータ基部の高さが液圧マストを介して完全に且つ明示的に制御された状態においては、ＭＢＵ運動計画の問題は、主には、プレーナー可動ロボット計画の問題である。

図２１に示されているように、ＭＢＵは、その運動が、そのホイールの角度によって瞬間的に制約されるが（非ホロノミック）、ホイールは、プラットフォームが、十分な操向時間が付与された場合に、任意の向き及び曲がりを実現する能力を有するように、個々に操向可能であるという点において、疑似全方向型プラットフォームである。これは、相対的に極度に単純化された運動計画を許容し、これによれば、運動計画は、図２２に示されているように、最終的な目標である姿勢を実現するべく面内回転によって線形平行運動を交互に変化させるなどのように、ばらばらの操作の小さな組を使用することにより、分解される。

航空機翼の周りにおける通過を許容する安全な中間状態のシーケンスなどの環境に固有の発見的方法によって拡張されたこの基本的なアルゴリズムは、本明細書の時点において使用されるアルゴリズムである。これは、マニピュレータ運動計画のために使用されるものと同一の衝突モデルを使用することによってそれぞれが明示的に試験される操作の小さな組合せ空間をもたらす。すべての障害物チェックに合格した操作の第１の組合せが、選択され、且つ、ＭＢＵ経路トラッカに伝達され、或いは、さもなければ、ユーザは、すべてのこのような経路が衝突チェックに不合格となった場合には、手動による介入の必要性について通知される。

一例においては、この運動プランナは、このシステムの初期の開発及び試験のためには、十分なものであることが証明されているが、本プランナは、プランナ障害を回避するべく、ＭＢＵ操作の安全なシーケンスの手作業による選択に対して大幅に依存している。別の例においては、環境を通じて相対的に一般的な経路を計画するべく、マニピュレータプランナによって使用されるものと同一の基礎をなす計画ライブラリを使用した相対的に明示的なサーチに基づいたプランナが内蔵されている。又、中間状態の手作業による選択に対する依存性の低減に加えて、これは、ＭＢＵステーション計画における並列進捗のサポートを支援することもできる。

又、ＭＢＵのための安全なポイントツーポイント操作を計画する能力に加えて、このシステムにおいては、ＭＢＵがシステムの表面加工目標を実現するべく向かうべき場所を計画するというニーズも存在している。このような「ＭＢＵステーション」の選択の際には、考慮すべき多数のトレードオフが存在しており、最も顕著には、ＭＢＵ運動は、表面を能動的に加工するために消費されない時間を表しており、これは、任意のコスト−利益分析のボトムラインに対して影響を及ぼす。問題の本質は、図２３の抽象的な航空機の半分について表されているものなどの、表面全体が最小時間において加工されることを許容するＭＢＵ姿勢のシーケンスの選択である。

開示されているシステムは、ハイパワーレーザーシステムを有する大規模な自律型車両内に存在している危険に対処するべく、いくつかの安全機能を内蔵している。安全システムの目標は、（優先順位の順序において）以下のとおりである。

・（１）ハイパワーレーザーに対する曝露と（２）意図せぬ車両との接触に起因した人間の操作者に対する危害を防止する。
・（１）意図せぬレーザー放出に対する曝露と（２）車両と表面の間の意図せぬ接触に起因した加工対象の表面に対する危害を防止する。

・（１）環境の要素との意図せぬ接触、（２）ロボットの一部分と別のロボットの一部分の間の干渉、及び（３）動的な操作によって生成される不安定性に起因したロボットに対する危害を防止する。

安全システムの核心は、レーザー放出及びすべての外部車両の運動を絶対的に確実な高信頼性を有する方法で終了及び防止するべく設計された緊急停止メカニズムである。安全システムは、基本的な状態機械に準拠しており、システムの現時点の動作状態は、作業環境内の且つロボット上の操作者制御ステーションにおけるライトにより、操作者に対して明瞭に通知される。表２には、これらの状態及びその意味が要約されている。

図２４には、これらの状態の間の遷移が示されている。一般的に、任意の安全センサの起動は、直接的にＥ停止状態に結び付くことになり、この結果、動作状態に戻るために安全リモートコントロールを使用した操作者による介入が必要となる。このシステムにおいて使用される様々な安全センサには、以下のものが含まれる。

・操作者がシステムを停止させるための十分な機会を提供するべく、必要に応じて作業空間を通じて分散された明示的な緊急停止ボタン
・作業エリアの占有状態の変化を黙示的に検出するべく使用されるドアスイッチ。作業エリアへの任意のドアの開放は、要員が作業エリアに進入することを意図しているという仮定の下において、システムがレーザーモードによる自律的状態にある場合には、Ｅ停止をトリガすることになる。

・ロボットが作業環境を離脱することを防止するか、或いは、ロボットがテザーの範囲の限界に接近することに伴ってＥ停止をトリガすることにより、ロボットがそのテザーを損傷することを防止するＭＢＵテザーリミットスイッチ
・ＭＢＵが予め設定された速度限度を超過した場合に、Ｅ停止をトリガすることにより、ＭＢＵを低速度に対して事実上制御する動的安全モニタ。例えば、本システムにおけるＭＢＵは、数メートル／秒超の速度の能力を有する一方で、組み合わせられたシステムの安定性を保証しうるように、１００ｍｍ／ｓ未満の速度に制限されている。

・エンドエフェクタ内に構築されると共に任意の障害物との接触を検出するように設計されたエンドエフェクタリミットイッチ。これらのスイッチは、十分な力が、任意の方向においてエンドエフェクタの加工地点に対して印加された場合に、起動されることになる。これらのスイッチのうちの任意のスイッチが起動された場合に、安全システムは、Ｍ停止モードに入ることになり、且つ、エンドエフェクタが障害物から手動で係合解除される時点まで、自律的な動作を防止することになる。

図２５に示されているこのシステムのエンドユーザ動作モデルは、単一のコヒーレントな「ジョブモデル（Job Model）」の周りを回っており、このジョブモデルは、加工環境、加工を実行するロボットシステムの組、及び加工されている物体の状態を明示的に表している。

ジョブモデルは、対話型のウィザードを介して構築されてもよく、所与の作業環境内の特定の既定の構成において、様々な典型的な表面を加工するべく、テンプレートジョブが入手可能である。この結果、ジョブは、以下のような動作のシーケンスを通じて進行する。

１．自律性スーパーバイザは、ＧＵＩ内において提示されている従来モデルを作業環境内の物理的表面と比較することにより、ターゲット表面の概略的な形状及び位置を確認する。

２．確認した際に、システムは、ターゲット表面をマッピングし、これにより、表面マッピングの目的により、ステーション計画を調整すると共に環境内の１つ又は複数のロボットシステムの活動を順序付けるように、進行する。

３．すべてのデータ収集が完了したら、ロボットは、なんらかの公称的「ホーム」構成に戻り、且つ、自律型スーパーバイザが、任意の異常な表面形状との関係において実行するべく適切な動作について指示されることに伴って、ターゲット表面の原型の先行モデルが、計測されたターゲット表面にマッチングするようにリファインされる。

４．モデルリファインプロセスが完了した際に、操作者は、実行された変形及びアライメントを検討及び承認しなければならず、レーザーコーティング除去の場合には、「すべてのコーティングの除去」又は「上塗りのみの除去」などのように、ターゲット表面の望ましい終了状態を選択する。

５．システムは、到達可能な表面エリアの全体がターゲット状態に変換される時点まで、ＭＢＵ操作と適切な表面カバレッジコマンドを交互に変化するように発行することにより、１つ又は複数のロボットシステムの活動を計画及びシーケンシングするステーションを調整する。

５．１ 表面カバレッジコマンドの実行の際に、ＳＰＡによって明瞭に識別されえない表面に関する加工のアドバイスを提供するように、自律型スーパーバイザに対して問合せが実施されてもよく、且つ、
５．２ ロボットが任意の所与の表面加工ステーションから離脱する前に、自律型スーパーバイザには、最終的な結果を検査すると共に、任意選択により、コーティング除去の場合における「もう１つの浄化パス」の強制実行などのように、そのエリアのサブセットに対して実行するべき更なる作業を規定するための機会が付与されることになる。

６．それぞれのステーションごとの表面加工が完了した際に、表面の形状及び状態を含むすべてのデータ生成物がオフライン分析のためにアーカイブされる。
上述の主要なやり取りに加えて、制御された自律性規範の一部であるいくつかの非常に重要な操作者のやり取りが存在しており、これらは、システム動作の際に任意の時点において発生しうる。広い意味においては、これらのイベントは、障害回復及び安全イベントに関するものであり、その最も重要なものは、以下のとおりである。

１．予期せぬ真の障害物検出：この場合には、それぞれのロボット上の様々なセンサは、周囲環境を継続的に計測し、これにより、システムの残りの部分によって使用されている障害物マップによってはカバーされていない硬質物体の証拠を探し求めている。このような異常な障害物の証拠が検出された場合には、システムは、以下の内容を実行することになる。

・障害物を検出したロボットに対するソフトウェア緊急停止イベントを発行し、これにより、そのシステム上の任意の稼働中の動作を停止させる。
・予期せぬ障害物をＧＵＩ内において強調表示し、これにより、例えば、（ａ）ユーザが環境に進入して偽の障害物を除去することを許容するためにすべての動作中の加工を停止するべく、或いは、さもなければ、（ｂ）障害物を衝突モデルに内蔵し、且つ、新しいデータを内蔵する新しい計画をすべてのロボットに生成させるべく、適切な動作についてユーザに指示する。

２．システム安全イベント：この場合には、上述の安全センサのうちの１つ又は複数が、ハードウェア緊急停止をトリガする。この場合には、操作者に対して、イベントの目的の種類が通知されることになり、且つ、適切な回復動作に関する指示が提供されることになる。これは、手動的動作を再開する前に、リミットスイッチを係合解除するなどのために、ＭＢＵ又はマニピュレータ用のＣＯＴＳペンダントを使用するステップを含んでもよい。

このシステムにおいて使用されているやり取りの基本的なパターンは、協働プロセスであり、この場合に、複数の物理的システムに跨って分散された複数の独立したプログラムは、システム全体の目標を実現するべく、メッセージングを介して協働している。従って、この作業において含まれるサポートソフトウェアは、図２６に示されている協働をサポートするデータ構造、アルゴリズム、システムサービス、コードテンプレート、及び設計メタファ（抽象化されたインターフェイスの形態を有する）を含む。

又、上述の規範の直接的なサポートに加えて、この作業において使用される中心的なインフラストラクチャは、プロセス間メッセージトラフィックの広範なロギング、これらのログのタイミング設定された再生、及び複雑なソフトウェアシステムにおける障害診断及び性能分析にとって非常に重要なオフライン分析ツールをもサポートしている。

又、このシステムは、システムからの且つシステムに関する様々なデータを視覚化するべくコヒーレントなメタファを提供する機能豊富なグラフィカルユーザインターフェイスをも含む。図２７に示されているように、ＧＵＩは、システム状態に関する豊富な３次元ビューと共に、ボタン及びテキストボックスなどの標準的ウィンドウメタファを使用することにより、テキスト情報を表示するためのメカニズムを提供している。

データは、有効なプラグインのリストに追加するか又は除去することにより、機能が特定のＧＵＩインスタンスに追加又は除去されることを許容する「プラグイン（plugin）」メタファを介してＧＵＩ内において視覚化される。懸念の強力なモデル・コントローラ・ビュー分離（Model-Controller-View separation）に準拠することにより、個々のプラグインは、コントローラとして機能し、これにより、モデルを提供するシステムメッセージトラフィックと同期した状態で、１つ又は複数のＧＵＩのコンテンツ又は上述の図に示されているそれぞれのエリア内のビュー要素を管理する。例えば、１つのこのようなプラグインは、全体システム状態メッセージを取得することにより、その内部のデータを使用して図２７の中心におけるシステムの３Ｄモデルを更新してもよく、サイドパネル内のテキスト情報を更新してもよく、且つ、恐らくは、ツールバー上のボタンを介して、いくつかの基本的コマンドがシステムに対して発行されることを許容してもよい。

又、このシステム用のサポートソフトウェアは、ロボットシステムの構成要素、これらがロボット全体に組み込まれる方式、及びこれらのロボットがなんらかの相対的にハイレベルな目的を実現するべくその環境とやり取りする方式を記述するための明示的ソフトウェアコンポーネント及び構成メタファをも含む。この所謂「アセットモデル（Asset Model）」は、マニピュレータの運動、較正済みのエンドエフェクタ形状、又は可動基部の能力などのそれぞれの個々のロボットの詳細が、図２８に示されているように、別個に表現されると共に相対的に高いレベルにおいて「ロボット」に組み合わせられることを許容する。

明示的モデルにおけるロボットシステムの構成メンバ及び構成をこのような方式で表現することにより、上述の様々な認識システム及びプランナなどの相対的にハイレベルなソフトウェアコンポーネントは、様々な意味的に類似しているが詳細において異種であるシステムを制御する。又、この結果、その他のシステムコンポーネントとの干渉を伴うことなしにシステム状態の真の表現を保証する、上述のＧＵＩなどのための、但し、衝突モデルの表現や、均質な変換を導出するなどのための、システムの別個のビューの生成が許容される。

又、このモデル化規範の広範な使用は、モデル・コントローラ・ビュー設計パターンのその他の適切な適用と共に、様々な程度の忠実度によってシステムを完全にシミュレートすることをも許容する。例えば、図２９に示されているように、計画及び制御ソフトウェアは、「リアル」なアーム制御及びインターフェイスプロセスを様々な程度の忠実度の模擬体によって置換することにより、開発され、且つ、オフラインで試験されてもよい。

この図において表現されている重要な概念は、コンポーネントの置換による動作の変動に関するものであり、相対的にハイレベルのコンポーネントは、そのいずれもが、相対的にローレベルのコンポーネントが実際のものであるのか又はシミュレートされているのかを「認知」する必要はない。類似のシミュレーション能力は、特に、マニピュレータに加えて、可動基部ユニットを、マッピングセンサを、更に、ある程度は、グローバルローカリゼーションシステムをも、含む本明細書において提示されているロボットシステムのすべての主要なサブシステムについて開発されている。この広範なシミュレーション能力は、すべてのハイレベルな計画ソフトウェアが開発、試験、及びオフラインでデバッグされることを許容する。そして、これは、実際のロボット上における試験時間の消費を伴うことなしに、問題が解決されるか又は新しい機能がシステムに追加されることを許容し、これにより、その上部における予期せぬ又は誤った動作のリスクが低減される。一例においては、このシミュレーション能力は、表面プロセスをも同様にシミュレートしうるように、拡張されうる。これは、レーザーコーティング除去における塗装の厚さの変動から生じるものなどの表面プロセスの変動から生じるシステム動作の最適化を伴う実験をサポートすることができる。

Claims (36)

1. 作業環境内において静止又は可動基部を有するロボットマニピュレータを使用して３次元物体上における表面加工を実行する方法であって、
   前記３次元物体のベースモデルを取得すること、
   前記３次元物体の表面スキャンを実行するとともに前記表面スキャンから取得された距離データ及び表面特性データによって前記ベースモデルを増強することにより、前記ベースモデルから表面モデルを生成すること、
   前記３次元物体の表面加工を最大限にするべく、前記ロボットマニピュレータの状態の時間的シーケンスを計画すること、
   前記ロボットマニピュレータに接続された加工ツールを制御又は変調するべく、表面が加工される前に３次元モデルの表面をスキャンすること、
   前記加工ツールによって前記表面を加工すること、
   前記表面が加工されるのに伴って前記３次元モデルの表面をスキャンし、且つ、新しい表面特性データによって前記表面モデルを更新すること、
   更新済みの表面モデルに基づいて前記ロボットマニピュレータ用の位置及び姿勢の組を調整すること、
   前記表面が所望の状態に到達する時点まで、前記表面の加工及び前記表面モデルの更新を継続すること、を備える方法。
2. 前記作業環境内における前記表面モデルの位置をリファインすること、
   前記作業環境内における前記ロボットマニピュレータの位置をリファインすること、を更に備える請求項１に記載の方法。
3. 前記ロボットマニピュレータは、表面上において運動する能力を有する可動基部上に取り付けられている、請求項１に記載の方法。
4. 前記ロボットマニピュレータは、レール基部上に取り付けられ、
   前記レール基部は、前記レールに沿って前記ロボットマニピュレータを運動させる機能を有する、請求項１に記載の方法。
5. 前記ベースモデルは、表面特性を有する既存の３Ｄモデルから取得される、請求項１に記載の方法。
6. 前記ベースモデルは、前記３次元物体の形状をキャプチャする機能を有する光学センサを使用することによって前記３次元物体をスキャンすることにより、生成される、請求項１に記載の方法。
7. 前記表面の加工に関する加工ポリシーによって前記ベースモデルを増強することを更に備える請求項１に記載の方法。
8. 前記表面モデルとのユーザインタラクションを許容することを更に備える、請求項７に記載の方法。
9. 前記ユーザインタラクションは、前記表面の一部分の加工を妨げる仮想マスクの規定を許容することを含む、請求項８に記載の方法。
10. 前記ユーザインタラクションは、規定されたエリア上又は規定された容積の内部における前記ロボットマニピュレータの位置決めを妨げる仮想的立ち入り禁止エリア又は容積の規定を許容することを含む、請求項８に記載の方法。
11. 前記ユーザインタラクションは、更なる加工を必要とするエリアのマーキングを許容することを含む、請求項８に記載の方法。
12. 前記ユーザインタラクションは、前記加工ポリシーのオーバーライドを許容する、請求項８に記載の方法。
13. 前記ロボットマニピュレータは、ＬＩＤＡＲ装置を含み、
    前記距離データは、前記ＬＩＤＡＲ装置によって生成される、請求項１に記載の方法。
14. 前記ロボットマニピュレータは、１つ又は複数のセンサを含み、
    前記表面特性データは、前記１つ又は複数のセンサによって生成される、請求項１に記載の方法。
15. 前記１つ又は複数のセンサは、マルチスペクトルカメラ、カラーカメラ、モノクロームカメラ、及び特定波長の感度を有するカメラを有する群から選択される、請求項１４に記載の方法。
16. 前記１つ又は複数のセンサは、非破壊検査センサを含む検査センサ、超音波センサ、及び渦電流に基づいた亀裂検出センサを有する群から選択される、請求項１４に記載の方法。
17. 前記ロボットマニピュレータの状態の時間的シーケンスは、位置及び姿勢の組を有する請求項１に記載の方法。
18. 前記ロボットマニピュレータの状態の時間的シーケンスを計画することは、
    前記３次元物体と前記作業環境内のその他の物体の間の衝突を回避しつつ、前記表面の加工を最大限にさせることを含む、請求項１に記載の方法。
19. 前記ロボットマニピュレータの状態の時間的シーケンスを計画することは、
    既定の最小期間内において複数回にわたって前記表面の同一エリアの加工を妨げることを含む、請求項１に記載の方法。
20. 前記表面モデルは、２次元多様体の組から構成され、
    前記２次元多様体のそれぞれは、複数のセルから構成され、
    前記複数のセルのそれぞれは、表面エリアの物理的単位を表し、
    前記複数のセルのそれぞれは、関連付けられた一組の特性を有する、請求項１に記載の方法。
21. 前記複数のセルのそれぞれと関連する特性は、材料の種類と、コーティング特性と、を含む請求項２０に記載の方法。
22. 前記加工ツールは、表面から塗装を除去する能力を有するレーザーである、請求項１に記載の方法。
23. 前記加工ツールの軌跡に沿った前記表面の最も最近に観察された状態について問い合わせること、
    前記観察された状態に基づいて前記加工ツールによって実行される加工動作及びパラメータのシーケンスを計画すること、を更に備える請求項１に記載の方法。
24. 更なる加工が前記表面の任意の部分について必要であるかどうかを判定するべく、加工された表面を分析することを更に備える請求項１に記載の方法。
25. 前記ロボットマニピュレータは、エンドエフェクタを含み、
    前記方法は、
    作業エリア内の起点を観察する光学位置決めカメラを使用することにより、作業エリアとの関係において前記エンドエフェクタの３Ｄ位置及び向きを計測することを更に備え、
    前記光学位置決めカメラは、光学に基づいた位置決めと前記ロボットマニピュレータの間の相対的な運動に起因した姿勢誤差を極小化するべく、前記エンドエフェクタの近傍において取り付けられる、請求項１に記載の方法。
26. 前記ロボットマニピュレータは、エンドエフェクタを含み、
    前記エンドエフェクタと前記表面の間の相対的な運動を計測するべく、前記表面を観察する光学位置決めカメラを使用することにより、前記エンドエフェクタの３Ｄ位置及び向きを計測することを更に備える請求項１に記載の方法。
27. 作業環境内において３次元物体上における表面加工を実行するシステムであって、
    １つ又は複数のロボットマニピュレータであって、前記ロボットマニピュレータのそれぞれは、表面加工ツール、測距センサ、及び装着された１つ又は複数の表面特性センサを有するエンドエフェクタを含む、前記１つ又は複数のロボットマニピュレータと、
    前記１つ又は複数のロボットマニピュレータを制御するコンピュータ実行ソフトウェアと、を備え、
    前記コンピュータ実行ソフトウェアは、
    表面の現時点の状態を分類するべく、前記表面加工ツールの加工地点の前後における表面特性センサデータを処理する表面特性アナライザと、
    前記表面の形状及び前記表面の現時点の状態の保存のための表面モデルと、
    状態表面モデル内において保存された前記表面の観察された状態に基づいて前記表面加工ツールによって実施される加工動作のシーケンスを計画する表面プロセスプランナと、
    前記測距センサ及び前記１つ又は複数の表面特性センサからのリアルタイムフィードバックに基づいて前記加工動作の計画されたシーケンスを変更する表面プロセスモジュレータと、
    前記表面のカバレッジを最大限にさせるべく、前記１つ又は複数のロボットマニピュレータの運動及び姿勢を計画する表面カバレッジプランナと、を含む、システム。
28. 前記表面加工ツールは、前記表面から塗装を除去する能力を有するレーザーである、請求項２７に記載のシステム。
29. 物体との衝突を防止するべく、前記システムを取り囲む物体を検出及び特定する１つ又は複数のセンサを更に備える請求項２７に記載のシステム。
30. 前記１つ又は複数のロボットマニピュレータは、表面上において運動する能力を有する可動基部上に取り付けられている、請求項２７に記載のシステム。
31. 前記１つ又は複数のロボットマニピュレータは、レールベース上に取り付けられ、
    前記レールベースは、レールに沿って前記１つ又は複数のロボットマニピュレータを運動させる機能を有する、請求項２７に記載のシステム。
32. 前記測距センサは、スキャニングレーザー距離計、ステレオカメラ、距離カメラ、及び距離キャプチャセンサを有する群から選択される、請求項２７に記載のシステム。
33. 前記１つ又は複数の表面特性センサは、ビデオカメラと検査センサを有する群から選択される、請求項２７に記載のシステム。
34. 前記１つ又は複数の表面特性センサによって観察されるエリアを照明するアクティブ照明を更に備える請求項２７に記載のシステム。
35. 前記コンピュータ実行ソフトウェアは、前記加工動作のシーケンスの変化を実現するべく、ユーザによる前記表面モデルの手作業による編集を許容する、請求項２７に記載のシステム。
36. 前記表面は、航空機の胴体、翼、及び操縦舵面であり、
    前記表面加工は、前記表面からのコーティング層の除去である、請求項２７に記載のシステム。