JP7212236B2

JP7212236B2 - オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法及び装置

Info

Publication number: JP7212236B2
Application number: JP2021537213A
Authority: JP
Inventors: 鄭振興; ▲てぃお▼世普; 秦磊
Original assignee: 広東技術師範大学; 広東匯博机器人技術有限公司
Priority date: 2019-12-02
Filing date: 2020-07-10
Publication date: 2023-01-25
Anticipated expiration: 2040-07-10
Also published as: CN111216124A; WO2021109575A1; JP2022516852A; CN111216124B

Description

本発明は、ロボットの視覚領域に関し、特にオーバービュー視覚およびローカル視覚の一
体化によるロボット視覚案内方法及び装置に関する。

強国の根幹をなす自動化装備（ロボットシステム）は、高速化、インテリジェント化の方
向に進まなければなりません。自動化装置の知能化の重要な手段は、マシンに「目」とこ
の目に合わせられる「脳」を装着することである。この「目」は単眼カメラ、両眼カメラ
、多目カメラ、三次元スキャナー、RGB-D（RGB+Depth）センサーでもいいです。自動化装
備のスマート化のコア作業内容は、この「目」で取得した画像データを分析（例えば画像
認識）し、分析結果に基づいてロボットシステムを特定の加工または組み立て操作に導く
ことを含む。加工技術が進歩するにつれて、加工が必要な部品の表面はますます複雑にな
り、加工の精度が要求されるようになりました。そのため、部品の表面処理（研ぎ捨て作
業）は不可欠な重要な過程です。加工部品に対する表面処理の自動化とインテリジェント
化を実現するためには、上記の「目」を用いて加工対象部品の画像を取得し、上記「脳」
を用いて分析処理を行い、加工部品に対する空間的な正確な位置決めを実現し、目標を精
密に検出します。さらに、ロボットの端を研ぐ道具を導いて加工部品の加工目標に対して
作業を行います。従来は検出視野の大きいロボットビジョンガイドを採用していますが、
検出精度は通常高くなく、加工精度が要求できません。高精度の空間位置決め情報を得る
ためには、ロボットビジョンガイドはより小さな検出視野を設定する必要がありますので
、大きな加工目標についてはブロック分け検出が必要ですので、計算の複雑さが高く、計
算量も多く必要です。計算時間が長く、システム全体の作業効率は高くないです。また、
上述の「脳」のソフト・ハードウェアの性能に対する要求が高く、処理のリアルタイム性
を達成することが難しく、現在の高速化の工業生産過程における必要性に合わない。この
ため、本発明は、大域的な視覚と局所的な視覚を融合させた大体積加工目標の研磨トスロ
ボットの高精度な視覚誘導方法と装置を開示し、大体積加工目標に対して高効率な加工が
可能な精度要求を満足できる。

本発明は、オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法
及び装置を提供し、既存の検出視野の大きいロボット視覚案内を採用するため、検出精度
は通常高くなく、加工精度の要求を達成できないが、高精度な空間測位情報を得るために
は、ロボットビジョンの設定が必要であるため、大きな加工目標に対してはブロック分け
検出が必要であり、複雑度が高い計算となる。そして、大きな計算量が必要で、計算時間
が長く、全体のシステムの作業効率が高くなく、ソフトハードウェアの性能要求が高く、
処理のリアルタイム性を達成するのが難しく、現在の高速化された工業生産過程で必要と
されるこれらの技術問題を解決する。

上記の問題を解決するために、オーバービュー視覚およびローカル視覚の一体化によるロ
ボット視覚案内方法は、
ステップ１：
検出ロボットの端末に設置される全体ＲＧＢ－Ｄ複合センサーＤ７０によって要加工目標
の全体レジストレーションＲＧＢ二次元画面Ｉ_ＲＧＢおよび全体レジストレーションデプ
スデータＩ_Ｄを獲得し、全体レジストレーションＲＧＢ二次元画面Ｉ_ＲＧＢから要加工目
標Ｏ１０の全体領域Ｓ_ＲＧＢを獲得し、全体ＲＧＢ－Ｄ複合センサーのキャリブレーショ
ン行列によって全体領域Ｓ_ＲＧＢにしたがって全体レジストレーションデプスデータＩ_Ｄ
から要加工目標Ｏ１０の全体的３ＤポイントクラウドデータＳ_３Ｄを抽出するステップと
、
ステップ２：
全体的３ＤポイントクラウドデータＳ_３Ｄを分析することにより要加工目標の全体加工案
内経路の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}を獲得することであって、ただし、それぞれＡＸ
_ｊは要加工目標の全体的３ＤポイントクラウドデータＳ_３Ｄにおける全体加工案内経路の
点、ｊは全体加工案内経路の点ＡＸ_ｊの番号、ｊの値の範囲は［１，ｎ］、ｎは全体加工
案内経路の点ＡＸ_ｊの総数とするステップと、
ステップ３：
全体加工案内経路の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}に基づいて、所定の要加工サブ目標領
域の高精度検出パラメータによって、要加工目標の全体的３ＤポイントクラウドデータＳ
_３Ｄを要加工サブ目標領域のポイントクラウド集｛Ｓ_３Ｄ－ｊ｝_{ｊ＝１－＞ｎ}、に分割す
ることであって、ただし、Ｓ_３Ｄ－ｊは全体加工案内経路の点ＡＸ_ｊの要加工サブ目標領
域のポイントクラウドに対応するステップと、
ステップ４：
最適経路計画アルゴリズムによって、要加工サブ目標領域のポイントクラウド集｛Ｓ_３Ｄ
_－ｊ｝_{ｊ＝１－＞ｎ}を順序付けすることによって、最適要加工サブ目標領域のポイントク
ラウド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ}を生成することであって、ただしそれぞれＳ_３Ｄ
_－ｉは最適要加工サブ目標領域のポイントクラウド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ} の
うちの要加工サブ目標領域のポイントクラウド、ｉは最適加工サブ目標領域のポイントク
ラウド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ}の番号とし、ｉとｊは一々対応し、ｉとｊの一々
対応関係によって全体加工案内経路の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}を全体加工案内経路
の点配列｛ＡＸ_ｉ｝_{ｉ＝１－＞ｎ}。に変換するステップと、
ステップ５：
ｉは１～ｎとすると、要加工サブ目標領域のポイントクラウドＳ_３Ｄ－ｉに対応する全体
加工案内経路の点ＡＸ_ｉを検出ロボットベース座標系の全体加工案内経路の点ＢＸ_ｉに変
換し、そして検出ロボットベース座標系の全体加工案内経路の点ＢＸ_ｉを研磨ロボットベ
ース座標系の全体加工案内経路の点ＣＸ_ｉを変換することによって、全体加工案内経路の
点配列｛ＡＸ_ｉ｝_{ｉ＝１－＞ｎ}を検出ロボットベース座標系の加工案内の点配列｛ＢＸ_ｉ
｝_{ｉ＝１－＞ｎ}に変換し、検出ロボットベース座標系の加工案内の点配列｛ＢＸ_ｉ｝_ｉ＝
_１－＞ｎを研磨ロボットベース座標系の全体加工案内の点配列｛ＣＸ_ｉ｝_{ｉ＝１－＞ｎ}に
変換するステップと、
ステップ６：
ｉは１～ｎとすると、研磨ロボットベース座標系の全体加工案内経路の点ＣＸ_ｉにした
がって研磨ロボットの端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内しながら
要加工目標を走査することによって、要加工目標の要加工サブ目標領域に対応するポイン
トクラウドＳ_３Ｄ－ｉの対応する領域の高精度ローカルポイントクラウドＳＳ_３Ｄ－ｉを
獲得するステップと、
ステップ７：
ｉは１～ｎとすると、レジストレーションアルゴリズムによって高精度ローカルポイント
クラウドＳＳ_３Ｄ－ｉをモジュールとして予定のサンプルポイントクラウドＲＳ_３Ｄの中
から高精度ローカルポイントクラウドＳＳ_３Ｄ－ｉにレジストレーションする高精度ロー
カルポイントクラウドＲＳ_３Ｄ－ｉを検索し、高精度ローカルポイントクラウドＳＳ_３Ｄ
_－ｉと高精度ローカルポイントクラウドＲＳ_３Ｄ－ｉの対応する差異ポイントクラウドＤ
Ｓ_３Ｄ－ｉを算出し、差異ポイントクラウドＤＳ_３Ｄ－ｉを分析検索し、研磨ロボットの
高精度３Ｄ加工案内信息を獲得するステップと、
を含む。

好ましくは、ステップ４の最適経路計画アルゴリズムはアニーリング模擬知能最適化アル
ゴリズムとする。

好ましくは、ステップ７のレジストレーションアルゴリズムは正規分布変換に基づく反復
最近接点アルゴリズムとする。

好ましくは、ステップ７の計算高精度ローカルポイントクラウドＳＳ_３Ｄ－ｉと高精度ロ
ーカルポイントクラウドＲＳ_３Ｄ－ｉの対応する差異ポイントクラウドＤＳ_３Ｄ－ｉの方
法はクイック最近傍探索アルゴリズムとする。

好ましくは、ステップ３における所定の要加工サブ目標領域の高精度検出パラメータは、
高精度検出の視野の大きさ、検出精度、および検出距離を含む。

オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内装置１は、
加工目標データ収集モジュール１０であって、検出ロボットの端末に設置される全体ＲＧ
Ｂ－Ｄ複合センサーＤ７０によって要加工目標の全体レジストレーションＲＧＢ二次元画
面Ｉ_ＲＧＢおよび全体レジストレーションデプスデータＩ_Ｄを獲得し、全体レジストレー
ションＲＧＢ二次元画面Ｉ_ＲＧＢから要加工目標Ｏ１０の全体領域Ｓ_ＲＧＢを獲得し、全
体ＲＧＢ－Ｄ複合センサーのキャリブレーション行列によって全体領域Ｓ_ＲＧＢにしたが
って全体レジストレーションデプスデータＩ_Ｄから要加工目標Ｏ１０の全体的３Ｄポイン
トクラウドデータＳ_３Ｄを抽出するように構成される加工目標データ収集モジュール１０
と、
全体加工案内経路モジュール２０であって、全体的３ＤポイントクラウドデータＳ_３Ｄを
分析することにより要加工目標の全体加工案内経路の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}を獲
得するように構成されており、ただし、それぞれＡＸ_ｊは要加工目標の全体的３Ｄポイン
トクラウドデータＳ_３Ｄにおける全体加工案内経路の点、ｊは全体加工案内経路の点ＡＸ
_ｊの番号、ｊの値の範囲は［１、ｎ］、ｎは全体加工案内経路の点ＡＸ_ｊの総数とする全
体加工案内経路モジュール２０と、
サブ目標領域分割モジュール３０であって、全体加工案内経路の集合点｛ＡＸ_ｊ｝_ｊ＝１
_－＞ｎに基づいて、所定の要加工サブ目標領域の高精度検出パラメータによって、要加工
目標の全体的３ＤポイントクラウドデータＳ_３Ｄを要加工サブ目標領域のポイントクラウ
ド集｛Ｓ_３Ｄ－ｊ｝_{ｊ＝１－＞ｎ}、に分割するように構成されており、ただし、Ｓ_３Ｄ－
_ｊは全体加工案内経路の点ＡＸ_ｊの要加工サブ目標領域のポイントクラウドに対応するサ
ブ目標領域分割モジュール３０と、
最適加工経路計画モジュール４０であって、最適経路計画アルゴリズムによって、要加工
サブ目標領域のポイントクラウド集｛Ｓ_３Ｄ－ｊ｝_{ｊ＝１－＞ｎ}を順序付けすることによ
って、最適要加工サブ目標領域のポイントクラウド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ}を生
成するように構成されており、ただしそれぞれＳ_３Ｄ－ｉは最適要加工サブ目標領域のポ
イントクラウド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ} のうちの要加工サブ目標領域のポイン
トクラウド、ｉは最適加工サブ目標領域のポイントクラウド配列｛Ｓ_３Ｄ－ｉ｝_ｉ＝１－
_＞ｎの番号とし、ｉとｊは一々対応し、ｉとｊの一々対応関係によって全体加工案内経路
の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}を全体加工案内経路の点配列｛ＡＸ_ｉ｝_{ｉ＝１－＞ｎ}。
に変換する最適加工経路計画モジュール４０と、
加工案内点変換モジュール５０であって、ｉは１～ｎとすると、要加工サブ目標領域のポ
イントクラウドＳ_３Ｄ－ｉに対応する全体加工案内経路の点ＡＸ_ｉを検出ロボットベース
座標系の全体加工案内経路の点ＢＸ_ｉに変換し、そして検出ロボットベース座標系の全体
加工案内経路の点ＢＸ_ｉを研磨ロボットベース座標系の全体加工案内経路の点ＣＸ_ｉを変
換することによって、全体加工案内経路の点配列｛ＡＸ_ｉ｝_{ｉ＝１－＞ｎ}を検出ロボット
ベース座標系の加工案内の点配列｛ＢＸ_ｉ｝_{ｉ＝１－＞ｎ}に変換し、検出ロボットベース
座標系の加工案内の点配列｛ＢＸ_ｉ｝_{ｉ＝１－＞ｎ}を研磨ロボットベース座標系の全体加
工案内の点配列｛ＣＸ_ｉ｝_{ｉ＝１－＞ｎ}に変換するように構成される加工案内点変換モジ
ュール５０と、
ポイントクラウドの高精度ローカル収集モジュール６０であって、ｉは１～ｎとすると、
研磨ロボットベース座標系の全体加工案内経路の点ＣＸ_ｉにしたがって研磨ロボットの
端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内しながら要加工目標を走査する
ことによって、要加工目標の要加工サブ目標領域に対応するポイントクラウドＳ_３Ｄ－ｉ
の対応する領域の高精度ローカルポイントクラウドＳＳ_３Ｄ－ｉを獲得するように構成さ
れるポイントクラウドの高精度ローカル収集モジュール６０と、
を含む。

好ましくは、最適経路計画モジュール４０の最適経路計画アルゴリズムはアニーリング模
擬知能最適化アルゴリズムとする。

好ましくは、高精度加工案内信息モジュール７０のレジストレーションアルゴリズムは正
規分布変換に基づく反復最近接点アルゴリズムとする。

好ましくは、高精度加工案内信息モジュール７０の計算高精度ローカルポイントクラウド
ＳＳ_３Ｄ－ｉと高精度ローカルポイントクラウドＲＳ_３Ｄ－ｉの対応する差異ポイントク
ラウドＤＳ_３Ｄ－ｉの方法はクイック最近傍探索アルゴリズムとする。

好ましくは、サブ目標領域分割モジュール３０の所定の要加工サブ目標領域の高精度検出
パラメータは、高精度検出の視野の大きさ、検出精度、検出距離を含む。

本発明は、上述したようにオーバービュー視覚およびローカル視覚の一体化による大体積
加工目標のロボットによる高精度視覚ガイド技術方案により、大体積加工目標の高効率加
工における精度要求を満たすとともに、計算量および計算複雑度を減少し、処理速度を加
速し、計算時間を減少することによりリアルタイム処理の要求を満たすことができる。加
えて、ソフトハードウェアの性能要求も低減され、コストおよび開発の難度が下げられる
。高速化かつ大規模の生産モードの要求に適応可能である。

本発明によるオーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法の第１の実施形態のフローチャートである。本発明による、オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内装置の第１の実施形態の機能ブロック図である。本発明を実施するＲＧＢ-Ｄ複合センサの概略図である。本発明を実現するロボットの概略図である。

本発明の目的の実現、機能特徴および利点は、実施形態に関連して、図面を参照してさら
に説明する。

本明細書に記載された具体的な実施形態は、本発明を説明するためだけに用いられ、本発
明を限定するために用いられないことを理解されたい。

以下、本発明の様々な実施形態を実施する携帯端末について図面を参照して説明する。後
の説明では、要素を表すための「モジュール」、「構成要素」、または「ユニット」など
のサフィックスは、本発明の説明を有利にするためだけに使用され、それ自体は特定の意
味を持たない。したがって、「モジュール」と「部品」は混合して使用することができる
。

図１は、本発明にかかるオーバービュー視覚およびローカル視覚の一体化によるロボット
視覚案内方法の第１実施例のフローチャット模式図である。図１に示すように、オーバー
ビュー視覚およびローカル視覚の一体化によるロボット視覚案内方法は、以下の工程を含
む。

Ｓ１０：加工目標データ収集
即ち、検出ロボットの端末に設置される全体ＲＧＢ－Ｄ複合センサーＤ７０によって要加
工目標の全体レジストレーションＲＧＢ二次元画面Ｉ_ＲＧＢおよび全体レジストレーショ
ンデプスデータＩ_Ｄを獲得し、全体レジストレーションＲＧＢ二次元画面Ｉ_ＲＧＢから要
加工目標Ｏ１０の全体領域Ｓ_ＲＧＢを獲得し、全体ＲＧＢ－Ｄ複合センサーのキャリブレ
ーション行列によって全体領域Ｓ_ＲＧＢにしたがって全体レジストレーションデプスデー
タＩ_Ｄから要加工目標Ｏ１０の全体的３ＤポイントクラウドデータＳ_３Ｄを抽出すること
であって、
図３に示すように、ＲＧＢ－Ｄ複合センサーＤ７０は、検出ロボットのアームＤ４０の頂
端に設置され、ＲＧＢカメラＤ２０が、ＲＧＢ－Ｄ複合視覚センサーの中間位置に設置さ
れるものとすることと、カラー画面データは、ＲＧＢデータに対する分析を行う速度を保
証するために、コンピュータに伝送される前に圧縮されるとすることと、および、ＲＧＢ
－Ｄ複合視覚センサーの左右両側におけるセンサーＤ１０およびＤ３０はそれぞれ赤外線
の発信と受信を行うとすることであって、まず左側の赤外線発信器Ｄ１０によって要加工
目標Ｏ１０に赤外線を発信し、ここで該赤外線は、高ランダム性を保有するため、空間内
における任意の２つの異なる位置で反射されて形成される光斑も異なるため、環境に対し
て立体的「コード」を形成し、次いでに右側の赤外線受信器Ｄ３０によって視野内の赤外
線画面を収集し、最後に、ＲＧＢ－Ｄ複合視覚センサーＤ７０のキャリブレーション行列
によって該赤外線画面に対して一連の複雑な計算を実行することによって、視野内のデプ
スデータを取得することと、を含むこと。

Ｓ２０：全体加工案内経路
即ち、全体的３ＤポイントクラウドデータＳ_３Ｄを分析することにより要加工目標の全体
加工案内経路の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}を獲得することであって、ただし、それぞ
れＡＸ_ｊは要加工目標の全体的３ＤポイントクラウドデータＳ_３Ｄにおける全体加工案内
経路の点、ｊは全体加工案内経路の点ＡＸ_ｊの番号、ｊの値の範囲は［１，ｎ］、ｎは全
体加工案内経路の点ＡＸ_ｊの総数とすることであって、
ＡＸ_ｉは全体的３ＤポイントクラウドデータＳ_３Ｄの座標ベクトルに対応し、全体加工案
内経路の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}は全体的３ＤポイントクラウドデータＳ_３Ｄの全
部ＡＸ_ｉの集合に対応すること。

Ｓ３０：サブ目標領域分割
即ち、全体加工案内経路の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}に基づいて、所定の要加工サブ
目標領域の高精度検出パラメータによって、要加工目標の全体的３Ｄポイントクラウドデ
ータＳ_３Ｄを要加工サブ目標領域のポイントクラウド集｛Ｓ_３Ｄ－ｊ｝_{ｊ＝１－＞ｎ}、に
分割することであって、ただし、Ｓ_３Ｄ－ｊは全体加工案内経路の点ＡＸ_ｊの要加工サブ
目標領域のポイントクラウドに対応すること。

Ｓ４０：最適加工経路計画
即ち、最適経路計画アルゴリズムによって、要加工サブ目標領域のポイントクラウド集｛
Ｓ_３Ｄ－ｊ｝_{ｊ＝１－＞ｎ}を順序付けすることによって、最適要加工サブ目標領域のポイ
ントクラウド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ}を生成することであって、ただしそれぞれ
Ｓ_３Ｄ－ｉは最適要加工サブ目標領域のポイントクラウド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞}
_ｎのうちの要加工サブ目標領域のポイントクラウド、ｉは最適加工サブ目標領域のポイ
ントクラウド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ}の番号とし、ｉとｊは一々対応し、ｉとｊ
の一々対応関係によって全体加工案内経路の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}を全体加工案
内経路の点配列｛ＡＸ_ｉ｝_{ｉ＝１－＞ｎ}。に変換することであって、
最適経路計画アルゴリズムに基づいて生成する最適要加工サブ目標領域のポイントクラウ
ド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ}によって、要加工サブ目標領域のポイントクラウドサ
ブ加工領域Ｓ_３Ｄ－ｊの順序を所望ロボット加工過程に合わせさせ、即ち、研磨ロボット
Ｄ５０を繰り返しなく要加工目標Ｏ２０のすべての領域を通過させることによって、研磨
ロボットＤ５０の作業総時間を最短化させること。

Ｓ５０：加工案内点変換
即ち、ｉは１～ｎとすると、要加工サブ目標領域のポイントクラウドＳ_３Ｄ－ｉに対応す
る全体加工案内経路の点ＡＸ_ｉを検出ロボットベース座標系の全体加工案内経路の点ＢＸ
_ｉに変換し、そして検出ロボットベース座標系の全体加工案内経路の点ＢＸ_ｉを研磨ロボ
ットベース座標系の全体加工案内経路の点ＣＸ_ｉを変換することによって、全体加工案内
経路の点配列｛ＡＸ_ｉ｝_{ｉ＝１－＞ｎ}を検出ロボットベース座標系の加工案内の点配列｛
ＢＸ_ｉ｝_{ｉ＝１－＞ｎ}に変換し、検出ロボットベース座標系の加工案内の点配列｛ＢＸ_ｉ
｝_{ｉ＝１－＞ｎ}を研磨ロボットベース座標系の全体加工案内の点配列｛ＣＸ_ｉ｝_ｉ＝１－
_＞ｎに変換することであって、
図４に示すように、検出ロボットのアームＤ４０から獲得する要加工サブ目標Ｏ３０領域
のポイントクラウドＳ_３Ｄ－ｉに対応する全体加工案内経路の点ＡＸ_ｉを検出ロボットＤ
４０ベース座標系の全体加工案内経路の点ＢＸ_ｉに変換し、そして検出ロボットＤ４０ベ
ース座標系の全体加工案内経路の点ＢＸ_ｉを研磨ロボットＤ５０ベース座標系の全体加工
案内経路の点ＣＸ_ｉに変換し、さらに研磨ロボットＤ５０の端末を案内しながら研磨具Ｄ
６０に以降の作業を行わせること。

Ｓ６０：ポイントクラウドの高精度ローカル収集
即ち、ｉは１～ｎとすると、研磨ロボットベース座標系の全体加工案内経路の点ＣＸ_ｉ
にしたがって研磨ロボットの端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内し
ながら要加工目標を走査することによって、要加工目標の要加工サブ目標領域に対応する
ポイントクラウドＳ_３Ｄ－ｉの対応する領域の高精度ローカルポイントクラウドＳＳ_３Ｄ
_－ｉを獲得すること。

Ｓ７０：高精度加工案内信息
即ち、ｉは１～ｎとすると、レジストレーションアルゴリズムによって高精度ローカルポ
イントクラウドＳＳ_３Ｄ－ｉをモジュールとして予定のサンプルポイントクラウドＲＳ_３
_Ｄの中から高精度ローカルポイントクラウドＳＳ_３Ｄ－ｉにレジストレーションする高精
度ローカルポイントクラウドＲＳ_３Ｄ－ｉを検索し、高精度ローカルポイントクラウドＳ
Ｓ_３Ｄ－ｉと高精度ローカルポイントクラウドＲＳ_３Ｄ－ｉの対応する差異ポイントクラ
ウドＤＳ_３Ｄ－ｉを算出し、差異ポイントクラウドＤＳ_３Ｄ－ｉを分析検索し、研磨ロボ
ットの高精度３Ｄ加工案内信息を獲得すること。

したがって、上記処理工程は、大きな体積のある加工目標Ｏ２０に対して適応され、オー
バービュー視覚系統およびローカル視覚系統を一体化させるようにしている。まず検出ロ
ボットＤ４０の視覚系統Ｄ７０によって加工目標Ｏ２０の粗位置決めを行うとともに、加
工目標Ｏ２０の区域分けおよびルート計画を実現する。次いでに、研磨ロボットＤ５０上
における高精度視覚検出系統によって目標を正確的に検出する。そして、研磨ロボットＤ
５０の端末にある工具Ｄ６０を案内しながら加工目標領域Ｏ３０に対して高精度かつ高効
率の自動化研磨作業を行う。これによって、大体積加工目標の高効率加工における精度要
求を満たすとともに、計算量および計算複雑度を減少し、処理速度を加速し、計算時間を
減少することによりリアルタイム処理の要求を満たすことができる。加えて、ソフトハー
ドウェアの性能要求も低減され、コストおよび開発の難度が下げられる。高速化かつ大規
模の生産モードの要求に適応可能である。

工程Ｓ４０の最適経路計画アルゴリズムはアニーリング模擬知能最適化アルゴリズム（ｓ
ｉｍｕｌａｔｅｄａｎｎｅａｌｉｎｇａｌｇｏｒｉｔｈｍ，ＳＡＡ）とする。アニー
リング模擬知能最適化アルゴリズムは確実的、かつ工程実現容易という利点がある。

工程Ｓ７０のレジストレーションアルゴリズムは正規分布変換に基づく反復最近接点（Ｉ
ｔｅｒａｔｉｖｅＣｌｏｓｅｓｔＰｏｉｎｔ，ＩＣＰ）アルゴリズムとする。正規分
布変換に基づく反復最近接点アルゴリズムは確実的、かつ工程実現容易という利点がある
。

工程Ｓ７０の計算高精度ローカルポイントクラウドＳＳ_３Ｄ－ｉと高精度ローカルポイン
トクラウドＲＳ_３Ｄ－ｉの対応する差異ポイントクラウドＤＳ_３Ｄ－ｉの方法はクイック
最近傍探索アルゴリズムとする。クイック最近傍探索アルゴリズムは確実的、かつ工程実
現容易という利点がある。

工程Ｓ３０における所定の要加工サブ目標領域の高精度検出パラメータは、高精度検出の
視野の大きさ、検出精度、および検出距離を含む。パラメータは測定取得容易、かつ高確
実性という利点がある。

本発明は、オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法
の第１実施例中におけるオーバービュー視覚およびローカル視覚の一体化によるロボット
視覚案内方法は、本発明にかかるオーバービュー視覚およびローカル視覚の一体化による
ロボット視覚案内装置の第１実施例で提案されるオーバービュー視覚およびローカル視覚
の一体化によるロボット視覚案内装置によって実現可能である。

図２に示すように、オーバービュー視覚およびローカル視覚の一体化によるロボット視覚
案内装置の第１実施例で提案されるオーバービュー視覚およびローカル視覚の一体化によ
るロボット視覚案内装置１は、以下のモジュールを含む。

加工目標データ収集モジュール１０であって、検出ロボットの端末に設置される全体ＲＧ
Ｂ－Ｄ複合センサーＤ７０によって要加工目標の全体レジストレーションＲＧＢ二次元画
面Ｉ_ＲＧＢおよび全体レジストレーションデプスデータＩ_Ｄを獲得し、全体レジストレー
ションＲＧＢ二次元画面Ｉ_ＲＧＢから要加工目標Ｏ１０の全体領域Ｓ_ＲＧＢを獲得し、全
体ＲＧＢ－Ｄ複合センサーのキャリブレーション行列によって全体領域Ｓ_ＲＧＢにしたが
って全体レジストレーションデプスデータＩ_Ｄから要加工目標Ｏ１０の全体的３Ｄポイン
トクラウドデータＳ_３Ｄを抽出するように構成されており、
図３に示すように、ＲＧＢ－Ｄ複合センサーＤ７０は、検出ロボットのアームＤ４０の頂
端に設置され、ＲＧＢカメラＤ２０が、ＲＧＢ－Ｄ複合視覚センサーの中間位置に設置さ
れており、カラー画面データは、ＲＧＢデータに対する分析を行う速度を保証するために
、コンピュータに伝送される前に圧縮されるように構成され、ＲＧＢ－Ｄ複合視覚センサ
ーの左右両側におけるセンサーＤ１０およびＤ３０はそれぞれ赤外線の発信と受信を行う
ものであって、まず左側の赤外線発信器Ｄ１０によって要加工目標Ｏ１０に赤外線を発信
し、ここで該赤外線は、高ランダム性を保有するため、空間内における任意の２つの異な
る位置で反射されて形成される光斑も異なるため、環境に対して立体的「コード」を形成
し、次いでに右側の赤外線受信器Ｄ３０によって視野内の赤外線画面を収集し、最後に、
ＲＧＢ－Ｄ複合視覚センサーＤ７０のキャリブレーション行列によって該赤外線画面に対
して一連の複雑な計算を実行することによって、視野内のデプスデータを取得するように
構成されるモジュール。

全体加工案内経路モジュール２０であって、全体的３ＤポイントクラウドデータＳ_３Ｄを
分析することにより要加工目標の全体加工案内経路の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}を獲
得するように構成されており、ただし、それぞれＡＸ_ｊは要加工目標の全体的３Ｄポイン
トクラウドデータＳ_３Ｄにおける全体加工案内経路の点、ｊは全体加工案内経路の点ＡＸ
_ｊの番号、ｊの値の範囲は［１、ｎ］、ｎは全体加工案内経路の点ＡＸ_ｊの総数とするも
のであって、
ＡＸ_ｉは全体的３ＤポイントクラウドデータＳ_３Ｄの座標ベクトルに対応し、全体加工案
内経路の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}は全体的３ＤポイントクラウドデータＳ_３Ｄの全
部ＡＸ_ｉの集合に対応するモジュール。

サブ目標領域分割モジュール３０であって、全体加工案内経路の集合点｛ＡＸ_ｊ｝_ｊ＝１
_－＞ｎに基づいて、所定の要加工サブ目標領域の高精度検出パラメータによって、要加工
目標の全体的３ＤポイントクラウドデータＳ_３Ｄを要加工サブ目標領域のポイントクラウ
ド集｛Ｓ_３Ｄ－ｊ｝_{ｊ＝１－＞ｎ}、に分割するように構成されており、ただし、Ｓ_３Ｄ－
_ｊは全体加工案内経路の点ＡＸ_ｊの要加工サブ目標領域のポイントクラウドに対応するモ
ジュール。

最適加工経路計画モジュール４０であって、最適経路計画アルゴリズムによって、要加工
サブ目標領域のポイントクラウド集｛Ｓ_３Ｄ－ｊ｝_{ｊ＝１－＞ｎ}を順序付けすることによ
って、最適要加工サブ目標領域のポイントクラウド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ}を生
成するように構成されており、ただしそれぞれＳ_３Ｄ－ｉは最適要加工サブ目標領域のポ
イントクラウド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ} のうちの要加工サブ目標領域のポイン
トクラウド、ｉは最適加工サブ目標領域のポイントクラウド配列｛Ｓ_３Ｄ－ｉ｝_ｉ＝１－
_＞ｎの番号とし、ｉとｊは一々対応し、ｉとｊの一々対応関係によって全体加工案内経路
の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}を全体加工案内経路の点配列｛ＡＸ_ｉ｝_{ｉ＝１－＞ｎ}。
に変換するものであって、
最適経路計画アルゴリズムに基づいて生成する最適要加工サブ目標領域のポイントクラウ
ド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ}によって、要加工サブ目標領域のポイントクラウドサ
ブ加工領域Ｓ_３Ｄ－ｊの順序を所望ロボット加工過程に合わせさせ、即ち、研磨ロボット
Ｄ５０を繰り返しなく要加工目標Ｏ２０のすべての領域を通過させることによって、研磨
ロボットＤ５０の作業総時間を最短化させるモジュール。

加工案内点変換モジュール５０であって、ｉは１～ｎとすると、要加工サブ目標領域のポ
イントクラウドＳ_３Ｄ－ｉに対応する全体加工案内経路の点ＡＸ_ｉを検出ロボットベース
座標系の全体加工案内経路の点ＢＸ_ｉに変換し、そして検出ロボットベース座標系の全体
加工案内経路の点ＢＸ_ｉを研磨ロボットベース座標系の全体加工案内経路の点ＣＸ_ｉを変
換することによって、全体加工案内経路の点配列｛ＡＸ_ｉ｝_{ｉ＝１－＞ｎ}を検出ロボット
ベース座標系の加工案内の点配列｛ＢＸ_ｉ｝_{ｉ＝１－＞ｎ}に変換し、検出ロボットベース
座標系の加工案内の点配列｛ＢＸ_ｉ｝_{ｉ＝１－＞ｎ}を研磨ロボットベース座標系の全体加
工案内の点配列｛ＣＸ_ｉ｝_{ｉ＝１－＞ｎ}に変換するように構成されるものであって、
図４に示すように、検出ロボットのアームＤ４０から獲得する要加工サブ目標Ｏ３０領域
のポイントクラウドＳ_３Ｄ－ｉに対応する全体加工案内経路の点ＡＸ_ｉを検出ロボットＤ
４０ベース座標系の全体加工案内経路の点ＢＸ_ｉに変換し、そして検出ロボットＤ４０ベ
ース座標系の全体加工案内経路の点ＢＸ_ｉを研磨ロボットＤ５０ベース座標系の全体加工
案内経路の点ＣＸ_ｉに変換し、さらに研磨ロボットＤ５０の端末を案内しながら研磨具Ｄ
６０に以降の作業を行わせるように構成されるモジュール。

ポイントクラウドの高精度ローカル収集モジュール６０であって、ｉは１～ｎとすると、
研磨ロボットベース座標系の全体加工案内経路の点ＣＸ_ｉにしたがって研磨ロボットの
端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内しながら要加工目標を走査する
ことによって、要加工目標の要加工サブ目標領域に対応するポイントクラウドＳ_３Ｄ－ｉ
の対応する領域の高精度ローカルポイントクラウドＳＳ_３Ｄ－ｉを獲得するように構成さ
れるモジュール。

高精度加工案内信息モジュール７０であって、ｉは１～ｎとすると、レジストレーション
アルゴリズムによって高精度ローカルポイントクラウドＳＳ_３Ｄ－ｉをモジュールとして
予定のサンプルポイントクラウドＲＳ_３Ｄの中から高精度ローカルポイントクラウドＳＳ
_３Ｄ－ｉにレジストレーションする高精度ローカルポイントクラウドＲＳ_３Ｄ－ｉを検索
し、高精度ローカルポイントクラウドＳＳ_３Ｄ－ｉと高精度ローカルポイントクラウドＲ
Ｓ_３Ｄ－ｉの対応する差異ポイントクラウドＤＳ_３Ｄ－ｉを算出し、差異ポイントクラウ
ドＤＳ_３Ｄ－ｉを分析検索し、研磨ロボットの高精度３Ｄ加工案内信息を獲得するように
構成されるモジュール。
したがって、上記処理モジュールは、大きな体積のある加工目標Ｏ２０に対して適応され
、オーバービュー視覚系統およびローカル視覚系統を一体化させるようにしている。まず
検出ロボットＤ４０の視覚系統Ｄ７０によって加工目標Ｏ２０の粗位置決めを行うととも
に、加工目標Ｏ２０の区域分けおよびルート計画を実現する。次いでに、研磨ロボットＤ
５０上における高精度視覚検出系統によって目標を正確的に検出する。そして、研磨ロボ
ットＤ５０の端末にある工具Ｄ６０を案内しながら加工目標領域Ｏ３０に対して高精度か
つ高効率の自動化研磨作業を行う。これによって、大体積加工目標の高効率加工における
精度要求を満たすとともに、計算量および計算複雑度を減少し、処理速度を加速し、計算
時間を減少することによりリアルタイム処理の要求を満たすことができる。加えて、ソフ
トハードウェアの性能要求も低減され、コストおよび開発の難度が下げられる。高速化か
つ大規模の生産モードの要求に適応可能である。

最適経路計画モジュール４０の最適経路計画アルゴリズムはアニーリング模擬知能最適化
アルゴリズム（ｓｉｍｕｌａｔｅｄａｎｎｅａｌｉｎｇａｌｇｏｒｉｔｈｍ，ＳＡＡ
）とする。アニーリング模擬知能最適化アルゴリズムは確実的、かつ工程実現容易という
利点がある。

高精度加工案内信息モジュール７０のレジストレーションアルゴリズムは正規分布変換に
基づく反復最近接点アルゴリズム（ＩｔｅｒａｔｉｖｅＣｌｏｓｅｓｔＰｏｉｎｔ，
ＩＣＰ）とする。正規分布変換に基づく反復最近接点アルゴリズムは確実的、かつ工程実
現容易という利点がある。

高精度加工案内信息モジュール７０の計算高精度ローカルポイントクラウドＳＳ_３Ｄ－ｉ
と高精度ローカルポイントクラウドＲＳ_３Ｄ－ｉの対応する差異ポイントクラウドＤＳ_３
_Ｄ－ｉの方法はクイック最近傍探索アルゴリズムとする。クイック最近傍探索アルゴリズ
ムは確実的、かつ工程実現容易という利点がある。

サブ目標領域分割モジュール３０の所定の要加工サブ目標領域の高精度検出パラメータは
、高精度検出の視野の大きさ、検出精度、検出距離を含む。パラメータは測定取得容易、
かつ高確実性という利点がある。

説明が必要なのは、本明細書では、用語「含む」、「包含」または他の任意の変形体は、
一連の要素を含むプロセス、方法、物品または装置が、それらの要素だけでなく、明示的
に列挙されていない他の要素を含むように意図されていることであり、または、このよう
なプロセス、方法、装置、物や装置に固有の要素を含む。これ以上の制限がない場合、「
一つの…を含む」という語句によって定義される要素は、その要素を含むプロセス、方法
、物品、または装置に他の同じ要素が存在することを排除しない。

上記の本発明の実施の番号は、説明のためだけに、実施の形態の優劣を表すものではない
。

上記の本発明の各モジュールユニットまたは各ステップは、任意で、計算装置が実行可能
なプログラムコードで実現できることを当業者は理解するだろう。図示または説明のステ
ップは、こことは異なる順序で実行されてもよく、またはそれぞれの集積回路モジュール
に作成されてもよく、またはそれらのうちの複数のモジュールまたはステップを単一の集
積回路モジュールに作成して実現されてもよい。このように、本発明は、任意の特定のハ
ードウェアとソフトウェアの組み合わせに限定されない。

以上の実施形態の説明により、上述の実施形態の方法は、ソフトウェアプラスに必要な汎
用ハードウェアプラットフォームによって実現されてもよく、ハードウェアによってもも
ちろん可能であるが、多くの場合、前者はより良い実施形態であることが明らかになった
。このような理解に基づいて、本発明の技術的な態様は、本質的には、または既存の技術
に寄与する部分を、1台の端末装置（携帯電話、コンピュータ、サーバ、エアコンなど）
を可能にするためのいくつかの命令を含む、1つの記憶媒体に格納するソフトウェア製品
として具現化することができる。または、ネットワークデバイスなど）は、本発明の様々
な実施形態による方法を実行する。

以上は本発明の好適な実施形態にすぎず、本発明の特許範囲を限定するものではなく、本
発明の明細書及び図面の内容を利用してなされた等価構造又は等価フロー変換、又は直接
または間接的に他の関連技術分野に適用されるものであり、全ては本発明の特許保護範囲
に含まれる。

Claims

オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法であって、
ステップ１：
検出ロボットの端末に設置される全体ＲＧＢ－Ｄ複合センサーＤ７０によって要加工目標
の全体レジストレーションＲＧＢ二次元画面Ｉ_ＲＧＢおよび全体レジストレーションデプ
スデータＩ_Ｄを獲得し、全体レジストレーションＲＧＢ二次元画面Ｉ_ＲＧＢから要加工目
標Ｏ１０の全体領域Ｓ_ＲＧＢを獲得し、全体ＲＧＢ－Ｄ複合センサーのキャリブレーショ
ン行列によって全体領域Ｓ_ＲＧＢにしたがって全体レジストレーションデプスデータＩ_Ｄ
から要加工目標Ｏ１０の全体的３ＤポイントクラウドデータＳ_３Ｄを抽出するステップと
、
ステップ２：
全体的３ＤポイントクラウドデータＳ_３Ｄを分析することにより要加工目標の全体加工案
内経路の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}を獲得することであって、ただし、それぞれＡＸ
_ｊは要加工目標の全体的３ＤポイントクラウドデータＳ_３Ｄにおける全体加工案内経路の
点、ｊは全体加工案内経路の点ＡＸ_ｊの番号、ｊの値の範囲は［１，ｎ］、ｎは全体加工
案内経路の点ＡＸ_ｊの総数とするステップと、
ステップ３：
全体加工案内経路の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}に基づいて、所定の要加工サブ目標領
域の高精度検出パラメータによって、要加工目標の全体的３ＤポイントクラウドデータＳ
_３Ｄを要加工サブ目標領域のポイントクラウド集｛Ｓ_３Ｄ－ｊ｝_{ｊ＝１－＞ｎ}、に分割す
ることであって、ただし、Ｓ_３Ｄ－ｊは全体加工案内経路の点ＡＸ_ｊの要加工サブ目標領
域のポイントクラウドに対応するステップと、
ステップ４：
最適経路計画アルゴリズムによって、要加工サブ目標領域のポイントクラウド集｛Ｓ_３Ｄ
_－ｊ｝_{ｊ＝１－＞ｎ}を順序付けすることによって、最適要加工サブ目標領域のポイントク
ラウド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ}を生成することであって、ただしそれぞれＳ_３Ｄ
_－ｉは最適要加工サブ目標領域のポイントクラウド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ} の
うちの要加工サブ目標領域のポイントクラウド、ｉは最適加工サブ目標領域のポイントク
ラウド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ}の番号とし、ｉとｊは一々対応し、ｉとｊの一々
対応関係によって全体加工案内経路の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}を全体加工案内経路
の点配列｛ＡＸ_ｉ｝_{ｉ＝１－＞ｎ}に変換するステップと、
ステップ５：
ｉは１～ｎとすると、要加工サブ目標領域のポイントクラウドＳ_３Ｄ－ｉに対応する全体
加工案内経路の点ＡＸ_ｉを検出ロボットベース座標系の全体加工案内経路の点ＢＸ_ｉに変
換し、そして検出ロボットベース座標系の全体加工案内経路の点ＢＸ_ｉを研磨ロボットベ
ース座標系の全体加工案内経路の点ＣＸ_ｉを変換することによって、全体加工案内経路の
点配列｛ＡＸ_ｉ｝_{ｉ＝１－＞ｎ}を検出ロボットベース座標系の加工案内の点配列｛ＢＸ_ｉ
｝_{ｉ＝１－＞ｎ}に変換し、検出ロボットベース座標系の加工案内の点配列｛ＢＸ_ｉ｝_ｉ＝
_１－＞ｎを研磨ロボットベース座標系の全体加工案内の点配列｛ＣＸ_ｉ｝_{ｉ＝１－＞ｎ}に
変換するステップと、
ステップ６：
ｉは１～ｎとすると、研磨ロボットベース座標系の全体加工案内経路の点ＣＸ_ｉにした
がって研磨ロボットの端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内しながら
要加工目標を走査することによって、要加工目標の要加工サブ目標領域に対応するポイン
トクラウドＳ_３Ｄ－ｉの対応する領域の高精度ローカルポイントクラウドＳＳ_３Ｄ－ｉを
獲得するステップと、
ステップ７：
ｉは１～ｎとすると、レジストレーションアルゴリズムによって高精度ローカルポイント
クラウドＳＳ_３Ｄ－ｉをモジュールとして予定のサンプルポイントクラウドＲＳ_３Ｄの中
から高精度ローカルポイントクラウドＳＳ_３Ｄ－ｉにレジストレーションする高精度ロー
カルポイントクラウドＲＳ_３Ｄ－ｉを検索し、高精度ローカルポイントクラウドＳＳ_３Ｄ
_－ｉと高精度ローカルポイントクラウドＲＳ_３Ｄ－ｉの対応する差異ポイントクラウドＤ
Ｓ_３Ｄ－ｉを算出し、差異ポイントクラウドＤＳ_３Ｄ－ｉを分析検索し、研磨ロボットの
高精度３Ｄ加工案内信息を獲得するステップと、
を含むことを特徴とする、オーバービュー視覚およびローカル視覚の一体化によるロボッ
ト視覚案内方法。
オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内装置１であって
、
加工目標データ収集モジュール１０であって、検出ロボットの端末に設置される全体ＲＧ
Ｂ－Ｄ複合センサーＤ７０によって要加工目標の全体レジストレーションＲＧＢ二次元画
面Ｉ_ＲＧＢおよび全体レジストレーションデプスデータＩ_Ｄを獲得し、全体レジストレー
ションＲＧＢ二次元画面Ｉ_ＲＧＢから要加工目標Ｏ１０の全体領域Ｓ_ＲＧＢを獲得し、全
体ＲＧＢ－Ｄ複合センサーのキャリブレーション行列によって全体領域Ｓ_ＲＧＢにしたが
って全体レジストレーションデプスデータＩ_Ｄから要加工目標Ｏ１０の全体的３Ｄポイン
トクラウドデータＳ_３Ｄを抽出するように構成される加工目標データ収集モジュール１０
と、
全体加工案内経路モジュール２０であって、全体的３ＤポイントクラウドデータＳ_３Ｄを
分析することにより要加工目標の全体加工案内経路の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}を獲
得するように構成されており、ただし、それぞれＡＸ_ｊは要加工目標の全体的３Ｄポイン
トクラウドデータＳ_３Ｄにおける全体加工案内経路の点、ｊは全体加工案内経路の点ＡＸ
_ｊの番号、ｊの値の範囲は［１、ｎ］、ｎは全体加工案内経路の点ＡＸ_ｊの総数とする全
体加工案内経路モジュール２０と、
サブ目標領域分割モジュール３０であって、全体加工案内経路の集合点｛ＡＸ_ｊ｝_ｊ＝１
_－＞ｎに基づいて、所定の要加工サブ目標領域の高精度検出パラメータによって、要加工
目標の全体的３ＤポイントクラウドデータＳ_３Ｄを要加工サブ目標領域のポイントクラウ
ド集｛Ｓ_３Ｄ－ｊ｝_{ｊ＝１－＞ｎ}、に分割するように構成されており、ただし、Ｓ_３Ｄ－
_ｊは全体加工案内経路の点ＡＸ_ｊの要加工サブ目標領域のポイントクラウドに対応するサ
ブ目標領域分割モジュール３０と、
最適加工経路計画モジュール４０であって、最適経路計画アルゴリズムによって、要加工
サブ目標領域のポイントクラウド集｛Ｓ_３Ｄ－ｊ｝_{ｊ＝１－＞ｎ}を順序付けすることによ
って、最適要加工サブ目標領域のポイントクラウド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ}を生
成するように構成されており、ただしそれぞれＳ_３Ｄ－ｉは最適要加工サブ目標領域のポ
イントクラウド配列｛Ｓ_３Ｄ－ｉ｝_{ｉ＝１－＞ｎ} のうちの要加工サブ目標領域のポイン
トクラウド、ｉは最適加工サブ目標領域のポイントクラウド配列｛Ｓ_３Ｄ－ｉ｝_ｉ＝１－
_＞ｎの番号とし、ｉとｊは一々対応し、ｉとｊの一々対応関係によって全体加工案内経路
の集合点｛ＡＸ_ｊ｝_{ｊ＝１－＞ｎ}を全体加工案内経路の点配列｛ＡＸ_ｉ｝_{ｉ＝１－＞ｎ}に
変換する最適加工経路計画モジュール４０と、
加工案内点変換モジュール５０であって、ｉは１～ｎとすると、要加工サブ目標領域のポ
イントクラウドＳ_３Ｄ－ｉに対応する全体加工案内経路の点ＡＸ_ｉを検出ロボットベース
座標系の全体加工案内経路の点ＢＸ_ｉに変換し、そして検出ロボットベース座標系の全体
加工案内経路の点ＢＸ_ｉを研磨ロボットベース座標系の全体加工案内経路の点ＣＸ_ｉを変
換することによって、全体加工案内経路の点配列｛ＡＸ_ｉ｝_{ｉ＝１－＞ｎ}を検出ロボット
ベース座標系の加工案内の点配列｛ＢＸ_ｉ｝_{ｉ＝１－＞ｎ}に変換し、検出ロボットベース
座標系の加工案内の点配列｛ＢＸ_ｉ｝_{ｉ＝１－＞ｎ}を研磨ロボットベース座標系の全体加
工案内の点配列｛ＣＸ_ｉ｝_{ｉ＝１－＞ｎ}に変換するように構成される加工案内点変換モジ
ュール５０と、
ポイントクラウドの高精度ローカル収集モジュール６０であって、ｉは１～ｎとすると、
研磨ロボットベース座標系の全体加工案内経路の点ＣＸ_ｉにしたがって研磨ロボットの
端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内しながら要加工目標を走査する
ことによって、要加工目標の要加工サブ目標領域に対応するポイントクラウドＳ_３Ｄ－ｉ
の対応する領域の高精度ローカルポイントクラウドＳＳ_３Ｄ－ｉを獲得するように構成さ
れるポイントクラウドの高精度ローカル収集モジュール６０と、
を含むことを特徴とする、オーバービュー視覚およびローカル視覚の一体化によるロボッ
ト視覚案内装置。