JP7349651B1 - 作業データ収集方法、作業教示方法、作業実行方法、システム、及びプログラム - Google Patents

Abstract

【課題】ワークに対する作業者の作業動作が反映された作業データを取得し、その作業データを利用してロボットを制御する。【解決手段】作業データ収集システム１０は、ユーザが装着するヘッドマウントディスプレイ２２に対し、現実の対象ワークに仮想の領域を重畳させて表示させることにより、作業対象領域をユーザに対して表示する。そして、ユーザが、作業教示用ツール２４を用いてヘッドマウントディスプレイ２２に表示された対象ワークと作業対象領域とに対する作業を実施する際の、作業教示用ツール２４の位置及び姿勢の時系列データを表す作業データを取得し、作業データを作業データ記憶部３３へ格納させる。【選択図】図１

Description

本発明は、作業データ収集方法、作業教示方法、作業実行方法、システム、及びプログラムに関する。

特許文献１～８には、ロボットを制御する技術が開示されている。また、特許文献９には、ユーザに複合現実感の経験をもたらす技術が開示されている。また、特許文献１０には、物品の設計に使用される拡張現実設計システムが開示されている。

特許6787966号公報 特許6420229号公報 特開2021-79520号公報 特開2021-529391号公報 特許7068416号公報 特許6660102号公報 特許6538760号公報 特開2000-308985号公報 特表2008-501184号公報 特許5961299号公報

ところで、作業対象の工業製品（以下、単に「ワーク」とも称する）に対して作業をロボットに教示する（以下、単に「ティーチング」とも称する）際には、その動作をデータとして設定する必要がある。

しかし、その作業が人手によって行われており、かつノウハウを要するような作業である場合には、そのような人の動作を表す作業データを設定することは難しい。例えば、ワークに付着したバリを除去するような作業を想定した場合、バリの形状（例えば、バリの厚さ、高さ、又は付着方向等）がワークの各箇所において異なれば、ワークの各箇所において作業者が工具を動かすスピード及び工具の当て方等は異なり、それらをティーチングペンダントなどの既存の方法でデータ化してロボットにティーチングすることは難しい。

本発明は、上記事情に鑑みてなされたものであり、ワークに対する作業者の作業動作が反映された作業データを取得し、その作業データを利用してロボットを制御することにある。

上記した課題を解決すべく、本発明に係る作業データ収集方法は、ユーザが装着するヘッドマウントディスプレイに対し、現実の対象ワークに仮想の領域を重畳させて表示させることにより、作業対象領域をユーザに対して表示するとともに、前記ユーザが、作業教示用ツールを用いて前記ヘッドマウントディスプレイに表示された前記対象ワークと前記作業対象領域とに対する作業を実施する際の、前記作業教示用ツールの位置及び姿勢の時系列データを表す作業データを取得し、前記作業データを記憶部へ格納する、処理をコンピュータが実行する作業データ収集方法である。

本発明に係る作業データ収集システムは、ユーザが装着するヘッドマウントディスプレイに対し、現実の対象ワークに仮想の領域を重畳させて表示させることにより、作業対象領域をユーザに対して表示する表示制御部と、ユーザが、作業教示用ツールを用いて前記ヘッドマウントディスプレイに表示された前記対象ワークと前記作業対象領域とに対する作業を実施する際の、前記作業教示用ツールの位置及び姿勢の時系列データを表す作業データを取得し、前記作業データを記憶部へ格納させるデータ取得部と、を備える作業データ収集システムである。

本発明によれば、ワークに対する作業者の作業動作が反映された作業データを取得し、その作業データを利用してロボットを制御することができる。

本実施形態の作業データ収集システムを示す機能ブロック図である。 本実施形態の作業データ収集システムの構成例である。 ユーザがヘッドマウントディスプレイを装着している様子を表す図である。 本実施形態の作業教示システムを示す機能ブロック図である。 本実施形態の作業実行システムを示す機能ブロック図である。 本実施形態の各装置を構成するコンピュータの構成例を示す図である。 作業データ収集装置が実行するモデル生成処理ルーチンの一例を示す図である。 ワークの３次元点群データの一例を示す図である。 対象ワークの３次元モデルの一例を示す図である。 第１ワークの３次元モデルと第２ワークの３次元モデルの一例を示す図である。 作業データ収集装置が実行する作業領域特定処理ルーチンの一例を示す図である。 作業データ収集装置が実行する作業データ収集処理ルーチンの一例を示す図である。 現実の対象ワーク上に仮想のバリ領域が重畳表示されている場合の一例を示す図である。 現実の対象ワーク上に仮想の作業対象領域やバリ、各種支援情報を正確に重畳表示するためのキャリブレーションの手法の一例を示す図である。 本実施形態において用いる作業教示用ツールの一例を示す図である。 作業教示用ツールの位置認識の精度確認をする様子を表す図である。 ユーザＵが現実の対象ワークに対して仮想のバリ取り作業を行っている場面を表す図である。 ユーザがヘッドマウントディスプレイ越しに見た現実の対象ワークと仮想のバリ領域とが示されている図である。 作業データを説明するための図である。 作業済みの領域の表示態様と未作業領域の表示態様とを異ならせて表示させる場合の例を示す図である。 作業教示装置が実行する作業教示処理ルーチンの一例を示す図である。 作業データの補正を説明するための図である。 作業データの補正を説明するための図である。 学習済みモデルの一例を示す図である。

以下、図面を参照して実施形態を詳細に説明する。

本実施形態では、熟練作業者の手技を生かして効果的にロボットへ作業教示を行うことのできる、複合現実を用いたダイレクトオフラインティーチングシステムを提案する。具体的には、本実施形態に対応する実際の実施例においては、教示対象の一例であるバリ取り作業の対象となるアルミダイキャスト部品を光学スキャンすることにより３次元点群データを作成した上で、ゴーグル型透過提示装置を用いて現物のワーク（Ｒｅａｌ ｉｍａｇｅ）と得られた３次元点群データや支援情報（Ｖｉｒｔｕａｌ ｉｍａｇｅ）とを重ね合わせて立体表示させ、直接目視や操作ができる仕組みを実現させた。この点が、本実施形に係るシステムの大きな特長である。

本実施形態に係るシステムでは、現実と分け隔てなく扱えるという意味で複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）であり、工具刃先を模した作業教示用ツールを用いて、バリ取り位置や作業教示用ツールの姿勢及び作業教示用ツールを移動させる経路などの３次元データを作業者が直接かつ直感的に教示できるシステムを構成した。具体的には、実際の実施例においては、後述する回転型光学式スキャニングシステムによるワークの形状採取とバリ形状の明確化、ワークと仮想情報との複合現実デバイス上での正確な重ね合わせを実施することにより、作業教示用ツールを用いた手技の教示システムを構築した。

より具体的には、実際の実施例においては、後述する回転型光学式スキャニングシステムを開発して、ＣＡＤデータの存在しないワークから３次元形状データを自動生成するシステムを開発し、同様に取得したバリ付ワークの形状データと比較してバリ部分を明確化することに成功した。また、実際の実施例においては、ゴーグル型透過提示装置を用いて、現物のワークの上に３次元の仮想情報（例えば、バリ形状など）を重ねて作業者に立体的に提示するシステムを実現した。その上で、複合現実環境下で作業教示用ツールを使ってバリ取り教示を行うことができる教示システムを実現し、現実と仮想とを分け隔てなく扱うことができ、手技を活かして教示を行うことができる新しい教示システムが実現された。

＜作業データ収集システムのシステム構成＞
図１は、本実施形態の作業データ収集システム１０を示す機能ブロック図である。図１に示されるように、本実施形態の作業データ収集システム１０は、機能的には、光学式スキャナ１２と、データ取得用ロボット１４と、回転式台座１６と、コンピュータによって構成される作業データ収集装置１８と、ヘッドマウントディスプレイ２２と、作業教示用ツール２４とを備えている。

図２に、作業データ収集システム１０の構成例を示す。図２では、光学式スキャナ１２と、データ取得用ロボット１４と、回転式台座１６と、回転式台座１６上に設置された対象ワーク２０とが示されている。なお、以下では、光学式スキャナ１２、データ取得用ロボット１４、及び回転式台座１６を、回転型光学式スキャニングシステムとも称する。

本実施形態の作業データ収集システム１０は、ユーザである熟練の作業者が、作業教示用ツール２４を用いてヘッドマウントディスプレイ２２を通して視認できる対象ワークとそこに重畳表示された作業領域に対して作業を実施している最中の、作業教示用ツール２４の位置及び姿勢の時系列データを表す作業データを収集する。本実施形態では、ワークに付着しているバリ取り作業を例に説明する。

光学式スキャナ１２は、ワークの３次元点群データを取得する。

図１に示されるように、作業データ収集装置１８は、機能的には、データ取得部２５と、３次元データ記憶部２６と、３次元モデル生成部２７と、作業領域特定部２８と、表示制御部３０と、作業データ取得部３２と、作業データ記憶部３３と、を備えている。

ヘッドマウントディスプレイ２２の表示部（図示省略）には、作業データ収集装置１８から出力された信号に応じた画像が表示される。図３に、ユーザＵがヘッドマウントディスプレイ２２を装着している様子を示す。

図３に示されるように、ユーザＵはヘッドマウントディスプレイ２２（例えば、透過型ヘッドマウントディスプレイ又はＶＲゴーグル等の外部ステレオカメラ等を備えたヘッドマウントディスプレイ）を装着し、その表示部に表示された現実の対象ワークと仮想の作業領域とに対して、作業教示用ツール２４を用いて作業を実施する。なお、ヘッドマウントディスプレイ２２が透過型の場合は、ユーザＵはゴーグル越しに直接見えている現実の対象ワークの上に重畳表示された仮想の作業領域に対して、作業教示用ツール２４を用いて作業を実施する。また、ヘッドマウントディスプレイ２２がＶＲゴーグルの場合には、ユーザＵはステレオカメラで捉えた現実の対象ワークの映像の上に重畳表示された仮想の作業領域に対して、作業教示用ツール２４を用いて作業を実施する。なお、本明細書中の「ヘッドマウントディスプレイ」の用語は、ゴーグル型、ヘルメット型、又は眼鏡型等、装置の形態に限定されることなく、ディスプレイにコンピュータが作り出す画像を表示し、複合現実、仮想現実、又は拡張現実などをユーザが視認できるものをいう。

ヘッドマウントディスプレイ２２は、ゴーグル型透過提示装置又は外部カメラを備えたＶＲゴーグルである。ユーザがヘッドマウントディスプレイ２２としてゴーグル型透過提示装置を装着した場合、ヘッドマウントディスプレイ２２の表示部には透過して直接見えている目の前の現実の対象ワークの上に複合現実的に仮想の情報が提示される。例えば、ゴーグル型透過提示装置としてはＭｉｃｒｏｓｏｆｔ社製のＨｏｌｏｌｅｎｓ２を用いることができる。ヘッドマウントディスプレイ２２のゴーグル部分である表示部には、ホログラムを利用した情報が表示されることにより、現実世界に仮想情報が重ね合わせて表示される。また、ユーザがヘッドマウントディスプレイ２２として外部カメラを備えたＶＲゴーグルを装着した場合には、外部カメラで捉えた目の前の現実の対象ワークの映像の上に同様にして複合現実的に仮想の情報が重畳表示される。

＜作業教示システムのシステム構成＞
図４は、本実施形態の作業教示システム４０を示す機能ブロック図である。図４に示されるように、本実施形態の作業教示システム４０は、機能的には、作業ロボット４２と、コンピュータによって構成される作業教示装置４４とを備えている。

作業ロボット４２は、作業データ収集システム１０によって収集された作業データに基づいて、ワークに付着しているバリ取りの作業を実行する。

図４に示されるように、作業教示装置４４は、機能的には、作業データ記憶部４５と、工具データベース４６と、補正部４７と、学習部４８とを備えている。作業教示装置４４は、作業ロボット４２に対してバリ取り作業を教示する。

＜作業実行システムのシステム構成＞
図５は、本実施形態の作業実行システム４９を示す機能ブロック図である。図５に示されるように、本実施形態の作業実行システム４９は、機能的には、作業教示システム４０によって学習された作業ロボット４２と、コンピュータによって構成される作業実行装置４９Ａとを備えている。

作業ロボット４２は、作業実行装置４９Ａから出力された制御信号に応じてバリ取り作業を実行する。

作業データ収集装置１８、作業教示装置４４、及び作業実行装置４９Ａは、例えば、図６に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、入出力装置等（図示省略）が接続される入出力interface（Ｉ／Ｆ）５４、及び記録媒体に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。

記憶部５３は、Hard Disk Drive（ＨＤＤ）、solid state drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を機能させるためのプログラムが記憶されている。ＣＰＵ５１は、プログラムを記憶部５３から読み出してメモリ５２に展開し、プログラムが有するプロセスを順次実行する。

＜作業データ収集システム１０の作用＞

次に、本実施形態の作業データ収集システム１０の作用について説明する。

ワークが回転式台座１６の上に設置され、作業データ収集装置１８が所定の指示信号を受け付けると、作業データ収集装置１８は、図７に示されるモデル生成処理ルーチンを実行する。

なお、図７に示されるモデル生成処理ルーチンは、バリ取り作業完了前の複数の第１ワークと、バリ取り作業完了後の第２ワークに対して実行される。第２ワークは、後述するヘッドマウントディスプレイ２２を通して目視しながら教示作業を行うための対象ワークである。また、後述するように、第２ワークは第１ワークとの間の比較によってバリ領域が特定され、重畳表示するために用いられるワークでもある。

ステップＳ１００において、作業データ収集装置１８のデータ取得部２５は、光学式スキャナ１２とデータ取得用ロボット１４と回転式台座１６とに対して所定の制御信号を出力する。これにより、回転式台座１６が回転すると共に、光学式スキャナ１２からレーザ光が出力され、光学式スキャナ１２によってワークの３次元点群データが取得される。また、データ取得用ロボット１４は、光学式スキャナ１２から出力されるレーザ光の向きを調整するような動きをする。回転台座１６とデータ取得用ロボット１４の動作の連携により、後述するように、光学式スキャナ１２を利用してのワークの３次元点群データが多視点で取得され、蓄積される。

実際の実施例では［Photoneo社製 PhoXi ScannerモデルM］を用いて回転型の光学式スキャナ１２を開発した。また、図２に示されるように、減速機付ＤＣモータ（図示省略）で駆動する回転台座１６を設計製作し、マイコン制御によって台座の回転と光学式スキャナ１２での形状取得が同期するように制御する方式とした。実際の実施例においては、回転台座の送り角度（スキャンの間隔）やスピードは、ワークに合わせて自由に変更することが可能である。取得される形状データは、それぞれのスキャン方向から見た３次元点群データであり、それらを統合してワークの３次元モデルが再構成される仕組みである。実際の実施例において開発した方式は様々なワークに適用できるように汎用性を持たせてあり、実用化の上での大きな強みになる。

ステップＳ１０２において、作業データ収集装置１８のデータ取得部２５は、光学式スキャナ１２によって取得されたワークの３次元点群データを取得する。

図８に、ワークの３次元点群データの一例を示す。図８に示されるように、様々な方向の３次元点群データ２０Ａ，２０Ｂが取得される。図８に示される３次元点群データ２０Ａ，２０Ｂは、ワークを異なる方向からスキャンした３次元点群データの一例である。

そして、データ取得部２５は、ワークの３次元点群データを３次元データ記憶部２６へ一旦格納する。

ステップＳ１０４において、作業データ収集装置１８の３次元モデル生成部２７は、３次元データ記憶部２６に格納された３次元点群データを読み出す。そして、３次元モデル生成部２７は、読み出したワークの３次元点群データに基づいて、既知の技術を利用して、ワークの３次元モデルを生成する。具体的には、３次元モデル生成部２７は、多視点の３次元点群データを互いに自動で位置合わせし、ワークの全周の３次元点群データとして再構成することにより、ワークの３次元モデルを生成する。

図９に、対象ワーク２０の３次元モデルの一例を示す。様々な方向の３次元点群データ２０Ａ，２０Ｂに基づいて、図９に示されるような対象ワーク２０の３次元モデル２０Ｃが生成される。図９に示されるような対象ワーク２０の３次元モデル２０Ｃは、全周スキャン（１５度ずつ回転、全２４方向）のデータから再構成されたサンプルワークの３次元形状データである。実際の実施例において、再構成には、３次元点群比較により共通部分を探索して重ね合わせを行う手法を開発して用いている。

また、図１０に、バリ取り作業完了前の第１ワーク（バリ付きのワーク）の３次元モデルとバリ取り作業完了後の第２ワーク（バリなしのワーク）の３次元モデルの一例を示す。図１０に示される第１ワークの３次元モデル２０Ｄは、第２ワークの３次元モデル２０Ｅに比べて凹凸の箇所が多く存在する。この凹凸の多くがバリに相当する。

なお、実際の実施例では、上述したような回転型光学式スキャニングシステムを用いて、バリ付の第１ワークと熟練者がバリ取り作業をした後の第２ワークをスキャンし、形状データを比較することで第１ワークのバリ付着位置と形状の明確化を行った。第１ワークには様々な形状のバリが複雑に存在し、スキャンのノイズやワークの個体差の影響も受けるため、単純なデータ比較ではバリ部分のみをうまく抽出することは難しい。そこで、後述するように、近傍点探索、孤立点除去、及びバリ部分の延長処理などを比較工程に導入することで、バリ部分のみを明確化する手法も考案した。

ステップＳ１０６において、３次元モデル生成部２７は、ステップＳ１０４で生成したワークの３次元モデルを、３次元データ記憶部２６へ格納する。なお、３次元モデル生成部２７は、全周の３次元点群データである３次元モデルに対して、ノイズ除去、多重点の統合、表面平滑化処理、及び各点法線ベクトルの生成等を行って、ワークの３次元モデルを３次元データ記憶部２６へ格納する。

図７に示されるモデル生成処理ルーチンが、複数の第１ワーク及び第２ワークに対して実行されると、複数の第１ワークの各々の３次元モデルと第２ワークの３次元モデルとが３次元データ記憶部２６へ格納される。なお、バリの形状は何種類も存在する。そのため、複数の第１ワークに対して図７に示されるモデル生成処理ルーチンが実行されることにより、複数の第１ワークの３次元モデルが作成され、複数の第１ワークの各々の３次元モデルが３次元データ記憶部２６へ格納される。

次に、作業データ収集装置１８が所定の指示信号を受け付けると、作業データ収集装置１８は、図１１に示される作業領域特定処理ルーチンを実行する。

ステップＳ２００において、作業データ収集装置１８の作業領域特定部２８は、３次元データ記憶部２６に格納されている複数の第１ワークの３次元モデルから１つの第１ワークの３次元モデルを設定する。

ステップＳ２０２において、作業データ収集装置１８の作業領域特定部２８は、ステップＳ２００で設定された第１ワークの３次元モデルと３次元データ記憶部２６に格納されている第２ワークの３次元モデルとの差異を表す領域を計算する。具体的には、作業領域特定部２８は、第１ワークの３次元モデルと第２ワークの３次元モデルとを比較することにより、それらの差分を表す差分データを計算する。

ワークには様々な形状のバリが複雑に存在し、光学式スキャナ１２によるノイズ及びワークの個体差の影響を受ける。このため、作業領域特定部２８は、最近傍点探索、孤立点除去、バリ部分の延長処理、及び連結性探索等の既知のアルゴリズムを利用することにより、バリ領域を精度良く特定する。

このため、ステップＳ２０４において、作業データ収集装置１８の作業領域特定部２８は、第１ワークの３次元モデルと第２ワークの３次元モデルとの差分を表す差分データと、第２ワークの３次元モデルとの間において、既知の最近傍点探索を実行することにより、差分データのノイズを除去する。これにより、例えば、差分データにおける孤立点が除去される。

また、ステップＳ２０６において、作業データ収集装置１８の作業領域特定部２８は、第１ワークの３次元モデルと第２ワークの３次元モデルとの差分を表す差分データと、第２ワークの３次元モデルとの間において、既知の連結性探索（連結グラフであるか否かを判定するアルゴリズム）を実行することにより、第２ワークと連結しているバリのみを抽出する。

ステップＳ２０７において、作業データ収集装置１８の作業領域特定部２８は、ステップＳ２０４及びステップＳ２０６の処理によって得られたバリの位置及び形状のデータを、３次元データ記憶部２６へ一旦記憶する。

ステップＳ２０８において、作業データ収集装置１８の作業領域特定部２８は、３次元データ記憶部２６に格納されている複数の第１ワークの３次元モデルの全てに対して、ステップＳ２００～ステップＳ２０７の処理が実行されたか否かを判定する。複数の第１ワークの３次元モデルの全てに対して、ステップＳ２００～ステップＳ２０７の処理が実行された場合には、ステップＳ２１０へ進む。一方、ステップＳ２００～ステップＳ２０７の処理を実行していない第１ワークが存在する場合には、ステップＳ２００へ戻る。

ステップＳ２１０において、作業データ収集装置１８の作業領域特定部２８は、ステップＳ２０７で３次元データ記憶部２６へ記憶された複数のバリの位置及び形状のデータを統合することにより、作業対象領域である仮想のバリ領域を生成する。

例えば、作業データ収集装置１８の作業領域特定部２８は、複数のバリの位置及び形状のデータを統合する際に、複数のバリの位置及び形状のデータを平均化する平均化処理を実行することにより、作業対象領域であるバリ領域を生成する。または、例えば、作業データ収集装置１８の作業領域特定部２８は、複数のバリの位置及び形状のデータを統合する際に、複数のバリの位置及び形状のデータのうち最大の大きさのバリを選択することにより、作業対象領域であるバリ領域を生成する。なお、複数のバリの位置及び形状のデータを統合する方法としては、これに限られず、様々な方法によって統合することが可能である。

ステップＳ２１２において、作業データ収集装置１８の作業領域特定部２８は、ステップＳ２１０で生成されたバリ領域の位置及び形状を、３次元データ記憶部２６へ格納する。

次に、作業データ収集装置１８が所定の指示信号を受け付けると、作業データ収集装置１８は、図１２に示される作業データ収集処理ルーチンを実行する。

ステップＳ３００において、作業データ収集装置１８の表示制御部３０は、ユーザが装着するヘッドマウントディスプレイ２２の表示部に対して、現実の対象ワークと仮想のバリ領域とを重畳させて表示させる。具体的には、実際の実施例において、現物のワークが存在する３次元空間と仮想のバリ領域を描画する３次元空間の座標系とを一致させるための座標変換を導入することにより、位置を合わせての重ね合わせ表示を実現した。その結果、ワークを様々な方向から覗き込んでも視点の変更に追従し、ずれがほとんど感じられない程度に仮想情報と現物のワークを正しく一致させて表示できることを確認した。

図１３に、現実の対象ワークと仮想のバリ領域とが重畳表示されている場合の一例を示す。

図１３では、現実の対象ワーク２０と仮想のバリ領域２１とが重畳表示されている。図１３に示されるように、ヘッドマウントディスプレイ２２の表示部には、現物のワークに対して、バリ形状のデータベースから、適切なデータを読みだした仮想的なバリを重ねて表示することが可能である。

本実施形態では、ヘッドマウントディスプレイ２２に搭載した機能を利用することにより、現実のワークが存在する３次元空間の座標系と仮想のバリ領域を描画する３次元空間の座標系とを一致させるための座標変換を実行する。これにより、仮想のバリ領域と現実の対象ワークとの重ね合わせが可能となる。その結果、ユーザが現実のワークを様々な方向から覗き込んだとしても、ユーザの視点の変更に追従して仮想のバリ領域がヘッドマウントディスプレイ２２の表示部に重畳表示される。これにより、現実のワークと仮想のバリ領域との間のずれの発生が抑制される。

このようにして、仮想のバリ領域２１を現実の対象ワーク２０Ｇの上に重畳表示することができる。その他にも、ユーザの選択によって作業を支援する様々な情報が複合現実的に重畳表示される。

なお、現実の対象ワーク２０Ｇに仮想のバリ領域２１や仮想の支援情報を正確に重畳表示するためのキャリブレーション（位置合わせ）は、図１４の上段のように工具型プローブ２４で現実の対象ワーク２０Ｇの表面をなぞることで現実と仮想の位置関係を取得して、座標系の変換が自動的に実行される。これにより、ユーザビリティが向上する。この例では、Ｐ１を始点として、Ｐ２を経由し、Ｐ３を終点として所定の表面をなぞり、次に、Ｐ４を始点としてＰ５終点で別の表面をなぞる（図１４上図左になぞった軌跡を黒線で示す）。この例では２ヵ所の別表面上をなぞる軌跡の例を示したが、対象ワークのなるべく広い範囲で、何回かの軌跡に分けて、いろいろな面をなぞることによって、現実と仮想の位置合わせの精度をさらに上げることができる。

また、図１４の下段では、ＱＲコード（登録商標）が作業現場に設置されている。このＱＲコード（登録商標）は、ヘッドマウントディスプレイ２２が備えるカメラが読み取るためのものであり、このＱＲコード（登録商標）を基準にして、対象ワークと仮想作業領域を重ね合わせる座標系を保存しておくことにより、次の使用時にはキャリブレーションをやり直すことなく座標系を復元することができる。

このようにして、ユーザが装着するヘッドマウントディスプレイ２２の表示部に現実の対象ワークと仮想のバリ領域とが重畳表示されると、ユーザは、作業教示用ツール２４を用いて、現実の対象ワークに付着している仮想のバリ領域を除去するような動作が可能となる。

ステップＳ３０２において、作業データ収集装置１８の作業データ取得部３２は、ユーザが作業教示用ツール２４を用いてヘッドマウントディスプレイ２２に表示された対象ワークとバリ領域とに対するバリ取り作業を実施する際の、作業教示用ツール２４の位置及び姿勢の時系列データを表す作業データを取得する。

図１５に、本実施形態において用いる作業教示用ツール２４を示す。図１５の作業教示用ツール２４は作業者が普段の作業で用いる工具を模したものであり、プローブの動きを検出するための工具型のプローブであり、反射マーカ３４を備えている。図１５に示されている作業教示用ツール２４は、実際に使用されているバリ取り用の工具の一つを模して、本発明者らが実際に製作した工具型プローブである。

本実施形態では、ヘッドマウントディスプレイ２２が備えているセンサの一例である赤外線カメラとデプスカメラとを利用する。具体的には、ヘッドマウントディスプレイ２２に内蔵されている赤外線カメラとデプスカメラとが、作業教示用ツール２４の球状の反射マーカ３４の位置及び姿勢を逐次検知する。

そして、作業データ収集装置１８の作業データ取得部３２は、ヘッドマウントディスプレイ２２の赤外線カメラとデプスカメラとによって検知された反射マーカ３４の位置及び姿勢に基づいて、作業教示用ツール２４の位置及び姿勢を座標計算することにより、作業教示用ツール２４の位置及び姿勢の時系列データを表す作業データを取得する。別の実施形態として、作業環境に固定設置したカメラやデプスカメラ等を利用してマーカ検出装置を構成し、工具型プローブの位置及び姿勢の時系列データを取得するようにしてもよい。

なお、図１５に示されているように、作業教示用ツール２４には、作業データの記録開始を指示するためのスイッチＳＷも搭載されている。このため、ユーザは、バリ取り作業のうちの必要な場面のみの作業データを記録することもできる。

図１６は、作業教示用ツール２４とヘッドマウントディスプレイ２２の赤外線カメラとデプスカメラとによって検知された、作業教示用ツール２４の位置の精度の確認を行っている様子である。作業教示用ツール２４を用いて定規をなぞることにより作業教示用ツール２４の動きを取得し、実際の動きと比較をした結果、位置認識の精度は±１ｍｍ以内であり、後述する作業ロボット４２へのティーチングには十分であることが確認された。

また、図１７は、ユーザＵが、現実の対象ワーク２０に対して仮想のバリ取り作業を行っている場面を表す図である。図１８は、ユーザＵがヘッドマウントディスプレイ２２越しに見た現実の対象ワーク２０と仮想のバリ領域２１とである。

図１２のステップＳ３０４において、作業データ収集装置１８の作業データ取得部３２は、ステップＳ３０２で取得された作業データを作業データ記憶部３３へ格納する。

図１９に、作業データを説明するための図を示す。図１９に示される例では、対象ワークの側面に存在するバリを取るように、対象ワークの側面を方向Ｄへ向けて作業教示用ツール２４でなぞるような作業データが記録される。なお、図１９に示される例は、作業教示用ツール２４のスイッチＳＷがＯＮになった際に作業データの記録が開始され、スイッチＳＷがＯＦＦになった際に作業データの記録を終了させた際の作業データである。図１９に示されるように、作業教示用ツール２４の動きは対象ワークへの接触点とその時の工具型プローブ２４の姿勢を表すベクトルの時系列データとして記録されるため、後述するように、バリ取り作業用のロボットの制御データとして利用することが可能である。

なお、ユーザがバリ取り作業を実施する際には、作業教示用ツール２４によってなぞられた箇所に位置するバリを、ヘッドマウントディスプレイ２２上において消していくようにしてもよい。この場合には、ユーザは、バリ取りの状況を認識しながら作業をすることもできる。

また、作業データ収集装置１８の作業データ取得部３２は、現実の対象ワークに作業対象領域を重畳させて表示させる際に、作業済みの領域の表示態様と未作業領域の表示態様とを異ならせて表示させるようにしてもよい。また、作業教示用ツール２４の作業軌跡を、バリ領域とは異なる態様（異なる色や形状、など）で表示してもよい。この場合は、バリ領域にさらに重ねて別の情報を表示することにより、作業済み領域を消していくことでもよい。このようにすれば、未作業領域を明確に把握することができ、状況を把握しながら教示作業が可能である。

図２０に、作業済みの領域の表示態様と未作業領域の表示態様とを異ならせて表示させる場合の例を示す。図２０に示されるように、未作業領域２１Ａの表示態様と作業済みの領域２１Ｂの表示態様とが異なることにより、状況を把握しながらの作業が可能となる。

また、作業データ収集装置１８の作業データ取得部３２は、現実の対象ワークに作業対象領域を重畳させて表示させる際に、作業のガイドとなる作業軌跡を重畳させて表示させるようにしてもよい。

＜作業教示システム４０の作用＞
次に、本実施形態の作業教示システム４０の作用について説明する。

オフラインティーチングによって取得された作業データは、対象ワークに対する熟練作業者の工具の当て方（例えば、工具の位置及び姿勢等）や動き（例えば、速度変化など）の詳細を含むため、容易にロボットの制御プログラムにデータとして組み込むことができる。ただし、本実施形態では、応用面を考慮して利便性を向上させるための複数の拡張機能が実装されている。

その一つは、ティーチングによって取得された作業データが表す軌跡の精細化の機能である。リアルタイムでオフラインティーチングを行う際は、対象ワーク及びバリの３次元モデルを高速に演算して現物の対象ワークに重ね合わせて表示するため、作業データ収集装置１８は、３次元モデルのデータを間引いて解像度を落として表示する。また、作業者の手の動きには手振れも含まれるため、リアルタイムでは簡易的な手振れ補正が行われる。しかし、最終的にロボットの制御データとして作業データを出力する際には、高精細な３次元モデルの表面上の手振れの無い滑らかな軌跡を生成するのが望ましい。そのため、本実施形態では、ティーチングで得られた作業データが表す軌跡を平滑化処理した上で、光学式スキャナから再構築したままの高精細な３次元モデルに再フィッティングさせることにより、高精細かつ滑らかな軌跡を生成する。

二つ目は、作業データが表す軌跡の自動加工機能である。現場での応用を考えると、ティーチングに使う作業教示用ツールの形状と、実際のロボットが加工を行う工具の形状とが異なる場合を考慮する方が望ましい。例えば、ティーチングには使いやすくて軽いペン型のプローブが使用され、ロボットが用いる工具はドリルやグラインダーなどが状況に応じて利用されるといったことが考えられる。そこで、本実施形態では、ロボットで使用する工具の形状をデータベースとして保持することにより、ティーチングから得られた作業者の作業データが表す軌跡を基に、対象物からの距離を変更したり工具の姿勢を変更したりする自動加工機能を実装した。

作業データ収集システム１０によって、ユーザの作業データが収集され、その作業データが作業データ収集装置１８の作業データ記憶部３３に格納されると、作業教示システム４０に対してその作業データが入力され作業教示装置４４の作業データ記憶部３３に格納される。そして、作業教示装置４４が所定の指示信号を受け付けると、作業教示装置４４は、図２１に示される作業教示処理ルーチンを実行する。

ステップＳ４００において、作業教示装置４４の補正部４７は、作業データ記憶部３３に格納された作業データを読み出す。

ステップＳ４０２において、作業教示装置４４の補正部４７は、対象ワークに対する動作を作業ロボット４２の動作データとして学習させる際に、作業データが表す作業教示用ツール２４の軌跡を平滑化し、かつ平滑化された軌跡と対象ワークとの間の距離を調整する。

図２２及び図２３に、作業データの補正を説明するための図を示す。

図２２に示されるように、ワークの表面Ｓ上にプロットされた作業データの軌跡は、手振れなどの影響で、軌跡を構成する各時刻の作業教示用ツール２４の位置が凸凹しており、作業ロボットに滑らかな動作をさせるのに適切でない場合もある。そのため、図２２に示されるように、本実施形態の作業教示装置４４の補正部４７は、作業データが表す作業教示用ツール２４の軌跡を平滑化させた上で、対象ワークの３次元形状に再適合させる。これにより、作業データがワークの表面を沿うような滑らかな時系列データとなり、作業ロボット４２によるバリ取り作業がより適切なものとなる。

また、ワークの表面Ｓ上にプロットされた作業データの軌跡は、教示用の作業教示用ツール２４を用いた際に得られたデータである。作業教示用ツール２４は教示作業がしやすい形状に設計されるため、作業ロボット４２が備える工具とは大きさや形状が異なる場合がある。そのため、作業データをそのまま作業ロボット４２へ教示させたとしても、うまくバリ取り作業ができない場合もある。

そこで、図２３に示されるように、本実施形態の作業教示装置４４の補正部４７は、平滑化された作業データの軌跡とワークとの間の距離や工具の姿勢を、作業ロボット４２が備える加工工具に合わせるように自動調整する。図２３は、加工工具のドリルの半径に合わせて、作業データが表す軌跡を自動的に外側に拡張した様子を示している。図２３の例では、元の作業データの軌跡よりも、対象ワーク２０からより離れた軌跡（図２４では「拡張した軌跡」と表記）となるように、作業データを調整して太い研削工具に対応する。同時に、教示時の作業教示用ツール２４の姿勢を作業ロボット４２の加工工具に合わせて調整することもできる。

このため、ステップＳ４０２において、作業教示装置４４の補正部４７は、対象ワークに対する動作を作業ロボット４２の動作データとして学習させる際に、工具データベース４６に記憶されている、作業ロボット４２が利用する工具の種類を読み出し、その種類に応じて、平滑化された軌跡の各点が表す工具の姿勢を調整する。調整方法は、工具の種類に応じて予め決定される。これにより、作業ロボット４２の工具が作業教示用ツール２４とは異なる大きさや形状であっても、作業ロボット４２によってバリ取り作業を適切に実行することができる。

なお、上記の補正を実施する際には、対象ワークの３次元モデルをより高精細なモデルとする。作業データを収集している際の対象ワークの３次元モデルはその計算速度を高速化させるために比較的粗いモデルを用いる場合がある。そのため、より適切な作業データに補正するために、補正部４７では、より高精細な対象ワークのモデルを用いて作業データを補正し再構成することにより、より適切に作業データを補正することができる。

ステップＳ４０４において、作業教示装置４４の補正部４７は、ステップＳ４０２で調整された作業データに基づいて、既知の技術を利用して、対象ワークに対する動作を作業ロボット４２へ学習させる。

＜作業実行システム４９の作用＞
次に、本実施形態の作業実行システム４９の作用について説明する。

作業実行システム４９の作業実行装置４９Ａが所定の指示信号を受け付けると、作業実行装置４９Ａは、作業ロボット４２にバリ取り作業を指示する制御信号を出力する。作業ロボット４２は作業データによって学習がなされているため、作業データに応じた動作をすることにより対象ワークと同種のワークのバリ取り作業を実行する。

以上説明したように、本実施形態に係る作業データ収集システムは、ユーザが装着するヘッドマウントディスプレイに対し、現実の対象ワークに、仮想の領域に相当する仮想のバリ領域を重畳させて表示させることにより、作業対象領域に相当する仮想のバリ領域をユーザに対して表示する。そして、作業データ収集システムは、ユーザが、作業教示用ツールを用いてヘッドマウントディスプレイを通じて視認できる現実の対象ワークと仮想のバリ領域とに対する作業を実施する際の、作業教示用ツールの位置及び姿勢の時系列データを表す作業データを取得し、作業データを作業データ記憶部へ格納する。これにより、ワークに対する作業者の作業動作が反映された作業データを取得し、その作業データを利用して作業ロボットを制御することができる。

本実施形態では、Ｍｉｘｅｄ Ｒｅａｌｉｔｙ（複合現実）を用いたシステムを構築した。従来のようなＣＡＤ又はＶｉｒｔｕａｌ Ｒｅａｌｉｔｙａ（仮想現実）、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（拡張現実）等のモデル空間を用いた教示の場合、ユーザはワークに接触したときの力感覚は得られないのに対し、本実施形態において構築した複合現実を利用したシステムでは、ユーザが現実のワークに接触しながら作業した際に得られた作業データを取得することができる。これにより、ユーザが普段のバリ取り作業と同じようにリアルな反力を感じた際の作業データを取得することができる。なお、作業データ収集システムと作業教示システムが１つのシステムによって構成される場合には、ユーザは、普段のバリ取り作業と同じようにリアルな反力を感じながら作業ロボットに対して教示を行うことができる。そのため、ユーザである熟練作業者の持つ手技、つまり、熟練者の工具の当て方（位置、姿勢など）や動き（軌跡、速度変化など）などを活かすことができる。また、現実のワークと同じ座標系において取得された作業教示用ツールの動きは、バリ取りを行う作業ロボットの作業座標系へ容易に変換することができる。また、複合現実を利用して仮想のバリだけでなく様々な支援情報（ＱＲコード（登録商標）や３Ｄモデルの３次元点群情報やメッシュ情報など）を合わせて表示することも可能である。また、本実施形態によれば、ロボット教示やコンピュータについての知識を持っていない熟練工でも普段と同じような作業をすることにより、ロボット教示を実施できる。また、作業ロボットに対するダイレクトオフラインティーチングが可能となる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上記実施形態では、第２ワーク（バリなしワーク）を現実の対象ワークとして用い、仮想の領域が仮想のバリ領域、作業対象領域がその仮想のバリ領域である場合を例に説明したが、これに限定されるものではない。具体的には、上記実施形態では、現実の対象ワーク（バリなしワーク）に仮想のバリ領域を重畳させて表示させることにより、作業対象領域である仮想のバリ領域をユーザに対して表示した。このため、上記実施形態では、仮想の領域が作業対象領域に相当する。一方、上記実施形態とは異なり、バリ付きワークを対象ワークとして用いて作業教示に利用してもよく、仮想の領域は、作業対象領域を除いた部分に対応する対象ワークの３次元モデルに相当するようにしてもよい。この場合には、例えば、現実の対象ワーク（バリ付きワーク）に、仮想の対象ワークの３次元モデル（バリ無し）を重畳表示することにより、現実の対象ワークのバリ部分を除いた部分（つまりバリ無しのワーク部分）と、現実の対象ワーク内のバリ領域の部分とを区別できるよう表示、あるいは強調表示されるようにしてもよい。そのようにすれば、ユーザは、現実の対象ワーク内のバリ領域の部分を作業対象領域として見ることができ、その領域に対して所定の作業を行うことができる。その際は、工具型プローブの代わりに、実際のバリ取り工具に位置検出用マーカを取り付けて作業教示用ツールとすることで、バリを実際に除去しながらその動きを取得することができる。この場合は、現実の対象ワークのバリ部分を実際に見ることができるので、仮想のバリ領域を重畳して表示する場合と比較して、より正確な作業を教示することができることがある。なお、透過型ディスプレイの場合、現実の対象ワークを透過して直接に見るような構成も含む。また、これまで述べてきた実施態様に限らず、現実のワーク上に重畳して所定の仮想表示を行うことにより、作業すべき部分（実施例ではバリ領域）とそれ以外の部分（作業しない部分）を区別することができるような表示態様なら何でもよい。

また、上記実施形態では、作業データ収集システム１０が作業データを収集し、後述する作業教示システム４０が作業ロボット４２に対してバリ取り作業を教示し、作業実行システム４９が作業ロボット４２に対してバリ取り作業を実行させる場合を例に説明したが、作業データ収集システム１０と作業教示システム４０と作業実行システム４９とは１つのシステムとして構成されていてもよい。

また、上記実施形態では、ワークに付着しているバリ取りの作業が対象であり、作業領域はワークに付着しているバリに対応する領域である場合を例に説明したがこれに限定されるものではない。上記実施形態は、その他の作業にも適用可能である。例えば、研磨作業、切削作業や形状加工作業などでもよい。また、工場などの生産・製造現場での作業に限らず、農業、ロジスティクス、及び土木建築分野など各種の作業分野で応用が可能である。

また、上記実施形態では、複数の第１ワークから得られる複数のバリを統合（例えば、複数のバリの平均）することによりバリ領域を生成する場合を例に説明したが、第１ワークは１つであり、１つの第１ワークから得られるバリに基づいてバリ領域を生成してもよい。

また、上記実施形態では、作業教示用ツールが、反射マーカを用いてモーションキャプチャーを行うプローブ型工具である場合を例に説明したが、作業データを取得できるものならどのようなものであってもよい。例えば、作業工具の位置及び姿勢などを画像認識で求めたり、センサなどにより電気的、光学的に検出するものでもよい。

また、上記実施形態では、時系列データである作業データを用いて作業ロボット４２に対して教示をする場合を例に説明したがこれに限定されるものではない。例えば、ＡＩ技術を利用して、作業対象領域（例えば、バリの形状を表すデータ）と作業データとが関連付けられた学習用データを生成し、その学習用データに基づいて、既知の機械学習アルゴリズムを用いて、作業対象領域（例えば、バリの形状を表すデータ）が入力されたときに作業データを出力する学習済みモデルを生成し、その学習済みモデルを利用することにより対象ワークに対する動作をロボットへ学習させるようにしてもよい。この場合には、学習済みモデルは、例えば、ディープラーニングやニューラルネットワークモデル等のモデルによって構成される。図２４は、そのような学習済みモデルの一例を示す図である。図２４に示されるように、バリの形状を表すデータが学習済みモデルに入力された際には、そのバリの形状に応じた作業データが出力されるようにしてもよい。図２４に示されるように、学習のための入力データとして例えばバリの形状（厚さ、高さ、付着長さ、及び付着方向など）を入力し、出力データとして工具の位置及び姿勢を表す局所軌跡を出力するように学習する。実行時には、学習済みモデルに対して対象ワークのバリ形状を入力して、出力として得られた局所軌跡を統合して時系列データを自動生成するようにしても良い。なお、上記の学習用のデータは、本システムにおいては熟練作業者が教示した作業データとバリ形状データを関連させて蓄積することで作成することができる。上記のようなＡＩ技術を利用すれば、熟練作業者による作業教示を常に行うことなく、作業データを自動的に生成して作業ロボットに教示することができる。

１０ 作業データ収集システム
１２ 光学式スキャナ
１４ データ取得用ロボット
１６ 回転式台座
１８ 作業データ収集装置
２０ 対象ワーク
２２ ヘッドマウントディスプレイ
２４ 作業教示用ツール
２５ データ取得部
２６ ３次元データ記憶部
２７ ３次元モデル生成部
２８ 作業領域特定部
３０ 表示制御部
３２ 作業データ取得部
３３ 作業データ記憶部
３４ 反射マーカ
４０ 作業教示システム
４２ 作業ロボット
４４ 作業教示装置
４５ 作業データ記憶部
４６ 補正部
４８ 学習部
４９ 作業実行システム
４９Ａ 作業実行装置
５０ コンピュータ

Claims (21)

1. ユーザが装着するヘッドマウントディスプレイに対し、現実の対象ワークに仮想の領域を重畳させて表示させることにより、作業対象領域をユーザに対して表示するとともに、
   前記ユーザが、作業教示用ツールを用いて前記ヘッドマウントディスプレイに表示された前記対象ワークと前記作業対象領域とに対する作業を実施する際の、前記作業教示用ツールの位置及び姿勢の時系列データを表す作業データを取得し、前記作業データを記憶部へ格納し、
   前記作業対象領域を特定する際には、
   作業完了前の第１ワークの３次元データを取得し、
   作業完了後の第２ワークの３次元データを取得し、
   前記第１ワークの３次元データと前記第２ワークの３次元データとに基づいて、前記第１ワークと前記第２ワークとの間の差異に基づいて前記作業対象領域として特定する、
   処理をコンピュータが実行する作業データ収集方法。
2. 前記第１ワークは、複数の第１ワークが含まれる請求項１に記載の作業データ収集方法。
3. 前記仮想の領域は、前記作業対象領域に相当する、
   請求項１に記載の作業データ収集方法。
4. 前記仮想の領域は、前記作業対象領域を除いた部分に対応する前記対象ワークの３次元モデルに相当する、
   請求項１に記載の作業データ収集方法。
5. 前記現実の対象ワークに前記作業対象領域を重畳させて表示させる際に、作業済みの領域の表示態様と未作業領域の表示態様とを異ならせて表示させる、
   請求項１～請求項４の何れか１項に記載の作業データ収集方法。
6. 前記現実の対象ワークに前記作業対象領域を重畳させて表示させる際に、作業のガイドとなる作業軌跡を重畳させて表示させる、
   請求項１～請求項４の何れか１項に記載の作業データ収集方法。
7. 前記作業は、ワークに付着しているバリ取りの作業であり、
   前記作業対象領域は、ワークに付着しているバリに対応する領域であり、
   前記作業データは、前記ユーザが作業を実施している際に前記対象ワークからの反力を受けつつ得た作業データである、
   請求項１に記載の作業データ収集方法。
8. 前記作業教示用ツールはマーカを備えており、
   前記ヘッドマウントディスプレイは前記マーカの位置及び姿勢を検知するセンサが備えられており、
   前記センサによって検知された前記マーカの位置及び姿勢の時系列データから、前記作業教示用ツールの位置及び姿勢を生成する、
   請求項１に記載の作業データ収集方法。
9. ユーザが装着するヘッドマウントディスプレイに対し、現実の対象ワークに仮想の領域を重畳させて表示させることにより、作業対象領域をユーザに対して表示するとともに、
   前記ユーザが、作業教示用ツールを用いて前記ヘッドマウントディスプレイに表示された前記対象ワークと前記作業対象領域とに対する作業を実施する際の、前記作業教示用ツールの位置及び姿勢の時系列データを表す作業データを取得し、前記作業データを記憶部へ格納し、
   前記作業対象領域を特定する際には、
   作業完了前の第１ワークの３次元データを取得し、
   作業完了後の第２ワークの３次元データを取得し、
   前記第１ワークの３次元データと前記第２ワークの３次元データとに基づいて、前記第１ワークと前記第２ワークとの間の差異に基づいて前記作業対象領域として特定し、
   前記記憶部に格納された前記作業データに基づいて、前記対象ワークに対する動作を作業ロボットへ学習させる、
   処理をコンピュータに実行させる方法。
10. 前記対象ワークに対する動作を作業ロボットへ学習させる際に、前記作業データが表す前記作業教示用ツールの軌跡を平滑化させ、前記平滑化された軌跡と前記対象ワークとの間の距離及び前記軌跡の各点が表す工具の姿勢を調整することにより、前記対象ワークに対する動作を前記作業ロボットへ学習させる、
    請求項９に記載の方法。
11. 前記対象ワークに対する動作を作業ロボットへ学習させる際に、前記作業対象領域と前記作業データとが関連付けられた学習用データを生成し、前記学習用データに基づいて、前記作業対象領域が入力されたときに前記作業データを出力する学習済みモデルを生成し、前記学習済みモデルを利用することにより前記対象ワークに対する動作を作業ロボットへ学習させる、
    請求項９に記載の方法。
12. ユーザが装着するヘッドマウントディスプレイに対し、現実の対象ワークに仮想の領域を重畳させて表示させることにより、作業対象領域をユーザに対して表示するとともに、
    前記ユーザが、作業教示用ツールを用いて前記ヘッドマウントディスプレイに表示された前記対象ワークと前記作業対象領域とに対する作業を実施する際の、前記作業教示用ツールの位置及び姿勢の時系列データを表す作業データを取得し、前記作業データを記憶部へ格納し、
    前記作業対象領域を特定する際には、
    作業完了前の第１ワークの３次元データを取得し、
    作業完了後の第２ワークの３次元データを取得し、
    前記第１ワークの３次元データと前記第２ワークの３次元データとに基づいて、前記第１ワークと前記第２ワークとの間の差異に基づいて前記作業対象領域として特定し、
    前記記憶部に格納された前記作業データに基づいて、前記対象ワークに対する動作を作業ロボットへ学習させ、
    前記対象ワークに対する動作を学習した前記作業ロボットを動作させることにより、前記対象ワークと同種のワークに対する作業を実行させる、
    処理をコンピュータが実行する方法。
13. ユーザが装着するヘッドマウントディスプレイに対し、現実の対象ワークに仮想の領域を重畳させて表示させることにより、作業対象領域をユーザに対して表示する表示制御部と、
    ユーザが、作業教示用ツールを用いて前記ヘッドマウントディスプレイに表示された前記対象ワークと前記作業対象領域とに対する作業を実施する際の、前記作業教示用ツールの位置及び姿勢の時系列データを表す作業データを取得し、前記作業データを記憶部へ格納させるデータ取得部と、
    前記作業対象領域を特定する際に、作業完了前の第１ワークの３次元データを取得し、作業完了後の第２ワークの３次元データを取得し、前記第１ワークの３次元データと前記
    第２ワークの３次元データとに基づいて、前記第１ワークと前記第２ワークとの間の差異に基づいて前記作業対象領域として特定する、作業領域特定部と、
    を備える作業データ収集システム。
14. 前記第１ワークは、複数の第１ワークが含まれる請求項１３に記載の作業データ収集システム。
15. 前記仮想の領域は、前記作業対象領域に相当する、
    請求項１３に記載の作業データ収集システム。
16. 前記仮想の領域は、前記作業対象領域を除いた部分に対応する前記対象ワークの３次元モデルに相当する、
    請求項１３に記載の作業データ収集システム。
17. ユーザが装着するヘッドマウントディスプレイに対し、現実の対象ワークに仮想の領域を重畳させて表示させることにより、作業対象領域をユーザに対して表示する表示制御部と、
    ユーザが、作業教示用ツールを用いて前記ヘッドマウントディスプレイに表示された前記対象ワークと前記作業対象領域とに対する作業を実施する際の、前記作業教示用ツールの位置及び姿勢の時系列データを表す作業データを取得し、前記作業データを記憶部へ格納させるデータ取得部と、
    前記作業対象領域を特定する際に、作業完了前の第１ワークの３次元データを取得し、作業完了後の第２ワークの３次元データを取得し、前記第１ワークの３次元データと前記
    第２ワークの３次元データとに基づいて、前記第１ワークと前記第２ワークとの間の差異に基づいて前記作業対象領域として特定する、作業領域特定部と、
    を備え、
    前記記憶部に格納された前記作業データに基づいて、前記対象ワークに対する動作を作業ロボットへ学習させる、
    システム。
18. ユーザが装着するヘッドマウントディスプレイに対し、現実の対象ワークに仮想の領域を重畳させて表示させることにより、作業対象領域をユーザに対して表示する表示制御部と、
    ユーザが、作業教示用ツールを用いて前記ヘッドマウントディスプレイに表示された前記対象ワークと前記作業対象領域とに対する作業を実施する際の、前記作業教示用ツールの位置及び姿勢の時系列データを表す作業データを取得し、前記作業データを記憶部へ格納させるデータ取得部と、
    前記作業対象領域を特定する際に、作業完了前の第１ワークの３次元データを取得し、作業完了後の第２ワークの３次元データを取得し、前記第１ワークの３次元データと前記
    第２ワークの３次元データとに基づいて、前記第１ワークと前記第２ワークとの間の差異に基づいて前記作業対象領域として特定する、作業領域特定部と、
    を備え、
    前記記憶部に格納された前記作業データに基づいて、前記対象ワークに対する動作を作業ロボットへ学習させ、
    前記対象ワークに対する動作を学習した前記作業ロボットを動作させることにより、前記対象ワークと同種のワークに対する作業を実行させる、
    システム。
19. 請求項１に記載の作業データ収集方法の各処理をコンピュータに実行させるためのプログラム。
20. 請求項９に記載の方法の各処理をコンピュータに実行させるためのプログラム。
21. 請求項１２に記載の方法の各処理をコンピュータに実行させるためのプログラム。