JP7448327B2 - 作業員の作業を補助するロボットシステム、制御方法、機械学習装置、及び機械学習方法 - Google Patents

Description

本発明は、作業員の作業を補助するロボットシステム、ロボットの制御方法、機械学習装置、及び機械学習方法に関する。

作業員の作業を補助するロボットシステムが知られている（例えば、特許文献１）。

特開２０１８－０５８１７８号公報

作業員が、より円滑に作業を行えるように、該作業員を補助するロボットシステムが求められている。

本開示の一態様において、作業員の作業を補助するロボットシステムは、ロボットと、作業員が所定の作業をしているときに該作業員の動きを検出する検出装置と、検出装置の検出データに基づいて、作業が終了するか否かを判断する終了判断部と、終了判断部によって作業が終了すると判断されたときに、該作業のための物品を作業員へ供給するために該物品を予め定められた位置へ運搬する物品供給動作、又は、作業で用いた物品を回収して予め定めた保管場所まで運搬する物品回収動作をロボットに実行させるロボット制御部とを備える。

本開示の他の態様において、作業員の作業を補助するロボットを制御する方法は、作業員が所定の作業をしているときに該作業員の動きを検出装置によって検出し、検出装置の検出データに基づいて、作業が終了するか否かを判断し、作業が終了すると判断したときに、該作業のための物品を作業員へ供給するために該物品を予め定められた位置へ運搬する物品供給動作、又は、作業で用いた物品を回収して予め定めた保管場所まで運搬する物品回収動作をロボットに実行させる。

本開示のさらに他の態様において、作業員の作業が終了するタイミングを学習する機械学習装置は、作業員が所定の作業を行っているときに該作業員の動きを検出する検出装置の検出データと、作業の段階を示すラベル情報又は該作業に要した時間とを、学習データセットとして取得する学習データ取得部と、学習データセットを用いて、動きと段階又は時間との相関性を表す学習モデルを生成する学習部とを備える。

本開示のさらに他の態様において、作業員の作業が終了するタイミングを学習する機械学習方法は、作業員が所定の作業を行っているときに該作業員の動きを検出する検出装置の検出データと、作業の段階を示すラベル情報又は該作業に要した時間とを、学習データセットとして取得し、学習データセットを用いて、動きと段階又は時間との相関性を表す学習モデルを生成する。

本開示によれば、ロボット制御部は、作業が終了するタイミングで物品供給動作又は物品回収動作をロボットに実行させるので、作業員が作業を円滑に行えるように、該作業員の作業を補助することができる。

一実施形態に係るロボットシステムのブロック図である。 図１に示すロボットシステムの斜視図である。 図１に示すロボットシステムの動作フローの一例を示すフローチャートである。 図２に示す作業台を拡大した拡大図である。 作業員が行う作業の一例を説明するための図である。 図５に示す締結孔に対して作業員が工具を用いて締結具を締結している状態を示す。 一実施形態に係る機械学習装置のブロック図である。 検出装置が連続的に取得する検出データを模式的に示す図である。 図７に示す機械学習装置が実行する学習フローの一例を示すフローチャートである。 ニューロンのモデルを模式的に示す。 多層ニューラルネットワークのモデルを模式的に示す。 他の実施形態に係るロボットシステムのブロック図である。 さらに他の実施形態に係るロボットシステムの斜視図である。 図１３に示すロボットシステムのブロック図である。

以下、本開示の実施の形態を図面に基づいて詳細に説明する。なお、以下に説明する種々の実施形態において、同様の要素には同じ符号を付し、重複する説明を省略する。まず、図１及び図２を参照して、一実施形態に係るロボットシステム１０について説明する。ロボットシステム１０は、作業員Ａと協働で作業を行うものであって、ロボット１２、検出装置１４、及び制御装置１６を備える。

本実施形態においては、ロボット１２は、垂直多関節型ロボットであって、ベース部１８、旋回胴２０、ロボットアーム２２、手首部２４、及びロボットハンド２６を有する。ベース部１８は、作業セルの床の上に固定されている。旋回胴２０は、ベース部１８に鉛直軸周りに旋回可能に設けられている。

ロボットアーム２２は、旋回胴２０に水平軸周りに回転可能に取り付けられた下腕部２３と、下腕部２３の先端に回転可能に取り付けられた上腕部２５とを有する。手首部２４は、上腕部２５の先端に連結され、ロボットハンド２６を回転可能に支持している。ロボットハンド２６は、開閉可能な複数の指部２６ａを有し、該指部２６ａで物品を把持したり、解放したりする。

ロボット１２の各コンポーネント（ベース部１８、旋回胴２０、ロボットアーム２２、手首部２４、及びロボットハンド２６）には、サーボモータ（図示せず）が内蔵されている。該サーボモータは、制御装置１６からの指令の下、ロボット１２の可動コンポーネント（旋回胴２０、ロボットアーム２２、手首部２４）をそれぞれ駆動軸周りに回動することによって、ロボット１２を動作させる。

ロボット１２には、ロボット座標系Ｃ_Ｒが設定されている。ロボット座標系Ｃ_Ｒは、ロボット１２の可動コンポーネント（旋回胴２０、ロボットアーム２２、手首部２４）を３次元空間内で自動制御するための座標系である。本実施形態においては、ロボット座標系Ｃ_Ｒは、その原点がベース部１８の中心に配置され、そのｚ軸が鉛直方向と平行に配置され、旋回胴２０がｚ軸周りに回動されるように、設定されている。

制御装置１６は、ロボット座標系Ｃ_Ｒを基準として、ロボット１２に内蔵された各サーボモータへの指令を生成し、該サーボモータによってロボット１２の可動コンポーネントを動作させて、ロボットハンド２６を、ロボット座標系Ｃ_Ｒにおける任意の位置及び姿勢に配置させる。

検出装置１４は、作業員Ａが所定の作業をしているときに該作業員Ａの動きを検出する。本実施形態においては、検出装置１４は、撮像素子、フォーカスレンズ等の光学系、及び画像処理プロセッサ（例えばＧＰＵ）を含み、作業中の作業員Ａを、所定の視線方向ＶＤに沿って撮像し、撮像した画像に基づいて、作業員Ａの動きを検出する（いわゆる、光学式モーションキャプチャ）。なお、作業員Ａが行う作業については、後述する。

制御装置１６は、ロボット１２及び検出装置１４を制御する。制御装置１６は、例えば、プロセッサ（ＣＰＵ、ＧＰＵ等）、メモリ（ＲＯＭ、ＲＡＭ等）、入力装置（キーボード、マウス、タッチセンサ等）、及びディスプレイ（液晶ディスプレイ、有機ＥＬディスプレイ等）を有するコンピュータである。制御装置１６のプロセッサは、後述する各種機能を実行するための演算処理を担う。

次に、図３を参照して、ロボットシステム１０の動作について説明する。図３に示すフローは、制御装置１６が、オペレータ、上位コントローラ、又はコンピュータプログラムから、作業開始指令を受け付けたときに、開始する。ステップＳ１において、制御装置１６は、作業員Ａが行う作業の情報を取得する。

本実施形態においては、作業員Ａは、第１の作業、第２の作業、・・・第ｎの作業、・・・第ｎ_ＭＡＸの作業（ｎ_ＭＡＸは、正の整数）の順に、計ｎ_ＭＡＸ種類の作業を行い、第ｎの作業（ｎ＝１～ｎ_ＭＡＸ）において、第ｎの工具Ｔ_ｎを使って作業を行うものとする。なお、第ｎの工具Ｔ_ｎは、互いに異なるものであってもよいし、少なくとも２つの工具（第ｎ－１の工具Ｔ_ｎ－１と第ｎの工具Ｔ_ｎ）が互いに同じであってもよい。

制御装置１６は、このステップＳ１において、オペレータ、上位コントローラ、又はコンピュータプログラムから、作業の情報を取得する。該作業の情報は、第ｎの作業の種類と順序、及び、第ｎの工具の種類を特定する情報（例えば、識別番号等）を含む。制御装置１６は、この作業の情報から、作業を行う順序と、作業員Ａに供給すべき工具Ｔ_ｎを認識できる。

なお、作業員Ａは、制御装置１６の入力装置を操作して、作業の情報を入力してもよい。又は、作業員Ａは、音声認識技術を用いて作業の情報を入力してもよい。この場合、制御装置１６には、音声を入力可能なマイクロフォンがさらに設けられ、音声認識技術のためのコンピュータプログラムが予めインストールされる。

ステップＳ２において、制御装置１６は、第ｎの作業（つまり、第ｎの工具Ｔ_ｎ）を識別する番号「ｎ」を、「１」にセットする。ステップＳ３において、制御装置１６は、ロボット１２に物品供給動作を実行させる。ここで、本実施形態においては、図４に示すように、作業セル内の予め定められた位置に、載置台Ｃが設置されている。この載置台Ｃには、第１の治具Ｄ_１と、第２の治具Ｄ_２とが設けられている。

第１の治具Ｄ_１には、ロボット１２によって、作業員Ａが次の作業に用いる工具Ｔがセットされる。一方、第２の治具Ｄ_２には、作業員Ａが作業を行った後に該作業に用いた工具Ｔを手動でセットする。また、作業セル内の予め定められた位置に、工具Ｔが保管されている保管台Ｅが設置されている。第ｎの作業に用いられる第ｎの工具Ｔ_ｎは、保管台Ｅ上の所定位置に静止して保管されている。第１の治具Ｄ_１、第２の治具Ｄ_２、及び、保管台Ｅ上の第ｎの工具Ｔ_ｎのロボット座標系Ｃ_Ｒにおける位置データ（座標データ）は、制御装置１６のメモリに予め記憶される。

このステップＳ３において、制御装置１６は、第１の工具Ｔ_１及び第１の治具Ｄ_１のロボット座標系Ｃ_Ｒにおける位置データに基づいて、ロボット１２に物品供給動作を実行させ、該ロボット１２は、制御装置１６からの指令の下、保管台Ｅに保管されている第１の工具Ｔ_１をロボットハンド２６で把持し、該第１の工具Ｔ_１を、第１の治具Ｄ_１にセットする。

ステップＳ４において、検出装置１４は、作業員Ａの動きを検出する動作を開始する。具体的には、検出装置１４は、制御装置１６からの指令を受けて、作業員Ａを連続的に撮像し（換言すれば、動画撮影し）、撮像した画像に基づいて作業員Ａの動きを検出する。こうして、検出装置１４は、作業員Ａの動きを示す検出データＤＤ（例えば、作業員Ａの動きを時系列で連続的に示す画像データ）を、制御装置１６へ送信する。

ステップＳ５において、制御装置１６は、検出装置１４の検出データＤＤに基づいて、第ｎの作業が終了するか否かを判断する。以下、図５及び図６を参照して、第ｎの作業が終了するタイミングを判断する方法について、説明する。一例として、第ｎの作業は、作業員Ａが、第ｎの工具Ｔ_ｎ（図６）を用いて、図５に示す５個の締結孔Ｆ_１～Ｆ_５に、締結孔Ｆ_１→Ｆ_２→Ｆ_３→Ｆ_４→Ｆ_５の順で、それぞれ締結具Ｇ（ボルト等）を締結する作業として、定められ得る。

この場合、作業員Ａは、まず、第１の治具Ｄ_１にセットされた第ｎの工具Ｔ_ｎを手Ｈで取り、第ｎの工具Ｔ_ｎを用いて締結孔Ｆ_１～Ｆ_５に締結具Ｇを順に締結する第ｎの作業を行う。そして、作業員Ａは、第ｎの作業を終了した（つまり、最後の締結孔Ｆ_５に締結具Ｇを締結した）後に、使用した第ｎの工具Ｔ_ｎを第２の治具Ｄ_２にセットする。

制御装置１６は、検出装置１４から取得した検出データＤＤを解析し、締結孔Ｆ_１～Ｆ_５に締結具Ｇを順に締結する一連の動きを含む第ｎの作業が終了するか否かを判断する。一例として、制御装置１６は、取得した検出データＤＤから、作業員Ａの身体の部位（この場合は、手Ｈ）と、最後の作業箇所である締結孔Ｆ_５との間の距離Ｉ（図６）を連続的に算出し、該距離Ｉが所定の閾値Ｉ_ｔｈ以下（Ｉ≦Ｉ_ｔｈ）となったか否かを監視する。

制御装置１６は、Ｉ≦Ｉ_ｔｈとなったことを検出したときに、第ｎの作業が終了すると判断する。この場合、ロボット座標系Ｃ_Ｒにおける締結孔Ｆ_５の位置データが、制御装置１６のメモリに予め記憶される。制御装置１６は、ロボット座標系Ｃ_Ｒにおける締結孔Ｆ_５の位置データと、検出装置１４の検出データＤＤとから、距離Ｉを算出できる。

代替的には、制御装置１６は、距離Ｉが所定の閾値Ｉ_ｔｈ以下となったことを検出した時点から所定の時間（例えば、５秒）が経過したときに、第ｎの作業が終了すると判断してもよい。又は、制御装置１６は、距離Ｉが所定の閾値Ｉ_ｔｈ以下となった後に、該距離Ｉが、再度、該閾値Ｉ_ｔｈを超えた（Ｉ＞Ｉ_ｔｈ）ときに、第ｎの作業が終了すると判断してもよい。

他の例として、制御装置１６は、作業員Ａが最後の作業箇所である締結孔Ｆ_５に締結具Ｇを締結する動きの基準動作パターンを予め記憶する。この基準動作パターンは、作業員Ａ（又は別の作業員）が、最後の締結孔Ｆ_５に締結具Ｇを締結する基準動作を行っているときに検出装置１４が該作業員Ａ（又は別の作業員）の動きを検出した検出データＤＤに基づいて、生成され得る。

制御装置１６は、ステップＳ４の開始後に取得した検出データＤＤで示される作業員Ａの動きが、基準動作パターンに合致するか否かを監視し、作業員Ａの動きが該基準動作パターンと合致したときに、第ｎの作業が終了すると判断する。なお、制御装置１６は、作業員Ａの動きが基準動作パターンに合致したと判定してから所定時間が経過したときに、第ｎの作業が終了すると判断してもよい。

以上のような方法により、制御装置１６は、第ｎの作業が終了するタイミングを判断できる。制御装置１６は、第ｎの作業が終了する（すなわち、ＹＥＳ）と判断した場合、ステップＳ６へ進む一方、第ｎの作業が終了しない（すなわち、ＮＯ）と判断した場合、ステップＳ５をループする。このように、本実施形態においては、制御装置１６は、検出データＤＤに基づいて第ｎの作業が終了するか否かを判断する終了判断部３０（図１）として機能する。

ステップＳ６において、制御装置１６は、第ｎの作業（第ｎの工具）を識別する番号「ｎ」を、「１」だけインクリメントする（ｎ＝ｎ＋１）。ステップＳ７において、第ｎの作業を識別する番号「ｎ」が、最大作業数ｎ_ＭＡＸを超えた（ｎ＞ｎ_ＭＡＸ）か否かを判定する。制御装置１６は、ｎ＞ｎ_ＭＡＸである（すなわち、ＹＥＳ）と判定した場合、ステップＳ１０へ進む一方、ｎ≦ｎ_ＭＡＸである（すなわち、ＮＯ）と判定した場合、ステップＳ８へ進む。

ステップＳ８において、制御装置１６は、ロボット１２に物品供給動作を実行させる。具体的には、制御装置１６は、次の作業で用いる第ｎの工具Ｔ_ｎと第１の治具Ｄ_１のロボット座標系Ｃ_Ｒにおける位置データに基づいて、ロボット１２に物品供給動作を実行させ、該ロボット１２は、保管台Ｅに保管されている第ｎの工具Ｔ_ｎをロボットハンド２６で把持し、該第ｎの工具Ｔ_ｎを第１の治具Ｄ_１にセットする。

このように、本実施形態においては、制御装置１６は、第ｎの作業のための第ｎの工具Ｔ_ｎを作業員Ａへ供給するために、該第ｎの工具Ｔ_ｎを予め定められた位置（第１の治具Ｄ_１）へ運搬する物品供給動作をロボット１２に実行させるロボット制御部２８（図１）として機能する。

ステップＳ９において、制御装置１６は、ロボット制御部２８として機能し、ロボット１２に物品回収動作を実行させる。具体的には、制御装置１６は、第２の治具Ｄ_２のロボット座標系Ｃ_Ｒにおける位置データに基づいてロボット１２を制御し、該ロボット１２は、第２の治具Ｄ_２にセットされている、直前の第ｎ－１の作業で用いた第ｎ－１の工具Ｔ_ｎ－１をロボットハンド２６で把持する。

次いで、制御装置１６は、保管台Ｅ上にセットすべき第ｎ－１の工具Ｔ_ｎ－１のロボット座標系Ｃ_Ｒにおける位置データに基づいてロボット１２を制御し、該ロボット１２は、ロボットハンド２６で把持した第ｎ－１の工具Ｔ_ｎ－１を、保管台Ｅ上の所定の位置に戻す。例えば、このステップＳ９の開始時点でｎ＝４にセットされていたとき、制御装置１６は、ロボット１２によって、第３の作業で用いた第３の工具Ｔ_３を第２の治具Ｄ_２から回収し、保管台Ｅ上の所定位置まで運搬する。

こうして、制御装置１６は、直前の第ｎ－１の作業で用いた第ｎ－１の工具Ｔ_ｎ－１を回収し、予め定めた保管場所（保管台Ｅ）まで運搬する物品回収動作をロボット１２に実行させる。なお、このステップＳ９を実行する前に、制御装置１６は、検出装置１４（又は、他の検出装置）が撮像した画像に基づいて、第ｎ－１の工具Ｔ_ｎ－１に第２の治具Ｄ_２がセットされたか否かを判定し、第ｎ－１の工具Ｔ_ｎ－１に第２の治具Ｄ_２がセットされた場合に、ステップＳ９を開始してもよい。

又は、第２の治具Ｄ_２に第ｎ－１の工具Ｔ_ｎ－１が配置されたことを検知する物品検知センサ（例えば、近接スイッチ）を第２の治具Ｄ_２に設け、制御装置１６は、該物品検知センサの出力信号に基づいて、第ｎ－１の工具Ｔ_ｎ－１に第２の治具Ｄ_２がセットされたか否かを判定してもよい。ステップＳ９の後、制御装置１６は、ステップＳ５へ戻り、ステップＳ７でＹＥＳと判定するまで、ステップＳ５～Ｓ９をループする。

ステップＳ７でＹＥＳと判定したとき、ステップＳ１０において、制御装置１６は、ロボット制御部２８として機能して、ロボット１２に物品回収動作を実行させる。具体的には、制御装置１６は、第２の治具Ｄ_２のロボット座標系Ｃ_Ｒにおける位置データに基づいてロボット１２を制御し、該ロボット１２は、第２の治具Ｄ_２にセットされている、第ｎ_ＭＡＸの作業で用いた第ｎ_ＭＡＸの工具Ｔ_ｎＭＡＸをロボットハンド２６で把持する。

次いで、制御装置１６は、保管台Ｅ上にセットすべき第ｎ_ＭＡＸの工具Ｔ_ｎＭＡＸのロボット座標系Ｃ_Ｒにおける位置データに基づいてロボット１２を制御し、該ロボット１２は、ロボットハンド２６で把持した第ｎ_ＭＡＸの工具Ｔ_ｎＭＡＸを、保管台Ｅ上の所定の位置に戻す。

以上のように、本実施形態においては、制御装置１６は、第ｎの作業が終了すると判断したときに、物品供給動作をロボット１２に実行させている（ステップＳ８）。この構成によれば、作業員Ａが第ｎの作業の次の第ｎ＋１の作業を行うときに、該第ｎ＋１の作業のための第ｎ＋１の工具Ｔ_ｎ＋１が、ロボット１２によって第１の治具Ｄ_１に自動でセットされる。これにより、作業員Ａが第ｎの作業を円滑に行うのを補助することができる。

また、本実施形態においては、制御装置１６は、第ｎの作業が終了すると判断したときに、物品回収動作をロボット１２に実行させている（ステップＳ９及びＳ１０）。この構成によれば、作業員Ａが第ｎの作業を完了したときに、使用済みの第ｎの工具Ｔ_ｎを、ロボット１２によって自動で回収することができる。これにより、作業員Ａが作業を円滑に行えるように、該作業員Ａの作業を補助することができる。

なお、制御装置１６は、ステップＳ５において、第ｎの作業を行っている作業員Ａの動きと、該第ｎの作業の段階又は該第ｎの作業に要した時間ｔとの相関性を表す学習モデルＬＭに基づいて、該第ｎの作業が終了するか否かを判断してもよい。以下、図７を参照して、学習モデルＬＭを学習する機械学習装置５０について、説明する。

機械学習装置５０は、例えば、プロセッサ（ＣＰＵ、ＧＰＵ等）、メモリ（ＲＯＭ、ＲＡＭ）、入力装置（キーボード、マウス、タッチセンサ等）、及びディスプレイ（液晶ディスプレイ、有機ＥＬディスプレイ等）を有するコンピュータ、又は、コンピュータが実行する、学習アルゴリズム等のソフトウェアから構成され得る。

機械学習装置５０は、作業員Ａが第ｎの作業を終了するタイミングを学習する。機械学習装置５０は、学習データ取得部５２、及び学習部５４を備える。機械学習装置５０の機能の一実施形態として、学習データ取得部５２は、上述の検出装置１４の検出データＤＤと、第ｎの作業の段階（初期段階、中期段階、最終段階等）を示すラベル情報ＬＩとを、学習データセットＤＳ_１として取得する。

より具体的には、検出装置１４は、作業員Ａが第ｎの作業を行っているときに視線方向ＶＤに沿って作業員Ａを撮像し、撮像した画像に基づいて作業員Ａの動きを検出する。
検出装置１４は、作業員Ａの動きを示す検出データＤＤ（例えば、作業員Ａの動きを時系列で連続的に示す画像データ）を、学習データ取得部５２に供給する。

図８に、検出装置１４が連続的に取得する検出データＤＤ_ｍを模式的に示す。図８の横軸は、時間ｔを示す。なお、図８は、検出装置１４によって、作業員Ａが第ｎの作業を開始してから終了するまで、計３００の検出データＤＤ_ｍ（ｍ＝１～３００）を検出した場合を例示している。

ラベル情報ＬＩは、例えば、第ｎの作業が「初期段階」であることを示す初期段階ラベル情報ＬＩ_１と、第ｎの作業が「中期段階」であることを示す中期段階ラベル情報ＬＩ_２と、第ｎの作業が「最終段階」であることを示す最終段階ラベル情報ＬＩ_３とを含む。ここで、図８に示す検出データＤＤ_１～ＤＤ_９９の集合体は、作業員Ａが、図５中の締結孔Ｆ_１～Ｆ_５のうち、最初の２つの締結孔Ｆ（例えば、締結孔Ｆ_１とＦ_２）を締結する動きを示しているとする。

また、検出データＤＤ_１００～ＤＤ_１９９の集合体は、作業員Ａが、図５中の締結孔Ｆ_１～Ｆ_５のうち、次の２つの締結孔Ｆ（例えば、締結孔Ｆ_３とＦ_４）を締結する動きを示しているとする。また、検出データＤＤ_２００～ＤＤ_３００の集合体は、作業員Ａが、図５中の締結孔Ｆ_１～Ｆ_５のうち、最後の１つの締結孔Ｆ（例えば、締結孔Ｆ_５）を締結する動きを示しているとする。

この場合において、オペレータは、検出データＤＤ_１～ＤＤ_９９に、初期段階ラベル情報ＬＩ_１を付し、検出データＤＤ_１００～ＤＤ_１９９に、中期段階ラベル情報ＬＩ_２を付し、検出データＤＤ_２００～ＤＤ_３００に、最終段階ラベル情報ＬＩ_３を付してもよい。オペレータがラベル情報ＬＩを付すとき、機械学習装置５０のディスプレイは、検出データＤＤ_ｍ（画像データ）を表示する。

そして、オペレータは、ディスプレイに表示された検出データＤＤ_ｍの画像を目視しつつ、機械学習装置５０の入力装置を操作して、検出データＤＤ_ｍに、第ｎの作業の進捗段階を示す初期段階ラベル情報ＬＩ_１、中期段階ラベル情報ＬＩ_２、及び最終段階ラベル情報ＬＩ_３のいずれかを、任意で付与する。

こうして、オペレータは、検出データＤＤ_ｍで示される作業員Ａの動きに応じて、ラベル情報ＬＩを検出データＤＤ_ｍに任意で付与する。学習データ取得部５２は、検出装置１４から取得した検出データＤＤ_ｍと、オペレータによって入力されたラベル情報ＬＩとを、学習データセットＤＳ_１として取得する。

なお、図８に示す例では、理解の容易のために、第ｎの作業中に検出装置１４が計３００の検出データＤＤ_１～ＤＤ_３００を検出する場合について述べた。しかしながら、検出装置１４は、第ｎの作業中に如何なる数の検出データＤＤ_ｍを検出してもよい。オペレータは、検出された検出データＤＤ_ｍに応じて、如何なる数の検出データＤＤ_ｍの集合体に、如何なる種類のラベル情報ＬＩ_１、ＬＩ_２、又はＬＩ_３を付与するかを任意で決定する。

また、ラベル情報ＬＩは、上述の初期段階ラベル情報ＬＩ_１、中期段階ラベル情報ＬＩ_２、及び最終段階ラベル情報ＬＩ_３に限らず、例えば、最終段階ラベル情報ＬＩ_３として、時系列の順に「最終段階１」、「最終段階２」、「最終段階３」といった複数のラベル情報を設定してもよい。同様に、初期段階ラベル情報ＬＩ_１又は中期段階ラベル情報ＬＩ_２として複数のラベル情報を設定してもよい。また、最終段階ラベル情報ＬＩ_３のみが検出データＤＤ_ｍに付与されてもよい。

学習部５４は、学習データセットＤＳ_１を用いて、第ｎの作業を実行している作業員Ａの動きと、該第ｎの作業の段階（初期段階、中期段階、最終段階）との相関性を表す学習モデルＬＭ_１（関数）を生成する。例えば、学習部５４は、教師あり学習を実行することで、学習モデルＬＭ_１を生成する。この場合、作業員Ａが第ｎの作業を繰り返し試行し、学習データ取得部５２は、作業員Ａが第ｎの作業を実行する毎に、学習データセットＤＳ_１を教師データとして繰り返し取得する。

学習部５４は、教師データとして取得した検出データＤＤ_ｍと、第ｎの作業の段階を示すラベル情報ＬＩ（初期段階ラベル情報ＬＩ_１、中期段階ラベル情報ＬＩ_２、最終段階ラベル情報ＬＩ_３）との相関性を暗示する特徴を識別することで、学習モデルＬＭ_１を学習していく。このような教師あり学習として、例えば、サポートベクターマシン（ＳＶＭ）、又は混合ガウスモデル（ＧＭＭ）といったアルゴリズムを用いることができる。

以下、図９を参照して、機械学習装置５０が行う学習サイクルのフローについて説明する。ステップＳ１１において、作業員Ａは、第ｎの作業を行い、検出装置１４は、第ｎの作業中に作業員Ａの動きを検出する。ステップＳ１２において、学習データ取得部５２は、検出データＤＤ_ｍとラベル情報ＬＩとの学習データセットＤＳ_１を取得し、互いに関連付けて機械学習装置５０のメモリに記憶する。

ステップＳ１３において、学習部５４は、ステップＳ１２で取得した学習データセットＤＳ_１を用いて、第ｎの作業を実行中の作業員Ａの動きと、該第ｎの作業の段階との相関性を表す学習モデルＬＭ_１を生成する。そして、フローは、ステップＳ１１へ戻る。

このような学習サイクルを実行することによって、学習モデルＬＭ_１の学習が進行し、学習モデルＬＭ_１が最適解へ導かれることになる。本実施形態によれば、第ｎの作業を実行中の作業員Ａの動きと、該第ｎの作業の段階との相関性を定量的に表す学習モデルＬＭ_１を、自動的且つ高精度に求めることができる。

次に、機械学習装置５０の機能の他の形態について説明する。本実施形態においては、学習データ取得部５２は、上述の検出データＤＤ_ｍと、第ｎの作業に要した時間ｔとを、学習データセットＤＳ_２として取得する。例えば、学習データ取得部５２は、学習データセットＤＳ_２として、作業員Ａが、図５中の締結孔Ｆ_１～Ｆ_５のうち、最初のｐ個（ｐは、４以下の整数）の締結孔Ｆを締結する作業員Ａの動きを示す検出データＤＤ_１～ＤＤ_{ｍ_ｐ}と、ｐ個目の締結孔Ｆに対する締結を完了した時点から、第ｎの作業が終了する時点までの時間ｔとを取得する。

具体的には、学習データ取得部５２は、学習データセットＤＳ_２として、例えば、最初の２つの締結孔Ｆ（締結孔Ｆ_１とＦ_２）を締結する作業員Ａの動きを示す検出データＤＤ_１～ＤＤ_９９と、２個目の締結孔Ｆ（締結孔Ｆ_２）に対する締結を完了した時点（すなわち、検出データＤＤ_９９の検出時点）から第ｎの作業が終了する時点（検出データＤＤ_３００の検出時点）までの時間ｔを取得する。

学習部５４は、検出データＤＤ_ｍと時間ｔとの学習データセットＤＳ_２を用いて、第ｎの作業を実行している作業員Ａの動きと、該第ｎの作業に要した時間ｔ（例えば、ｐ個目の締結孔Ｆに対する締結を完了した時点から第ｎの作業が終了する時点までの時間ｔ）との相関性を表す学習モデルＬＭ_２（関数）を生成する。

以下、図９を参照して、学習モデルＬＭ_２の学習サイクルのフローについて説明する。学習モデルＬＭ_２の学習フローは、上述した学習モデルＬＭ_１の学習フローと、ステップＳ１２及びＳ１３において、相違する。具体的には、ステップＳ１２において、学習データ取得部５２は、検出データＤＤ_ｍと時間ｔとの学習データセットＤＳ_２を取得し、互いに関連付けて機械学習装置５０のメモリに記憶する。

ステップＳ１３において、学習部５４は、ステップＳ１２で取得した学習データセットＤＳ_２を用いて、第ｎの作業を実行中の作業員Ａの動きと時間ｔとの相関性を表す学習モデルＬＭ_２を生成する。例えば、学習部５４は、教師あり学習のアルゴリズム（ＳＶＭ、ＧＭＭ等）を実行することによって、学習モデルＬＭ_２を学習する。そして、フローは、ステップＳ１１に戻る。

このような学習サイクルを実行することによって、学習モデルＬＭ_２の学習が進行し、学習モデルＬＭ_２が最適解へ導かれることになる。本実施形態によれば、第ｎの作業を実行中の作業員Ａの動きと、該第ｎの作業に要した時間ｔとの相関性を定量的に表す学習モデルＬＭ_２を、自動的且つ高精度に求めることができる。

なお、学習部５４が実行する学習アルゴリズムは、教師あり学習に限定されず、例えば教師なし学習、強化学習、ニューラルネットワーク等、機械学習として公知の学習アルゴリズムを採用できる。一例として、図１０は、ニューロンのモデルを模式的に示す。図１１は、図１０に示すニューロンを組み合わせて構成した三層のニューラルネットワークのモデルを模式的に示す。ニューラルネットワークは、例えば、ニューロンのモデルを模した演算装置や記憶装置等によって構成できる。

図１０に示すニューロンは、複数の入力ｘ（図では例として入力ｘ１～ｘ３）に対し結果ｙを出力する。個々の入力ｘ（ｘ１、ｘ２、ｘ３）にはそれぞれに重みｗ（ｗ１、ｗ２、ｗ３）が乗算される。入力ｘと結果ｙとの関係は、下記の式１で表すことができる。なお、入力ｘ、結果ｙ及び重みｗはいずれもベクトルである。また式１において、θはバイアスであり、ｆ_ｋは活性化関数である。

図１１に示す三層のニューラルネットワークは、左側から複数の入力ｘ（図では例として入力ｘ１～入力ｘ３）が入力され、右側から結果ｙ（図では例として結果ｙ１～結果ｙ３）が出力される。図示の例では、入力ｘ１、ｘ２、ｘ３のそれぞれに対応の重み（総称してＷ１で表す）が乗算されて、個々の入力ｘ１、ｘ２、ｘ３がいずれも３つのニューロンＮ１１、Ｎ１２、Ｎ１３に入力されている。

図１１では、ニューロンＮ１１～Ｎ１３の各々の出力を、総称してＺ１で表す。Ｚ１は、入力ベクトルの特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルＺ１のそれぞれに対応の重み（総称してＷ２で表す）が乗算されて、個々の特徴ベクトルＺ１がいずれも２つのニューロンＮ２１、Ｎ２２に入力されている。特徴ベクトルＺ１は、重みＷ１と重みＷ２との間の特徴を表す。

図１１では、ニューロンＮ２１～Ｎ２２の各々の出力を、総称してＺ２で表す。Ｚ２は、特徴ベクトルＺ１の特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルＺ２のそれぞれに対応の重み（総称してＷ３で表す）が乗算されて、個々の特徴ベクトルＺ２がいずれも３つのニューロンＮ３１、Ｎ３２、Ｎ３３に入力されている。

特徴ベクトルＺ２は、重みＷ２と重みＷ３との間の特徴を表す。最後にニューロンＮ３１～Ｎ３３は、それぞれ結果ｙ１～ｙ３を出力する。機械学習装置５０は、学習データセットＤＳ（ＤＳ_１又はＤＳ_２）を入力とし、上記したニューラルネットワークに従う多層構造の演算を行うことで、学習モデルＬＭ（ＬＭ_１又はＬＭ_２）を学習することができる。

上述した機械学習装置５０の構成は、コンピュータのプロセッサが実行する機械学習方法（又はソフトウェア）として記述できる。この機械学習方法は、プロセッサが、作業員Ａが第ｎの作業を行っているときに該作業員Ａの動きを検出する検出装置１４の検出データＤＤ_ｍと、第ｎの作業の段階を示すラベル情報ＬＩ又は第ｎの作業に要した時間ｔとを、学習データセットＤＳ_１又はＤＳ_２として取得し、該学習データセットＤＳ_１又はＤＳ_２を用いて、作業員Ａの動きと、第ｎの作業の段階又は時間ｔとの相関性を表す学習モデルＬＭ_１又はＬＭ_２を生成する。

次に、図２及び図１２を参照して、他の実施形態に係るロボットシステム６０について説明する。ロボットシステム６０は、ロボット１２、検出装置１４、及び制御装置６２を備える。制御装置６２は、プロセッサ６４（ＣＰＵ、ＧＰＵ等）、メモリ６６（ＲＯＭ、ＲＡＭ等）、入力装置６８（キーボード、マウス、タッチセンサ等）、及びディスプレイ７０（液晶ディスプレイ、有機ＥＬディスプレイ等）を有するコンピュータである。プロセッサ６４、メモリ６６、入力装置６８、及びディスプレイ７０は、バス７２を介して、互いに通信可能に接続されている。

本実施形態においては、機械学習装置５０は、ハードウェア又はソフトウェアとして制御装置６２に実装されており、プロセッサ６４は、メモリ６６、入力装置６８、及びディスプレイ７０と通信しつつ、機械学習装置５０の機能を果たすための各種演算を実行する。すなわち、本実施形態においては、プロセッサ６４は、学習データ取得部５２及び学習部５４として機能する。メモリ６６は、機械学習装置５０が学習した学習モデルＬＭ（ＬＭ_１又はＬＭ_２）を予め格納している。

次に、図３を参照して、ロボットシステム６０の動作について説明する。プロセッサ６４は、上述のロボット制御部２８及び終了判断部３０として機能し、メモリ６６、入力装置６８、及びディスプレイ７０と通信しつつ、図３に示すフローを実行する。ここで、ロボットシステム６０の動作フローは、上述のロボットシステム１０の動作フローと、以下のプロセスにおいて、相違する。

具体的には、ステップＳ４において、検出装置１４は、作業員Ａの動きを検出する動作を開始する。このとき、検出装置１４は、学習モデルＬＭの学習段階で実行した上述のステップＳ１１と同じ条件で、作業員Ａを連続的に撮像（動画撮影）し、作業員Ａの動きを検出する。具体的には、検出装置１４は、作業員Ａを、上述のステップＳ１１と同じ視線方向ＶＤに沿って、同じ撮影条件（シャッタ速度、撮影速度等）で撮像する。検出装置１４は、連続的に取得した検出データＤＤ_ｍ’を、プロセッサ６４に順次送信する。

ステップＳ５において、プロセッサ６４は、検出装置１４の検出データＤＤ_ｍ’及び学習モデルＬＭに基づいて、第ｎの作業が終了するか否かを判断する。ここで、メモリ６６が学習モデルＬＭ_１を格納している場合、プロセッサ６４は、ステップＳ４の開始後に検出装置１４から取得した連続的な検出データＤＤ_ｍ’を学習モデルＬＭ_１に入力する。

そうすると、学習モデルＬＭ_１は、入力された検出データＤＤ_ｍ’と相関性を有するラベル情報ＬＩ（すなわち、初期段階ラベル情報ＬＩ_１、中期段階ラベル情報ＬＩ_２、又は最終段階ラベル情報ＬＩ_３）を推定し、出力する。一例として、プロセッサ６４は、このステップＳ５において、学習モデルＬＭ_１が最終段階ラベル情報ＬＩ_３を出力したことを検知した場合にＹＥＳと判定する。他の例として、プロセッサ６４は、学習モデルＬＭが最終段階ラベル情報ＬＩ_３を出力したことを検知した時点から所定時間が経過したときに、ＹＥＳと判定してもよい。

一方、メモリ６６が学習モデルＬＭ_２を格納している場合、ステップＳ５において、プロセッサ６４は、ステップＳ４の開始後に検出装置１４から取得した連続的な検出データＤＤ_ｍ’を学習モデルＬＭ_２に入力する。例えば、最初のｐ個の締結孔Ｆを締結する作業員Ａの動きを示す検出データＤＤ_１’～ＤＤ_{ｍ_ｐ}’が入力されると、学習モデルＬＭ_２は、第ｎの作業においてｐ個目の締結孔Ｆに対する締結を完了した時点から、第ｎの作業が終了する時点までの時間ｔを推定し、出力する。

これにより、プロセッサ６４は、第ｎの作業が終了する時間を認識することができ、第ｎの作業が終了するタイミングを判断できる。例えば、プロセッサ６４は、ｐ個目の締結孔Ｆを締結する作業員Ａの動きを示す検出データＤＤ_{ｍ_ｐ}’を取得した時点からの経過時間τを計時し、該経過時間τが、学習モデルＬＭ_２が出力した時間ｔ（又は、該時間ｔよりも所定時間だけ前の時間）に達したときに、ＹＥＳと判定する。

このように、プロセッサ６４は、終了判断部３０として機能して、検出データＤＤ_ｍ’及び学習モデルＬＭに基づいて、第ｎの作業が終了するか否かを判断する。本実施形態によれば、プロセッサ６４は、学習モデルＬＭを用いることで、第ｎの作業が終了するタイミングを、より高精度に判断することができる。

なお、上述の実施形態においては、ロボットシステム１０、６０が、１人の作業員Ａの作業を補助する場合について述べた。しかしながら、ロボットシステム１０、６０は、複数の作業員Ａの作業を補助するように構成されてもよい。このような形態を図１３及び図１４に示す。

図１３及び図１４に示すロボットシステム８０は、３人の作業員Ａ_１、Ａ_２及びＡ_３に対して作業の補助を行うように構成されている。具体的には、ロボットシステム８０は、ロボット１２、検出装置１４Ａ、１４Ｂ及び１４Ｃ、並びに、制御装置６２を備える。検出装置１４Ａ、１４Ｂ及び１４Ｃは、上述の検出装置１４と同じ構成を有する。検出装置１４Ａは、作業員Ａ_１の動きを検出し、検出装置１４Ｂは、作業員Ａ_２の動きを検出し、検出装置１４Ｃは、作業員Ａ_３の動きを検出する。

また、作業セル内の予め定められた位置に、作業員Ａ_１のための載置台Ｃ_１と、作業員Ａ_２のための載置台Ｃ_２と、作業員Ａ_３のための載置台Ｃ_３とがそれぞれ設置されている。載置台Ｃ_１、Ｃ_２及びＣ_３の各々には、第１の治具Ｄ_１と、第２の治具Ｄ_２とが設けられている。

ロボットシステム８０の制御装置６２のプロセッサ６４は、作業員Ａ_１、Ａ_２及びＡ_３のそれぞれについて、図３に示すフローを並行して実行することによって、作業員Ａ_１、Ａ_２及びＡ_３に対して作業のための物品（工具Ｔ）をそれぞれ供給し（物品供給動作）、また、作業員Ａ_１、Ａ_２及びＡ_３が作業に用いた物品を回収する（物品回収動作）。

なお、ロボットシステム８０の制御装置６２のメモリ６６に格納される学習モデルＬＭ（ＬＭ_１、ＬＭ_２）は、検出装置１４Ａが作業員Ａ_１の動きを検出した検出データを用いて学習した学習モデルＬＭ_{_Ａ}（ＬＭ_{１_Ａ}、ＬＭ_{２_Ａ}）と、検出装置１４Ｂが作業員Ａ_２の動きを検出した検出データを用いて学習した学習モデルＬＭ_{_Ｂ}（ＬＭ_{１_Ｂ}、ＬＭ_{２_Ｂ}）と、検出装置１４Ｃが作業員Ａ_３の動きを検出した検出データを用いて学習した学習モデルＬＭ_{_Ｃ}（ＬＭ_{１_Ｃ}、ＬＭ_{２_Ｃ}）とを含む。

ここで、作業員Ａ_１、Ａ_２及びＡ_３の間で、実行する作業の種類と順序が互いに異なり得る。この場合、作業員Ａ_１、Ａ_２及びＡ_３のそれぞれについて図３に示すフローを並行して実行するときに、ステップＳ１で取得される作業の情報が、作業員Ａ_１、Ａ_２及びＡ_３に関して互いに異なることになる。

また、作業員Ａ_１、Ａ_２及びＡ_３のそれぞれについて図３に示すフローを並行して実行しているときに、ステップＳ５でプロセッサ６４によって判断される、作業が終了するタイミングが、少なくとも２人の作業員Ａ_１、Ａ_２、Ａ_３の間で時間的に近接してしまうことが起こり得る。この場合、プロセッサ６４は、該少なくとも２人の作業員Ａ_１、Ａ_２、Ａ_３が作業を終了する順序を判定し、該順序に従って、作業員Ａ_１、Ａ_２、Ａ_３に対してステップＳ８を実行してもよい。

以下、作業員Ａ_１及びＡ_２の作業が終了するタイミングが近接してしまう場合について説明する。プロセッサ６４は、ステップＳ５において、上述の学習モデルＬＭ_２を用いる場合、作業員Ａ_１及びＡ_２が作業を終了する時間を推定できる。したがって、プロセッサ６４は、作業員Ａ_１及びＡ_２が作業を終了する時間が近接するか否かを判定することができるとともに、作業員Ａ_１及びＡ_２の作業が終了する順序を判定することもできる。

例えば、プロセッサ６４は、作業員Ａ_１が作業員Ａ_２よりも先に作業を終了すると判定した場合、先に、作業員Ａ_１に対してステップＳ８を実行し、次に、作業員Ａ_２に対してステップＳ８を実行する。この場合において、プロセッサ６４は、作業員Ａ_１に関するフローのステップＳ５において、学習モデルＬＭ_{２_Ａ}によって作業が終了すると推定された時点よりも所定時間だけ前の時間に達したときに、ＹＥＳと判定してもよい。

その一方で、プロセッサ６４は、作業員Ａ_２に関するフローのステップＳ５において、学習モデルＬＭ_{２_Ｂ}によって作業が終了すると推定された時点でＹＥＳと判定してもよい。これにより、作業員Ａ_１及びＡ_２の作業が終了するタイミングが近接してしまう場合において、プロセッサ６４は、作業員Ａ_１とＡ_２とに対し、作業が終了する順序に従って、異なるタイミングでステップＳ８を実行できる。

代替的には、ロボットシステム８０のプロセッサ６４は、上述のロボットシステム１０におけるステップＳ５と同様に、検出データＤＤ_ｍで示される作業員Ａの動きが、基準動作パターンに合致するか否かを監視し、作業員Ａの動きが該基準動作パターンと合致したときに、第ｎの作業が終了すると判断することもできる。この場合において、仮に作業員Ａ_１及びＡ_２の作業が終了するタイミングが近接してしまうとすると、プロセッサ６４は、作業員Ａ_１及びＡ_２のうちのいずれの動きが基準動作パターンに先に合致したかを判定できる。

例えば、作業員Ａ_１の動きが作業員Ａ_２よりも先に基準動作パターンに合致した判定した場合、先に、作業員Ａ_１に対してステップＳ８を実行し、次に、作業員Ａ_２に対してステップＳ８を実行する。この場合において、プロセッサ６４は、作業員Ａ_１に関するフローのステップＳ５において、作業員Ａ_１の動きが基準動作パターンに合致すると判定した時点でＹＥＳと判定し、作業員Ａ_１に対してステップＳ８を実行する。

その一方で、作業員Ａ_２に関するフローのステップＳ５において、作業員Ａ_２の動きが基準動作パターンに合致すると判定した時点から所定時間経過後にＹＥＳと判定し、作業員Ａ_２に対してステップＳ８を実行する。これにより、作業員Ａ_１及びＡ_２の作業が終了するタイミングが近接してしまう場合において、作業員Ａ_１とＡ_２とに対し、作業が終了する順序に従って、異なるタイミングでステップＳ８を実行できる。

以上のような制御方法によって、作業が終了するタイミングが少なくとも２人の作業員Ａ_１、Ａ_２、Ａ_３の間で時間的に近接してしまう場合でも、作業員Ａ_１、Ａ_２、及びＡ_３に対し、ステップＳ８（物品供給動作）及びステップＳ９（物品回収動作）を、ロボット１２又は作業員Ａ_１、Ａ_２、Ａ_３の動作が停滞することなく、円滑に実行することができる。

また、ロボット１２によって効率よく物品を供給できるため、ロボット１２の稼働率を上げることができる。その結果、複数の作業員Ａ_１、Ａ_２、Ａ_３のそれぞれの作業の補助のために複数のロボットを設ける必要がなくなり、１つのロボット１２で複数の作業員Ａ_１、Ａ_２、Ａ_３の作業の補助を行うことができる。したがって、ロボットシステム８０のコストを削減できる。

なお、ロボットシステム８０において、プロセッサ６４は、作業員Ａ_１、Ａ_２及びＡ_３のうちのいずれかに対して、上述のロボットシステム１０が実行する図３のフロー（すなわち、ステップＳ５で学習モデルＬＭを用いないフロー）を実行してもよい。この場合、プロセッサ６４は、学習モデルＬＭを用いない図３のフローと、学習モデルＬＭを用いる図３のフローとを、別々の作業員に対して並行して実行することになる。また、ロボットシステム８０において、１つの検出装置１４が、作業員Ａ_１、Ａ_２及びＡ_３の動きを検出するように構成されてもよい。

なお、上述の実施形態においては、ステップＳ８において、ロボット１２が第ｎの工具Ｔ_ｎを第１の治具Ｄ_１にセットする場合について述べた。しかしながら、これに限らず、ロボット１２は、作業員Ａ（又は、Ａ_１、Ａ_２、Ａ_３）に、第ｎの工具Ｔ_ｎを直接手渡ししてもよい。

この場合、制御装置１６、６２（プロセッサ６４）は、ステップＳ８において、物品供給動作として、ロボット１２がロボットハンド２６で把持した第ｎの工具Ｔ_ｎを、予め定められた手渡し位置に運搬する。この手渡し位置は、作業員Ａへ第ｎの工具Ｔ_ｎを手渡しするための作業員Ａに近接した位置として、定められる。手渡し位置のロボット座標系Ｃ_Ｒにおける位置データは、メモリ（６６）に予め記憶される。作業員Ａ（又は、Ａ_１、Ａ_２、Ａ_３）は、ステップＳ８でロボット１２が手渡し位置に配置した第ｎの工具Ｔ_ｎを、手Ｈで受け取る。

この場合において、ロボット１２に、ロボットハンド２６に掛かる外力Ｆを検出する力センサを設けてもよい。作業員Ａ（又は、Ａ_１、Ａ_２、Ａ_３）が第ｎの工具Ｔ_ｎをロボット１２から手Ｈで受け取った場合、ロボットハンド２６に掛かる外力Ｆは変動することになる。制御装置１６、６２（プロセッサ６４）は、力センサが検出する外力Ｆを監視し、該外力Ｆが所定の閾値を超えて変動した場合に、作業員Ａが第ｎの工具Ｔ_ｎを受け取ったと判定し、ステップＳ９に進んでもよい。

また、上述の実施形態においては、ステップＳ９において、ロボット１２が、第２の治具Ｄ_２にセットされている、直前の第ｎ－１の作業で用いた第ｎ－１の工具Ｔ_ｎ－１をロボットハンド２６で把持して回収する場合について述べた。しかしながら、これに限らず、ロボット１２は、作業員Ａ（又は、Ａ_１、Ａ_２、Ａ_３）から第ｎ－１の工具Ｔ_ｎ－１を直接受け取ってもよい。

この場合において、ロボット１２に、ロボットハンド２６に掛かる外力Ｆを検出する力センサを設けてもよい。そして、制御装置１６、６２（プロセッサ６４）は、ステップＳ９において、物品回収動作として、まず、ロボットハンド２６の指部２６ａを開いた状態でロボットハンド２６の手先（ＴＣＰ）を、手渡し位置に配置させる。作業員Ａ（又は、Ａ_１、Ａ_２、Ａ_３）は、ロボットハンド２６の指部２６ａの間に第ｎ－１の工具Ｔ_ｎ－１を挿入し、該第ｎ－１の工具Ｔ_ｎ－１を通して該ロボットハンド２６に外力Ｆを加える。力センサは、このときの外力Ｆを検出する。

制御装置１６、６２（プロセッサ６４）は、力センサによって検出された外力Ｆが予め定められた閾値を超えたときに、ロボットハンド２６の指部２６ａを閉じて第ｎ－１の工具Ｔ_ｎ－１を把持する。こうして、ロボット１２は、作業員Ａ（又は、Ａ_１、Ａ_２、Ａ_３）から第ｎ－１の工具Ｔ_ｎ－１を直接受け取ることができる。そして、制御装置１６、６２（プロセッサ６４）は、受け取った第ｎ－１の工具Ｔ_ｎ－１を、保管台Ｅ上の所定位置まで運搬する。

なお、上述の実施形態においては、検出装置１４が、光学式モーションキャプチャによって、作業員Ａ（又は、Ａ_１、Ａ_２、Ａ_３）を撮像した画像に基づいて、作業員Ａ（又は、Ａ_１、Ａ_２、Ａ_３）の動きを検出する場合について述べた。しかしながら、これに限らず、検出装置は、いわゆる慣性センサ式モーションキャプチャによって作業員Ａ（又は、Ａ_１、Ａ_２、Ａ_３）の動きを検出してもよい。この場合、検出装置は、作業員Ａ（又は、Ａ_１、Ａ_２、Ａ_３）の身体の各部位に設けられた複数の加速度センサを有し、該加速度センサの出力信号から、作業員Ａ（又は、Ａ_１、Ａ_２、Ａ_３）の動きを検出する。

このような加速度センサを有する検出装置を用いて機械学習装置５０で学習モデルＬＭを学習する場合、プロセッサ６４（学習データ取得部５２）は、学習データセットＤＳとして、各加速度センサの出力信号を検出データとして取得してもよい。又は、プロセッサ６４（学習データ取得部５２）は、学習データセットＤＳとして、各加速度センサの出力信号から得られる作業員Ａ（又は、Ａ_１、Ａ_２、Ａ_３）の動きを示す検出データ（画像データ）を取得してもよい。また、検出装置は、機械式又は磁気式等、如何なるタイプのモーションキャプチャ技術を用いるものであってもよい。

また、上述の実施形態においては、制御装置１６（プロセッサ６４）が、終了判断部３０として機能し、検出装置１４の検出データＤＤに基づいて第ｎの作業が終了するか否かを判断する場合について述べた。しかしながら、これに限らず、検出装置１４に内蔵された画像処理プロセッサが、終了判断部３０として機能し、検出データＤＤに基づいて第ｎの作業が終了するか否かを判断してもよい。

また、上述の実施形態においては、第ｎの作業が、締結孔Ｆ_１～Ｆ_５に、締結孔Ｆ_１→Ｆ_２→Ｆ_３→Ｆ_４→Ｆ_５の順で締結具Ｇを締結する作業である場合について述べた。しかしながら、締結孔Ｆ_１～Ｆ_５に締結具Ｇを締結する順序は、如何なる順序であってもよい。また、締結孔Ｆ_１～Ｆ_５の個数も、如何なる個数であってもよい。

さらには、第ｎの作業は、締結作業に限定されない。例えば、第ｎの作業は、作業員Ａが、溶接トーチである第ｎの工具によって、第１の溶接点、第２の溶接点、・・・第ｎの溶接点に対して溶接（例えば、スポット溶接）を行う作業であってもよい。又は、第ｎの作業は、作業員Ａが、塗料塗布器である第ｎの工具によって、第１の塗装箇所、第２の塗装箇所、・・・第ｎの塗装箇所に対して順に塗工する作業であってもよい。又は、第ｎの作業は、作業員Ａが、半田ごてである第ｎの工具によって、電子部品を、基板上の第１の実装位置、第２の実装位置、・・・第ｎの実装位置で半田付けする作業であってもよい。

また、上述した実施形態においては、ロボット１２が、作業のための物品として、工具Ｔを作業員に対して供給及び回収する場合について述べた。しかしながら、これに限らず、ロボット１２は、作業のための物品として、例えば、製品に取り付ける部品（ボルト等の締結具Ｇ、ＩＣチップ等の電子部品）を供給及び回収してもよい。

また、ロボットハンド２６は、指部ａで物品を把持するものに限らず、吸着部を有し、該吸着部によって物品を吸着するものであってもよい。また、ロボット１２は、垂直多関節型に限らず、水平多関節型、パラレルリンク型等、如何なるタイプのロボットでもよい。以上、実施形態を通じて本開示を説明したが、上述の実施形態は、特許請求の範囲に係る発明を限定するものではない。

１０，６０，８０ ロボットシステム
１２ ロボット
１４，１４Ａ，１４Ｂ，１４Ｃ 検出装置
１６，６２ 制御装置
２８ ロボット制御部
３０ 終了判断部
５０ 機械学習装置
５２ 学習データ取得部
５４ 学習部

Claims (4)

1. 作業員の作業を補助するロボットシステムであって、
   ロボットと、
   作業員が複数の作業箇所に対して順に作業をしているときに、モーションキャプチャによって該作業員の身体の部位の動きを検出する検出装置と、
   前記検出装置の検出データに基づいて、前記部位が、前記複数の作業箇所のうち最後に前記作業を行う前記作業箇所に接近したか否かを監視し、該部位が最後の該作業箇所に接近した場合に前記作業が終了すると判断する終了判断部と、
   前記終了判断部によって前記作業が終了すると判断されたときに、該作業のための物品を作業員へ供給するために該物品を予め定められた位置へ運搬する物品供給動作、又は、前記作業で用いた前記物品を回収して予め定めた保管場所まで運搬する物品回収動作、を前記ロボットに実行させるロボット制御部と、を備える、ロボットシステム。
2. 前記終了判断部は、
   前記検出データから、前記部位と前記最後の作業箇所との距離が所定の閾値以下になったか否かを監視することで、該部位が該最後の作業箇所に接近したか否かを監視し、
   前記距離が前記閾値以下になったときに、前記作業が終了すると判断する、請求項１に記載のロボットシステム。
3. 前記ロボット制御部は、前記物品供給動作を実行した後に、前記ロボットに前記物品回収動作を実行させ、直前の前記作業で用いた前記物品を回収して前記予め定めた保管場所まで運搬する、請求項１又は２に記載のロボットシステム。
4. 作業員の作業を補助するロボットを制御する方法であって、
   作業員が複数の作業箇所に対して順に作業をしているときに、モーションキャプチャによって該作業員の身体の部位の動きを検出装置によって検出し、
   前記検出装置の検出データに基づいて、前記部位が、前記複数の作業箇所のうち最後に前記作業を行う前記作業箇所に接近したか否かを監視し、該部位が最後の該作業箇所に接近した場合に前記作業が終了すると判断し、
   前記作業が終了すると判断したときに、該作業のための物品を作業員へ供給するために該物品を予め定められた位置へ運搬する物品供給動作、又は、前記作業で用いた前記物品を回収して予め定めた保管場所まで運搬する物品回収動作、を前記ロボットに実行させる、方法。

Images