JP5757482B2 - 技能習得支援システム及び技能習得支援方法 - Google Patents

Description

本発明は、技能習得支援システム及び技能習得支援方法に関し、特に基準となる動作を効率よく習得することのできる技能習得支援システム及び技能習得支援方法に関する。

例えば、自動車の製造工程において車両ボディに塗装を施す工程は、ロボットによる塗装作業、或いはスプレーガンを用いた人手による塗装作業が行われている。
前記人手による作業の場合、高習熟者であれば、ワークに対し常に一定の動作でスプレーガンを操作し、仕上がりのよい塗装作業を行うことができる。
しかしながら、技能が完全に身に付いていない低習熟者の場合、塗装作業の動作がワーク毎に一定ではなく、塗装の仕上がり状態がばらつくという課題がある。

前記課題の解決に応用できるものとして、特許文献１には、利用者が所定の基準動作（指導者の動作）に対する動作のずれや誤りを把握でき、それにより正確な動作を行えるようにするための運動支援システムについて開示されている。

この運動支援システムにおいては、先ず、所定の運動を行う指導者の動作を撮影した運動画像データと、利用者の動作を撮影した運動画像データとがコンピュータの記憶装置に記録される。
次いで、図８（ａ）に示すように指導者２０１の運動画像データが監視対象部位（例えば首、手、足）について２次元軸のメッシュ状に座標化され、図８（ｂ）に示すように利用者２０２のデータも同様に座標化される。ここで、図８（ｂ）に示すように利用者２０２の座標系に指導者２０１の座標値を重ねることにより、座標Ｐ１、Ｐ２において大きな差分（動作の違い）が生じていることが検出できる。

更に、図９（ａ）に示すように指導者の動作が時系列にグラフ化され、図９（ｂ）に示すように利用者の動作も同様にグラフ化される。ここで、図９（ｂ）に示すように利用者のグラフに指導者のグラフ（破線）を重ねることにより、時刻ｔ１とｔ２の間、及び時刻ｔ３とｔ４の間に動作速度のずれが生じていることが検出できる。
このように、特許文献１に開示された運動支援システムによれば、利用者自身が各部位の動作位置や動作速度のずれを把握し、動作の矯正に活用することができる。

特開２００６−３０２１２２号公報

しかしながら、特許文献１に開示された運動支援システムにあっては、例えば時刻ｔ３とｔ４との間のように時間的ずれが生じると、その影響により、最終的に一連の動作を適正に評価できないという課題があった。
具体的には、複数種類の単一動作で構成される一連動作の作業において、そのうち数種の単一動作の動作時間がそれぞれ極端にずれると、その影響により、残る数種の単一動作がそれぞれ許容範囲内であっても、それを正しく評価出来なくなる虞があった。
また、複数種類の単一動作がそれぞれ許容範囲内であっても（例えば、結果的に仕上がりのよい塗装が得られても）、各単一動作の微少な時間的ずれが累積され、最終的に累積された時間的ずれが大きくなり、一連の作業の評価結果が悪いものとなる虞があった。

本発明は、前記した点に着目してなされたものであり、模範者の動作に対する利用者の動作の差異を検出する技能習得支援システム及び技能習得支援方法であって、利用者の動作の評価適正に行うことができる技能習得支援システム及び技能習得支援方法を提供することを目的とする。

前記した課題を解決するために、本発明に係る技能習得支援システムは、模範者の動作に対する利用者の動作の差異を検出する技能習得支援システムであって、模範者及び利用者の身体において、所定の監視部位に取り付けられ、前記模範者及び利用者のそれぞれの動作に係るデータを検出するセンサと、前記センサが検出した動作に係るデータを取得する動作データ取得手段と、前記動作データ取得手段が取得した動作に係るデータを記録する記憶手段と、前記記憶手段に記録された模範者の動作に係るデータを時系列にグラフ化し、第１のグラフを形成して表示すると共に、利用者の動作に係るデータを時系列にグラフ化し、第２のグラフを形成して表示するグラフ化手段と、前記グラフ化手段が形成した第１のグラフと第２のグラフとにおいて、前記第１のグラフにおける所定の作業ポイントと前記第２のグラフにおける前記所定の作業ポイントとが時間軸上で一致するよう調整する作業ポイント一致手段と、前記第１のグラフにおいて、前記利用者に対するデータ許容範囲を時系列に形成する許容範囲形成手段と、前記第２のグラフにおいて、前記許容範囲形成手段が形成したデータ許容範囲を外れる区間を検出する相違箇所検出手段とを備えることに特徴を有する。
尚、前記センサが検出する動作に係るデータは、少なくとも加速度データと角速度データと角度データのような身体の監視部位に取り付けられた前記センサから得られるデータのいずれかを含むことが望ましい。
また、前記模範者及び利用者の動作を動画として撮影するカメラと、前記カメラから出力される画像データを取得し、前記記憶手段に記録する画像データ取得手段と、前記記憶手段に記録された動作に係るデータと画像データとを時系列に紐付けする紐付け手段とを備えることが望ましい。

このような構成によれば、模範者と利用者との動作速度にずれが生じても、その時間的ずれが累積されることがなく、動作の評価を適正に行うことができる。
また、利用者は、矯正すべき箇所をグラフ及び画像から容易に知ることができるため、繰り返し訓練することにより、技能的な作業動作を効率よく習得することができる。

また、前記した課題を解決するために、本発明に係る技能習得支援方法は、演算処理を行うＣＰＵと、前記ＣＰＵにより実行可能なプログラムが格納される記憶手段とが具備される技能習得支援システムにおいて、前記ＣＰＵが前記プログラムを実行することにより、模範者の動作に対する利用者の動作の差異を検出する技能習得支援方法であって、前記ＣＰＵが前記プログラムを実行することにより、模範者及び利用者の身体において、所定の監視部位に取り付けられたセンサにより、前記模範者及び利用者のそれぞれの動作に係るデータを検出するステップと、前記センサが検出した動作に係るデータを取得するステップと、前記取得した動作に係るデータを記録するステップと、前記記録された模範者の動作に係るデータを時系列にグラフ化し、第１のグラフを形成して表示すると共に、利用者の動作に係るデータを時系列にグラフ化し、第２のグラフを形成して表示するステップと、前記第１のグラフと第２のグラフとにおいて、前記第１のグラフにおける所定の作業ポイントと前記第２のグラフにおける前記所定の作業ポイントとが時間軸上で一致するよう調整するステップと、前記第１のグラフにおいて、前記利用者に対するデータ許容範囲を時系列に形成するステップと、前記第２のグラフにおいて、前記許容範囲形成手段が形成したデータ許容範囲を外れる区間を検出するステップとが実行されることに特徴を有する。
尚、前記ＣＰＵが前記プログラムを実行することにより、前記模範者及び利用者の身体において、所定の監視部位に取り付けられたセンサにより、前記模範者及び利用者のそれぞれの動作に係るデータを検出するステップにおいて、前記センサが検出する動作に係るデータは、少なくとも加速度データと角速度データと角度データのような身体の監視部位に取り付けられた前記センサから得られるデータのいずれかを含むことが望ましい。
また、前記ＣＰＵが前記プログラムを実行することにより、前記模範者及び利用者の身体の監視部位に取り付けられたセンサにより、模範者及び利用者のそれぞれの動作に係るデータを検出するステップにおいて、前記模範者及び利用者の動作を動画として撮影するステップと、前記撮影により出力される画像データを取得し、記録するステップとが実行され、前記記録された動作に係るデータと画像データとを時系列に紐付けすることが望ましい。

このようなステップを実施することにより、模範者と利用者との動作速度にずれが生じても、その時間的ずれが累積されることがなく、動作の評価を適正に行うことができる。
また、利用者は、矯正すべき箇所をグラフ及び画像から容易に知ることができるため、繰り返し訓練することにより、技能的な作業動作を効率よく習得することができる。

本発明によれば、基準となる模範者の動作に対する利用者の動作の差異を検出する技能習得支援システム及び技能習得支援方法であって、利用者の動作の評価を適正に行うことができる技能習得支援システム及び技能習得支援方法を得ることができる。

図１は、本発明に係る技能習得支援システムの一実施形態を示す概念図である。 図２は、図１の技能習得支援システムの全体構成を示すブロック図である。 図３は、図１の技能習得支援システムにおける一連の動作の流れを示すフローである。 図４は、低習熟者及び高習熟者の動作の加速度の変化を時系列に示すグラフである。 図５は、図４のグラフにおいて、所定の作業ポイントの経過時間を低習熟者及び高習熟者について示したグラフである。 図６は、図５のグラフに示した作業ポイントの時間軸を低習熟者と高習熟者との間で一致させたグラフである。 図７は、図６の高習熟者のグラフにおいて、低習熟者に対するデータ許容範囲を示すと共に、低習熟者のグラフが前記データ許容範囲を外れた箇所を示すグラフである。 図８は、従来の運動支援システムにおいて、利用者と指導者の運動画像データを２次元軸のメッシュ状に座標化した結果を示す模式図である。 図９は、従来の運動支援システムにおいて、利用者と指導者の運動画像データを時系列に示したグラフである。

以下、本発明にかかる技能習得支援システム及び技能習得支援方法の実施の形態につき、図面に基づいて説明する。尚、本実施の形態においては、本発明に係る技能習得支援システムを、自動車の車両ボディにスプレーガンにより塗装処理を施す技能（模範者の動作）を低習熟者（利用者）が習得する場合に適用して説明する。

図１は、本発明に係る技能習得支援システムの一実施形態を示す概念図である。図１に示すように、作業者１は車両ボディ５０に対しスプレーガン２により塗布処理を施す。
作業者１の周りには、複数の角度からこの作業者１の動作を撮影するための複数のカメラ３が設置される。
これらのカメラ３により撮影された動画からなる画像データは、コンピュータ１０に出力され、コンピュータ１０においてデジタルデータとして記録されるようになっている。

また、スプレーガン２、作業者１の手首、腕、腰などの監視部位には、それぞれセンサ５が取り付けられている。このセンサ５は、３軸加速度センサと３軸ジャイロセンサと３軸地磁気センサとを有し、加速度センサにより監視部位の動作の加速度を検出し、ジャイロセンサにより監視部位の角度及び角速度を検出し、３軸地磁気センサにより監視部位の方位角を検出するようになっている。また、各センサ５とコンピュータ１０とは、無線通信によりデータの送受信が可能となされ、本実施形態では、ブルートゥースを用いた無線通信によりセンサ５の検出データがコンピュータ１０に入力されるようになされている。

続いて、図２を用いて、図１に示した技能習得支援システムの全体構成について、より具体的に説明する。図２は、技能習得支援システム１００の全体構成を示すブロック図である。
前記のように作業者１を撮影するための複数のカメラ３は、それぞれカメラインターフェイス６を介してコンピュータ１０に接続される（カメラインターフェイス６とコンピュータ１０とにより画像データ取得手段が構成される）。
また、作業者１及びスプレーガン２に取り付けられる複数のセンサ５は、ブルートゥースインターフェイス７を介してコンピュータ１０と無線接続される（ブルートゥースインターフェイス７とコンピュータ１０とにより動作データ取得手段が構成される）。

コンピュータ１０は、コンピュータプログラムに従い、各種命令、演算を行うためのＣＰＵ８を有し、このＣＰＵ８には、バスライン１１を介して複数のユニットが接続されている。具体的には、センサ５による検出結果など、様々な情報を表示するためのディスプレイ１２が表示インターフェイス１３を介して接続され、コンピュータ１０の操作のためのコマンドを外部から入力するための入力手段であるキーボード１４等が入力インターフェイス１５を介して接続される。さらにＣＰＵ８には、実行されるプログラムやデータを一時的に記憶するメインメモリ１６が接続され、センサ５から検出データを取得し、解析するための解析プログラムＰや取得した動作データを記録する記憶部１７（記憶手段）が接続されている。

続いて、前記のように構成された技能習得支援システム１００における一連の動作について図３のフローに沿って説明する。尚、以下においては、高習熟者の動作を低習熟者が習得する目的で実施されるものとする。
先ず、高習熟者と低習熟者とがそれぞれ作業者１として、その監視部位（手首、腕、腰、スプレーガン２等）にセンサ５が取り付けられ、車両ボディ５０への塗布作業が行われる。
また、このとき、複数のカメラ３により作業者１の動作が撮影され、作業開始時刻から完了時刻までの作業期間の動画の画像データがコンピュータ１０の記憶部１７に記録される。

また、コンピュータ１０では、キーボード１４の操作により解析プログラムＰが実行され、ＣＰＵ８は、このプログラムＰに従い命令を実行する。具体的には前記作業期間において所定の時間間隔（例えば１ｓｅｃ毎）で各センサ５から無線通信により各監視部位の加速度、角度、角速度などのデータ（纏めて動作データと呼ぶ）を取得し、記憶部１７に記録する（図３のステップＳ１）。

前記作業期間が終わり、高習熟者及び低習熟者の画像データと動作データとがそれぞれ記憶部１７に記録されると、コンピュータ１０では画像データと動作データとを時系列に紐付けし、また、図４に示すように監視部位毎に動作データをグラフ化し、ディスプレイ１２に表示する（図３のステップＳ２）。尚、図４においては手首に取り付けられたセンサ５から取得した動作データに基づき、高習熟者（破線）のグラフＬ１、低習熟者（実線）のグラフＬ２について示している。また、このグラフの縦軸は、加速度Ｇであり、横軸は経過時間ｔである。また、このステップＳ２において、コンピュータ１０は紐付け手段、及びグラフ化手段として機能する。

次いで、コンピュータ１０では、一連の塗布作業において、要所となる複数の作業ポイント（例えば、ピラーに対するスプレーガン２からの吹き付け完了時など）における経過時間を、図５に示すようにグラフＬ１，Ｌ２についてそれぞれマーキングする（図３のステップＳ３）。尚、マーキングされたライン（マークラインと呼ぶ）は、図５において、高習熟者のグラフＬ１はマークラインＭ１〜Ｍ３（実線）で示し、低習熟者のグラフＬ２はマークラインＮ１〜Ｎ３（一点鎖線）で示している。

次に、コンピュータ１０では、図５に矢印で示すように、高習熟者のマークラインＭ１〜Ｍ３に対し低習熟者のマークラインＮ１〜Ｎ３が時間軸上で一致するよう調整がなされる。ここで、低習熟者のグラフＬ２は、図６に示すように、高習熟者の複数のマークラインＭ１〜Ｍ３により区切られる各区間において、均等な時間間隔で伸縮される（図３のステップＳ４）。尚、このステップＳ３，Ｓ４において、コンピュータ１０は作業ポイント一致手段として機能する。

こうして高習熟者のグラフＬ１と低習熟者のグラフＬ２とについて、各要所となる作業ポイントが時間軸上で一致するよう調整されると、（コンピュータ１０は許容範囲形成手段として機能し、）図７に示すように高習熟者のグラフＬ１に、低習熟者の能力レベルに合ったデータ評価範囲（データ許容範囲）Ｒを表示する（図３のステップＳ５）。
ここで、解析プログラムＰが実行されるコンピュータ１０においては、低習熟者のグラフＬ２が前記データ評価範囲Ｒから外れた区間Ｄ１，Ｄ２を検出し、その箇所は低習熟者と高習熟者の動作が異なると判断し、その旨ディスプレイ１２に表示する（図３のステップＳ６）。また、このようにステップＳ６においては、コンピュータ１０は相違箇所検出手段として機能する。

尚、センサ５により取得された他の監視部位、及び、加速度データ以外の角度、角速度データについても上記ステップと同様にグラフ化され、高習熟者と低習熟者の動作の差異が判断される。

低習熟者は、図７に示したグラフの結果により、高習熟者と動作の異なる箇所を知ることができ、また、経過時間に紐付けられた画像データをディスプレイ１２に表示させることにより、所定の動作を容易に矯正し、訓練することができる。

以上のように本発明に係る技能習得支援システム１００によれば、高習熟者と低習熟者のそれぞれの動作データ（加速度、角速度、角度など）を取得してグラフ化し、高習熟者のグラフＬ１と低習熟者のグラフＬ２とにおいて要所となる各作業ポイントが時間軸上で一致するよう調整される。また、高習熟者のグラフＬ１に対し、低習熟者の能力レベルに合わせたデータ評価範囲Ｒが形成され、低習熟者のグラフＬ２において前記データ評価範囲Ｒを外れた区間が検出され、その外れた区間の動作が矯正すべき箇所で有ると判断される。
これにより、低習熟者と高習熟者の動作速度にずれが生じても、その時間的ずれが累積されることがなく、動作の評価を適正に行うことができる。
また、低習熟者は、矯正すべき箇所を容易に知ることができるため、繰り返し訓練することにより、技能的な作業動作を効率よく習得することができる。

尚、前記実施の形態においては、作業者が自動車の車両ボディにスプレーガンにより塗装処理を施す技能（基準となる動作）を低習熟者（利用者）が習得する場合を例にして説明したが、本発明にあっては、その形態に限定されるものではなく、その他、あらゆる技能の習得のために好適に用いることができる。

１ 作業者（低習熟者（利用者）、高習熟者（模範者））
２ スプレーガン
３ カメラ
５ センサ
６ カメラインターフェイス（画像データ取得手段）
７ ブルートゥースインターフェイス（動作データ取得手段）
８ ＣＰＵ
１０ コンピュータ（画像データ取得手段、動作データ取得手段、紐付け手段、グラフ化手段、作業ポイント一致手段、許容範囲形成手段、相違箇所検出手段）
１２ ディスプレイ
１３ 表示インターフェイス
１４ キーボード
１５ 入力インターフェイス
１６ メインメモリ
１７ 記憶部（記憶手段）
Ｌ１ 高習熟者のグラフ
Ｌ２ 低習熟者のグラフ
Ｐ 解析プログラム
Ｒ データ評価範囲（データ許容範囲）

Claims (6)

1. 模範者の動作に対する利用者の動作の差異を検出する技能習得支援システムであって、
   模範者及び利用者の身体において、所定の監視部位に取り付けられ、前記模範者及び利用者のそれぞれの動作に係るデータを検出するセンサと、
   前記センサが検出した動作に係るデータを取得する動作データ取得手段と、
   前記動作データ取得手段が取得した動作に係るデータを記録する記憶手段と、
   前記記憶手段に記録された模範者の動作に係るデータを時系列にグラフ化し、第１のグラフを形成して表示すると共に、利用者の動作に係るデータを時系列にグラフ化し、第２のグラフを形成して表示するグラフ化手段と、
   前記グラフ化手段が形成した第１のグラフと第２のグラフとにおいて、前記第１のグラフにおける所定の作業ポイントと前記第２のグラフにおける前記所定の作業ポイントとが時間軸上で一致するよう調整する作業ポイント一致手段と、
   前記第１のグラフにおいて、前記利用者に対するデータ許容範囲を時系列に形成する許容範囲形成手段と、
   前記第２のグラフにおいて、前記許容範囲形成手段が形成したデータ許容範囲を外れる区間を検出する相違箇所検出手段とを備えることを特徴とする技能習得支援システム。
2. 前記センサが検出する動作に係るデータは、少なくとも加速度データと角速度データと角度データのような身体の監視部位に取り付けられた前記センサから得られるデータのいずれかを含むことを特徴とする請求項１に記載された技能習得支援システム。
3. 前記模範者及び利用者の動作を動画として撮影するカメラと、
   前記カメラから出力される画像データを取得し、前記記憶手段に記録する画像データ取得手段と、
   前記記憶手段に記録された動作に係るデータと画像データとを時系列に紐付けする紐付け手段とを備えることを特徴とする請求項１または請求項２に記載された技能習得支援システム。
4. 演算処理を行うＣＰＵと、前記ＣＰＵにより実行可能なプログラムが格納される記憶手段とが具備される技能習得支援システムにおいて、前記ＣＰＵが前記プログラムを実行することにより、模範者の動作に対する利用者の動作の差異を検出する技能習得支援方法であって、
   前記ＣＰＵが前記プログラムを実行することにより、
   模範者及び利用者の身体において、所定の監視部位に取り付けられたセンサにより、前記模範者及び利用者のそれぞれの動作に係るデータを検出するステップと、
   前記センサが検出した動作に係るデータを取得するステップと、
   前記取得した動作に係るデータを記録するステップと、
   前記記録された模範者の動作に係るデータを時系列にグラフ化し、第１のグラフを形成して表示すると共に、利用者の動作に係るデータを時系列にグラフ化し、第２のグラフを形成して表示するステップと、
   前記第１のグラフと第２のグラフとにおいて、前記第１のグラフにおける所定の作業ポイントと前記第２のグラフにおける前記所定の作業ポイントとが時間軸上で一致するよう調整するステップと、
   前記第１のグラフにおいて、前記利用者に対するデータ許容範囲を時系列に形成するステップと、
   前記第２のグラフにおいて、前記許容範囲形成手段が形成したデータ許容範囲を外れる区間を検出するステップとが実行されることを特徴とする技能習得支援方法。
5. 前記ＣＰＵが前記プログラムを実行することにより、
   前記模範者及び利用者の身体において、所定の監視部位に取り付けられたセンサにより、前記模範者及び利用者のそれぞれの動作に係るデータを検出するステップにおいて、
   前記センサが検出する動作に係るデータは、少なくとも加速度データと角速度データと角度データのような身体の監視部位に取り付けられた前記センサから得られるデータのいずれかを含むことを特徴とする請求項４に記載された技能習得支援方法。
6. 前記ＣＰＵが前記プログラムを実行することにより、
   前記模範者及び利用者の身体の監視部位に取り付けられたセンサにより、模範者及び利用者のそれぞれの動作に係るデータを検出するステップにおいて、
   前記模範者及び利用者の動作を動画として撮影するステップと、
   前記撮影により出力される画像データを取得し、記録するステップとが実行され、
   前記記録された動作に係るデータと画像データとを時系列に紐付けすることを特徴とする請求項４または請求項５に記載された技能習得支援方法。

Images