JP7191560B2 - コンテンツ作成システム - Google Patents

Description

本発明は、コンテンツ作成システムに関し、特に模擬作業を実行させるための３ＤＣＧを含む訓練用コンテンツを作成するコンテンツ作成システムに関する。

保守作業等を行う作業者に、画像や音声等の取得が可能な情報端末を装着したり携帯したりさせながら、その作業者の作業を支援する画像や音声等のコンテンツを、管理サーバから作業支援情報として送信し、提示するシステムが知られている。

そのような作業支援情報としてのコンテンツは、通常、作業の手順や注意事項等を記述したマニュアルに基づいて作成されており、従来、例えばそのマニュアルに含まれる用語や見出し、項目、表、図、画像その他の要素を関連付けて作業対象や作業状況の判定条件をルール化したものが知られている（例えば、特許文献１参照）。

この場合、作業支援システムは、前述のルールに則し、作業者側の情報端末デバイスからのセンサ情報に基づいて作業対象や作業状況を認識して、その認識結果に対応する作業支援情報を作業者側の情報端末デバイスに送信出力するようになっている。

特許第６３２１８７９号

しかしながら、前述のような従来のコンテンツ作成を行う作業支援システムにおいては、マニュアルが存在しない機器の保守作業等について、熟練者の模範的な作業動作をマニュアル化したいような場合には、その熟練者へのインタビュー、作業対象物や作業者の写真、作業動作やその説明の映像等から、作業上重要な情報を把握して、マニュアルコンテンツを作成する必要があり、コンテンツ作成に工数がかかるという問題があった。

また、作業支援システムを、作業者に模擬作業を実行させて保守作業等の習得や習熟を図る訓練システムとして利用することができるが、そのような場合に、訓練用のマニュアルに熟練者のノウハウや注意事項を的確に盛り込んだり、その訓練の成果を評価する基準を盛り込んだりすることができていなかった。

本発明は、前述のような従来の課題を解決すべく、熟練者等による模範作業のうち重要な作業動作やその評価基準を作業支援可能な訓練用コンテンツに容易にかつ確実に反映でき、コンテンツ作成工数の削減に貢献できるとともに、訓練結果判定に有効活用可能なコンテンツを作成できるコンテンツ作成システムを提供することを目的とする。

本発明のコンテンツ作成システムは、上記目的達成のため、作業対象機器の３次元形状の情報と作業手順に基づく訓練用コンテンツを訓練者（Ｒ２）に提示し、仮想現実または拡張現実の模擬作業を実行させるための訓練用コンテンツを作成するコンテンツ作成システムであって、前記作業手順の作業を実行する模範作業者（Ｒ１）の３次元作業動作を測定情報として取得する動作測定装置（１）と、前記３次元作業動作の測定情報に基づいて前記作業手順の作業についての評価基準情報を作成する評価基準作成装置（２）と、前記３次元作業動作の測定情報および前記評価基準情報および前記作業対象機器の３次元形状の情報に基づいて前記訓練用コンテンツを作成し更新するコンテンツ作成装置（３）と、を備え、前記評価基準作成装置は、前記模範作業者の所定の身体動作を検出するとともに、該所定の身体動作が検出されたことを条件に、前記作業対象機器の３次元形状に対する前記作業手順の特定段階の３次元作業動作の距離情報に基づいて、前記評価基準情報を作成することを特徴とする。

この構成により、本発明では、模範作業者の所定の身体動作が検出されると、提示情報に含まれる３次元形状に対する作業手順の特定段階の作業動作がその３次元の距離情報として把握され、その距離情報に基づいて、３次元作業動作の測定情報に基づく訓練者の所定の作業手順の作業についての評価基準情報が作成される。したがって、作業手順上で重要な特定段階の始期やその時間を把握するために測定する身体動作を設定することで、模範作業者の保有するノウハウや危険回避の手法等が現れる特定段階の作業動作が自動的に定量的に把握可能となり、重要な作業動作の明確化によりコンテンツ作成工数の削減に貢献でき、しかも評価基準情報により訓練結果の判定にも有効活用可能な訓練用コンテンツを作成できるコンテンツ作成システムとなる。

本発明のコンテンツ作成システムにおいては、前記評価基準作成装置は、前記模範作業者の前記所定の身体動作を所定の視線、音声および３次元動作のうちいずれかの変化として検出し、該所定の身体動作に続く音声情報または視野画像情報の変化または３次元測定情報の変化として前記作業手順の特定段階の３次元作業動作を検出することができる。

このようにすると、模範作業中の重要なあるいは注意すべき作業動作の的確な測定情報を熟練者等の模範作業者の視線や発言、手先の動き等から適時に精度良く取得でき、重要な作業動作の特定に要する工数が確実に削減されるとともに、その効果的な評価基準情報の作成が可能なものとなる。

本発明のコンテンツ作成システムにおいて、前記評価基準作成装置は、前記模範作業者の前記所定の身体動作を検出したとき、前記特定段階の作業動作を、前記模範作業者の特定の注目部位の３次元の変位および時間を含む測定情報としてモニタするものとすることができる。また、前記コンテンツ作成装置は、前記模範作業者の前記所定の身体動作が検出されたとき、前記訓練用コンテンツを前記特定段階の作業動作について前記評価基準情報により評価可能に更新する構成とすることもできる。

本発明に係るコンテンツ提示システムは、作業対象機器の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者（Ｒ２）に提示し、仮想現実または拡張現実の模擬作業空間内で前記作業手順に従って模擬作業を実行させるコンテンツ提示システムであって、
前記３次元形状情報を含む前記訓練用コンテンツを記憶する記憶部（４６）および前記訓練用コンテンツを前記訓練者に提示可能に出力する出力部（４３）を有するコンテンツ出力装置（４）と、前記模擬作業を予め実行する模範作業者の３次元作業動作を測定情報として取得するとともに前記模範作業者の所定の身体動作を検出し、該所定の身体動作が検出されたことを条件に、前記作業対象機器の３次元形状に対する前記３次元作業動作の距離情報に基づいて、前記作業手順の特定段階の作業動作についての評価基準情報を作成する評価基準作成装置（２）と、前記訓練者の前記模擬作業中の３次元作業動作を測定情報として取得するとともに、前記模擬作業中の前記特定段階の３次元作業動作を前記評価基準情報に基づいて評価し、該評価の結果を情報出力する作業評価装置（４４、４５）と、を備えることを特徴とするものである。

この構成により、本発明のコンテンツ提示システムでは、作業手順上で重要な特定段階の作業動作が３次元動作情報として明確化されるとともに、その特定段階の作業動作の始期やその時間が把握可能となり、模範作業者の保有するノウハウや危険回避の手法等が現れる特定段階の作業動作について、訓練者の模擬作業動作を定量的に把握しつつ評価基準情報により的確に判定でき、訓練用コンテンツを訓練結果の判定に有効活用することができるコンテンツ提示システムとなる。

本発明によれば、熟練者等による模範作業のうち重要な作業動作やその評価の基準を訓練用コンテンツに容易にかつ確実に反映し、コンテンツ作成工数の削減に貢献できるとともに、訓練結果判定に有効活用可能なコンテンツを作成できるコンテンツ作成システムを提供することができる。

本発明の一実施形態に係るコンテンツ作成システムを含むマニュアルコンテンツ提示システムの全体構成を示す概略ブロック構成図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおける作業者側の情報端末の概略ブロック構成図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおける作業管理サーバの概略ブロック構成図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおける訓練管理サーバの概略ブロック構成図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおける訓練者側の情報端末の概略ブロック構成図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおける作業管理サーバで管理される複数の作業の進行状況を示す進行表コンテンツの説明図である。 図６に示す複数の作業のうち最初の作業の作業手順とその作業手順上の各段階で熟練者からの収報を含み訓練者に提示されるコンテンツデータ素材を例示する手順表コンテンツの説明図である。 図７に示すコンテンツデータ素材を熟練者から収集するための測定データシートの説明図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおいて作業管理サーバからの作業指示に従って熟練作業者に作業手順に則した特定段階の作業動作を所定の身体動作を伴って実行させ、記録するときの処理手順を示すシーケンス図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおいて作業管理サーバから訓練管理サーバに作業動作記録を配信し、その配信情報を基に訓練用コンテンツの素材を生成し、確認および保存するときの処理手順を示すシーケンス図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおいて訓練管理サーバから訓練支援端末に訓練用コンテンツを配信し、作業手順に則した各段階の作業動作の実行と特定段階の作業動作についての訓練結果の判定処理とを実行し、訓練結果を選択的に訓練用マニュアルの更新処理を行う場合の処理手順を示すシーケンス図である。 本発明の一実施形態に係るマニュアルコンテンツ提示システムにおいて訓練管理サーバから訓練支援端末に訓練用コンテンツを配信し、作業手順上の特定段階の作業動作とその判定処理を実行させる際の表示画面の説明図である。

以下、本発明を実施するための形態について、図面を参照しつつ説明する。

図１～図８は、本発明の一実施形態に係るコンテンツ作成システムを含むマニュアルコンテンツ提示システムの構成を示しており、図９～図１２は、一実施形態に係るマニュアルコンテンツ提示システムにおけるコンテンツ作成の概略処理手順を示している。

まず、構成について説明する。

図１に示すように、本実施形態のコンテンツ作成システムを含むマニュアルコンテンツ提示システムは、作業現場側に情報入力可能に配置される作業情報収集端末１と、その作業現場側での作業の進行を管理するための作業管理サーバ２と、作業管理サーバ２にネットワーク接続された訓練管理サーバ３と、訓練管理サーバ３からの訓練用コンテンツを訓練者Ｒ２に提示可能な訓練支援端末４とを備えている。

作業情報収集端末１は、例えば所定の保守管理対象のシステムや設備、機器について保守作業を行う作業者に対して情報提示可能な情報端末、例えばウェアラブル端末であるヘッドマウントディスプレイで構成されている。

図２に示すように、作業情報収集端末１は、作業者の身体情報や作業動作を音声情報および映像情報として取得可能な音声取得部１１ａおよび映像取得部１１ｂと、映像取得部１１ｂの取得情報に基づいて作業手順に則した作業動作を３次元情報として取得する動作取得部１２と、例えば透過型のスクリーン上に仮想の３ＤＣＧを重畳表示することができる表示部１３と、これらの情報の取得部１１ａ、１１ｂ、１２とバス接続されたマイクロコンピュータ構成の制御部１４と、を含んで構成されている。

作業情報収集端末１は、また、ＲＡＭやＲＯＭ、フラッシュメモリ等のメモリ１５と、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージ１６と、局所または広域の無線通信が可能な通信部１７と、作業情報収集端末１の各部に電源を供給する電源供給部１８と、これらを相互に情報通信可能に接続するバス１９とを有している。

なお、映像取得部１１ｂは、視野領域の画像を３ＤＣＧとして取得できる３次元カメラまたは複数のカメラを有しており、保守作業の現場や手先を位置測定可能に撮影し映像化する機能を有している。表示部１３は、視界の一部に配置される非透過型のものであってもよい。通信部１７は、表示中の映像の信号や音声取得部１１ａのマイクで取得した音声を所定の伝送方式で外部に送信出力する機能を有している。

メモリ１５には、所定の動作測定処理を行う音声取得部１１ａおよび映像取得部１１ｂからの測定情報を動作情報として記憶させる複数の制御プログラムと、通信部１７による送受信データを処理する通信処理プログラムとが記憶格納されており、それら制御プログラムによる機能部として、音声記録処理部１５ａ、映像記録処理部１５ｂ、動作記録処理部１５ｃおよび情報送受信処理部１５ｄが構成されている。

ストレージ１６には、データベース機能を発揮させるための制御プログラムが内蔵されており、その制御プログラムの機能により、通信部１７を介して入力される各種作業情報を記憶する作業情報記録データベース１６ａと、メモリ１５の各記録処理部１５ａ－１５ｃで処理された作業情報を作業時間と関連付けて記録する作業動作記録データベース１６ｂとが構成されている。

図３に示すように、作業管理サーバ２は、作業情報収集端末１からの保守作業領域や必要な支援情報を重畳表示することができる表示部２３と、サーバ全体を制御する制御部２４と、メモリ２５と、ストレージ２６と、局所または広域の無線通信が可能な通信部２７と、作業管理サーバ２の各部に電源を供給する電源供給部２８と、これらを相互に情報通信可能に接続するバス２９とを有している。

メモリ２５およびストレージ２６には複数の制御プログラムが格納されており、制御部２４は、作業情報収集端末１の音声取得部１１ａ、映像取得部１１ｂおよびメモリ１５と協働して、作業情報収集端末１の視野領域に対応する保守作業領域を３ＤＣＧおよび音声の情報として認識するとともに、前述の通り、所定の作業手順の作業を実行する熟練者等の模範作業者Ｒ１の３次元作業動作を測定情報として取得する動作測定装置として機能するようになっている。

具体的には、メモリ２５およびストレージ２６には複数の制御プログラムが格納されており、制御部２４と協働するそれら制御プログラムによる機能部として、メモリ２５は、作業情報収集端末１から取得される保守作業領域や作業者の身体情報および作業動作をそれぞれの３ＤＣＧ情報および音声情報として認識可能な画像認識処理部２５ａおよび音声認識処理部２５ｂと、作業情報収集端末１の映像取得部１１ｂで取得され画像認識処理部２５ａで認識された視野領域中にマーカー表示その他の必要な支援情報を重畳表示する処理を実行する情報重畳処理部２５ｃと、作業情報収集端末１から映像取得部１１ｂで取得された画像を受信したり、作業情報収集端末１の視野領域に重畳表示すべき必要な支援情報を作業情報収集端末１に送信したりする情報送受信処理部２５ｄと、作業情報収集端末１に送信する作業指示コンテンツを作成処理する作業指示コンテンツ作成処理部２５ｅとを有している。

また、ストレージ２６は、作業対象機器の３次元形状の情報や作業手順に基づく訓練用コンテンツを作成するための各種の作業情報を管理する作業情報管理データベース２６ａと、作業指示コンテンツ作成処理部２５ｅで作成された作業指示コンテンツに対応する作業手順をマニュアルコンテンツの一部として管理する作業手順管理データベース２６ｂと、画像認識処理部２５ａおよび音声認識処理部２５ｂで認識された身体情報や各作業動作の３次元情報等を時間情報と共に記録する作業動作記録データベース２６ｃと、を有している。

このストレージ２６の作業情報管理データベース２６ａには、例えば保守点検作業を実施する作業者の情報、保守点検作業を実施する機器の識別情報、保守点検作業の実施日時を含む保守日程情報、保守点検作業の内容を示す保守点検情報等が少なくとも記録されている。

作業管理サーバ２の制御部２４は、画像認識処理部２５ａおよび音声認識処理部２５ｂで認識した保守作業領域の３ＤＣＧや音声等と、作業者の身体情報および作業対象物に対する作業動作の３ＤＣＧおよび音声等とに基づいて、作業手順の各段階が評価判定を要する特定段階か否かを判定して、特定段階の３次元の作業動作を、作業者の視線や腕（首、手、指、足等他の体の一部でもよい）の動き、マーカーを装着した特徴点の動き等に基づいて、作業対象物（固定された作業対象物または可動の作業対象物を可動に支持する支持側の作業対象物）に対する相対的な移動およびその移動を伴う作業時間として測定することができる。

作業管理サーバ２の制御部２４は、また、熟練作業者等の模範作業者Ｒ１の所定の身体動作を作業情報収集端末１を介して少なくとも視線、音声および３次元の動作のうちいずれかとして検出し、その所定の動作に前後する、例えば所定の動作に続く音声情報または視野画像情報の変化または３次元測定情報の変化として、所定の作業手順のうち特定段階の作業動作を検出するようになっている。そして、制御部２４は、作業情報収集端末１を介した３次元作業動作の測定情報に基づいて、前述の特定段階の作業動作の評価基準を併せて作成するようになっている。

ここにいう所定の身体動作は、例えば模範作業を行う熟練者が「ここは全員気を付けること」や「ここは重要な作業」等といった言葉や声を出す身体動作であり、それと併せて指で指し示すようなゼスチャ、あるいは、特定段階に入る合図となる動作を含み得る。この所定の身体動作は、作業手順の特定段階の作業動作が終了する時点でその特定段階終了の合図となる動作を含んでもよい。特定段階の作業動作の作業時間は、段階の模範作業の対応する作業動作に要する作業時間として予め設定されている。

また、特定段階の作業動作の評価基準は、訓練の作業である仮想現実または拡張現実の模擬作業空間内での作業対象機器に対する作業動作について、例えば視点の位置、腕の動作位置、特徴点となるマーカーの位置等が、熟練作業者等の模範作業者Ｒ１の作業動作中のそれらに近いほど高い評価となるように設定される。

例えば、この評価基準は、特定段階の作業動作の所要時間中における等分割時間毎の作業動作位置を、模範作業者Ｒ１と訓練者Ｒ２について比較したり、その特定段階の作業動作の所要時間の長短を比較したり、両者の作業動作位置の差に対応する測定値に重み付を加えたりして、あるいは、さらに特定段階の作業動作の所要時間中にモーションセンサや生体センサで検出可能な他の身体動作をも比較して、設定される。

作業指示コンテンツ作成処理部２５ｅは、ストレージ２６に蓄積された作業関連情報、作業手順情報および作業動作記録情報に基づいて、既存のマニュアル記載事項に模範作業やそのノウハウや注意点等に加えて、前述の特定段階の作業動作の評価基準を含めた作業指示コンテンツを作成するようになっている。

このように構成された本実施形態の作業管理サーバ２は、本発明にいう評価基準作成装置として機能し、模範作業者Ｒ１の所定の身体動作を検出したときに、特定段階の作業動作を、模範作業者の特定の注目部位の３次元の変位および時間を含む測定情報としてモニタすることができるものである。

作業管理サーバ２の作業指示コンテンツ作成処理部２５ｅで作成された作業指示コンテンツは、情報送受信処理部２５ｄを介して訓練管理サーバ３に送信される。

図４および図５に示すように、訓練管理サーバ３は、作業管理サーバ２からの作業指示コンテンツを画面表示可能な表示部３３と、訓練管理を制御する制御部３４と、メモリ３５と、ストレージ３６と、局所または広域の無線通信が可能な通信部３７と、作業管理サーバ２の各部に電源を供給する電源供給部３８と、これらを相互に情報通信可能に接続するバス３９とを有している。

また、訓練支援端末４は、訓練者の身体情報や作業動作を音声情報および映像情報として取得可能な音声取得部４１ａおよび映像取得部４１ｂと、映像取得部４１ｂの取得情報に基づいて作業手順に則した作業動作を３次元情報として取得する動作取得部４２と、例えば透過型のスクリーン上に仮想の３ＤＣＧを重畳表示することができる表示部４３と、これらの情報の取得部４１ａ、４１ｂ、４２とバス接続されたマイクロコンピュータ構成の制御部４４と、を含んで構成されている。

訓練支援端末４の映像取得部４１ｂは、視野領域の画像を３ＤＣＧとして取得できる３次元カメラまたは複数のカメラを有しており、保守作業領域の現場や手先を位置測定可能に撮影し映像化する機能を有している。表示部４３は、視界の一部に配置される非透過型のものであってもよい。

さらに、訓練支援端末４は、ＲＡＭやＲＯＭ、フラッシュメモリ等のメモリ４５と、ＳＳＤ等のストレージ４６と、局所または広域の無線通信が可能な通信部４７と、訓練支援端末４の各部に電源を供給する電源供給部４８と、これらを相互に情報通信可能に接続するバス４９とを有している。通信部４７は、表示中の映像の信号や音声取得部４１ａのマイクで取得した音声を所定の伝送方式で外部に送信出力する機能を有している。

図４に示すように、訓練管理サーバ３のメモリ３５およびストレージ３６には複数の制御プログラムが格納されており、制御部３４と協働するそれらの制御プログラムにより、訓練管理サーバ３は、訓練支援端末４の視野領域に対応する保守作業領域を３ＤＣＧおよび音声の情報として認識するとともに、表示部３３に作業管理サーバ２からの作業指示コンテンツに基づいて、認識した視野領域中の作業領域またはその一部に作業支援情報を重畳表示させるようになっている。

また、制御部３４と協働するそれらの制御プログラムにより、訓練管理サーバ３は、視点の位置、腕の動作位置、特徴点の位置等について、模範作業者の３次元の作業動作位置である目標位置を示すマーカー等で表示するとともに、訓練者Ｒ２の対応する作業動作の注目点位置がそれぞれの目標位置の一定距離範囲内に近付くと、例えば前述の等分割時間毎の次の目標点を表示する。そして、直前の作業動作についての動作速度を評価するとともに、その動作中の各注目点の対応する模範作業者のそれとの差を検出し、評価基準を基にした作業評価を行う。つまり、所定の作業動作ごとの評価基準からの時間的および空間的なずれが小さいほど評価値が高くなる判定処理を行うようになっている。このような評価は、保守作業のないような特定段階の作業の内容によっては、その特定段階の作業時間の長さのみで評価してもよい。

具体的には、訓練管理サーバ３のメモリ３５およびストレージ３６には、複数の制御プログラムが格納されており、制御部３４と協働するそれら制御プログラムによる機能部として、メモリ３５は、例えば作業対象の機器識別情報、保守日程情報および保守点検情報等を含んだ所定の作業手順の既存の訓練マニュアルコンテンツに、作業管理サーバ２からの作業指示コンテンツの内容、例えば模範作業における特定段階の作業動作の作業時間等を反映したマニュアルコンテンツを生成する生成部３５ａを有している。

メモリ３５は、また、制御部３４と協働するそれら制御プログラムによる機能部として、訓練支援端末４にマニュアルコンテンツを送信したり訓練支援端末４で取得された作業動作の３ＤＣＧや音声等の情報を受信したりする情報送受信処理部３５ｄと、作業管理サーバ２からの作業指示コンテンツの更新情報に基づいてあるいは訓練支援端末４からの判定処理結果等のフィードバック情報に基づき、生成部３５ａで用いる作業指示コンテンツを更新したり補正したりする作業指示コンテンツ作成処理部３５ｅと、を有している。

また、制御部３４と協働する内蔵制御プログラムによる機能部として、ストレージ３６は、例えば作業指示コンテンツ作成処理部３５ｅで作成、更新または補正された作業指示コンテンツに対応する作業手順をマニュアルコンテンツの一部として管理する作業手順管理データベース３６ｂと、訓練支援端末４で認識された身体情報や各作業動作の３次元情報等を時間情報と共に記録する作業動作記録データベース３６ｃとを有している。

このように構成された本実施形態の訓練管理サーバ３は、本発明にいうコンテンツ生成装置として機能し、模範作業者Ｒ１の所定の身体動作が検出されたとき、訓練用コンテンツを特定段階の作業動作について評価基準情報により評価可能に更新することができるものとなっている。

訓練支援端末４には、訓練中の測定情報を動作情報として記憶させたり訓練中の特定の作業動作の習熟度合い等を前述の評価基準に基づいて判定したりするためのマンマシニンターフェースとして複数の映像および音声の入出力デバイスや複数の制御プログラム等が格納されており、これらの機能により、図５に示すように、訓練支援端末４には、音声記録処理部４５ａ、映像記録処理部４５ｂ、動作記録処理部４５ｃおよび情報送受信処理部４５ｄ、音性判定処理部４５ｆ、映像判定処理部４５ｇおよび動作判定処理部４５ｈが構成されている。

訓練支援端末４の音声取得部４１ａおよび映像取得部４１ｂは、訓練者の訓練作業中の身体動作および作業動作を音声および３次元映像として取得する機能を有しており、例えば訓練者の視線、腕の動作、特徴点の動き等を測定する。

動作記録処理部４５ｃは、マニュアルコンテンツで規定される作業手順に従って音声取得部４１ａおよび映像取得部４１ｂで取得される映像および音声の情報から各段階の作業動作を特定するようになっている。

情報送受信処理部４５ｄは、音声取得部４１ａ、映像取得部４１ｂおよび動作記録処理部４５ｃで取得された情報を訓練管理サーバ３に送信したり訓練管理サーバ３からマニュアルコンテンツやその更新情報を受信したりすることができる。

音声判定処理部４５ｆ、映像判定処理部４５ｇおよび動作判定処理部４５ｈは、前述の特定段階の作業動作についての評価基準に照らし、メモリ４５の各記録処理部４５ａ－４５ｃで記録処理された映像および音声等の情報に基づいて、マニュアルコンテンツで規定される作業手順の各段階の作業動作を特定するとともに、特定段階の作業動作についてはその作業時間と関連付けた判定評価を行う機能を有している。作業動作の評価手法は、前述の通りである。

ストレージ４６には、データベース機能を発揮させるための制御プログラムが内蔵されており、その制御プログラムの機能により、通信部４７を介して入力される訓練者の訓練に関する各種情報を記憶する訓練情報記録データベース４６ａと、メモリ４５の各記録処理部４５ａ－４５ｃおよび各判定部４５ｆ－４５ｈでの判定結果を作業時間と関連付けて記録する訓練動作記録データベース４６ｃとが構成されている。

次に、図６ないし図８に示すような、複数の作業のマニュアルコンテンツに含まれる進行表コンテンツ、手順表コンテンツおよびコンテンツデータ素材の測定データシートを用いて、より具体的なマニュアルコンテンツに基づく情報提示内容について説明する。

図６に示す進行表コンテンツにおいては、複数の作業の実施予定日、開始・終了時刻および該当する作業名とその結果が作業の予定順のＩｎｄｅｘ番号と併せて示されている。その作業のうち例えば最初の作業は、Ｉｎｄｅｘ１の完了した作業「空調機、電気回路交換」であり、次の作業は、Ｉｎｄｅｘ２の進行中の作業「空調集中コントロール機、基盤交換」であり、次の作業は、Ｉｎｄｅｘ３の未実施の作業「空調集中コントロール機、配線点検」である。

図７に示す手順表コンテンツは、図６に示す進行表コンテンツの最初の作業に対応する手順を例示しており、作業手順の各段階のＩｎｄｅｘが番号で示されるとともに、複数段階の作業動作による作業の作業名が表示され、各段階の作業動作が対応するコンテンツデータ素材と共に、手順として示されている。

この手順表コンテンツにおいては、同図に示す作業名「空調機、電気回路の回路交換」について、複数段階の作業動作が、ｉｎｄｅｘ１の作業動作「対象物を確認する」から、ｉｎｄｅｘ２の作業動作「カバーを開ける」、ｉｎｄｅｘ３の作業動作「回路を取り外す」、ｉｎｄｅｘ４の作業動作「回路を取り付ける」、ｉｎｄｅｘ５の作業動作「カバーを取り付ける」へと順に進行し、ｉｎｄｅｘ６の「動作に問題ないことを確認する」という作業動作で終了する。

そして、この進行表コンテンツに基づき、訓練支援端末４においては、ｉｎｄｅｘ１の作業動作中に、作業対象領域や作業対象物を特定するための写真（ｉｔｅｍ．ｊｐｇ）や３ＤＣＧ（ｉｔｅｍ．ｆｂｘ）と現作業動作上の注意点等について説明表示（ｍａｎｕａｌ＿１．ｔｘｔ）がなされる。

また、ｉｎｄｅｘ２の作業動作中には、カバーを開けるために、カバーの写真（Ｃｏｖｅｒ．ｊｐｇ）や３ＤＣＧ（Ｃｏｖｅｒ．ｆｂｘ）の表示がなされるとともに、現作業動作内容を説明する音声付の動画（ｉｎｓｔｒｕｃｔｉｏｎ＿２．ｍｐ４）の再生および説明表示（ｍａｎｕａｌ＿２．ｔｘｔ）がなされ、ｉｎｄｅｘ３の作業動作中には、交換前の電気回路を取り外すために、その電気回路基板等の写真（ｅｌｅｃｔｒｏｎｉｃ＿ｃｉｒｃｕｉｔ．ｊｐｇ）やその装着部位周辺の３ＤＣＧ（ｅｌｅｃｔｒｏｎｉｃ＿ｃｉｒｃｕｉｔ．ｆｂｘ）が表示されるとともに、現作業動作内容を説明する音声付き動画（ｉｎｓｔｒｕｃｔｉｏｎ＿３．ｍｐ４）の再生および説明表示（ｍａｎｕａｌ＿３．ｔｘｔ）がなされる。

次のｉｎｄｅｘ４の作業動作中には、新しい電気回路を交換対象部位に取り付けるために、その電気回路基板等の写真（ｅｌｅｃｔｒｏｎｉｃ＿ｃｉｒｃｕｉｔ．ｊｐｇ）やその装着部位周辺の３ＤＣＧ（ｅｌｅｃｔｒｏｎｉｃ＿ｃｉｒｃｕｉｔ．ｆｂｘ）が表示されるとともに、現作業動作内容を説明する音声付き動画（ｉｎｓｔｒｕｃｔｉｏｎ＿４．ｍｐ４）の再生および説明表示（ｍａｎｕａｌ＿４．ｔｘｔ）がなされる。

次のｉｎｄｅｘ５の作業動作中には、カバーを装着するために、そのカバーの写真（Ｃｏｖｅｒ．ｊｐｇ）や３ＤＣＧ（Ｃｏｖｅｒ．ｆｂｘ）の表示がなされるとともに、現作業動作内容を説明する音声付の動画（ｉｎｓｔｒｕｃｔｉｏｎ＿５．ｍｐ４）の再生および説明表示（ｍａｎｕａｌ＿５．ｔｘｔ）がなされ、最後のｉｎｄｅｘ６の作業動作中には、一連作業手順における各段階の作業動作に問題ないことを確認するべく、作業後の作業対象領域や作業対象物を特定するための写真（Ｉｔｅｍ．ｊｐｇ）や３ＤＣＧ（ｉｔｅｍ．ｆｂｘ）と現作業動作上の注意点等についての説明表示（ｍａｎｕａｌ＿６．ｔｘｔ）がなされる。

一方、本実施形態においては、以上に例示したような情報提示を伴う訓練用のマニュアルコンテンツを作成するに際して、その作業手順を盛り込んだマニュアルコンテンツの作成前あるいはその作成途中に、作業情報収集端末１を装着した熟練作業者に所定の作業手順で模範作業をしてもらい、その作業のうち少なくとも熟練者のノウハウ活用や注意喚起を行うべき特定段階の作業動作を特定し、その特定段階の作業動作についての評価基準となる模範作業の作業動作の情報を取得する。

図８は、そのような模範作業の情報取集を行う際のコンテンツデータ素材の測定データシートを示している。

この測定データシートにおいては、マニュアル記述内容に則した作業手順に従って熟練者による模範作業の作業動作が順次実行され、各段階の作業動作がＩｎｄｅｘ番号および実施日と共に、作業対象領域中の固定の対象物を基準とした視線変化、腕の動作の変化および注目すべき特徴点の変化ならびに音声変化を含む測定データが、それぞれの測定開始または終了時刻情報と関連付けて収集されている。

ここで、視線測定には、例えばアイカメラを用いる視点監視技術（例えば、再表２０１６／００２０５６号公報参照）を用いることができ、視線や腕、特徴点の動きの変化量の測定には、例えば測定値の差分の３次元空間上へのマッピング技術（例えば、特開２０１８－１０６３０号公報参照）を用いることができる。

視線変化（図８中では、ｓｔａｒｔ＿ｅｙｅ．ｃｓｖ）は、例えば作業情報収集端末１の視野画像中心方向に対する視線方向の角度変化と、作業対象領域中の固定の対象物を基準とした作業情報収集端末１の視野画像中心方向自体の角度および視点位置の変化とを含み得るものであり、各段階の作業期間の作業開始時あるいはその作業開始時および前述の等分割時間毎の作業動作位置について測定される。また、腕動作変化（図８中では、ｓｔａｒｔ＿ａｒｍ．ｃｓｖ）や特徴点変化（同図中では、ｓｔａｒｔ＿ｆｅａｔｕｒｅｐｏｉｎｔ．ｃｓｖ）は、公知の各種の動作分析手法（例えば、再表２０１５／１８９９９４号公報参照）で測定することができる。

このように、３次元の作業動作測定を行う本実施形態のコンテンツ作成システムは、作業情報収集端末１を介した３次元作業動作の測定情報に基づいて作業手順の作業についての評価基準情報を作成する評価基準作成装置として機能する作業管理サーバ２と、３次元作業動作の測定情報、評価基準情報および作業対象機器の３次元形状の情報に基づいて訓練用コンテンツを作成し更新するコンテンツ作成装置として機能する訓練管理サーバ３とを備えており、評価基準作成装置としての作業管理サーバ２は、模範作業者Ｒ１の所定の身体動作である少なくとも所定の視線変化、音声変化および３次元作業動作のうちいずれかが検出されたことを条件に、作業対象物の３次元形状に対する特定段階の３次元作業動作位置の距離情報に基づいて、評価基準情報を作成するものであり、訓練用コンテンツをコンテンツ提示システムにより訓練者Ｒ２に提示するのに先立って、熟練者等の模範作業者Ｒ１の模範作業のうち重要な作業動作やその評価基準を作業支援可能な訓練用コンテンツに反映することができるものとなっている。

また、本実施形態のコンテンツ作成システムで作成した訓練用コンテンツを用いる本実施形態のコンテンツ提示システムは、作業対象機器の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者Ｒ２に提示し、仮想現実または拡張現実の模擬作業空間内で作業手順に従って模擬作業を実行させるものであり、３次元形状情報を含む訓練用コンテンツを記憶するストレージ４６および訓練用コンテンツを訓練者Ｒ２に提示可能に出力する表示部４３を有する句連支援端末４と、作業手順に則した作業を予め実行する模範作業者Ｒ１の作業の３次元動作を測定情報として取得し、作業対象物の３次元形状に対する３次元作業動作の距離情報に基づいて一連の作業のうち特定段階の作業動作についての評価基準情報を作成する作業管理サーバ２と、訓練者Ｒ２の訓練のための模擬作業中の３次元作業動作を測定情報として取得するとともに、その模擬作業中の特定段階の３次元作業動作を前述の評価基準情報に基づいて評価し、その評価の結果を情報出力する作業評価装置としての制御部４４およびメモリ４５とを備えるものとなっている。

次に、動作について説明する。

本実施形態のコンテンツ作成システムを含む作業提示システムにおいては、図９に示すように、作業管理サーバ２から作業情報収集端末１に模範作業の情報収集のための作業指示が出され（ステップＳ１１）、作業情報収集端末１側で作業記録の開始が検出されると（ステップＳ２１でＹｅｓ）、作業手順に従った作業者の活動情報が、作業情報収集端末１のストレージ１６に記録される（ステップＳ２２）。

次いで、作業記録の開始が検出された時点から各段階の作業動作の記録が終了したことが、動作分析やスイッチ操作入力、音声入力等で検出されると（ステップＳ２３でＹｅｓ）、作業記録の情報が、作業情報収集端末１から作業管理サーバ２に送信され（ステップＳ２４）、作業管理サーバ２のストレージ２６に作業動作記録として保存される（ステップＳ１２）。

図１０に示すように、次いで、作業管理サーバ２から訓練管理サーバ３に作業動作記録が配信されると（ステップＳ３１）、訓練管理サーバ３のストレージ３６に記録されている既存マニュアルが読み込まれ（ステップＳ４１）、その既存の訓練マニュアルコンテンツの記載事項に作業管理サーバ２からの作業指示コンテンツの内容を反映した、すなわち、模範作業とそのノウハウ、注意点等に加えて、前述の特定段階の作業動作の評価基準を含めたマニュアルコンテンツが、訓練管理サーバ３の生成部３５ａにより生成される（ステップＳ４２）。

次いで、生成されたマニュアルコンテンツが訓練管理サーバ３の表示部３３に、あるいは更に作業管理サーバ２の表示部２３に表示され（ステップＳ４３）、変更点がユーザである管理者に承認されると（ステップＳ４４でＹｅｓの場合）、生成されたマニュアルコンテンツがストレージ３６に保存される（ステップＳ４５）。

図１１に示すように、次いで、訓練管理サーバ３から訓練支援端末４に訓練コンテンツが配信されると（ステップＳ５１）、訓練支援端末４ではその訓練コンテンツが実行開始され、作業手順に則した各段階の作業動作が、支援情報と併せて訓練者に知覚可能に提示される。

次いで、作業手順のうち特定段階の作業動作を実行させる訓練支援画面になると（ステップＳ６２でＹｅｓの場合）、特定段階の作業動作についての評価基準に基づく判定処理が実行される（ステップＳ６３）。

次いで、作業手順のうち特定段階の作業動作を実行させる訓練支援画面が終了すると（ステップＳ６４でＹｅｓの場合）、訓練結果が保存されるとともに（ステップＳ６５）、その訓練結果が訓練支援端末４から訓練管理サーバ３に送信される（ステップＳ６６）。

そして、その訓練結果の内容に応じて、訓練管理サーバ３により少なくとも訓練実績情報を含めるように更新され、さらには、一定数以上の訓練実績や外部からの更新情報を考慮して、必要な更新処理が実行される（ステップＳ５２）。

このような訓練が行われる際には、図１２（ａ）に例示するように、訓練支援端末４にて予め「訓練を開始します。必要なセンサを取り付けて下さい。」との開始のメッセージ表示および音声出力が実行され、訓練結果が訓練支援端末４から訓練管理サーバ３に送信されるときには、図１２（ｂ）に例示するように、訓練支援端末４にて腕の動作や視線の動き等についての判定結果表示画面が表示される。

このように、本実施形態においては、模範作業者Ｒ１の所定の身体動作、例えば「ここは重要な作業」という音声が検出されると、特定段階の作業動作がその３次元距離情報として作業時間と関連付けて把握され、その距離情報に基づいて、３次元作業動作の測定情報に基づく訓練者Ｒ２の所定の作業手順の作業についての評価基準情報が作成される。

したがって、作業手順上で重要な特定段階の始期やその時間を把握するために測定する身体動作を、例えば特定の言葉を発する声、手の動き、視線の変化、首の動き等として設定することで、模範作業者の保有するノウハウや危険回避の手法等が現れる特定段階の作業動作が自動的に定量的に把握可能となり、重要な作業動作の明確化によりコンテンツ作成工数の削減に貢献でき、しかも評価基準情報により訓練結果の判定にも有効活用可能な訓練用コンテンツを作成できるコンテンツ作成システムとなる。

また、本実施形態では、評価基準作成装置としての作業管理サーバ２は、模範作業者の所定の身体動作を、音声情報または画像情報の変化または３次元測定情報の変化として検出するようにしているので、模範作業中の重要なあるいは注意すべき作業動作の的確な測定情報を、熟練者等の模範作業者Ｒ１の視線や発言、手先の動き等から適時に精度良く取得でき、重要な作業動作の特定に要する工数が確実に削減されるとともに、その効果的な評価基準情報の作成が可能なものとなる。

以上のように、本実施形態においては、熟練者等による模範作業のうち重要な作業動作やその評価の基準を訓練用コンテンツに容易にかつ確実に反映し、コンテンツ作成工数の削減に貢献できるとともに、訓練結果判定に有効活用可能なコンテンツを作成できるコンテンツ作成システムを提供することができる。

そして、このコンテンツ作成システムで作成した訓練用コンテンツを用いる本実施形態のコンテンツ提示システムは、作業手順上で重要な特定段階の作業動作が３次元動作情報として明確化されるとともに、その特定段階の作業動作の始期やその時間が把握可能となり、模範作業者Ｒ１の保有するノウハウや危険回避の手法等が現れる特定段階の作業動作について、訓練者Ｒ２の模擬作業動作を定量的に把握しつつ評価基準情報により的確に判定でき、訓練用コンテンツを訓練結果の判定に有効活用することができるものとなる。

なお、本実施形態の作業管理サーバ２は、既存のマニュアルコンテンツを予め記録したものとし、特定の身体動作の検出直後に、現場作業の熟練者である模範作業の特定の作業動作を、その音声、動作、視線などの変化として記録するものとしたが、既存のマニュアルコンテンツを持たない状態から、入力される各段階の作業情報収集端末１からの記録情報に基づいて訓練マニュアルや事前訓練マニュアルを作成することもできる。

勿論、前述の一実施形態のように、コンテンツ生成装置は、模範作業者の所定の身体動作が検出されたときに、既存の訓練用コンテンツをその作業手順における特定段階の作業動作について、評価基準情報により評価可能に更新処理することができる。

また、訓練支援端末４は、マニュアルコンテンツの実行時に、特定段階の作業動作についてのみ、訓練者と模範作業者の作業動作を比較して、その訓練結果の作業能力判定を行うようにしていたが、特定段階の作業動作についての評価判定基準に基づく合否判定を行い、模擬作業による訓練全体の結果判定を行うことができることはいうまでもない。

そのようにしても、熟練者の作業を習熟度合いの判定基準として、訓練マニュアルを作成・更新でき、マニュアル作成コスト削減、および明文化されていなかったノウハウを明確化することができる。

以上の説明のように、本発明は、模範作業のうち重要な作業動作やその評価の基準を訓練用コンテンツに容易にかつ確実に反映し、コンテンツ作成工数の削減に貢献できるコンテンツ作成システムを提供でき、併せて、訓練結果判定に有効活用可能なコンテンツを作成できるコンテンツ作成システムを提供することができる。このような本発明は、模擬作業を実行させるための３ＤＣＧを含む訓練用コンテンツを作成するコンテンツ作成システムに全般に有用である。

１ 作業情報収集端末（動作測定装置、現場作業支援端末）
２ 作業管理サーバ（評価基準作成装置）
３ 訓練管理サーバ（コンテンツ作成装置）
４ 訓練支援端末（コンテンツ出力装置）
１１ａ、４１ａ 音声取得部
１１ｂ、４１ｂ 映像取得部
１２、４２ 動作取得部
１３、２３、３３ 表示部
１４、２４、３４ 制御部
１５、２５、３５ メモリ
１５ａ、４５ａ 音声記録処理部
１５ｂ、４５ｂ 映像記録処理部
１５ｃ、４５ｃ 動作記録処理部
１５ｄ、４５ｄ 情報送受信処理部
１６、２６、３６ ストレージ
１６ａ 作業情報記録データベース
１６ｂ 作業動作記録データベース
１７、２７、３７、４７ 通信部
１８、２８、３８、４８ 電源供給部
１９、２９、３９、４９ バス
２５ａ 画像認識処理部
２５ｂ 音声認識処理部
２５ｃ 情報重畳処理部
２５ｄ、３５ｄ 情報送受信処理部
２５ｅ、３５ｅ 作業指示コンテンツ作成処理部
２６ａ 作業情報管理データベース
２６ｂ、３６ｂ 作業手順管理データベース
２６ｃ、３６ｃ 作業動作記録データベース
３５ａ 生成部
４３ 表示部（出力部）
４４ 制御部（作業評価装置）
４５ メモリ（作業評価装置）
４５ｆ 音声判定処理部
４５ｇ 映像判定処理部
４５ｈ 動作判定処理部
４６ ストレージ（記憶部）
４６ａ 訓練情報記録データベース
４６ｃ 訓練動作記録データベース
Ｒ１ 模範作業者（熟練者）
Ｒ２ 訓練者

Claims (5)

1. 作業対象機器の３次元形状の情報と作業手順に基づく訓練用コンテンツを訓練者（Ｒ２）に提示し、仮想現実または拡張現実の模擬作業を実行させるための訓練用コンテンツを作成するコンテンツ作成システムであって、
   前記作業手順の作業を実行する模範作業者（Ｒ１）の３次元作業動作を測定情報として取得する動作測定装置（１）と、
   前記３次元作業動作の測定情報に基づいて前記作業手順の作業についての評価基準情報を作成する評価基準作成装置（２）と、
   前記３次元作業動作の測定情報および前記評価基準情報および前記作業対象機器の３次元形状の情報に基づいて前記訓練用コンテンツを作成し更新するコンテンツ作成装置（３）と、を備え、
   前記評価基準作成装置は、前記模範作業者の所定の身体動作を検出するとともに、該所定の身体動作が検出されたことを条件に、前記作業対象機器の３次元形状に対する前記作業手順の特定段階の３次元作業動作の距離情報に基づいて、前記評価基準情報を作成することを特徴とするコンテンツ作成システム。
2. 前記評価基準作成装置は、前記模範作業者の前記所定の身体動作を所定の視線、音声および３次元動作のうちいずれかの変化として検出し、該所定の身体動作に続く音声情報または視野画像情報の変化または３次元測定情報の変化として前記作業手順の特定段階の３次元作業動作を検出することを特徴とする請求項１に記載のコンテンツ作成システム。
3. 前記評価基準作成装置は、前記模範作業者の前記所定の身体動作を検出したとき、前記特定段階の作業動作を、前記模範作業者の特定の注目部位の３次元の変位および時間を含む測定情報としてモニタすることを特徴とする請求項１または２に記載のコンテンツ作成システム。
4. 前記コンテンツ作成装置は、前記模範作業者の前記所定の身体動作が検出されたとき、前記訓練用コンテンツを前記特定段階の作業動作について前記評価基準情報により評価可能に更新することを特徴とする請求項１ないし３のいずれか一項に記載のコンテンツ作成システム。
5. 作業対象機器の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者（Ｒ２）に提示し、仮想現実または拡張現実の模擬作業空間内で前記作業手順に従って模擬作業を実行させるコンテンツ提示システムであって、
   前記３次元形状情報を含む前記訓練用コンテンツを記憶する記憶部（４６）および前記訓練用コンテンツを前記訓練者に提示可能に出力する出力部（４３）を有するコンテンツ出力装置（４）と、
   前記模擬作業を予め実行する模範作業者の３次元作業動作を測定情報として取得するとともに前記模範作業者の所定の身体動作を検出し、該所定の身体動作が検出されたことを条件に、前記作業対象機器の３次元形状に対する前記３次元作業動作の距離情報に基づいて、前記作業手順の特定段階の作業動作についての評価基準情報を作成する評価基準作成装置（２）と、
   前記訓練者の前記模擬擬作業中の３次元作業動作を測定情報として取得するとともに、前記模擬作業中の前記特定段階の３次元作業動作を前記評価基準情報に基づいて評価し、該評価の結果を情報出力する作業評価装置（４４、４５）と、を備えることを特徴とするコンテンツ提示システム。

Images