JP7210169B2 - コンテンツ提示システムおよびコンテンツ提示方法 - Google Patents

Description

本発明は、現場の作業者や訓練者にコンテンツを提示するコンテンツ提示システムおよびコンテンツ提示方法に関する。

作業者が現場で保守・点検等の作業（現場作業）を行う前に、作業者に所要の技能・知識を習得させるための訓練が行われている。通常、訓練は、講師が現場作業における危険個所やチェックすべきポイントを説明する集合教育の形式で行われる。訓練では、実際に作業対象となる機器を使って講師が説明することもある。

一方、現場作業では、作業手順の情報、作業対象機器の情報、使用する作業工具の情報など、様々な情報が必要となる。現場で作業する作業者に必要な情報を提供して現場作業を支援する支援システムは既に知られている（例えば、特許文献１参照）。

特許文献１には、現場業務、異常事態への対処、現場作業者の訓練を総合的に支援するシステムが開示されている。具体的には、現場業務を支援する情報と現場業務に想定される異常事態に関する情報を備えるデータベースを利用して、現場作業や訓練を行うようになっている。

現場作業では予期せぬ事故が発生したり、作業を失敗することもある。現場で発生した事故や作業の失敗は、報告書などで訓練現場にフィードバックされている。そして、報告書に記載の事故や失敗の情報をデータベースに蓄積し、作業者が利用できるようにしている。

特開２００１－３３１２１６号公報

しかしながら、特許文献１に記載の従来の支援システムにあっては、現場作業で発生した失敗等を効率的に訓練コンテンツに反映することは何ら考慮されていなかった。また、従来の支援システムでは、訓練コンテンツを作成した後に、現場に導入された機器の仕様や現場環境が変わった場合、訓練コンテンツをメンテナンスすることに多くの工数がかかっていた。

本発明は、上述のような課題を解決するためになされたものであり、現場作業で発生した失敗等を訓練コンテンツに効率的に反映することができ、訓練コンテンツのメンテナンスが容易なコンテンツ提示システムおよびコンテンツ提示方法を提供することを目的とする。

本発明に係るコンテンツ提示システムは、上記目的を達成するため、作業対象機器の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者（３）に提示し、前記作業対象機器の３次元形状情報を基に拡張現実を用いて作業手順を提示するコンテンツ提示システム（１）であって、前記作業対象機器の３次元形状情報を含む前記訓練用コンテンツおよび前記作業手順の作業動作についての評価基準情報を記憶する記憶部と前記訓練用コンテンツを前記訓練者に提示可能に出力する出力部とを有する第１のコンテンツ出力装置（４３０）と、前記作業対象機器の３次元形状情報を基に拡張現実による作業手順を示す第２のコンテンツ出力装置（３３０）と、現場の作業者（２）の作業中の３次元動作を少なくとも身体動作の測定情報として取得する動作測定装置（１１７）と、前記作業動作の測定情報に基づいて前記作業動作を評価するための評価基準情報を基に作業の成否を判定する判定装置（３３５）と、前記作業動作の測定情報および前記判定装置の判定結果に基づいて前記訓練用コンテンツを作成および更新するコンテンツ作成装置（３４０）と、を備え、前記判定装置は、前記動作測定装置からの前記測定情報に基づいて前記作業者の所定の身体動作が検出されたとき、該身体動作に及ぶまでの模範作業者の前記作業中の特定段階の作業動作の測定情報を基に前記作業が失敗か否かを判定し、前記コンテンツ作成装置は、前記判定装置での判定結果が前記作業の失敗であると判定されたとき、前記失敗の要因を抑制するよう前記訓練用コンテンツを更新することを特徴としている。

上述のように、本コンテンツ提示システムは、動作測定装置が、現場の作業者の作業中の３次元動作を少なくとも身体動作の測定情報として取得し、判定装置が、作業動作の測定情報に基づいて作業動作を評価するための評価基準情報を基に、作業が失敗か否かを判定する。そして、作業が失敗であると判定されたとき、コンテンツ作成装置が、失敗の要因を抑制するように訓練用コンテンツを更新する。すなわち、作業現場と訓練が効率的かつ有機的に連携できるシステムとなっている。

具体的には、判定装置は、動作測定装置からの測定情報に基づいて作業者の所定の身体動作が検出されたとき、該身体動作に及ぶまでの模範作業者の作業中の特定段階の作業動作の測定情報を基に作業が失敗か否かを判定する。そして、コンテンツ作成装置または第１のコンテンツ出力装置は、判定装置での判定結果が作業の失敗であると判定されたとき、失敗の要因を抑制するよう訓練用コンテンツを更新する。

この構成により、判定結果が作業の失敗であると判定されたとき失敗の要因を抑制するよう訓練用コンテンツを更新するため、現場作業で発生した事故、手順ミス、使用工具の間違いなどの作業の失敗（以下、失敗と総称する）を、訓練教育で使用している訓練コンテンツに効率的に反映することができ、訓練コンテンツのメンテナンスも容易になる。

また、本発明のコンテンツ提示システムでは、前記判定装置は、前記動作測定装置からの前記作業者の前記作業手順に従った前記作業の測定情報を、前記模範作業者による前記作業の測定情報と比較して、両作業動作の整合度合を判定し、前記コンテンツ作成装置は、前記判定装置の判定結果に応じて、前記整合度合を高めるよう前記訓練用コンテンツを更新するようにしてもよい。

この構成により、模範作業者の作業動作を効果的に訓練者に教えるように、訓練コンテンツを更新することができる。

また、本発明のコンテンツ提示システムでは、前記判定装置は、前記特定段階の作業動作について前記整合度合が所定値以下であると判定されたとき、前記特定段階の作業動作に対応する前記作業者の特定部位の３次元の変移および作業時間を含む測定情報を基に前記作業の失敗か否かを判定するようにしてもよい。

この構成により、作業者の作業の失敗を確実に検知することができるので、訓練コンテンツに効率的に反映することができる。

また、本発明のコンテンツ提示システムは、前記作業者が用いる作業者端末（１０）と管理サーバ（３０、４０）とをさらに含み、前記動作測定装置が前記作業者端末に備えられ、前記第１のコンテンツ出力装置、前記第２のコンテンツ出力装置、前記判定装置、および前記コンテンツ作成装置が、それぞれ前記作業者端末にネットワーク接続される前記管理サーバで構成されていてもよい。

この構成により、作業現場と訓練現場が離れている場合であっても、作業者の作業の失敗の情報を訓練コンテンツに効率的に反映することができる。

また、本発明のコンテンツ提示方法は、作業者端末（１０）と該作業者端末に接続された管理サーバ（３０、４０）とを含むコンテンツ提示システムを用いて、作業対象機器の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者（３）に提示し、前記作業対象機器の３次元形状情報を基に拡張現実を用いて作業手順を提示するコンテンツ提示方法であって、前記管理サーバが、前記作業対象機器の３次元形状情報を含む前記訓練用コンテンツおよび前記作業手順の作業動作についての評価基準情報を記憶するとともに、前記訓練用コンテンツを前記訓練者に提示可能に出力する第１のコンテンツ出力ステップと、前記管理サーバが、前記作業対象機器の３次元形状情報を基に拡張現実による作業手順を示す第２のコンテンツ出力ステップと、前記作業者端末が、現場の作業者（２）の作業中の３次元動作を少なくとも身体動作の測定情報として取得する動作測定ステップと、前記管理サーバが、前記作業動作の測定情報に基づいて前記作業動作を評価するための評価基準情報を基に、作業の成否を判定する判定ステップと、前記管理サーバが、前記作業動作の測定情報および前記判定ステップの判定結果に基づいて前記訓練用コンテンツを作成および更新するコンテンツ作成ステップと、を備え、前記判定ステップでは、前記動作測定ステップで取得された前記測定情報に基づいて前記作業者の所定の身体動作が検出されたとき、該身体動作に及ぶまでの模範作業者の前記作業中の特定段階の作業動作の測定情報を基に前記作業が失敗か否かを判定し、前記コンテンツ作成ステップでは、前記判定ステップでの判定結果が前記作業の失敗であると判定されたとき、前記失敗の要因を抑制するよう前記訓練用コンテンツを更新することを特徴としている。

この構成により、判定結果が作業の失敗であると判定されたとき失敗の要因を抑制するよう訓練用コンテンツを更新するため、現場作業の失敗（例えば、手順ミス、使用工具の間違い、事故、作業の失敗など）の情報を、訓練教育で使用している訓練コンテンツに効率的に反映することができ、訓練コンテンツのメンテナンスも容易になる。

本発明によれば、現場作業で発生した失敗を効率的に訓練コンテンツに反映することができ、訓練コンテンツのメンテナンスが容易なコンテンツ提示システムを提供することができる。

本発明の実施形態に係るコンテンツ提示システムの構成図である。 本発明の実施形態に係るコンテンツ提示システムのネットワーク接続された構成図である。 図１に示される作業者端末の構成図である。 図１に示される訓練者端末の構成図である。 図１に示されるシステム管理サーバの構成図である。 図１に示される訓練コンテンツ管理サーバの構成図である。 図３に示される作業行動情報記録データベースの構成図である。 図３に示される作業者情報記録データベースの構成図である。 図３に示される作業対象機器情報記録データベースの構成図である。 図４に示される訓練端末データベースの構成図である。 図５に示される作業分析結果データベースの構成図である。 図６に示される訓練コンテンツデータベースの構成図である。 本発明の実施形態に係るコンテンツ提示システムを用いて行う現場作業のシーケンス図である。 本発明の実施形態に係るコンテンツ提示システムを用いて行う作業分析処理のシーケンス図である。 本発明の実施形態に係るコンテンツ提示システムを用いて行う訓練のシーケンス図である。 本発明の実施形態に係るコンテンツ提示方法を説明するフローチャートである。 作業者端末の画面の表示例（正常時）を示す説明図である。 作業者端末の画面の表示例（異常時）を示す説明図である。 訓練者端末の画面の表示例（正常時）を示す説明図である。 訓練者端末の画面の表示例（異常時）を示す説明図である。

以下、本発明の実施形態に係るコンテンツ提示システムについて、図面を参照して説明する。

本実施形態に係るコンテンツ提示システム１は、現場で機器の保守・点検等の作業を行う作業者２や訓練現場の訓練者３に作業手順などの必要な情報を提示するとともに、訓練者３に訓練コンテンツを提示するシステムである。

具体的には、コンテンツ提示システム１は、作業を行う対象の機器（作業対象機器）４の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者３に提示するようになっている。また、コンテンツ提示システム１は、現場の作業者２や訓練者３に、作業対象機器４やそれに対応する訓練対象機器５の３次元形状情報を基に拡張現実を用いて作業手順を提示するようになっている。

図１は、本発明の実施形態に係るコンテンツ提示システム１の構成を示す構成図である。図２は、ネットワーク接続されたコンテンツ提示システム１の構成図である。図１および図２に示すように、コンテンツ提示システム１は、作業者端末１０と、訓練者端末２０と、システム管理サーバ３０と、訓練コンテンツ管理サーバ４０とを備え、それらがネットワーク８、９を介して接続されている。

本発明の実施形態に係るコンテンツ提示システム１は、ネットワークを介さない構成であってもよく、また、システム管理サーバ３０と訓練コンテンツ管理サーバ４０とが統合されて１つの管理サーバを構成するようにしてもよい。

（作業者端末）
まず、作業者端末１０について説明する。
作業者端末１０は、例えば、ヘッドマウントディスプレイ（ＨＭＤ）、スマートフォン、タブレット端末などである。また、作業者端末１０は、作業者２に取り付けられた生体センサから生体情報を取得するようになっている。生体情報としては、例えば、心拍数、血圧、体温、発汗量などが挙げられる。

図３は、作業者端末１０の構成を示す構成図である。
図３に示すように、作業者端末１０は、制御部１００、各種処理プログラムを格納したメモリ１０１、各種データベースを格納した端末内部ストレージ１０２、通信部１０７、録音部１０６、録画部１０５、表示部１０３、音声出力部１０４、認証部１０８、空間認識部１０９、位置検出部１１０、外部機器接続部１１１、および電源供給部１１２を備えている。

制御部１００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、その機能の一部または全部は、メモリ１０１に記憶された各種処理プログラムをＣＰＵで実行することにより実現することができる。

通信部１０７は、ネットワークを介してシステム管理サーバ３０および訓練コンテンツ管理サーバ４０と通信を行うようになっている。

録音部１０６は、マイクを備え、作業時の作業者２の音声、作業対象機器４から発する音、周囲の音などを録音するようになっている。

録画部１０５は、カメラまたはビデオカメラを備え、例えば、作業対象機器４と作業者２の腕が映り込むようにして、作業を録画するようになっている。

表示部１０３は、作業手順を含んだ作業コンテンツを、拡張現実の技術により表示するものであり、具体的には、ヘッドマウントディスプレイ（ＨＭＤ）、スマートフォン、タブレット端末など表示部で構成される。

音声出力部１０４は、スピーカを備え、例えば、作業手順を含んだ作業コンテンツを拡張現実の技術により表示部１０３に表示する際に併せて、または単独で、作業者２に対して音声により作業手順を案内したり、音声により注意喚起をするようになっている。

認証部１０８は、公知の認証方法を用いて作業者２の利用資格を確認するものであり、利用資格を有する作業者２のみが作業者端末１０を利用できるようになっている。

空間認識部１０９は、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサを備え、作業対象機器４と作業者２との距離を測定することにより、作業対象機器４に対する作業者２の空間的な位置関係を検知するようになっている。これにより、例えば、作業者２と作業対象機器４との接触を検知できるようになっている。

位置検出部１１０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）により作業者端末１０の位置を検出できるようになっている。

外部機器接続部１１１は、必要に応じて、例えば、モニター装置、プリンタ装置、外部記憶装置などの外部機器と接続するようになっている。

電源供給部１１２は、作業者端末１０を駆動するのに必要な電力を供給するようになっている。

メモリ１０１には、映像記録処理部１１３、音声記録処理部１１４、情報重畳処理部１１５、情報送受信処理部１１６、３次元動作検出処理部１１７、位置情報処理部１１８、空間認識処理部１１９、画像認識部１２１、ユーザ生体情報取得部１２２、および現場判定部１２７を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部１００のＣＰＵにより実行されることにより、それぞれの処理機能を実現できるようになっている。

映像記録処理部１１３は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、録画部１０５を駆動、制御して作業の映像を記録（録画）する処理を実行するようになっている。

音声記録処理部１１４は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、録音部１０６を駆動、制御して作業中の音声を記録する処理を実行するようになっている。

情報重畳処理部１１５は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、例えば、拡張現実の画面において作業手順の情報を重畳して表示する処理を実行するようになっている。

情報送受信処理部１１６は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、通信部１０７を駆動、制御してシステム管理サーバ３０または訓練コンテンツ管理サーバ４０と情報を送受する処理を実行するようになっている。また、作業者２に取り付けられた生体センサが無線通信機能を有し、生体情報を送信できる場合には、情報送受信処理部１１６が通信部１０７を駆動、制御して生体センサから送信された作業者２の生体情報を受信するようにしてもよい。

３次元動作検出処理部１１７は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、作業映像、画像認識結果、空間認識結果、作業対象機器４の３次元形状情報などにより、現場の作業者２の作業中の３次元動作を測定、検出する処理を実行するようになっている。３次元動作は、例えば、作業者２の身体の特定部位（腕、手首など）の特徴点（関節、指先など）についての、３次元空間内の位置の変移の情報として検出できる。なお、３次元動作検出処理部１１７が本発明の動作測定装置に対応する。

位置情報処理部１１８は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、位置検出部１１０を駆動、制御して作業者端末１０の位置を検出する処理を実行するようになっている。

空間認識処理部１１９は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、空間認識部１０９を駆動、制御して作業対象機器４と作業者２との距離を測定する処理を実行するようになっている。

画像認識部１２１は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、録画部１０５により録画された画像に対し、画像認識処理を実行し、作業対象機器４や作業者２（腕、手首など）や作業工具６を認識できるようになっている。

ユーザ生体情報取得部１２２は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、作業者２に取り付けられた生体センサから作業者２の生体情報を取得できるようになっている。

現場判定部１２７は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、現場での作業者２の作業の３次元動作が、対応する手順での基準の３次元動作から乖離しているか否かを判定するようになっている。基準の３次元動作は、模範作業者が作業を行ったときの３次元動作であり、事前に測定し情報を取得しておく。また、現場判定部１２７が、基準の３次元動作に比べて現場作業における作業者２の３次元動作の乖離が大きいと判定したとき、作業者端末１０の表示部１０３に注意喚起の表示を行うようにしてもよい。

端末内部ストレージ１０２には、作業行動情報記録データベース１２３、作業者情報記録データベース１２４、および作業対象機器情報記録データベース１２５が格納されている。

図７は、作業行動情報記録データベース１２３の構成を示す構成図である。図７に示すように、作業行動情報記録データベース１２３の各レコード（行）に記録される項目は、作業者Ｎｏ、観察部位（特定部位）、作業Ｎｏ、手順Ｎｏ、正常動作Ｎｏ、記録録画、記録音声、動作整合度、作業位置変移、および作業時間である。

作業者Ｎｏは、各作業者に一意に割り当てられた識別番号である。観察部位は、例えば、作業者２の腕、手首、足などであり、作業内容により観察すべき部位が定められる。作業Ｎｏは、作業を特定するために一意に割り当てられた番号である。手順Ｎｏは、作業Ｎｏで特定される作業についての作業手順のうち、どの手順かを特定する番号である。正常動作Ｎｏは、正常動作（基準動作）を特定するために一意に割り当てられた番号である。

記録動画は、作業を記録した動画ファイル名が記載されており、システム管理サーバ３０のストレージ３０２等に別途保存された記録動画にアクセスできるようになっている。記録音声は、作業時に音声を記録した音声ファイル名が記載されており、システム管理サーバ３０のストレージ３０２等に別途保存された記録音声にアクセスできるようになっている。

動作整合度は、模範作業者の３次元動作を３次元基準動作（正常動作）とし、３次元基準動作に対して作業者の３次元動作がどの程度整合しているかを示す指標である。作業位置変移は、動作整合度の低い対象の動作に対して、観察部位の特徴点の位置変移を記録したものである。例えば、図７において、上から３番目のレコード（行）と７番目のレコード（行）は動作整合度がそれぞれ２０％と６０％となっており、他と比較して低いことが分かる。このような場合に、観察部位である作業者２の腕の特徴点の位置変移を記録しておく。作業時間は、作業に要した時間である。

作業行動情報記録データベース１２３には、作業者２が作業Ｎｏと手順Ｎｏで特定される作業を行うごとに、レコード（行）データが追加されるようになっている。

図８は、作業者情報記録データベース１２４の構成を示す構成図である。図８に示すように、作業者情報記録データベース１２４の各レコード（行）に記録される項目は、作業者Ｎｏ、作業Ｎｏ、手順Ｎｏ、心拍数、血圧、体温、発汗、作業時間である。

作業者Ｎｏ、作業Ｎｏ、手順Ｎｏ、作業時間は、作業行動情報記録データベース１２３と同じである。心拍数、血圧、体温、発汗は、作業者２に取り付けられた生体センサから取得した情報である。

作業全体の平均値と比較して大きく乖離している項目を見つけることにより、事故や失敗の発生した作業を抽出することができる。例えば、図８の上から３番目のレコード（行）は、他と比べて、心拍数、血圧、発汗が多いことが分かる。また、上から７番目のレコード（行）は、体温が他と比べて低いことが分かる。これらの情報から、事故や失敗の発生した作業および原因（人為的な原因か否か等）を推定することができる。

作業者情報記録データベース１２４には、作業者２が作業Ｎｏと手順Ｎｏで特定される作業を行うごとに、レコード（行）データが追加されるようになっている。

図９は、作業対象機器情報記録データベース１２５の構成を示す構成図である。図９に示すように、作業対象機器情報記録データベース１２５の各レコード（行）に記録される項目は、作業者Ｎｏ、観察機器、作業Ｎｏ、手順Ｎｏ、正常動作Ｎｏ、記録動画、記録音声、動作整合度、およびモデルである。

作業者Ｎｏ、作業Ｎｏ、手順Ｎｏ、正常動作Ｎｏ、記録動画、記録音声、動作整合度は、作業行動情報記録データベース１２３と同じである。

観察機器は、作業Ｎｏの手順Ｎｏで特定される作業の対象となる機器あるいは観察対象となる機器（例えば、ねじ、ワイヤ、カバー、ハンドル、キーボードなど）を示す。モデルは、作業対象機器４の３次元形状情報を含んだ３Ｄモデルファイル名が記載されており、端末内部ストレージ１０２等に別途保存された３Ｄモデルファイルにアクセスできるようになっている。３Ｄモデルファイルは、システム管理サーバ３０のストレージ３０２や、訓練コンテンツ管理サーバ４０の訓練コンテンツストレージ４０２に格納しておいてもよいし、いずれかのストレージに格納し、他で使用する場合は転送するようにしてもよい。

作業対象機器情報記録データベース１２５の各レコード（行）には、作業者端末１０で取得された情報が格納されている。また、作業対象機器情報記録データベース１２５の各レコード（行）には、作業者端末１０の表示部１０３などに配信する情報も格納されている。

作業対象機器情報記録データベース１２５には、作業者２が作業Ｎｏと手順Ｎｏで特定される作業を行うごとに、レコード（行）データが追加されるようになっている。

（訓練者端末）
次に訓練者端末２０について説明する。
訓練者端末２０は、例えば、ヘッドマウントディスプレイ（ＨＭＤ）、スマートフォン、タブレット端末などである。また、訓練者端末２０は、訓練者３に取り付けられた生体センサから訓練者３の生体情報を取得するようになっている。生体情報としては、例えば、心拍数、血圧、体温、発汗量などが挙げられる。

図４は、訓練者端末２０の構成を示す構成図である。
図４に示されるように、訓練者端末２０は、制御部２００、各種処理プログラムを格納したメモリ２０１、各種データベースを格納した訓練コンテンツストレージ２０２、通信部２０７、録音部２０６、録画部２０５、表示部２０３、音声出力部２０４、認証部２０８、空間認識部２０９、位置検出部２１０、外部機器接続部２１１、および電源供給部２１２を備えている。

訓練者端末２０の制御部２００、各種処理プログラムを格納したメモリ２０１、通信部２０７、録音部２０６、録画部２０５、表示部２０３、音声出力部２０４、認証部２０８、空間認識部２０９、位置検出部２１０、外部機器接続部２１１、および電源供給部２１２は、作業者端末１０の対応する構成要素と同じ機能を有するので、詳細な説明は省略する。

メモリ２０１には、映像記録処理部２１３、音声記録処理部２１４、情報重畳処理部２１５、情報送受信処理部２１６、３次元動作検出処理部２１７、位置情報処理部２１８、空間認識処理部２１９、画像認識部２２１、ユーザ生体情報取得部２２２、および現場判定部２２７を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部２００のＣＰＵにより実行されることにより、それぞれの処理機能を実現できるようになっている。上記処理プログラムは、作業者端末１０の対応する処理プログラムと同様の機能を実現するので、詳細な説明は省略する。

訓練コンテンツストレージ２０２には、訓練行動情報記録データベース２２３、訓練者情報記録データベース２２４、訓練対象機器情報記録データベース２２５、および訓練端末データベース２２６が備えられている。

訓練行動情報記録データベース２２３、訓練者情報記録データベース２２４、訓練対象機器情報記録データベース２２５については、作業者が訓練者に代わった点を除き、作業者端末１０の対応するデータベース構造と同じであるので、詳細な説明は省略する。

図１０は、訓練端末データベース２２６の構成を示す構成図である。図１０に示すように、訓練端末データベース２２６の各レコード（行）に記録される項目は、作業者Ｎｏ、対象機器、対象部位、手順Ｎｏ、表示仕様定義Ｎｏ、表示内容、作業動画、作業音声である。

作業Ｎｏは、作業を特定するために一意に割り当てられた番号である。対象機器は、訓練で使用する機器（例えば、ねじ、ワイヤ、カバー、キーボードなど）を示す。対象部位は、例えば、作業者２の腕、手首などであり、作業内容によって定められる。手順Ｎｏは、作業Ｎｏで特定される作業についての作業手順のうち、どの手順かを特定する番号である。

表示仕様定義Ｎｏは、画面の表示仕様を定めた表示仕様定義を特定するために一意に割り当てられた番号である。表示内容は、例えば、注意喚起を行うのか、手順の説明を行うのか等の表示内容を示す。

作業動画は、訓練時に訓練者に提示する作業動画の動画ファイル名が記載されており、訓練コンテンツ管理サーバ４０のストレージ４０２等に別途保存された作業動画にアクセスできるようになっている。作業音声は、訓練時に訓練者に提示する作業音声を記録した音声ファイル名が記載されており、訓練コンテンツ管理サーバ４０のストレージ４０２等に別途保存された作業音声にアクセスできるようになっている。

訓練コンテンツ管理サーバ４０から、訓練に必要なデータだけが配信され、訓練端末データベース２２６に格納されるようになっている。

（システム管理サーバ）
次に、システム管理サーバ３０について説明する。

図５は、システム管理サーバ３０の構成図である。
図５に示すように、システム管理サーバ３０は、制御部３００、各種処理プログラムを格納したメモリ３０１、各種データベースを格納したストレージ３０２、通信部３０７、表示部３０３、認証部３０８、外部機器接続部３１１、電源供給部３１２、作業端末管理部３３０、作業分析／解析部３３５、および訓練コンテンツ管理部３４０を備えている。

なお、作業端末管理部３３０が本発明の第２のコンテンツ出力装置に対応し、作業分析／解析部３３５が本発明の判定装置に対応し、訓練コンテンツ管理部３４０が本発明のコンテンツ作成装置に対応する。

制御部３００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、システム管理サーバ３０の機能の一部または全部は、メモリ３０１に記憶された各種処理プログラムをＣＰＵで実行することにより実現することができる。

通信部３０７は、ネットワークを介して作業者端末１０および訓練コンテンツ管理サーバ４０と通信を行うようになっている。

表示部３０３は、液晶ディスプレイ等で構成され、作業者２の作業映像やシステムの管理状況等を表示できるようになっている。

認証部３０８は、公知の認証方法を用いてユーザの利用資格を確認するものであり、利用資格を有するユーザのみがシステム管理サーバ３０を利用できるようになっている。

外部機器接続部３１１は、必要に応じて、例えば、モニター装置、プリンタ装置、外部記憶装置などの外部機器と接続できるようになっている。

電源供給部３１２は、システム管理サーバ３０を駆動するのに必要な電力を供給するようになっている。

＜メモリ＞
メモリ３０１には、映像データ処理部３１３、音声データ処理部３１４、情報重畳処理部３１５、情報送受信処理部３１６、３次元データ処理部３１７、位置データ処理部３１８、空間データ処理部３１９、画像処理部３２１、および音声認識／解析部３２２を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部３００のＣＰＵにより実行されることにより、それぞれの処理機能を実現できるようになっている。

映像データ処理部３１３は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、作業者端末１０から送信された作業映像データに対して、各種データ処理を行うようになっている。

音声データ処理部３１４は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、作業者端末１０から送信された作業音声データに対して、各種データ処理を行うようになっている。

情報重畳処理部３１５は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、例えば、拡張現実の画面において作業手順の情報を重畳して表示する処理を実行するようになっている。

情報送受信処理部３１６は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、通信部３０７を駆動、制御して作業者端末１０または訓練コンテンツ管理サーバ４０と情報を送受する処理を実行するようになっている。

３次元データ処理部３１７は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、訓練コンテンツの作成、変更や作業記録の分析などにおいて、作業対象機器４の３次元形状情報を考慮しつつ、３次元データに対して、各種データ処理を実行するようになっている。例えば、作業者２の３次元動作を認識するためのデータ処理などを行う。

位置データ処理部３１８は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、作業者端末１０から送信された位置データに対して、各種データ処理を実行するようになっている。

空間データ処理部３１９は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、作業者端末１０から送信された空間（距離）データに対して、各種データ処理を実行するようになっている。

画像処理部３２１は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、画像認識等のデータ処理を実行するようになっている。画像認識により、例えば、作業対象機器４、作業者２の腕や手、作業工具６などを認識することができる。

音声認識／解析部３２２は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、作業者端末１０から送信された音声データに対して、音声認識等のデータ処理を実行するようになっている。音声認識により、例えば、作業者２の音声、作業対象機器４の発する音などを認識することができる。

＜作業端末管理部＞
作業端末管理部３３０は、作業コンテンツ配信部３３１、および機器状態管理部３３２を備えている。なお、作業端末管理部３３０が、本発明の第２のコンテンツ出力装置に対応している。

作業コンテンツ配信部３３１は、作業コンテンツを作業者端末１０に配信するようになっている。別言すれば、作業コンテンツ配信部３３１は、作業対象機器４の３次元形状情報を基に拡張現実により作業手順を現場の作業者２に提示するようになっている。作業コンテンツは、作業者端末１０の表示部１０３に作業現場の実際の映像の上に拡張現実を用いて重畳されて表示される映像と、音声出力部１０４より出力される音声とを含んで構成される。作業コンテンツは、映像だけでもよいし、音声だけでもよい。

具体的には、作業コンテンツは、例えば、作業者端末１０の表示部１０３への作業手順の説明の表示、注意喚起の表示、環境情報およびステータス情報の表示を含む。作業手順の説明としては、例えば「手順３：ワイヤーをねじで固定してください」という表示が挙げられる。環境情報としては、例えば現場環境の温度、湿度が挙げられる。ステータス情報としては、手順整合度、作業の進捗度、経過時間、作業者の体調などが挙げられる。

注意喚起の表示は、例えば「手順が間違っています！！」などであり、例えば、現場判定部１２７が、基準の３次元動作に比べて現場作業における作業者２の３次元動作の乖離が大きいと判定したとき、表示部１０３に表示するようにしてもよい。

機器状態管理部３３２は、作業対象機器４を含めて作業に関係する機器の仕様およびその状態、ならびに作業現場の環境に関する情報を記憶し、管理するようになっている。

＜作業分析／解析部＞
作業分析／解析部３３５は、作業行動記録集計部３３６、行動要因分析部３３７、作業記録分析部３３８、および分析結果出力部３３９を備えている。なお、作業分析／解析部３３５が本発明の判定装置に対応する。

作業行動記録集計部３３６は、作業者２による作業行動の記録を取得し、集計するようになっている。作業者２の作業行動の情報は、ストレージ３０２に格納された作業行動情報記録データベース３２３に記憶されている。

行動要因分析部３３７は、作業行動の要因、例えば作業の失敗の要因を分析するようになっている。作業の失敗の要因は、作業者の体調によるものか、体調に問題なければ、不注意によるものか、連絡ミスか、作業手順やマニュアルに問題があるのか、など様々な観点から分析する必要がある。作業の失敗の要因は、作業者２あるいはその監督者が分析して入力するようにしてもよい。

作業記録分析部３３８は、作業記録（作業行動情報、作業者情報、作業対象機器情報など）を、動作整合度、使用工具の適否、作業時間、作業対象機器との接触の有無、生体情報などの観点から分析し、作業の成否を判断するようになっている。

例えば、作業者端末１０の３次元動作検出処理部１１７からの作業者２の作業の測定情報を、模範作業者による作業の測定情報と比較して、両作業動作の整合度合を算出するようにしてもよい。

整合度合は、例えば、同一の作業について模範作業者の特定部位（腕、手首、足など）の特徴点（例えば関節部位）の３次元位置変移を基準に、作業者２の対応する特定部位の特徴点の３次元位置変移の基準からの乖離を算出することにより取得するようにしてもよい。整合度合は、動作の開始時や終了時で算出してもよいし、作業の開始時と終了時の間で所定間隔で数回算出するようにしてもよいし、その平均を算出してもよい。乖離が所定の基準値を超えた場合に、作業の失敗であると判定するようにしてもよい。

また、作業者２が使用する工具６を作業映像の画像認識により識別して、その作業に適した工具を使用しているか否かを判定するようにしてもよい。不適切な工具を使用している場合には、作業の失敗であると判定するようにしてもよい。

また、作業者２の作業映像の画像認識により、作業手順に従った作業をしているか否かを判定するようにしてもよい。手順ミス（順番の誤り）、手順抜けなど指示された作業手順に従っていないことが判明すると、作業の失敗であると判定するようにしてもよい。

また、作業者２の作業にかかった時間が、基準時間を超えると、作業の失敗であると判定するようにしてもよい。基準時間は、模範作業者の作業時間および他の作業者の作業時間を基に、例えば平均作業時間の２倍等に適宜に設定することができる。

また、作業対象機器４またはその一部が高温等の理由で接触不可の場合、作業者２の作業映像の画像認識により、作業者２または作業者２が使用する工具６が、作業対象機器４に接触したか否かを判定するようにしてもよい。この判定において、画像認識の情報に加えて、または単独で、作業者端末１０の空間認識部１０９が取得した空間データ（作業者２から作業対象機器４までの距離の情報）を利用して、接触判定をおこなってもよい。接触している場合には、作業の失敗であると判定するようにしてもよい。

分析結果出力部３３９は、作業記録の分析結果を作業分析結果データベース３２６等に出力するようになっている。

また、判定装置としての作業分析／解析部３３５は、記憶部を有し、現場での作業動作の測定情報に基づいて作業動作を評価するための評価基準情報を記憶している。評価基準情報は、作業を予め実行する模範作業者の作業動作を測定情報として取得し、該測定情報に基づき該作業のうち特定段階の作業動作について作成しておいてもよい。

具体的には、例えば、作業者端末１０の現場判定部１２７が、現場作業における作業者２の身体の３次元動作が基準の３次元動作から乖離していると判定した場合に、作業記録分析部３３８は、該身体動作に及ぶまでの模範作業者の該作業中の特定段階の作業動作の測定情報（すなわち評価基準情報）を基に該作業が失敗か否かを判定するようにしてもよい。作業者端末１０において、失敗した可能性の高い作業を選別し、その作業についてシステム管理サーバ３０の作業分析／解析部３３５が精密に作業の失敗か否かを判定することにより、効率的に失敗判定をすることができる。

＜訓練コンテンツ管理部＞
訓練コンテンツ管理部３４０は、訓練コンテンツ照合部３４１、および訓練コンテンツ作成／更新部３４２を備えている。なお、訓練コンテンツ管理部３４０が本発明のコンテンツ作成装置に対応する。

訓練コンテンツ照合部３４１は、作業分析を行った現場作業について、訓練コンテンツ管理サーバ４０に格納されている対応する訓練コンテンツと照合するようになっている。

訓練コンテンツ作成／更新部３４２は、訓練コンテンツ照合部３４１による照合の結果、作業分析を行った現場作業に対応する訓練コンテンツが無い場合、新たに訓練コンテンツを作成する。また、訓練コンテンツ作成／更新部３４２は、作業分析を行った現場作業に対応する訓練コンテンツが既に有る場合、分析・判定結果に基づく修正内容を反映させるように訓練コンテンツを変更する。

具体的には、訓練コンテンツ作成／更新部３４２は、作業分析／解析部３３５による判定結果が当該作業の失敗であると判定されたとき、失敗の要因を抑制するように訓練用コンテンツを更新するようになっている。訓練用コンテンツの更新は、訓練コンテンツ管理サーバ４０側の、例えば訓練コンテンツ管理部４４０や訓練端末管理部４３０が行うようにしてもよい。

また、訓練コンテンツ作成／更新部３４２は、作業分析／解析部３３５による整合度合の判定結果に応じて、整合度合を高めるよう訓練用コンテンツを更新するようにしてもよい。この訓練用コンテンツの更新は、訓練コンテンツ管理サーバ４０側の、例えば訓練コンテンツ管理部４４０や訓練端末管理部４３０が行うようにしてもよい。

また、訓練コンテンツ作成／更新部３４２は、作業対象機器４を含めて作業に関与する機器の仕様が変更された場合、あるいは作業現場の環境が変更された場合、その変更情報を反映させるように訓練コンテンツを変更するようにしてもよい。機器の仕様および作業現場の環境に関する情報は、作業端末管理部３３０の機器状態管理部３３２に記憶されている。制御部３００の制御下で、機器仕様等が変更されると、訓練コンテンツ作成／更新部３４２が、機器状態管理部３３２を参照して、訓練コンテンツの変更を行うようにしてもよい。

＜ストレージ＞
ストレージ３０２には、作業行動情報記録データベース３２３、作業者情報記録データベース３２４、作業対象機器情報記録データベース３２５、および作業分析結果データベース３２６が格納されている。

作業行動情報記録データベース３２３、作業者情報記録データベース３２４、作業対象機器情報記録データベース３２５については、作業者端末１０の対応するデータベース構造と同じであるので、詳細な説明は省略する。

図１１は、作業分析結果データベース３２６の構成を示す構成図である。図１１に示すように、作業分析結果データベース３２６の各レコード（行）に記録される項目は、作業Ｎｏ、対象機器、対象部位、修正手順Ｎｏ、修正対象、修正カテゴリ、修正内容、記録動画、記録音声、作業位置変移、およびモデルである。

作業Ｎｏは、作業を特定するために一意に割り当てられた番号である。対象機器は、作業対象の機器であり、例えば、ワイヤやキーボードなどである。対象部位は、作業分析を行う対象部位であり、例えば、作業者の手首や腕などである。

修正手順Ｎｏは、作業分析の結果、修正された手順Ｎｏを示す。修正対象は、修正分析の結果、修正された対象を示す。修正カテゴリは、修正をカテゴライズしたものであり、例えば、「前に挿入」、「変更」などがある。修正内容は、修正の具体的な内容を示し、例えば、注意喚起や仕様変更などが挙げられる。

記録動画は、作業を記録した動画ファイル名が記載されており、システム管理サーバ３０のストレージ３０２などに別途保存された記録動画にアクセスできるようになっている。記録音声は、作業時の音声を記録した音声ファイル名が記載されており、ストレージ３０２などに別途保存された記録音声にアクセスできるようになっている。

作業位置変移は、対象部位の特徴点の位置変移を示す。モデルは、作業対象機器４の３次元形状情報を含んだ３Ｄモデルファイル名が記載されており、ストレージ３０２などに別途保存された３Ｄモデルファイルにアクセスできるようになっている。

システム管理サーバ３０は、作業分析の結果を基に、修正対象の作業手順、および修正する内容を決定し、作業分析結果データベース３２６に格納する。修正する内容として、危険表示の追加、注意喚起の表示の追加、機器の仕様情報の変更、現場環境の情報の変更などが挙げられる。

（訓練コンテンツ管理サーバ）
次に、訓練コンテンツ管理サーバ４０について説明する。

図６は、訓練コンテンツ管理サーバ４０の構成図である。
図６に示すように、訓練コンテンツ管理サーバ４０は、制御部４００、各種処理プログラムを格納したメモリ４０１、各種データベースを格納したストレージ４０２、通信部４０７、表示部４０３、認証部４０８、外部機器接続部４１１、電源供給部４１２、訓練端末管理部４３０、訓練分析／解析部４３５、および訓練コンテンツ管理部４４０を備えている。

なお、訓練端末管理部４３０が、本発明の第１のコンテンツ出力装置に対応する。

制御部４００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、訓練コンテンツ管理サーバ４０の機能の一部または全部は、メモリ４０１に記憶された各種処理プログラムをＣＰＵで実行することにより実現することができる。

通信部４０７は、ネットワーク８、９を介して訓練者端末２０、作業者端末１０およびシステム管理サーバ３０と通信を行うようになっている。

表示部４０３は、液晶ディスプレイ等で構成され、訓練の映像に加えて、訓練コンテンツの管理状況等、コンテンツ管理に必要な情報を表示できるようになっている。

認証部４０８は、公知の認証方法を用いてユーザの利用資格を確認するものであり、利用資格を有するユーザのみが訓練コンテンツ管理サーバ４０を利用できるようになっている。

外部機器接続部４１１は、必要に応じて、例えば、モニター装置、プリンタ装置、外部記憶装置などの外部機器と接続できるようになっている。

電源供給部４１２は、訓練コンテンツ管理サーバ４０を駆動するのに必要な電力を供給するようになっている。

メモリ４０１には、映像データ処理部４１３、音声データ処理部４１４、情報重畳処理部４１５、情報送受信処理部４１６、３次元データ処理部４１７、位置データ処理部４１８、空間データ処理部４１９、画像認識部４２１、およびユーザ生体情報取得部４２２を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部４００のＣＰＵにより実行されることにより、それぞれの処理機能を実現できるようになっている。

映像データ処理部４１３は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、訓練者端末２０から送信された訓練映像データに対して、各種データ処理を行うようになっている。

音声データ処理部４１４は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、訓練者端末２０から送信された訓練音声データに対して、音声認識等のデータ処理を実行するようになっている。音声認識により、例えば、訓練者３の音声、訓練対象機器の発する音などを認識することができる。

情報重畳処理部４１５は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、例えば、仮想現実または拡張現実の画面において作業手順の情報を重畳して表示する処理を実行するようになっている。

情報送受信処理部４１６は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、通信部４０７を駆動、制御して訓練者端末２０、作業者端末１０またはシステム管理サーバ３０と情報を送受する処理を実行するようになっている。

３次元データ処理部４１７は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、訓練コンテンツの作成、変更や訓練記録の分析などにおいて、訓練対象機器の３次元形状情報を用いつつ、３次元データに対して、各種データ処理を実行するようになっている。例えば、訓練者３の３次元動作を認識するためのデータ処理を行ってもよい。

位置データ処理部４１８は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、訓練者端末２０から送信された位置データに対して、各種データ処理を実行するようになっている。

空間データ処理部４１９は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、訓練者端末２０から送信された空間（距離）データに対して、各種データ処理を実行するようになっている。

画像認識部４２１は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、画像認識等のデータ処理を実行するようになっている。画像認識により、例えば、訓練対象機器５、訓練者３の腕や手、作業工具６などを認識することができる。

ユーザ生体情報取得部４２２は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、訓練者３に取り付けられた生体センサから訓練者３の生体情報を取得できるようになっている。

＜訓練端末管理部＞
訓練端末管理部４３０は、訓練コンテンツ配信部４３１、および機器状態管理部４３２を備えている。なお、訓練端末管理部４３０が、本発明の第１のコンテンツ出力装置に対応している。

訓練コンテンツ配信部４３１は、出力部を備え、訓練コンテンツを訓練者３に提示可能に訓練者端末２０に配信するようになっている。訓練コンテンツは、訓練者端末２０の表示部２０３に訓練現場の実際の映像の上に拡張現実を用いて重畳されて表示される映像と、音声出力部２０４より出力される音声とを含んで構成される。或いは、訓練コンテンツは、訓練者端末２０の表示部２０３に仮想現実を用いて表示される映像と、音声出力部２０４より出力される音声とを含んで構成されるようにしてもよい。訓練コンテンツは、映像だけでもよいし、音声だけでもよい。

具体的には、訓練コンテンツは、例えば、訓練者端末２０の表示部２０３への作業手順の説明の表示、注意喚起の表示、環境情報およびステータス情報の表示を含む。作業手順の説明としては、例えば「手順３：ワイヤーをねじで固定してください」という表示が挙げられる。環境情報としては、例えば作業現場の温度、湿度が挙げられる。ステータス情報としては、手順整合度、作業の進捗度、経過時間、訓練者の体調などが挙げられる。

また、訓練コンテンツ配信部４３１は、記憶部を備え、作業対象機器４の３次元形状情報を含む訓練用コンテンツ、および作業手順の作業動作についての評価基準情報を記憶するようになっている。なお、訓練コンテンツ配信部４３１が、本発明の第１のコンテンツ出力装置の出力部および記憶部に対応している。

機器状態管理部４３２は、訓練対象機器５を含めて訓練に関連する機器の仕様および状態、ならびに訓練環境に関する情報を記憶し、管理するようになっている。

＜訓練分析／解析部＞
訓練分析／解析部４３５は、訓練行動記録集計部４３６、行動要因分析部４３７、訓練記録分析部４３８、および分析結果出力部４３９を備えている。

訓練行動記録集計部４３６は、訓練者３による訓練行動の記録を取得、集計するようになっている。

行動要因分析部４３７は、訓導行動の要因、例えば訓練作業の失敗の要因を分析するようになっている。訓練作業の失敗の要因は、訓練者あるいはその監督者が分析して入力するようにしてもよい。

訓練記録分析部４３８は、訓練記録（訓練行動情報、訓練者情報、訓練対象機器情報など）を、動作整合度、使用工具の適否、作業時間、訓練対象機器との接触の有無、生体情報などの観点から分析し、訓練の成否を判断するようになっている。この判断手法については、作業記録分析部３３８による作業の成否の判断手法と同じである。

分析結果出力部４３９は、訓練記録の分析結果を、後で説明する訓練コンテンツ管理部４４０や、訓練者端末２０の表示部２０３に適宜出力するようになっている。

＜訓練コンテンツ管理部＞
訓練コンテンツ管理部４４０は、習熟度管理部４４１、成績結果集計部４４２、および訓練コンテンツ作成／更新部４４３を備えている。

習熟度管理部４４１は、特定の作業について訓練者３の習熟度を管理するようになっている。具体的には、作業Ｎｏと訓練者３の識別番号と習熟度とを関連付けて記憶し、管理するようになっている。

成績結果集計部４４２は、分析結果出力部４３９から送られた訓練記録の分析結果等に基づいて、訓練者３の訓練の成績結果を集計するようになっている。

訓練コンテンツ作成／更新部４４３については、作業者が訓練者に代わった点を除き、システム管理サーバ３０の訓練コンテンツ作成／更新部３４２と構成が同じであるので、詳細な説明は省略する。

＜ストレージ＞
ストレージ４０２には、訓練行動情報記録データベース４２３、訓練者情報記録データベース４２４、訓練対象機器情報記録データベース４２５、および訓練コンテンツデータベース４２６が格納されている。

訓練行動情報記録データベース４２３、訓練者情報記録データベース４２４、および訓練対象機器情報記録データベース４２５については、作業者が訓練者に代わった点を除き、作業者端末１０の対応するデータベース構造と同じであるので、詳細な説明は省略する。

図１２は、訓練コンテンツデータベース４２６の構成を示す構成図である。図１２に示すように、訓練コンテンツデータベース４２６の各レコード（行）に記録される項目は、作業Ｎｏ、対象機器、対象部位、手順Ｎｏ、表示使用定義Ｎｏ、表示内容、修正内容、作業動画、作業音声、位置変移、およびモデルである。

作業Ｎｏは、作業を特定するために一意に割り当てられた番号である。対象機器は、訓練対象の機器であり、例えば、ねじ、ワイヤ、カバー、キーボードなどである。対象部位は、訓練分析を行う対象部位であり、例えば、作業者の手首や腕などである。手順Ｎｏは、作業Ｎｏで特定される作業についての作業手順のうち、どの手順かを特定する番号である。

表示仕様定義Ｎｏは、画面の表示仕様を定めた表示仕様定義を特定するために一意に割り当てられた番号である。表示内容は、例えば、注意喚起を行うのか、手順の説明を行うのか等の表示内容を示す。修正内容は、修正の具体的な内容を示し、例えば、注意喚起や仕様変更などが挙げられる。

作業動画は、訓練時に訓練者に提示する作業動画の動画ファイル名が記載されており、ストレージ４０２等に別途保存された作業動画にアクセスできるようになっている。作業音声は、訓練時に訓練者に提示する作業音声を記録した音声ファイル名が記載されており、ストレージ４０２等に別途保存された作業音声にアクセスできるようになっている。

位置変移は、対象部位の特徴点の位置座標の変移を示す。モデルは、訓練対象機器の３次元形状情報を含んだ３Ｄモデルファイル名が記載されており、ストレージ４０２等に別途保存された３Ｄモデルファイルにアクセスできるようになっている。

訓練コンテンツ管理サーバ４０の訓練コンテンツデータベース４２６に格納された既存の訓練コンテンツは、システム管理サーバ３０が分析した結果に基づいて更新されるようになっている。

次に、コンテンツ提示システム１の動作シーケンスについて説明する。

図１３は、コンテンツ提示システム１を用いて行う現場作業のシーケンス図である。
まず、作業者端末１０は、システム管理サーバ３０に作業手順を問い合わせる（Ｓ１）。問い合わせを受けたシステム管理サーバ３０は、作業手順の情報を作業者端末１０に配信する（Ｓ２）。

次いで、作業者２は、作業手順に従って作業を開始、実行するとともに（Ｓ３）、作業者端末１０は、録画部１０５により作業環境を撮影するとともに、作業者２に取り付けられた生体センサから生体情報を取得する（Ｓ４）。

次いで、作業者端末１０の現場判定部１２７は、３次元動作検出処理部１１７により作業者２の３次元動作が基準の３次元動作から乖離しているか否かを判断する（Ｓ５）。判断結果がＮＯの場合、ステップＳ８に進む。判断結果がＹＥＳの場合、撮影した映像データ等をシステム管理サーバ３０に送信する（Ｓ６）。システム管理サーバ３０は、作業者端末１０から送信された撮影データ等を受信する（Ｓ７）。この撮影データ等は作業の失敗の分析に用いられる。

ステップＳ８では、最後の手順か否かを判断する。最後の手順でない場合（ＮＯ）、ステップＳ３に戻り、次の手順の作業を開始、実行する。最後の手順の場合（ＹＥＳ）、現場作業を終了する。

図１４は、コンテンツ提示システム１を用いて行う作業分析処理のシーケンス図である。
まず、システム管理サーバ３０は、作業者端末１０から撮影データ等を受信する（Ｓ７）。

次いで、システム管理サーバ３０の作業分析／解析部３３５により、失敗の原因の解析を行う（Ｓ１０）。

次いで、失敗の原因が人為的か否かを判断する（Ｓ１１）。人為的である場合（ＹＥＳ）、作業記録分析部３３８により生体情報の解析を行う（Ｓ１３）。人為的でない場合（ＮＯ）、作業記録分析部３３８により３次元データの解析を行う（Ｓ１２）。

次いで、失敗の原因の重要度を判定する（Ｓ１４）。重要度は、作業者の体調不良、不注意、連絡ミス、マニュアルの間違いなどの失敗の原因がもたらす結果の影響度を考慮して、予め数値でランク付けしておいてもよい。

次いで、訓練コンテンツ照合部３４１により、訓練コンテンツ管理サーバ４０に格納されている訓練コンテンツとの照合を行い（Ｓ１５）、更新箇所の同定を行う（Ｓ１６）。

次いで、訓練コンテンツ作成／更新部３４２により訓練コンテンツの更新を行う（Ｓ１７）。更新された訓練コンテンツは、訓練コンテンツ管理サーバ４０に送られ、訓練コンテンツデータベース４２６に格納される。

図１５は、コンテンツ提示システム１を用いて行う訓練のシーケンス図である。
まず、訓練者端末２０は、訓練コンテンツ管理サーバ４０に訓練手順を問い合わせる（Ｓ２０）。問い合わせを受けた訓練コンテンツ管理サーバ４０は、訓練手順の情報を訓練者端末２０に配信する（Ｓ２１）。

次いで、訓練者３は、訓練手順に従って訓練作業を開始、実行するとともに（Ｓ２２）、訓練者端末２０は、録画部２０５により作業環境を撮影し、訓練者３に取り付けられた生体センサから生体情報を取得する（Ｓ２３）。

次いで、訓練者端末２０の現場判定部２２７は、３次元動作検出処理部２１７により訓練者３の３次元動作が基準の３次元動作から乖離しているか否かを判断する（Ｓ２４）。判断結果がＮＯの場合、ステップＳ２６に進む。判断結果がＹＥＳの場合、注意喚起等のアラート表示を訓練者端末２０の表示部２０３に表示し（Ｓ２５）、ステップ２２に戻る。

ステップＳ２６では、最後の手順か否かを判断する。最後の手順でない場合（ＮＯ）、ステップＳ２２に戻り、次の手順の作業を開始、実行する。最後の手順の場合（ＹＥＳ）、訓練結果の情報を訓練コンテンツ管理サーバ４０に送信し（Ｓ２７）、該訓練結果の情報を訓練コンテンツ管理サーバ４０が受信する（Ｓ２８）。この訓練結果の情報は、訓練者３の訓練成績の集計等に用いられる。

次に、本実施形態に係るコンテンツ提示方法を説明する。

図１６は、本実施形態に係るコンテンツ提示方法のフローチャートである。
まず、作業対象機器４の３次元形状情報を基に、作業者端末１０の表示部１０３に拡張現実により作業手順を表示する（Ｓ３０）。

次いで、作業者端末１０の３次元動作検出処理部１１７により、作業手順で示された作業を行う作業者２の３次元動作を測定する（Ｓ３１）。

次いで、システム管理サーバ３０の作業分析／解析部３３５により、作業者２の作業が失敗か否かを判定する（Ｓ３２）。具体的には、作業者２の３次元動作を測定して得られた測定情報に基づいて作業者２の所定の身体動作が検出されたとき、該身体動作に及ぶまでの模範作業者の作業中の特定段階の作業動作の測定情報（３次元基準動作）を基に作業が失敗か否かを判定する。

さらに具体的には、例えば、作業者端末１０の現場判定部１２７により、作業者２の３次元動作が３次元基準動作より所定値以上乖離していると判定されると、システム管理サーバ３０の作業分析／解析部３３５により、さらに精密に、作業者２の特定部位の特徴点の位置の変移を、同一作業における模範作業者の対応する特定部位の特徴点の位置の変移と比較することにより、動作整合度を算出する。この動作整合度と作業者２の体調、使用工具の適否、経過時間などを総合的に判断することにより、作業が失敗か否かを判定する。

次いで、作業が失敗であると判定されたとき、システム管理サーバ３０の訓練コンテンツ管理部３４０が、失敗の要因を抑制するように訓練用コンテンツを更新する（Ｓ３３）。例えば、失敗した作業手順において画面上で注意喚起する。対応する訓練用コンテンツが存在しない場合は、訓練用コンテンツを新たに作成する。変更または作成された訓練用コンテンツは、訓練コンテンツ管理サーバ４０の訓練コンテンツデータベース４２６に格納される。

訓練コンテンツ管理部３４０は、作業対象機器４の仕様の変更情報や、現場環境の変更情報も反映するように、訓練用コンテンツを更新してもよい。

次いで、訓練コンテンツ管理サーバ４０の訓練端末管理部４３０は、変更された訓練用コンテンツを訓練者３に提示して作業者２の訓練を実行する（Ｓ３４）。

上記構成により、判定結果が作業の失敗であると判定されたとき失敗の要因を抑制するよう訓練用コンテンツを更新するため、現場作業の失敗を、訓練教育で使用している訓練コンテンツに効率的に反映することができ、訓練コンテンツのメンテナンスも容易になる。

次に、コンテンツの変更内容を説明するために、作業者端末１０の表示部１０３の画面表示例を説明する。
図１７は、現場作業が正常に行われている時における作業者端末１０の表示部１０３の画面の表示例を示す説明図である。

画面には、作業現場を実際に撮影している映像の上に拡張現実により、画面上部に手順表示が、画面左部に環境情報／ステータス表示が重畳されて表示されている。

図１８は、作業者２の異常動作時、例えば、作業者端末１０の現場判定部１２７が作業者２の作業動作が基準の動作から乖離していると判定した時における、作業者端末１０の表示部１０３の画面の表示例を示す説明図である。

画面には、作業現場を実際に撮影している映像の上に拡張現実により、画面上部に手順表示が、画面左部に環境情報／ステータス表示が、画面中央部に注意喚起の表示が重畳されて表示されている。注意喚起の表示は、例えば、「！！手順が間違っています！！」などである。

図１９は、訓練が正常に行われている時における訓練者端末２０の表示部２０３の画面の表示例を示す説明図である。

画面には、訓練現場を実際に撮影している映像の上に拡張現実により、画面上部に手順表示が、画面左部に環境情報／ステータス表示が、画面右部に注意喚起の表示が重畳されて表示されている。注意喚起の表示は、例えば、「よく間違いが起こる手順です。手元に注意してください。」などである。この注意喚起の表示は、現場作業において作業者２が作業を失敗したときの情報を訓練用コンテンツに反映し、失敗の要因を抑制するものである。

図２０は、訓練者３の異常動作時、例えば、訓練者端末２０の現場判定部２２７が訓練者３の作業動作が基準の動作から乖離していると判定した時における、訓練者端末２０の表示部２０３の画面の表示例を示す説明図である。

画面には、訓練現場を実際に撮影している映像の上に拡張現実により、画面上部に手順表示が、画面左部に環境情報／ステータス表示が、画面中央部に注意喚起の表示が重畳されて表示されている。注意喚起の表示は、例えば、「！！手順が間違っています！！」などである。なお、図１９、図２０は訓練用コンテンツを拡張現実により提示しているが、仮想現実により提示するようにしてもよいことはもちろんである。

上記のように、現場作業で失敗があった場合、訓練において同一作業で同一の作業手順の時に、失敗の要因を抑制するように、注意喚起を表示させるようにしている。注意喚起は画面上の表示とともに、或いはそれに代えて音声で行ってもよい。

次に、作用・効果について説明する。

上述のように、本実施形態に係るコンテンツ提示システム１は、作業者端末１０の３次元動作検出処理部１１７が、現場の作業者２の作業中の３次元動作を少なくとも身体動作の測定情報として取得し、システム管理サーバ３０の作業分析／解析部３３５が、作業動作の測定情報に基づいて作業動作を評価するための評価基準情報を基に、作業者の３次元動作を分析し、作業が失敗か否かを判定する。そして、作業が失敗であると判定されたとき、システム管理サーバ３０の訓練コンテンツ管理部３４０が、失敗の要因を抑制するように訓練用コンテンツを更新または作成する。すなわち、作業現場と訓練が効率的かつ有機的に連携できるシステムとなっている。

具体的には、システム管理サーバ３０の作業分析／解析部３３５は、作業者端末１０の３次元動作検出処理部１１７からの測定情報に基づいて作業者の所定の身体動作が検出されたとき、該身体動作に及ぶまでの模範作業者の作業中の特定段階の作業動作の測定情報を基に作業が失敗か否かを判定する。そして、システム管理サーバ３０の訓練コンテンツ管理部３４０は、作業分析／解析部３３５での判定結果が作業の失敗であると判定されたとき、失敗の要因を抑制するよう訓練用コンテンツを更新する。

この構成により、判定結果が作業の失敗であると判定されたとき失敗の要因を抑制するよう訓練用コンテンツを更新するため、現場作業の失敗を、訓練教育で使用している訓練コンテンツに効率的に反映することができ、訓練コンテンツのメンテナンスも容易になる。

また、本実施形態に係るコンテンツ提示システム１では、システム管理サーバ３０の作業分析／解析部３３５は、作業者端末１０の３次元動作検出処理部１１７からの作業者２の作業手順に従った作業動作の測定情報を、模範作業者による作業動作の測定情報と比較して、両作業動作の整合度合を判定し、システム管理サーバ３０の訓練コンテンツ管理部３４０は、判定結果に応じて、整合度合を高めるよう訓練用コンテンツを更新するように構成されている。

この構成により、模範作業者の作業動作を効果的に訓練者３に教えるように、訓練コンテンツを更新することができる。

また、本実施形態に係るコンテンツ提示システム１では、システム管理サーバ３０の作業分析／解析部３３５は、特定段階の作業動作について整合度合が所定値以下であると判定されたとき、特定段階の作業動作に対応する訓練者３の特定部位の３次元の変移および作業時間を含む測定情報を基に作業の失敗か否かを判定するように構成されている。

この構成により、作業者の作業の失敗を確実に検知することができるので、訓練コンテンツに効率的に反映することができる。

また、本実施形態に係るコンテンツ提示システム１は、作業者が用いる作業者端末１０と、訓練者３が用いる訓練者端末２０と、システム管理サーバ３０と、訓練コンテンツ管理サーバ４０を含み、それらがネットワーク接続されている。

この構成により、作業現場と訓練現場が離れている場合であっても、作業者２の作業の失敗を訓練コンテンツに効率的に反映することができる。

以上説明したように、本発明は現場作業で発生した失敗等を効率的に訓練コンテンツに反映することができ、訓練コンテンツのメンテナンスが容易であるという効果を有し、コンテンツ提示システムおよびコンテンツ提示方法の全般に有用である。

１ コンテンツ提示システム
１０ 作業者端末
２０ 訓練者端末
３０ システム管理サーバ（管理サーバ）
４０ 訓練コンテンツ管理サーバ（管理サーバ）
１１７ ３次元動作検出処理部（動作測定装置）
３３０ 作業端末管理部（第２のコンテンツ出力装置）
３３５ 作業分析／解析部（判定装置）
３４０ 訓練コンテンツ管理部（コンテンツ作成装置）
４３０ 訓練端末管理部（第１のコンテンツ出力装置）

Claims (5)

1. 作業対象機器の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者（３）に提示し、前記作業対象機器の３次元形状情報を基に拡張現実を用いて作業手順を提示するコンテンツ提示システム（１）であって、
   前記作業対象機器の３次元形状情報を含む前記訓練用コンテンツおよび前記作業手順の作業動作についての評価基準情報を記憶する記憶部と前記訓練用コンテンツを前記訓練者に提示可能に出力する出力部とを有する第１のコンテンツ出力装置（４３０）と、
   前記作業対象機器の３次元形状情報を基に拡張現実による作業手順を示す第２のコンテンツ出力装置（３３０）と、
   現場の作業者（２）の作業中の３次元動作を少なくとも身体動作の測定情報として取得する動作測定装置（１１７）と、
   前記作業動作の測定情報に基づいて前記作業動作を評価するための評価基準情報を基に作業の成否を判定する判定装置（３３５）と、
   前記作業動作の測定情報および前記判定装置の判定結果に基づいて前記訓練用コンテンツを作成および更新するコンテンツ作成装置（３４０）と、を備え、
   前記判定装置は、前記動作測定装置からの前記測定情報に基づいて前記作業者の所定の身体動作が検出されたとき、該身体動作に及ぶまでの模範作業者の前記作業中の特定段階の作業動作の測定情報を基に前記作業が失敗か否かを判定し、
   前記コンテンツ作成装置は、前記判定装置での判定結果が前記作業の失敗であると判定されたとき、前記失敗の要因を抑制するよう前記訓練用コンテンツを更新することを特徴とするコンテンツ提示システム。
2. 前記判定装置は、前記動作測定装置からの前記作業者の前記作業手順に従った前記作業の測定情報を、前記模範作業者による前記作業の測定情報と比較して、両作業動作の整合度合を判定し、
   前記コンテンツ作成装置は、前記判定装置の判定結果に応じて、前記整合度合を高めるよう前記訓練用コンテンツを更新することを特徴とする請求項１に記載のコンテンツ提示システム。
3. 前記判定装置は、前記特定段階の作業動作について前記整合度合が所定値以下であると判定されたとき、前記特定段階の作業動作に対応する前記作業者の特定部位の３次元の変移および作業時間を含む測定情報を基に前記作業の失敗か否かを判定することを特徴とする請求項２に記載のコンテンツ提示システム。
4. 前記作業者が用いる作業者端末（１０）と管理サーバ（３０、４０）とをさらに含み、前記動作測定装置が前記作業者端末に備えられ、前記第１のコンテンツ出力装置、前記第２のコンテンツ出力装置、前記判定装置、および前記コンテンツ作成装置が、それぞれ前記作業者端末にネットワーク接続される前記管理サーバで構成されていることを特徴とする請求項１ないし３のいずれか一項に記載のコンテンツ提示システム。
5. 作業者端末（１０）と該作業者端末に接続された管理サーバ（３０、４０）とを含むコンテンツ提示システムを用いて、作業対象機器の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者（３）に提示し、前記作業対象機器の３次元形状情報を基に拡張現実を用いて作業手順を提示するコンテンツ提示方法であって、
   前記管理サーバが、前記作業対象機器の３次元形状情報を含む前記訓練用コンテンツおよび前記作業手順の作業動作についての評価基準情報を記憶するとともに、前記訓練用コンテンツを前記訓練者に提示可能に出力する第１のコンテンツ出力ステップと、
   前記管理サーバが、前記作業対象機器の３次元形状情報を基に拡張現実による作業手順を示す第２のコンテンツ出力ステップと、
   前記作業者端末が、現場の作業者（２）の作業中の３次元動作を少なくとも身体動作の測定情報として取得する動作測定ステップと、
   前記管理サーバが、前記作業動作の測定情報に基づいて前記作業動作を評価するための評価基準情報を基に、作業の成否を判定する判定ステップと、
   前記管理サーバが、前記作業動作の測定情報および前記判定ステップの判定結果に基づいて前記訓練用コンテンツを作成および更新するコンテンツ作成ステップと、を備え、
   前記判定ステップでは、前記動作測定ステップで取得された前記測定情報に基づいて前記作業者の所定の身体動作が検出されたとき、該身体動作に及ぶまでの模範作業者の前記作業中の特定段階の作業動作の測定情報を基に前記作業が失敗か否かを判定し、
   前記コンテンツ作成ステップでは、前記判定ステップでの判定結果が前記作業の失敗であると判定されたとき、前記失敗の要因を抑制するよう前記訓練用コンテンツを更新することを特徴とするコンテンツ提示方法。

Images