JPWO2020235120A1 - 作業支援システムおよび作業支援方法 - Google Patents

Abstract

熟練者２が行う作業の映像を取得する映像取得装置１１と、作業中の熟練者の音声を取得する音声取得装置１２と、映像取得装置１１により取得された作業の映像および音声取得装置１２により取得された音声の情報に基づいて、作業チェックの基準となる作業チェック情報を生成する作業チェック情報生成装置と、作業者３が行う作業の映像を取得する映像取得装置２１と、作業者３の作業の成否を判定する判定装置と、判定装置による判定結果を作業支援情報として出力する支援情報出力装置２３と、を備える。判定装置は、作業チェック情報に基づき熟練者２の作業の映像と作業者３の作業の映像を対比することにより作業の成否を判定する。

Description

本発明は、作業支援システムおよび作業支援方法に関する。

作業者が実際に現場で保守、点検等の各種作業を行う前に、作業者に所要の技能・知識を習得させるための訓練が行われている。訓練は、例えば、熟練者が行った作業を手本とし、熟練者の作業スキルを作業者に伝えるように行われる（例えば、特許文献１等参照）。

特許文献１には、熟練者の現場作業の内容、および作業中の設備音、熟練者の視線などの知覚情報をもとに、熟練者の判断基準を取得し、それを基に作業者を育成するための育成情報を生成する技術が開示されている。

一方、現場作業では、訓練を受けた者であっても作業手順の情報、作業対象機器の情報、使用する作業工具の情報など、様々な情報が必要となる。現場で作業する作業者に必要な情報を提供して現場作業を支援する支援システムは既に知られている（例えば、特許文献２等参照）。

特許文献２には、作業対象となる物体が置かれている状況を把握するための計測部、計測部をコントロールし、かつ得られた情報に対して適切な情報処理を行い、さらに作業者へ提示する視覚情報を構築する情報処理部、および作業者に対し対象となる物体上に重ね合わせた視覚情報を与えるための表示部を具備し、作業者がなすべき作業を作業現場において指示する作業支援装置が開示されている。

特開２０１８−１３２５５６号公報 特開２００９−０６９９５４号公報

しかしながら、特許文献２等に記載の従来の作業支援装置にあっては、熟練者の高度な作業スキルを作業者に伝えるのには資するが、作業スキルの低い作業者による作業の成否を確実に判定して作業ミスを防止することに対しては考慮されていなかった。実際の作業現場では、作業スキルが低く、日本語に不慣れな外国人労働者が作業を行うケースが増えており、作業ミスや作業忘れの発生、作業中の傷害事故も増加傾向にある。事故発生による社会的影響は大きく、再発防止策として作業品質の向上に加え、２人作業での確認、作業チェックリストや作業報告書の詳細化が求められる場合もある。また、従来はチェックリストの生成や作業報告書の作成を作業者等が行っていたので、手間がかかり効率が悪かった。

本発明は、上述のような課題を解決するためになされたものであり、作業スキルが低い作業者に対しても、確実に作業チェックを行うことにより作業ミスを防止することができる作業支援システムおよび作業支援方法を提供することを目的とする。

本発明に係る作業支援システムは、上記目的を達成するため、（１）作業支援システム（１、１Ａ）であって、作業者からの情報を取得する情報取得装置（１２０）と、前記作業の成否を判定する判定装置（１００）と、前記判定装置による判定結果に基づいて作業支援情報を出力する情報出力装置（２３）と、を備え、前記判定装置は、前記情報取得装置が取得した前記作業者からの情報を基に所定の判定基準に従って作業の成否を判定することを特徴とする。

本発明では、判定装置が、情報取得装置で取得した映像や音声など作業者からの情報を基に所定の判定基準に従って作業の成否を判定し、情報出力装置が、判定装置による判定結果に基づいて作業支援情報を出力するようになっている。この構成により、作業スキルの低い作業者であっても、作業者からの情報により作業の成否を確実に判定して作業者にフィードバックすることにより、作業ミスを防止することができる。

本発明に係る作業支援システムは、上記目的を達成するため、（２）第１作業者（２）が行う作業の映像を取得する第１映像取得装置（１１）と、前記作業中の前記第１作業者の音声を取得する音声取得装置（１２）と、前記第１映像取得装置により取得された作業の映像と、前記音声取得装置により取得された音声の情報に基づいて、作業チェックの基準となる作業チェック情報（７０）を生成する作業チェック情報生成装置（３４０）と、第２作業者（３）が行う作業の映像を取得する第２映像取得装置（２１）と、前記第２作業者の作業の成否を判定する判定装置（３３８）と、前記判定装置による判定結果を作業支援情報として出力する支援情報出力装置（２３）と、を備え、前記判定装置は、前記作業チェック情報に基づき前記第１作業者の作業の映像と前記第２作業者の作業の映像を対比することにより作業の成否を判定することを特徴とする。

この構成により、判定装置が作業チェック情報に基づき熟練者（第１作業者）の作業映像と現場の作業者（第２作業者）の作業映像を対比することにより作業の成否を判定するので、確実に作業チェック（作業の成否判定）を行うことができる。作業チェックの結果に基づき作業ミスを音声や映像により指摘することにより、作業をやり直すよう誘導することもできる。よって、作業スキルが低い作業者に対しても、確実に作業チェックを行うことにより作業ミスを防止することができる。

また、本発明の作業支援システムにおいて、（３）前記判定装置は、前記第１作業者の作業映像に含まれる特定の対象物が前記第２作業者の作業映像に含まれているか否かにより作業の成否を判定するようにしてもよい。

この構成により、作業に必須の特定の対象物の存否を基に作業の成否を判定することにより、作業忘れを確実に検出することができる。

また、本発明の作業支援システムにおいて、（４）前記判定装置は、前記第１作業者の作業映像に含まれない対象物が前記第２作業者の作業映像に含まれているか否かにより作業の成否を判定するようにしてもよい。

この構成により、作業に不要な対象物の存否を基に作業の成否を判定することにより、誤作業（作業内容の間違い）を確実に検出することができる。

また、本発明の作業支援システムにおいて、（５）前記判定装置は、前記第１作業者の作業映像に含まれる特定の対象物が前記第２作業者の作業映像に所定の順序で含まれているか否かにより作業の成否を判定するようにしてもよい。

この構成により、作業に必須の対象物が所定順序で出現するか否かを基に作業の成否を判定することにより、手順ミスを確実に検出することができる。

また、本発明の作業支援システムにおいて、（６）前記作業チェック情報生成装置は、前記第１作業者の作業映像を前記第１作業者の音声情報に基づいて要素作業に分割し、前記判定装置は前記要素作業ごとに作業の成否を判定するようにしてもよい。

この構成により、長時間の作業であっても適当な所要時間の要素作業に分割することにより、作業の成否をより正確に判定することができる。

また、本発明の作業支援システムにおいて、（７）前記支援情報出力装置は、前記作業支援情報を、音声および動画の少なくとも一方で選択的に出力できるようにしてもよい。

この構成により、作業環境に応じて最適な方法（音声のみ／動画のみ／音声と動画）を選択して作業支援を行うことができる。

また、本発明の作業支援システムは、（８）前記支援情報出力装置より出力される前記作業支援情報を伝える音声を、指定された言語に変換する言語変換装置（３１４）をさらに備えてもよい。

この構成により、日本語の分からない外国人の作業者に対しても作業支援を行うことができる。

また、本発明の作業支援システムは、（９）前記判定装置による判定結果を含む作業報告書を作成する作業報告書作成装置（３４１）をさらに含んでもよい。

この構成により、現場での作業が完了すると作業報告書が自動的に作成されるので、作業者が作業報告書を作成する手間が省ける。

また、本発明の作業支援システムは、（１０）前記作業チェック情報および前記第２作業者の作業の経時情報に基づき作業中の特定段階の前に前記支援情報出力装置に前記作業支援情報として注意情報を出力させる注意喚起制御装置（３３８）をさらに備えてもよい。

この構成により、注意喚起制御装置が作業チェック情報および経時情報（例えば作業経過時間や作業段階）に基づき注意喚起を要する特定段階の前に注意情報を出力させるので、作業ミスや事故を効果的に防止することができる。それにより、作業の質を高めることができる。

また、本発明の作業支援システムにおいて、（１１）前記作業チェック情報生成装置は、前記作業チェック情報として、前記第１作業者の作業中の音声情報に基づいて前記特定段階を決定するようにしてもよい。

この構成により、注意喚起を要する特定段階を容易に指定することができる。

また、本発明の作業支援システムは、（１２）前記経時情報が、前記第２作業者の作業開始からの経過時間の情報であってもよい。

この構成により、注意喚起を容易に行うことができる。

また、本発明の作業支援システムは、（１３）前記経時情報が、前記第２作業者の作業映像から認定される作業段階の情報であってもよい。

この構成により、より適切な時に注意喚起を行うことができる。

また、本発明の作業支援システムは、（１４）少なくとも前記作業チェック情報生成装置を備えたサーバ（３０）と、前記第１映像取得装置および前記音声取得装置を有し、前記サーバに接続される第１端末（１０）と、前記第２映像取得装置および前記支援情報出力装置を有し、前記サーバに接続される第２端末（２０）と、を備えた構成であってもよい。

この構成により、サーバを用いることにより、現場の作業者が携える第２端末の構成を簡素にすることができる。

また、本発明の作業支援方法は、（１５）第１作業者（２）が行う作業の映像を取得する第１映像取得ステップと、前記作業中の前記第１作業者の音声を取得する音声取得ステップと、前記第１映像取得ステップにより取得された作業の映像と、前記音声取得ステップにより取得された音声の情報に基づいて、作業チェックの基準となる作業チェック情報（７０）を生成する作業チェック情報生成ステップと、第２作業者（３）が行う作業の映像を取得する第２映像取得ステップと、前記第２作業者の作業の成否を判定する判定ステップと、前記判定ステップによる判定結果を作業支援情報として出力する支援情報出力ステップと、を備え、前記判定ステップは、前記作業チェック情報に基づき前記第１作業者の作業の映像と前記第２の作業者の作業の映像を対比することにより作業の成否を判定することを特徴とする。

この構成により、判定ステップにて作業チェック情報に基づき熟練者（第１作業者）の作業映像と現場の作業者（第２作業者）の作業映像を対比することにより作業の成否を判定するので、確実に作業チェック（作業の成否判定）を行うことができる。作業チェックの結果に基づき作業ミスを音声や映像で指摘することにより、作業をやり直すよう誘導することもできる。よって、作業スキルが低い作業者に対しても、確実に作業チェックを行うことにより作業ミスを防止することができる。

本発明の作業支援システムにおいて、（１６）前記判定装置は、前記作業を指示する指示情報を、前記情報出力装置から出力させる作業指示部（１０２）と、前記情報出力装置による前記指示情報の出力後に、前記情報取得装置が取得した情報から前記指示情報に応答した応答情報を検出する情報検出部（１０５）と、前記情報検出部が検出した前記応答情報に基づいて作業の成否を判定する判定部（１１２）と、を備える構成であってもよい。

この構成により、作業の開始時に、作業指示部および情報出力装置が作業の指示情報を音声や画面表示により作業者に伝え、作業終了時に、情報取得部が作業者からの情報を音声や画面操作などにより取得する。その際、情報検出部が指示情報に応答した応答情報を検出し、判定部がその応答情報の内容から作業の成否を判定する。例えば、応答情報の内容が「完了」や「終了」を示す情報であれば、作業は成功したと判定し、「完了」や「終了」以外を示す情報であれば、作業は失敗あるいは未完了であると判定する。このように、作業支援システムと作業者とが例えば音声や画面により対話を行うことにより、作業者の作業を支援するものである。簡素な構成により低コストで作業支援システムを構築でき、作業者は両手が自由に使えるので使い勝手もよく、作業者の発話や画面操作など作業者からの情報に基づいて作業の成否を判定するので、効率的に作業ミスを防止することができる。

本発明の作業支援システムにおいて、（１７）前記判定装置は、前記判定部が作業を成功と判定した後、作業の完了を確認する問い掛け情報を、前記情報出力装置から出力させる問い掛け確認部（１０７）をさらに備え、前記判定部は、前記情報出力装置による問い掛け情報の出力後、前記情報検出部が検出した前記応答情報に基づいて作業の成否を判定する構成であってもよい。

この構成により、判定部が作業の成功を判定した後、問い掛け確認部および情報出力装置が、作業の完了を確認する問い掛けを行うので、作業者に作業ミスを気付かせる可能性を高めることができ、作業ミスを効果的に低減することができる。

本発明の作業支援システムにおいて、（１８）前記判定装置は、作業の注意情報を前記情報出力装置から出力させる注意情報出力部（１０３）をさらに備える構成であってもよい。

この構成により、作業の開始時などに、注意情報出力部が作業の注意情報を情報出力装置から出力させることで、作業者に注意を喚起することができ、作業ミス、作業事故を効果的に低減することができる。

本発明の作業支援システムは、（１９）作業の対象物の画像を取得する画像取得装置（１２２）をさらに備え、前記判定装置は、前記画像取得装置が取得した前記作業の対象物の画像情報を取得する画像情報取得部（１０９）をさらに備え、前記判定部は、前記画像情報取得部が前記作業の対象物の画像情報を取得していない場合は作業が未完了であると判定し、前記作業指示部は、前記判定部が前記画像情報を取得していないことを理由に作業が未完了であると判定した場合には、画像情報を要求する指示情報を、前記情報出力装置から出力させる構成であってもよい。

この構成により、判定部は、画像情報取得部が作業の対象物の画像情報（証拠写真）を取得していない場合は作業が未完了であると判定するので、作業者はより注意深く作業を行うことになり、作業ミスをより効果的に低減することができる。また、作業対象物の画像情報（証拠写真）を取得しておくことで、トレーサビリティを実現することもでき、さらには、作業比較モデルの機械学習において教師データとして使用することもできる。

本発明の作業支援システムにおいて、（２０）前記判定部は、前記情報出力装置による前記指示情報の出力後に、前記情報検出部が検出した前記応答情報に基づいて作業の成否を判定する第１判定部（１１４）と、前記情報出力装置による問い掛け情報の出力後、前記情報検出部が検出した前記応答情報に基づいて作業の成否を判定する第２判定部（１１５）と、前記画像情報取得部が前記作業の対象物の画像情報を取得していない場合は作業が未完了であると判定し、前記作業の対象物の画像情報を取得している場合は、前記情報出力装置による前記指示情報の出力後に、前記情報検出部が検出した前記応答情報に基づいて作業の成否を判定する第３判定部（１１６）と、を備え、作業の重要度に応じて前記第１〜３判定部のいずれか１つを選択して使用する構成であってもよい。

この構成により、判定部が作業の重要度に応じて第１〜３判定部のいずれか１つを選択して使用するので、重要性の低い作業に対しては判定基準の緩い例えば第１判定部を使用し、重要度の高い作業に対しては判定基準の厳格な例えば第２判定部や第３判定部を使用するといった柔軟な対応が可能であり、作業の効率を落とさずに作業ミスを効果的に低減することができる。

本発明の作業支援システムにおいて、（２１）前記判定部は、前記画像情報取得部が取得した画像情報の適否を判定し、前記作業指示部は、前記判定部が前記画像情報は不適であると判定した場合には、画像情報を要求する指示情報を、前記情報出力装置から出力させる構成であってもよい。

この構成により、判定部は、画像情報取得部が取得した画像情報（証拠写真）が適切な撮影位置や適切な撮影方向で撮影されたものであるか等の観点よりその適否を判定することで、不適切な画像情報（証拠写真）を取得することが防止できる。また、作業者の注意を喚起することにもなり、作業ミスを低減することができる。

本発明の作業支援システムにおいて、（２２）前記判定部は、前記画像情報取得部が取得した画像情報に基づいて作業の完了を判定する構成であってもよい。

この構成により、判定部は画像情報取得部が取得した画像情報（証拠写真）に基づいて作業の完了を判定するので、より正確に作業の完了を判定することができる。

本発明の作業支援システムは、（２３）前記作業者が行う作業の映像を取得する映像取得装置（２１）をさらに備え、前記判定装置は、前記映像取得装置が取得した映像の情報を取得する映像情報取得部（１０９）をさらに備え、前記判定部は、前記映像取得部が取得した前記作業者の作業の映像を基に作業の完了を判定する構成であってもよい。

この構成により、判定部は映像情報取得部が取得した映像情報（証拠映像）に基づいて作業の完了を判定するので、より正確に作業の完了を判定することができる。また、作業の映像情報（証拠映像）を取得しておくことで、トレーサビリティを実現することもでき、さらには、作業比較モデルの機械学習において教師データとして使用することもできる。

本発明の作業支援システムは、（２４）作業に関連する情報を検知するセンサ装置をさらに備え、前記判定装置は、前記センサ装置が検知した前記作業に関連する情報を取得するセンサ情報取得部（１２３）をさらに備え、前記判定部は、前記センサ情報取得部が取得した前記作業に関連する情報に基づいて作業の完了を判定する構成であってもよい。

この構成により、判定部はセンサ装置およびセンサ情報取得部が取得した作業に関連する情報に基づいて作業の完了を判定するので、より正確に作業の完了を判定することができる。

本発明の作業支援システムにおいて、（２５）前記作業指示部は、前記判定部が作業は未完了であると判定した場合には、作業が未完了であることを示す情報を、リアルタイムで前記情報出力装置から出力させる構成であってもよい。

この構成により、作業ミス等により作業が未完了の場合に、作業指示部および情報出力装置がリアルタイムで情報を作業者に通知することで、作業ミスをより効果的に防止することができる。

本発明の作業支援システムは、（２６）前記判定部が作業は正常に完了したものと判定したとき、該作業に関連したデータを取得するデータ取得部（１１８）と、前記データ取得部が取得した前記作業に関連したデータを基に作業書類を生成する作業書類生成部（１１９）と、をさらに備える構成であってもよい。

この構成により、作業書類生成部によりチェックリストや作業報告書などの作業書類が自動的に生成されるので、作業者の負担が軽減され、記載ミスや記載漏れが防止されるとともに、作成作業に要する工数が低減される。

本発明の作業支援システムにおいて、（２７）前記作業書類生成部は、前記判定部が前記情報検出部により検出された前記応答情報に基づいて作業が完了したものと判定した場合に、前記作業書類を生成する構成であってもよい。

この構成により、作業者からの「完了」を示す応答情報を契機として、作業書類生成部によりチェックリストや作業報告書などの作業書類が自動的に生成されるので、作業者の負担が軽減され、記載ミスや記載漏れが防止されるとともに、作成作業に要する工数が低減される。

本発明の作業支援システムにおいて、（２８）前記データ取得部は、前記判定部による作業の成否の判定結果および該作業に要した作業時間の情報を取得し、前記作業書類生成部は、前記判定結果と前記作業時間の情報を含めて前記作業書類を生成する構成であってもよい。

この構成により、作業書類生成部は、作業成否の判定結果と作業時間を含めて作業書類を生成するので、より適切な作業書類を作成することができる。

本発明の作業支援システムにおいて、（２９）前記判定装置は、前記判定部により判定される作業の範囲を作業者の技能レベルに応じて変更する構成であってもよい。

この構成により、判定部により判定される作業の範囲を作業者の技能レベルに応じて変更するので、作業支援をより効率的に行うことができる。例えば、技能レベルの高い作業者には、作業Ａと作業Ｂとを合わせた範囲の作業について作業の成否を判定することにより、作業Ａと作業Ｂの間で中断されずに作業を行うことができる。また、例えば技能レベルの低い作業者には、作業Ａと作業Ｂそれぞれの作業の成否を判定することにより、きめ細かく作業支援を行うことができる。

本発明の作業支援システムにおいて、（３０）前記情報取得装置は、作業中の音声の情報を取得し、前記情報出力装置は、出力する情報を音声により出力する構成であってもよい。

この構成により、作業者の両手が自由に使えるので作業性がよく、作業者に音声対話により効率的に作業支援を行うことができる。

本発明の作業支援システムにおいて、（３１）前記情報取得装置は、作業者の画面操作の情報を取得し、前記情報出力装置は、出力する情報を画面表示する構成であってもよい。

この構成により、作業者のスマートフォンなどの画面により簡単な構成で効率的に作業支援を行うことができる。

本発明の作業支援システムにおいて、（３２）前記情報取得装置は、作業中の音声の情報および作業者の画面操作の情報を取得し、前記情報出力装置は、出力する情報を音声により出力し且つ画面表示する構成であってもよい。

この構成により作業者に例えばスマートフォンなどの画面表示による作業支援と音声対話による作業支援を同時に行うことができるので、確実で利便性の高い作業支援を実現できる。

本発明によれば、作業スキルが低い作業者に対しても、確実に作業チェックを行うことにより作業ミスを防止することができる作業支援システムおよび作業支援方法を提供することができる。

本発明の第１の実施形態に係る作業支援システムの構成図である。 図１に示される熟練者端末の構成図である。 図１に示される作業者端末の構成図である。 図１に示される作業情報生成サーバの構成図である。 図４に示される熟練者作業行動情報記録データベースの構成図である。 図４に示される現地作業者作業情報記録データベースの構成図である。 図４に示される作業対象機器情報記録データベースの構成図である。 熟練者の作業映像および作業音声を分割する方法を示す説明図である。 作業チェック情報を生成する方法を示す説明図である。 作業チェック（作業の成否判定）の方法を示す説明図である。 作業チェック（作業の成否判定）の方法を示す説明図である。 作業チェック（作業の成否判定）の別の方法を示す説明図である。 作業チェック（作業の成否判定）の別の方法を示す説明図である。 注意喚起の方法を示す説明図である。 注意喚起の別の方法を示す説明図である。 本発明の一実施形態に係る作業支援方法のフローチャートである。 図１５に示される作業チェック情報生成ステップのフローチャートである。 図１５に示される作業チェック実施ステップのフローチャートである。 本発明の第２の実施形態に係る作業支援システムの概略構成を示す図である。 本発明の第２の実施形態に係る作業支援システムの機能ブロックを示す図である。 図１９に示される制御装置の概略構成を示す図である。 作業支援パターン１を説明する図である。 作業支援パターン２を説明する図である。 作業支援パターン３を説明する図である。 作業支援パターン４を説明する図である。 画像データや映像データの利用法を説明する図である。 作業者端末の表示画面の一例を示す図である。 作業者端末の表示画面の一例を示す図である。 作業者端末の表示画面の一例を示す図である。 作業者端末の表示画面の一例を示す図である。 作業者端末の表示画面の一例を示す図である。 作業者端末の表示画面の一例を示す図である。 作業者端末の表示画面の一例を示す図である。

以下、本発明の実施形態に係る作業支援システムについて、図面を参照して説明する。

（第１の実施形態）
本発明の第１の実施形態に係る作業支援システム１は、現場で作業者３により行われる作業の成否をリアルタイムで判定することにより作業ミスを防止するシステムである。具体的には、作業支援システム１は、熟練者２の作業記録（作業映像・作業音声）に基づいて作業チェック情報を生成し、作業チェック情報に基づいて熟練者２の作業映像と作業者３の作業映像を対比することにより作業者３の作業の成否を判定している。なお、支援対象の作業は、保守・点検作業に限定されず、現場で行われるどんな作業であってもよい。

図１は、本発明の第１の実施形態に係る作業支援システム１の構成を示す構成図である。図１に示すように、作業支援システム１は、熟練者端末１０と、作業者端末２０と、作業情報生成サーバ３０と、を備え、それらがネットワーク４を介して相互に接続されている。

熟練者端末１０には、映像取得装置（例えば、カメラ）１１と音声取得装置（例えば、マイク）１２とが有線あるいは近接無線により接続されている。また、作業者端末２０には、映像取得装置（例えば、カメラ）２１と音声取得装置（例えば、マイク）２２と支援情報出力装置（例えば、イヤホン、スピーカ、ディスプレイなど）２３が有線あるいは近接無線により接続されている。作業情報生成サーバ３０には、各種データベースを格納した記憶装置３１が接続されている。

本実施形態では、映像取得装置１１および音声取得装置１２が熟練者端末１０に接続された構成であるが、これに限定されない。映像取得装置１１および音声取得装置１２が、それぞれネットワーク４を介して作業情報生成サーバ３０に接続されるようにしてもよい。この場合には、熟練者端末１０は必ずしも必要ではない。

また、本実施形態では、映像取得装置２１、音声取得装置２２、および支援情報出力装置２３が、作業者端末２０に接続された構成であるが、これに限定されない。映像取得装置２１、音声取得装置２２、および支援情報出力装置２３が、それぞれネットワーク４を介して作業情報生成サーバ３０に接続されるようにしてもよい。この場合には、作業者端末２０は必ずしも必要ではない。

なお、本実施形態の熟練者２、作業者３、熟練者端末１０、および作業者端末２０は、それぞれ本発明の第１作業者、第２作業者、第１端末、および第２端末に対応する。また、本実施形態の映像取得装置１１、および映像取得装置２１は、それぞれ本発明の第１映像取得装置、および第２映像取得装置に対応する。

（熟練者端末）
まず、熟練者端末１０について説明する。
熟練者端末１０は、例えば、スマートフォン、タブレット端末、ヘッドマウントディスプレイ（ＨＭＤ）、ノート型ＰＣなどである。また、熟練者端末１０は、熟練者２に装着した映像取得装置（例えば、耳掛けカメラ）１１から作業の映像（作業映像）を取得し、熟練者２に装着した音声取得装置（例えば、マイク）１２から作業中に熟練者２が発した音声（作業音声）を取得するようになっている。映像取得装置１１は、携帯可能な例えば、耳掛けカメラであるが、任意の場所に固定して用いる固定カメラであってもよい。

映像取得装置１１および音声取得装置１２のいずれか一方、両方が、熟練者端末１０に組み込まれたものであってもよい。

図２は、熟練者端末１０の構成を示す構成図である。図２に示すように、熟練者端末１０は、制御部１４、各種処理プログラムを格納したメモリ１５、各種データベースを格納したストレージ１６、通信部１７、映像取得部１１ａ、音声取得部１２ａ、表示部１３、および電源供給部１８を備えている。

制御部１４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、その機能の一部または全部は、メモリ１５に記憶された各種処理プログラムをＣＰＵで実行することにより実現することができる。

通信部１７は、ネットワーク４を介して作業情報生成サーバ３０と通信を行うようになっている。

音声取得部１２ａは、作業時の熟練者２の音声を例えばマイクなどの音声取得装置１２から取得するようになっている。

映像取得部１１ａは、例えば耳掛けカメラなどの映像取得装置１１が撮影した熟練者２の作業映像を取得するようになっている。

表示部１３は、熟練者２に作業情報等を提示するためのものであり、具体的には、スマートフォン、タブレット端末など表示部で構成される。

電源供給部１８は、熟練者端末１０を駆動するのに必要な電力を供給するようになっている。

メモリ１５には、映像記録処理部１５ｂ、音声記録処理部１５ａ、および情報送受信処理部１５ｃを構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部１４のＣＰＵにより実行されることにより、それぞれの処理機能を実現できるようになっている。

映像記録処理部１５ｂは、制御部１４のＣＰＵにより処理プログラムが実行されることにより、映像取得部１１ａを駆動、制御して作業の映像を記録（録画）する処理を実行するようになっている。作業映像は動画であるが、静止画であってもよい。いずれの場合でも、動画あるいは静止画を構成する各画像と時間情報（時刻、開始時からの経過時間など）とが対応付けられてストレージ１６の熟練者作業行動情報記録データベース１６ａに記録される。

音声記録処理部１５ａは、制御部１４のＣＰＵにより処理プログラムが実行されることにより、音声取得部１２ａを駆動、制御して作業中の音声を記録する処理を実行するようになっている。音声情報は、時間情報（時刻、開始時からの経過時間など）と対応付けられてストレージ１６の熟練者作業行動情報記録データベース１６ａに記録される。

情報送受信処理部１５は、制御部１４のＣＰＵにより処理プログラムが実行されることにより、通信部１７を駆動、制御して作業情報生成サーバ３０と情報を送受する処理を実行するようになっている。

ストレージ１６には、熟練者作業行動情報記録データベース１６ａが格納されている。

図５は、熟練者作業行動情報記録データベース１６ａの構成例を示す構成図である。図５に示すように、熟練者作業行動情報記録データベース１６ａの各レコード（行）に記録される項目は、例えば、熟練者２の作業者Ｎｏ、作業Ｎｏ、記録映像、記録音声、作業時間などである。

作業者Ｎｏは、各作業者に一意に割り当てられた識別番号である。作業Ｎｏは、作業を特定するために一意に割り当てられた番号である。記録映像は、作業を記録した動画ファイル名である。記録音声は、作業時の音声を記録した音声ファイル名である。作業時間は、作業に要した時間である。

熟練者作業行動情報記録データベース１６ａには、熟練者２が作業Ｎｏで特定される作業を行うごとに、レコード（行）データが追加されるようになっている。

なお、熟練者２の作業映像と作業音声を取得しつつ、それらのデータを作業情報生成サーバ３０に送信し、作業情報生成サーバ３０の記憶装置３１に記憶する場合には、熟練者端末１０に熟練者作業行動情報記録データベース１６ａを格納しておかなくてもよい。

（作業者端末）
次に作業者端末２０について説明する。
作業者端末２０は、例えば、スマートフォン、タブレット端末、ヘッドマウントディスプレイ（ＨＭＤ）、ノート型ＰＣなどである。また、作業者端末２０は、作業者３に装着した映像取得装置（例えば、耳掛けカメラ）２１から作業の映像（作業映像）を取得し、作業者３に装着した音声取得装置（例えば、ピンマイク）２２から作業中に作業者３が発した音声（作業音声）を取得するようになっている。また、作業者端末２０は、作業支援情報を支援情報出力装置２３（例えば、イヤホン、スピーカなど）に出力するようになっている。

映像取得装置２１、音声取得装置２２、および支援情報出力装置２３のいずれか１つまたは２つ、或いはすべては、作業者端末２０に組み込まれたものであってもよい。

図３は、作業者端末２０の構成を示す構成図である。図３に示すように、作業者端末２０は、制御部２４、各種処理プログラムを格納したメモリ２５、各種データベースを格納したストレージ２６、通信部２７、音声取得部２２ａ、映像取得部２１ａ、表示部２３ａ、音声／映像出力部２３ｂ、および電源供給部２８を備えている。表示部２３ａは、作業支援情報を動画または静止画で表示する場合に、支援情報出力装置としても機能する。

作業者端末２０の制御部２４、各種処理プログラムを格納したメモリ２５、通信部２７、音声取得部２２ａ、映像取得部２１ａ、表示部２３ａ、および電源供給部２８は、熟練者端末１０の対応する構成要素と同じ機能を有するので、詳細な説明は省略する。

音声／映像出力部２３ｂは、作業者３に作業支援情報（作業の成否、注意喚起など）を音声または／および映像で伝えるために支援情報出力装置２３（イヤホン、スピーカ、ディスプレイなど）に音声または／およびデータを出力するようになっている。

メモリ２５には、映像記録処理部２５ｂ、音声記録処理部２５ａ、および情報送受信処理部２５ｃを構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部２４のＣＰＵにより実行されることにより、それぞれの処理機能を実現できるようになっている。上記処理プログラムは、熟練者端末１０の対応する処理プログラムと同様の機能を実現するので、詳細な説明は省略する。

ストレージ２６には、現地作業者作業情報記録データベース２６ａが備えられている。

図６は、現地作業者作業情報記録データベース２６ａの構成例を示す構成図である。図６に示すように、現地作業者作業情報記録データベース２６ａの各レコード（行）に記録される項目は、例えば、作業者Ｎｏ、作業日時、作業Ｎｏ、要素作業Ｎｏ、チェック項目、作業時間、作業成否、記録動画、記録音声などである。

作業者Ｎｏは、各作業者に一意に割り当てられた識別番号である。作業日時は、作業者３が作業を行った日時である。作業Ｎｏは、作業を特定するために一意に割り当てられた番号である。要素作業Ｎｏは、作業を要素作業に分割した場合の要素作業を特定する番号である。チェック項目は、チェック内容を示す。作業時間は、作業者３が要素作業に要した時間である。作業成否は、作業の成否判定の結果である。記録動画は、作業を記録した動画ファイル名である。記録音声は、作業時の音声を記録した音声ファイル名である。

現地作業者作業情報記録データベース２６ａには、作業者３が作業Ｎｏで特定される作業を行うごとに、レコード（行）データが追加されるようになっている。

なお、現地作業者作業情報記録データベース２６ａは、作業者端末２０のストレージ２６および作業情報生成サーバ３０のストレージ３０２のいずれか一方、或いは両方に記憶するようにしてもよい。

（作業情報生成サーバ）
次に、作業情報生成サーバ３０について説明する。

図４は、作業情報生成サーバ３０の構成図である。図４に示すように、作業情報生成サーバ３０は、制御部３００、各種処理プログラムを格納したメモリ３０１、各種データベースを格納したストレージ３０２、通信部３０７、表示部３０３、認証部３０８、外部機器接続部３１１、電源供給部３１２、作業者端末管理部３３０、および作業分析／解析部３３５を備えている。

制御部３００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、作業情報生成サーバ３０の機能の一部または全部は、メモリ３０１に記憶された各種処理プログラムをＣＰＵで実行することにより実現することができる。

通信部３０７は、ネットワーク４を介して熟練者端末１０および作業者端末２０と通信を行うようになっている。

表示部３０３は、液晶ディスプレイ等で構成され、熟練者２および／または作業者３の作業映像やシステム管理状況等を表示できるようになっている。

認証部３０８は、公知の認証方法を用いてユーザの利用資格を確認するものであり、利用資格を有するユーザのみが作業情報生成サーバ３０を利用できるようになっている。

外部機器接続部３１１は、必要に応じて、例えば、モニター装置、プリンタ装置、外部記憶装置などの外部機器と接続できるようになっている。

電源供給部３１２は、作業情報生成サーバ３０を駆動するのに必要な電力を供給するようになっている。

＜メモリ＞
メモリ３０１には、映像データ処理部３１３、音声データ処理部３１４、情報重畳処理部３１５、情報送受信処理部３１６、位置データ処理部３１８、および空間データ処理部３１９を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部３００のＣＰＵにより実行されることにより、それぞれの処理機能を実現できるようになっている。

映像データ処理部３１３は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、熟練者端末１０および作業者端末２０から送信された作業映像データに対して、各種データ処理を行うようになっている。映像データ処理部３１３は、例えば、画像認識処理を行い、作業対象機器、熟練者２や作業者３の腕や手、作業工具などを認識できるようになっている。また、映像データ処理部３１３は、例えば、作業映像（動画）に含まれる各画像について、特徴点の抽出や特徴量の算出をするようになっている。これら特徴点や特徴量の情報を基に、２画像の類否判定、画像中の対象物の存否判定などを行うことができる。

音声データ処理部３１４は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、熟練者端末１０および作業者端末２０から送信された作業音声データに対して、各種データ処理を行うようになっている。具体的には、音声データ処理部３１４は、音声認識処理部、言語変換処理部などを備えている。

音声認識処理部は、熟練者端末１０から送信される熟練者２の音声データ、または作業者端末２０から送信される作業者３の音声データに対して、音声認識処理を実行し、テキストデータに変換する。また、言語変換処理部は、熟練者２の作業音声を音声認識処理して得られた日本語のテキストデータを、指定された外国語に変換（翻訳）する。支援情報出力装置２３は、該外国語に翻訳された、作業支援情報を伝えるテキストデータを、音声または／および映像で出力する。なお、本実施形態の音声データ処理部３１４が本発明の言語変換装置に対応する。

情報重畳処理部３１５は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、例えば、拡張現実の画面において作業手順の情報を重畳して表示する処理を実行するようになっている。

情報送受信処理部３１６は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、通信部３０７を駆動、制御して熟練者端末１０および作業者端末２０と情報を送受する処理を実行するようになっている。

位置データ処理部３１８は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、熟練者端末１０および作業者端末２０から送信された位置データに対して、各種データ処理を実行するようになっている。

空間データ処理部３１９は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、熟練者端末１０および作業者端末２０から送信された空間（距離）データに対して、各種データ処理を実行するようになっている。

＜作業者端末管理部＞
作業者端末管理部３３０は、作業支援情報配信部３３１、および機器状態管理部３３２を備えている。

作業支援情報配信部３３１は、作業支援情報を作業者端末２０に配信するようになっている。具体的には、作業支援情報配信部３３１は、作業者３が行った作業の成否の判定結果や、要注意段階の前に作業者３に与える注意喚起のメッセージなどの作業支援情報を作業者端末２０に送信する。作業者端末２０では、受信した作業支援情報のデータを音声／映像出力部２３ｂを介して支援情報出力装置２３に送る。支援情報出力装置２３は、作業支援情報を、音声および映像（動画）の少なくとも一方で選択的に出力できるようになっている。作業支援情報の映像データは表示部２３ａに表示するようにしてもよい。この場合、表示部２３ａは支援情報出力装置２３として機能する。

作業の成否の判定結果、作業が失敗の場合に送信される音声または映像のメッセージとしては、例えばネジを外す作業において「外すネジが間違っています！」などである。作業の成否の判定結果、作業が成功の場合には、特にメッセージを送信しなくてもよいし、或いは「ネジを外す作業が正常に終わりました」などのメッセージを送信してもよい。注意喚起のための音声または映像のメッセージとしては、例えば部品交換の作業において「感電に注意！」などである。

作業支援情報として、例えば、作業手順、環境情報およびステータス情報を含むようにしてもよい。作業手順の説明としては、例えば「作業１：ネジを外してください」というメッセージが挙げられる。環境情報としては、例えば現場環境の温度、湿度が挙げられる。ステータス情報としては、作業の進捗度、経過時間などが挙げられる。

機器状態管理部３３２は、作業対象機器を含めて作業に関係する機器の仕様およびその状態、ならびに作業現場の環境に関する情報を記憶し、管理するようになっている。

＜作業分析／解析部＞
作業分析／解析部３３５は、作業行動記録集計部３３６、作業記録分析部３３８、分析結果出力部３３９、作業チェック情報生成部３４０、および作業報告書作成部３４１を備えている。なお、本実施形態の作業記録分析部３３８が、本発明の判定装置および注意喚起制御装置に対応する。

作業行動記録集計部３３６は、熟練者２または作業者３による作業行動の記録（作業映像、作業音声）を取得し、集計するようになっている。熟練者２の作業行動の情報は、ストレージ３０２に格納された熟練者作業行動情報記録データベース３２３に記憶され、作業者３の作業行動の情報は、現地作業者作業情報記録データベース３２４に記憶されている。

作業記録分析部３３８は、作業チェック情報に基づき、作業者３の作業記録（作業映像、作業音声などの作業行動情報）を、熟練者２の作業記録（作業映像、作業音声などの作業行動情報）と対比、分析し、作業者３の作業の成否を判定するようになっている。

また、作業記録分析部３３８は、作業チェック情報および作業者３の作業の経時情報（経過時間または作業段階の情報）に基づき作業中の特定段階の前に支援情報出力装置２３に作業支援情報として注意情報を出力させる制御を行うようになっている。

分析結果出力部３３９は、作業記録の分析結果を作業者端末管理部３３０の作業支援情報配信部３３１や作業報告書作成部３４１等に出力するようになっている。

作業チェック情報生成部３４０は、熟練者作業行動情報記録データベース３２３に記憶された熟練者２の作業映像および作業音声を基に作業チェック情報７０を生成する。生成した作業チェック情報は、例えば、現地作業者作業情報記録データベース３２４や熟練者作業行動情報記録データベース３２３などストレージ３０２の適当な場所に格納しておく。

作業報告書作成部３４１は、作業記録分析部３３８による作業者３の各作業の成否の判定結果、各作業に要した時間などの情報を含む作業報告書を電子ファイルの形式で作成し、現地作業者作業情報記録データベース３２４などストレージ３０２内の適当な場所に格納する。作業報告書には、作業者Ｎｏ、作業者名、作業日時、作業Ｎｏ（作業内容）なども併せて記録される。作業報告書は、必要に応じて作業者端末２０に送信され、作業者３が作業報告書の内容を見ることができる。

＜ストレージ＞
ストレージ３０２には、熟練者作業行動情報記録データベース３２３、現地作業者作業情報記録データベース３２４、および作業対象機器情報記録データベース３２５が格納されている。ストレージ３０２は図１の記憶装置３１に対応する。

熟練者作業行動情報記録データベース３２３、現地作業者作業情報記録データベース３２４については、熟練者端末１０または作業者端末２０の対応するデータベース構造と同じであるので、詳細な説明は省略する。なお、熟練者作業行動情報記録データベース３２３、現地作業者作業情報記録データベース３２４に格納する作業映像の情報は、元の映像データの代わりに、映像を構成する各画像に対して画像処理を行って得られた特徴点や特徴量などの情報であってもよい。

図７は、作業対象機器情報記録データベース３２５の構成を示す構成図である。図７に示すように、作業対象機器情報記録データベース３２５の各レコード（行）に記録される項目は、機器Ｎｏ、作業Ｎｏ、仕様、および画像である。

機器Ｎｏは、作業Ｎｏで特定される作業において対象となる機器を特定する識別番号である。作業Ｎｏは、作業を特定するために一意に割り当てられた番号である。仕様の欄には、機器Ｎｏで特定される機器の仕様（スペック）の情報を記録したファイル名が入っている。画像の欄には、機器Ｎｏで特定される機器の画像ファイル名が入っている。

次に、図８を参照して作業チェック情報の生成において映像情報および音声情報を分割する方法を説明する。

作業チェック情報生成部３４０は、熟練者２の作業映像および作業音声を熟練者２の作業音声の情報に基づいて要素作業に分割し、作業記録分析部３３８は要素作業ごとに作業の成否を判定する。

具体的には、まず映像取得装置１１が、熟練者２の作業映像を取得し、音声取得装置１２が、熟練者２の作業音声を取得する。熟練者端末１０は、取得した作業映像および作業音声のデータを受け取り、熟練者作業行動情報記録データベース１６ａに格納する。作業映像は、動画ファイル５１であり、所定時間間隔で撮影された一連の画像を含んでいる。作業音声は、音声ファイル５２であり、熟練者２が発した音声が含まれている。熟練者端末１０は、通信部１７を介して、熟練者作業行動情報記録データベース１６ａに格納された熟練者２の作業映像（動画ファイル５１）および作業音声（音声ファイル５２）を作業情報生成サーバ３０に送信する。

作業情報生成サーバ３０は、熟練者２の作業映像および作業音声を熟練者作業行動情報記録データベース３２３に格納する。次いで、音声データ処理部３１４が、熟練者２の作業音声のデータに対して、音声認識処理を実施する。次いで、作業チェック情報生成部３４０が、音声認識処理の結果から、「作業１ 〇〇〇を実施」などのメッセージを見つけ、各要素作業（作業１、作業２、・・・）の開始時間を特定する。作業チェック情報生成部３４０は、各要素作業の開始時間の情報を基に、作業映像および作業音声のファイルを各要素作業に分割し、ストレージ３０２内の適当な場所に記憶する。

次に、図９を参照して作業チェック情報生成部３４０による作業チェック情報７０の生成処理を説明する。

作業チェック情報７０の生成処理は、熟練者２の作業映像および作業音声の分割処理と同時に行うが、これに限定されず、分割処理の前、あるいは後に行ってもよい。

作業チェック情報生成部３４０は、音声データ処理部３１４を用いて、熟練者作業行動情報記録データベース３２３に記録された熟練者２の作業音声のデータに対して音声認識処理を実施し、成否をチェックすべき作業（作業チェック項目）および注意すべき事項（注意項目）を特定し、作業チェック情報７０としてストレージ３０２内の適当な場所に記憶する。

作業チェック項目を特定するため、例えば、各作業の開始を示す特定の語句（例えば「作業１」、「作業２」など）を含む作業開始メッセージ（例えば「作業１ ネジを外す」、「作業２ 蓋を取る」など）を特定し、そのメッセージ内容と時間（基準となる時刻からの経過時間）を取得する。

図９に示すように、例えば、作業チェック情報生成部３４０は、熟練者２の作業音声から、「作業１ ネジを外す」、「作業２ 蓋を取る」、「作業３ 部品を交換する」、「作業４ 蓋を閉める」、「作業５ ネジを締める」などという作業開始メッセージを特定した場合、作業チェック情報７０の作業Ｎｏ、作業時間、作業チェック項目の各欄に特定した情報を記録する。

作業チェック項目は、作業開始メッセージから取得するだけでなく、各作業の作業中に熟練者２が発するメッセージから作業チェック項目を取得してもよい。例えば、熟練者２の「交換した部品を回収箱に入れる」というメッセージから、「交換した部品を回収箱に入れる」という内容を作業チェック項目の欄に記録し、その時間も記録しておく。

また、作業チェック情報生成部３４０は、熟練者２の作業音声から注意項目を特定するため、例えば、注意喚起を示す注意メッセージを特定し、そのメッセージ内容と経過時間（基準となる時刻（例えば作業開始時）からの経過時間）を取得する。

例えば、図９に示すように、作業チェック情報生成部３４０が、熟練者２の作業音声から、「感電に注意」や「指挟みに注意」などという注意メッセージを特定した場合、注意項目、経過時間の各欄に特定した情報を作業チェック情報７０として記録する。

＜作業成否判定法１＞
次に、図１０Ａおよび図１０Ｂを参照して作業チェックにおける作業成否判定法１を説明する。

作業記録分析部３３８が、熟練者２の作業映像に含まれる特定の対象物が作業者３の作業映像に含まれているか否かにより作業の成否を判定する。

具体的には、作業記録分析部３３８は、作業者３の作業映像と、熟練者作業行動情報記録データベース３２３に記録された熟練者２の作業映像と、を対比する。この対比処理は、現地での作業者３の作業映像を取得しつつリアルタイムで行われる。リアルタイム性を損なわなければ、現地での作業者３の作業映像を一旦、現地作業者作業情報記録データベース３２４に記録し、該データベースに記録された作業者３の作業映像のデータを用いてもよい。

図１０Ａに示すように、例えば、作業チェック項目が作業１の「ネジを外す」である場合、作業１の熟練者２の作業映像中に対象機器から作業対象のネジが外れた画像Ａが存在する。よって、作業者３の作業映像中に対象機器からネジが外れた画像Ａが存在しないならば、「ネジを外す」という作業は実施されていないと判定できる。そこで、作業者３の作業映像中にネジが外された画像Ａに相当する画像が存在するか否かを調べ、存在していれば、作業は成功であると判定し（図１０Ａ）、存在していなければ、作業は失敗であると判定する（図１０Ｂ）。

作業者３の作業映像中に特定状態の対象物の画像Ａに対応する画像が存在するか否かは、例えば、比較する画像が画像Ａと同様の特徴点または／および特徴量を有しているか否かにより判断することができる。

作業者３の作業映像中における画像Ａの存否判断は、熟練者２の画像Ａが出現する時間ｔ１の±Δｔの範囲において作業者の作業映像に画像Ａに対応する画像が存在するか否かを判断する。このように対比判断する画像範囲を限定することにより、作業の迅速な成否判定が可能となる。

本実施形態では、作業者３の作業映像において対比する画像範囲を経過時間により所定範囲に限定したが、これに限定されない。作業者３の作業映像の最初の画像Ｓから最後の画像Ｅまでの全画像について対比判断してもよい。また、対比中に画像Ａに対応する画像が存在することが分かった場合、後の画像については対比を省略してもよい。

図１０Ｂに示すように、時間ｔ１±Δｔの範囲で、作業者３の作業映像中に画像Ａに対応する画像が存在しない場合には、作業１の開始時間ｔｓからの時間ｔ１＋Δｔが経過した後の適当な時点で、「ネジを外してください」などと音声または／および映像で注意喚起する。

ここで、作業者３の作業開始・作業終了の判断法を説明する。図１０Ａおよび図１０Ｂに示すように、作業１における熟練者２の作業映像の先頭には特定の対象物を撮影した画像Ｓが存在し、末尾には画像Ｅが存在している。例えば、作業者３の作業映像に画像Ｓに対応する画像が出現すれば、作業１が開始したものと判断し、作業者３の作業映像に画像Ｅに対応する画像が出現すれば、作業１が終了したものと判断する。このようにして、作業者３が作業Ｎｏで一意的に特定される作業（或いは要素作業）を開始したか、或いは終了したか否かを判断することができる。

別法として、作業者３が音声取得装置２２（例えばマイク）に発した音声に対して、音声データ処理部３１４により音声認識処理し、例えば「作業１を開始する」などのメッセージ音声を検出すると、それを合図に作業映像において作業１が開始したと判断するようにしてもよい。

＜作業成否判定法２＞
次に、図１１を参照して作業チェックにおける別の作業成否判定法２を説明する。

作業成否判定法２では、作業記録分析部３３８は、熟練者２の作業映像に含まれない対象物が作業者３の作業映像に含まれているか否かにより作業の成否を判定する。

具体的には、作業記録分析部３３８は、作業者３の作業映像と、熟練者作業行動情報記録データベース３２３に記録された熟練者２の作業映像と、を対比する。この対比処理は、現地での作業者３の作業映像を取得しつつリアルタイムで行われる。リアルタイム性を損なわなければ、現地での作業者３の作業映像を一旦、現地作業者作業情報記録データベース３２４に記録し、該データベースに記録された作業者３の作業映像のデータを用いてもよい。

図１１に示すように、例えば、作業チェック項目が作業１の「ネジを外す」である場合、作業１の熟練者２の作業映像中に対象機器から作業対象のネジ以外のネジが外れた画像Ｂは存在しない。よって、作業者３の作業映像中に対象機器からネジ以外のネジが外れた画像Ｂが存在するならば、「ネジを外す」という作業は成功裡に実施されていないと判定できる。そこで、作業者３の作業映像中に熟練者２の作業映像の各画像のいずれにも対応しない画像が存在するか否かを調べ、存在していなければ、作業は成功であると判定し、存在していれば、作業は失敗であると判定する（図１１）。

作業者３の作業映像中に熟練者２の作業映像の各画像のいずれにも対応しない画像が存在するか否かは、例えば、画像の特徴点または／および特徴量が類似しているか否かにより判断することができる。

作業者３の作業映像中に熟練者２の作業映像中の画像に対応する画像が存在するか否かの判断は、作業者３の作業映像の画像が出現する時間ｔ１の±Δｔの範囲において熟練者２の作業映像に対応する画像が存在するか否かを判断してもよい。このように対比判断する画像範囲を限定することにより、迅速な成否判定が可能となる。

図１１に示すように、例えば、作業者３の作業映像中に熟練者２の作業映像の各画像のいずれにも対応しない画像Ｂが存在する場合には、例えば「外すネジが間違っています」などと音声または／および映像で注意喚起する。

＜作業成否判定法３＞
次に、図１２を参照して作業チェックにおける別の作業成否判定法３を説明する。

作業成否判定法３では、作業記録分析部３３８は、熟練者２の作業映像に含まれる特定の対象物が作業者３の作業映像に所定の順序で含まれているか否かにより作業の成否を判定する。

具体的には、作業記録分析部３３８は、作業者３の作業映像と、熟練者作業行動情報記録データベース３２３に記録された熟練者２の作業映像と、を対比する。この対比処理は、現地での作業者３の作業映像を取得しつつリアルタイムで行われる。リアルタイム性を損なわなければ、現地での作業者３の作業映像を一旦、現地作業者作業情報記録データベース３２４に記録し、該データベースに記録された作業者３の作業映像のデータを用いてもよい。

図１２に示すように、例えば、熟練者２の作業映像または／および作業音声から、作業１について作業手順１、作業手順２、作業手順３の順に作業を進めるべきであることが分かっている場合、作業１の成否判定は次のようにする。まず、熟練者２の作業映像から作業手順１、２、３にそれぞれ対応する画像Ａ、Ｂ、Ｃを特定する。次いで、作業者３の作業映像中に画像Ａ、Ｂ、Ｃにそれぞれ対応する画像が存在し、かつ、それらがその順で出現しているか否かを調べる。作業者３の作業映像中に画像Ａ、Ｂ、Ｃにそれぞれ対応する画像がその順序で存在している場合には、作業は成功であると判定し、存在していなければ、作業は失敗であると判定する（図１２）。

作業者３の作業映像中に熟練者２の作業映像の画像Ａ、Ｂ、Ｃに対応する画像が存在するか否かは、例えば、対比する両画像の特徴点または／および特徴量が類似しているか否かにより判断することができる。

作業者３の作業映像中に熟練者２の作業映像中の画像Ａ、Ｂ、またはＣに対応する画像が存在するか否かの判断は、熟練者２の作業映像の画像Ａ、Ｂ、またはＣが出現する時間ｔ１の±Δｔの範囲において作業者３の作業映像に対応する画像が存在するか否かを判断してもよい。このように対比判断する画像範囲を限定することにより、迅速な成否判定が可能となる。

図１２に示すように、作業者３の作業映像中に画像Ａ、Ｂ、Ｃにそれぞれ対応する画像がその順序で存在していない場合には、例えば「作業手順が間違っています」などと音声または／および映像で注意喚起する。

＜注意喚起方法１＞
次に、図１３を参照して注意喚起方法１を説明する。

この注意喚起方法１では、作業記録分析部３３８は、作業チェック情報および作業者３の作業の経時情報に基づき作業中の特定段階の前に支援情報出力装置に作業支援情報として注意情報を出力させる。

ここで、「特定段階」とは、作業中に注意喚起を行うべき段階であり、例えば、「部品を交換する」作業３において交換のために「部品を把持する」段階や、「蓋を閉める」作業４において「蓋を本体に載せる」段階などが該当する。作業チェック情報生成部３４０が、作業チェック情報として、熟練者２の作業音声の情報に基づいて特定段階を決定する。

本実施形態において、「経時情報」は作業者３の作業開始からの経過時間の情報である。作業チェック情報生成部３４０は、熟練者２の作業音声を分析し、例えば「感電に注意」などの注意項目を抽出するとともに、そのメッセージが発せられた時間（作業開始時からの経過時間）を記録している。

図１３に示すように、作業記録分析部３３８は、作業者３の作業開始時からの経過時間を監視し、特定段階（画像Ｄに対応）の時間ｔ２よりΔｔだけ前の時間ｔ１に、音声または／および映像で例えば「感電に注意」と注意喚起する。ｔ１＝ｔ２−Δｔである。

＜注意喚起方法２＞
次に、図１４を参照して別の注意喚起方法２を説明する。

本実施形態では、作業者３の作業開始からの経過時間に基づいて注意喚起を行っているが、この構成に限定されず、作業者３の作業映像から認定される作業段階の情報に基づいて注意喚起を行うようにしてもよい。

図１４に示すように、作業チェック情報生成部３４０は、予め熟練者２の作業映像を分析し、注意喚起すべき特定段階（画像Ｄに対応）の前に作業段階１、２、３（それぞれ画像Ａ、Ｂ、Ｃに対応）がこの順に存在することを確認、記録しておく。そして、作業記録分析部３３８は、作業者３の作業中にリアルタイムで作業映像を分析し、画像Ａ、Ｂ、Ｃに対応する画像が出現することを監視し、画像Ｃに対応する画像を検出すると、音声または／および映像で例えば「感電に注意」と注意喚起する。すなわち、画像Ｄに対応する特定段階の前の作業段階で確実に注意喚起するようになっている。

次に、本実施形態に係る作業支援方法を説明する。

図１５は、本実施形態に係る作業支援方法のフローチャートである。
作業情報生成サーバ３０において、予め、作業チェック情報生成部３４０が、熟練者２の作業音声を基に熟練者２の作業映像および作業音声を要素作業に分割するとともに、熟練者２の作業映像および作業音声を基に作業チェック情報７０を生成しておく（Ｓ１）。作業者３の作業時には、作業情報生成サーバ３０において作業記録分析部３３８が、作業チェック情報７０を基に、作業者３が行った作業に対して作業チェックをリアルタイムで実施する（Ｓ２）。作業終了後に、作業情報生成サーバ３０において作業報告書作成部３４１が、作業チェックの実施結果を基に作業報告書を作成する（Ｓ３）。

次に、作業チェック情報７０の生成方法を説明する。

図１６は、作業チェック情報７０の生成方法を示すフローチャートである。
まず、熟練者２の作業中の映像・音声を取得する（Ｓ１０）。具体的には、熟練者２が装着した映像取得装置（例えば耳掛けカメラ）１１により撮影した映像と、音声取得装置（例えばマイク）１２により取得した音声を熟練者端末１０に取り込み、ネットワーク４を介して作業情報生成サーバ３０に送信する。作業情報生成サーバ３０において受信した作業映像および作業音声は、熟練者作業行動情報記録データベース３２３に記憶しておく。

次いで、熟練者２の作業映像および作業音声のファイルを、熟練者２の作業音声に基づいて要素作業に分割する（Ｓ１１）。具体的には、作業情報生成サーバ３０において音声データ処理部３１４により熟練者２の作業音声に対して音声認識処理を行う。音声認識処理の結果、「作業１ ○○○を実施」などの要素作業を特定するメッセージを検出し、各要素作業（作業１、作業２、・・・）の開始時間を特定する。そして、各要素作業の開始時間の情報を基に、作業映像および作業音声のファイルを各要素作業に分割する。

次いで、熟練者２の作業音声から作業チェック項目を抽出する（Ｓ１２）。具体的には、作業情報生成サーバ３０において熟練者２の作業音声に対して行った音声認識処理の結果から、作業チェック項目を抽出する。例えば、「作業１ ネジを外す」、「作業２ 蓋を取る」、「作業３ 部品を交換する」、「作業４ 蓋を閉める」、「作業５ ネジを締める」などのメッセージを検出すると、作業チェック項目として、作業１「ネジを外す」、作業２「蓋を取る」、作業３「部品を交換する」、作業４「蓋を閉める」、作業５「ネジを締める」などが抽出される。作業チェック情報生成部３４０は、作業チェック項目を、作業に要する作業時間と共に作業チェック情報７０として記憶する。

また、作業チェック情報生成部３４０は、例えば、「感電に注意」、「指挟みに注意」などの注意喚起のメッセージを検出すると、該メッセージを注意項目として認識し、基準時点（例えば作業開始時）からの経過時間の情報とともに作業チェック情報７０として記憶する。

次に、図１７を参照して、作業者３が行った作業に対して作業チェックを実施する方法を説明する。

まず、作業情報生成サーバ３０の作業記録分析部３３８が、作業チェック情報７０から最初の作業チェック項目を取得する（Ｓ２０）。具体的には、ストレージ３０２に記憶された作業チェック情報７０の作業１に対応する作業チェック項目、作業時間などの情報を取り出す。

次に、作業記録分析部３３８が、作業チェック情報７０のうち、作業１に対応する注意項目が存在するか、すなわち注意喚起が必要か否かを判断する（Ｓ２１）。注意喚起が必要であれば（Ｓ２１でＹｅｓ）、作業記録分析部３３８は、作業開始から所定の経過時間がたった時に、支援情報出力装置２３に音声または／および映像で注意喚起を行わせる（Ｓ２２）。例えば、作業３の開始から６０秒たった時に「感電に注意」と音声または／および映像により作業者３に注意喚起する。注意喚起が必要でなければ（Ｓ２１でＮｏ）、ステップＳ２３に進む。

ステップＳ２３では、作業記録分析部３３８が、熟練者２の作業映像と作業者３の作業映像を対比することにより、作業者３の作業に対して作業チェックを実施する。具体的には、上記の作業成否判定法１〜３のいずれか、或いは任意の組合せを順に用いて、作業の成否を判定する。作業の内容によって作業成否判定法を変えてもよい。

判定により作業チェック項目が不合格（失敗）ならば（Ｓ２４でＮｏ）、作業記録分析部３３８は、支援情報出力装置２３に音声または／映像で作業者３に警告させる（Ｓ２５）。例えば、作業５の「ネジを締める」という作業チェック項目が首尾良く実施されていない場合に、「ネジを締めてください」というメッセージを支援情報出力装置２３を介して作業者３に音声または／および映像で知らせる。警告を受けた作業者３は作業をやり直し（Ｓ２６）、ステップＳ２３に戻り、作業チェックを実施する。

判定により作業チェック項目が合格（成功）ならば（Ｓ２４でＹｅｓ）、ステップＳ２７に進み、作業記録分析部３３８は、作業チェック項目の合格、作業時間などの情報をストレージ３０２の現地作業者作業情報記録データベース３２４などに記録する（Ｓ２７）。そして、作業チェック情報７０に作業チェックすべき他の作業チェック項目が有れば（Ｓ２８でＹｅｓ）、ステップＳ２０に戻り、上記ステップを繰り返す。作業チェック情報７０に作業チェックすべき他の作業チェック項目が無ければ（Ｓ２８でＮｏ）、作業チェックを終了する。

次に、作用・効果について説明する。

上述のように、本実施形態に係る作業支援システム１は、作業チェック情報生成部３４０が、音声取得装置１２により取得された音声の情報に基づいて、作業チェックの基準となる作業チェック情報７０を生成するとともに、作業記録分析部３３８が作業チェック情報に基づき熟練者２の作業映像と現場の作業者３の作業映像を対比することにより作業の成否を判定する。

この構成により、作業記録分析部３３８が作業チェック情報７０に基づき熟練者２の作業映像と現場の作業者３の作業映像を対比することにより作業の成否を判定するので、確実に作業チェック（作業の成否判定）を行うことができる。作業チェックの結果に基づき作業ミスを音声や映像により指摘することにより、作業をやり直すよう誘導することもできる。よって、作業スキルが低い作業者に対しても、確実に作業チェックを行うことにより作業ミスを防止することができる。

また、本実施形態の作業支援システム１では、作業記録分析部３３８は、熟練者２の作業映像に含まれる特定の対象物が作業者３の作業映像に含まれているか否かにより作業の成否を判定する。この構成により、作業に必須の特定の対象物の存否を基に作業の成否を判定することにより、作業忘れを確実に検出することができる。

また、本実施形態の作業支援システム１では、作業記録分析部３３８は、熟練者２の作業映像に含まれない対象物が作業者３の作業映像に含まれているか否かにより作業の成否を判定するようにしてもよい。この構成により、作業に不要な対象物の存否を基に作業の成否を判定することにより、誤作業（作業内容の間違い）を確実に検出することができる。

また、本実施形態の作業支援システム１では、作業記録分析部３３８は、熟練者２の作業映像に含まれる特定の対象物が作業者３の作業映像に所定の順序で含まれているか否かにより作業の成否を判定するようにしてもよい。この構成により、作業に必須の対象物が所定順序で出現するか否かを基に作業の成否を判定することにより、手順ミスを確実に検出することができる。

また、本実施形態の作業支援システム１では、作業チェック情報生成部３４０は、熟練者２の作業映像を熟練者２の音声情報に基づいて要素作業に分割し、作業記録分析部３３８は要素作業ごとに作業の成否を判定するようになっている。この構成により、長時間の作業であっても適当な所要時間の要素作業に分割することにより、作業の成否をより正確に判定することができる。

また、本実施形態の作業支援システム１では、支援情報出力装置２３は、作業支援情報を、音声および映像（動画や静止画）の少なくとも一方で選択的に出力できるようになっている。この構成により、作業環境に応じて最適な方法（音声のみ／動画のみ／音声と動画）を選択して作業支援を行うことができる。

また、本実施形態の作業支援システム１は、支援情報出力装置２３より出力される作業支援情報を伝える音声を、指定された言語に変換する音声データ処理部３１４をさらに備えている。この構成により、日本語の分からない外国人の作業者に対しても該外国人の理解できる外国語で作業支援を行うことができる。

また、本実施形態の作業支援システム１は、作業記録分析部３３８による作業の判定結果を含む作業報告書を作成する作業報告書作成部３４１をさらに含んでいる。この構成により、現場での作業が完了すると作業報告書が自動的に作成されるので、作業者３が作業報告書を作成する手間が省ける。

また、本実施形態の作業支援システム１では、作業記録分析部３３８は、作業チェック情報７０および作業者３の作業開始からの経過時間の情報に基づき作業中の特定段階の前に支援情報出力装置２３に作業支援情報として注意情報を出力させるようになっている。この構成により、作業記録分析部３３８が作業チェック情報７０および経過時間に基づき注意喚起を要する特定段階の前に注意情報を出力させるので、作業ミスや事故を効果的に防止することができる。それにより、作業の質を高めることができる。

また、本実施形態の作業支援システム１では、作業チェック情報生成部３４０は、作業チェック情報として、熟練者２の作業中の音声情報に基づいて特定段階を決定する。この構成により、注意喚起を要する特定段階を容易に指定することができる。

また、本実施形態の作業支援システム１では、作業記録分析部３３８は、作業チェック情報７０および作業者３の作業映像から認定される作業段階の情報に基づき、作業中の特定段階の前に支援情報出力装置２３に作業支援情報として注意情報を出力させるようにしてもよい。この構成により、より適切な時に注意喚起を行うことができる。

また、本実施形態の作業支援システム１は、少なくとも作業チェック情報生成部３４０を備えた作業情報生成サーバ３０と、映像取得装置１１および音声取得装置１２を有し、作業情報生成サーバ３０に接続される熟練者端末１０と、映像取得装置２１および支援情報出力装置２３を有し、作業情報生成サーバ３０に接続される作業者端末２０と、を備えた構成である。この構成により、サーバを用いることにより、現場の作業者が携える作業者端末２０の構成を簡素にすることができる。

なお、本実施形態は、作業情報生成サーバ３０が、作業記録分析部３３８、熟練者作業行動情報記録データベース３２３などを有し、作業者３の作業チェック（成否判定）を行う構成であるが、この構成に限定されない。作業者端末２０が作業記録分析部３３８、熟練者作業行動情報記録データベース３２３、現地作業者作業情報記録データベース３２４などを有し、作業者端末２０において作業者３の作業チェック（成否判定）を行う構成であってもよい。また、本実施形態は、作業情報生成サーバ３０が、作業報告書作成部３４１を有し、作業報告書の作成を行う構成であるが、この構成に限定されない。作業者端末２０が作業報告書作成部３４１を有し、作業者端末２０において作業報告書の作成処理を行う構成であってもよい。

また、本実施形態の作業支援方法は、作業チェック情報生成ステップＳ１において、音声取得ステップＳ１０により取得された音声ファイル５２の情報に基づいて、作業チェックの基準となる作業チェック情報７０を生成するとともに、判定ステップＳ２において作業チェック情報７０に基づき熟練者２の作業映像と現場の作業者３の作業映像を対比することにより作業の成否を判定する。

この構成により、判定ステップＳ２にて作業チェック情報７０に基づき熟練者２の作業映像と現場の作業者３の作業映像を対比することにより作業の成否を判定するので、確実に作業チェック（作業の成否判定）を行うことができる。作業チェックの結果に基づき作業ミスを音声や映像で指摘することにより、作業をやり直すよう誘導することもできる。よって、作業スキルが低い作業者に対しても、確実に作業チェックを行うことにより作業ミスを防止することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について、図面を参照して説明する。以下の説明において、第１の実施形態の構成要素と同一の構成要素については同一の符号を付し、その詳細な説明は適宜省略する。

図１８は、本発明の第２の実施形態に係る作業支援システム１Ａの概略構成を示す図である。作業支援システム１Ａは、現場の作業者３と例えば音声や端末画面により対話を行うことにより作業者３の作業を支援するシステムである。具体的には、図１８に示すように、作業支援システム１Ａは、作業者端末２０と作業支援サーバ３０Ａとを備え、それらがネットワーク４を介して相互に接続されている。作業支援サーバ３０Ａは作業情報生成サーバ３０の構成を含んでいてもよい。

作業者端末２０には、作業の映像を取得する映像取得装置（例えば、耳掛けカメラ）２１、作業中の音声を取得する情報取得装置としての音声取得装置（例えば、マイク）２２、作業支援情報を出力する支援情報出力装置（例えば、イヤホン、スピーカ、ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス）２３、作業の対象物の画像（例えば、写真）を取得する画像取得装置（例えば、カメラ）１２２、および作業に関連する情報を感知するセンサ装置１２３が、有線あるいは近接無線により接続されている。作業支援サーバ３０Ａには、各種データベースを格納した記憶装置３１が接続されている。なお、本実施形態に係る支援情報出力装置２３が、本発明の情報出力装置に対応する。

作業者端末２０は、例えば、スマートフォンやタブレット端末などの携帯端末であり、音声取得装置２２、画像取得装置１２２、映像取得装置２１、支援情報出力装置２３のいずれか或いはすべてが作業者端末２０に内蔵されたものであってもよい。例えば、支援情報出力装置２３は、スマートフォンやタブレット端末などの作業者端末２０に内蔵されたスピーカやディスプレイなどであってもよい。作業者端末２０は、作業者による画面操作の情報を取得する、情報取得装置としての画面操作取得装置（例えばタッチパネル）１２１を備えてもよい（図１９参照）。作業者端末２０に接続される上記の各種装置は、内蔵されているか外部機器かに関わらず、作業内容、作業環境、作業者の技能レベル、後で説明する作業支援パターン等に応じて必要なものだけが適宜装備され使用される。

作業者３の代表的な装備として、限定するものではないが、例えば（ｉ）作業者端末２０としてのスマートフォンのみ、（ｉｉ）作業者端末２０としてのスマートフォンと支援情報出力装置２３としてのイヤホン、（ｉｉｉ）作業者端末２０としてのスマートフォンと支援情報出力装置２３としてのＡＲグラス、（ｉｖ）作業者端末２０としてのスマートフォンと支援情報出力装置２３としてのイヤホンと映像取得装置２１としての耳掛けカメラ、（ｖ）作業者端末２０としてのスマートフォンと支援情報出力装置２３としてのイヤホンとセンサ装置１２３としての身体センサ、等のケースが挙げられる。

（ｉ）の装備ケースでは、作業者３はタッチパネル付きのスマートフォンを携帯して作業を行い、スマートフォンのタッチパネルの画面表示および画面操作で作業支援システム１Ａと画面上の対話を行うことにより作業支援を受ける。この装備ケースでは、低コストで作業支援システムを構築できる。

（ｉｉ）の装備ケースでは、作業者３はスマートフォンを携帯するとともにイヤホンを装着して作業を行い、イヤホンとスマートフォン内蔵のマイクで作業支援システム１Ａと音声対話を行うことにより作業支援を受ける。この装備ケースでは、低コストで作業支援システムを構築できるとともに、作業中に作業者３がスマートフォンを操作する必要がなく、両手を自由に使えるので作業性がよい。

（ｉｉｉ）の装備ケースでは、作業者３はスマートフォンを携帯するとともにＡＲグラスをかけて作業を行い、ＡＲグラスに表示される映像により作業支援を受ける。この装備ケースでは、作業者３の両手が自由に使えるので作業性がよく、またＡＲ技術により作業対象物に重畳して支援情報を表示できるので高機能な支援が可能である。

（ｉｖ）の装備ケースでは、作業者３はスマートフォンを携帯するとともにイヤホンと耳掛けカメラを装着し作業を行い、耳掛けカメラから作業の映像情報を作業支援システム１Ａに送るとともに、イヤホンから音声により作業支援を受ける。この装備ケースでは、作業者３の両手が自由に使えるので作業性がよく、また作業の映像情報を基に作業の成否をより正確に判定することができるので、高機能な支援が可能である。

（ｖ）の装備ケースでは、作業者３はスマートフォンを携帯するとともにイヤホンと身体センサを装着し作業を行い、身体センサから身体情報（例えば、動作、指先感覚、指先圧力など）を作業支援システム１Ａに送るとともに、イヤホンから音声により作業支援を受ける。この装備ケースでは、作業者３の両手が自由に使えるので作業性がよく、また作業者３の身体情報を基に作業の成否をより正確に判定することができるので、高機能な支援が可能である。

上記各装備ケースでは、必要に応じて、スマートフォンは、カメラ機能、スピーカ機能、マイク機能、表示機能、タッチセンサ機能のいずれか或いはすべてを内蔵したものを使用する。なお、上記各装備ケースの作業者端末２０としてのスマートフォンは、タブレット端末などの他の携帯端末であってもよいことは勿論である。

図１９は、本発明の第２の実施形態に係る作業支援システム１Ａの機能ブロックを示す図である。図１９に示すように、作業支援システム１Ａは、作業支援サーバ３０Ａ側に制御装置１００、およびストレージ３０２を備え、作業者３側に支援情報出力装置２３、情報取得装置１２０、画像取得装置１２２、映像取得装置２１、およびセンサ装置１２３を備えている。情報取得装置１２０は、作業者３からの音声や画面操作などの情報を取得するものであり、音声取得装置２２、および画面操作取得装置１２１を備えている。なお、本実施形態に係る制御装置１００が、本発明の判定装置に対応する。

制御装置１００は、情報取得装置１２０が取得した作業者３からの情報を基に所定の判定基準に従って作業の成否を判定するものであり、対話部１０１と情報入出力部１０８と判定部１１２と書類作成部１１７とを備えている。

対話部１０１は、作業者３との音声対話、または支援情報出力装置２３として作業者端末３付属のタッチパネル等の画面（以下、単に「画面」ともいう）による対話を行うものであり、作業指示部１０２と注意情報出力部１０３と情報検出部１０４と問い掛け確認部１０７とを備えている。情報検出部１０４は、情報取得装置１２０が取得した情報を検出するものであり、発話検出部１０５と画面操作検出部１０６とを備えている。

作業指示部１０２は、ストレージ３０２の作業チェック情報記憶部１３０に記憶された作業チェック情報に基づき、作業を指示する指示情報を、支援情報出力装置２３から出力させるようになっている。支援情報出力装置２３からの出力は、音声、画面表示、音声＋画面表示のいずれの出力方式であってもよい（以下同様）。例えば、作業指示部１０２は、作業開始時に、「ネジ締め作業を実施してください」という指示メッセージを、支援情報出力装置２３から音声により出力させる。

作業指示部１０２は、映像取得装置２１が取得した作業の映像やセンサ装置１２３が取得した作業情報等に基づいて、判定部１１２が作業は未完了であると判定した場合には、作業が未完了であることを示す注意情報を、リアルタイムで支援情報出力装置２３から音声等で出力させるようにしてもよい。作業ミス等により作業が未完了の場合に、作業指示部１０２がリアルタイムで音声による注意情報を作業者３に通知することで、作業ミスをより効果的に防止することができる。

注意情報出力部１０３は、ストレージ３０２の作業チェック情報記憶部１３０に記憶された作業チェック情報に基づき、作業の注意情報を支援情報出力装置２３から出力させるようになっている。支援情報出力装置２３からの出力は、音声、画面表示、音声＋画面表示のいずれの出力方式であってもよい。例えば、注意情報出力部１０３は、作業開始時に、「ネジ締め作業を実施してください」という指示メッセージに続けて、「ネジとドライバを両手で持たないでください」という注意メッセージを、支援情報出力装置２３から音声等により出力させる。このように、作業の開始時などに、注意情報出力部１０３が作業の注意情報を支援情報出力装置２３から音声等で出力させることで、作業者３に注意を喚起することができ、作業ミス、作業事故を効果的に低減することができる。

情報検出部１０４は、支援情報出力装置２３による指示情報の出力後に、情報取得装置１２０が取得した情報から指示情報に応答した応答情報を検出するようになっている。

発話検出部１０５は、公知の音声認識技術を利用して、支援情報出力装置２３による指示情報の出力後に、音声取得装置２２が取得した音声情報から指示情報に応答した音声の応答情報を検出するようになっている。例えば、発話検出部１０５は、作業終了時あるいは問い掛け確認時に作業者３が発する「完了」という言葉を検出する。発話検出部１０５により検出した応答情報を示す音声情報は、作業のエビデンスとして、ストレージ３０２に設けられた音声記憶部１３３に格納される。

発話検出部１０５が検出する作業者３の特定の発話としては、「完了」に限定されるものではなく、他の単語、単語の組合せ、フレーズ、文章、造語などであってもよいことは勿論である。

画面操作取得装置１２１は、支援情報出力装置２３として作業者端末３付属のタッチパネル等の画面に対する作業者３の操作（例えば、タップ、ダブルタップ、ソフトキー入力など）の情報を取得するようになっている。以下では、作業者３による画面の操作を「画面操作」という。

問い掛け確認部１０７は、後で説明する判定部１１２が作業を成功と判定した後、作業の完了を確認する問い掛け情報を、支援情報出力装置２３から出力させるようになっている。支援情報出力装置２３からの出力は、音声、画面表示、音声＋画面表示のいずれの出力方式であってもよい。例えば、問い掛け確認部１０７は、「最後まで締め切りましたか？」という問い掛け確認メッセージを、支援情報出力装置２３から音声により出力させる。

また、情報入出力部１０８は、作業者端末２０に内蔵または接続された画像取得装置１２２、映像取得装置２１、センサ装置１２３などから情報を入力するとともに、支援情報出力装置２３に各種支援情報を出力するようになっており、画像・映像情報取得部１０９、センサ情報取得部１１０、および支援情報出力部１１１を備えている。

画像・映像情報取得部１０９は、画像取得装置１２２が取得した作業の対象物の画像情報を取得し、かつ／または、映像取得装置２１が取得した映像の情報を取得するようになっている。画像・映像情報取得部１０９により取得された画像情報および映像情報は、ストレージ３０２に設けられた画像・映像記憶部１３１に格納される。画像・映像記憶部１３１に格納された作業の画像情報および映像情報は、作業のエビデンスとして、或いは公知のＡＩ（人工知能）技術に基づいた作業比較モデルの機械学習に用いられる。なお、本実施形態の画像・映像情報取得部１０９が、本発明の画像情報取得部および映像情報取得部に対応する。

センサ情報取得部１１０は、センサ装置１２３が検知した作業に関連する情報を取得するようになっている。センサ装置１２３としては、例えば、作業者３に装着して作業者３の動作を検出する動作センサ、作業者３の指先に装着して指先の感覚、圧力を検出するセンサ、現場の匂いを検出する匂いセンサ、温度センサ、湿度センサ、味覚センサ、現場の設備音や音響を検出する音センサ、振動を検出する振動センサ、加速度センサ、作業者３の視線を検出する視線センサなどが挙げられる。センサ情報取得部１１０が取得した情報に基づいて、判定部１１２により作業の完了が判定されるようにしてもよい。このようにすることで、より正確に作業の完了を判定することができる。

支援情報出力部１１１は、制御装置１００の判定部１１２による判定結果に基づいて作業支援情報を支援情報出力装置２３に出力させるようになっている。支援情報出力装置２３からの出力は、音声、画面表示、音声＋画面表示のいずれの出力方式であってもよい。

また、判定部１１２は、情報検出部１０４が検出した応答情報に基づいて作業の成否を判定するようになっており、判定切替え部１１３と第１判定部１１４と第２判定部１１５と第３判定部１１６とを備えている。

判定切替え部１１３は、作業の重要度に応じて第１判定部１１４、第２判定部１１５、第３判定部１１６のいずれか１つを選択するようになっており、判定切替え部１１３により選択された判定部が作業の成否を判定する。

第１判定部１１４は、作業指示部１０２および支援情報出力装置２３による指示情報の出力後に、情報検出部１０４が検出した応答情報に基づいて作業の成否を判定するようになっている。例えば、支援情報出力装置２３により「ネジ締め作業を実施してください」という指示メッセージを音声で出力した後、情報検出部１０４の発話検出部１０５が検出した作業者３の発話（応答情報）に基づいて作業の成否を判定する。この場合、第１判定部１１４は、作業者３の発話が例えば「完了」であれば、作業は完了したものと判定し、「完了」以外であれば、作業は未完了であると判定する。

第２判定部１１５は、問い掛け確認部１０７および支援情報出力装置２３による問い掛け情報の出力後、情報検出部１０４が検出した応答情報に基づいて作業の成否を判定するようになっている。例えば、支援情報出力装置２３により「最後まで締め切りましたか？」という問い掛けメッセージを音声で出力した後、情報検出部１０４の発話検出部１０５が検出した作業者３の発話（応答情報）に基づいて作業の成否を判定する。この場合、第２判定部１１５は、作業者３の発話が例えば「完了」であれば、作業は完了したものと判定し、「完了」以外であれば、作業は未完了であると判定する。

ここで問い掛けのメッセージは、作業の終了を確認する上記表現だけではなく、ランプの色や入力数値を確認したり(例えば、「ランプの色は何色ですか？」や「入力数値はいくつですか？」)、作業の終了状態を確認する(例えば「バルブのレバーの向きはどちら向きですか？」)等を音声で出力するようにしてもよい。その応答は、ランプの色は「青」ですや、バルブの向きは「右」向きです等、具体的に返答する完了通知でもよい。また、それら問い掛けと応答を複数回繰り返してもよい。

第３判定部１１６は、画像・映像情報取得部１０９が作業の対象物の写真などの画像情報を取得していない場合は作業が未完了であると判定し、作業の対象物の画像情報を取得している場合は、支援情報出力装置２３による指示情報の出力後に、情報検出部１０４が検出した応答情報に基づいて作業の成否を判定するようになっている。例えば、支援情報出力装置２３により「ネジ締め作業を実施してください」という指示メッセージを音声で出力した後、画像・映像情報取得部１０９が作業の対象物の写真などの画像情報を取得した場合は、情報検出部１０４の発話検出部１０５が検出した作業者３の発話（応答情報）に基づいて作業の成否を判定する。この場合、第３判定部１１６は、作業者３の発話が例えば「完了」であれば、作業は完了したものと判定し、「完了」以外であれば、作業は未完了であると判定する。

第３判定部１１６は、画像・映像情報取得部１０９が取得した画像情報（証拠写真）が適切な撮影位置や適切な撮影方向で撮影されたものであるか等を基準にその適否を判定してもよい。作業指示部１０２は、第３判定部１１６が画像情報は不適であるか或いはアップロードされていないと判定した場合には、画像情報を要求する指示情報を、支援情報出力装置２３から音声等で出力させるようにしてもよい。これにより、不適切な画像情報（証拠写真）を取得することが防止できる。また、作業者３の注意を喚起することにもなり、作業ミスを低減することができる。

本実施形態では、判定部１１２が作業の重要度に応じて第１〜３判定部１１４、１１５、１１６のいずれか１つを選択して使用するので、重要性の低い作業に対しては判定基準の緩い例えば第１判定部１１４を使用し、重要度の高い作業に対しては判定基準の厳格な例えば第２判定部１１５や第３判定部１１６を使用するといった柔軟な対応が可能であり、作業の効率を落とさずに作業ミスを効果的に低減することができる。

また、書類作成部１１７は、作業に関し必要な書類（例えば、チェックリスト、作業報告書など）を作成する機能を有しており、データ取得部１１８と作業書類生成部１１９とを備えている。

データ取得部１１８は、判定部１１２が作業は正常に完了したものと判定したとき、該作業に関連したデータを取得するようになっている。具体的には、データ取得部１１８は、例えば、判定部１１２による作業の成否の判定結果および該作業に要した作業時間の情報を取得するようになっている。

作業書類生成部１１９は、データ取得部１１８が取得した作業に関連したデータを基にチェックリスト、作業報告書などの作業書類を生成するようになっている。具体的には、作業書類生成部１１９は、例えば、判定部１１２が情報検出部１０４により検出された発話や画面操作などの応答情報に基づいて作業が完了したものと判定した場合に、チェックリストなどの作業書類を生成するようになっている。このように、作業者３からの「完了」を示す関連情報を契機として、作業書類生成部１１９によりチェックリストなどの作業書類が自動的に生成されるので、作業者３の負担が軽減され、記載ミスや記載漏れが防止されるとともに、作成作業に要する工数が低減される。また、作業書類生成部１１９は、判定部１１２による判定結果と作業時間の情報を含めてチェックリストなどの作業書類を生成するようになっている。これにより、より適切な作業書類を作成することができる。

また、ストレージ３０２は、作業に関連する情報、各種データベース等を記憶しておく記憶装置であり、作業チェック情報記憶部１３０、音声記憶部１３３、画像・映像記憶部１３１、および作業書類記憶部１３２を含んでいる。

作業チェック情報記憶部１３０は、作業チェック（作業の成否判定）の基準となる作業チェック情報７０を記憶するようになっている。

音声記憶部１３３は、情報検出部１０４の発話検出部１０５により検出された作業者３の発話の音声情報を、作業のエビデンスとして、作業項目、作業日時などの情報と関連付けて記憶するようになっている。音声記憶部１３３に記憶された音声情報は、トレーサビリティの確保に資するものである。

画像・映像記憶部１３１は、画像・映像情報取得部１０９により取得された画像情報および映像情報を、作業項目、作業日時などの情報と関連付けて記憶するようになっている。これらの画像情報や映像情報は、作業のエビデンスとしてトレーサビリティの確保に資するものであり、またＡＩ技術に基づいた作業比較モデルの機械学習に用いることもできる。

作業書類記憶部１３２は、作業書類生成部１１９により生成されたチェックリストや作業報告書などの作業書類の情報を記憶するようになっている。

本実施形態に係る制御装置１００は、判定部１１２により成否が判定される作業の範囲を作業者の技能レベルに応じて変更するようにしてもよい。このようにすると、作業支援をより効率的に行うことができる。例えば、技能レベルの高い作業者には、作業Ａと作業Ｂとを合わせた範囲の作業について作業の成否を判定することにより、作業Ａと作業Ｂの間で中断されずに作業を行うことができる。また、例えば技能レベルの低い作業者には、作業Ａと作業Ｂそれぞれの作業の成否を判定することにより、きめ細かく作業支援を行うことができる。

図２０は、本実施形態に係る制御装置１００の概略構成を示す図である。図２０に示すように、制御装置１００は、バス１４３により相互に接続されたＣＰＵ１４０、ＲＯＭ１４１、ＲＡＭ１４２、入出力Ｉ／Ｆ１４４、および通信Ｉ／Ｆ１４５を備えており、図１９に示す制御装置１００の各機能ブロックは、例えば、ＲＯＭ１４１やストレージ３０２などに記憶された各種プログラムをＲＡＭ１４２に読み出してＣＰＵ１４０により実行することで実現される。

次に、本実施形態における作業支援パターン（方法）について図面を参照しつつ説明する。以下では、まず音声による作業支援について説明し、次いで画面表示による作業支援について説明する。

＜音声による作業支援＞
音声による作業支援の場合、作業支援システム１Ａは、例えば、制御装置１００を備えた作業支援サーバ３０Ａと、ネットワーク４を介して作業支援サーバ３０Ａに接続された作業者端末２０と、支援情報を出力する支援情報出力装置２３と、を備えている。以下では、スマートフォン（作業者端末２０に対応）、Ｂｒｕｅｔｏｏｔｈ（登録商標）によりスマートフォンに接続されたイヤホン（支援情報出力装置２３に対応）、スマートフォンに内蔵されたマイク（音声取得装置２２に対応）を用いる場合について作業支援パターン１〜４を説明する。

なお、本構成では音声単独ではなく、スマートフォンなどのスマートデバイスの画面も併用したハイブリッド型であってもよい。この際、スマートデバイスには作業の詳細や作業動画、作業全体における現作業の位置や、不明点問い合わせの連絡等について、表示してもよい。

［作業支援パターン１］
図２１は、本実施形態に係る作業支援パターン１を説明する図である。破線内は作業Ｂに対する作業支援を示す。以下、作業支援の各ステップを順に説明する。

（１）作業指示ステップ：作業Ｂの開始時に、作業支援システム１Ａにおける作業支援サーバ３０Ａの作業指示部１０２が、作業を指示する指示情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）が、その指示情報を音声で出力する。指示情報は、例えば、「ネジ締め作業を実施してください」という音声による指示メッセージである。さらに、作業の内容について、説明を加えてもよい。

（２）注意喚起ステップ：指示情報の出力に続いて、作業支援システム１Ａの注意情報出力部１０３は、作業における注意情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）から作業者３に音声で注意情報を出力する。注意情報は、例えば、「ネジとドライバを両手で持たないでください」という音声による注意メッセージである。この注意喚起は、作業ミスや怪我／事故防止や作業効率化に関する作業の工夫、コツについて指示してもよい。

（３）完了通知ステップ：作業の終了時に、作業者３が音声で完了通知を行う。具体的には、作業者３が「完了」と発話し、音声取得装置２２（スマートフォン内蔵マイク）がその発話の音声を取得し、音声取得装置２２により取得された音声情報から発話検出部１０５が、指示情報に応答した応答情報である「完了」という音声情報を検出する。ここで、完了通知は、完了などの終了状態のみではなく、ランプの色は「青」ですや、バルブの向きは「右」向きです等、具体的に返答する完了通知でもよい。

そして、判定部１１２が、発話検出部１０５が検出した発話の情報に基づいて作業の成否を判定する。例えば、作業者３の発話の内容が「完了」であれば、作業は成功したと判定して次の作業Ｃに移行し、「完了」以外であれば、作業は失敗あるいは未完了であると判定する。

このように、作業支援パターン１では、作業支援システム１Ａと作業者３とが音声により対話を行うことにより、作業者３の作業を支援するので、簡素な構成により低コストで作業支援システム１Ａを構築でき、作業者３は両手が自由に使えるので使い勝手もよく、作業者３の発話に基づいて作業の成否を判定するので、効率的に作業ミスを防止することができる。

［作業支援パターン２］
図２２は、本実施形態に係る作業支援パターン２を説明する図である。破線内は作業Ｂに対する作業支援を示す。以下、作業支援の各ステップを順に説明する。

（１）作業指示ステップ：作業Ｂの開始時に、作業支援システム１Ａにおける作業支援サーバ３０Ａの作業指示部１０２が、作業を指示する指示情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）が、その指示情報を音声で出力する。指示情報は、例えば、「ネジ締め作業を実施してください」という音声による指示メッセージである。この際、上記作業の内容について追加説明してもよい。

（２）注意喚起ステップ：指示情報の出力に続いて、作業支援システム１Ａの注意情報出力部１０３は、作業における注意情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）から作業者３に音声で注意情報を出力する。注意情報は、例えば、「ネジとドライバを両手で持たないでください」という音声による注意メッセージである。この注意喚起は、作業ミスや怪我／事故防止や作業効率化に関する作業の工夫、コツについて指示してもよい。

（３）完了通知ステップ：作業の終了時に、作業者３が音声で完了通知を行う。具体的には、作業者３が「完了」と発話し、音声取得装置２２（スマートフォン内蔵マイク）がその発話の音声を取得し、音声取得装置２２により取得された音声情報から発話検出部１０５が、指示情報に応答した応答情報である「完了」という音声情報を検出する。

（４）問い掛け確認ステップ：完了通知の後、作業支援システム１Ａの問い掛け確認部１０７が、作業者３に音声による問い掛け確認を行う。具体的には、判定部１１２が作業を成功と判定すると、問い掛け確認部１０７が、作業の完了を確認する問い掛け情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）から音声で問い掛け情報を出力する。問い掛け情報は、例えば、「最後まで締め切りましたか？」という音声による問い掛けメッセージである。このメッセージは、「ランプの色は何色ですか？」や、「バルブの向きはどっちですか？」等、具体的に問いかけてもよい。

（５）完了通知ステップ：問い掛けメッセージを受けた後、作業者３が音声で完了通知を行う。具体的には、作業者３が「完了」と発話し、音声取得装置２２（スマートフォン内蔵マイク）がその発話の音声を取得し、音声取得装置２２により取得された音声情報から発話検出部１０５が、指示情報に応答した応答情報である「完了」という音声情報を検出する。また、問い掛けメッセージに応じて、具体的な状態や状況を発話してもよい。また、（４）と（５）を複数回繰り返してもよい。

そして、判定部１１２が、支援情報出力装置２３による問い掛けの音声出力後、発話検出部１０５が検出した作業者３の発話の情報に基づいて作業の成否を判定する。例えば、作業者３の発話の内容が「完了」であれば、作業は成功したと判定して次の作業Ｃに移行し、「完了」以外であれば、作業は失敗あるいは未完了であると判定する。

このように、作業支援パターン２では、判定部１１２が作業の成功を判定した後、問い掛け確認部１０７および支援情報出力装置２３が、作業の完了を確認する問い掛けを行うので、作業者３に作業ミスを気付かせる可能性を高めることができ、作業ミスを効果的に低減することができる。

［作業支援パターン３］
図２３は、本実施形態に係る作業支援パターン３を説明する図である。破線内は作業Ｂに対する作業支援を示す。作業支援パターン３では、画像取得装置１２２（スマートフォンに内蔵されたカメラ）も使用する。以下、作業支援の各ステップを順に説明する。

（１）作業指示ステップ：作業Ｂの開始時に、作業支援システム１Ａにおける作業支援サーバ３０Ａの作業指示部１０２が、作業を指示する指示情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）が、その指示情報を音声で出力する。指示情報は、例えば、「ネジ締め作業を実施してください。完了後、対象部分の写真をアップしてください。」という音声による指示メッセージである。この際、作業の内容についても言及してもよい。

（２）注意喚起ステップ：指示情報の出力に続いて、作業支援システム１Ａの注意情報出力部１０３は、作業における注意情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）から作業者３に音声で注意情報を出力する。注意情報は、例えば、「ネジとドライバを両手で持たないでください」という音声による注意メッセージである。この注意喚起は、作業ミスや怪我／事故防止や作業効率化に関する作業の工夫、コツについて指示してもよい。

（３）写真アップロードステップ：作業が終わると、作業者３が、作業を行った対象部分を画像取得装置１２２（内蔵カメラ）で撮影し、撮影した写真データを画像・映像情報取得部１０９が取得する。

（４）完了通知ステップ：写真アップロードの後、作業者３が音声で完了通知を行う。具体的には、作業者３が「完了」と発話し、音声取得装置２２（スマートフォン内蔵マイク）がその発話の音声を取得し、音声取得装置２２により取得された音声情報から発話検出部１０５が、指示情報に応答した応答情報である「完了」という音声情報を検出する。この際、送付された写真に対して正解画像と比較を行い、正解・不正解を確認してその結果を通知してもよい。この際、正解画像と異なる場合には、対象作業の初めからやり直しをさせてもよい。

そして、判定部１１２は、発話検出部１０５が検出した作業者３の発話の情報に基づいて作業の成否を判定する。例えば、作業者３の発話の内容が「完了」であれば、作業は成功したと判定して次の作業Ｃに移行し、「完了」以外であれば、作業は失敗あるいは未完了であると判定する。

（５）再要求ステップ：判定部１１２は、画像・映像情報取得部１０９が作業の対象物の画像情報（写真データ）を取得していない場合は作業が未完了であると判定し、作業指示部１０２は、画像情報（写真データ）を再要求する指示情報を、支援情報出力装置から音声で出力させる。この指示情報は、例えば、「写真がアップされていません。再度アップしてください。」という音声による再要求メッセージである。
また、本ブロックで送付画像について、予め保存されている正解画像との比較を実施し、正確・不正解を確認してその結果を送付してもよい。その場合、正解画像と異なっていると判定する場合には、対象作業を初めからやり直すように制御していもよい。

（６）完了通知ステップ：再要求メッセージを受けた後、作業者３が音声で完了通知を行う。具体的には、作業者３が「完了」と発話し、音声取得装置２２（スマートフォン内蔵マイク）がその発話の音声を取得し、音声取得装置２２により取得された音声情報から発話検出部１０５が、指示情報に応答した応答情報である「完了」という音声情報を検出する。

そして、判定部１１２が、支援情報出力装置２３による再要求の音声出力後、発話検出部１０５が検出した作業者３の発話の情報に基づいて作業の成否を判定する。例えば、作業者３の発話の内容が「完了」であれば、作業は成功したと判定して次の作業Ｃに移行し、「完了」以外であれば、作業は失敗あるいは未完了であると判定する。

このように、作業支援パターン３では、判定部１１２は、画像・映像情報取得部１０９が作業の対象物の画像情報（証拠写真）を取得していない場合は作業が未完了であると判定するので、作業者３はより注意深く作業を行うことになり、作業ミスをより効果的に低減することができる。また、作業対象物の画像情報（証拠写真）を取得しておくことで、トレーサビリティを実現することもでき、さらには、該画像情報は、作業の成否モデルの機械学習において教師データとして使用することもできる。

また、作業支援パターン３において、判定部１１２は、画像・映像情報取得部１０９が取得した画像情報（証拠写真）に基づいて作業の完了を判定するようにしてもよい。このようにすると、より正確に作業の完了を判定することができる。

作業者３の作業を画像取得装置１２２（カメラ）で撮影する場合、作業画像をエビデンスとして画像・映像記憶部１３１に記憶しておき、後で説明する作業報告書に音声データとともにパスを記載しておく。

［作業支援パターン４］
図２４は、本実施形態に係る作業支援パターン４を説明する図である。作業支援パターン４では、例えば作業者３の動作や指先の感覚等の身体情報を検知するセンサ装置１２３および映像取得装置２１（耳かけカメラ）を使用する。以下、作業支援の各ステップを順に説明する。

（１）作業指示ステップ：作業Ｂの開始時に、作業支援システム１Ａにおける作業支援サーバ３０Ａの作業指示部１０２が、作業を指示する指示情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）が、その指示情報を音声で出力する。指示情報は、例えば、「ネジ締め作業を実施してください」という音声による指示メッセージである。

（２）注意喚起ステップ：指示情報の出力に続いて、作業支援システム１Ａの注意情報出力部１０３は、作業における注意情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）から作業者３に音声で注意情報を出力する。注意情報は、例えば、「ネジとドライバを両手で持たないでください」という音声による注意メッセージである。

（３）センサ情報取得ステップ：作業中、センサ情報取得部１１０は、センサ装置１２３により取得された作業者３の身体情報を取得する。

（４）指摘ステップ：判定部１１２は、センサ情報取得部１１０が取得した作業者３の身体情報に基づいて作業状況を認識し、作業の完了を判定する。作業が正常に実施されていない場合、支援情報出力部１１１は、作業が正常でない旨の注意情報を作業者端末２０（スマートフォン）に送り、支援情報出力装置２３（イヤホン）から作業者３に音声で注意情報を出力する。注意情報は、例えば、「ネジ締めの作業を行っていますか？」という音声による注意メッセージである。

（５）正常自動確認ステップ：判定部１１２は、画像・映像情報取得部１０９が取得した作業者３の作業の映像を基に映像認識を行い、作業が正常に行われたか否か（作業の完了）を自動で確認する。これにより、より正確に作業の完了を判定することができる。

具体的には、映像取得装置２１により作業者３の作業映像を動画で撮影し、画像・映像情報取得部１０９を介して画像・映像記憶部１３１に格納しておき、もともと取得しておいた模範的な作業映像と比較して違いが大きければ作業ミスと判断し、支援情報出力装置２３により作業者３に作業ミスを指摘するようにしてもよい。これは、作業中でも作業終了後に行ってもよい。作業員の作業進捗については、映像や身体センサにより認識を行ってもよい。また、格納されている正常音データと比較する事で、異音等を検出して作業員に指摘してもよい。また、振動センサや周辺環境センサ(天候、気温、湿度、風向き、明るさ、時間)等の情報を認識して、予め定められたアルゴリズムに応じて作業のミスや判断を指摘してもよい。

（６）終了通知ステップ：（５）の代わりに、作業者３が音声で終了通知を行ってもよい。具体的には、作業者３が「ネジ締め作業終了」と発話（復唱）し、音声取得装置２２（スマートフォン内蔵マイク）がその発話の音声を取得し、音声取得装置２２により取得された音声情報から発話検出部１０５が、指示情報に応答した応答情報である「ネジ締め作業終了」という音声情報を検出する。

そして、判定部１１２は、発話検出部１０５が検出した作業者３の発話の情報に基づいて作業の成否を判定する。例えば、作業者３の発話の内容が「ネジ締め作業終了」であれば、作業は成功したと判定して次の作業Ｃに移行し、「ネジ締め作業終了」以外であれば、作業は失敗あるいは未完了であると判定する。

（７）センサ情報取得部１１０が取得したセンサ情報や、画像・映像情報取得部１０９が取得した映像情報から、判定部１１２が作業は正常に完了していると判定した場合には、終了通知を行わず、作業Ｃに移行するようにしてもよい。作業Ｃでは、開始時に行われる作業指示と注意喚起のステップを省略してもよい。このようにすると、作業Ｂと作業Ｃとの間で中断されずに作業を行うことができる。

次に、図２５を参照して画像データや映像データの利用法を説明する。

画像・映像情報取得部１０９により取得された画像（写真）データおよび映像データは、ストレージ３０２の画像・映像記憶部１３１に送られ格納される。作業対象物の写真データ（証拠写真）や映像データをエビデンスとして取得しておくことで、トレーサビリティを実現することができる。また、画像・映像記憶部１３１に格納される写真データおよび映像データは、もともと蓄えられている作業終了状態の写真データ(証拠写真)や映像データと比較することにより、現場でリアルタイムに作業ミスの指摘をすることも可能となる。

画像・映像記憶部１３１に格納された写真データおよび映像データは、作業比較モデル１３６の機械学習において教師データとして使用される。具体的には、画像・映像記憶部１３１に格納された写真データおよび映像データについて、人間が作業の成否の判定を行い、その判定結果から各写真データや映像データに成否のラベル付けを行う。具体的には、例えば、（ｉ）撮影位置が正しいか、（ｉｉ）正常に終了しているか等を観点にラベル付けを行う。ラベル付けられた写真データや映像データ（教師データ）を用いて、作業比較モデル１３６の機械学習を行う。機械学習においては、熟練者が作業を行った際に撮影した写真データおよび映像データも教師データとして使用される。

＜画面による作業支援＞
次に、画面表示による作業支援について説明する。

上述した音声による作業支援は、音声のみによる作業支援も可能であるが、支援情報出力装置２３（スマートフォンに内蔵されたタッチパネル）の画面による作業支援を併用することもできる。以下では、音声による作業支援パターン１〜４において併用される画面による作業支援を説明する。

［画面による作業支援パターン１］
図２６は、上述した音声による作業支援パターン１における支援情報出力装置２３（タッチパネル）の表示画面の一例を示す図であり、作業誘導画面１５１を示す。

作業誘導画面１５１は、作業指示エリア１５２と模範作業エリア１５３と注意喚起エリア１５４とを備え、ソフトキーとして、完了ソフトキー１５５、再スタートソフトキー１５６、作業詳細ソフトキー１５７、作業ナビソフトキー１５８、および問合せソフトキー１５９を有している。

作業指示エリア１５２には、作業支援システム１Ａから作業者３への作業指示メッセージが表示される。例えば、「側面のネジ締めを行ってください。終了したら完了を押してください。」などの作業指示メッセージが表示される。

模範作業エリア１５３は、作業者３が参考にするため、熟練者などによる模範作業の動画が表示されるエリアである。この模範作業の動画は、通常はタップ時か、あるいは作業開始とともに再生される。また、模範作業の動画は、作業者３の作業を認識して、同期して再生されるようにしてもよい。このエリアをタップすると、動画が拡大して表示されるようにしてもよい。また、模範作業の動画は、作業者３の現在の作業段階と模範作業の作業段階が一致（同期）するように動画位置が調整されて再生されるようにしてもよい。作業者３の現在の作業状況は、映像取得装置２１や音声取得装置２２などにより取得される映像情報や音声情報に基づいて認識される。

注意喚起エリア１５４は、例えば、「ドライバを落とさないように両手で持つ」などの注意メッセージが表示されるようになっている。

完了ソフトキー１５５には、例えば「完了」と表示され、作業の終了時に作業者３が完了ソフトキー１５５を押すと、完了情報が作業支援システム１Ａに通知されるようになっている。

再スタートソフトキー１５６には、例えば「初めから」と表示され、作業者３が再スタートソフトキー１５６を押すと、模範作業エリアに表示される模範作業の動画が初めから再生されるようになっている。

作業詳細ソフトキー１５７は、作業者３が押すと、作業のマニュアルなどの技術資料が表示されるようになっている。

作業ナビソフトキー１５８は、作業者３が押すと、一連の作業全体における現在の作業の位置が表示されるようになっている。例えば、一連の作業のフロー図において、現在の作業を示す文字のサイズを大きくする、文字の色を変える、などにより現在の作業の位置を強調表示するようにしてもよい。

問合せソフトキー１５９は、作業者３が押すと、問合せ先の情報が表示されるようになっている。

上記の各ソフトキーは、作業者３が押して選択するようになっているが、これに加えて、作業者３が発した音声を音声認識技術により選択できるようにしてもよい。例えば、作業者３が「問合せ」と発すると、問合せ先の情報が表示されるようにしてもよい。

［画面による作業支援パターン２］
図２７は、上述した音声による作業支援パターン２における支援情報出力装置２３（タッチパネル）の表示画面の一例を示す図であり、問い掛け確認時の画面を示す。

図２７の問い掛け確認時の画面は、図２６の作業誘導画面１５１において作業終了時に作業者３が完了ソフトキー１５５を押した後に表示される画面である。問い掛け確認エリア１６０に、例えば、「最後まで締め切りましたか」という問い掛け確認メッセージが表示され、「はい」と表示された応答ソフトキー１６１を作業者３が押すと、完了情報が作業支援システム１Ａに通知される。

［画面による作業支援パターン３］
図２８は、上述した音声による作業支援パターン３における支援情報出力装置２３（タッチパネル）の表示画面の一例を示す図であり、作業誘導画面１５１を示す。

作業指示エリア１５２には、作業支援システム１Ａから作業者３への作業指示メッセージが表示されるようになっている。例えば、「側面のネジ締めを行ってください。完了後、対象部分の写真をアップしてください。」などの作業指示メッセージが表示される。

注意喚起エリア１５４には、例えば、「ドライバを落とさないように両手で持つ」などの注意メッセージが表示されるようになっている。

写真撮影ソフトキー１６３には、例えば「写真」と表示され、作業者３が写真撮影ソフトキー１６３を押すと、カメラ機能の画面に移行し、作業対象物の写真が撮れるようになっている。撮影された写真データは作業支援システム１Ａにアップロードされる。

作業者３は、作業指示メッセージに従って作業を行い、作業が完了すると、写真撮影ソフトキー１６３をタップし、作業対象物の写真を撮影し、写真データを作業支援システム１Ａにアップロードする。次いで、作業者３は、完了ソフトキー１５５をタップし、作業支援システム１Ａに完了通知する。

図２９は、作業支援パターン３における支援情報出力装置２３（タッチパネル）の表示画面の一例を示す図であり、写真データのアップロードの再要求時の画面を示す。

図２９の写真データのアップロードの再要求時の画面は、図２８の作業誘導画面１５１において作業者３が完了ソフトキー１５５を押した後、判定部１１２が写真データのアップロードを確認できないか、適切な写真データでない場合に表示される画面である。再要求エリア１６４に、例えば、「写真がアップされていません。再度アップしてください。」という再要求メッセージが表示され、「写真の再撮影」と表示された写真再撮影ソフトキー１６５を作業者３が押すと、カメラ機能の画面に移行し、作業対象物の写真が撮影可能になる。撮影された写真データは作業支援システム１Ａにアップロードされる。次いで、作業者３は、完了ソフトキー１５５を押し、作業支援システム１Ａに完了通知する。

［画面による作業支援パターン４］
図３０は、上述した音声による作業支援パターン４における支援情報出力装置２３（タッチパネル）の表示画面の一例を示す図であり、作業ミスの指摘時の画面を示す。

図３０の作業ミスの指摘時の画面は、判定部１１２が、センサ装置１２３により取得されたセンサ情報を基に作業認識を行い、作業ミスと判断される場合に表示される画面を示す。指摘エリア１６６には、例えば、「ネジ締めの作業を行っていますか？」という指摘メッセージが表示される。作業者３は、作業終了時に、例えば「ネジ締め作業終了」と表示された作業終了ソフトキー１６７をタップし、作業支援システム１Ａに作業終了通知を行う。

上述したように、本実施形態に係る作業支援システム１Ａは、音声対話による作業支援と画面上での対話による作業支援とを併用して作業支援を行うことができるが、これに限定されず、音声対話のみによる作業支援や画面上での対話のみによる作業支援を行うこともできる。画面上での対話のみによる作業支援を行う場合、作業者３は少なくともタッチパネル（支援情報出力装置２３）を内蔵したスマートフォン（作業者端末２０）を携帯すればよい。また、音声対話と画面上での対話を併用する場合、作業者３による完了通知は、音声で行ってもよいし、画面操作で行ってもよい。

＜作業書類＞
作業支援サーバ３０Ａの作業書類生成部１１９は、全体作業の終了後に、データ取得部１１８が取得した各作業に関連したデータを基にチェックリスト、作業報告書、作業分析書などの作業書類を自動的に作成し、ストレージ３０２に格納する。ストレージ３０２に格納された作業書類は、必要に応じて作業者端末２０や作業支援サーバにて表示器に表示させることができる。書類作成部１１７により作成される作業書類の形式や記載事項は、任意に設定できるようになっている。

図３１は、支援情報出力装置２３（タッチパネル）に表示された作業書類画面１６８示す。作業書類画面１６８は、チェックリストを兼ねた作業報告書を示す。作業報告書は、上部に作業日時、作業場所、作業内容、作業担当者など作業を特定する情報が記され、下部には作業ＩＤ、作業名称、作業時間、完了チェックボックス、エビデンス、品質、リトライ／詳細確認の欄が設けられている。

作業時間の欄は、標準時間と作業時間を含み、「標準時間」は、作業チェック情報の抽出（生成）時に求めておいた標準的な作業時間または予め設定された標準的な作業時間であり、同欄の「作業時間」は、現作業において実際に計測した作業時間である。

完了の欄には、判定部１１２による作業成否の判定結果がチェックボックスに示される。例えば、音声による作業指示に対して応答された音声による完了通知に基づく作業成否の判定結果（作業支援パターン１）、音声による問い掛け確認に対して応答された音声による完了通知に基づく作業成否の判定結果（作業支援パターン２）、音声による作業指示に対して応答した写真アップおよび音声による完了通知に基づく作業成否の判定結果（作業支援パターン３）、音声による作業指示および音声による作業ミス指摘に対して応答した音声による終了通知に基づく作業成否の判定結果（作業支援パターン４）などが完了の欄のチェックボックスに示される。

エビデンスの欄には、作業指示に対して応答された完了通知の音声のデータファイル（作業支援パターン１）、問い掛け確認に対して応答された完了通知の音声のデータファイル（作業支援パターン２）、アップロードされた画像（写真）のデータファイル（作業支援パターン３）、作業指示および作業ミス指摘に対して応答した終了通知の音声のデータファイル（作業支援パターン４）にリンクが張られている。

品質の欄には、例えば、映像取得装置２１（耳掛けカメラ）により取得した作業の映像や作業時間などに基づいて判定された作業の品質（上からＡ，Ｂ，Ｃ順に区分）が記載される。

リトライ／詳細確認の欄には、作業においてリトライや詳細確認を行った回数が記載される。

図３２は、支援情報出力装置２３（タッチパネル）に表示された作業分析書画面１６９を示す。作業分析書画面１６９は、作業を分析した結果を示す作業分析書を表示する画面である。作業分析書は、上部に作業日時、作業場所、作業内容、作業担当者など作業を特定する情報が記され、下部には各作業ＩＤの作業時間と標準時間の差が分かるように両者が対比して表示されるとともに、全作業の標準時間に対する作業時間の比率（％）が示されている。また、リトライ／詳細確認の回数が作業ＩＤごとに表示されている。リトライ／詳細確認の回数表示に近接して「詳細」ソフトキーが表示され、タップすると、問合せ内容や詳細確認履歴が表示されるようになっている。そして、標準作業時間に対する実際の作業時間の比率、リトライ／詳細確認の回数に基づいて判定された全体的な作業レベル（上からＡ，Ｂ，Ｃ順に区分）が表示されている。

作業分析書画面１６９の右下部には、「推奨する教育プログラム」ソフトキーが表示され、タップすると、判定された作業レベルに基づいて推奨される教育プログラムのＷｅｂアプリが起動するようになっている。

本実施形態では、現場の作業を例として説明したが、本技術は、その他に、料理や家電／家具の取り付け、組立支援などでの実施も可能である。料理の例について説明する。各家庭特有の調理方法である通称「お袋の味」を保存、次の世代に教示するために、本技術を用いて伝承を行うことが考えられる。次の料理工程や調理での注意点や怪我防止のポイント等が抽出された支援コンテンツに対して、スマートフォンやタブレットを介して、音声や画面を用いて本明細書に記載の技術を用いて料理の支援を行う使用法に適用できる。また、味覚センサを用いて、各工程での味付けの数値を予め保存されている味覚の数値と比較して違いを指摘してもよい。また、予め保存されている盛り付けの画像と比較して、違いを指摘してもよい。

以上説明したように、本発明は、作業スキルが低い作業者に対しても、確実に作業チェックを行うことにより作業ミスを防止することができるという効果を有し、作業支援システムおよび作業支援方法の全般に有用である。

［付記１］
付記１の作業支援システム１は以下の通りである。

［背景技術］
保守・点検等を含めて各種の現場作業では、作業手順の情報、作業対象機器の情報、使用する作業工具の情報など、様々な情報が必要となる。一方、作業者の作業スキルは高低様々である。そこで、現場で作業する作業者に必要な情報を提供して現場作業を支援する支援システムが提案されている（例えば、特開２００９−０６９９５４号公報等参照）。

特開２００９−０６９９５４号公報には、作業対象となる物体が置かれている状況を把握するための計測部、計測部をコントロールし、かつ得られた情報に対して適切な情報処理を行い、さらに作業者へ提示する視覚情報を構築する情報処理部、および作業者に対し対象となる物体上に重ね合わせた視覚情報を与えるための表示部を具備し、作業者がなすべき作業を作業現場において指示する作業支援装置が開示されている。

［発明の概要］
［発明が解決しようとする課題］
しかしながら、特開２００９−０６９９５４号公報に記載の従来の作業支援装置にあっては、熟練者の高度な作業スキルを作業者に伝えるのには資するが、作業スキルの低い作業者が犯す作業ミスを確実に防止することには何ら考慮されていなかった。実際の作業現場では、作業スキルが低く、日本語に不慣れな外国人労働者が作業を行うケースが増えており、作業ミスや作業忘れの発生、作業中の傷害事故も増加傾向にある。事故発生による社会的影響は大きく、再発防止策として作業品質の向上に加え、２人作業での確認、作業チェックリストや作業報告書の詳細化が求められる場合もある。

本発明は、上述のような課題を解決するためになされたものであり、作業スキルが低い作業者に対しても、確実に作業ミスを防止することができる作業支援システムを提供することを目的とする。

［課題を解決するための手段］
本発明に係る作業支援システム（１）は、上記目的を達成するため、第１作業者（２）が行う作業の映像を取得する第１映像取得装置（１１）と、前記作業中の前記第１作業者の音声を取得する音声取得装置（１２）と、前記第１映像取得装置により取得された作業の映像と、前記音声取得装置により取得された音声の情報に基づいて、作業チェックの基準となる作業チェック情報（７０）を生成する作業チェック情報生成装置（３０）と、第２作業者（３）が行う作業の映像を取得する第２映像取得装置（２１）と、前記第２作業者への作業支援情報を出力する支援情報出力装置（２３）と、前記作業チェック情報および前記第２作業者の作業の経時情報に基づき作業中の特定段階の前に前記支援情報出力装置に前記作業支援情報として注意情報を出力させる注意喚起制御装置（３０）と、を備えることを特徴とする。

この構成により、注意喚起制御装置が作業チェック情報および経時情報（例えば作業経過時間や作業段階）に基づき注意喚起を要する特定段階の前に注意情報を出力させるので、作業スキルが低い作業者に対しても、確実に作業ミスを防止することができる。

［付記２］
付記２の作業支援システム１Ａは以下の通りである。

特許文献２等に記載の従来の作業支援装置にあっては、作業者の作業性を損なわず、低コストで作業支援を行うことに対しても考慮されていなかった。実際の作業現場では、作業スキルが低く、日本語に不慣れな外国人労働者が作業を行うケースも増えており、作業者が作業しやすい軽微な装備にて低コストで作業支援を行うことが求められている。

本発明は、作業スキルが低い作業者に対しても、作業者の作業性を損なわず簡単な構成で作業支援を行うことができる作業支援システムを提供することを目的とする。

本発明に係る作業支援システムは、上記目的を達成するため、作業支援システム（１Ａ）であって、作業者からの情報を取得する情報取得装置（１２０）と、前記作業の成否を判定する判定装置（１００）と、作業支援情報を出力する情報出力装置（２３）と、を備え、前記判定装置は、前記作業を指示する指示情報を、前記情報出力装置から出力させる作業指示部（１０２）と、前記情報出力装置による前記指示情報の出力後に、前記情報取得装置が取得した情報から前記指示情報に応答した応答情報を検出する情報検出部（１０４）と、前記情報検出部が検出した前記応答情報に基づいて作業の成否を判定する判定部（１１２）と、を備えることを特徴とする。

この構成により、作業の開始時に、作業指示部および情報出力装置が作業の指示情報を音声や画面表示により作業者に伝え、作業終了時に、情報取得部が作業者からの情報を音声や画面操作などにより取得する。その際、情報検出部が指示情報に応答した応答情報を検出し、判定部がその応答情報の内容から作業の成否を判定する。このように、作業支援システムと作業者とが例えば音声や画面により対話を行うことにより、作業者の作業を支援するものである。簡素な構成により低コストで作業支援システムを構築でき、作業者は両手が自由に使えるので使い勝手もよく、作業者の発話や画面操作など作業者からの情報に基づいて作業の成否を判定するので、効率的に作業ミスを防止することができる。

１、１Ａ 作業支援システム
２ 熟練者（第１作業者）
３ 作業者（第２作業者）
４ ネットワーク
１０ 熟練者端末（第１端末）
１１ 映像取得装置（第１映像取得装置）
１２、２２ 音声取得装置
２０ 作業者端末（第２端末）
２１ 映像取得装置（第２映像取得装置）
２３ 支援情報出力装置
３０ 作業情報生成サーバ（サーバ）
３０Ａ 作業支援サーバ
３１ データベース
５１ 動画ファイル
５２ 音声ファイル
６０ 要素作業情報
６１ 要素作業１の作業記録
６２ 要素作業２の作業記録
６３ 要素作業３の作業記録
７０ 作業チェック情報
１００ 制御装置（判定装置）
１０１ 対話部
１０２ 作業指示部
１０３ 注意情報出力部
１０４ 情報検出部
１０５ 発話検出部
１０６ 画面操作検出部
１０７ 問い掛け確認部
１０８ 情報入出力部
１０９ 画像・映像情報取得部
１１０ センサ情報取得部
１１１ 支援情報出力部
１１２ 判定部
１１３ 判定切替え部
１１４ 第１判定部
１１５ 第２判定部
１１６ 第３判定部
１１７ 書類作成部
１１８ データ取得部
１１９ 作業書類生成部
１２０ 情報取得部
１２１ 画面操作取得装置
１２２ 画像取得装置
１２３ センサ装置
１３０ 作業チェック情報記憶部
１３１ 画像・映像記憶部
１３２ 作業書類記憶部
１５０ 作業者端末の表示器の画面
１５１ 作業誘導画面
１５２ 作業指示エリア
１５３ 模範作業エリア
１５４ 注意喚起エリア
１５５ 完了ソフトキー
１５６ 再スタートソフトキー
１５７ 作業詳細ソフトキー
１５８ 作業ナビソフトキー
１５９ 問合せソフトキー
１６０ 問い掛け確認エリア
１６１ 応答ソフトキー
１６３ 写真撮影ソフトキー
１６４ 再要求エリア
１６５ 写真再撮影ソフトキー
１６６ 指摘エリア
１６７ 応答ソフトキー
１６８ 作業報告書画面
１６９ 作業分析書画面
３１４ 音声データ処理部（言語変換装置）
３２３ 熟練者作業行動情報記録データベース
３２４ 現地作業者作業情報記録データベース
３３８ 作業記録分析部（判定装置、注意喚起制御装置）
３４０ 作業チェック情報生成部（作業チェック情報生成装置）
３４１ 作業報告書作成部（作業報告書作成装置）

Claims (32)

1. 作業支援システムであって、
   作業者からの情報を取得する情報取得装置と、
   前記作業の成否を判定する判定装置と、
   前記判定装置による判定結果に基づいて作業支援情報を出力する情報出力装置と、を備え、
   前記判定装置は、前記情報取得装置が取得した前記作業者からの情報を基に所定の判定基準に従って作業の成否を判定することを特徴とする作業支援システム。
2. 作業支援システムであって、
   第１作業者が行う作業の映像を取得する第１映像取得装置と、
   前記作業中の前記第１作業者の音声を取得する音声取得装置と、
   前記第１映像取得装置により取得された作業の映像と、前記音声取得装置により取得された音声の情報に基づいて、作業チェックの基準となる作業チェック情報を生成する作業チェック情報生成装置と、
   第２作業者が行う作業の映像を取得する第２映像取得装置と、
   前記第２作業者の作業の成否を判定する判定装置と、
   前記判定装置による判定結果を作業支援情報として出力する支援情報出力装置と、を備え、
   前記判定装置は、前記作業チェック情報に基づき前記第１作業者の作業の映像と前記第２作業者の作業の映像を対比することにより作業の成否を判定することを特徴とする作業支援システム。
3. 前記判定装置は、前記第１作業者の作業映像に含まれる特定の対象物が前記第２作業者の作業映像に含まれているか否かにより作業の成否を判定することを特徴とする請求項２に記載の作業支援システム。
4. 前記判定装置は、前記第１作業者の作業映像に含まれない対象物が前記第２作業者の作業映像に含まれているか否かにより作業の成否を判定することを特徴とする請求項２に記載の作業支援システム。
5. 前記判定装置は、前記第１作業者の作業映像に含まれる特定の対象物が前記第２作業者の作業映像に所定の順序で含まれているか否かにより作業の成否を判定することを特徴とする請求項２に記載の作業支援システム。
6. 前記作業チェック情報生成装置は、前記第１作業者の作業映像を前記第１作業者の音声情報に基づいて要素作業に分割し、前記判定装置は前記要素作業ごとに作業の成否を判定することを特徴とする請求項２〜５のいずれか一項に記載の作業支援システム。
7. 前記支援情報出力装置は、前記作業支援情報を、音声および動画の少なくとも一方で選択的に出力できることを特徴とする請求項２〜６のいずれか一項に記載の作業支援システム。
8. 前記支援情報出力装置より出力される前記作業支援情報を伝える音声を、指定された言語に変換する言語変換装置をさらに備えることを特徴とする請求項２〜７のいずれか一項に記載の作業支援システム。
9. 前記判定装置による判定結果を含む作業報告書を作成する作業報告書作成装置をさらに含むことを特徴とする請求項２〜８のいずれか一項に記載の作業支援システム。
10. 前記作業チェック情報および前記第２作業者の作業の経時情報に基づき作業中の特定段階の前に前記支援情報出力装置に前記作業支援情報として注意情報を出力させる注意喚起制御装置をさらに備えることを特徴とする請求項２〜９のいずれか一項に記載の作業支援システム。
11. 前記作業チェック情報生成装置は、前記作業チェック情報として、前記第１作業者の作業中の音声情報に基づいて前記特定段階を決定することを特徴とする請求項１０に記載の作業支援システム。
12. 前記経時情報が、前記第２作業者の作業開始からの経過時間の情報であることを特徴とする請求項１０または１１に記載の作業支援システム。
13. 前記経時情報が、前記第２作業者の作業映像から認定される作業段階の情報であることを特徴とする請求項１０または１１に記載の作業支援システム。
14. 少なくとも前記作業チェック情報生成装置を備えたサーバと、
    前記第１映像取得装置および前記音声取得装置を有し、前記サーバに接続される第１端末と、
    前記第２映像取得装置および前記支援情報出力装置を有し、前記サーバに接続される第２端末と、を備えたことを特徴とする請求項２〜１３のいずれか一項に記載の作業支援システム。
15. 作業支援方法であって、
    第１作業者が行う作業の映像を取得する第１映像取得ステップと、
    前記作業中の前記第１作業者の音声を取得する音声取得ステップと、
    前記第１映像取得ステップにより取得された作業の映像と、前記音声取得ステップにより取得された音声の情報に基づいて、作業チェックの基準となる作業チェック情報を生成する作業チェック情報生成ステップと、
    第２作業者が行う作業の映像を取得する第２映像取得ステップと、
    前記第２作業者の作業の成否を判定する判定ステップと、
    前記判定ステップによる判定結果を作業支援情報として出力する支援情報出力ステップと、を備え、
    前記判定ステップは、前記作業チェック情報に基づき前記第１作業者の作業の映像と前記第２の作業者の作業の映像を対比することにより作業の成否を判定することを特徴とする作業支援方法。
16. 前記判定装置は、
    前記作業を指示する指示情報を、前記情報出力装置から出力させる作業指示部と、
    前記情報出力装置による前記指示情報の出力後に、前記情報取得装置が取得した情報から前記指示情報に応答した応答情報を検出する情報検出部と、
    前記情報検出部が検出した前記応答情報に基づいて作業の成否を判定する判定部と、
    を備える、請求項１に記載の作業支援システム。
17. 前記判定装置は、前記判定部が作業を成功と判定した後、作業の完了を確認する問い掛け情報を、前記情報出力装置から出力させる問い掛け確認部をさらに備え、前記判定部は、前記情報出力装置による問い掛け情報の出力後、前記情報検出部が検出した前記応答情報に基づいて作業の成否を判定する、請求項１６に記載の作業支援システム。
18. 前記判定装置は、作業の注意情報を前記情報出力装置から出力させる注意情報出力部をさらに備える、請求項１６または請求項１７に記載の作業支援システム。
19. 作業の対象物の画像を取得する画像取得装置をさらに備え、前記判定装置は、前記画像取得装置が取得した前記作業の対象物の画像情報を取得する画像情報取得部をさらに備え、前記判定部は、前記画像情報取得部が前記作業の対象物の画像情報を取得していない場合は作業が未完了であると判定し、前記作業指示部は、前記判定部が前記画像情報を取得していないことを理由に作業が未完了であると判定した場合には、画像情報を要求する指示情報を、前記情報出力装置から出力させる、請求項１６〜１８のいずれか一項に記載の作業支援システム。
20. 前記判定部は、
    前記情報出力装置による前記指示情報の出力後に、前記情報検出部が検出した前記応答情報に基づいて作業の成否を判定する第１判定部と、
    前記情報出力装置による問い掛け情報の出力後、前記情報検出部が検出した前記応答情報に基づいて作業の成否を判定する第２判定部と、
    前記画像情報取得部が前記作業の対象物の画像情報を取得していない場合は作業が未完了であると判定し、前記作業の対象物の画像情報を取得している場合は、前記情報出力装置による前記指示情報の出力後に、前記情報検出部が検出した前記応答情報に基づいて作業の成否を判定する第３判定部と、
    を備え、作業の重要度に応じて前記第１〜３判定部のいずれか１つを選択して使用する、請求項１９に記載の作業支援システム。
21. 前記判定部は、前記画像情報取得部が取得した画像情報の適否を判定し、前記作業指示部は、前記判定部が前記画像情報は不適であると判定した場合には、画像情報を要求する指示情報を、前記情報出力装置から出力させる、請求項１９または請求項２０に記載の作業支援システム。
22. 前記判定部は、前記画像情報取得部が取得した画像情報に基づいて作業の完了を判定する、請求項１９〜２１のいずれか一項に記載の作業支援システム。
23. 前記作業者が行う作業の映像を取得する映像取得装置をさらに備え、前記判定装置は、前記映像取得装置が取得した映像の情報を取得する映像情報取得部をさらに備え、前記判定部は、前記映像取得部が取得した前記作業者の作業の映像を基に作業の完了を判定する、請求項１６〜２２のいずれか一項に記載の作業支援システム。
24. 作業に関連する情報を検知するセンサ装置をさらに備え、前記判定装置は、前記センサ装置が検知した前記作業に関連する情報を取得するセンサ情報取得部をさらに備え、前記判定部は、前記センサ情報取得部が取得した前記作業に関連する情報に基づいて作業の完了を判定する、請求項１６〜２３のいずれか一項に記載の作業支援システム。
25. 前記作業指示部は、前記判定部が作業は未完了であると判定した場合には、作業が未完了であることを示す情報を、リアルタイムで前記情報出力装置から出力させる、請求項２３または２４に記載の作業支援システム。
26. 前記判定部が作業は正常に完了したものと判定したとき、該作業に関連したデータを取得するデータ取得部と、
    前記データ取得部が取得した前記作業に関連したデータを基に作業書類を生成する作業書類生成部と、
    をさらに備える、請求項１６〜２５のいずれか一項に記載の作業支援システム。
27. 前記作業書類生成部は、前記判定部が前記情報検出部により検出された前記応答情報に基づいて作業が完了したものと判定した場合に、前記作業書類を生成する、請求項２６に記載の作業支援システム。
28. 前記データ取得部は、前記判定部による作業の成否の判定結果および該作業に要した作業時間の情報を取得し、前記作業書類生成部は、前記判定結果と前記作業時間の情報を含めて前記作業書類を生成する、請求項２６または請求項２７に記載の作業支援システム。
29. 前記判定装置は、前記判定部により判定される作業の範囲を作業者の技能レベルに応じて変更する、請求項１６〜２８のいずれか一項に記載の作業支援システム。
30. 前記情報取得装置は、作業中の音声の情報を取得し、前記情報出力装置は、出力する情報を音声により出力する、請求項１６〜２９のいずれか一項に記載の作業支援システム。
31. 前記情報取得装置は、作業者の画面操作の情報を取得し、前記情報出力装置は、出力する情報を画面表示する、請求項１６〜２９のいずれか一項に記載の作業支援システム。
32. 前記情報取得装置は、作業中の音声の情報および作業者の画面操作の情報を取得し、前記情報出力装置は、出力する情報を音声により出力し且つ画面表示する、請求項１６〜２９のいずれか一項に記載の作業支援システム。

Images