JP7084256B2 - 作業支援システムおよび作業支援方法 - Google Patents

Description

本発明は、作業支援システムおよび作業支援方法に関する。

近年、工事などの作業現場において、作業を監督する作業監督者と実際に作業を行う作業実施者との間のコミュニケーション（特に会話）を支援するための会話支援技術が知られている。この種の会話支援技術は、例えば、作業監督者が作業実施者に対して作業指示を行う場合、ヘッドセット等の音声の入出力を行う通信機器を用いることで、通信機器に設けられた音声認識技術によって作業現場のような高騒音環境下でも作業監督者と作業実施者との間の会話を円滑に行えるようにしたシステムである。また、作業実施者の作業を支援するシステムとして、スマートグラス等のウェアラブル端末を利用して、音声と映像のストリーミングで作業実施者の作業状況を作業監督者等にも共有するシステムも知られている。

特許文献１には、音声データを送受信して音声の入出力を行う複数の通信機器の各々を使用する複数のユーザを、グループ分けし、同一のグループに属するユーザ間で、音声の入出力による会話を実現させる会話システムの管理装置が開示されている。この会話システムの管理装置は、複数の通信機器から、複数のユーザの各々の顔又は身体が向く方向を示す方向データを取得する方向データ取得手段と、取得された方向データに基づいて、顔又は身体が向き合った２以上のユーザを、同一のグループに分類するグループ管理手段と、を備えている。

また特許文献２には、異なる地点間のコミュニケーションを可能とするコミュニケーションシステムが開示されている。このコミュニケーションシステムは、コミュニケーション相手が一方の地点に居るかどうかを検出するよう、他方の地点から情報を発信する発信部と、情報を受信し、コミュニケーション相手が居るかどうかを検出する検出部と、当該検出部によりコミュニケーション相手が居ると検出した場合、コミュニケーション相手がコミュニケーション可能か否かを判定する判定部とを備えている。

特開２０１６－５０１７号公報 ＷＯ２００９／０２５１３９号公報

特許文献１に開示された会話システムの管理装置は、ユーザ同士の顔又は身体が互いに向き合った時点で会話が確立されてしまう。一方、作業現場では、作業監督者と作業実施者とが必ずしも顔又は身体が向き合っているからといって会話が必要とは限らない。また、作業工程によっては、作業監督者と作業実施者との顔又は身体とを向き合わせることが出来ない状態で会話を行いたい場合もある。そのような場合、作業監督者は、作業実施者と会話を行う機会を何らかの方法で確保しなければならないという問題があった。

特許文献２に開示されたコミュニケーションシステムは、コミュニケーション相手の動作に基づいてコミュニケーションの可否を判定するが、作業現場では、作業実施者は遠く離れた場所にいる場合、また壁や建設機械などを挟んだ反対側で作業を行っている場合が多く、作業実施者の位置は、作業監督者の死角となってしまう。このような場合、作業監督者は、作業実施者の作業が正しい作業か否かを判断することができないと共に、作業実施者とのコミュニケーションを適切に実施することができず、保守点検作業の業務効率が低下する恐れがある。

したがって、本発明は、作業監督者及び作業実施者の作業支援を適切に行うことができる作業支援システムを提供することを目的とする。

上記課題を解決するため、作業現場における複数ユーザの会話を支援する作業支援システムであって、複数ユーザのうちの第１ユーザの位置および姿勢を推定する第１ユーザ端末と、複数ユーザのうちの第２ユーザの位置および姿勢を推定する第２ユーザ端末と、第１ユーザが行う作業手順に関する情報を含む作業手順データと、第１ユーザが行う作業手順に関する情報と会話の必要度とを関連付けて規定した会話必要度データと、を保持する記憶部と、第１ユーザ端末により推定された第１ユーザの姿勢と、作業手順データに含まれる第１ユーザの作業姿勢と、に基づいて、作業姿勢における第１ユーザの会話の必要度を、会話必要度データを用いて特定し、当該特定した会話の必要度に基づいて会話必要度を算出する会話必要度算出部と、会話必要度が、第１ユーザの作業姿勢に応じて予め設定された閾値以上である場合、第１ユーザ端末と第２ユーザ端末との間の通信を確立すると共に、第１ユーザの作業状況に関する情報を第２ユーザ端末に出力する通信部と、を有する構成とした。

本発明によれば、作業監督者及び作業実施者の作業支援を適切に行うことができる。前述した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第１の実施の形態にかかる作業支援システムの機能構成を説明するブロック図である。 作業支援装置のハードウェア構成の一例を説明する図である。 作業手順データテーブルの一例を説明する図である。 作業実績データテーブルの一例を説明する図である。 作業空間データテーブルの一例を説明する図である。 作業姿勢データテーブルの一例を説明する図である。 本実施形態における作業支援方法を説明するフローチャートの一例である。 会話必要度算出処理のフローチャートの一例である。 作業支援装置による作業監督者端末のディスプレイへの表示例を説明する図である。 第２の実施の形態にかかる作業支援システムの機能構成を説明するブロック図である。 第２の実施の形態における設備管理データテーブルの一例を説明する図である。 第３の実施の形態にかかる作業支援システムの機能構成を説明するブロック図である。 第３の実施の形態にかかる作業支援装置による作業監督者端末のディスプレイへの表示例を説明する図である。

＜第１の実施の形態＞
以下、本発明の第１の実施形態にかかる作業支援システム１について図面を用いて詳細に説明する。第１の実施形態では、保守点検作業などを行う作業現場において、作業監督者が作業支援システム１を用いて作業実施者の現場作業を支援する場合を例示して説明する。

ここで、保守点検作業とは、プラント施設や屋外施設において、作業実施者がその設備の保守、点検、改修などの保全作業を行うことを言う。作業支援システム１は、このような作業現場において、作業監督者と作業実施者との間の作業支援を行うための装置である。本発明の作業支援システム１は、作業監督者と作業実施者との間のコミュニケーションの可否を判定するのみならず、作業実施者の作業状況に基づくコミュニケーションの可否に応じて、当該作業監督者が用いる端末（後述する、作業監督者端末２００）を作業実施者が用いる端末（後述する、作業実施者端末３００）に適切に接続する機能を有している。

＜作業支援システム＞
図１は、第１の実施形態にかかる作業支援システム１の機能構成を説明するブロック図である。

作業支援システム１は、作業支援装置１００と、作業監督者が用いる作業監督者端末２００と、作業実施者が用いる作業実施者端末３００とを有して構成されている。これら作業支援装置１００は、インターネットなどの適宜なネットワークＮＴを介して作業監督者端末２００及び作業実施者端末３００に接続されている。

＜作業支援装置＞
作業支援装置１００は、例えば、作業現場の内外に設けられたコンピュータなどの電子計算機である。作業支援装置１００は、作業員識別部１０と、コミュニケーション可否判定部２０と、会話必要度算出部３０と、記憶部４０と、通信部５０と、入出力部６０とを有して構成されている。これらの作業員識別部１０、コミュニケーション可否判定部２０、会話必要度算出部３０、記憶部４０、通信部５０、及び入出力部６０は、コンピュータのＣＰＵ（図示せず）が、記憶装置（例えば、後述するメモリ１０３）に記憶された制御プログラムを実行することで、コンピュータ上で実装される。

作業員識別部１０は、通信部５０を介して作業実施者端末３００から所定情報を取得し、この取得した所定情報に含まれる作業実施者ＩＤに基づいて、当該所定情報がどの作業実施者端末３００から受信したものかを判断すると共に、この所定情報を記憶部４０の作業手順データ記憶領域４１に記憶する。なお、本実施形態では、作業現場で作業を行う複数の作業実施者が作業実施者端末３００ａ～３００ｄをそれぞれ保有しており、作業員識別部１０は、この作業実施者ＩＤに基づいて取得した所定情報がどの作業実施者の保有する作業実施者端末３００ａ～３００ｄのものであるかを判断する。

コミュニケーション可否判定部２０は、作業実施者端末３００（３００ａ～３００ｄ）から取得した所定情報に基づく作業実施者の作業位置及び作業姿勢から、この作業実施者が他者とコミュニケーションが行える状態か否かを判定する。

会話必要度算出部３０は、必要度算出部３１と、閾値算出部３２と、統計演算処理部３３と、を有して構成されている。必要度算出部３１は、作業実施者端末３００（３００ａ～３００ｄ）から取得した所定情報に基づいて、記憶部４０の作業手順データ記憶領域４１内に当該作業実施者の作業状況と一致する作業状況データがあるか否かを判定する。必要度算出部３１は、所定情報に基づいて当該作業実施者の作業状況と一致する作業状況データが作業手順データ記憶領域４１内にないと判定した場合、取得した所定情報に基づいて、会話必要度記憶領域４２に記憶された必要度に応じた会話必要度を算出する。閾値算出部３２は、取得した所定情報に基づいて作業実施者の会話必要度の閾値を算出する。統計演算処理部３３は、必要度算出部３１が算出した会話必要度と閾値算出部３２が算出した閾値とに基づいて、作業実施者端末３００（３００ａ～３００ｄ）を作業監督者端末２００に接続するか否かを判断する。例えば、統計演算処理部３３は、会話必要度が閾値以上であると判定した場合、作業実施者端末３００（３００ａ～３００ｄ）を作業監督者端末２００に接続し、会話必要度が閾値未満であると判定した場合、作業実施者端末３００（３００ａ～３００ｄ）を作業監督者端末２００に接続しない。

記憶部４０は、作業現場において作業実施者の作業手順を示す作業手順データが記憶される作業手順データ記憶領域４１と、作業実施者の会話の必要度を示す会話必要度データが記憶される会話必要度記憶領域４２とを有する。

通信部５０は、前述したコミュニケーション可否判定部２０により、作業実施者がコミュニケーション可能と判定された場合、作業監督者端末２００と作業実施者端末３００（３００ａ～３００ｄ）との間の通信を確立する。

入出力部６０は、作業監督者端末２００と作業実施者端末３００（３００ａ～３００ｄ）との間で授受するデータの入出力処理を行う。

＜作業監督者端末＞
図１に示すように、作業監督者端末２００は、作業監督者が装着するディスプレイ２０１と、作業監督者や作業監督者端末２００に取り付けられる各種センサ２０２と、通信部２０３と、位置推定部２０４と、動作推定部２０５と、入出力部２０６と、表示内容生成部２０７と、表示部２０８と、作業環境認識部２０９と、記憶部２１０とを有して構成されている。

ディスプレイ２０１は、例えば、作業監督者の頭部に装着するヘッドマウントディスプレイ装置であり、スマートグラスとも言われる装置である。このディスプレイ２０１は、非透過型又は透過型の何れでもよい。ディスプレイ２０１は、作業監督者の目線に近い実際の映像にコンピュータにより生成される情報を重畳（拡張）して表示する拡張現実機能（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）を有する。ディスプレイ２０１による表示は２Ｄ又は３Ｄにより表示される。

各種センサ２０２は、作業監督者の現在位置や姿勢（動作）を検出する複数のセンサから構成されている。各種センサ２０２は、例えば、作業監督者の目視に近い映像を取得できるカメラ、作業監督者の位置情報を取得するＧＰＳセンサ、作業監督者の姿勢情報（動作情報）を取得する角度センサ、加速度センサ、ジャイロセンサ、筋電位センサ、作業監督者や周囲の音声を取得するためのマイク、などを含んで構成されている。また、各種センサ２０２は、照度センサ、温度センサ又は気圧センサを含めて構成されていてもよい。各種センサ２０２は、この各種センサ２０２にて取得されたセンサ情報を出力する。作業監督者端末２００（後述する位置推定部２０４、動作推定部２０５）は、この各種センサ２０２で取得したセンサ情報に基づいて作業監督者と作業実施者との位置関係を推定する。

通信部２０３は、前述した作業支援装置１００のコミュニケーション可否判定部２０による判定の結果、作業実施者がコミュニケーション可能であると判定した場合、その判定結果に基づいて作業支援装置１００との通信を確立させる。

位置推定部２０４は、作業監督者の位置情報と、作業実施者端末３００の位置推定部３０４（詳細は後述する）で推定された作業実施者の位置情報とに基づいて、作業監督者と作業実施者との位置関係を推定すると共に、この推定した位置関係から作業監督者のディスプレイ２０１の表示範囲内に作業実施者が存在するか否かを判定する。

動作推定部２０５は、作業監督者に設けられたカメラから取得した実際の映像や、筋電位センサなどから取得したセンサ情報に基づいて、作業監督者がどのような動作状態（姿勢）であるかを推定する。この動作推定部２０５による作業監督者の動作状態の推定は、画像認識処理や機械学習によって行われる。

入出力部２０６は、作業監督者によるマウスや音声による操作情報の入力や、入力された操作情報を各種機器に出力する機能を有する。

表示内容生成部２０７は、表示部２０８から出力された制御信号に基づいて表示部２０８における提供情報の具体的な表示内容（実施の形態では、ＡＲ表示されるテキストやアイコン）を生成し、ディスプレイ２０１（後述する画面９０１）に表示させる。その際、表示内容生成部２０７は、後述する作業環境認識部２０９から出力された作業環境情報（例えば、作業監督者や作業実施者の位置や姿勢）に基づいて表示内容の表示位置を調整してディスプレイ２０１に表示させることで、ＡＲ表示を行う場合に、あたかも表示が実空間上に存在しているかのように見せることができる。このように、表示内容生成部２０７は、生成した表示内容を、調整された表示態様で表示部２０８を介してディスプレイ２０１に表示させることができる。

表示部２０８は、位置推定部２０４で推定された作業監督者の位置情報と、作業実施者端末３００の位置推定部３０４で推定された作業実施者の位置情報とに基づいて、ディスプレイ２０１の所定の表示範囲内に作業実施者の作業状況情報を表示する。

作業環境認識部２０９は、各種センサ２０２により取得したセンサ情報に基づいて、作業監督者の作業環境となる作業空間の三次元マップと、その作業空間上での当該端末の位置及び向きからなる作業監督者の姿勢とを推定し、これらからなる作業環境情報を出力する。なお作業環境認識部２０９は、作業空間の三次元マップと作業監督者の姿勢との何れか一方を推定するものであってもよい。また、作業環境認識部２０９は、各種センサ２０２により取得されたセンサ情報に基づいて、作業環境として天候や昼夜の別などを推定する。

記憶部２１０は、各種センサ２０２から取得されたセンサ情報、及び各機能で演算された情報を一時的に記憶する。また、記憶部２１０は、作業実施者端末３００から取得した作業実施者の位置情報及び動作の推定情報を一時的に記憶する。

＜作業実施者端末＞
図１に示すように、作業実施者端末３００は、作業実施者が装着するディスプレイ３０１と、作業実施者に取り付けられる各種センサ３０２と、通信部３０３と、位置推定部３０４と、動作推定部３０５と、入出力部３０６と、表示内容生成部３０７と、表示部３０８と、作業環境認識部３０９と、記憶部３１０とを有して構成されている。

ディスプレイ３０１は、例えば、作業実施者の頭部に装着するヘッドマウントディスプレイ装置であり、スマートグラスとも言われる装置である。このディスプレイ３０１は、非透過型又は透過型の何れでもよい。ディスプレイ３０１は、作業者が行う作業状況の実際の映像にコンピュータにより生成された情報を重畳（拡張）して表示する拡張現実機能（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）を有する。ディスプレイ３０１による表示は２Ｄ又は３Ｄにより表示される。

各種センサ３０２は、作業実施者の位置情報や姿勢（動作）を検出する複数のセンサから構成されている。各種センサ３０２は、例えば、作業実施者の目視に近い映像を取得できるカメラ、作業実施者の位置情報を取得するＧＰＳセンサ、作業実施者の姿勢情報（動作情報）を取得する角度センサ、加速度センサ、ジャイロセンサ、筋電位センサ、作業実施者や周囲の音声を取得するためのマイク、などを含んで構成されている。また、各種センサ３０２は、照度センサ、温度センサ及び気圧センサを含めて構成されていてもよい。各種センサ３０２は、この各種センサ３０２にて取得されたセンサ情報を出力する。作業実施者端末３００（後述する位置推定部３０４、動作推定部３０５）は、この各種センサ３０２で取得したセンサ情報に基づいて作業監督者と作業実施者との位置関係を推定する。

通信部３０３は、前述した作業支援装置１００のコミュニケーション可否判定部２０による判定の結果、作業実施者がコミュニケーション可能であると判定した場合、その判定結果に基づいて作業支援装置１００との通信を確立させる。

位置推定部３０４は、作業実施者の位置情報と、作業監督者端末２００の位置推定部２０４で推定された作業監督者の位置情報とに基づいて、作業実施者と作業監督者との位置関係を推定すると共に、作業実施者のディスプレイ３０１の表示範囲内に作業監督者が存在するか否かを判定する。

動作推定部３０５は、作業実施者に設けられたカメラから取得した映像や、筋電位センサなどから取得したセンサ情報に基づいて、作業実施者がどのような動作状態（姿勢）であるかを推定する。この動作推定部３０５による作業実施者の動作状態の推定は、画像認識処理や機械学習によって行われる。作業内容は、例えば、作業実施者が、作業対象設備のカバーを開けている、操作レバーを下方向に下げている、レンチでボルトを締めている、など、工具、作業対象、この作業対象がどこのパーツか、動作、の組み合わせで定義される。

入出力部３０６は、作業実施者によるマウスや音声による操作情報の入力や、入力された操作情報を各種機器に出力する機能を有する。

表示内容生成部３０７は、表示部３０８から出力された制御信号に基づいて表示部３０８における提供情報の具体的な表示内容（実施の形態では、ＡＲ表示されるテキストやアイコン）を生成し、ディスプレイ２０１（後述する画面９０１）に表示させる。その際、表示内容生成部３０７は、後述する作業環境認識部３０９から出力された作業環境情報（例えば、作業実施者の位置や姿勢）に基づいて表示内容の表示位置を調整してディスプレイ２０１に表示させることで、ＡＲ表示を行う場合に、あたかも表示が実空間上に存在しているかのように見せることができる。このように、表示内容生成部３０７は、生成した表示内容を、調整された表示態様で表示部３０８を介してディスプレイ２０１に表示させることができる。

表示部３０８は、位置推定部３０４で推定された作業実施者の位置情報と、作業監督者端末２００の位置推定部２０４で推定された作業監督者の位置情報とに基づいて、ディスプレイ３０１の所定の表示範囲内に作業実施者の作業状況情報を表示する。

作業環境認識部３０９は、各種センサ３０２により取得したセンサ情報に基づいて、作業実施者の作業環境となる作業空間の三次元マップと、その作業空間上での当該端末の位置及び向きからなる作業実施者の姿勢とを推定し、これらからなる作業環境情報を出力する。なお作業環境認識部３０９は、作業空間の三次元マップと作業実施者の姿勢との何れか一方を推定するものであってもよい。また、作業環境認識部３０９は、各種センサ３０２により取得されたセンサ情報に基づいて、作業環境として天候や昼夜の別などを推定する。

記憶部３１０は、各種センサ３０２から取得されたセンサ情報、及び各機能で演算された情報を一時的に記憶する。また、記憶部３１０は、作業実施者端末３００から取得した作業実施者の現在位置及び動作の推定情報を一時的に記憶する。

＜作業支装置のハードウェア構成＞
次に、作業支援装置１００のハードウェア構成の一例を説明する。
図２は、作業支援装置１００のハードウェア構成の一例を説明する図である。
図３は、作業手順データテーブル１０１２の一例を説明する図である。
図４は、作業実績データテーブル１０１３の一例を説明する図である。
図５は、作業空間データテーブル１０１４の一例を説明する図である。
図６は、作業姿勢データテーブル１０１５の一例を説明する図である。

図２に示すように、作業支援装置１００は、記憶装置１０１と、演算装置１０２と、メモリ１０３と、入力装置１０４と、出力装置１０５と、通信装置１０６とを有して構成されている。これらの各装置はＢＵＳを介して接続されている。

記憶装置１０１は、作業支援装置１００の全体制御を行うための制御プログラム１０１１と、作業手順データテーブル１０１２と、作業実績データテーブル１０１３と、作業空間データテーブル１０１４と、作業姿勢データテーブル１０１５とを記憶している。これらの各データテーブルは、記憶部４０の作業手順データ記憶領域４１の一部を構成する。

＜作業手順データテーブル＞
図３に示すように、作業手順データテーブル１０１２には、各作業実施者による作業現場での作業の手順が記憶されている。具体的には、作業手順データテーブル１０１２には、少なくとも、作業手順データを識別するための作業手順ＩＤ１０１２ａと、作業工程を示す作業工程１０１２ｂと、当該作業工程の具体的な作業内容を示す作業内容１０１２ｃと、当該作業内容に対して予め割当てられた所用時間を示す所要時間１０１２ｄと、当該作業手順の実施に用いられる対象設備を示す対象設備１０１２ｅと、当該作業内容を実行するための作業姿勢を示す作業姿勢１０１２ｆと、当該作業手順に割当てられた作業実施者（当該作業手順を実施する作業実施者）を示す作業割当１０１２ｇと、当該作業手順に対して作業実施者の会話の必要度を示す必要度１０１２ｈと、を対応付けたレコードの集合体となっている。

記憶装置１０１は、前述した記憶部４０の少なくとも一部を構成し、作業手順データテーブル１０１２は、前述した記憶部４０の作業手順データ記憶領域４１の少なくとも一部を構成する。

＜作業実績データテーブル＞
次に、図４に示すように、作業実績データテーブル１０１３は、少なくとも、作業実施者の作業実績を識別する作業実績ＩＤ１０１３ａと、当該作業実績データテーブル１０１３に作業実績を登録した登録者を示す実績登録者１０１３ｂと、実績登録者１０１３ｂによる当該作業実績の登録日時を示す登録日時１０１３ｃと、当該作業実績が作業中か完了かを示す作業状況１０１３ｄと、当該作業実績がどの作業手順を実行したか対応付ける作業手順ＩＤ１０１３ｅと、当該作業実績において作業実施者の会話の必要度を示す必要度１０１３ｆと、を対応付けたレコードの集合体となっている。

＜作業空間データテーブル＞
次に、図５に示すように、作業空間データテーブル１０１４は、少なくとも、作業現場における一定の作業空間を識別するための作業空間ＩＤ１０１４ａと、当該作業空間に存在する実オブジェクト（例えば、装置や設備、工具など）の名を識別するためのオブジェクト名１０１４ｂと、この作業空間データテーブル１０１４に対する作業空間データの新規登録およびデータ更新された日時を示す空間登録日時１０１４ｃと、当該作業空間における実オブジェクトの少なくとも一点の座標を示す空間座標１０１４ｄと、当該作業空間における作業実施者の会話の必要度を示す必要度１０１４ｅと、を対応付けたレコードの集合体となっている。なお、前述した「一定の作業空間」とは、基準となるオブジェクトのある座標を含む体積範囲を示す。また体積範囲とは、少なくとも、長さ、幅、高さから算出される体積である。

ここで、空間座標１０１４ｄは、作業空間におけるオブジェクトの位置を特定するための座標である。空間座標１０１４ｄは、例えば、オブジェクトの設計データ（三次元ＣＡＤデータなど）が取得できる場合には、オブジェクトの特定の１点の座標が分かればオブジェクトの三次元ＣＡＤデータからオブジェクトの位置が特定できるため、オブジェクトの特定の１点の座標、又はオブジェクトの重心座標を記憶してもよい。また、空間座標１０１４ｄは、オブジェクトを特定するための複数の三次元座標を記憶してもよい。

例えば、図５で例示する空間座標１０１４ｄは、オブジェクト名１０１４ｂに設備が含まれている場合は重心座標とし、保守器具が含まれている場合は設置座標としてもよい。こうした空間座標１０１４ｂは、少なくとも、作業手順データテーブル１０１２と作業実績データテーブル１０１３とに基づいて算出される（作業支援装置１００に予め設定してもよい）。

また、前述した必要度１０１４ｅは、少なくとも、作業手順データテーブル１０１２における対象設備１０１２ｅと作業空間データテーブル１０１４におけるオブジェクト名１０１４ｂとに基づいて算出される。

＜作業姿勢データテーブル＞
次に、図６に示すように、作業姿勢データテーブル１０１５は、少なくとも、作業実施者の作業姿勢を識別するための作業姿勢ＩＤ１０１５ａと、当該作業姿勢の名称を識別するための作業姿勢名１０１５ｂと、当該作業姿勢の少なくとも骨格情報を示す姿勢１０１５ｃと、当該作業姿勢における作業実施者の会話の必要度を示す必要度１０１５ｄを有する。作業姿勢名１０１５ｂは、作業手順データテーブル１０１２の作業姿勢１０１２ｆと対応して関連付けられている。

作業支援装置１００では、作業手順データテーブル１０１２の作業姿勢１０１２ｆと関連付けられた前述の作業姿勢名１０１５ｂにおいて、作業実施者端末３００から受信した作業実施者の動作（姿勢）推定情報と、作業姿勢データテーブル１０１５における姿勢１０１５ｃとが一致しない場合、作業実施者が予定の作業姿勢を行っていないことを意味し、その作業状況に関しては作業監督者との会話の必要性が相応に高いと判断することとなる。また、前述した必要度１０１５ｄは、少なくとも、作業姿勢データテーブル１０１５における姿勢１０１５ｃに基づいて算出される。例えば、作業実施者が所定の作業姿勢名１０１５ｂ（例えば、姿勢Ｂ）の姿勢１０１５ｃを行っている場合、その作業姿勢名１０１５ｂにおける作業実施者の会話必要度が高く（必要度が５）、他の作業姿勢名１０１５ｂ（例えば、姿勢Ｃ）の姿勢１０１５ｃを行っている場合、その作業姿勢名における作業実施者の会話の必要性が低く（必要度が３）なるように予め算出及び設定されている。

また、前述した各必要度１０１３ｆ、１０１４ｅ、１０１５ｄは、作業手順データテーブル１０１２が更新された場合、会話必要度算出部３０における統計演算処理部３３が演算処理を実行し、記憶部４０に追記するものとする。具体的には、例えば、作業実績データテーブル１０１３における各レコードを、その実績登録者１０１３ｂの登録回数の大きい順で５段階に分類し、それぞれ段階ごとの１～５の必要度を割り振る、といった演算処理を行うことができる（作業空間データテーブル１０１４、作業姿勢データテーブル１０１５でも同様）。あるいは、特段の演算処理を行わず、作業監督者が設定した値、作業姿勢１０１２ｆに応じた所定値、または、必ず作業監督者との会話が必要であることを示す最必要値「９９」を設定してもよい。

次に、作業支援装置１００における作業支援方法の一例を説明する。以下で説明する作業支援方法に対応する各種動作は、作業支援装置１００がメモリ等に読み出して実行する制御プログラム１０１１によって実現される。そして、この制御プログラム１０１１は、以下に説明される各種の動作を行うためのコードから構成されている。

＜作業支援装置による制御方法＞
図７は、本実施形態における作業支援方法を説明するフローチャートの一例である。具体的には、作業支援装置１００と作業監督者端末２００と作業実施者端末３００とにおける基本処理を示すフローチャートである。

ステップＳ１０１において、作業監督者端末２００の表示部２０８は、ディスプレイ２０１の表示範囲内に、作業監督者に取り付けられたカメラ（各種センサ２０２）で撮影した映像と作業実施者の作業状況を表示する。具体的には、作業支援装置１００は、作業監督者端末２００の位置推定部２０４から取得した作業監督者の位置情報と、作業実施者端末３００の位置推定部３０４から取得した作業実施者の位置情報とを受信すると共に、これらの位置情報を作業員識別部１０に一時的に記憶する。作業監督者端末２００の表示内容生成部２０７は、作業員識別部１０に記憶された各々の位置情報と、各種センサ２０２から取得したセンサ情報（例えば、作業監督者や作業実施者の姿勢）とに基づいて作業監督者及び作業実施者の作業状況に関する情報を表示部２０８に送信する。そして、表示部２０８は、作業監督者のカメラで撮影した映像に表示内容生成部２０７から取得した作業状況に関する情報を重畳させてディスプレイ２０１の表示範囲内に表示する。

ステップＳ１０２において、作業監督者端末２００の位置推定部２０４は、作業員識別部１０に記憶された作業監督者の位置情報と作業実施者の位置情報とに基づいて作業監督者と作業実施者との位置関係を推測する。そして位置推定部２０４は、作業監督者のディスプレイ２０１の表示範囲内に作業実施者が存在するか否かを判定する。位置推定部２０４は、ディスプレイ２０１の表示範囲内に作業実施者が存在しないと判定した場合（ステップＳ１０２：Ｎｏ）、作業支援装置１００は、作業手順データ記憶領域４１からディスプレイ２０１の表示範囲内に該当する所定の作業状況データを表示内容生成部２０７に送信する。そして表示内容生成部２０７は、送信された作業状況データと各種センサ２０２から取得したセンサ情報とに基づいてディスプレイ２０１の表示範囲内に表示する作業監督者と作業実施者との作業状況に関する情報を表示部２０８に送信する。そして、表示部２０８は、作業監督者と作業実施者との作業状況に関する情報をディスプレイ２０１の表示範囲内に表示して処理を終了する。

一方、位置推定部２０４は、ディスプレイ２０１の表示範囲内に作業実施者が存在すると判定した場合（ステップＳ１０２：Ｙｅｓ）、作業支援装置１００は、ステップＳ１０３の処理を行う。

ステップＳ１０３において、作業支援装置１００の会話必要度算出部３０は、ステップＳ１０１で取得した位置情報から決まる作業実施者を検索キーとして導出される作業手順データテーブル１０１２のレコードに基づいて、会話必要度記憶領域４２に記憶されたデータｄ１、ｄ２、・・・、ｄｎと、当該データの重み係数ｗ１、ｗ２、・・・、ｗｎと、作業工程の進捗率係数μと、を用いて当該作業工程における作業実施者の会話必要度Ｘを算出する。

会話必要度Ｘは、例えば、次の数式（１）により算出することができる。
Ｘ＝μ×（Σ（ｗ１×ｄ１＋ｗ２×ｄ２＋・・・＋ｗｎ×ｄｎ）） ・・・ （１）
会話必要度Ｘの算出処理（ステップＳ１０３）の詳細は後述する。

ステップＳ１０４において、作業支援装置１００の会話必要度算出部３０は、当該作業実施者の現在時刻での作業状況において、ステップＳ１０３で算出した会話必要度Ｘが所定の閾値Ｘｔｈ以上か否かを判定する。

会話必要度算出部３０は、算出した会話必要度Ｘが所定の閾値Ｘｔｈ以上であると判定した場合（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０５の処理を行い、会話必要度Ｘが所定の閾値Ｘｔｈ未満である場合（ステップＳ１０４：Ｎｏ）、ステップＳ１０７の処理を行う。ステップＳ１０７では、会話必要度算出部３０は、ステップＳ１０３で算出した会話必要度Ｘを作業員識別部１０に記憶すると共に、他の全ての作業実施者の会話必要度Ｘを算出したか否かを判定する。このステップＳ１０７の処理の詳細は後述する。

ステップＳ１０５において、会話必要度算出部３０は、ステップＳ１０３で算出した会話必要度Ｘをコミュニケーション可否判定部２０に送信する。コミュニケーション可否判定部２０は、受信した会話必要度Ｘに基づいて作業監督者と作業実施者の会話すべき内容を具体化すると共に、コミュニケーションの可否を判定する。

具体的には、コミュニケーション可否判定部２０は、該当作業実施者端末３００の動作推定部３０５により推定された当該作業実施者の動作から姿勢名と姿勢を検索キーとして作業姿勢データテーブル１０１５にて検索を実行し、動作推定部３０５により推定された作業実施者の動作と最も類似度が高いレコードを特定し、当該レコードからデータを抽出する。なお、上述の類似度の判定方法は、前述した方法に限定されるものではなく、例えば、検索キーである姿勢と、作業姿勢データテーブル１０１５の各レコードの作業姿勢名１０１５ｂおよび姿勢（骨格情報）１０１５ｃのうちの何れか１つ、または任意の姿勢データとのヒストグラムマッチングや機械学習による多クラス分類から判定してもよい。

次に、コミュニケーション可否判定部２０は、上述の抽出結果に基づいて、作業実施者がコミュニケーション可能か否かを判定する。この判定では、コミュニケーション可否判定部２０は、例えば、上述の結果が姿勢Ａを含む、または、作業監督者と対面している姿勢であることを示すものである場合、作業実施者がコミュニケーション可能と判定し、他方、上述の結果が姿勢Ａを含まないことと、作業監督者が対面していない姿勢であることを示すものである場合、作業実施者はコミュニケーション不可と判定する。

前述したコミュニケーション可否判定部２０による作業実施者のコミュニケーション可否の判定方法は一例であり、上記以外の方法を採用してもよい。例えば、コミュニケーション可否判定部２０は、作業実施者端末３００から当該作業実施者の１０秒間の動作推定部３０５の動作推定結果を受信し、その間の姿勢（動作）が変化しなければコミュニケーション可能と判定してもよい。または、コミュニケーション可否判定部２０は、前述したステップＳ１０３で取得した会話必要度Ｘが上述した作業姿勢データテーブル１０１５の必要度１０１５ｄの３倍以上の値であれば作業実施者がコミュニケーション可能と判定してもよい。

ステップＳ１０５での判定の結果、コミュニケーション可否判定部２０は、作業実施者がコミュニケーション可能と判定した場合、作業監督者端末２００に所定の情報を送信し、作業監督者端末２００と作業実施者端末３００の通信を通信部５０に確立させる。

一方、ステップＳ１０５での判定の結果、コミュニケーション可否判定部２０は、作業実施者がコミュニケーション不可と判定した場合、作業実施者がコミュニケーション可能となる時刻を推定し、作業監督者端末２００に当該推定時刻に関する所定の情報を送信する。具体的には、コミュニケーション可否判定部２０は、作業実績データテーブル１０１３における実績登録者１０１３ｂの値が当該作業実施者を含み、登録日時１０１３ｃの値が作業経過時間から現在時刻に最も近い登録日時を含み、且つ、作業状況１０１３ｄの値が“作業中”であるレコードを抽出し、その抽出したレコードの作業手順ＩＤ１０１３ｅを検索キーとして作業手順データテーブル１０１２から該当レコードの所要時間１０１２ｄを抽出し、前述した登録日時１０１３ｃに所要時間１０１２ｄを加えた時間を作業実施者がコミュニケーション可能となる時刻として推定する処理を行う。

続いて、コミュニケーション可否判定部２０は、ここまでで導出した所定の情報を作業監督者端末２００に出力し、ステップＳ１０５の処理を終了する。

ステップＳ１０６において、コミュニケーション可否判定部２０は、作業監督者端末２００に対して、作業実施者のコミュニケーションの可否を示す情報やコミュニケーションが可能となる推定時間に関する情報を出力する。

ステップＳ１０７において、作業支援装置１００は、ディスプレイ２０１の表示範囲内に表示される全ての作業実施者の位置や姿勢などの情報を確認したか否かを判定する。具体的には、前述したステップＳ１０２で抽出した作業実施者を除いて、作業員識別部１０に格納されている作業実施者の位置情報から作業監督者端末２００との位置関係を算出し、他に表示すべき作業実施者を確認する。

作業支援装置１００は、ディスプレイ２０１の表示範囲内に表示される全ての作業実施者の位置や姿勢を確認したと判定した場合（ステップＳ１０７：Ｙｅｓ）、処理を終了し、表示範囲内の全ての作業実施者を確認していないと判定した場合（ステップＳ１０７：Ｎｏ）、ステップＳ１０２に戻って、全ての作業実施者の位置や姿勢の確認が終了したと判定するまで、ステップＳ１０２～ステップＳ１０７の処理を繰り返し実行する。

ステップＳ１０７において、通信を確立した作業監督者端末２００と作業実施者端末３００との間の通信が終了した場合、すなわち会話が終了した場合、作業支援装置１００は処理を終了する。

前述したステップＳ１０７において、作業支援装置１００は、複数の作業実施者とのコミュニケーションが可能と判定した場合、会話必要度の高い順に作業監督者端末２００と作業実施者端末３００との間の通信を確立させる。また作業支援装置１００は、作業監督者端末２００と複数の作業実施者端末３００（例えば、作業実施者端末３００ａ～３００ｄ）とを同時に通信を確立してもよい。

また、前述した作業監督者端末２００と作業実施者端末３００との間の通信が確立している間、作業監督者端末２００の表示部２０８と作業実施者端末３００の表示部３０８は、作業状況に基づいた通信画面を表示させてもよい。

作業監督者が作業監督者端末２００の入出力部２０６を用いた操作で通信の終了を選択することで、前述した作業監督者端末２００と作業実施者端末３００との間の通信が終了する。その結果は、新たな作業状況データにおける会話必要度Ｘとして通信部５０と入出力部６０の通信データから記憶部４０に送信され、作業実績データテーブル１０１３などに格納される。

＜会話必要度算出処理＞
次に、前述したステップＳ１０３の会話必要度算出処理の詳細を説明する。
図８は、会話必要度算出処理のフローチャートである。

ステップＳ２０１において、会話必要度算出部３０の必要度算出部３１は、前述したステップＳ１０１での識別処理の結果、すなわち前述した該当作業実施者ＩＤを作業員識別部１０から受信し、これと作業経過時間をキーに作業手順データ記憶領域４１の作業手順データテーブル１０１２を用いて検索処理を実行する。

ステップＳ２０２において、必要度算出部３１は、前述したステップＳ２０１で取得した作業手順データテーブル１０１２のレコードから、作業手順ＩＤ１０１２ａ、所要時間１０１２ｄ、作業割当１０１２ｇおよび必要度１０１２ｈの各値を参照し、これらの値に基づいて、該当作業実施者の作業経過時間における作業手順を推定し、会話必要度記憶領域４２にて当該作業実施者と作業経過時間をキーとして作業実績の検索処理を実行し、該当作業実施者が所定の作業時間に本来実施すべき作業手順を実施しているかを判定する。

例えば、検索キーが“作業実施者Ａ”、作業経過時間が“１０ｍｉｎ”であった場合、必要度算出部３１は、前述した検索処理により、作業手順データテーブル１０１２から、作業手順ＩＤ“Ａ００１”、“Ａ００２”に関する所要時間１０１２ｄの値として“２ｍｉｎ”、“５ｍｉｎ”、必要度１０１２ｈの値として“５”、“４”を検索できる。また、必要度算出部３１は、作業実績データテーブル１０１３から作業実績ＩＤ１０１３ａ“Ｂ００１”と“Ｂ００２”のレコードを抽出できる。図４の例では、必要度算出部３１は作業経過時間から２番目のレコードの作業状況１０１３ｄの値は“完了”であることを正解と判断する。しかしながら、作業実績データテーブル１０１３の作業状況１０１３ｄの該当の値は“作業中”であり、必要度算出部３１は、“該当作業実施者が所定の作業時間に本来実施すべき作業手順を実施していない”と判定する。

ステップＳ２０３において、必要度算出部３１は、予め保持する作業工程からの進捗率係数μと変化量換算係数ｗ１、ｗ２、・・・、ｗＮと、前述のステップＳ２０２の検索処理で取得した必要度１０１２ｈの値とを、前述した数式（１）に設定して会話必要度Χを算出する。

例えば、μ、ｗ１、ｗ２、・・・、ｗＮが全て１であり、作業経過時間から現在時刻に最も近い登録日時に対応する作業実績データテーブル１０１３のレコードが上から２番目のレコードであったとする（図４参照）。この場合、必要度算出部３１は、作業実績データテーブル１０１３の上から２番目のレコードの作業手順ＩＤ１０１３ｅ“Ａ００２”を検索キーとして作業手順データテーブル１０１２（図３参照）の上から２番目のレコードを抽出する。そして必要度算出部３１は、対象設備１０１２ｅ“設備Ａ”を検索キーとして作業空間データテーブル１０１４（図５参照）の上から１番目のレコードを抽出する。必要度算出部３１は、作業手順データテーブル１０１２の作業姿勢１０１２ｆ“姿勢Ａ”を検索キーとして作業姿勢データテーブル１０１５（図６参照）の上から１番目のレコードを抽出する。必要度算出部３１は、作業手順データテーブル１０１２（図３参照）の２番目のレコードから必要度「４」と、作業実績データテーブル１０１３（図４参照）の２番目のレコードから必要度「５」と、作業空間データテーブル１０１４（図５参照）の１番目のレコードから必要度「４」と、作業姿勢データテーブル１０１５（図６参照）の１番目のレコードから必要度「４」を取得し、これらを前述した数式（１）に設定して計算することで、会話必要度Χが「１７」であると算定できる。

前述した会話必要度算出部３０による会話必要度Ｘの算出方法は一例であり、上記以外の方法を採用してもよい。例えば、作業実績データテーブル１０１３の作業状況１０１３ｄが“完了”であるレコードを検索し、当該レコードから作業手順ＩＤ１０１２ａの件数を抽出する。上述件数を作業手順データテーブル１０１２の全件数で除算した値で作業工程からの進捗率係数μを決定してもよい（例：進捗率６０％ならμ＝０．６、３２％ならμ＝０．３２、など）。

次に、ステップＳ２０４において、会話必要度算出部３０の閾値算出部３２は、会話必要度Ｘの閾値Ｘｔｈを算出する。具体的には、閾値算出部３２は、作業手順データテーブル１０１２の各レコードのうち、必要度１０１２ｈの値が最大のもの以外のレコード全ての中央値と、作業実績データテーブル１０１３の各レコードのうち、必要度１０１３ｆの値が最大のもの以外のレコード全ての中央値と、作業空間データテーブル１０１４の各レコードのうち、必要度１０１４ｅの値が最大のもの以外のレコード全ての中央値と、作業姿勢データテーブル１０１５の各レコードのうち、必要度１０１５ｄの値が最大のもの以外のレコード全ての中央値と、を合算して閾値Ｘｔｈを算出する。

前述した算出方法によれば、図３の作業手順データテーブル１０１２の上から３番目までのレコードと、作業実績データテーブル１０１３の上から３番目までのレコードと、作業空間データテーブル１０１４の上から３番目までのレコードと、作業姿勢データテーブル１０１５の上から３番目までのレコードから算出される閾値Ｘｔｈは「１５．５」となる。

ただし、前述した閾値算出部３２による閾値Ｘｔｈの算出方法は一例であり、上記以外の方法を採用してもよい。例えば、閾値算出部３２は、中央値の合算ではなく平均値を合算して閾値算出を行ってもよい。またステップＳ２０３の処理を作業現場における全ての作業実施者に対して実行し、その平均値で閾値算出を行う方法でもよい。また、閾値算出部３２は、各必要度の最大値と最小値のもの以外のレコードの中央値とを合算して、閾値Ｘｔｈを算出してもよい。なお、閾値算出部３２は、他の値と比べた異常値を除いたレコードの中央値を合算して閾値Ｘｔｈを算出してもよい。

ステップＳ２０５において、会話必要度算出部３０の統計演算処理部３３は、前述したステップＳ２０３とステップＳ２０４で算出した会話必要度Χと閾値Ｘｔｈとに基づいて、所定の統計演算処理を実行して処理を終了する。

＜作業支援装置による表示例＞
次に、作業支援装置１００による作業監督者端末２００のディスプレイ２０１への表示例を説明する。
図９は、作業支援装置１００による作業監督者端末２００のディスプレイ２０１への表示例を説明する図である。

図９に示すように、作業監督者端末２００のディスプレイ２０１の表示範囲内に表示される画面９０１は、出力情報として、少なくとも、作業実施者の作業実績のＡＲ表示を示すＡＲ作業実績テキスト９０２と、作業実施者ＡのＡＲ表示を示すＡＲ作業実施者アイコン９１２、作業現場における作業進捗率９２１、その他情報アイコン９３２を表示するように構成される。作業監督者は、作業監督者端末２００の入出力部２０６を用いた操作によって、上述の画面９０１での情報閲覧や、ネットワークで繋がった記憶部４０の作業手順データ記憶領域４１での検索、および作業実施者端末３００との双方向入出力が可能である。なお実施形態の画面９０１には、作業実施者ＡのＡＲ表示を示すＡＲ作業実施者アイコン９１２、作業実施者ＢのＡＲ表示を示すＡＲ作業実施者アイコン９１３、作業実施者ＣのＡＲ表示を示すＡＲ作業実施者アイコン９１４、それぞれのＡＲ作業実施者アイコン９１２～９１４に関連するその他情報アイコン９３２～９３４が表示されている場合を例示している。

実施の形態では、作業監督者のディスプレイ２０１に表示される画面９０１は、作業監督者の作業状況確認（前述したステップＳ１０１）に対して、作業支援装置１００が作業監督者の周囲で作業を行う作業実施者の確認を３回実行したため、ＡＲ作業実施者アイコン９１２、９１３、９１４と、当該作業実施者のＡＲ作業実績テキスト９０２、９０３、９０４と、作業進捗率９２１と、その他情報アイコン９３２、９３３、９３４と、を作業監督者のディスプレイ２０１の画面９０１に表示している状況を示している。またこの際、当該作業監督者は、画面９０１上でＡＲ作業実績テキスト９０３を指定することでＡＲ作業実施者アイコン９１３に対応する作業実施者Ｂと会話を開始することができる。

前述したＡＲ表示されるテキストやアイコンは作業実施者Ａ～Ｃの作業状況に応じて表示の位置、大きさ、色、変化（点滅など）、透明度、などを変えることができるようになっている。

作業監督者が入出力部２０６を用いた操作で通信の終了を選択することで、当該作業監督者端末２００と作業実施者端末３００との間の通信は終了する。その結果は、新たな作業状況データにおける会話必要度として通信部５０と入出力部６０の通信データが記憶部４０に送信され、作業実績データテーブル１０１３などに格納される。このようにして取得された会話必要度により、会話必要度記憶領域４２の各テーブルにおける必要度が適宜更新される。

以上説明した通り、第１の実施の形態にかかる作業支援システム１では、
（１）作業現場における複数のユーザの会話を支援する作業支援システム１であって、複数のユーザのうちの作業実施者（第１ユーザ）の位置および姿勢を推定する作業実施者端末３００（第１ユーザ端末）と、複数のユーザのうちの作業監督者（第２ユーザ）の位置および姿勢を推定する作業監督者端末２００（第２ユーザ端末）と、作業実施者が行う作業手順に関する情報を含む作業手順データ記憶領域４１（作業手順データ）と、作業実施者が行う作業手順に関する情報と会話の必要度とを関連付けて規定した会話必要度記憶領域４２（会話必要度データ）と、を保持する記憶部４０と、作業実施者端末３００により推定された作業実施者の姿勢と、作業手順データ記憶領域４１に含まれる作業実施者の作業姿勢と、に基づいて、作業姿勢における作業実施者の会話の必要度を、会話必要度記憶領域４２を用いて特定し、当該特定した会話の必要度に基づいて会話必要度Ｘを算出する会話必要度算出部３０と、会話必要度が、作業実施者の作業姿勢に応じて予め設定された閾値Ｘｔｈ以上である場合、作業実施者端末３００と作業監督者端末２００との間の通信を確立すると共に、作業実施者の作業状況に関する情報を作業監督者端末２００に出力する通信部５０と、を有する構成とした。

このように構成すると、作業支援システム１は、作業現場において作業監督者と作業実施者との間のコミュニケーション（特に会話）の機会を適切に確保した上で、作業監督者に作業実施者の作業状況に関する情報を提供し、作業監督者に作業実施者の作業支援を行わせることができる。この結果、作業支援システム１は、保守点検作業などの作業現場において、作業監督者と作業実施者とが連携するためのコミュニケーションに関する処理効率をより向上させることができる。

（２）また、会話必要度Ｘが所定の閾値Ｘｔｈ以上である場合、作業実施者の位置と姿勢とに基づいて作業実施者がコミュニケーション可能か否かを判定するコミュニケーション可否判定部２０を、さらに有し、通信部５０は、コミュニケーション可否判定部２０による作業実施者がコミュニケーション可能であるとの判定に基づいて、作業実施者の作業状況に関する情報と作業実施者がコミュニケーション可能である情報とを作業監督者端末２００に出力する構成とした。

このように構成すると、作業支援システム１は、会話必要度Ｘが所定の閾値Ｘｔｈ以上であっても、作業実施者がコミュニケーション可能な場合のみ作業実施者の作業状況とコミュニケーション可能である旨の情報を作業監督者端末２００に出力するので、作業実施者の会話が必要で、且つコミュニケーション可能な場合にのみ作業実施者の作業支援を適切に行うことができる。

（３）また、通信部５０は、コミュニケーション可否判定部２０による作業実施者がコミュニケーション不可であるとの判定に基づいて、作業実施者の作業状況に関する情報から当該作業実施者がコミュニケーション可能となり得る将来の最も近い時期情報を、作業手順データ記憶領域４１または会話必要度記憶領域４２のうちの少なくとも何れか一方のデータから抽出すると共に、抽出した時期情報から生成したコミュニケーション可能時期情報を作業監督者端末２００に出力する構成とした。

このように構成すると、作業支援システム１は、会話すべき作業実施者に対して、その会話の機会を適切なタイミングに修正することで作業監督者と作業実施者との間の会話の機会を確保することができる。その結果、作業支援システム１は、保守点検作業などの作業現場において、作業支援の確度を高めて会話対応の頻度を抑制し、作業監督者と作業実施者とが連携するためのコミュニケーションに関する処理効率を向上させることができる。

（４）また、会話必要度算出部３０は、作業監督者端末２００で推定した作業監督者の位置と作業実施者端末３００で推定して作業実施者の位置とに基づいて、作業監督者の位置の所定範囲内に他の作業実施者（第３ユーザ）がいるか否かを判定し、他の作業実施者がいると判定した場合、他の作業実施者端末により推定された他の作業実施者の姿勢と、作業手順データ記憶領域４１に含まれる他の作業実施者の作業姿勢とに基づいて、作業姿勢における他の作業実施者の会話の必要度を、会話必要度記憶領域４２を用いて特定すると共に、当該特定した会話の必要度に基づいて会話必要度Ｘを算出し、コミュニケーション可否判定部２０は、会話必要度算出部３０により算出された会話必要度Ｘが所定の閾値Ｘｔｈ以上である場合、他の作業実施者の位置と姿勢とに基づいて他の作業実施者がコミュニケーション可能か否かを判定し、通信部５０は、コミュニケーション可否判定部２０による他の作業実施者がコミュニケーション可能であるとの判定に基づいて、他の作業実施者の作業状況に関する情報と他の作業実施者がコミュニケーション可能である情報とを作業監督者端末２００に出力する構成とした。

このように構成すると、作業支援システム１は、作業監督者の周囲に複数の作業実施者がいる作業環境であっても、会話が必要な作業実施者を的確に特定することができる。その結果、作業支援システム１は、保守点検作業などの作業現場において、作業監督者の近くにいる複数の作業実施者各々の作業支援を適切に行うことができると共に、作業監督者と複数の作業実施者の各々とが連携するためのコミュニケーションに関する処理効率を向上させることができる。

（５）また、通信部５０は、作業実施者の会話必要度Ｘと他の作業実施者の会話必要度Ｘとのうち、会話必要度Ｘの高い順番で、作業監督者端末２００と作業実施者端末３００、または作業監督者端末２００と他の作業実施者端末３００（第３ユーザ端末）、との間の通信を確立する構成とした。

このように構成すると、作業支援システム１は、会話を行うべき作業実施者として適切な者を精度よく特定することができる。具体的には、作業支援システム１は、複数の作業実施者のうち、会話が必要で、コミュニケーションが可能で、さらに会話の必要度が高い作業実施者を特定することができ、作業監督者と作業実施者とが連携するためのコミュニケーションに関する処理効率を向上させることができる。

（６）また、会話必要度Ｘの閾値Ｘｔｈは、会話必要度記憶領域４２に格納された複数の会話の必要度の中央値または平均値の少なくとも何れかに基づいて算出される構成とした。

このように構成すると、作業支援システム１は、複数の会話の必要度に基づいて会話必要度Ｘを適切に算出することができ、作業実施者の会話の必要度をより的確に判断することができる。その結果、作業支援システム１は、作業監督者と作業実施者とのコミュニケーションに関する処理効率を向上させることができる。

（７）作業監督者端末２００は、作業監督者の目視と同等の現実映像を画面９０１に映し出すディスプレイ２０１と、作業監督者の周囲にいる作業実施者の作業状況に関する仮想情報を、現実映像に重畳して画面９０１に表示する表示内容生成部２０７と、を有する構成とした。

このように構成すると、作業支援システム１では、作業監督者端末２００のディスプレイ２０１に作業監督者の目視と同等の現実映像に作業実施者の作業状況に関する仮想情報を重畳して画面９０１に表示するので、作業監督者は、作業実施者の作業状況をより正確に把握することができる。その結果、作業支援システム１は、作業監督者と作業実施者とのコミュニケーションに関する処理効率を向上させることができる。

（８）作業実施者端末３００は、作業実施者の目視と同等の現実映像を画面９０１に映し出すディスプレイ３０１と、作業実施者の周囲にいる他の作業実施者の作業状況に関する仮想情報を、現実映像に重畳して画面９０１に表示する表示内容生成部３０７と、を有する構成とした。

このように構成すると、作業支援システム１では、作業実施者端末３００のディスプレイ３０１に作業実施者の目視と同等の現実映像に他の作業実施者の作業状況に関する仮想情報を重畳して画面９０１に表示するので、作業実施者は、他の作業実施者の作業状況をより正確に把握することができる。その結果、作業支援システム１は、作業実施者と他の作業実施者とのコミュニケーションに関する処理効率を向上させることができる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態にかかる作業支援システム１Ａについて説明する。
第２の実施の形態にかかる作業支援システム１Ａでは、作業支援装置１００と作業対象設備４００とが、ネットワークなどの通信回線を介して接続されている点が前述した実施の形態と異なる。

図１０は、第２の実施の形態にかかる作業支援システム１Ａの機能構成を説明するブロック図である。図１０において、前述した実施の形態と同様の構成及び機能については、同一の符号を付し必要に応じて説明する。

作業対象設備４００は、作業実施者の操作情報を受付ける操作情報受付部４０１と、各種センサ４０２と、作業支援装置１００Ａと作業監督者端末２００と作業実施者端末３００と双方向通信を行う通信部４０３と、を有する。操作情報受付部４０１は、作業実施者による操作情報を受け付ける。各種センサ４０２は、作業対象設備（機器）に設けられており、当該作業対象設備が正常に動作しているか否かを判断するために必要な照度センサや温度センサ、気圧センサなどである。また、各種センサ４０２には、加速度センサやジャイロセンサ、当該作業対象設備を含む周囲情報を取得するカメラ及びマイクを含めてもよい。前述した各種センサ４０２から取得したセンサ情報は時系列データとして管理され、予め設定された正常値との差異を比較する事で当該設備の稼働状況が正常または異常であるかを作業支援装置１００Ａに送信する。作業支援装置１００Ａでは、各種センサ４０２から送信された作業対象設備４００の設備名、稼働状況、操作実績などのデータを含む設備管理データを記憶部４０Ａの設備管理データ記憶領域４３に記憶する。

ここで、設備管理データ記憶領域４３の一部を構成する設備管理データテーブル１０１６の一例を説明する。
図１１は、第２の実施の形態における設備管理データテーブル１０１６の一例を説明する図である。

設備管理データテーブル１０１６は、少なくとも、作業対象設備４００を識別する設備ＩＤ１０１６ａと、設備名１０１６ｂと、前述した作業対象設備４００から受信した設備の稼働状況が正常か異常かを示す稼働状況１０１６ｃと、該当作業対象設備４００の操作実績を示す操作実績１０１６ｄと、当該作業対象設備４００を操作する作業実施者における作業監督者とのコミュニケーション（会話など）の必要度１０１６ｅと、を対応付けたレコードの集合体となっている。実施の形態では、作業対象設備４００が４つの場合を例示して説明しており、それぞれ設備ＩＤ４００ａ、４００ｂ、４００ｃ、４００ｄが設定されている。また、操作実績１０１６ｄは、少なくとも前述した操作情報受付部４０１の受付情報と記憶部４０Ａで保持している作業手順データ記憶領域４１と会話必要度記憶領域４２の情報とを合わせて各作業対象設備４００ａ～４００ｄが作業未実施か作業中か作業完了かを記録する。

例えば、前述した実施形態のステップＳ１０３（図７参照）において、作業実施者が所定の作業時間に対象作業を実施しているかの判定処理において、作業手順データテーブル１０１２における対象設備１０１２ｅ（例えば、設備Ａ、設備Ｂなど）を検索キーとして設備管理データテーブル１０１６に対して検索処理を行い、検索結果のレコードから検索キーを含む所定の情報（例えば、設備Ａを含むレコード、又は設備Ｂを含むレコード）を抽出し、前述した判定処理に用いてもよい。例えば、図１１に示す４番目レコード（設備Ｄを含むレコード）が抽出された場合、操作実績１０１６ｄ“作業未実施”から対象作業が作業未実施であると判定する。

同様に、前述したステップＳ１０５（図７参照）において、コミュニケーション可否判定部２０の作業実施者とのコミュニケーション可否判定処理おいて、作業手順データテーブル１０１２における対象設備１０１２ｅ（例えば、設備Ａ、設備Ｂなど）を検索キーとして設備管理データテーブル１０１６に検索処理を行い、検索結果のレコードから検索キーを含む所定の情報（例えば、設備Ａを含むレコード、又は設備Ｂを含むレコード）を抽出し、前述した判定処理に用いてもよい。具体的には、図１１に示す１番目レコード（設備Ａを含むレコード）が抽出された場合、操作実績１０１６ｄ“作業完了”から当該作業実施者がコミュニケーション可能であると判定する。

また、前述した実施形態のステップＳ１０６（図７参照）において、作業支援装置１００が作業監督者端末２００に作業監督者向け情報を出力する場合、設備管理データテーブル１０１６から所定の情報（例：設備名、稼働状況、操作実績）の少なくとも何れか又はそれらの組み合わせを読み出し、適宜に組み合わせて作業監督者端末２００に出力する。

これにより、作業監督者端末２００では、作業実施者により操作される作業対象設備４００ａ～４００ｄの操作実績１０１６ｄ（“作業完了”、“作業中”、“作業未実施″）と稼働状況１０１６ｃ（“正常″、“異常”、“停止”）を判断することができる。

なお、本実施形態では、各作業対象設備４００ａ～４００ｄの稼働状況１０１６ｃに応じて作業実施者の会話の必要度１０１６ｅを設定しており、例えば、稼働状況１０１６ｃが“正常”の場合には、作業実施者の会話の必要度は低いと判断し必要度１０１６ｅに“１”が設定されており、稼働状況１０１６ｃが“異常”の場合には、作業実施者の会話の必要性が高いと判断し必要度１０１６ｅに“４”が設定されている。

なお、稼働状況１０１６ｃが“異常”である場合に、後作業で影響が小さい場合（例えば、後作業で当該作業対象設備４００ａ～４００ｄを直ぐに使用しない場合など）には、必要度１０１６ｅを低く設定し（例えば、必要度１０１６ｅを“３”に設定）、後作業で影響が大きい場合（例えば、後作業で当該作業対象設備４００ａ～４００ｄを直ぐに使用する場合）には、必要度１０１６ｅを高く設定する（例えば、必要度１０１６ｅを“５”に設定）ようにしてもよい。このようにすることで、作業実施者との不要なコミュニケーションを減らすことができる。

以上説明した通り、第２の実施の形態にかかる作業支援システム１Ａは、
（９）記憶部４０Ａは、作業現場で使用される作業対象設備４００（４００ａ～４００ｄ）に関する設備管理データ記憶領域４３（設備管理データテーブル１０１６）を更に保持し、通信部５０は、記憶部４０Ａが保持する設備管理データテーブル１０１６のうち、作業対象設備４００（４００ａ～４００ｄ）に設けられた各種センサ４０２のセンサ情報または作業対象設備４００（４００ａ～４００ｄ）の稼働状況のうちの少なくとも何れかに基づいて、作業実施者端末３００または他の作業実施者端末３００の通信の優先順位を特定し、当該優先順位の高い作業実施者端末３００と作業監督者端末２００との間の通信を確立する構成とした。

このように構成すると、作業支援システム１Ａは、作業対象設備４００（４００ａ～４００ｄ）の稼働状況等に基づいて作業実施者との通信の通線順位を設定するので、通信判断のデータ量を幅広いものとすることができる。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態にかかる作業支援システム１Ｂについて説明する。
第３の実施の形態にかかる作業支援システム１Ｂでは、作業監督者端末２００と作業実施者端末３００とが近距離無線通信などにより互いに直接通信を行うことができるように構成されている。この近距離無線通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを用いることができる。

図１２は、第３の実施の形態にかかる作業支援システム１Ｂの機能構成を説明するブロック図である。図１２において、前述した実施の形態と同様の機能については、同一の符号を付し必要に応じて説明する。

作業支援システム１Ｂの作業監督者端末２００Ｂは、会話必要度算出部２１１と、コミュニケーション可否判定部２１２と、をさらに有している。また作業実施者端末３００は、会話必要度算出部３１１と、コミュニケーション可否判定部３１２と、をさらに有している。これらの会話必要度算出部２１１、３１１と、コミュニケーション可否判定部２１２、３１２とは、前述した実施形態の作業支援装置１００の会話必要度算出部３０、コミュニケーション可否判定部２０と、それぞれ同様の処理及び機能を有している。

作業監督者端末２００Ｂ及び作業実施者端末３００Ｂとは、少なくとも作業監督者及び作業実施者の支援作業の開始前に記憶部２１０、３１０に作業支援装置１００Ａの記憶部４０Ａと同等の各データテーブルを保持する。

作業監督者端末２００Ｂ及び作業実施者端末３００Ｂは、それぞれ作業対象設備４００（例えば、４台の作業対象設備４００ａ～４００ｄ）とインターネットＮＴなどのネットワーク回線を介して通信可能に接続されている。作業監督者端末２００Ｂ及び作業実施者端末３００Ｂ及び作業対象設備４００の通信が確立した場合、各々の端末は作業支援装置１００Ａを介さずに近距離無線通信による通信を継続し、その通信が終了するまで当該作業監督者端末２００Ｂ及び作業実施者端末３００Ｂ及び作業対象設備４００の間で発生した通信データは、各通信データを発生した作業監督者端末２００Ｂの記憶部２１０又は作業実施者端末３００Ｂの記憶部３１０に保持される。記憶部２１０又は記憶部３１０に保持された通信データは作業支援装置１００Ａの記憶部４０Ａに出力される。

この作業支援システム１Ｂでは、前述した実施形態のステップＳ１０３（図７参照）において、作業実施者が所定の作業時間に対象作業を実施しているかの判定処理において、作業監督者端末２００Ｂの記憶部２１０が保持する作業手順データテーブル１０１２、作業実績データテーブル１０１３、作業空間データテーブル１０１４、作業姿勢データテーブル１０１５を用いて検索処理を行い、検索結果のレコードから所定の情報を抽出し、会話必要度算出部２１１で前述した判定処理を行う。

同様に、前述した実施形態のステップＳ１０５（図７参照）において、作業監督者端末２００Ｂの記憶部２１０が保持する作業手順データテーブル１０１２、作業実績データテーブル１０１３、作業空間データテーブル１０１４、作業姿勢データテーブル１０１５を用いて検索処理を行い、検索結果のレコードから所定の情報を抽出し、コミュニケーション可否判定部２１２で前述した判定処理を行う。

そして、前述した実施形態における各データの新規登録、更新処理を行う場合、作業監督者端末２００Ｂの記憶部２１０、作業実施者端末３００Ｂの記憶部３１０及び作業支援装置１００Ａの記憶部４０Ａの関連データ記憶領域にそれぞれ追加する。

なお、第３の実施形態にかかる作業支援システム１Ｂにおいて、作業監督者端末２００Ｂと作業実施者端末２００Ｂとは近距離無線通信により通信が確立されるので、作業監督者端末２００Ｂと作業実施者端末３００Ｂとの距離が離れすぎている場合には、通信の確立が行えない。そのため、作業監督者端末２００Ｂの表示内容生成部２０７及び作業実施者端末３００Ｂの表示内容生成部３０７は、ディスプレイ２０１、３０１の表示範囲内に表示される作業実施者との通信の可否を示すマーカを表示するようにしてもよい。

図１３は、第３の実施の形態にかかる作業支援装置１００Ａによる作業監督者端末２００Ｂのディスプレイ２０１への表示例を説明する図である。図１３では、作業実施者の作業状況を上方から見た状態を示している。

例えば、図１３に示すように、表示内容生成部２０７（３０７）は、作業監督者端末２００Ｂの位置推定部２０４により推定された作業監督者の位置情報と、作業実施者端末３００Ｂの位置推定部３０４により推定された作業実施者の位置情報とに基づいて、作業実施者の周囲に通信可能となる範囲を示すマーカＫ（Ｋ１、Ｋ２、Ｋ３）を、表示部２０８（３０８）を介してディスプレイ２０１（３０１）に表示する。実施の形態では、作業実施者の通信可能となる範囲を円マーカＫ１～Ｋ３（図中の破線参照）で表示しており、その円のマーカＫ１～Ｋ３内に入ることにより当該作業実施者の有する作業実施者端末２００Ｂと通信が可能となることを意味している。これにより、作業監督者（又は他の作業実施者）が、会話の必要な作業実施者に対してどのくらいの距離まで近づけば当該作業実施者端末３００Ｂと通信が可能となるかが視認可能となる。

また、表示内容生成部２０７（３０７）は、作業監督者の周囲にいる作業実施者の位置を、レーダーチャートにより表示してもよい。このようにすると、作業監督者の位置に対する作業実施者の位置（距離）の把握が容易となる。

以上説明した通り、第３の実施の形態にかかる作業支援システム１Ｂでは、
（１０）記憶部４０Ａは、通信部５０により作業監督者端末２００Ｂと作業実施者端末３００Ｂとの間の通信が確立された場合、当該確立された通信が終了するまで作業監督者端末２００Ｂと作業実施者端末３００Ｂとの間で行われた通信データを保持すると共に、作業監督者端末２００Ｂと作業実施者端末３００Ｂとの間で行われた通信データに基づいて生成された新たな作業手順データを保持する構成とした。

このように構成すると、作業支援システム１Ｂは、作業監督者が作業実施者の作業支援を行う場合、作業実施者の会話の必要性の判断の精度を向上させることができる。この結果、作業支援システム１Ｂは、作業監督者と作業実施者とのコミュニケーションに関する処理効率を向上させることができる。

（１１）また記憶部４０Ａは、生成された新たな作業手順データ記憶領域４１に含まれる作業実施者の作業手順に関する情報に関連付けられる会話必要度記憶領域４２の会話の必要度を更新する構成とした。

このように構成すると、作業支援システム１Ｂは、新たな作業手順データ記憶領域４１に基づいて、当該作業手順データに関連付けられる会話必要度記憶領域４２の会話の必要度を更新するので、作業監督者と作業実施者との間の会話の必要性をより精度よく特定することができる。その結果、作業支援システム１Ｂは、作業監督者と作業実施者とのコミュニケーションに関する処理効率を向上させることができる。

（１２）作業実施者端末３００Ｂは、作業実施者が行う作業手順に関する情報を含む作業手順データ記憶領域４１（作業手順データ）と、作業実施者が行う作業手順に関する情報と会話の必要度とを関連付けて規定した会話必要度記憶領域４２（会話必要度データ）と、を保持する記憶部３１０と、作業実施者端末３００Ｂにより推定された作業実施者の姿勢と、作業手順データ記憶領域４１に含まれる作業実施者の作業姿勢とに基づいて、作業姿勢における作業実施者の会話の必要度を、会話必要度記憶領域４２を用いて特定し、当該特定した会話の必要度に基づいて会話必要度Ｘを算出する会話必要度算出部３１１と、会話必要度Ｘが、作業実施者の作業姿勢に応じて予め設定された所定の閾値Ｘｔｈ以上である場合、作業実施者の位置と姿勢とに基づいて作業実施者がコミュニケーション可能か否かを判定するコミュニケーション可否判定部３１２と、会話必要度Ｘが、作業実施者の作業姿勢に応じて予め設定された閾値Ｘｔｈ以上である場合、作業実施者端末３００Ｂと作業監督者端末２００Ｂとの間の通信を確立すると共に、作業実施者の作業状況に関する情報を作業監督者端末２００Ｂに出力する通信部３０３と、をさらに有し、作業監督者端末２００Ｂは、作業実施者が行う作業手順に関する情報を含む作業手順データ記憶領域４１と、作業実施者が行う作業手順に関する情報と会話の必要度とを関連付けて規定した会話必要度記憶領域４２と、を保持する記憶部２１０と、作業実施者端末３００Ｂにより推定された作業実施者の姿勢と、作業手順データ記憶領域４１に含まれる作業実施者の作業姿勢とに基づいて、作業姿勢における作業実施者の会話の必要度を、会話必要度記憶領域４２を用いて特定し、当該特定した会話の必要度に基づいて会話必要度Ｘを算出する会話必要度算出部２１１と、会話必要度Ｘが、作業実施者の作業姿勢に応じて予め設定された閾値Ｘｔｈ以上である場合、作業実施者の位置と姿勢とに基づいて作業実施者がコミュニケーション可能か否かを判定するコミュニケーション可否判定部２１２と、会話必要度Ｘが、作業実施者の作業姿勢に応じて予め設定された閾値Ｘｔｈ以上である場合、作業実施者端末３００Ｂと作業監督者端末２００Ｂとの間の通信を確立すると共に、作業実施者の作業状況に関する情報を作業監督者端末２００Ｂに出力する通信部２０３と、をさらに有し、作業実施者端末３００Ｂと作業監督者端末２００Ｂとは、無線通信により互いに接続されており、作業実施者端末３００Ｂの通信部３０３と、作業監督者端末２００Ｂの通信部２０３とは、無線通信を介して作業実施者端末３００Ｂと作業監督者端末２００Ｂとの間の通信を確立する構成とした。

このように構成すると、作業支援システム１Ｂでは、作業監督者端末２００Ｂと作業実施者端末３００Ｂとが強固なネットワーク環境を準備することなく双方向の無線通信が可能となり、作業実施者の会話の必要性を特定することができる。この結果、作業支援システム１Ｂは、作業監督者と作業実施者とのコミュニケーションに関する処理効率を向上させることができる。

以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。

こうした本実施形態によれば、保守点検作業を行う作業現場において、作業監督者と作業実施者とが連携するためのコミュニケーションに関する処理効率を良好なものとできる。

本明細書の記載により、少なくとも次のことが明らかにされる。

すなわち、本実施形態の作業支援装置において、演算装置は、前記会話必要度が所定の閾値以上である場合、前記作業現場における所定作業監督者の端末に対する所定のコミュニケーション可否判定処理を行い、これに成功した場合、前記作業監督者向け情報を前記が判定に成功した前記作業監督者の端末に出力するものである、としてもよい。

これによれば、適切なコミュニケーションの機会を確保した上で、当該作業監督者に作業実施者の作業状況に関して作業支援情報を提供し、その対応に当たらせることが可能となる。ひいては、保守点検作業を行う作業現場において、作業監督者と作業実施者とが連携するためのコミュニケーションに関する処理効率をより良好なものとできる。

また本実施形態の作業支援装置において、前記演算装置は、前記会話必要度が所定の閾値以上かつ前記コミュニケーション可否判定処理に失敗した場合、前記作業状況の内容から最も次にコミュニケーションの成功する機会を示す情報を、前記作業手順データおよび前記会話必要度データの少なくともいずれかから抽出し、前記抽出した情報を所定情報に設定して、前記作業監督者の端末に出力する処理を更に実行するものである、としてもよい。

これによれば、会話すべき作業実施者に対し、その会話の機会を適切なタイミングに修正することを促すことが可能となる。ひいては、保守点検作業を行う作業現場において、作業支援の確度を高めて会話対応の頻度を抑制し、作業監督者と作業実施者とが連携するためのコミュニケーションに関する処理効率を良好なものとできる。

また本実施形態の作業支援装置において、前記演算装置は、前記所定作業実施者の端末から受信した作業位置と動作の内容に基づき、前記作業監督者向けに追加の作業状況確認処理を行い、当該追加の確認処理に関して、これに成功した場合、前記作業監督者向け情報とコミュニケーション可能情報の追加生成を行い、前記作業監督者の端末に出力する処理を更に実行するものである、としてもよい。

これによれば、複数の作業実施者がいる作業状況に関しても、会話が必要な作業実施者を的確に特定し、ひいては、保守点検作業を行う作業現場において、作業監督者と作業実施者とが連携するためのコミュニケーションに関する処理効率をさらに良好なものとできる。

また本実施形態の作業支援装置において、前記記憶装置は、前記追加の作業状況確認処理に成功した場合、前記会話必要度の高い順に前記作業監督者の端末と前記作業実施者の端末の通信を確立する処理を更に実行するものである、としてもよい。

これによれば、会話を行うべき作業実施者として好適な者を精度良く特定し、ひいては、保守点検作業を行う作業現場において、作業監督者と作業実施者とが連携するためのコミュニケーションに関する処理効率をさらに良好なものとできる。

また本実施形態の作業支援装置において、前記演算装置は、前記必要度の特定に際して前記所定事項の照合対象とした前記会話必要度データにおいて、各事項の必要度の中央値または平均値を予め定めた所定ルールに従って算定し、当該算定で得た値を前記所定の閾値とする処理を更に実行するものである、としてもよい。

これによれば、会話が必要な作業実施者を的確に特定し、ひいては、保守点検作業を行う作業現場において、作業監督者と作業実施者とが連携するためのコミュニケーションに関する処理効率をさらに良好なものとできる。

また本実施形態の作業支援装置において、前記演算装置は、前記作業監督者の端末と前記作業実施者の端末との間の通信を確立した場合、当該通信が終了するまで当該通信のデータを記憶装置で保持し、当該通信のデータから前記作業手順データと前記会話必要度データの項目に対応する値を特定して新たな作業状況データを生成し、当該新たな作業状況データを前記記憶装置で保持する作業手順データと会話必要度データに追加する処理を更に実行するものである、としてもよい。

これによれば、作業監督者の作業支援に伴う会話の必要性について精度が向上できることとなる。ひいては、保守点検作業を行う作業現場において、作業監督者と作業実施者とが連携するためのコミュニケーションに関する処理効率をさらに良好なものとできる。

また本実施形態の作業支援装置において、前記演算装置は、前記新たな作業状況データの生成に伴って得た、前記作業状況データの項目に関する値により、前記記憶装置の前記作業手順データと前記会話必要度データにおける対応事項の値を更新する処理を更に実行するものである、としてもよい。

これによれば、作業監督者と作業実施者との会話の必要性についてさらに精度良く特定できることとなる。ひいては、保守点検作業を行う作業現場において、作業監督者と作業実施者とが連携するためのコミュニケーションに関する処理効率をさらに良好なものとできる。

また本実施形態の作業支援装置において、前記演算装置は、前記会話必要度の算出に関して、作業対象設備から、各種センサから取得した各時系列データの少なくともいずれかまたはそれらの組み合わせを受信した場合、前記受信したデータに対し、所定の音声認識および画像認識の各アルゴリズムの少なくともいずれかを適用して、前記受信したデータから設備の稼働状況、操作実績を取得し、記憶装置で予め保持しているデータと前記情報と合わせて算出する処理を更に実行するものである、としてもよい。

これによれば、作業監督者や作業実施者が受け取る情報として、そのデータ量を幅広いものとすることが可能となる。ひいては、保守点検作業を行う作業現場において、作業監督者と作業実施者とが連携するためのコミュニケーションに関する処理効率をさらに良好なものとできる。

また本実施形態の作業支援装置において、前記演算装置は、前記作業監督者の端末に情報を出力するに際し、前記作業対象設備情報を、記憶装置で予め保持しているデータと前記情報と合わせて出力するものである、としてもよい。

これによれば、作業監督者に提示する情報として、そのデータ量を幅広いものとすることが可能であり、そうしたデータ情報も含めて会話に活用できることとなる。ひいては、保守点検作業を行う作業現場において、作業監督者と作業実施者とが連携するためのコミュニケーションに関する処理効率をさらに良好なものとできる。

また本実施形態の作業支援装置において、前記作業監督者端末と前記作業実施者端末は、前記記憶装置における作業手順、作業空間、会話必要度、作業対象設備それぞれの情報を事前に端末記憶部に保持するものであり、作業現場において時々刻々と当該端末で会話必要度算出部が会話必要度を算出し、端末間でネットワーク接続し、前記通信の確立を実行するものである、としてもよい。

これによれば、作業監督者と作業実施者は強固なネットワーク環境を準備することなく双方向通信が可能であり、前記会話の必要性を特定できることとなる。ひいては、保守点検作業を行う作業現場において、作業監督者と作業実施者とが連携するためのコミュニケーションに関する処理効率をさらに良好なものとできる。

なお、前述した実施の形態では、第１ユーザを作業実施者、第２ユーザを作業監督者、第３ユーザを他の作業実施者とした場合を例示して説明したが、第１ユーザ、第２ユーザ、第３ユーザはそれぞれ作業実施者であってもよく、それぞれ作業監督者であってもよい。

以上、本発明の実施の形態の一例を説明したが、本発明は、前述した実施の形態を全て組み合わせてもよく、何れか２つ以上の実施の形態を任意に組み合わせても好適である。

また、本発明は、前述した実施の形態の全ての構成を備えているものに限定されるものではなく、前述した実施の形態の構成の一部を、他の実施の形態の構成に置き換えてもよく、また、前述した実施の形態の構成を、他の実施の形態の構成に置き換えてもよい。

また、前述した実施の形態の一部の構成について、他の実施の形態の構成に追加、削除、置換をしてもよい。

１：作業支援システム、１０：作業員識別部、２０：コミュニケーション可否判定部、３０：会話必要度算出部、４０：記憶部、５０：通信部、６０：入出力部、１００：作業支援装置、２００：作業監督者端末、２０１：ディスプレイ、２０２：各種センサ、２０３：通信部、２０４：位置推定部、２０５：動作推定部、２０６：入出力部、２０７：表示内容生成部、２０８：表示部、２０９：作業環境認識部、２１０：記憶部、２１１：会話必要度算出部、２１２：コミュニケーション可否判定部、３００：作業実施者端末、３０１：ディスプレイ、３０２：各種センサ、３０３：通信部、３０４：位置推定部、３０５：動作推定部、３０６：入出力部、３０７：表示内容生成部、３０８：表示部、３０９：作業環境認識部、３１０：記憶部、３１１：会話必要度算出部、３１２：コミュニケーション可否判定部、４００：作業対象設備、４０１：操作情報受付部、４０２：各種センサ、４０３：通信部、９０１：画面、９０２～９０４：ＡＲ作業実績テキスト、９１２～９１４：ＡＲ作業実施者アイコン、９３２～９３４：その他情報アイコン、ＮＴ：インターネット

Claims (13)

1. 作業現場における複数ユーザの会話を支援する作業支援システムであって、
   前記複数ユーザのうちの第１ユーザの位置および姿勢を推定する第１ユーザ端末と、
   前記複数ユーザのうちの第２ユーザの位置および姿勢を推定する第２ユーザ端末と、
   前記第１ユーザが行う作業手順に関する情報を含む作業手順データと、前記第１ユーザが行う作業手順に関する前記情報と会話の必要度とを関連付けて規定した会話必要度データと、を保持する記憶部と、
   前記第１ユーザ端末により推定された前記第１ユーザの姿勢と、前記作業手順データに含まれる前記第１ユーザの作業姿勢とに基づいて、前記作業姿勢における前記第１ユーザの会話の必要度を、前記会話必要度データを用いて特定し、当該特定した会話の必要度に基づいて会話必要度を算出する会話必要度算出部と、
   前記会話必要度が、前記第１ユーザの作業姿勢に応じて予め設定された閾値以上である場合、前記第１ユーザ端末と前記第２ユーザ端末との間の通信を確立すると共に、前記第１ユーザの作業状況に関する情報を前記第２ユーザ端末に出力する通信部と、
   を有する作業支援システム。
2. 前記会話必要度が所定の閾値以上である場合、前記第１ユーザの位置と姿勢とに基づいて前記第１ユーザがコミュニケーション可能か否かを判定するコミュニケーション可否判定部を、さらに有し、
   前記通信部は、
   前記コミュニケーション可否判定部による前記第１ユーザがコミュニケーション可能であるとの判定に基づいて、前記第１ユーザの作業状況に関する情報と前記第１ユーザがコミュニケーション可能である情報とを前記第２ユーザ端末に出力する請求項１に記載の作業支援システム。
3. 前記通信部は、
   前記コミュニケーション可否判定部による前記第１ユーザがコミュニケーション不可であるとの判定に基づいて、前記第１ユーザの作業状況に関する情報から当該第１ユーザがコミュニケーション可能となり得る将来の最も近い時期情報を、前記作業手順データまたは前記会話必要度データのうちの少なくとも何れか一方のデータから抽出すると共に、抽出した前記時期情報から生成したコミュニケーション可能時期情報を前記第２ユーザ端末に出力する請求項２に記載の作業支援システム。
4. 前記会話必要度算出部は、
   前記第２ユーザ端末で推定した前記第２ユーザの位置と前記第１ユーザ端末で推定した前記第１ユーザの位置とに基づいて、前記第２ユーザの位置の所定範囲内に第３ユーザがいるか否かを判定し、前記第３ユーザがいると判定した場合、第３ユーザ端末により推定された前記第３ユーザの姿勢と、前記作業手順データに含まれる前記第３ユーザの作業姿勢とに基づいて、前記作業姿勢における前記第３ユーザの会話の必要度を、前記会話必要度データを用いて特定すると共に、当該特定した会話の必要度に基づいて会話必要度を算出し、
   前記コミュニケーション可否判定部は、
   前記会話必要度算出部により算出された前記会話必要度が所定の閾値以上である場合、前記第３ユーザの位置と姿勢とに基づいて前記第３ユーザがコミュニケーション可能か否かを判定し、
   前記通信部は、
   前記コミュニケーション可否判定部による前記第３ユーザがコミュニケーション可能であるとの判定に基づいて、前記第３ユーザの作業状況に関する情報と前記第３ユーザがコミュニケーション可能である情報とを前記第２ユーザ端末に出力する請求項３に記載の作業支援システム。
5. 前記通信部は、
   前記第１ユーザの会話必要度と前記第３ユーザの会話必要度とのうち、会話必要度の高い順番で、前記第２ユーザ端末と前記第１ユーザ端末、または前記第２ユーザ端末と前記第３ユーザ端末、との間の通信を確立する請求項４に記載の作業支援システム。
6. 前記会話必要度の前記閾値は、
   前記会話必要度データに格納された複数の前記会話の必要度の中央値または平均値の少なくとも何れかに基づいて算出される請求項１に記載の作業支援システム。
7. 前記記憶部は、
   前記通信部により前記第２ユーザ端末と前記第１ユーザ端末との間の通信が確立された場合、当該確立された通信が終了するまで前記第２ユーザ端末と前記第１ユーザ端末との間で行われた通信データを保持すると共に、
   前記第２ユーザ端末と前記第１ユーザ端末との間で行われた前記通信データに基づいて生成された新たな作業手順データを保持する請求項１に記載の作業支援システム。
8. 前記記憶部は、
   前記生成された新たな作業手順データに含まれる前記第１ユーザの作業手順に関する情報に関連付けられる前記会話必要度データの会話の必要度を更新する請求項７に記載の作業支援システム。
9. 前記記憶部は、
   前記作業現場で使用される作業対象設備に関する設備情報を更に保持し、
   前記通信部は、
   前記記憶部が保持する前記設備情報のうち、前記作業対象設備に設けられたセンサのセンサ情報または前記作業対象設備の稼働状況のうちの少なくとも何れかに基づいて、前記第１ユーザ端末または前記第３ユーザ端末の通信の優先順位を特定し、当該優先順位の高いユーザ端末と前記第２ユーザ端末との間の通信を確立する請求項４に記載の作業支援システム。
10. 前記第１ユーザ端末は、
    前記第１ユーザが行う作業手順に関する情報を含む作業手順データと、前記第１ユーザが行う作業手順に関する前記情報と会話の必要度とを関連付けて規定した会話必要度データと、を保持する記憶部と、
    前記第１ユーザ端末により推定された前記第１ユーザの姿勢と、前記作業手順データに含まれる前記第１ユーザの作業姿勢とに基づいて、前記作業姿勢における前記第１ユーザの会話の必要度を、前記会話必要度データを用いて特定し、当該特定した会話の必要度に基づいて会話必要度を算出する会話必要度算出部と、
    前記会話必要度が、前記第１ユーザの作業姿勢に応じて予め設定された所定の閾値以上である場合、前記第１ユーザの位置と姿勢とに基づいて前記第１ユーザがコミュニケーション可能か否かを判定するコミュニケーション可否判定部と、
    前記会話必要度が、前記第１ユーザの作業姿勢に応じて予め設定された閾値以上である場合、前記第１ユーザ端末と前記第２ユーザ端末との間の通信を確立すると共に、前記第１ユーザの作業状況に関する情報を前記第２ユーザ端末に出力する通信部と、をさらに有する請求項１に記載の作業支援システム。
11. 前記第２ユーザ端末は、
    前記第２ユーザの目視と同等の現実映像を画面に映し出すディスプレイと、
    前記第２ユーザの周囲にいる前記第１ユーザの作業状況に関する仮想情報を、前記現実映像に重畳して前記画面に表示する表示内容生成部と、を有する請求項１に記載の作業支援システム。
12. 前記第１ユーザ端末は、
    前記第１ユーザの目視と同等の現実映像を画面に映し出すディスプレイと、
    前記第１ユーザの周囲にいる前記第３ユーザの作業状況に関する仮想情報を、前記現実映像に重畳して前記画面に表示する表示内容生成部と、を有する請求項４に記載の作業支援システム。
13. 作業現場における複数のユーザの会話を支援する作業支援方法であって、
    前記複数のユーザのうち第１ユーザの位置および姿勢を推定する第１ユーザ端末と、
    前記複数のユーザのうち第２ユーザの位置および姿勢を推定する第２ユーザ端末と、
    前記第１ユーザが行う作業手順に関する情報を含む作業手順データと、前記第１ユーザが行う作業手順に関する前記情報と会話の必要度とを関連付けて規定した会話必要度データと、を保持する記憶部と、
    作業支援装置と、を有し、
    前記作業支援装置が、前記第１ユーザ端末により推定された前記第１ユーザの姿勢と、前記作業手順データに含まれる前記第１ユーザの作業姿勢とに基づいて、前記作業姿勢における前記第１ユーザの会話の必要度を、前記会話必要度データを用いて特定し、当該特定した会話の必要度に基づいて会話必要度を算出する会話必要度算出ステップと、
    前記作業支援装置が、前記会話必要度が、前記第１ユーザの作業姿勢に応じて予め設定された閾値以上である場合、前記第１ユーザ端末と前記第２ユーザ端末との間の通信を確立すると共に、前記第１ユーザの作業状況に関する情報を前記第２ユーザ端末に出力する通信ステップと、
    を有する作業支援方法。

Images