JP6321879B1 - 作業支援システム及び作業支援プログラム - Google Patents

Abstract

【課題】 多種多様な作業に対応するのに好適な作業支援システムを提供する。【解決手段】 ＡＩマニュアルシステム１００は、１又は複数の用語を登録した用語テーブルに基づいて、作業の手順、内容、留意点又はその他の事項を記述したマニュアルから用語を抽出し、抽出した用語を要素として作業の対象又は作業の状況の判定条件を記述したルールを生成する。そして、デバイス３００からセンサ情報を取得し、取得したセンサ情報に基づいて、判定条件における要素となる用語に対応する作業の対象及び作業の状況を認識し、ルール及び認識結果に基づいて作業支援情報をデバイス３００に送信する。【選択図】 図１

Description

本発明は、作業者の作業を支援するシステム及びプログラムに係り、特に、多種多様な作業に対応するのに好適な作業支援システム及び作業支援プログラムに関する。

従来、作業を支援する技術としては、例えば、特許文献１記載の作業支援装置が知られている。

特許文献１記載の技術は、放射線管理区域で作業する作業者に着用されるウェアラブルコンピュータである。ウェアラブルコンピュータは、入力装置に入力される操作内容を作業手順に対応づける機能データベースと、操作内容のうちの作業者により入力される入力操作内容を入力装置から収集する操作内容収集部と、機能データベースを参照して、作業手順のうちの入力操作内容に対応する出力作業手順を出力装置に出力する作業内容出力部とを備える。出力装置は、出力作業手順を作業者に通知する。

特開２００４−１０１３７２号公報

しかしながら、特許文献１記載の技術にあっては、予め操作内容を１つ１つ定義し、操作内容に対応する作業手順を１つ１つ作成する必要があるため、多種多様な作業に対応するには困難であるという問題があった。

そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、多種多様な作業に対応するのに好適な作業支援システム及び作業支援プログラムを提供することを目的としている。

〔発明１〕 上記目的を達成するために、発明１の作業支援システムは、センサ及び通知手段を有し作業者が装着又は携帯するデバイスと通信可能に接続し、前記作業者の作業を支援する作業支援システムであって、作業の手順、内容、留意点又はその他の事項を記述したマニュアルに基づいて、作業の対象又は作業の状況の判定条件を記述したルールを生成するルール生成手段と、前記センサのセンサ情報を取得するセンサ情報取得手段と、前記センサ情報取得手段で取得したセンサ情報に基づいて前記作業の対象及び前記作業の状況を認識する認識手段と、前記ルール生成手段で生成したルール及び前記認識手段の認識結果に基づいて作業支援情報を前記通知手段に出力する作業支援情報出力手段とを備える。

このような構成であれば、ルール生成手段により、マニュアルに基づいてルールが生成される。また、センサ情報取得手段により、センサのセンサ情報が取得され、認識手段により、このセンサ情報に基づいて作業の対象及び作業の状況が認識される。そして、作業支援情報出力手段により、ルール及び認識結果に基づいて作業支援情報が通知手段に出力される。

ここで、センサ情報取得手段は、例えば、デバイスその他の端末等からセンサ情報を獲得又は受信してもよいし、入力装置等からセンサ情報を入力してもよいし、記憶装置や記憶媒体等からセンサ情報を読み出してもよい。したがって、取得には、少なくとも入力、獲得、受信及び読出（検索を含む。）が含まれる。以下、取得の概念については同じである。

また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。

〔発明２〕 さらに、発明２の作業支援システムは、発明１の作業支援システムにおいて、前記ルール生成手段は、用語を登録した用語テーブルに基づいて前記マニュアルから用語を抽出し、抽出した用語を要素とする前記判定条件を記述したルールを生成し、前記認識手段は、前記判定条件における前記要素となる用語に対応する前記作業の対象及び前記作業の状況を認識する。

このような構成であれば、ルール生成手段により、用語テーブルに基づいてマニュアルから用語が抽出され、この用語を要素とする判定条件を記述したルールが生成される。そして、認識手段により、判定条件における要素となる用語に対応する作業の対象及び作業の状況が認識される。

〔発明３〕 さらに、発明３の作業支援システムは、発明１及び２のいずれか１の作業支援システムにおいて、前記ルール生成手段は、前記マニュアルに含まれる用語、見出し、テキスト、項目、表、図、画像、動画又はその他の要素を関連付けて前記ルールを生成し、模範事例による前記要素の変化を記録する要素変化記録手段と、前記要素変化記録手段の記録結果に基づいて前記模範事例が最高評価となるように前記ルールを最適化する学習手段とを備える。

このような構成であれば、ルール生成手段により、マニュアルに含まれる用語、見出し、テキスト、項目、表、図、画像、動画又はその他の要素が関連付けられてルールが生成される。そして、要素変化記録手段により、模範事例による要素の変化が記録され、学習手段により、この記録結果に基づいて模範事例が最高評価となるようにルールが最適化される。

〔発明４〕 さらに、発明４の作業支援システムは、発明３の作業支援システムにおいて、前記作業支援情報出力手段は、前記認識手段で認識した作業の対象又は作業の状況が前記ルールの判定条件を満たすと判定した場合は、前記作業支援情報を前記通知手段に出力し、前記ルールの変化を記録するルール変化記録手段と、前記ルール変化記録手段の記録結果に基づいて、前記学習手段で最適化したルールと比較した差分により作業結果に対する評価情報を生成する評価情報生成手段とを備える。

このような構成であれば、作業支援情報出力手段により、認識された作業の対象又は作業の状況がルールの判定条件を満たすと判定されると、作業支援情報が出力される。そして、ルール変化記録手段により、ルールの変化が記録され、評価情報生成手段により、この記録結果に基づいて、最適化されたルールと比較した差分により評価情報が生成される。

〔発明５〕 さらに、発明５の作業支援システムは、発明３及び４のいずれか１の作業支援システムにおいて、前記ルール生成手段で生成したルールにより前記作業者の行為により変化した前記作業の対象及び前記作業の状況を仮想的に再現する仮想再現手段と、前記仮想再現手段で再現した変化の各ポイントで最高評価との差異を提示し、構成単位ごと又は前記変化ポイントごとに最適化対象にするかを選択する最適化対象選択手段と、前記最適化対象選択手段で選択された最適化対象により前記ルールを最適化する第２学習手段とを備える。

このような構成であれば、仮想再現手段により、生成されたルールにより作業者の行為により変化した作業の対象及び作業の状況が仮想的に再現され、最適化対象選択手段により、変化の各ポイントで最高評価との差異が提示され、構成単位ごと又は変化ポイントごとに最適化対象にするかが選択される。そして、第２学習手段により、選択された最適化対象によりルールが最適化される。

〔発明６〕 さらに、発明６の作業支援システムは、発明５の作業支援システムにおいて、前記学習手段又は前記第２学習手段で最適化したルールに基づいて前記マニュアルを生成又は改訂するマニュアル改訂手段と、前記マニュアル改訂手段で生成又は改訂したマニュアルに基づいて新規の前記要素が含まれるか及び差分を確認する新規要素確認手段と、前記新規要素確認手段の確認結果に基づいて、不足している部分として、関係する構成単位又は変化ポイントを提示する関係要素提示手段と、前記不足している部分についてした作業結果に基づいて前記ルールを記録するルール記録手段と、前記ルール記録手段で記録したルールにより前記作業者の行為により変化した前記作業の対象及び前記作業の状況を仮想的に再現する第２仮想再現手段と、前記第２仮想再現手段で再現した変化の各ポイントで最高評価との差異を提示し、前記不足している部分について前記構成単位ごと又は前記変化ポイントごとに最適化対象にするかを選択する第２最適化対象選択手段と、前記第２最適化対象選択手段で選択された最適化対象により前記ルールを最適化する第３学習手段とを備える。

このような構成であれば、マニュアル改訂手段により、最適化されたルールに基づいてマニュアルが生成又は改訂され、新規要素確認手段により、このマニュアルに基づいて新規の要素が含まれるか及び差分が確認され、関係要素提示手段により、この確認結果に基づいて、不足している部分として、関係する構成単位又は変化ポイントが提示される。次いで、ルール記録手段により、不足している部分についてした作業結果に基づいてルールが記録され、第２仮想再現手段により、記録されたルールにより作業者の行為により変化した作業の対象及び作業の状況が仮想的に再現される。そして、第２最適化対象選択手段により、変化の各ポイントで最高評価との差異が提示され、不足している部分について構成単位ごと又は変化ポイントごとに最適化対象にするかが選択され、第３学習手段により、選択された最適化対象によりルールが最適化される。

〔発明７〕 一方、上記目的を達成するために、発明７の作業支援プログラムは、センサ及び通知手段を有し作業者が装着又は携帯するデバイスと通信可能に接続するコンピュータに実行させ、前記作業者の作業を支援する作業支援プログラムであって、作業の手順、内容、留意点又はその他の事項を記述したマニュアルに基づいて、作業の対象又は作業の状況の判定条件を記述したルールを生成するルール生成ステップと、前記センサのセンサ情報を取得するセンサ情報取得ステップと、前記センサ情報取得ステップで取得したセンサ情報に基づいて前記作業の対象及び前記作業の状況を認識する認識ステップと、前記ルール生成ステップで生成したルール及び前記認識ステップでの認識結果に基づいて作業支援情報を前記通知手段に出力する作業支援情報出力ステップとを含む処理を前記コンピュータに実行させるためのプログラムである。

このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１の作業支援システムと同等の作用が得られる。

以上説明したように、発明１の作業支援システム、又は発明７の作業支援プログラムによれば、マニュアルに基づいてルールが生成され、ルール並びに作業の対象及び作業の状況の認識結果に基づいて作業支援情報が通知されるので、例えばメンテナンスマニュアル等の既存のマニュアルを与えれば、作業の対象及び作業の状況に応じた作業支援情報を作業者に対し提供することができる。したがって、作業内容の定義及び作業手順の作成を１つ１つ行わなくてすむので、従来に比して、多種多様な作業に容易に対応することができる。

さらに、発明２の作業支援システムによれば、用語を要素として、ルールの生成、作業の対象及び作業の状況の認識、並びにルールへの適用が行われるので、ルールへの適合性を向上することができる。

さらに、発明３の作業支援システムによれば、模範事例が最高評価となるようにルールが最適化されるので、ルールへの適合性を向上することができる。

さらに、発明４の作業支援システムによれば、模倣事例を基準とする評価情報を得ることができる。

さらに、発明５の作業支援システムによれば、作業者の実際の作業内容に応じてルールが最適化されるので、ルールへの適合性を向上することができる。

さらに、発明６の作業支援システムによれば、生成又は改訂されたマニュアルに基づいて不足部分が分析され、この分析結果に基づいてルールが最適化されるので、ルールへの適合性を向上することができる。

本実施の形態の概要を説明するための図である。 用語を要素とするルールの構成を説明するための図である。 本実施の形態に係るネットワークシステムの構成を示すブロック図である。 デバイス３００の機能ブロック図である。 ＡＩマニュアルシステム１００のハードウェア構成を示す図である。 初期処理を示すフローチャートである。 ルールの構成例を示す図である。 作業支援処理を示すフローチャートである。 習熟処理を示すフローチャートである。 再構成処理を示すフローチャートである。

以下、本発明の実施の形態を説明する。図１乃至図１０は、本実施の形態を示す図である。

まず、本実施の形態の概要を説明する。
図１は、本実施の形態の概要を説明するための図である。

本実施の形態は、作業者が機器や設備等のメンテナンスを行う場合に、作業者に対し、作業の手順、内容、留意点又はその他の事項を示す作業支援情報を提供することにより作業を支援するものである。作業者は、作業の開始にあたってデバイス３００を装着する。管理システム２００は、作業指示をトリガーとしてＡＩマニュアルシステム１００に送信すると、ＡＩマニュアルシステム１００は、デバイス３００を通じて作業者に作業支援情報の提供を開始する。作業が終了すると、ＡＩマニュアルシステム１００は、作業の報告書を作成し管理システム２００に送信する。

ＡＩマニュアルシステム１００は、作業の手順、内容、留意点又はその他の事項を記述したマニュアルと、製造物、生産物、部品、資材、構造及び環境に関する情報と、模範作業に関する模範作業情報に基づいて、作業の対象又は作業の状況の判定条件を記述したルール（以下単に「ルール」という。）を生成する。そして、デバイス３００からセンサ情報を取得し、取得したセンサ情報に基づいて作業の対象及び作業の状況を認識し、認識した作業の対象又は作業の状況がルールの判定条件を満たすと判定した場合は、デバイス３００を通じて作業支援情報を通知する。このように、（１）デバイス３００からの入力により認識を行い、（２）デバイス３００への出力により情報提供を行うことを、作業者が作業を完了するまで繰り返し行う。

ここで、作業の対象とは、作業者が行為により変化を起こさせる事物のことをいう。例えば、（１）作業者自身（例えば作業者が場所を移動する場合の作業者）、（２）部品（例えば作業者が部品を取り出す場合の部品）、（３）手袋（例えば作業者が手袋を装着する場合の手袋）、（４）ツール（例えば作業者が部品を交換するための道具を操作する場合の道具）、（５）機器（例えば作業者が機器の部品を交換する場合の機器）、（６）グリス（例えば作業者がツールにより機器にグリスを注入する場合のグリス）、（７）画面表示（例えば作業者が機器を操作する場合の画面表示）、（８）ランプ（例えば作業者が機器を操作する場合のランプ）が該当する。

また、作業の状況とは、作業者の行為により受動的に変化する対象の周辺のこと、又は「対象」が変化することで影響を受ける「対象」以外の事物のことをいう。例えば、（１）部品を設置する機器そのもの、（２）行為の対象としての機器や部品の位置、（３）行為の対象の周辺の気温、湿度及び音、（４）作業者自身の脈拍、体温及び血圧、（５）作業者自身の位置、（６）ランプの点燈や消灯、（７）警告音の鳴動が該当する。

ＡＩマニュアルシステム１００は、例えば「ビギナー」「ノーマル」「エキスパート」の３段階のレベルに作業者を分類し、ビギナーの作業者に対しては誘導を行い、ビギナーよりも熟練のノーマルの作業者に対しては支援を行い、ノーマルよりも熟練のエキスパートの作業者に対しては評価を行う。

図２は、用語を要素とするルールの構成を説明するための図である。
ＡＩマニュアルシステム１００は、図２に示すように、マニュアルに含まれる用語、見出し、テキスト、項目、表、図、画像、動画又はその他の要素を関連付けてルールを生成し、生成したルールを知識ベースとして記録する。知識ベースは、ＡＩエンジンを駆動するための基本情報となる。また、ルールは、用語を要素とする判定条件が記述され、ＡＩ（Artificial Intelligence）が作業者の作業内容を学習することにより最適化される。

次に、本実施の形態の構成を説明する。
図３は、本実施の形態に係るネットワークシステムの構成を示すブロック図である。

インターネット１９９には、図３に示すように、ＡＩマニュアルシステム１００と、管理システム２００と、デバイス３００とが接続されている。デバイス３００は、無線中継器（不図示）を介して無線通信によりインターネット１９９に接続されている。

次に、デバイス３００の構成を説明する。
図４は、デバイス３００の機能ブロック図である。

デバイス３００は、スマートグラス等からなり、図４に示すように、センサ５０、通知部５２、通信部５４及び制御部５６を有して構成されている。例えば、デバイス３００をスマートグラスで構成した場合は、作業者の視野内に作業支援情報（画像、図、メッセージ等）を半透過表示（スーパーインポーズ又はオーバーレイ）することができる。

センサ５０は、カメラ等の画像センサを有し、作業者がデバイス３００を装着した場合に作業者の視点からみた画像をセンサ情報として検出する。また、マイク等の集音センサを有し、作業者の音声その他周辺の音をセンサ情報として検出する。また、脈拍センサ等の生体センサを有し、作業者の瞳孔、脈拍、体温、血圧等の生体情報をセンサ情報として検出する。また、加速度センサや姿勢センサを有し、作業者の位置、向き、加速度等の身体動作をセンサ情報として検出する。また、温度センサ等の環境センサを有し、作業者が置かれている周囲の気温、湿度、電磁力、匂い等の環境情報をセンサ情報として検出する。そして、センサ５０は、検出したこれらセンサ情報を制御部５６に出力する。

通知部５２は、ディスプレイ等の表示部、スピーカ等の音声出力部及びバイブレータ等の振動部を有し、制御部５６の制御に従って表示、音声又は振動により作業支援情報を通知する。

通信部５４は、無線通信の規格に従ってデータ通信を行い、インターネット１９９を介して、サーバ等に対して情報の送信を要求する。そして、通信部５４は、サーバ等から送信されてくる情報を受信し、制御部５６に出力する。

制御部５６は、ＣＰＵ、ＲＯＭ、ＲＡＭ等をバス接続して構成されている。
次に、ＡＩマニュアルシステム１００の構成を説明する。

図５は、ＡＩマニュアルシステム１００のハードウェア構成を示す図である。
ＡＩマニュアルシステム１００は、図５に示すように、制御プログラムに基づいて演算及びシステム全体を制御するＣＰＵ（Central Processing Unit）３０と、所定領域に予めＣＰＵ３０の制御プログラム等を記憶しているＲＯＭ（Read Only Memory）３２と、ＲＯＭ３２等から読み出したデータやＣＰＵ３０の演算過程で必要な演算結果を記憶するためのＲＡＭ（Random Access Memory）３４と、外部装置に対してデータの入出力を媒介するＩ／Ｆ（InterFace）３８とで構成されており、これらは、データを転送するための信号線であるバス３９で相互に且つデータ授受可能に接続されている。

Ｉ／Ｆ３８には、外部装置として、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置４０と、データやテーブル等をファイルとして記憶する記憶装置４２と、画像信号に基づいて画面を表示する表示装置４４と、インターネット１９９に接続するための信号線とが接続されている。

次に、記憶装置４２のデータ構造を説明する。
記憶装置４２は、マニュアル及び用語テーブルを記憶している。マニュアルは、例えばメンテナンスマニュアル等の既存のマニュアルであって、用語、見出し、テキスト、項目、表、図、画像、動画又はその他の要素を有して構成されている。用語テーブルには、１又は複数の用語が登録されている。

また、記憶装置４２は、ＡＩエンジンの内部データ（以下単に「内部データ」）を記憶している。内部データは、知識ベース、用語適合度情報、条件関連度情報、構成関連度情報、対象識別情報、状況識別情報、問合応答モジュール、誘導指示モジュール、評価学習モジュール、再構成モジュール及び多言語モジュールを含む。

知識ベースは、マニュアルから生成されるＡＩエンジンを駆動するための基本情報である。基本情報は、条件部と動作部で構成されたルールの集合である。構成（作業項目）単位ごとにＡＩエンジンの挙動を制御する。

用語適合度情報は、用語に対する適合を判定するための情報（用語を識別するための用語識別情報とは異なる）である。例えば、用語〔閉める〕に対する適合は作業者の行為における前と後での対象の変化が含まれる。

条件関連度情報は、マニュアルに記載された作業の対象、状況及び条件の関連の強さの情報である。例えば、必須の条件であれば、指示との関連の強さは「１」である。完全に関連のない作業の対象、状況及び条件では「０」である。

構成関連度情報は、マニュアルに記載された構成単位での関連の強さの情報である。例えば、作業の順番が決まっている構成単位間の関連は「１」であるが、順不同である項目間の関連度は「０」である。

対象識別情報は、用語に対する適合判定の際に作業の対象を識別するための識別情報である。例えば、この情報を使って用語〔部品Ａ〕であれば部品Ａと識別し、部品Ａの向きや位置も識別する。

状況識別情報は、用語に対する適合判定の際に作業の状況を識別するための識別情報である。例えば、状況Ａを複数の用語やその用語の値の組み合わせで示される。適用するルールそのものを選択する。

問合応答モジュールは、作業者からの問い合わせに対する応答のための情報及び処理である。作業者からの問い合わせに応答する。

誘導指示モジュールは、テキスト、音声、映像又は振動により作業者を誘導するための情報及び処理である。用語に対応するテキスト、音声、映像又は振動を作業者に提示する。

評価学習モジュールは、作業により発生する適合度や関連度の値の変遷を記録し模範作業と比較評価する。また、模範事例としてこの記録を使って内部データの最適化をする。

再構成モジュールは、内部データからマニュアルを構成する。例えば、内部データをマニュアルとして再構成して出力し、改訂後に差分を内部データに取り込む。

多言語モジュールは、用語を日本語以外の言語に対応付ける情報及び処理である。例えば、作業者との問合応答や誘導指示の際に作業者の母国語に変換する。

次に、本実施の形態の動作を説明する。
初めに、ＡＩマニュアルシステム１００で初期処理を実行する場合の動作を説明する。

図６は、初期処理を示すフローチャートである。
ＣＰＵ３０は、ＭＰＵ（Micro-Processing Unit）等からなり、記憶装置４２に記憶されている所定のプログラムを起動させ、そのプログラムに従って、図６のフローチャートに示す初期処理を実行する。

初期処理は、ＡＩエンジンを構成するときに実行される処理であって、ＣＰＵ３０において実行されると、図６に示すように、まず、ステップＳ１００に移行する。

ステップＳ１００では、マニュアルを記憶装置４２から読み出し、ステップＳ１０２に移行して、用語テーブルを記憶装置４２から読み出し、ステップＳ１０４に移行する。

ステップＳ１０４では、読み出した用語テーブルに基づいてマニュアルから用語を抽出し、条件関連度情報及び構成関連度情報等に基づいて、マニュアルに含まれる用語、見出し、テキスト、項目、表、図、画像、動画又はその他の要素を関連付けてルールを生成し内部データに変換する。

図７は、ルールの構成例を示す図である。
ルールには、抽出した用語を要素とする判定条件と、作業の対象又は作業の状況がこの判定条件を満たした場合に実行される処理とが記述されている。

図７の例では、「ｉｆ 〔体温〕が〔異常である〕 ｔｈｅｎ 〔管理者〕に”作業者身体”の〔異常〕を〔連絡する〕」とのルールは、デバイス３００のセンサ情報に基づいて作業者の体温が異常であると判定した場合は、管理者に作業者身体の異常を連絡する処理を実行することを意味している。ここで、ルール中〔〕で括られている用語が、用語テーブルに登録され且つマニュアルから抽出された用語である。

また、「ｉｆ ｎｏｔ〔作業者〕が〔手袋〕を〔装着している〕 ｔｈｅｎ 〔作業者〕に〔手袋〕の〔装着〕を〔指示する〕」とのルールは、デバイス３００のセンサ情報に基づいて作業者が手袋を装着していないと判定したときは、作業者に手袋の装着を指示するための作業支援情報をデバイス３００に送信する処理を実行することを意味している。

次いで、ステップＳ１０６に移行して、補充データ（他システムからの情報等）により、用語識別情報、対象識別情報及び状況識別情報を最適化し、ステップＳ１０８に移行して、模範事例による要素の変化を内部データとして記録し、ステップＳ１１０に移行する。

ステップＳ１１０では、この記録結果に基づいて模範事例が最高評価となるように内部データ（ルール）を最適化する。具体的には、複数の模範事例を入力とし機械学習し、学習した事例関係により最適化学習を行う。ステップＳ１１０の処理が終了すると、一連の処理を終了する。

次に、ＡＩマニュアルシステム１００で作業支援処理を実行する場合の動作を説明する。

図８は、作業支援処理を示すフローチャートである。
ＣＰＵ３０は、記憶装置４２に記憶されている所定のプログラム（誘導指示モジュール）を起動させ、そのプログラムに従って、図８のフローチャートに示す作業支援処理を実行する。

作業支援処理は、作業者が作業を行うときに実行される処理であって、ＣＰＵ３０において実行されると、図８に示すように、まず、ステップＳ２００に移行する。

ステップＳ２００では、作業者が行う作業に係るマニュアルを特定し、ステップＳ２０２に移行して、デバイス３００からセンサ情報を取得し、ステップＳ２０４に移行して、取得したセンサ情報に基づいて作業者を特定し、ステップＳ２０６に移行する。

ステップＳ２０６では、ステップＳ２０４、Ｓ２２４で取得したセンサ情報、対象識別情報、状況識別情報及び用語適合度情報等に基づいて、ルールの判定条件における用語に対応する作業の対象及び作業の状況を認識し、ステップＳ２０８に移行する。

ステップＳ２０８では、ステップＳ２０６で認識した作業の対象及び作業の状況がルールの判定条件を満たすか否かを判定し、判定条件を満たすと判定した場合(YES)は、ステップＳ２１０に移行して、作業支援情報をデバイス３００に送信する処理その他判定条件に記述の処理を実行し、ステップＳ２１２に移行する。

ステップＳ２１２では、内部データ（ルール）の変化を記録し、ステップＳ２１４に移行して、作業が終了したか否かを判定し、作業が終了したと判定した場合(YES)は、ステップＳ２１６に移行する。

ステップＳ２１６では、ステップＳ２１２の記録結果に基づいて、最適化された内部データ（ルール）と比較した差分により作業結果に対する評価情報を生成し、ステップＳ２１８に移行して、生成した評価情報をデバイス３００に送信し、ステップＳ２２０に移行する。

ステップＳ２２０では、ステップＳ２１６で生成した評価情報を報告書のテンプレートに挿入することにより作業の報告書を作成し、ステップＳ２２２に移行して、作成した報告書を管理システム２００に送信し、一連の処理を終了する。

一方、ステップＳ２１４で、作業が終了していないと判定した場合(NO)は、ステップＳ２２４に移行して、デバイス３００からセンサ情報を取得し、ステップＳ２０４に移行する。

一方、ステップＳ２０８で、判定条件を満たさないと判定した場合(NO)は、ステップＳ２１２に移行する。

次に、ＡＩマニュアルシステム１００で習熟処理を実行する場合の動作を説明する。
図９は、習熟処理を示すフローチャートである。

ＣＰＵ３０は、記憶装置４２に記憶されている所定のプログラム（評価学習モジュール）を起動させ、そのプログラムに従って、図９のフローチャートに示す習熟処理を実行する。

習熟処理は、作業者の作業内容を学習するときに実行される処理であって、ＣＰＵ３０において実行されると、図９に示すように、まず、ステップＳ３００に移行する。

ステップＳ３００では、内部データ（ルール）により作業者の行為により変化した作業の対象及び作業の状況を仮想的に再現し、ステップＳ３０２に移行して、再現した変化の各ポイントで最高評価との差異を表示装置４４に表示し、構成単位ごと又は変化ポイントごとに最適化対象にするかをオペレータ等に選択させ、ステップＳ３０４に移行する。

ステップＳ３０４では、選択された最適化対象により内部データ（ルール）を最適化する。具体的には、過去の作業事例を入力とし機械学習し、追加及び既存の事例関係により最適化学習を行う。ステップＳ３０４の処理が終了すると、一連の処理を終了する。

次に、ＡＩマニュアルシステム１００で再構成処理を実行する場合の動作を説明する。
図１０は、再構成処理を示すフローチャートである。

ＣＰＵ３０は、記憶装置４２に記憶されている所定のプログラム（再構成モジュール）を起動させ、そのプログラムに従って、図１０のフローチャートに示す習熟処理を実行する。

習熟処理は、ＡＩエンジンを再構成するときに実行される処理であって、ＣＰＵ３０において実行されると、図１０に示すように、まず、ステップＳ４００に移行する。

ステップＳ４００では、最適化した内部データ（ルール）に基づいて、人間が読むことができ再取り込み可能なマニュアル様式のデータとしてマニュアルを改訂し、ステップＳ４０２に移行して、改訂したマニュアルに基づいて新規の要素が含まれるか及び差分をオペレータ等に確認させ、ステップＳ４０４に移行する。

ステップＳ４０４では、ステップＳ４０２の確認結果に基づいて、不足している部分として、関係する構成単位又は変化ポイントを表示装置４４に表示し、ステップＳ４０６に移行して、不足している部分についてした作業結果に基づいて内部データ（ルール）を記録し、ステップＳ４０８に移行する。

ステップＳ４０８では、記録した内部データ（ルール）により作業者の行為により変化した作業の対象及び作業の状況を仮想的に再現し、ステップＳ４１０に移行して、再現した変化の各ポイントで最高評価との差異を表示装置４４に表示し、不足している部分について構成単位ごと又は変化ポイントごとに最適化対象にするかをオペレータ等に選択させ、ステップＳ４１２に移行する。

ステップＳ４１２では、選択された最適化対象により内部データ（ルール）を最適化する。具体的には、該当部の模範事例や内部生成した事例相当データを入力とし機械学習及び最適化学習を行う。ステップＳ３０４の処理が終了すると、一連の処理を終了する。

次に、本実施の形態の効果を説明する。
本実施の形態では、マニュアルに基づいて、作業の対象又は作業の状況の判定条件を記述したルールを生成し、デバイス３００からセンサ情報を取得し、取得したセンサ情報に基づいて作業の対象及び作業の状況を認識し、ルール及び認識結果に基づいて作業支援情報をデバイス３００に送信する。

これにより、マニュアルに基づいてルールが生成され、ルール並びに作業の対象及び作業の状況の認識結果に基づいて作業支援情報が通知されるので、例えばメンテナンスマニュアル等の既存のマニュアルを与えれば、作業の対象及び作業の状況に応じた作業支援情報を作業者に対し提供することができる。したがって、作業内容の定義及び作業手順の作成を１つ１つ行わなくてすむので、従来に比して、多種多様な作業に容易に対応することができる。

さらに、本実施の形態では、用語テーブルに基づいてマニュアルから用語を抽出し、抽出した用語を要素とする判定条件を記述したルールを生成し、判定条件における要素となる用語に対応する作業の対象及び作業の状況を認識する。

これにより、用語を要素として、ルールの生成、作業の対象及び作業の状況の認識、並びにルールへの適用が行われるので、ルールへの適合性を向上することができる。

さらに、本実施の形態では、マニュアルに含まれる用語、見出し、テキスト、項目、表、図、画像、動画又はその他の要素を関連付けてルールを生成し、模範事例による要素の変化を記録し、この記録結果に基づいて模範事例が最高評価となるように内部データ（ルール）を最適化する。

これにより、模範事例が最高評価となるようにルールが最適化されるので、ルールへの適合性を向上することができる。

さらに、本実施の形態では、認識した作業の対象又は作業の状況がルールの判定条件を満たすと判定した場合は、作業支援情報をデバイス３００に送信し、内部データ（ルール）の変化を記録し、この記録結果に基づいて、最適化した内部データ（ルール）と比較した差分により作業結果に対する評価情報を生成する。

これにより、模倣事例を基準とする評価情報を得ることができる。
さらに、本実施の形態では、内部データ（ルール）により作業者の行為により変化した作業の対象及び作業の状況を仮想的に再現し、再現した変化の各ポイントで最高評価との差異を提示し、構成単位ごと又は変化ポイントごとに最適化対象にするかを選択し、選択された最適化対象により内部データ（ルール）を最適化する。

これにより、作業者の実際の作業内容に応じてルールが最適化されるので、ルールへの適合性を向上することができる。

さらに、本実施の形態では、最適化した内部データ（ルール）に基づいてマニュアルを改訂し、改訂したマニュアルに基づいて新規の要素が含まれるか及び差分を確認し、この確認結果に基づいて、不足している部分として、関係する構成単位又は変化ポイントを提示し、不足している部分についてした作業結果に基づいて内部データ（ルール）を記録し、記録した内部データ（ルール）により作業者の行為により変化した作業の対象及び作業の状況を仮想的に再現し、再現した変化の各ポイントで最高評価との差異を提示し、不足している部分について構成単位ごと又は変化ポイントごとに最適化対象にするかを選択し、選択された最適化対象により内部データ（ルール）を最適化する。

これにより、改訂されたマニュアルに基づいて不足部分が分析され、この分析結果に基づいてルールが最適化されるので、ルールへの適合性を向上することができる。

本実施の形態において、通知部５２は、発明１、４又は７の通知手段に対応し、ステップＳ１０４は、発明１乃至３若しくは５のルール生成手段、又は発明７のルール生成ステップに対応し、ステップＳ１０８は、発明３の要素変化記録手段に対応している。また、ステップＳ１１０は、発明３、４又は６の学習手段に対応し、ステップＳ２０２、Ｓ２２４は、発明１のセンサ情報取得手段、又は発明７のセンサ情報取得ステップに対応し、ステップＳ２０６は、発明１、２若しくは４の認識手段、又は発明７の認識ステップに対応している。

また、本実施の形態において、ステップＳ２０８、Ｓ２１０は、発明１若しくは４の作業支援情報出力手段、又は発明７の作業支援情報出力ステップに対応し、ステップＳ２１２は、発明４のルール変化記録手段に対応し、ステップＳ２１６は、発明４の評価情報生成手段に対応している。また、ステップＳ３００は、発明５の仮想再現手段に対応し、ステップＳ３０２は、発明５の最適化対象選択手段に対応し、ステップＳ３０４は、発明５又は６の第２学習手段に対応し、ステップＳ４００は、発明６のマニュアル改訂手段に対応している。

また、本実施の形態において、ステップＳ４０２は、発明６の新規要素確認手段に対応し、ステップＳ４０４は、発明６の関係要素提示手段に対応し、ステップＳ４０６は、発明６のルール記録手段に対応し、ステップＳ４０８は、発明６の第２仮想再現手段に対応している。また、ステップＳ４１０は、発明６の第２最適化対象選択手段に対応し、ステップＳ４１２は、発明６の第３学習手段に対応している。

〔変形例〕
なお、上記実施の形態においては、ステップＳ４００の処理は、マニュアルを改訂するように構成したが、これに限らず、新たなマニュアルを生成するように構成することもできる。

また、上記実施の形態及びその変形例においては、デバイス３００がインターネット１９９と通信できない環境に陥った場合について特に説明しなかったが、通信できない環境に陥った場合、デバイス３００は自律動作するように構成することもできる。

ステップＳ４００の処理は、マニュアルを改訂するように構成したが、これに限らず、新たなマニュアルを生成するように構成することもできる。

また、上記実施の形態及びその変形例において、図６、図８、図９及び図１０のフローチャートに示す処理を実行するにあたってはいずれも、記憶装置４２に予め記憶されているプログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭ３４に読み込んで実行することもできる。

また、上記実施の形態及びその変形例においては、作業者が機器や設備等のメンテナンスを行う場合について本発明を適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。例えば、組立作業、事務作業その他の作業を行う場合について本発明を適用することもできる。

１００…ＡＩマニュアルシステム、 ２００…管理システム、 ３００…デバイス、 ３０…ＣＰＵ、 ３２…ＲＯＭ、 ３４…ＲＡＭ、 ３８…Ｉ／Ｆ、 ３９…バス、 ４０…入力装置、 ４２…記憶装置、 ４４…表示装置、 ５０…センサ、 ５２…通知部、 ５４…通信部、 ５６…制御部、 １９９…インターネット

Claims (6)

1. センサ及び通知手段を有し作業者が装着又は携帯するデバイスと通信可能に接続し、前記作業者の作業を支援する作業支援システムであって、
   作業の手順、内容、留意点又はその他の事項を記述したマニュアルに基づいて、前記マニュアルに含まれる用語、見出し、テキスト、項目、表、図、画像、動画又はその他の要素を関連付けて、作業の対象又は作業の状況の判定条件を記述したルールを生成するルール生成手段と、
   模範事例による前記要素の変化を記録する要素変化記録手段と、
   前記要素変化記録手段の記録結果に基づいて前記模範事例が最高評価となるように前記ルールを最適化する学習手段と、
   前記センサのセンサ情報を取得するセンサ情報取得手段と、
   前記センサ情報取得手段で取得したセンサ情報に基づいて前記作業の対象及び前記作業の状況を認識する認識手段と、
   前記ルール生成手段で生成したルール及び前記認識手段の認識結果に基づいて作業支援情報を前記通知手段に出力する作業支援情報出力手段とを備えることを特徴とする作業支援システム。
2. 請求項１において、
   前記ルール生成手段は、用語を登録した用語テーブルに基づいて前記マニュアルから用語を抽出し、抽出した用語を要素とする前記判定条件を記述したルールを生成し、
   前記認識手段は、前記判定条件における前記要素となる用語に対応する前記作業の対象及び前記作業の状況を認識することを特徴とする作業支援システム。
3. 請求項１及び２のいずれか１項において、
   前記作業支援情報出力手段は、前記認識手段で認識した作業の対象又は作業の状況が前記ルールの判定条件を満たすと判定した場合は、前記作業支援情報を前記通知手段に出力し、
   前記ルールの変化を記録するルール変化記録手段と、
   前記ルール変化記録手段の記録結果に基づいて、前記学習手段で最適化したルールと比較した差分により作業結果に対する評価情報を生成する評価情報生成手段とを備えることを特徴とする作業支援システム。
4. 請求項１乃至３のいずれか１項において、
   前記ルール生成手段で生成したルールにより前記作業者の行為により変化した前記作業の対象及び前記作業の状況を仮想的に再現する仮想再現手段と、
   前記仮想再現手段で再現した変化の各ポイントで最高評価との差異を提示し、構成単位ごと又は前記変化ポイントごとに最適化対象にするかを選択する最適化対象選択手段と、
   前記最適化対象選択手段で選択された最適化対象により前記ルールを最適化する第２学習手段とを備えることを特徴とする作業支援システム。
5. 請求項４において、
   前記学習手段又は前記第２学習手段で最適化したルールに基づいて前記マニュアルを生成又は改訂するマニュアル改訂手段と、
   前記マニュアル改訂手段で生成又は改訂したマニュアルに基づいて新規の前記要素が含まれるか及び差分を確認する新規要素確認手段と、
   前記新規要素確認手段の確認結果に基づいて、不足している部分として、関係する構成単位又は変化ポイントを提示する関係要素提示手段と、
   前記不足している部分についてした作業結果に基づいて前記ルールを記録するルール記録手段と、
   前記ルール記録手段で記録したルールにより前記作業者の行為により変化した前記作業の対象及び前記作業の状況を仮想的に再現する第２仮想再現手段と、
   前記第２仮想再現手段で再現した変化の各ポイントで最高評価との差異を提示し、前記不足している部分について前記構成単位ごと又は前記変化ポイントごとに最適化対象にするかを選択する第２最適化対象選択手段と、
   前記第２最適化対象選択手段で選択された最適化対象により前記ルールを最適化する第３学習手段とを備えることを特徴とする作業支援システム。
6. センサ及び通知手段を有し作業者が装着又は携帯するデバイスと通信可能に接続するコンピュータに実行させ、前記作業者の作業を支援する作業支援プログラムであって、
   作業の手順、内容、留意点又はその他の事項を記述したマニュアルに基づいて、前記マニュアルに含まれる用語、見出し、テキスト、項目、表、図、画像、動画又はその他の要素を関連付けて、作業の対象又は作業の状況の判定条件を記述したルールを生成するルール生成ステップと、
   模範事例による前記要素の変化を記録する要素変化記録ステップと、
   前記要素変化記録ステップの記録結果に基づいて前記模範事例が最高評価となるように前記ルールを最適化する学習ステップと、
   前記センサのセンサ情報を取得するセンサ情報取得ステップと、
   前記センサ情報取得ステップで取得したセンサ情報に基づいて前記作業の対象及び前記作業の状況を認識する認識ステップと、
   前記ルール生成ステップで生成したルール及び前記認識ステップでの認識結果に基づいて作業支援情報を前記通知手段に出力する作業支援情報出力ステップとを含む処理を前記コンピュータに実行させるためのプログラムであることを特徴とする作業支援プログラム。

Images