JP6917844B2 - 作業支援システム、作業支援方法及び作業支援プログラム - Google Patents

Description

本発明の実施形態は、点検作業支援システム、方法、及びプログラムに関する。

近年、設備点検や保守点検など種々業務の点検作業に、音声を利用した対話システムが利用されつつある。このシステムでは、点検作業者に作業内容や手順を提示する。一方で、業務の高度化に伴う点検作業の複雑化、工程数の増大を考慮し、作業者の熟練度に応じた手順の提示が求められる。

特開２００１−１６６６８１号公報

熟練度を考慮していない場合、提示する内容が高度であったり複雑であったりするため作業者にとって適切でないケースが発生し、誤点検や効率低下を招くことがあった。

本実施形態は上記課題に鑑みなされたもので、作業者に対して熟練度に応じた適切な内容を提示することができる点検作業支援システム、方法及びプログラムを提供することを目的とする。

実施形態に係る作業支援システムは、第１データベースと、第２データベースと、検出装置と、処理装置とを備える。前記第１データベースは、作業の内容と手順を示し、作業者の熟練度に対応した複数の提示形態を含む作業マニュアル情報を記憶する。前記第２データベースは、前記作業に従事する作業者を識別し、その作業者の熟練度を判定するための、前記作業者が前記作業に従事したトータル時間情報を含む作業者情報を記憶する。前記検出装置は、前記作業者からの入力により作業内容を検出する。前記処理装置は、前記作業内容の検出結果に基づいて、前記作業の開始時に、前記作業者情報に含まれる前記トータル時間情報に基づいて前記作業者の前記作業に対する熟練度を決定し、決定された熟練度に対応する提示形態に前記作業マニュアル情報の提示形態を切り換え、前記第１データベースから前記作業マニュアル情報を読み出し、前記第２データベースから前記作業者の作業者情報を読み出し、前記作業者に前記作業マニュアル情報に示される作業の内容と手順を提示する。

実施形態に係る点検作業支援システムを概略的に示すブロック図。 実施形態１の処理の流れを示すフローチャート。 実施形態２の処理の流れを示すフローチャート。 実施形態２において、具体的な作業手順を支援する例を示す概念図。 実施形態３の処理の流れを示すフローチャート。 実施形態に係るシステムに適用可能なコンピュータ装置の基本的な構成を示すブロック図。

以下、本発明に係る実施形態について、図面を参照して説明する。
以下、図面を参照しながら実施形態を説明する。実施形態は、点検作業者の発話に対して応答する対話型の点検作業支援システムに関する。このシステムは、例えばユーザが設備の点検、保守、管理等の作業をする際に利用される。例えば予め登録された点検作業のマニュアルから点検作業中にユーザが発話した内容を検出し、ユーザが必要なマニュアルなどを提示する。以下では点検作業を例に説明するが、ユーザが行う作業に対する支援であればこれに限らない。例えば、製造過程（製造プロセス）での確認作業や機器操作の手順に関わる支援である。

図１は、本実施形態に係る点検作業支援システムを概略的に示すブロック図である。図１に示すシステム１１は、記憶部１１１と、検出部１１２と、処理部１１３と、通信インターフェース部１１４とを備える。上記記憶部１１１は、予め決められた点検作業の内容、手順を記載した作業マニュアル等を保持した文書データベースＤＢ１と、点検作業に従事するユーザ（以下、作業者と称する）を識別するための情報と、作業者が各作業に従事した時間などに関する情報（以下、作業者情報）とを保持した作業者データベースＤＢ２とを備える。

上記検出部１１２は、作業中に作業者が発話した内容を検出する。例えば、点検作業開示時に、文書データベースＤＢ１及び作業者データベースＤＢ２を参照して、従事する点検作業に関連する作業マニュアル、作業に従事する作業者の該当作業に従事した時間等を取得する。特定した作業における点検作業者の熟練度は、予め決められた方法で決定する。例えば、作業の総従事時間を参照し、所定の時間以上を超える場合には熟練者としてもよいし、決められた作業時間でいくつの作業を終了しているかなどの基準を設けてもよい。また、複数の作業をまとめて行うことができるか否かを評価値に用いる方法や、システムへの質問の頻度、音声認識によるフィラー、言い淀みなどの特徴量から熟練度を決めてもよい。また、これらを統合した作業の評価値を設定し、作業者ごとに評価値を学習することで最適な作業者を機械学習の結果として出力させるようなものでもよい。例えば経験豊富で、熟練度が高い作業者を支援者として登録しておいてもよい。一方、該当作業の経験がない、作業時間が所定の閾値を満たさないなど、熟練度が低くなる作業者は初心者と分けてもよい。

作業者からの入力は作業内容の特定ができるものであればよいが、例えばマイクロフォンを通じた作業手順に関する発話について音声認識を用いて行う。特定の作業手順の確認をする場合を想定する場合、まず、入力される点検作業者の発話音声を検出する。次に検出された音声を音声認識し、その発話内容と文書データベースＤＢ１から取得した作業の内容とを照合する。照合した結果は、点検作業者の熟練度と共に処理部１１３へ送られる。

上記処理部１１３は、熟練度と照合結果を取得する。また、文書データベースＤＢ１から作業者が従事する作業マニュアルを取得する。処理部１１３は熟練度に応じて、次の作業内容または次の作業手順の提示を切り替える。処理部１１３は次の内容を切り替える切替処理部１１３Ａと別に、支援処理部１１３Ｂを備えてもよい。支援処理部１１３Ｂは、例えば点検作業に関する質問があった場合には、情報データベースＤＢ３から回答となるものを検索て、その検索結果を質問に対する回答として提示する。
上記システム１１はＡＩ（Artificial Intelligence：人工知能）アシスタントとして機能するものでもよい。

また、作業手順の確認ではなく、作業自体に関する質問の場合には、別に用意された情報データベースＤＢ３を参照して作業者に応答する。情報データベースＤＢ３には、作業者が利用する各マニュアルに掲載されるプロセスや機器の基本的な説明、操作説明、質疑応答集、等を備える。例えば、熟練度に応じて頻度が高くなる質問とその答えなどを個別に用意しておいてもよい。

例えば、作業者が操作対象の位置等が分からない状態である場合に、システム１１は作業者の現在地を確認することによって場所の説明を提示する。または、情報データベースＤＢ３から対象物の位置関係を示した図面を取得し、作業者のもつ端末に送付してもよい。例えば、質問の内容が、機器のエラー表示（正常な動作でない信号表示）についての場合、エラー表示の対処方法を提示してもよい。特に熟練度の低い初心者に対して提示する場合、登録されている情報を提示するのではなく、支援者と作業者との通信回線を接続して、直接対話を可能にするようにしてもよい。また、情報データベースＤＢ３に回答が無い場合に、登録された支援者との通信を可能なようにする提示にしてもよい。

（実施形態１）
以下、実施形態に係る点検作業支援システムの支援処理を説明する。ここでは、点検作業の進捗状況に関する情報は、点検作業者の経過情報入力、機器からのセンサ出力によって逐次登録されているものとする。図２に示すように、システム１１は、まず、作業者情報、作業内容を取得する（ステップＳ１１）。システム１１は文書データベースＤＢ１から該当する作業工程と関連するマニュアル等を取得する（ステップＳ１２）。次に、作業者が該当作業を開始すると、システム１１は点検作業対象の機器からの出力と作業者の作業進捗情報を取得する（ステップＳ１３，Ｓ１４）。なお、機器からの出力が得られない作業の場合には、作業者が作業開始の指示を入力する。システム１１は作業者データベースＤＢ２を参照し、所定の方法で熟練度を決定する（ステップＳ１５）。

ここで、熟練度の低い作業者（初心者）の場合は該当する作業工程を順次提示する（ステップＳ１６，１７）。作業結果は機器出力等で取得できる場合もあるが、熟練度が低い場合には逐次報告させるために、作業終了の報告を入れると次の作業を提示するようにしてもよい。作業の種類に応じて、前後の工程を合わせて表示し、報告の受付を次の支援項目の提示のトリガーとしてもよい。熟練度が高い（熟練度が「低」ではない）作業者の場合は、例えば該当する作業工程の全体またはいくつかの工程をまとめて提示する（ステップＳ１８）。また、各工程の説明は要点のみの提示としてもよい。また、報告の必要な範囲での作業をまとめるようにし、結果報告を促すようにしてもよい。

なお、システム１１は、熟練度の高い作業者で、支援者として別に登録されている作業者に対しては、報告を受ける、質問があるなどの作業者の要求を得るまでは特に何も提示しないようにする（要求があった場合に要点を提示する等）（ステップＳ１９，Ｓ２０）。これにより、作業者の熟練度に応じた、無駄のない適切な応答が実現され、作業効率の向上を図ることができる。

（実施形態２）
次に、システム１１が作業の進捗状況と作業者の熟練度とを考慮した作業支援を行う場合について説明する。まず、前述の実施形態１と同様に作業者情報、作業内容、作業工程と関連するマニュアル等を取得する。作業者が該当作業を開始や該当作業工程の指示等についても実施形態１と同様である。

次に、図３に示すように、システム１１は、作業が手順通りに行われているかを照合する（ステップＳ２１）。具体的には文書データベースＤＢ１から取得した詳細な作業工程と作業者の報告工程とを照合する。対象機器の出力信号が得られ、操作の順番が得られる場合にはそれらと照合してもよい。システム１１は、予め決められた作業手順通りに行われていない場合、作業者の熟練度を参照する（ステップＳ２２）。熟練度の低い作業者が予め決められた手順と異なる作業を行っている場合には、手順が異なることを提示する（ステップＳ２３，Ｓ２４）。または、間違った操作であることの注意を提示したり、現状の作業工程の提示など、注意を促すようにしてもよい。一方、熟練度の高い作業者（熟練度の低くない作業者）が予め決められた手順と異なる作業を行っていた場合には、例えば手順が決められたものと異なることを提示し、通常の手順と異なっている理由の入力を促すようにする（ステップＳ２５）。作業者が応答した場合、システム１１は規定作業と実際の作業の順番と異なる理由とを情報データベースＤＢ３に記憶する。（ステップＳ２６，Ｓ２７）。これにより、システム１１に蓄積された情報は後日システムを利用しているユーザー（管理者など）がまとめて取り出すことが可能になる。また、必要に応じて作業手順の変更等に利用できるようになる。例えば、手順の提示方法により改善する場合など、システムが作業者に提示する方法を更新するようにしてもよい。

以下に、より具体的な作業手順を支援する例について説明する。
例えば図４のようにここでは、工程ａから工程xまでの点検作業が予め決まっているとする。作業者は支援システムからこの工程作業をするため情報を提示される。また、システム１１は点検作業のマニュアルから工程ｂ、工程ｍ、工程ｘの作業が完了した時点で作業報告することを取得している。

熟練度が低い新人の作業者Ａ（初心者）の場合、工程ごとに支援情報を詳細に提示する。しかし、工程ｂで作業者Ａからの状況報告がなければ、次の手順がｃであることを提示しないようにして、状況報告を促すようにする。一方、高い熟練度をもつ作業者Ｂ（熟練者）に対しては、工程ｂで報告の入力がない場合でも次の手順を提示するか、もしくは全工程を予め提示しておく。支援システムは、工程ｘで作業者Ｂの報告を受け付け、更に「工程ｂ、工程ｍでの報告は不要とお考えですか？」と問い合わせる。この問い合わせに対して、例えば、作業者Ｂが「不要」とだけ答える場合もあれば、「ｂからｋまでの作業は急いでやったほうがいいんだよ」と答える場合もある。前者の場合は更にシステムが問い合わせをする必要はない。後者の場合は、マニュアルで設定された工程ｂ→ｃ→…→ｋという手順と「急いでやったほうがいい」という回答をセットにして情報データベースＤＢ３に登録する。更に、支援システムはより詳細な情報入力を促すような応答をする。例えば、「なぜｂからｋまでの作業は急ぐほうがいいいのですか？」と応答する。

例えば、作業者Ｂが「ｂで始動して、一連の確認が３０分以内に終わると、ｍ以降の作業が早くできるんだ」と答えたとする。この場合、支援システム１１は、工程ｂでの報告が熟練度によっては必須ではない可能性がある、という記録を行う。更に、作業者Ｂの回答から利点が得られる場合には、これらを工程と共に情報データベースＤＢ３（場合によっては文書データベースＤＢ１）に記憶する。例えば、工程ｂ→ｃ→…→ｋと３０分という時間単位、工程ｍ以降の効率がよい、という内容をセットにして記憶する。また、システム１１は、マニュアルから工程ｋの作業報告は必須としていないが、作業者Ｂから工程ｋで作業報告があった場合には、工程ｋの作業報告を必須とした方がよい、という内容を記憶してもよい。
更に、これらの同様の内容の蓄積が予め決められた基準以上に達するなどした場合、より熟練度の低い作業者に内容を提示してもよい。例えば作業者Ａには工程ｃの提示をする後に、ｃ〜ｋの手順を一度に提示し、一連の作業として行うように修正してもよい。

また、システム１１は作業者データベース（リスト）ＤＢ２を持っており、熟練度と現在の点検作業の支援が可能かどうかが判断してもよい。熟練度は、低い(評価スコア：30)、中程度(評価スコア：50)、高い(評価スコア：80)などと予め設定登録しておく。例えば、熟練度３０の新人Ａが作業ｃの時点で作業内容がわからなくなり、システム１１に質問したとする。文書データベースＤＢ１に答えがない場合、システム１１は作業者リストから熟練度の評価スコアが３０より大きく、かつ、現在支援可能な担当者Ｂを通信回線を通じて呼び出す。更に、システム１１は、作業者Ａの質問とに作業者Ｂの回答をセットにして情報データベースＤＢ３に登録する。作業者Ａは作業に戻り、ｃ→ｄと作業を行う。システム１１は同様の内容が予め決められた基準以上に達するなどした場合、作業者からの問合せに収集した回答情報を用いて応答する。

例えば、熟練度の評価スコア３０の新人の作業者Ａから工程ｂの報告内容が所定時間を超えても連絡がない場合、システム１１は作業者データベースＤＢ２から熟練度の評価スコアが３０より大きく、かつ、現在支援可能な担当者Ｂを呼び出す。例えば担当者Ｂと作業者Ａとの通信回線をつないでもよいし、担当者Ｂに作業者Ａの様子を確認させるような内容を提示してもよい。システム１１はその状況を改善できる情報を担当者Ｂから収集する（回答の仕方から、自動的に収集してもよい）。システム１１は、取得した改善情報を文書データベースＤＢ１に登録し更新する。作業者Ａは作業に戻り、ｃ→ｄと作業を行う。

（実施形態３）
作業自体に関する質問の場合には、情報データベースＤＢ３を参照して作業者に熟練度に応じて応答する。具体的には、図５に示すように、システム１１は、作業者からの質問の入力を検出した場合（ステップＳ３１）、情報データベースＤＢ３を参照して質問に対応する回答を検索し（ステップＳ３２）、作業者データベースＤＢ２を参照して作業者の熟練度を判別し、その熟練度に応じて提示方法を切り替えてその回答を提示する（ステップＳ３３）。熟練度の低い初心者の場合、登録されている情報では理解できないこともあるので、支援者と作業者との通信回線を接続して、直接対話を可能にする。また、情報データベースＤＢ３に回答が無い場合に、登録された支援者と通信するための提示を行うようにしてもよい。

以上のように、上記構成による支援システムによれば、知識データベースに登録されている点検作業の内容・手順を、点検作業者の熟練度に基づいて提示方法を切り替えて提示する。また、点検作業に関する質問があった場合には、知識データベースを検索して、質問に対応する検索結果を回答として提示する。熟練度が低い点検作業者の質問に、支援処理部が回答できない場合には、熟練度の高い支援者が回答できるように通信回線を接続する。また、熟練度が高い作業者の処理内容を登録内容と比較し、異なる作業が実施された場合には、その理由を勘案してノウハウとして吸い上げ、知識データベースに反映させる。これにより、点検作業者に対して熟練度に応じた適切な内容を提示することができ、熟練度の高い点検作業者の点検のノウハウを吸い上げ、熟練度の差による質疑応答の環境を整備して、点検作業のさらなる効率化を図ることができる。

なお、実施形態の支援システム１１は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、記憶部１１１と、検出部１１２と、処理部１１３と、通信インターフェース部１１４は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このような支援システムに適用可能なコンピュータ装置は、図６に示すように、ＣＰＵ（Central Processing Unit）１３１などの制御装置と、ＲＯＭ（Read Only Memory）１３２やＲＡＭ（Random Access Memory）１３３などの記憶装置と、マイクロホン、操作入力装置、表示装置等が接続される入出力Ｉ／Ｆ１３４と、ネットワークに接続して通信を行う通信Ｉ／Ｆ１３５と、各部を接続するバス１３６を備えている。上記のプログラムをコンピュータ装置に予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、文書データベースＤＢ１、作業者データベースＤＢ２、情報データベースＤＢ３は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスク若しくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１１…点検作業支援システム、１１１…記憶部、１１２…検出部、１１３…処理部、１１３Ａ…切替処理部、１１３Ｂ…支援処理部、１１４…通信インターフェース部、ＤＢ１…文書データベース、ＤＢ２…作業者データベース、ＤＢ３…情報データベース、１３１…ＣＰＵ、１３２…ＲＯＭ、１３３…ＲＡＭ、１３４…入出力Ｉ／Ｆ、１３５…通信Ｉ／Ｆ、１３６…バス。

Claims (6)

1. 作業の内容と手順を示し、作業者の熟練度に対応した複数の提示形態を含む作業マニュアル情報を記憶する第１データベースと、
   前記作業に従事する作業者を識別し、その作業者の熟練度を判定するための、前記作業者が前記作業に従事したトータル時間情報を含む作業者情報を記憶する第２データベースと、
   前記作業者からの入力により作業内容を検出する検出装置と、
   前記作業内容の検出結果に基づいて、前記第１データベースから前記作業マニュアル情報を読み出し、前記第２データベースから前記作業者の作業者情報を読み出し、前記作業者に前記作業マニュアル情報に示される作業の内容と手順を提示する処理装置と、
   を具備し、
   前記処理装置は、前記作業の開始時に、前記作業者情報に含まれる前記トータル時間情報に基づいて前記作業者の前記作業に対する熟練度を決定し、決定された熟練度に対応する提示形態に前記作業マニュアル情報の提示形態を切り換える
   作業支援システム。
2. 前記処理装置は、ＡＩ（Artificial Intelligence：人工知能）アシスタントにより作業者の熟練度を、作業者の評価に基づいて決定する請求項１記載の作業支援システム。
3. 前記処理装置は、前記作業者からの前記作業に関する質問に対する応答を行う支援処理部を備え、
   前記支援処理部は、前記質問に応答できない場合に、前記質問をした作業者とは別の支援者への前記質問を促す請求項１記載の作業支援システム。
4. 前記支援処理部は、熟練度が高い作業者の処理内容を前記作業マニュアル情報に対応する内容と比較し、異なる作業内容または作業手順が実施された場合には、前記作業者にその理由を入力するように促す請求項３記載の作業支援システム。
5. 情報処理装置を用いて作業者の作業を支援する作業支援方法であって、
   前記情報処理装置が、
   第１の記憶指示に応じて、作業の内容と手順を示し、前記作業者の熟練度に対応した複数の提示形態を含む作業マニュアル情報を入力して第１データベースに記憶し、
   第２の記憶指示に応じて、前記作業に従事する作業者を識別し、その作業者の熟練度を判定するための、前記作業者が前記作業に従事したトータル時間情報を含む作業者情報を入力して第２データベースに記憶し、
   前記作業者からの入力により作業内容を検出し、
   前記作業の開始指示に応じて、前記作業者情報に含まれる前記トータル時間情報に基づいて前記作業者の前記作業に対する熟練度を決定し、決定された熟練度に対応する提示形態に前記作業マニュアル情報の提示形態を切り換え、
   前記作業内容の検出結果に基づいて、提示指示に応じて、前記第１データベースから前記作業マニュアル情報を読み出し、前記第２データベースから前記作業者の作業者情報を読み出し、前記作業者に前記作業マニュアル情報に示される作業の内容と手順を提示する
   作業支援方法。
6. 作業者の作業を支援する処理をコンピュータに実行させるための作業支援プログラムであって、
   第１の記憶指示に応じて、作業の内容と手順を示し、前記作業者の熟練度に対応した複数の提示形態を含む作業マニュアル情報を入力して第１データベースに記憶する第１記憶ステップと、
   第２の記憶指示に応じて、前記作業に従事する作業者を識別し、その作業者の熟練度を判定するための、前記作業者が前記作業に従事したトータル時間情報を含む作業者情報を入力して第２データベースに記憶する第２記憶ステップと、
   前記作業者からの入力により作業内容を検出する検出ステップと、
   前記作業の開始指示に応じて、前記作業者情報に含まれる前記トータル時間情報に基づいて前記作業者の前記作業に対する熟練度を決定し、決定された熟練度に対応する提示形態に前記作業マニュアル情報の提示形態を切り換える切換ステップと、
   前記作業内容の検出結果に基づいて、提示指示に応じて、前記第１データベースから前記作業マニュアル情報を読み出し、前記第２データベースから前記作業者の作業者情報を読み出し、前記作業者に前記作業マニュアル情報に示される作業の内容と手順を提示する提示ステップと
   を具備する作業支援プログラム。

Images