JP7339167B2 - 作業支援システム及び作業支援方法 - Google Patents

Description

本発明は、作業支援システム及び作業支援方法に関し、複数の作業項目を含む一連の作業を支援する作業支援システム及び作業支援方法に適用して好適なものである。

従来、顧客現場でフィールド保守作業などを行う作業者は、作業完了後に作業報告書を作成する。この作業報告書を簡易的に作る目的で、様々な技術が提案されている。例えば、特許文献１には「保守員が携帯端末を通じて音声で選択した報告書の種類と当該報告書の作成に必要な各項目に関する音声情報を認識する音声認識手段と、この音声認識手段の認識結果として得られた文字情報に基づいて保守員が選択した種類の報告書を作成する報告書作成手段と、この報告書作成手段によって作成された報告書の存在を当該報告書が必要な対象者に通知する通知手段とを具備したことを特徴とする報告書作成システム。」が開示されている。また、特許文献２には、「業務を構成する各作業毎にその作業現場を撮影する撮影手段と、少なくとも作業手順情報、業務報告用の書式情報を含む業務設定情報を取得する設定情報取得手段と、前記作業手順情報に従ってカメラ撮影を促す案内情報を出力する案内手段と、前記業務設定情報に基づいて各作業毎に、その作業を実際に行ったことを示す実績情報を取得する実績情報取得手段と、この実績情報取得手段によって各作業毎に得られた実績情報を前記撮影手段によって撮影された当該撮影画像に対応付けて作業報告用の情報として記憶管理する作業情報記憶手段と、前記業務報告用の書式情報に従って前記作業状況記憶手段の内容をその設定書式通りに編集することによって業務報告書を作成する作成手段と、この作成手段によって作成された業務報告書を出力する出力手段と、を具備したことを特徴とする業務報告書作成機能付きデジタルカメラ。」が開示されている。

特開２０１７－１２２９５３号公報 特開２００５－２８６６８７号公報

しかしながら、特許文献１に開示されたように作業報告書を音声で入力する場合、作業内容や作業結果などの報告書に必要な情報をすべて音声で発話する必要があり、作業者の負荷が高いという課題があった。また、音声の発話のみで報告書を作成することから、決められた作業を実施していなくても報告書は作れてしまうことになり、作業報告書としての信頼度が低いという課題もあった。また、特許文献２では、デジタルカメラにより作業エビデンスとなる画像を撮影し、自動で作業報告書に添付する方法が開示されているが、作業者は、一つの作業項目が終わるたびにデジタルカメラを操作しなければならず、作業者の負荷が高いという課題があった。また、作業者が作業対象を勘違いして撮影した場合には、作業の抜け漏れを防ぐことができないという課題もあった。

本発明は以上の点を考慮してなされたもので、作業者の負荷を軽減しながらも、信頼度の高い作業報告書を作成することが可能な作業支援システム及び作業支援方法を提案しようとするものである。

かかる課題を解決するため本発明においては、作業の実施中に収集される情報を利用して作業報告書を作成する作業支援システムであって、前記情報に含まれる音声データから前記作業の完了を判断し、前記作業の完了時刻を認識する作業完了認識部と、前記作業完了認識部によって認識された前記作業の完了時刻を基準にして、前記情報に含まれる映像から前記作業の完了時映像を抽出する映像抽出部と、前記映像抽出部によって抽出された前記作業の完了時映像に対して認識モデルを用いた物体認識を行うことにより前記作業の対象物体を認識し、前記作業の作業項目ごとにその対象物体が紐付けられた作業リストを前記認識した対象物体に基づいて検索することにより前記作業の作業項目を認識する作業認識部と、前記作業完了認識部及び前記作業認識部による認識結果に基づいて、前記作業の作業履歴を前記作業報告書に生成する作業履歴生成部と、を備える作業支援システムが提供される。

また、かかる課題を解決するため本発明においては、作業の実施中に収集される情報を利用して作業報告書を作成する作業支援システムによる作業支援方法であって、前記作業支援システムが、前記情報に含まれる音声データから前記作業の完了を判断し、前記作業の完了時刻を認識する作業完了認識ステップと、前記作業支援システムが、前記作業完了認識ステップで認識された前記作業の完了時刻を基準にして、前記情報に含まれる映像から前記作業の完了時映像を抽出する映像抽出ステップと、前記作業支援システムが、前記映像抽出ステップで抽出された前記作業の完了時映像に対して認識モデルを用いた物体認識を行うことにより前記作業の対象物体を認識し、前記作業の作業項目ごとにその対象物体が紐付けられた作業リストを前記認識した対象物体に基づいて検索することにより前記作業の作業項目を認識する作業認識ステップと、前記作業支援システムが、前記作業完了認識ステップ及び前記作業認識ステップにおける認識結果に基づいて、前記作業の作業履歴を前記作業報告書に生成する作業履歴生成ステップと、を備える作業支援方法が提供される。

本発明によれば、作業者の負荷を軽減しながらも、信頼度の高い作業報告書を作成することができる。

第１の実施形態に係る作業支援システムの構成例を示すブロック図である。 エアコンの定期保守作業用の作業リストの一例である。 エアコンの室外機の外観の一例である。 第１の実施形態に係る作業支援システムの作業支援処理の対象となる作業が実施される際の手順の進行例を示すフローチャートである。 第１の実施形態における作業支援システムの内部的な処理の流れを示す図である。 完了時映像の一例を示す図である。 作業報告書の一例を示す図である。 第３の変形例における作業認識部の内部構成を示す図である。 第３の変形例を説明するための完了時映像の一例である。 第４の変形例における作業支援システムの内部的な処理の流れを示す図である。 第２の実施形態に係る作業支援システムの内部的な処理の流れを示す図である。 第３の実施形態に係る作業支援システムの構成例を示すブロック図である。 第４の実施形態に係る作業支援システムの構成例を示すブロック図である。 第４の実施形態における作業内容の確からしさの判定を説明するための図である。

以下、図面を参照して、本発明の実施形態について説明する。なお、各図面において共通する構成には同一の番号を付し、説明の繰り返しを省略する。

（１）第１の実施の形態
（１－１）作業支援システム２００の構成
まず、第１の実施形態に係る作業支援システム２００の構成を説明する。なお、本実施形態では、一例として、作業支援システム２００が、作業者が所持するスマートフォン内のＣＰＵ（Central Processing Unit）で動作することを想定している。

図１は、第１の実施形態に係る作業支援システムの構成例を示すブロック図である。図１に示したように、第１の実施形態に係る作業支援システム２００は、カメラ１１０、情報提示装置１２０、及び作業管理システム１３０と通信可能に接続されており、制御部２１０、記憶部２２０、通信部２３０、作業完了認識部２４０、映像抽出部２５０、作業認識部２６０、認識結果判定部２７０、作業履歴生成部２８０、及び作業履歴修正部２９０を備えて構成される。

カメラ１１０は、作業者が作業時に装着するカメラであって、マイクが内蔵されている。なお、カメラ１１０に相当する構成要素の別例として、映像を撮影するカメラと音声を収集するマイクとが別個のデバイスで構成されてもよいが、この場合、双方のデバイスで収集されるデータが共通するタイムスタンプを有するなど、時間の対応が可能な形態であることが好ましい。

情報提示装置１２０は、音声または表示による出力機能を有する装置であって、作業支援システム２００（特に作業履歴生成部２８０）によって生成された作業履歴を作業者に提示する。具体的には例えば、情報提示装置１２０は、音声で作業者に情報を提示するスピーカーであってもよいし、ＡＲ（Augmented Reality）表示によって作業者に情報を提示するスマートグラス等であってもよい。

作業管理システム１３０は、作業に関する情報を総合的に管理するためのシステムであって、例えば作業者全員の作業計画や作業履歴（作業報告書）等を管理する。

作業支援システム２００の内部構成について詳しく説明する。図１に示した作業支援システム２００内の各部は、作業支援システム２００における機能構成例を示すものであり、ハードウェア的に独立した構成に限定されるものではない。具体的なハードウェア構成例としては、作業支援システム２００がスマートフォン上で動作するシステムであるとするとき、通信部２３０は、スマートフォンの通信インタフェースによって実現される。また、記憶部２２０は、スマートフォンに搭載または接続されたメモリ（記録媒体）によって実現される。また、その他の各部、すなわち制御部２１０、作業完了認識部２４０、映像抽出部２５０、作業認識部２６０、認識結果判定部２７０、作業履歴生成部２８０、及び作業履歴修正部２９０は、スマートフォンに搭載されたＣＰＵがメモリに記憶された所定のプログラムを読み出して実行することによって実現される。

制御部２１０は、作業支援システム２００の全体を制御する機能を有する。

記憶部２２０は、作業支援システム２００で扱うデータを記憶する。例えば、記憶部２２０には、作業リストや作業報告書などが記録される。

通信部２３０は、作業支援システム２００と通信可能に接続された装置との間で情報を送受信する機能を有する。例えば、通信部２３０は、カメラ１１０が撮影した音声付きの映像を受信したり、作業履歴生成部２８０による処理結果（作業履歴）を情報提示装置１２０に送信したりする他、作業管理システム１３０との間で所定の情報を送受信したりする。

作業完了認識部２４０は、カメラ１１０で収集された作業中の音声から作業の完了を表す発話（完了発話）を識別することによって作業の完了を判断し（詳細は後述する）、当該作業の完了時刻を認識する機能を有する。

映像抽出部２５０は、カメラ１１０で撮影された作業中の映像から、作業完了認識部２４０によって識別された作業の完了時刻に基づいて、作業認識部２６０に入力する映像（完了時映像）を切り出す機能を有する。

作業認識部２６０は、映像抽出部２５０によって切り出された完了時映像から、完了した作業（作業項目）を認識する機能を有する。詳細には、作業認識部２６０は、完了時映像に対して所定の認識処理を行うことによって、完了した作業の対象物体を認識し、対象作業の認識結果をキーとして、一連の作業に含まれる各作業に関するチェックリスト（後述する作業リスト３１０）を検索することにより、対象物体に対応する作業項目（作業内容と読み替えてもよい）を推定する。

認識結果判定部２７０は、作業認識部２６０からの入力を受けて、映像抽出部２５０によって切り出された完了時映像が、作業認識部２６０によって認識された作業項目の作業を表す映像として適切であるかを判定する機能を有する。認識結果判定部２７０は、例えば完了時映像にブレが生じていないかといった映像データの状態を判断することによって正常／異常を判定してもよいし、例えば完了時映像に映されているメーター値や銘板の型番等が作業リスト３１０の設定事項に一致しているかといった映像データの内容を判断することによって正常／異常を判定してもよい。メーター値や型番等の読み取りには、例えばＯＣＲ（Optical Character Recognition）機能を利用すればよい。なお、認識結果判定部２７０は、拡張的な機能を提供するものであり、作業支援システム２００はこれを含まない構成であってもよい。

作業履歴生成部２８０は、作業完了認識部２４０及び作業認識部２６０の認識結果に基づいて、作業履歴を生成する機能を有する。詳細は後述するが、作業履歴生成部２８０は、作業者によって実施された１作業ごとに作業履歴を生成していくことにより、作業者によって実施された作業全体の作業報告書を作成する。また、作業履歴生成部２８０は、生成した作業履歴（作業報告書）を、通信部２３０を介して情報提示装置１２０や作業管理システム１３０に送信することによって、作業者や作業管理者に提示する。作業履歴生成部２８０が作業者や作業管理者に提示する情報は、生成した作業履歴の一部でもよく、別の表現をすれば、作業履歴の生成に使われた作業完了認識部２４０及び作業認識部２６０の認識結果に基づいた所定の情報（後述する具体例では、「銘板確認完了を認識しました」という音声出力）でもよい。

作業履歴修正部２９０は、作業履歴生成部２８０によって生成された作業履歴（作業報告書）に対して、作業者がカメラ１１０や情報提示装置１２０を利用して修正を指示する修正動作を行ったときに、修正動作に応じて対象の作業履歴（作業報告書）を修正する機能を有する。なお、作業履歴修正部２９０は拡張的な機能を提供するものであり、作業支援システム２００はこれを含まない構成であってもよい。

（１－２）作業支援システム２００による処理
次に、本実施形態に係る作業支援システム２００による作業支援処理について詳しく説明していく。なお、作業支援システム２００は、単一の作業項目からなる作業だけでなく、複数の作業工程（作業項目）を含む一連の作業を作業支援処理の対象とすることができるものであり、以下では、このような一連の作業の具体例としてエアコンの定期保守作業を挙げて説明する。また、以下の説明では、簡便のために、一連の作業を「全体作業」と称し、各作業工程（作業項目）を「作業」と称することがある。

図２は、エアコンの定期保守作業用の作業リストの一例である。エアコンの定期保守作業では、全体作業のなかで複数の作業を実施する必要があり、図２の作業リスト３１０には、エアコンの定期保守作業に含まれる作業ごとに、所定の情報がまとめられている。具体的には、作業リスト３１０は、推奨される作業の実施順番を示す作業番号（＃）３１１、作業の概要を示す作業項目３１２、作業の具体的な内容を示す作業内容３１３、及び、作業の対象となる対象物体３１４（図２では不図示。図５参照）等から構成される。

作業リスト３１０は、予め作業管理システム１３０に登録されており、作業支援システム２００に送信されて記憶部２２０にも格納される。なお、作業管理システム１３０において様々な全体作業についての作業リストが管理されている場合、これから実施する作業（例えばエアコンの定期保守作業）に関する作業リスト３１０だけが作業支援システム２００に送信されて記憶部２２０に格納されるとしてもよい。

図２の作業リスト３１０に従ってエアコンの定期保守作業が実施される場合、具体的には、作業項目３１２に示された「銘板確認」、「室外機のファンの異音確認」、「室外機熱交換器の外観確認」、「室内機熱交換器の霜付き確認」、及び「室内機異音確認」の５項目の作業が実施される。なお、全体作業の種別によっては、推奨される実施順番が存在しない場合も想定され、この場合は、任意の順番で作業番号３１１が登録される。

図３は、エアコンの室外機の外観の一例である。図３（Ａ）は、エアコンの室外機３２０を前方（正面）から見た図であり、図３（Ｂ）は、エアコンの室外機３２０を後方（裏側）から見た図である。図３に示した室外機３２０は、図２の作業リスト３１０における作業対象の室外機に相当する。図３（Ａ）に示したように、室外機３２０の表側には、中央にファン３２２の送風口が設けられ、右下にエアコンの仕様が記載された銘板３２１が取り付けられている。また、図３（Ｂ）に示したように、室外機３２０の裏側には、外部と内部との間で冷媒を介して熱を移動させる熱交換器３２３が設置されている。

図４は、第１の実施形態に係る作業支援システムの作業支援処理の対象となる作業が実施される際の手順の進行例を示すフローチャートである。以下、エアコンの定期保守作業を作業支援処理の対象作業の例として、図４の各手順を説明する。

図４によればまず、エアコンの定期保守作業を実施する際、作業者は、作業現場に着くと、カメラ１１０及び情報提示装置１２０を自分の体に装着する（ステップＳ１）。カメラ１１０を装着する場所は、耳の横、頭の上、または胸など、作業中の映像を撮影可能な位置であればどこでもよい。また、前述したように、情報提示装置１２０は、スピーカーやスマートグラス等、作業者に情報を提示可能な装置であればよい。

次に、作業者は、作業支援システム２００を起動する（ステップＳ２）。作業支援システム２００が起動されると、制御部２１０が、他の各ブロック（通信部２３０、作業完了認識部２４０、作業認識部２６０、映像抽出部２５０、記憶部２２０、作業履歴生成部２８０）のコントロールを開始する。

上記コントロールの具体的内容としてまず、制御部２１０は、通信部２３０を起動し、現在の作業現場で実施する一連の作業の作業リスト３１０（図２参照）を作業管理システム１３０からダウンロードして、記憶部２２０に格納する。次に、制御部２１０は、通信部２３０を使ってカメラ１１０に接続し、通信部２３０からカメラ１１０に撮影開始の指示を送信する。なお、通信部２３０がカメラ１１０、情報提示装置１２０、及び作業管理システム１３０との通信で利用する通信手段や通信規格は特に限定されず、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥ（Long Term Evolution）（登録商標）回線、または有線ＬＡＮ（Local Area Network）接続等を利用可能である。また、通信部２３０は、接続するデバイスごとに通信手段や通信規格を変更してもよい。そして、カメラ１１０の撮影が開始されると、通信部２３０を経由してリアルタイムで、作業中の映像及び音声が作業支援システム２００に入力される。

次に、作業者は、作業リスト３１０を確認することにより、定期保守作業で実施する各作業の作業項目３１２及び作業内容３１３を把握する（ステップＳ３）。なお、作業者が作業リスト３１０を確認する手段は限定されない。例えば、ステップＳ２において制御部２１０が、作業管理システム１３０からダウンロードした作業リスト３１０を通信部２３０から情報提示装置１２０に送信し、情報提示装置１２０が受信した作業リスト３１０を作業者に向けて表示するとしてもよい。また、作業リスト３１０の内容を出力した紙を予め作業者に持たせておくなどとしてもよい。

次に、作業者は、ステップＳ３における作業リスト３１０の確認結果に基づいて、作業の実施を開始する（ステップＳ４）。本実施形態においては、作業者は、作業リスト３１０に登録された複数の作業を１つずつ実施し、１つの作業が完了するごとに、作業完了を表す言葉を発話する（ステップＳ５）。

具体的には、例えば図２の作業リスト３１０が用いられる場合、作業番号３１１に各作業の実行順番が定められているので、最初のステップＳ４において作業者は、１番目の作業である「銘板確認」を実施する。この銘板確認の作業において、作業者は、例えば図３の室外機３２０の表側右下に取り付けられた銘板３２１の記載事項を目視し、型番（型式）が「ｘｙｚｘｙｚ」であり、製造番号が「Ｂ０００２１２」であることを確認したら、銘板３２１を見ながら「確認完了」と発言する。本例では、「確認完了」という言葉は作業の完了発話の１つとされている（図５の完了発話リスト３３０を参照）。

そして、ステップＳ５において作業者による作業完了発話が行われたことを契機として、作業支援システム２００の作業完了認識部２４０が作業の完了（完了時刻）を認識し、作業認識部２６０が当該作業の内容（作業項目、作業内容）を認識する（ステップＳ６）。

図５は、第１の実施形態における作業支援システムの内部的な処理の流れを示す図である。ステップＳ６以降は、主に作業支援システム２００の各部による処理であるため、図５を参照しながら詳しく説明する。

図５に示したように、作業完了認識部２４０は、音声認識部２４１及び完了判定部２４２を有して構成される。また、図５に示した作業リスト３１０（図２と同様）及び完了発話リスト３３０は、記憶部２２０に格納されている。

作業完了認識部２４０には、カメラ１１０から作業中の音声が常に入力されている。ステップＳ５において作業者による完了発話が行われたとき、作業完了認識部２４０は、ステップＳ６において音声から完了発話を識別することによって、当該作業の完了を判断する。

具体的にはまず、音声認識部２４１が、既知の音声テキスト変換技術を利用して、カメラ１１０から入力された音声をテキストに変換する。以後、変換後のテキストを発話テキストと称する。次に、完了判定部２４２が、音声認識部２４１で生成された発話テキストを用いて、記憶部２２０に格納されている完了発話リスト３３０との部分一致検索を行い、一致する完了発話が存在した場合に、作業完了と判断する。このとき、完了判定部２４２は、現時刻（完了発話が行われた時刻と読み替えてもよい）を作業完了時刻として、映像抽出部２５０に送る。

完了発話リスト３３０は、作業の完了を表す言葉（完了発話）のリストが予め登録されたリストである。完了発話リスト３３０には、様々な完了発話を登録することができる。例えば、図５に示した完了発話リスト３３０の場合、「確認完了」や「異常なし」等の完了発話は、作業項目の種別に拘わらず、汎用的に使用可能な完了発話である。また、「異音なし」や「振動なし」等の完了発話は、異音確認や振動異常確認といった特定の作業項目に対応する完了発話である。

なお、完了発話リスト３３０には、上記例に限らず、様々な完了発話を登録可能である。例えば、作業において異常が認められたときの完了発話（例えば「異常あり」等）も登録されてよい。この場合、作業中に異常用の完了発話が発言されたことを契機として、作業支援システム２００が異常記録用の所定の処理（作業報告書のメモ欄に手動または音声でエラー内容を記録する等）を行うようにしてもよい。また、完了発話リスト３３０は、全体作業の作業対象（例えば、エアコンやコインランドリー等）に応じて、使用するリストを切り替えるようにしてもよい。また、作業者が自身の口癖を追加設定して完了発話リスト３３０をカスタマイズできるようにしてもよい。

また、完了判定部２４２が発話テキストから完了発話を識別する方法は、完了発話が登録された完了発話リスト３３０を利用する上記方法に限定されるものではなく、例えば、作業完了認識部２４０において、カメラ１１０から収集した音声（変換後の発話テキストでもよい）に対して完了発話とその他の自然発話とを区別する学習を繰り返す等して、ディープラーニングによる完了発話の学習を行うことにより、作業中の発話音声（または変換後の発話テキスト）から直接、完了判定部２４２が完了発話を識別できるようにしてもよい。

映像抽出部２５０には、カメラ１１０から作業中の映像が常に入力されている。映像抽出部２５０は、作業完了認識部２４０（完了判定部２４２）から完了時刻を受け取ったことをトリガとして、当該完了時刻の映像を抽出する。そして、映像抽出部２５０は、抽出した映像（完了時映像）を、完了時刻とともに作業認識部２６０に送る。

図６は、完了時映像の一例を示す図である。図６に示した画像３４０は、作業「銘板確認」の完了発話を契機として映像抽出部２５０が抽出した完了時映像の一例である。この画像３４０には、室外機３２０の一部を映したものとなっており、その中央部には銘板３２１が映っている。

作業認識部２６０は、映像抽出部２５０から受け取った完了時映像に対して、予め学習済みの認識モデルを用いて物体認識を行い、作業リスト３１０に記載されている作業に対応する対象物体を認識することによって、作業項目を特定する。例えば、「銘板確認」の作業を行ったとき、「確認完了」の発話を契機として映像抽出部２５０によって図６の画像３４０が抽出されたとすると、画像３４０に映っている銘板３２１が物体認識の結果で出力されれば、「銘板確認」の作業項目が完了したと解釈できる。そして、作業認識部２６０は、特定した作業項目を、映像抽出部２５０から受け取った完了時刻及び完了時映像（本例では画像３４０）とともに認識結果判定部２７０（認識結果判定部２７０を備えない場合は作業履歴生成部２８０）に送る。

なお、作業認識部２６０は、ＹＯＬＯ（You Only Look Once）等の既存の物体認識手法を応用して物体認識を行う。具体的には、既存の物体認識モデルは、そのままでは作業項目を特定するために必要な対象物体を認識できない。そのため、事前準備として、認識したい対象物体の画像を多数集めて、バウンディングボックスと物体名を正解値としてタグ付けした画像を用意する。このタグ付けした画像を用いて、物体認識モデルのファインチューニングを行うことで作業リスト３１０に記載の対象物体を認識できるようにする。

次に、作業認識部２６０からの出力を受けて、認識結果判定部２７０が、ステップＳ６における作業認識の結果が正常であるか否かを判定する（ステップＳ７）。具体的には、認識結果判定部２７０は、作業認識部２６０から入力された情報（特に、完了時映像及び作業項目）と作業リスト３１０とに基づいて、完了時映像が作業項目の作業を表す適切な映像であるかを判定する。

ステップＳ７において正常と判定した場合（ステップＳ７のＹＥＳ）、認識結果判定部２７０は、正常の判定結果と作業認識部２６０から入力された情報を作業履歴生成部２８０に送る。そして、作業履歴生成部２８０は、認識結果判定部２７０から入力された情報（正常／異常の判定結果、完了時刻、完了時映像、作業項目）に基づいて、作業認識を行った対象作業の作業履歴を作業報告書に記録し（正常時の作業報告書の作成）、さらに、作成した作業報告書の情報を、通信部２３０を介して情報提示装置１２０に提示する（ステップＳ８）。

図７は、作業報告書の一例を示す図である。図７に示した作業報告書３５０は、図２に示した作業リスト３１０に従ってエアコンの定期保守作業が行われるときに作成される作業報告書の一例であって、エアコンの定期保守作業で１番目に実施される「銘板確認」の作業が完了した段階の作業報告書が示されている。

図７の場合、作業報告書３５０は、作業番号（＃）３５１、作業項目３５２、完了時刻３５３、エビデンス３５４、メモ３５５、及び修正履歴３５６から構成されている。このうち、作業番号３５１及び作業項目３５２には、図２の作業リスト３１０の作業番号３１１及び作業項目３１２と同じ内容が記載される。完了時刻３５３には、当該レコードの作業の完了時刻として、作業完了認識部２４０で認識された完了時刻が記載される。エビデンス３５４には、当該レコードの作業の実施記録として、映像抽出部２５０によって抽出された完了時映像（またはその一部）が埋め込まれる。完了時映像に含まれる一部の画像をエビデンス３５４に埋め込む場合、作業履歴生成部２８０は、完了時映像のうちからブレが少ない画像を選択するようにしてもよい。ブレが少ない画像を作業報告書３５０のエビデンス３５４とすることで、作業報告書３５０の質を高めることができる。メモ３５５には、それまでの処理で発生したエラー記録や、手動による特記事項等が記載される。修正履歴３５６には、当該レコードの作業について作業履歴生成部２８０が生成した作業履歴に対して、作業者による修正が行われたか否かが記載される。

さらにステップＳ８において、作業履歴生成部２８０は、作成した作業報告書（作業履歴）に基づく情報を、情報提示装置１２０から出力して作業者に提示する。例えば、情報提示装置１２０から音声で「銘板確認完了を認識しました」等と報知するようにすれば、作業者は、作業支援システム２００が確実に作業の完了を認識して作業履歴を自動生成したことが分かるため、安心して次の作業に移ることができる。また例えば、情報提示装置１２０で作業報告書３５０を表示出力するようにしてもよく、この場合、作業者は、どのような作業履歴が生成されたかを確認することができる。

一方、ステップＳ７において異常と判定した場合（ステップＳ７のＮＯ）、認識結果判定部２７０は、異常の判定結果と作業認識部２６０から入力された情報を作業履歴生成部２８０に送る。そして、作業履歴生成部２８０は、認識結果判定部２７０から入力された情報（正常／異常の判定結果、完了時刻、完了時映像、作業項目）に基づいて、作業認識を行った対象作業の作業履歴としてエラー記録を作業報告書３５０に記録し（エラー時の作業報告書の作成）、さらに、作業報告書３５０に作成した作業履歴の情報を、通信部２３０を介して情報提示装置１２０に提示する（ステップＳ９）。

ステップＳ９におけるエラー時の作業報告書の作成を図７の作業報告書３５０を用いて説明すると、作業履歴生成部２８０は、正常時の作業報告書の作成方法（ステップＳ８）と同様に、完了時刻３５３に対象作業の完了時刻を記載し、エビデンス３５４に対象作業の完了時映像（またはその一部）を埋め込む。さらに、作業履歴生成部２８０は、エラー時特有の処理として、対象作業のレコードのメモ３５５に、完了時映像にエラーがある旨を記載する。エラーの記載方法は特に限定されないが、例えば「エビデンスにブレあり」や「銘板の型番が不一致」といったように詳細なエラー内容を記載してもよい。

そして、エラー時の作業報告書を作成した場合も、作業履歴生成部２８０は、作成した作業報告書（作業履歴）に基づく情報を、情報提示装置１２０から出力して作業者に提示する。具体的な提示方法は、ステップＳ８で説明した正常時の作業報告書の提示方法と同様でよい。このようにエラー時の情報を作業者に提示することによって、適切に作業を認識できなかったことをリアルタイムに通知できるため、作業者は作業のやり直しや作業報告書の修正などの対応を早期に実施することができ、全体的な作業時間や手間の増加を抑制する効果に期待できる。

なお、図４の処理手順では、認識結果判定部２７０による判定結果が異常であった場合（ステップＳ７のＮＯ）に、作業履歴生成部２８０によってエラー時の作業報告書を作成する（ステップＳ９）としているが、ステップＳ９とは別の手順でエラー処理を行うようにしてもよい。具体的には例えば、作業報告書３５０における対象作業の作業履歴の作成を行わずに、情報提示装置１２０からエラーを報知するようにしてもよい。このエラー報知を受けて、作業者は、手動で作業報告書３５０に作業履歴を記入するか、対象作業をやり直すことができる。

次に、ステップＳ８またはステップＳ９における作業報告書３５０の提示を受けて、作業者は対象作業の作業履歴に対して修正が必要か否かを判断する（ステップＳ１０）。このとき、修正を希望する作業者は、情報提示装置１２０で所定の修正動作を行うことによって作業報告書３５０の修正を指示する。例えば、銘板３２１を見ながら銘板確認の作業を実施したのに、熱交換器３２３を対象物体とする別の作業の作業履歴が作成されたといったように、認識結果に間違いがあった場合、作業者が音声で「違う、銘板確認」といった発言をすることによって、誤りの修正を指示する。また、情報提示装置１２０に表示された作業報告書３５０に対して修正内容を入力して修正を指示する等でもよい。

上記のような作業者による修正動作を受けて、作業支援システム２００側では、作業履歴修正部２９０が、修正動作の内容に応じて作業履歴（作業報告書３５０）を修正する（ステップＳ１１）。例えば、銘板３２１ではなく熱交換器３２３が誤認識されて、音声で「違う、銘板確認」という修正指示が行われた場合、音声による修正指示を認識するためには、音声認識部２４１が参照可能な履歴修正用の発話リストを別途用意し、さらに、このリストとの部分一致を認識する機能を有する処理部を設けることにより、履歴修正用の発話（上記例の場合「違う」）と、その後に続く修正指示内容（同、「銘板確認」）とをそれぞれ認識することができる。この認識結果に基づいて、作業履歴修正部２９０は、作業報告書３５０の「銘板確認」のレコードを修正することができる。

ステップＳ１１において作業履歴修正部２９０が作業報告書（作業履歴）を修正した場合は、修正後の作業報告書を情報提示装置１２０から作業者に提示することが好ましい。修正後の作業報告書を提示することにより、作業者は指示した修正が作業報告書３５０に反映されたかを確認でき、不十分な点があれば、再び修正を指示することができる。

また、作業履歴修正部２９０が作業報告書３５０を修正した場合は、作業報告書３５０において、該当する作業履歴のレコードに修正の記録を残すことが好ましい（図７の修正履歴３５６）。修正の記録を残すことにより、作業報告書３５０の記載内容がシステムによって自動生成された結果であるか、作業者によって修正された結果であるかを判別することができるため、作業管理者による管理や評価に役立てることが出来る。例えば、作業管理者は、作業報告書３５０の修正された項目だけをチェックして、その修正が適切であったかを検証することができる。また例えば、修正の原因がシステムの誤認識であった場合には、修正後のデータを作業認識モデルの再学習の教師データとして利用することができるので、作業認識部２６０の認識率の向上に役立てることができる。

一方、ステップＳ１０の判断において、提示された作業報告書３５０に対して修正が不要と判断された場合には（ステップＳ１０のＮＯ）、制御部２１０が、定期保守作業で実施する全ての作業の実施が完了したか否かを判定する（ステップＳ１２）。具体的には、例えば、制御部２１０が、作業履歴生成部２８０が作成した作業報告書３５０をステップＳ３で確認された作業リスト３１０と照合して、全作業の作業履歴が作成されているかを確認することによって、全作業が実施されたか否かを判定する。また例えば、全作業の完了を表す特定の完了発話「全作業終了」を作業者が発声し、作業完了認識部２４０がこの完了発話を識別した場合に、全作業が実施されたと判定するようにしてもよい。

そして、ステップＳ１２において定期保守作業で実施する作業が残っていると判定された場合には（ステップＳ１２のＮＯ）、ステップＳ４に戻り、作業者は、残っている作業のうちの１作業（例えば、２番目の作業である室外機のファンの異音確認）の実施を開始する。このような処理を繰り返すことによって、定期保守作業の全作業について作業履歴が作成された作業報告書３５０が作成される。

そして、ステップＳ１２において定期保守作業の全作業が完了したと判定された場合には（ステップＳ１２のＹＥＳ）、制御部２１０または作業履歴生成部２８０が、通信部２３０を介して、作業管理システム１３０に最終的な作業報告書３５０を送付して、定期点検作業が完了する。

なお、制御部２１０（または作業履歴生成部２８０）は、任意のタイミングで（例えば１の作業に関する作業履歴を生成するごとに）、作業報告書３５０の内容を作業リスト３１０と比較して確認し、作業報告書３５０に作業の実施漏れや実施順番のずれがあった場合には、情報提示装置１２０にアラートを出力する等して作業者に報知するようにしてもよい。このような処理を行うことによって、作業の抜け漏れを早期に作業者に報知することができるため、抜け漏れした作業の実施に伴う作業場所の再移動や事前作業のやり直し等を抑制し、全体の作業時間の増加を抑える効果に期待できる。

以上に説明したように、本実施形態に係る作業支援システム２００によれば、作業者がカメラ１１０を装着して複数の作業工程を含む一連の作業を実施する際、各作業工程の完了時に作業工程の完了を表す簡単な発話（完了発話）を行うだけで、この完了発話を契機として自動的に、信頼性の高い作業報告書を作成することができる。すなわち、本実施形態に係る作業支援システム２００は、作業者の負荷を軽減しながらも、信頼度の高い作業報告書を作成することができる。

さらに、本実施形態に係る作業支援システム２００によれば、映像認識によって作業項目を特定するため、現場で対象機器に臨んだ状況で完了発話がなされたことを保証できる。そのため、音声のみで自動入力する場合や、作業者が手動で入力する場合と比べて、作業実施のエビデンスとしての信頼度を高めることができる。また、このエビデンスを作業報告書に埋め込んで出力可能なことにより（図７のエビデンス３５４）、さらに信頼度を高めることができる。

また、本実施形態に係る作業支援システム２００によれば、１の作業工程の完了を認識するごとに、作業履歴生成部２８０が作成した作業履歴（作業報告書３５０）が作業者に提示されることによって、作業支援システム２００が認識できなかった場合、あるいは誤認識した場合であっても、速やかな修正が可能となり、作業報告書３５０の誤りをリカバリすることができる。

（１－３）変形例
なお、本実施形態に係る作業支援システム２００は、上述した構成及び処理手順に限定されるものではなく、以下に説明する様々な変形例を採用し得る。これらの変形例は、適宜組み合わせてもよく、さらに、後述する本発明の第２の及び第３の実施形態で採用してもよい。

（１－３－１）第１の変形例
図１では、カメラ１１０と作業支援システム２００を独立した構成とし、作業支援システム２００の内部構成を示したが、本実施形態におけるシステム構成は、これに限定されるものではない。例えば、作業支援システム２００は作業者が所持するスマートフォン上で動作するとして説明したが、本実施形態に係る作業支援システム２００は、その一部または全てが、スマートフォン以外のデバイス、具体的には、タブレット端末、ノードＰＣ、またはクラウド等で動作するものとしてもよい。

クラウドを利用した作業支援システム２００の実現方法の一例について具体的に説明する。例えば、カメラ１１０に、ＬＴＥ回線を用いた無線通信が可能なＬＴＥ回線接続部と、情報提示装置１２０としても機能するマイクを備えるようにした場合、作業中にカメラ１１０が収集した映像及び音声をＬＴＥ回線を用いてクラウド上にアップロードして、作業支援システム２００の動作を全てクラウド上で実行するようにしてもよい。また、このように構成した場合、作業認識部２６０による作業の認識結果をクラウドからカメラ１１０に送信することで、作業者はカメラ１１０のマイクから認識結果を聞くことができる。

また、クラウドを利用した作業支援システム２００の実現方法の別例として、スマートフォン上で作業完了認識部２４０及び映像抽出部２５０が動作するようにして、映像抽出部２５０による完了時映像の抽出までの処理をスマートフォン上で実行し、完了時刻及び完了時映像をクラウドにアップロードするようにしてもよい。近年、性能の向上によってスマートフォン等のモバイル端末においても画像認識が可能になってきているものの、まだ認識精度が十分ではない。一方、収集した全ての映像や音声をクラウドにアップロードすることは、通信回線料の高騰が懸念される。そこで、上記のように、映像抽出部２５０による処理までを行った後のデータをクラウドにアップロードして、その後の作業認識部２６０による処理をクラウド上で実行して、認識結果のみをスマートフォンに返すといった構成にすることで、通信回線料の低減と認識精度の向上の双方に考慮した構成を実現することができる。

（１－３－２）第２の変形例
映像抽出部２５０による完了時映像の抽出の変形例について説明する。上述した作業支援システム２００の説明では、映像抽出部２５０が抽出する完了時映像の一例として、カメラ１１０が撮影した映像から完了時刻の一枚の画像を抽出した画像３４０（図６参照）を例示したが、映像抽出部２５０による完了時映像の抽出は、これに限定されるものではない。

例えば、映像抽出部２５０は完了時映像として、複数枚の画像を抽出したり、短時間の映像を抽出したりしてもよい。複数枚の画像や短時間の映像を抽出する場合は、完了時刻を基準として、その付近（特に完了時刻以前）の時間帯から抽出することが好ましい。例えば、映像抽出部２５０が、カメラ１１０が撮影した映像から完了時刻以前の数秒間の複数枚の画像（または映像）を抽出した場合、作業認識部２６０は、抽出された画像の全てのフレームに対して物体認識を行うことができる。この場合、作業認識部２６０は、一枚の画像では認識ができなかったときに、過去のフレームの認識結果も利用して物体認識を行うことができるため、作業項目の認識精度を向上させることができる。すなわち、完了時映像として時系列の画像情報を用いる場合には、演算量が増加するという問題はあるものの、作業項目の認識精度を向上するという効果に期待できる。

また例えば、作業項目ごとに、作業完了時を映した最適な映像としての模範映像（画像でもよい）を予め用意しておき、映像抽出部２５０が、カメラ１１０が撮影した映像を完了時刻から所定期間遡ったなかで、模範映像との類似度が最も高いタイミングの映像を、完了時映像として抽出するようにしてもよい。映像（画像）の類似度の計算には、例えば既知の特徴点マッチング等の手法を利用することができる。このように、模範映像を利用して完了時映像を抽出する場合、作業報告書３５０のエビデンス３５４に埋め込まれる完了時映像は、模範映像に類似したものとなるため、作業報告書３５０の質を向上させることができる。また、模範映像に近い完了時映像が抽出されることで、作業認識部２６０による作業項目の認識率を向上させる効果にも期待できる。

また、映像抽出部２５０は、完了時映像の抽出において、完了時刻を基準として抽出した複数枚の画像のうちから、ブレが少ない画像を完了時映像として選択するようにしてもよい。ブレが少ない画像を完了時映像とすることによって、作業認識部２６０による作業項目の認識率を向上させることができる。

（１－３－３）第３の変形例
作業認識部２６０の変形例として、作業認識部２６１について説明する。上述した作業支援システム２００の説明では、作業認識部２６０は、作業中の映像から映像抽出部２５０が抽出した完了時映像に対して物体認識を行い、対象物体の認識結果に基づいて作業リストを検索することにより、作業項目を推定（認識）していた。しかし、例えば後述する図９（Ａ）の画像３６０のように、完了時映像に複数の対象物体が映っている場合には、作業認識部２６０は、完了時映像の物体認識から作業項目を一意に特定できない可能性がある。第３の変形例は、このような課題を解決するために有効なものであり、作業認識部２６０に代えて、作業認識部２６１を採用する。

図８は、第３の変形例における作業認識部の内部構成を示す図である。図８に示したように、作業認識部２６１は、物体認識部２６２、注視点認識部２６３、及び統合作業認識部２６４を備えて構成される。

物体認識部２６２は、映像抽出部２５０によって切り出された完了時映像から、作業の対象物体の候補となる物体を認識する機能を有する。注視点認識部２６３は、映像抽出部２５０によって切り出された完了時映像から、予め定められた特定の注視点（本例では人差し指による指差し）を認識する機能を有する。統合作業認識部２６４は、物体認識部２６２及び注視点認識部２６３の認識結果に基づいて、作業項目を推定する機能を有する。

作業認識部２６１における処理の流れを説明する。まず、映像抽出部２５０で抽出された完了時映像が、物体認識部２６２及び注視点認識部２６３にそれぞれ入力される。

物体認識部２６２は、入力された完了時映像に対して所定の認識処理を行うことにより、作業の対象物体の候補となる物体（候補物体）を認識し、候補物体の認識結果を統合作業認識部２６４に出力する。物体認識部２６２による候補物体の認識結果としては、例えば、認識した物体が含まれるバウンディングボックスの情報と、物体の名称を示す情報とが出力される。なお、上記のバウンディングボックスの情報は、例えば、バウンディングボックスにおける、左上頂点の（ｘ，ｙ）座標、横幅の大きさ、縦幅の大きさで構成される。

一方、注視点認識部２６３は、入力された完了時映像に対して所定の認識処理を行うことによって注視点（人差し指による指差し）を認識し、注視点の認識結果として人差し指の関節情報を統合作業認識部２６４に出力する。

そして、統合作業認識部２６４は、注視点認識部２６３から得た人差し指の関節情報から、人差し指の指差し方向を表すベクトル（指差しベクトル）を生成し、物体認識部２６２による候補物体の認識結果から、指差しベクトルの先に存在する対象物体を探索する。さらに、統合作業認識部２６４は、探索で該当した対象物体をキーとして、作業リスト３１０を検索することにより、対象物体に対応する作業項目を推定し、この作業項目を完了時刻及び完了時映像とともに出力する。

図９は、第３の変形例を説明するための完了時映像の一例である。図９（Ａ）に示した画像３６０、及び図９（Ｂ）に示した画像３７０は、映像抽出部２５０によって抽出される完了時映像の一例であって、エアコンの室外機３２０の前面が映されている。画像３６０と画像３７０を比較すると、銘板３２１及びファン３２２が映っている点で共通する一方、画像３７０には、銘板３２１を指差している作業者の人指し指３７１が映っている点で異なる。

ここで、銘板３２１及びファン３２２は何れも、図２に示した作業リスト３１０に登録された作業の対象物体である。したがって、図９（Ａ）に示した画像３６０が完了時映像とされたときに作業認識部２６０が作業項目の認識を行うとすると、銘板３２１を対象物体とする作業（作業番号「１」の「銘板作業」）であるか、ファン３２２を対象物体とする作業（作業番号「２」の「室外機のファンの異音確認」）であるかを認識することが難しい。そこで、本変形例では、作業の完了時に、図９（Ｂ）の画像３７０のように、作業者が作業の対象物体を指差しすることにする。そして、このような画像３７０が完了時映像とされたとき、作業認識部２６１が上述した認識処理を行うと、統合作業認識部２６４が、人差し指３７１の指差しベクトルの先に存在する銘板３２１を作業の対象物体であると推定し、対応する作業番号「１」の「銘板作業」を認識することができる。なお、完了時映像において指差しベクトルの先に複数の物体が存在する場合には、人差し指３７１の指先からの距離が近い物体を優先して、作業の対象物体であると推定することが好ましい。すなわち、図９（Ｂ）の銘板３２１のように、人差し指３７１の指先に重なっている物体が存在する場合は、これを最優先で作業の対象物体に推定する。

なお、上記例では注視点認識部２６３が、注視点の認識の一例として、人差し指による指差しを画像認識する方法を説明したが、本変形例において、注視点認識部２６３による注視点の認識方法はこれに限定されるものではない。例えば、装着者の視線（視点）を検出できるアイトラッキンググラスを作業者が装着するようにし、注視点認識部２６３が、アイトラッキンググラスから完了時刻における視線座標情報（ｘ，ｙ）を取得するようにしてもよい。この場合、統合作業認識部２６４は、物体認識部２６２による認識結果を用いて、完了時刻における視線座標情報を含むバウンディングボックスを判定することによって、作業の対象物体を特定することができる。また、アイトラッキンググラスを用いた方法に限らず、レーザポインタ等のライトで作業完了時の対象物体を指し示し、そのライトの照射先を認識するような方法であってもよい。

また、他の注視点の認識の例として、対象物体を指で囲む動作などのジェスチャー認識でもよいし、人差し指の指先の特殊なマークを付ける（例えば、手袋の指先だけ色を変える、二次元バーコードを印字するなど）ことで指先を認識してもよい。さらに、複数の作業者がいた場合には、色の違いや二次元バーコードの違いに基づいて、作業者を特定することもできる。

また、作業認識部２６０及び作業認識部２６１による処理の説明では、ＹＯＬＯ等の物体認識モデルを用いて物体を特定する方法を示したが、本発明における物体認識の方法はこれに限るものではなく、映像から物体を認識する様々な既知の方法を利用してよい。具体的には例えば、作業の対象物体となり得るすべての物体に二次元バーコードを予め貼付し、完了時映像からこの二次元バーコードを識別することによって対象物体を特定する等してもよい。

（１－３－４）第４の変形例
上述した作業支援システム２００の説明では、作業認識部２６０は、作業中の映像から映像抽出部２５０が抽出した完了時映像に対して物体認識を行い、対象物体の認識結果に基づいて作業リストを検索することにより、作業項目を推定していた。しかし、全体作業のなかに対象物体が同じ複数の作業が存在する場合、対象物体の認識結果だけでは作業項目を推定することが難しい。第４の変形例は、このような課題を解決するために有効なものであり、作業認識部２６０による作業項目の推定において、対象物体の認識結果だけでなく完了発話も利用できるようにすることで、対象物体の認識結果だけでは作業項目を絞り込むことができない場合でも、作業項目を区別できるようにする。

第４の変形例では、作業の完了時に作業者が発するべき完了発話が、作業ごとに予め定められる。この完了発話は、全ての作業で相異なるものでなくてもよいが、少なくとも、対象物体が同じ作業のなかでは作業ごとに異なる完了発話が定められるとする。

図１０は、第４の変形例における作業支援システムの内部的な処理の流れを示す図である。第１の実施形態で説明した図５と比較すると、図１０では、完了判定部２４２から、完了時刻だけでなく完了発話も出力される点が特徴的である。第４の変形例において、完了判定部２４２は、発話テキストと完了発話リスト３３０との部分一致検索において一致した完了発話を、作業認識部２６０に出力する。また、図１０に示した作業リスト３８０は、第４の変形例で用いられる作業リストの一例であり、前述した作業リスト３１０と比較すると、作業ごとに定められた完了発話を示す完了発話３８１の欄が追加されている。

図１０のように構成された第４の変形例では、作業認識部２６０は、完了時映像への物体認識によって認識した対象物体と、完了判定部２４２から入力された完了発話との組み合わせを用いて、作業リスト３８０を検索することにより、同一の物体を対象とする複数の作業が存在する場合でも、作業項目を特定することができる。

具体的には例えば、図１０の作業リスト３８０の場合、「室外機のファンの異音確認」の作業項目と「室外機のファンの異常振動確認」の作業項目は、ともに対象物体が「室外機ファン」である。ここで、作業者が室外機３２０のファン３２２を見ながら「異音なし」の完了発話を発声した場合には、作業認識部２６０は、完了時映像からファン３２２を認識し、完了判定部２４２から「異音なし」の完了発話を取得するため、これらの組み合わせで作業リスト３８０を検索することにより、完了した作業項目を「室外機のファンの異音確認」であると特定することができる。一方、作業者が室外機３２０のファン３２２を見ながら「異常振動なし」の完了発話を発声した場合には、作業認識部２６０は、完了した作業項目を「室外機のファンの異常振動確認」であると特定することができる。

以上のように、第４の変形例によれば、作業認識部２６０が、作業項目の推定において完了発話の種類も利用できるようにすることで、複数の作業項目に対応する対象物体を完了時映像から認識した場合でも、作業項目を区別することができるため、作業項目の認識精度を高める効果に期待できる。また、第４の変形例によれば、完了時映像に複数の対象物体が映っていて、作業認識部２６０が複数の対象物体を認識した場合でも、完了発話と組み合わせて作業リスト３８０を検索することによって、作業項目を区別することができるため、作業項目の認識精度を高める効果に期待できる。

（２）第２の実施形態
第２の実施形態に係る作業支援システム４００について、第１の実施形態に係る作業支援システム２００との相違点を中心に説明する。

図１１は、第２の実施形態に係る作業支援システムの内部的な処理の流れを示す図である。図１１に示したように、作業支援システム４００の構成は、記憶部２２０に対象機器リスト４１０が格納され、作業完了認識部２４０の代わりに作業完了認識部４４０を備えること以外は、作業支援システム２００と同じである。なお、図１１では図示を省略しているが、作業支援システム４００は、第１の実施形態において拡張的な機能を有する構成として説明した認識結果判定部２７０及び作業履歴修正部２９０を備えてもよい。

図１１に示したように、対象機器リスト４１０には、各作業の対象物体が登録されている。なお、以下の説明では、対象機器リスト４１０に登録されている対象物体を、作業認識部２６０の物体認識において認識される「対象物体」（作業リスト３１０における対象物体３１４）と表記上の区別をするために「対象機器」と称するが、実質的には同じものを指す。したがって、対象機器リスト４１０は、例えば作業リスト３１０の対象物体３１４に記載されている内容を抽出することによって生成可能であり、記憶部２２０に格納される。

作業完了認識部４４０は、音声認識部２４１、完了判定部２４２、及び対象機器認識部４４１を有して構成される。音声認識部２４１及び完了判定部２４２が有する機能は、図５を参照しながら前述した通りであるが、第２の実施形態では、音声認識部２４１は、音声を変換した発話テキストを、完了判定部２４２だけでなく対象機器認識部４４１にも送る。そして、対象機器認識部４４１は、音声認識部２４１から入力された発話テキストを用いて、対象機器リスト４１０との部分一致検索を行い、一致する対象機器が存在した場合には、当該対象機器を表す情報を作業履歴生成部２８０に送る機能を有する。

なお、第２の実施形態では、作業者は、作業の完了時に、完了発話と合わせて作業の対象機器を発声することが求められる。具体的には例えば、銘板確認の作業が完了した際、作業者は「銘板確認完了」等と発声する。

作業完了認識部４４０には、カメラ１１０が作業中に収集した音声が常時入力されており、上記具体例の発声がされたとき、音声認識部２４１が、音声を「銘板確認完了」という発話テキストに変換し、この発話テキストを完了判定部２４２及び対象機器認識部４４１に送る。

そして、発話テキストが入力された完了判定部２４２は、発話テキストと完了発話リスト３３０との部分一致検索によって「確認完了」の部分一致を確認することで、作業完了を判断し、完了時刻を決定して映像抽出部２５０に送る。また、同じく発話テキストが入力された対象機器認識部４４１は、発話テキストと対象機器リスト４１０との部分一致検索によって「銘板」という対象機器の部分一致を確認し、これを作業履歴生成部２８０に送る。

一方、カメラ１１０が作業中に収集した映像が入力される映像抽出部２５０では、完了判定部２４２から入力された完了時刻に基づいて完了時映像を抽出し、抽出した完了時映像を完了時刻とともに作業認識部２６０に送る。そして、作業認識部２６０は、映像抽出部２５０から受け取った完了時映像に対して対象物体の認識を行い、作業リスト３１０を参照して作業項目を特定し、完了時刻、完了時映像、及び対象物体とともに作業履歴生成部２８０に送る。

以上の処理によって、作業履歴生成部２８０には、対象機器認識部４４１から対象機器を示す情報が入力され、作業認識部２６０から完了時刻、完了時映像、作業項目、及び対象物体を示す情報が入力される。これらの入力情報を受け取った作業履歴生成部２８０は、まず、対象機器認識部４４１による認識結果である対象機器と、作業認識部２６０による認識結果である対象物体とが一致するか否かを判定する。

対象機器と対象物体とが一致した場合、作業履歴生成部２８０は、例えば「銘板確認が確実に完了しました」といった音声を情報提示装置１２０から出力させる等して、作業の完了確認ができた旨を作業者に明示する。第２の実施形態ではこのような処理が行われることにより、各作業の完了時点で、当該作業の作業報告書を作成するために必要な認識処理が正常に行われたことを作業者に認識させられるため、作業者は安心して次の作業に取り掛かることができる。

一方、対象機器と対象物体とが一致しなかった場合には、作業履歴生成部２８０は、例えば「映像認識結果は熱交換器の確認でした。きちんと銘板を確認しましたか？」といった音声を情報提示装置１２０から出力させる等して、作業の完了確認で生じた問題点を作業者にフィードバックする。第２の実施形態ではこのような処理が行われることにより、例えば作業者が作業を勘違いして実施した場合等に、作業の誤りを早期に気付かせることができ、作業の抜け漏れを防止することができる。結果として、信頼性の高い作業報告書の作成に期待することができる。

（３）第３の実施形態
第３の実施形態に係る作業支援システム５００について、第１の実施形態に係る作業支援システム２００との相違点を中心に説明する。第３の実施形態に係る作業支援システム５００は、例えば、一連の作業において実施した作業（作業項目）に応じたインセンティブが作業者に付与される場合に適用できる。

図１２は、第３の実施形態に係る作業支援システムの構成例を示すブロック図である。図１２に示したように、作業支援システム５００は、図１に示した作業支援システム２００の各構成に、報酬換算部５１０を追加して構成される。

報酬換算部５１０は、作業の完了状況に応じて、作業者に付与されるインセンティブ（報酬）を算出する機能を有する。作業支援システム５００では、第１の実施形態で説明した構成によって、一連の作業に含まれる複数の作業項目のうち、作業者が実施を完了した作業項目を認識することができる。報酬換算部５１０は、この完了した作業項目の認識結果に基づいて、予め設定された各作業のポイントを参照することにより、作業者に付与されるインセンティブを算出することができる。報酬換算部５１０は、算出したインセンティブ（各作業項目で獲得したポイント等でもよい）を、作業項目が完了するごとに、情報提示装置１２０等に出力することで、作業者に現在のインセンティブを通知することができる。

このような第３の実施形態に係る作業支援システム５００によれば、複数の作業工程（作業項目）を含む一連の作業の実施において、各作業工程を確実に実施することが、作業者のインセンティブに影響することから、丁寧な作業を促進し、結果的に保守作業等における信頼性を向上することに期待できる。従来、複数の作業工程を含む保守作業等の現場では、作業をいかに早く終わらせるかを重視して、各作業工程で丁寧な点検をせずに、次の現場に向かおうとする作業者が存在していたが、第３の実施形態に係る作業支援システム５００はこのような問題の解消を支援することができる。

なお、上記の説明では、インセンティブを表す手段の一例としてポイントを挙げたが、第３の実施形態においては、作業者のモチベーションを向上し得る手段であればこれに限定されない。例えば、ポイントを金額に換算してもよいし、作業管理者による作業者の評価に用いられるようにしてもよい。

また、第３の実施形態においては、ポイントの付与方法についても、特定の方法に限定されるものではない。例えば、作業リスト３１０に登録された作業ごとにポイントを設定して付与するようにしてもよいし、作業リスト３１０には登録されていない作業であるが、評価に値する作業の実施に対して、所定のポイントを付与する等してもよい。「評価に値する作業」としては例えば、故障に通じる予兆を点検する作業（具体的には、各対象機器に小さい亀裂がないか確認する、室外機の前に障害物が置かれていないか確認する、室外機の周辺の草むしりを行う等）が挙げられる。このように、本来の作業工程には含まれない作業に対してもポイントを付与可能にすることにより、作業者のモチベーションを高め、サービスの質を向上させる効果に期待できる。

（４）第４の実施形態
第４の実施形態に係る作業支援システム６００について、第１の実施形態に係る作業支援システム２００との相違点を中心に説明する。

図１３は、第４の実施形態に係る作業支援システムの構成例を示すブロック図である。図１３に示したように、作業支援システム６００は、図１に示した作業支援システム２００の各構成に、作業認識精度算出部６１０を追加して構成される。作業支援システム６００では、第１の実施形態で説明した構成によって、一連の作業に含まれる複数の作業項目のうち、作業者が実施を完了した作業項目を認識することができる。この作業項目の認識結果に対して、作業認識精度算出部６１０は、作業内容の確からしさを算出し、出力する機能を有する。

図１４は、第４の実施形態における作業内容の確からしさの判定を説明するための図である。図１４には、作業１～作業５を含む一連の作業が実施されるなかで、作業２を例にとって、作業認識精度算出部６１０がその作業内容の確からしさを算出するイメージが示されている。ここで、図１４に示した作業１～５は、図２に例示した作業リスト３１０の＃１～＃５の作業に対応しているとする。すなわち、作業２は、作業リスト３１０の＃２の作業「室外機のファンの異音確認」に対応する。

作業２完了時刻において作業２の完了発話が発声されたとき、作業支援システム６００では、前述した各部による処理が行われることで、作業２の完了が認識される。このとき、作業認識精度算出部６１０は、カメラ１１０が収集した映像のうちから、完了が認識された作業項目が実施された区間の映像（作業２の作業区間映像）を抽出し、次段落以降に説明する手順で作業内容の確からしさを算出し、算出結果を出力する。なお、図１４において、作業２は、作業１完了時刻から作業２完了時刻までの間に実施されていることが明らかであり、作業認識精度算出部６１０はこの区間の映像を作業２の作業区間映像として抽出すればよい。

まず、作業認識精度算出部６１０は、所定の固定秒数（例えば１秒間）のウインドウを用意し、作業２の作業区間映像に対して、上記ウインドウを開始位置から指定秒（例えば１秒）ずつずらして、作業２の映像群（例えば、３０ｆｐｓの場合は３０枚の画像）を取得する。

次に、作業認識精度算出部６１０は、取得した作業２の映像群を、作業１～作業５を分類するクラス分類モデルに入力して、クラス分類を行う。この結果、作業２の映像群に含まれる各画像は、作業１～作業５の何れかのクラスに分類される。上記のクラス分類は、例えば、クラス分類モデルに、Auto Encoder等で特徴量に変換された特徴量ベクトルを用いて、ＮＮ（Neural network）でクラス分類する方法が考えられるが、これに限定されるものではなく、ＬＳＴＭ（Long Short Term Memory）を用いて特徴ベクトルにするなどでもよいし、各画像の画素値をそのまま（または縮小して）特徴ベクトルとしてもよい。

次に、作業認識精度算出部６１０は、ウインドウごとのクラス分類の結果の割合から、作業２の作業内容の確からしさを算出する。例えば図１４には、６秒間の作業２の作業区間映像に対して、１秒間の固定ウインドウを用いて、１秒ごとにウインドウをずらした場合の例が示されており、このとき、作業２の映像群として６つのウインドウが取得される。そして、この６つのウインドウのそれぞれについてクラス分類をした結果、２つの作業１、４つの作業２、１つの作業５に分類されていることから、作業内容が作業２であることの確からしさは「４／６（≒６６．７％）」と算出できる。したがって、この場合、作業認識精度算出部６１０は、６６．７％という確からしさを出力する。クラス分類の結果は、各ウインドウに取得された映像（画像）の内容が、どの作業の作業内容に類似しているかを分類したものであるから、作業２の分類結果が少ない場合には確からしさの値が小さくなり、実際に作業２の作業内容が実施されたことへの信頼度が低いことが示される。一方、作業２の分類結果が多い場合には確からしさの値が大きくなり、実際に作業２の作業内容が実施されたことへの信頼度が高いことが示される。

本実施形態において、作業認識精度算出部６１０によって算出された作業内容の確からしさの出力先は特に限定されないが、例えば、作業履歴生成部２８０に出力し、作業履歴生成部２８０が、作業報告書を作成する際に、作業項目に紐付けて記載するようにしてもよい。この場合、作業報告書が情報提示装置１２０や作業管理システム１３０に送信されることで、作業者や作業管理者は、紐付けられた作業項目の作業の信頼性を確認することができる。なお、作業内容の確からしさは、作業者には提示せずに、作業管理者だけが閲覧可能な情報として保存するようにしてもよい。このようにする場合、作業管理者は、確からしさが低い作業項目について、作業報告書に添付されている映像（エビデンス）を見ることによって、作業が適切に実施されたか否かの確認を、確認時間を低減しながらも効率的に行うことができる。

またさらに、本実施形態では、作業認識精度算出部６１０によって算出された作業内容の確からしさに対して、予め設定された閾値との比較を行うことで、実施された作業項目に対する信頼性を判断するようにしてもよい。そして、確からしさが閾値以下であった場合には、リアルタイムで情報提示装置１２０から「本当に作業を実施しましたか？」のような出力を行って、作業者に対して確認することにより、作業者に対する監視効果等を高めることに期待できる。

なお、本実施形態では、作業認識精度算出部６１０による作業内容の確からしさの算出をリアルタイムで実行しないようにしてもよく、例えば、全ての作業項目について作業報告書の作成が完了した際に、作業認識精度算出部６１０を動作させて、各作業項目について作業内容の確からしさを算出するようにしてもよい。このように処理タイミングをずらすことで、作業支援システム６００における処理負荷の集中を避けることができる。また、確からしさの算出結果の待ち時間が作業中に発生することを回避できるため、作業者の作業進行を妨げない効果にも期待できる。

以上、本発明の実施形態や変形例を説明したが、これらは本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態や変形例の構成の一部を、他の実施形態や変形例の構成に置き換えることが可能であり、また、ある実施形態や変形例の構成に、他の実施形態や変形例の構成を加えることも可能である。また、それぞれの実施形態や変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

例えば、第１の実施形態では、カメラ１１０で収集された作業中の生の音声が作業支援システム２００に入力され、この音声をテキスト変換した発話テキストにおいて完了発話が見つかったことを契機として各作業の完了を認識し、当該作業の認識を開始するとしたが、本発明で作業支援システムに入力される情報は、少なくとも作業者の行動から各作業の完了を判別できるものであればよく、生の音声に限定されず、生の音声をデジタル信号に変換した音声データや、人工的に生成した音声データ等であってもよい。言い換えると、本発明の作業支援システムは、作業中に収集された音声データに基づいて、作業の完了を認識することができる。上記の人工的に生成した音声データについて具体例を挙げると、口の動き（口周辺の筋肉の動き等でもよい）を認識する専用装置を作業者に装着させ、この専用装置が作業者の口の動きから人工の音声データを生成して作業支援システムに入力することが考えられる。この構成は、周囲の騒音が大きい等、音声を収集することが困難な現場で作業を実施する際に特に有効であり、作業者が無声で完了発話を行っても、作業支援システムは各作業の完了を判別することができる。

また例えば、本発明の作業支援システムは、音声または音声データの代わりに、カメラ１１０が収集した映像に基づいて、各作業の完了を判別するとしてもよい。具体的には例えば、各作業の完了時、作業完了を表す所定の動き（首振りやジェスチャー等）を作業者に行わせるようにすれば、作業支援システムは、カメラ１１０が収集した映像を分析して上記の首振りやジェスチャー等を認識することで、各作業の完了を判別することができる。このように構成する場合、第１の実施形態に係る作業支援システム２００は、カメラ１１０が音声（または音声データ）を収集しなくても、カメラ１１０が収集した映像に基づいて、作業の完了、及び作業項目を認識し、作業報告書を自動作成することができる。

また例えば、第１の実施形態では、認識結果判定部２７０が、完了時映像に映されているメーター値や銘板の型番等の情報をＯＣＲ機能等を利用して読み取ってもよいことを説明したが、さらに、完了時映像から読み取った情報を、作業履歴生成部２８０が作業報告書３５０に記載するようにしてもよい。このような処理を行うことにより、具体的な数値データをエビデンスとして記録することができるため、作業報告書の信頼度をさらに高めることができる。

また、保守対象の部品に部品の状態を取得できるセンサがついており、そのセンサがネットワーク接続されている時に、完了判定部２４２が出力した作業完了時刻のセンサデータをネットワークを介して取得して、センサデータを記録するとしてもよい。例えば、メーターにメーター値を出力するセンサがついている場合、センサデータとして作業完了時刻のメーター値を取得し、記録することができる。また例えば、ファン３２２に電圧を取得するセンサがついている場合、センサデータとして作業完了時刻付近の時系列の電圧データを取得し、正常状態と比較して、正常か異常かを判断したり、その判断結果を記録したりすることもできる。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、図面において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実施には殆ど全ての構成が相互に接続されていると考えてもよい。

１１０ カメラ
１２０ 情報提示装置
１３０ 作業管理システム
２００，４００，５００，６００ 作業支援システム
２１０ 制御部
２２０ 記憶部
２３０ 通信部
２４０，４４０ 作業完了認識部
２４１ 音声認識部
２４２ 完了判定部
２５０ 映像抽出部
２６０，２６１ 作業認識部
２６２ 物体認識部
２６３ 注視点認識部
２６４ 統合作業認識部
２７０ 認識結果判定部
２８０ 作業履歴生成部
２９０ 作業履歴修正部
３１０，３８０ 作業リスト
３２０ 室外機
３２１ 銘板
３２２ ファン
３２３ 熱交換器
３３０ 完了発話リスト
３４０，３６０，３７０ 画像
３５０ 作業報告書
４１０ 対象機器リスト
４４１ 対象機器認識部
５１０ 報酬換算部
６１０ 作業認識精度算出部

Claims (14)

1. 作業の実施中に収集される情報を利用して作業報告書を作成する作業支援システムであって、
   前記情報に含まれる音声データから前記作業の完了を判断し、前記作業の完了時刻を認識する作業完了認識部と、
   前記作業完了認識部によって認識された前記作業の完了時刻を基準にして、前記情報に含まれる映像から前記作業の完了時映像を抽出する映像抽出部と、
   前記映像抽出部によって抽出された前記作業の完了時映像に対して認識モデルを用いた物体認識を行うことにより前記作業の対象物体を認識し、前記作業の作業項目ごとにその対象物体が紐付けられた作業リストを前記認識した対象物体に基づいて検索することにより前記作業の作業項目を認識する作業認識部と、
   前記作業完了認識部及び前記作業認識部による認識結果に基づいて、前記作業の作業履歴を前記作業報告書に生成する作業履歴生成部と、
   を備えることを特徴とする作業支援システム。
2. 前記作業完了認識部は、前記音声データから所定の発話を識別することによって前記作業の完了を判断し、前記所定の発話が行われたタイミングを前記作業の完了時刻と認識する
   ことを特徴とする請求項１に記載の作業支援システム。
3. 前記作業の作業履歴には、前記作業認識部が前記作業の作業項目を認識するために用いた前記完了時映像またはその一部が組み込まれる
   ことを特徴とする請求項１に記載の作業支援システム。
4. 前記作業項目が異なる複数の前記作業を含む一連作業が実施される場合、
   前記複数の作業のそれぞれについて、
   前記一連作業を通して収集された前記情報から前記作業完了認識部が１の前記作業の完了を判断して当該作業の完了時刻を認識するごとに、前記映像抽出部による当該作業の前記完了時映像の抽出、及び前記作業認識部による当該作業の前記作業項目の認識が行われ、
   前記作業履歴生成部は、当該作業に関する前記作業完了認識部及び前記作業認識部の認識結果に基づいて、当該作業の作業履歴を前記作業報告書に生成する
   ことを特徴とする請求項１に記載の作業支援システム。
5. 前記作業履歴生成部は、前記作業の作業履歴を前記作業報告書に生成するごとに、当該作業履歴に基づく所定の提示情報を出力する
   ことを特徴とする請求項４に記載の作業支援システム。
6. 修正指示に応じて前記作業報告書を修正する作業履歴修正部をさらに備え、
   前記作業履歴修正部は、前記作業報告書を修正するとき、修正対象の前記作業の作業履歴に修正記録を追加する
   ことを特徴とする請求項５に記載の作業支援システム。
7. 前記作業認識部による前記作業項目の認識のために用いられた前記完了時映像が、当該作業項目の作業を表す映像として適切であるかを判定する認識結果判定部をさらに備える
   ことを特徴とする請求項１に記載の作業支援システム。
8. 前記作業の完了時を映した最適な映像として模範映像が予め保持され、
   前記映像抽出部は、前記作業の実施中に収集された前記映像から、前記完了時刻を基準とした所定の時間幅のなかで前記模範映像との類似度が高い映像を、前記完了時映像として抽出する
   ことを特徴とする請求項１に記載の作業支援システム。
9. 前記作業認識部は、前記完了時映像から認識した前記作業の対象物体と、前記作業完了認識部で識別された前記所定の発話との組み合わせに基づいて、前記作業の作業項目を認識する
   ことを特徴とする請求項２に記載の作業支援システム。
10. 前記作業認識部は、
    前記完了時映像に所定の認識処理を行って、前記完了時映像に含まれる１以上の物体と特定の注視点とを認識し、
    前記認識した前記１以上の物体のうちから、前記注視点に基づいて前記作業の対象物体を特定し、
    前記特定した前記作業の対象物体に基づいて前記作業の作業項目を認識する
    ことを特徴とする請求項１に記載の作業支援システム。
11. 前記作業完了認識部は、前記音声データから、前記作業の完了を表す所定の完了発話を識別することによって、前記作業の完了を判断して前記作業の完了時刻を認識するとともに、前記音声データから、前記作業の対象機器を表す発話を識別することによって、前記作業の対象機器を認識し、
    前記作業認識部は、前記完了時映像から認識した前記作業の対象物体に基づいて、前記作業の作業項目を認識し、
    前記作業履歴生成部は、前記作業の作業履歴を生成する際、前記作業認識部で認識された前記作業の対象物体と、前記作業完了認識部で認識された前記作業の対象機器とが一致するかを比較する
    ことを特徴とする請求項２に記載の作業支援システム。
12. 前記作業認識部が前記作業項目を認識した前記作業について、当該作業の実施中に収集された前記映像から、当該作業項目の作業内容としての確からしさを算出する作業認識精度算出部をさらに備える
    ことを特徴とする請求項１に記載の作業支援システム。
13. 前記一連作業において前記複数の作業が実施されるなかで、各作業の完了状況に応じて、作業者に付与されるインセンティブを算出する報酬換算部をさらに備える
    ことを特徴とする請求項４に記載の作業支援システム。
14. 作業の実施中に収集される情報を利用して作業報告書を作成する作業支援システムによる作業支援方法であって、
    前記作業支援システムが、前記情報に含まれる音声データから前記作業の完了を判断し、前記作業の完了時刻を認識する作業完了認識ステップと、
    前記作業支援システムが、前記作業完了認識ステップで認識された前記作業の完了時刻を基準にして、前記情報に含まれる映像から前記作業の完了時映像を抽出する映像抽出ステップと、
    前記作業支援システムが、前記映像抽出ステップで抽出された前記作業の完了時映像に対して認識モデルを用いた物体認識を行うことにより前記作業の対象物体を認識し、前記作業の作業項目ごとにその対象物体が紐付けられた作業リストを前記認識した対象物体に基づいて検索することにより前記作業の作業項目を認識する作業認識ステップと、
    前記作業支援システムが、前記作業完了認識ステップ及び前記作業認識ステップにおける認識結果に基づいて、前記作業の作業履歴を前記作業報告書に生成する作業履歴生成ステップと、
    を備えることを特徴とする作業支援方法。

Images