JP7382372B2 - 作業支援装置、作業支援システム及び作業支援プログラム - Google Patents

Description

本発明は、作業支援装置、作業支援システム及び作業支援プログラムに関する。

工場等の現場において、作業者が設備に対して作業を行う機会は多い。例えば、計画停電の際、商用電源の復電の直後に、作業者は配電盤等の設備を点検する。近時、高齢化した熟練作業者のノウハウを若年の非熟練作業者に伝承していくことは、現場の重要課題である。特許文献１の情報処理装置は、現場の作業者が装着するヘッドマウントディスプレイに対して点検するべき箇所の画像を表示する。このとき、当該情報処理装置は、作業者が現在視認しつつある画像に点検するべき箇所の画像を重畳して表示する。

国際公開第２０１７／０８１９２０号

現場作業は、必ずしも定型反復的なものではなく、例えばビルの新築現場においては、工程の進捗に応じて、作業内容は変化する。このような現場で、非熟練作業者が臨機応変に点検等を行うことは困難であり、非熟練作業者が熟練作業者のノウハウをリアルタイムで活用できれば非常に有益である。しかしながら、特許文献１の情報処理装置は、非熟練作業者に対して表示される情報が画一的かつ固定的であり、時々刻々と変化する現場の環境に応じて、又は、非熟練作業者個別の具体的事情に応じて、熟練作業者がノウハウを伝承するためには別途方策が必要であった。
そこで、本発明は、熟練作業者のノウハウを現場の非熟練作業者に臨機応変に提供することを目的とする。

本発明の作業支援装置は、現場において非熟練作業者が行う作業を撮像した作業画像、及び、前記作業を行うに際し前記非熟練作業者が発した作業音声を受信し、前記現場から離れた熟練作業者が前記作業画像及び前記作業音声に応じて発した支援音声、及び、前記作業画像及び前記作業音声に応じて前記熟練作業者が選択した参照資料を前記非熟練作業者が携帯する作業者端末装置に送信し、前記非熟練作業者が現在視認している実像に重ねて、前記非熟練作業者の視線の方向から検出された前記非熟練作業者が現在注視している箇所を示す図形を拡張現実として前記熟練作業者が視認する出力装置に表示する作業支援部と、前記熟練作業者が検索キーを入力するのを受け付け、前記受け付けた検索キーに基づき資料を検索し、前記検索した資料のうち前記熟練作業者が画面上で選択した一部を前記参照資料とし、過去に蓄積された前記支援音声及び前記参照資料が使用可能である場合、前記作業画像又は前記作業音声に応じて、前記過去に蓄積された支援音声及び参照資料のうちから前記非熟練作業者に送信するものを取得し、前記作業画像及び前記作業音声を入力とし、前記支援音声及び前記参照資料を出力とする関数機能を有し、過去における前記作業画像、前記作業音声、前記支援音声及び前記参照資料の通信履歴を学習データとして、前記関数機能を学習する検索部と、を備えること、を特徴とする。
その他の手段については、発明を実施するための形態のなかで説明する。

本発明によれば、熟練作業者のノウハウを現場の非熟練作業者に臨機応変に提供することができる。

作業支援装置の構成等を示す図である。 ウエアラブルデバイスの構成を説明する図である。 作業者が視認する画像の一例である。 支援画面の一例である。 検索画面の一例である。 モードを説明する図である。 通信履歴情報の一例である。 通信履歴情報の一例である。 処理手順のフローチャートである。

以降、本発明を実施するための形態（“本実施形態”という）を、図等を参照しながら詳細に説明する。本実施形態は、現場における非熟練作業者が熟練作業者のノウハウをリアルタイムで受信しながら作業を行う例である。現場とは、工場、倉庫、土木、建設、運輸等の作業が行われている場所であり、屋内である場合もあり、屋外である場合もある。

（作業支援装置）
図１は、作業支援装置１の構成等を示す図である。作業支援装置１は、一般的なコンピュータであり、中央制御装置１１、マイクロフォン、アイトラッカ、マウス、キーボード等の入力装置１２、スピーカ、ディスプレイ等の出力装置１３、主記憶装置１４、補助記憶装置１５及び通信装置１６を備える。これらは、バスで相互に接続されている。補助記憶装置１５は、通信履歴情報３１及び資料３２（詳細後記）を格納している。

主記憶装置１４における作業支援部２１及び検索部２２は、プログラムである。中央制御装置１１は、これらのプログラムを補助記憶装置１５から読み出して主記憶装置１４にロードすることによって、それぞれのプログラムの機能（詳細後記）を実現する。補助記憶装置１５は、作業支援装置１から独立した構成となっていてもよい。作業支援装置１は、ネットワーク８を介して、現場９の壁面等に取り付けられた複数の無線基地局６及び外部サーバ５と通信可能である。外部サーバ５もまた、資料３２を格納している。

作業者２が、現場９で作業を行っている。作業者２は、非熟練作業者である。作業者２は、頭部にウエアラブルデバイス３を装着し、腰部に作業者端末装置４を携帯している。作業者端末装置４は、スマートフォン等であり、無線基地局６との間で通信を行う。ウエアラブルデバイス３と作業者端末装置４との間は、無線又は有線で通信が確保されている。結局、ウエアラブルデバイス３は、作業支援装置１に接続されていることになる。作業支援装置1及びウエアラブルデバイス３は、作業支援システムを構成する。

現場９には多くの設備が存在し、配電盤７は、そのうちの１つである。作業者２は、配電盤７に対し作業を行う。熟練作業者（図示せず）は、現場９から離れたオフィス等で、作業支援装置１を操作している。熟練作業者は、作業支援装置１の出力装置１３を介してリアルタイムで、作業者２が視認している視野の画像を視認し、作業者２の音声を聴取することができる。

（ウエアラブルデバイス）
図２は、ウエアラブルデバイス３の構成を説明する図である。ウエアラブルデバイス３は、ヘッドマウント形である。図２の上図は、ウエアラブルデバイス３を装着した作業者２の頭部を正面から見た図である。下図は、頭部を横から見た図である。ウエアラブルデバイス３は、スマートグラス（ディスプレイ）４１、カメラ４２、マイクロフォン４３、スピーカ４４及び通信装置４５を備える。

カメラ４２は、作業者２の現在の視野の画像を撮像する。カメラ４２は、プロジェクタの機能を兼ねており、熟練作業者が作業支援装置１の出力装置１３を介して現在視認している画像又はそのうち熟練作業者が指定した箇所を拡張現実（Augmented Reality）としてスマートグラス４１に投影する。マイクロフォン４３は、作業者２の音声波形を取得する。スピーカ４４は、熟練作業者の音声波形を音声として再生する。通信装置４５は、ウエアラブルデバイス３と作業者端末装置４との間の無線通信を行う。通信装置４５は、作業者端末装置４を介することなく、無線基地局６と直接通信してもよい。ウエアラブルデバイス３と作業者端末装置４との間を有線で通信する場合、通信装置４５は、ケーブルに代替される。

（作業者が視認する画像）
図３は、作業者２が視認する画像の一例である。図３の上図に注目する。図３の上図は、作業者２が現在視認している実像である。いま、作業者２は、スマートグラス４１を介して肉眼で配電盤７を視認している。当然のことながら、配電盤７及び背景からなるこの像は、拡張現実ではなく実像である。この実像は、配電盤７上に配置されたメータ５１ａ、５１ｂ及び５１ｃ、並びに、継電器５２ａ、５２ｂ及び５２ｃを含む。メータ５１ｃ付近の×印５５は、作業者２が現在注視している箇所（網膜黄斑上に結ぶ実像に対応する箇所）を示す。つまり、カメラ４２は、作業者２の肉眼を観察し視線の方向を検出する機能も併せ持つ。なお、×印５５自身は拡張現実である。

図３の下図は、作業者２が現在視認している実像及び拡張現実である。いま、作業者２は、熟練作業者と会話をしている。熟練作業者は、作業者２の質問に対して回答しながら必要に応じて、資料３２（図１参照）の一部を作業者２の理解に役立つ“参照資料”として作業者２に提供する。会話をしている間に、案内音声５３ａ及び５３ｂ、並びに、案内画像５４ａ及び５４ｂが拡張現実としてスマートグラス４１に投影されている。

案内音声５３ａ及び５３ｂは、作業者２がスピーカ４４を介して聴取している熟練作業者の音声を文字化したものである。このうち案内音声５３ａは、熟練作業者の指示に基づき、メータ５１ａに関連付けて表示されている。案内画像５４ａ及び５４ｂは、資料３２の一部としての参照資料である。作業支援装置１は、熟練作業者が外部サーバ５又は作業支援装置１の補助記憶装置１５に格納されている資料３２を検索するのを受け付け、検索結果の一部としての参照資料を出力装置１３に表示するとともにスマートグラス４１に拡張現実として投影する。資料３２は、作業支援装置１が参照可能な任意の写真、図形、文書等のファイルであり、作業支援装置１自身が記憶していてもよいし、外部サーバ５が記憶していてもよい。

（支援画面）
図４は、支援画面６１の一例である。作業支援装置１は、支援画面６１を作業支援装置１の出力装置１３に表示する。熟練作業者は、支援画面６１を視認する。支援画面６１は、作業者２がスマートグラス４１を介して現在視認している実像及び×印５５を表示するほか、作業者氏名６２、作業場所６３及び現在の時刻も表示している。作業者２がスマートグラス４１を介して視認している実像及び×印５５は、図３の上図と同じである。支援画面６１は、図３の下図のように、案内音声５３ａ及び５３ｂ、並びに、案内画像５４ａ及び５４ｂを併せて支援画面６１に表示してもよい。

（検索画面）
図５は、検索画面７１の一例である。作業支援装置１は、検索画面７１を作業支援装置１の出力装置１３に表示する。熟練作業者は、検索画面７１を視認する。熟練作業者は、作業者２との会話の中で、作業者２の理解が不足している概念を“検索キー”として考え出す。そして、熟練作業者は、その検索キーを使用して資料３２を検索し、作業者２に視認させるべき情報を取得する。会話をしながら的確な検索キーを考え出すことは、容易ではない。

図５の例では、熟練作業者は、検索キー“正常電圧閾値”を考え出している。作業支援装置１は、熟練作業者が“正常電圧閾値”を検索キー欄６５に入力するのを受け付け、外部サーバ５及び自身の補助記憶装置１５に格納されている資料３２を検索する。作業支援装置１は、すべての検索結果のリスト（図示せず）を表示する。説明の便宜上、リストのうちから、熟練作業者は、“〇〇ビル設計仕様書”６７を選択したとする。すると、作業支援装置１は、“〇〇ビル設計仕様書”６７の内容を検索結果欄６６に表示する。“〇〇ビル設計仕様書”６７のアドレス（ＵＲＬ）が、アドレス欄６９に表示されている。

熟練作業者は、表示されている“○○ビル設計仕様書”６７のうちから、作業者２の質問に対する回答となるような箇所、又は、作業者２の理解を助けるような箇所を選択する。熟練作業者は、当該箇所を、マウス又はアイトラッカで選択する。図５では、“○棟西側電圧”の設定値及び上下限の閾値を含む箇所６８（参照資料）が選択されている。この状態で熟練作業者が送信ボタン７０を押下すると、作業支援装置１は、選択された箇所６８をウエアラブルデバイス３に参照資料として送信する。作業者２は、参照資料６８に対応する案内画像５４ｂ（図３）を拡張現実として視認することになる。

（モード）
図６は、モードを説明する図である。モードとは、作業支援装置１の使用形態であり、対人モード、自動モード及び模範モードの３つのモードが存在する。

〈対人モード〉
対人モードでは、現場９にいる作業者２が、オフィス等の遠隔地にいる熟練作業者と会話する。熟練作業者は、作業者２と会話をするだけでなく、作業支援装置１を操作する。前記の図１～図５の説明は、対人モードを前提とする説明である。

作業者２から熟練作業者に、作業画像及び作業音声（質問）が送信される。これらに応じて、熟練作業者から作業者２に、支援音声（回答）が発せられ参照資料が送信される。その背後で、熟練作業者は、適当な検索キーを考え出し、それを作業支援装置１に入力することによって資料３２から適当なファイルを取得し、取得したファイルからさらに参照資料を取得する。作業支援装置１は、送信された情報、検索キー、取得された参照資料等を通信履歴情報３１として記憶する。対人モードは、作業者２の経験年数が特に短い場合に好適である。

〈自動モード〉
自動モードでは、現場９にいる作業者２が、作業支援装置１と直接、情報の遣り取りをする。熟練作業者は、この遣り取りに直接的には関与しない。作業者２から作業支援装置１に、作業画像及び作業音声が送信される。作業支援装置１から作業者２に、支援音声及び参照資料が送信される。より具体的には、作業支援装置１は、受信した作業情報及び作業音声に応じた適当な支援音声及び参照資料を作業者に自動的に返信する。このとき、作業支援装置１は、通信履歴情報３１に蓄積された過去の支援音声等を返信してもよいし、検索キーを自動的に作成して資料３２及び参照資料を自動的に取得してもよい。自動モードは、作業者２の経験年数が対人モードよりも長い場合に好適である。

〈模範モード〉
模範モードでは、現場９にいる熟練作業者が、作業支援装置１と直接、情報の遣り取りをする。当然のことながら、熟練作業者は、現場９において他者の支援を必要としない。模範モードでは、熟練作業者は、現場９で非熟練作業者の立場で作業を行う。つまり、熟練作業者は、非熟練作業者を演じ自身と自問自答する（非熟練作業者の立場を兼ねる）ことによって作業支援装置１を稼働させ通信履歴情報３１を蓄積・充実させる。

対人モードと同様、熟練作業者から作業支援装置１に、作業画像及び作業音声が送信される。熟練作業者は、適当な検索キーを考え出し、作業者端末装置４を介して検索キーを作業支援装置１に入力（遠隔操作）することによって資料３２及び参照資料を取得する。熟練作業者は、作業者端末装置４を介して支援音声を作業支援装置に入力（遠隔操作）する。熟練作業者による確認のために、作業支援装置１から熟練作業者に、支援音声（自身の音声）及び参照資料（自身が取得したもの）が送信される。作業支援装置１は、送信された情報、検索キー、取得された参照資料等を通信履歴情報３１として記憶する。

〈３つのモード間の関係〉
検索部２２（図１）は、以下の入力データが入力されると以下の出力データを出力する関数機能を有する。
入力データ：作業画像、作業音声、作業種類、作業位置、作業者ＩＤ
出力データ：検索キー、参照資料、支援音声

この関数は、例えば、入力層、複数の中間層及び出力層を有するニューラルネットワークであってもよい。入力層及び中間層の各ノードは、次の層の各ノードに情報を渡す際の重みベクトルを有している。夜間のバッチ処理等において、検索部２２は、対人モード及び模範モードにおいて蓄積された通信履歴情報３１を学習データとして、自身の関数機能を学習することによって重みベクトルを、例えば作業種類ごとに最適化する。重みベクトルが充分最適化された後の自動モードにおいては、作業支援装置１は、関数機能を使用して作業者２に対し的確な支援音声及び参照資料を送信することができる。

自動モードにおいて、検索部２２は、関数機能を使用することなく、作業画像、作業音声等に応じて通信履歴情報を検索し（破線矢印）、その作業画像、作業音声等に紐付けられた支援音声及び参照資料を取得してもよい。いずれにしても、取得される支援音声及び参照資料は、過去における熟練作業者のノウハウとしての通信履歴情報３１が反映されたものである（図７にて詳細後記）。しかしながら、特に外部サーバ５が記憶する資料３２（図１）は、現場とは関係なく時々刻々と更新される最新のノウハウを含む。そこで自動モードにおいて、検索部２２は、関数機能を使用して検索キーを自動的に生成し、その検索キーに基づいて資料３２を検索してもよい。

（通信履歴情報）
図７は、通信履歴情報３１の一例である。当該通信履歴情報３１ａは、対人モードにおいて作成される例である。通信履歴情報３１においては、作業者ＩＤ欄１０１に記憶された作業者ＩＤに関連付けて、作業種類欄１０２には作業種類が、作業位置欄１０３には作業位置が、作業画像欄１０４には作業画像が、作業音声欄１０５には作業音声が、時刻欄１０６には時刻が、支援者ＩＤ欄１０７には支援者ＩＤが、支援音声欄１０８には支援音声が、参照資料（検索キー）欄１０９には参照資料及び検索キーが記憶されている。

作業者ＩＤ欄１０１の作業者ＩＤは、作業者２を一意に特定する識別子である。ここでの作業者２は、原則、非熟練作業者である。しかしながら、模範モードでは、例外的に熟練作業者がここでの作業者２となる（詳細後記）。
作業種類欄１０２の作業種類は、作業者２の作業内容を簡潔に示した文字列である。
作業位置欄１０３の作業位置は、作業者２の現在位置の経度及び緯度である。作業者端末装置４は、例えばＧＰＳ機能を使用して自身の経度及び緯度を取得することができる。作業支援装置１は、現場地図（図示せず）を補助記憶装置１５に格納しており、作業者端末装置４から受信した経度及び緯度に基づき、作業場所６３（図４）を特定する。

作業画像欄１０４の作業画像は、その時刻においてカメラ４２が撮像した画像及び×印５５（図３）であり、その時刻において作業者２がスマートグラス４１を介して視認している実像を含む。当該欄には、画像自身に紐付けられた“名称＋拡張子”が記憶されている。画像自身は、補助記憶装置１５又は他の任意の装置に格納されている。
作業音声欄１０５の作業音声は、その時刻においてマイクロフォン４３が取得した作業者２の音声である。このうち“yy1.wav”等は、音声波形自身に紐付けられた“名称＋拡張子”であり、“メータがたくさんあります”等は、音声波形が示す自然言語の文字列である。音声波形自身は、補助記憶装置１５又は他の任意の装置に格納されている（後記する支援音声及び参照資料についても同様）。

時刻欄１０６の時刻は、カメラ４２が作業画像を撮像した時刻である。カメラ４２は、所定の周期（図７の例では５秒）で作業画像を撮像する。
支援者ＩＤ欄１０７の支援者ＩＤは、作業者２を支援する立場にある熟練作業者を一意に特定する識別子である。
支援音声欄１０８の支援音声は、その時刻において作業支援装置１の入力装置（マイクロフォン）１２が取得した熟練作業者の音声である。

参照資料（検索キー）欄１０９には、参照資料及び検索キーが記憶されている。このうち参照資料は、その時刻において作業支援装置１の出力装置（ディスプレイ）１３に表示されている検索結果６６（図５）のうち熟練作業者が選択した箇所６８の画像に紐付けられた“名称＋拡張子”である。作業支援装置１は、例えばアドレス“pp2@bbb”に所在する資料３２のうち選択された箇所６８のみを“pp2.pdf”として記憶している。検索キーとは、資料３２を検索するために熟練作業者が考え出した検索語である。

図７を見ると、以下のことがわかる。
・２０２１年８月１０日、非熟練の作業者Ｙ０１は、配電盤点検を行った。熟練作業者Ｘ０１は、現場から離れたオフィスから作業者Ｙ０１を監視していた。
・配電盤点検は、現場の配電盤に配置された電圧計が示す値を確認する作業である。
・同日の１０時００分００秒、作業者Ｙ０１は、“メータがたくさんあります”と熟練作業者Ｘ０１に発声した。おそらく作業者Ｙ０１は、メータの数の多さに気後れし一瞬戸惑っていた。熟練作業者Ｘ０１は、“メータがたくさんあります”を聞くとともに作業画像“yy1.jpg”を視認してそれを感じ取っていた。

・１０時００分０５秒、熟練作業者Ｘ０１は、“電圧計を探しなさい”と作業者Ｙ０１に発声した。作業者Ｙ０１は、“電圧計を探しなさい”を聞くとともに案内音声の文字列も視認していた。
・１０時００分１０秒、作業者Ｙ０１は、“どのメータですか”と熟練作業者Ｘ０１に発声した。おそらく作業者Ｙ０１は、複数の電圧計を区別することができずにいた。熟練作業者Ｘ０１は、“どのメータですか”を聞くとともに作業画像“yy3.jpg”を視認してそれを感じ取っていた。

・１０時００分１５秒、熟練作業者Ｘ０１は、“この形のメータだ”と作業者Ｙ０１に発声した。作業者Ｙ０１は、“この形のメータだ”を聞くとともに案内音声５３ａ（図３）の文字列も視認していた。熟練作業者Ｘ０１は、現時点までの会話及び作業画像に基づき、検索キー“メータ形状カタログ”を考え出した。熟練作業者Ｘ０１は、図５で前記したように作業支援装置１を操作し、資料３２（図１）から参照資料“pp1.pdf”を取得し、作業者Ｙ０１に送信した。作業者Ｙ０１は、“pp1.pdf”を案内画像５４ａ（図３）として視認した。

・１０時００分２０秒、作業者Ｙ０１は、“異常ないと思いますが”と熟練作業者Ｘ０１に発声した。おそらく作業者は、電圧の読取に自身が持てないでいた。熟練作業者Ｘ０１は、“異常ないと思いますが”を聞くとともに作業画像“yy5.jpg”を視認してそれを感じ取っていた。

・１０時００分２５秒、熟練作業者Ｘ０１は、“この仕様書を見なさい”と作業者Ｙ０１に発声した。作業者Ｙ０１は、“この仕様書を見なさい”を聞くとともに音声案内５３ｂ（図３）の文字列も視認していた。熟練作業者Ｘ０１は、現時点までの会話及び作業画像に基づき、検索キー“正常電圧閾値”を考え出した。熟練作業者Ｘ０１は、図５で前記したように作業支援装置１を操作し、資料３２（図１）から参照資料 “pp2.pdf”を取得し、作業者Ｙ０１に送信した。作業者Ｙ０１は、“pp2.pdf”を案内画像５４ｂ（図３）として視認した。

・１０時００分３０秒、作業者Ｙ０１は、“異常なしでした”と熟練作業者Ｘ０１に発声した。おそらく作業者は、作業が無事に終了し安堵していた。熟練作業者Ｘ０１は、“異常なしでした”を聞くとともに作業画像“yy7.jpg”を視認してそれを感じ取っていた。

図８もまた、通信履歴情報３１の一例である。当該通信履歴情報３１ｂは、模範モードにおいて作成される例である。図８の通信履歴情報３１ｂの構成は、図７の通信履歴情報３１ａの構成と同じである。前記したように、模範モードにおいて現場にいる作業者は、熟練作業者である。したがって、支援音声（図８の欄１０８）が熟練作業者の音声であり、参照資料及び検索キー（欄１０９）が熟練作業者の操作によるものであるだけではなく、作業画像（欄１０４）及び作業音声（欄１０５）も同じ熟練作業者のものである。マイクロフォン４３は、熟練作業者の音声を作業支援装置１に入力することができる。作業者端末装置４の入力装置（キーボード）は、検索キー等の文字を作業支援装置１に入力することができる。作業者端末装置４の出力装置（ディスプレイ）は、検索画面７１（図５）を表示することができる。

図８の支援音声、参照資料及び検索キーは、図７と同じである。図８の作業音声もまた、図７とほぼ同じ内容である。その理由は、図７の作業種類及び作業位置が、図８の作業種類及び作業位置と同じであるからである。繰り返しになるが、図８の熟練作業者は、ここでは非熟練作業者の模範となるように現場で自演しているのであり、本来単独で作業を完遂する能力を有している。

自動モードにおいては、通信履歴情報３１は、作成されてもよいし、作成されなくてもよい。作成される場合、通信履歴情報３１は、図７とほぼ同じになる。但し、支援音声（欄１０８）は、蓄積（録音）されている過去の音声であり、参照資料及び検索キー（欄１０９）は、蓄積されている過去の画像及び文字列である。

（処理手順）
図９は、処理手順のフローチャートである。図９の処理手順は、対人モードの処理手順である。図９において破線で囲まれた“作業支援装置１”等は、その下の各ステップの処理主体である。
ステップＳ２０１において、作業者端末装置４は、画像を受け付ける。具体的には、作業者端末装置４は、カメラ４２が取得した作業者２の視野の画像（作業画像）をウエアラブルデバイス３から受け付ける。

ステップＳ２０２において、作業者端末装置４は、画像を送信する。具体的には、作業者端末装置４は、ステップＳ２０１において受け付けた作業画像及びカメラ４２が撮像した時刻を作業支援装置１に送信する。

ステップＳ２０３において、作業支援装置１の作業支援部２１は、画像を受信し、表示する。具体的には、第１に、作業支援部２１は、ステップＳ２０１において受け付けた作業画像及びカメラ４２が撮像した時刻を作業者端末装置４から受信する。
第２に、作業支援部２１は、支援画面６１（図４）を出力装置１３に表示する。

ステップＳ２０４において、作業者端末装置４は、質問を受け付ける。具体的には、作業者端末装置４は、マイク４３が取得した作業音声を受け付ける。

ステップＳ２０５において、作業者端末装置４は、質問を送信する。具体的には、作業者端末装置４は、ステップＳ２０４において受け付けた作業音声及びマイク４３が作業音声を取得した時刻を作業支援装置１に送信する。ここでの“マイク４３が作業音声を取得した時刻”は、その直前に作業画像が取得された時刻であってもよい。

ステップＳ２０６において、作業支援装置１の作業支援部２１は、質問を受信する。具体的には、作業支援部２１は、ステップＳ２０４において受け付けた作業音声及びマイク４３が作業音声を取得した時刻を作業者端末装置４から受信する。

ステップＳ２０７において、作業支援装置１の検索部２２は、検索キーを受け付ける。具体的には、検索部２２は、熟練作業者が検索画面７１の検索キー欄６５（図５）に、例えば“メータ形状カタログ”を入力するのを受け付ける。“メータ形状カタログ”は、ステップＳ２０６までの段階における作業画像及び作業音声に基づき、資料３２（図１）を検索するために熟練作業者が考え出した検索キーである。

ステップＳ２０８において、検索部２２は、資料３２を検索する。具体的には、第１に、検索部２２は、“メータ形状カタログ”を検索キーとして資料３２を検索した結果を検索画面７１の検索結果欄６６に表示する。
第２に、検索部２２は、熟練作業者が資料の一部６８を参照資料として選択するのを受け付ける。

ステップＳ２０９において、作業支援装置１の作業支援部２１は、参照資料を送信する。具体的には、作業支援部２１は、ステップＳ２０８の“第２”において選択された参照資料を作業者端末装置４に送信する。

ステップＳ２１０において、作業者端末装置４は、参照資料を受信し、表示する。具体的には、第１に、作業者端末装置４は、ステップＳ２０８の“第２”において選択された参照資料を作業支援装置１から受信する。
第２に、作業者端末装置４は、カメラ（プロジェクタ）４２を介してスマートグラス（ディスプレイ）４１に、ステップＳ２１０の“第１”において受信した参照資料を投影する。このとき投影される参照資料は、拡張現実としての案内画像５４ａ（図３）である。

ステップＳ２１１において、作業支援装置１の作業支援部２１は、回答を受け付ける。具体的には、作業支援部２１は、熟練作業者が作業支援装置１の入力装置（マイクロフォン）１２に、例えば支援音声“この形のメータだ”を入力するのを受け付ける。“この形のメータだ”は、ステップＳ２０６までの段階における作業画像及び作業音声に基づき、作業者の質問に回答するために熟練作業者が考え出した支援音声である。

ステップＳ２１２において、作業支援部２１は、回答を送信する。具体的には、作業支援部２１は、ステップＳ２１１において受け付けた支援音声を作業者端末装置４に送信する。

ステップＳ２１３において、作業者端末装置４は、回答を受信し、表示する。具体的には、第１に、作業端末装置４は、ステップＳ２１１において取得した支援音声を作業支援装置１から受信する。
第２に、作業者端末装置４は、カメラ（プロジェクタ）４２を介してスマートグラス（ディスプレイ）４１に、ステップＳ２１３の“第１”において受信した支援音声を投影するとともに、スピーカ４４を介して再生する。このとき投影される支援音声は、拡張現実としての案内音声５３ａ（図３）である。

ステップＳ２１４において、作業支援装置１の作業支援部２１は、通信履歴を更新する。具体的には、作業支援部２１は、ステップＳ２１３以前において送受信した作業画像、作業音声、支援音声及び参照資料、並びに、ステップＳ２０７において受け付けた検索キーを使用して、通信履歴情報３１ａ（図７）のレコードを作成する。その後、処理手順を終了する。

図９の処理手順は、説明の便宜上、単純化されている。実際には、ステップＳ２０１～Ｓ２１４の処理のセットが、作業画像が取得される所定の周期で繰り返される。そして、個々のセットにおいては、作業者が質問を発声しない結果、熟練作業者が資料を検索せず、回答も発声しないこともあり得る。作業者が質問を発声しなくても、熟練作業者が資料を検索し、及び／又は、回答を発声することもあり得る。

（模範モードの処理手順）
模範モードの処理手順は、対人モードの処理手順（図９）に準ずる。但し、作業者端末装置４を操作するのは、熟練作業者である。熟練作業者は、作業者端末装置４を介して、作業支援装置１を遠隔操作する。

（自動モードの処理手順）
自動モードの処理手順もまた、対人モードの処理手順（図９）に準ずる。但し、作業支援装置１は、検索部２２の関数機能等を活用し自動で各処理を実行するので、熟練作業者による操作は不要である。

具体的には、自動モードでは、ステップＳ２０７において、検索部２２は、熟練作業者が検索キーを入力するのを受け付けるまでもなく、前記した関数機能を使用して、自動的に検索キーを生成する。ステップＳ２０８において、検索部２２は、熟練作業者が参照資料を選択するのを受け付けるまでもなく、前記した関数機能を使用して、自動的に参照資料を生成する。ステップＳ２１１において、作業支援部２１に代替して検索部２２は、熟練作業者が支援音声を入力するのを受け付けるまでもなく、前記した関数機能を使用して、自動的に支援音声を生成する。

さらに、自動モードでは、ステップＳ２０７、Ｓ２０８又はＳ２１１において、検索部２２は、熟練作業者による入力を前提とせずに、かつ、関数機能を使用することなく、通信履歴情報３１を“リレーショナルデータベース”として活用してもよい。すなわち、検索部２２は、通信履歴情報３１の作業者ＩＤ欄１０１～作業音声欄１０５のうちの少なくとも１つの欄の値をキーとして、支援音声欄１０８及び参照資料（検索キー）欄１０９のうちの少なくとも１つの欄の値を取得してもよい。例えば、作業者２が作業音声“メータがたくさんあります”又はそれに類似する作業音声を発声している場合、検索部２２は、“メータがたくさんあります”の直後の時刻における支援音声“電圧計を探しなさい”を取得することができる。

（本実施形態の効果）
本実施形態の作業支援装置等の効果は以下の通りである。
（１）作業支援装置は、非熟練作業者が遠隔地の熟練作業者のノウハウを臨機応変に活用することを可能にする。
（２）作業支援装置は、非熟練作業者向けの参照資料を熟練作業者が自ら取得することを可能にする。
（３）作業支援装置は、過去に蓄積された熟練作業者のノウハウを活用することができる。

（４）作業支援装置は、学習によって支援音声及び参照資料の質を向上させることができる。
（５）作業支援装置は、熟練作業者が容易に学習データを作成することを可能にする。
（６）作業支援装置は、熟練作業者が存在しなくても稼働することができる。
（７）作業支援システムは、非熟練作業者が熟練作業者のノウハウをハンズフリーで視認することを可能にする。
（８）作業支援プログラムは、既にコンピュータを使用しているユーザが、そのコンピュータによって、非熟練作業者が遠隔地の熟練作業者のノウハウを臨機応変に活用することを可能とする。

なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１ 作業支援装置
２ 作業者
３ ウエアラブルデバイス
４ 作業者端末装置
５ 外部サーバ
６ 無線基地局
７ 配電盤
８ ネットワーク
９ 現場
１１ 中央制御装置
１２ 入力装置
１３ 出力装置
１４ 主記憶装置
１５ 補助記憶装置
１６ 通信装置
２１ 作業支援部
２２ 検索部
３１、３１ａ、３１ｂ 通信履歴情報
３２ 資料
４１ スマートグラス（ディスプレイ）
４２ カメラ
４３ マイクロフォン
４４ スピーカ
４５ 通信装置
６１ 支援画面
７１ 検索画面

Claims (3)

1. 現場において非熟練作業者が行う作業を撮像した作業画像、及び、前記作業を行うに際し前記非熟練作業者が発した作業音声を受信し、
   前記現場から離れた熟練作業者が前記作業画像及び前記作業音声に応じて発した支援音声、及び、前記作業画像及び前記作業音声に応じて前記熟練作業者が選択した参照資料を前記非熟練作業者が携帯する作業者端末装置に送信し、
   前記非熟練作業者が現在視認している実像に重ねて、前記非熟練作業者の視線の方向から検出された前記非熟練作業者が現在注視している箇所を示す図形を拡張現実として前記熟練作業者が視認する出力装置に表示する作業支援部と、
   前記熟練作業者が検索キーを入力するのを受け付け、
   前記受け付けた検索キーに基づき資料を検索し、
   前記検索した資料のうち前記熟練作業者が画面上で選択した一部を前記参照資料とし、
   過去に蓄積された前記支援音声及び前記参照資料が使用可能である場合、前記作業画像又は前記作業音声に応じて、前記過去に蓄積された支援音声及び参照資料のうちから前記非熟練作業者に送信するものを取得し、
   前記作業画像及び前記作業音声を入力とし、前記支援音声及び前記参照資料を出力とする関数機能を有し、
   過去における前記作業画像、前記作業音声、前記支援音声及び前記参照資料の通信履歴を学習データとして、前記関数機能を学習する検索部と、
   を備えること、
   を特徴とする作業支援装置。
2. 作業支援装置と、非熟練作業者が装着するウエアラブルデバイスを備える作業支援システムであって、
   前記作業支援装置は、
   現場において前記非熟練作業者が行う作業を撮像した作業画像、及び、前記作業を行うに際し前記非熟練作業者が発した作業音声を受信し、
   前記現場から離れた熟練作業者が前記作業画像及び前記作業音声に応じて発した支援音声、及び、前記作業画像及び前記作業音声に応じて前記熟練作業者が選択した参照資料を前記非熟練作業者が携帯する作業者端末装置に送信し、
   前記非熟練作業者が現在視認している実像に重ねて、前記非熟練作業者の視線の方向から検出された前記非熟練作業者が現在注視している箇所を示す図形を拡張現実として前記熟練作業者が視認する出力装置に表示する作業支援部と、
   前記熟練作業者が検索キーを入力するのを受け付け、
   前記受け付けた検索キーに基づき資料を検索し、
   前記検索した資料のうち前記熟練作業者が画面上で選択した一部を前記参照資料とし、
   過去に蓄積された前記支援音声及び前記参照資料が使用可能である場合、前記作業画像又は前記作業音声に応じて、前記過去に蓄積された支援音声及び参照資料のうちから前記非熟練作業者に送信するものを取得し、
   前記作業画像及び前記作業音声を入力とし、前記支援音声及び前記参照資料を出力とする関数機能を有し、
   過去における前記作業画像、前記作業音声、前記支援音声及び前記参照資料の通信履歴を学習データとして、前記関数機能を学習する検索部と、
   を備え、
   前記ウエアラブルデバイスは、
   前記送信された支援音声及び参照資料を、前記非熟練作業者に拡張現実として示すヘッドマウント形のウエアラブルデバイスであること、
   を特徴とする作業支援システム。
3. コンピュータを、
   現場において非熟練作業者が行う作業を撮像した作業画像、及び、前記作業を行うに際し前記非熟練作業者が発した作業音声を受信し、
   前記現場から離れた熟練作業者が前記作業画像及び前記作業音声に応じて発した支援音声、及び、前記作業画像及び前記作業音声に応じて前記熟練作業者が選択した参照資料を前記非熟練作業者が携帯する作業者端末装置に送信し、
   前記非熟練作業者が現在視認している実像に重ねて、前記非熟練作業者の視線の方向から検出された前記非熟練作業者が現在注視している箇所を示す図形を拡張現実として前記熟練作業者が視認する出力装置に表示する作業支援部と、
   前記熟練作業者が検索キーを入力するのを受け付け、
   前記受け付けた検索キーに基づき資料を検索し、
   前記検索した資料のうち前記熟練作業者が画面上で選択した一部を前記参照資料とし、
   過去に蓄積された前記支援音声及び前記参照資料が使用可能である場合、前記作業画像又は前記作業音声に応じて、前記過去に蓄積された支援音声及び参照資料のうちから前記非熟練作業者に送信するものを取得し、
   前記作業画像及び前記作業音声を入力とし、前記支援音声及び前記参照資料を出力とする関数機能を有し、
   過去における前記作業画像、前記作業音声、前記支援音声及び前記参照資料の通信履歴を学習データとして、前記関数機能を学習する検索部と、
   して機能させるための作業支援プログラム。
   

Images