JP6521923B2 - 作業支援装置及び作業支援方法 - Google Patents

Description

本発明は、作業支援装置及び作業支援方法に関する。

作業員が機器の保守、点検等を行う際、通常、作業手順書を参照する。作業手順書には、多くの図及び写真が作業の進捗段階ごとに記載されている。作業員はそれらを見た上で、実際の機器に対して、点検、分解、清掃、部品交換等の作業を行う。このような作業は、単純なように思われがちであるが、実際は熟練を要する。目の前の機器に対してどの進捗段階においてどの図又は写真を参照すればよいかを判断したうえで、正確な作業を行うのは容易ではない。さらに、作業員は、複数の作業場所を巡回し複数の機器に対して作業を行う場合もある。このような場合、作業員に対する負担は特に大きくなる。

近時、このような作業員を支援するための様々な装置が普及している。特許文献１の作業支援システムは、作業内容のサンプルとして“作業画像”を予め記憶しておく。当該作業支援システムは、作業員が注視している対象物の画像を“注視画像”として撮像し、注視画像を作業画像と比較する。さらに、当該作業支援システムは、比較の結果、注視画像が作業画像に類似していない場合が所定の回数以上繰り返されると、当該作業支援システムは、作業員に対して注意を喚起する。

非特許文献１は、“ＡＲ（Augmented Reality：拡張現実）マーカ”を開示している。ここでは、“ＡＲマーカを印刷するなどして現実世界に設置すると、ＡＲシステムがその画像の写った部分に重ねて指定された情報を表示する”旨が記載されている。
非特許文献２は、ＡＲ画像を表示する位置を認識する方法として、“マーカ型の画像認識ＡＲ”及び“マーカレス型の画像認識ＡＲ”を開示している。前者は、マーカとして市松模様の図形を現実世界の対象物に張り付けておく方法である。後者は、特別なマーカを使用することなく、対象物そのものの２次元形状又は３次元形状をマーカとしてそのまま利用する方法である。

特開２０１３−９７４６６号公報

"ＡＲマーカー"、[online]、平成２８年８月９日、ＩＴ用語辞典、[平成２８年８月９日検索]、インターネット＜URL：1474414365427_0.html＞ "ＡＲの認識方法と種類"、[online]、平成２８年８月９日、ＡＲナビキャラ、[平成２８年８月９日検索]、インターネット＜URL：1474414365427_1.html＞

いま、特許文献１の作業支援システム、非特許文献１の技術、及び、非特許文献２の技術を組合せ、作業員が装着しているカメラ（例えば、ヘッドマウンティング型）が、ＡＲマーカ、又は、ＡＲマーカの役割を果たす対象物自身を注視画像として撮像する。このとき、理想的な撮像条件が満たされていれば問題はない。しかしながら、例えば、夜間又は降雨等の悪条件下では、カメラが撮像する注視画像は、サンプルとしての作業画像と比較可能である程度に鮮明にはならない。すると、当該作業支援システムは、予め記憶されている作業画像の候補のうちから、注視画像に類似するものを取得できなくなる。すると、当該作業支援システムを使用する作業は、中止を余儀なくされる。

作業員は、他の緊急要件が発生した場合、他の作業場所に移動する場合、作業が長時間続いた場合等には、作業を一時的に中断する必要がある。しかしながら、特許文献１の作業支援システムは、作業の一時的な中断については記載されていない。
そこで、本発明は、作業を容易に続行でき、任意の時点で作業を中断できる作業支援装置を提供することを目的とする。

本発明の作業支援装置は、作業の対象とするべき対象物を予め撮像した見本画像と、作業の内容を拡張現実の手法で示す拡張現実画像と、が作業の進捗段階に対応付けて格納される記憶部と、作業員が注視している対象物をカメラが撮像した注視画像を取得する画像入力処理部と、注視画像と、見本画像に対応する拡張現実画像とを重ねて表示する画像出力処理部と、ある進捗段階において、カメラが使用されない場合、又は、注視画像が見本画像に類似しない場合、当該進捗段階の見本画像自身を、見本画像と重ねて表示されるべき注視画像と看做す注視画像代替部と、を備えることを特徴とする。
その他の手段については、発明を実施するための形態のなかで説明する。

本発明によれば、作業を容易に続行でき、任意の時点で作業を中断できる作業支援装置を提供することができる。

作業支援装置の構成及び環境を説明する図である。 作業支援装置が既存技術のみを実施する場合を説明する図である。 作業支援装置が既存技術のみを実施する場合を説明する図である。 作業支援装置が、本実施形態を実施する場合を説明する図である。 作業支援装置が、本実施形態を実施する場合を説明する図である。 作業手順書の一例を示す図である。 更新後の作業手順書の一例を示す図である。 （ａ）及び（ｂ）は、撮像された画像が注視画像であるか否かを判断する方法を説明する図である。 処理手順のフローチャートである。 ステップＳ２２３の詳細フローチャートである。

以降、本発明を実施するための形態（“本実施形態”という）を、図等を参照しながら詳細に説明する。

（作業支援装置の構成及び環境）
図１に沿って、作業支援装置１の構成及び環境を説明する。作業員３は、作業支援装置１を携帯して設備２を点検している。本実施形態の設備２は、空調システムの屋外機である。作業支援装置１は、一般的な携帯型の端末装置（いわゆるタブレット）である。作業員３は、作業支援装置１のカメラ１７を設備２に向けて、設備２の画像を撮像する。作業支援装置１の出力装置１３は、カメラ１７が撮像した注視画像及び予め記憶されている拡張現実画像（詳細後記）を重ねて表示する。

作業員３は、表示された画像を見ることによって具体的な作業の内容を理解することができる。作業支援装置１は、ヘッドマウンティング型であってもよい。ヘッドマウンティング型の作業支援装置１ｂは、眼鏡の形状を有しており、カメラ１７を備えている。作業員３が設備２に向き合うと、作業支援装置１ｂのカメラ１７は、設備２の画像を撮像する。携帯端末装置１ｂの出力装置１３は、カメラ１７が撮像した注視画像及び予め記憶されている拡張現実画像を重ねて表示する。携帯端末装置１ｂの出力装置１３は、眼鏡のレンズと一体化されており、作業員３は、レンズを通して注視画像及び拡張現実画像を虚像として視認する。

以降では、作業支援装置１がタブレット型である例を説明する。なお、タブレット型の作業支援装置１のカメラ１７もまた、一種の入力装置であると言える。しかしながら、ここでの入力装置１２は、タッチパネルを想定しており、画像を撮像するカメラ１７とは区別される。

作業支援装置１は、一般的な携帯型のコンピュータである。作業支援装置１は、中央制御装置１１、入力装置１２、出力装置１３、主記憶装置１４、補助記憶装置１５、通信装置１６及びカメラ１７を有する。これらはバスで接続されている。補助記憶装置１５は、作業手順書３１、見本画像３２、拡張現実画像３３及び注視画像３４（詳細後記）を格納している。主記憶装置１４における、画像入力処理部２１、画像出力処理部２２、及び、注視画像代替部２３は、プログラムである。以降の説明において、“○○部は”と動作主体を記した場合、それは、中央制御装置１１が補助記憶装置１５から○○部を読み出し、主記憶装置１４にロードしたうえで○○部の機能（詳細後記）を実現することを意味する。

作業支援装置１の補助記憶装置１５が、作業支援装置１とは別の構成であるサーバ４（外部記憶装置）として分割されていてもよい。この場合、作業支援装置１の通信装置１６は、有線又は無線のネットワーク５を介してサーバ４と接続され得る。なお、作業支援装置１は、複数のＧＰＳ（Global Positioning System）衛星からの電波を受信し、受信した電波を演算することによって、自身の位置情報（緯度及び経度）を取得することができる。

（用語等）
作業は、ある作業場所において作業員３が行う業務である。本実施形態では、作業員３が行う１つの作業が、１つの作業場所に対応している。個々の作業は、時系列の複数の進捗段階を有する。例えば、“屋外機を点検する”という作業の最初の進捗段階は、“屋外機のカバーの四隅にあるネジをネジまわしで回転し、その後カバーを手前に取り外すこと”である。次の進捗段階は、“露出したファンの固定部材をスパナで取り外すこと”である（以下省略）。

注視画像は、カメラ１７が時系列で連続的に撮像した画像のうち、作業員３がその対象物に向かって所定の基準を満たす程度に視線を維持し続けていた（注視していた）と評価される画像である。例えば、作業員３が設備２（屋外機）の前に立ち、ある時間の長さだけ、作業支援装置１の背面に取り付けられているカメラ１７を設備２に向けると、屋外機を含む画像が注視画像として撮像される。作業の前後で偶然カメラ１７に撮像される通路等の画像は、通常、注視画像とはならない。なお、作業員３がヘッドマウンティング型の作業支援装置１ｂを使用する場合は、作業員３がある時間の長さだけよそ見せずに屋外機を注視すると、屋外機を含む画像が注視画像として撮像されることになる。

拡張現実画像は、作業の内容を説明するコンピュータグラッフィック画像（人工画像）である。拡張現実画像は、例えば、作業員３が使用するべき工具の画像、設備２の部品の画像、工具及び部品の操作方法を示す矢印等の図形の画像、その他説明用の文字の画像等であり得る。なお、拡張現実（ＡＲ：Augmented Reality）は、現実の空間には存在しない物を、あたかも存在するかのように表現する技術である。

見本画像は、作業員３が作業の対象とするべき対象物（設備２）の画像である。作業場所（現場）で撮像される注視画像とは異なり、見本画像は、作業場所の設備２と同型式の見本をメーカの工場等で予め撮像しておいた画像である。

見本画像と拡張現実画像は、進捗段階ごとに予め関連付けて記憶されている。より具体的には、補助記憶装置１５に格納される作業手順書（詳細後記）において、見本画像の識別子と拡張現実画像の識別子とが、進捗段階ごとに相互に関連付けて記憶されている。つまり、多くの見本画像のうちから１つの見本画像が特定されると、拡張現実画像もまた特定される。要するに、見本画像は、拡張現実画像を特定するためのインデックスとしての機能を果たす。

詳細は後記するが、いま、ある注視画像が撮像され、その注視画像に類似する見本画像が特定されたとする。すると、その見本画像に関連付けられている拡張現実画像もまた特定される。このとき、注視画像と拡張現実画像とは、重ねて表示され得る。

このように、撮像された注視画像は見本画像と比較される。そこで、この比較をより容易にするために、設備２に対してＡＲマーカ６が張り付けられてもよい。ＡＲマーカ６は、例えば市松模様の２次元バーコードである。見本画像にもまた、このＡＲマーカに埋め込まれた情報を埋め込んでおく。すると、注視画像は、見本画像とより高い精度で比較され得る。なお、以降では、ＡＲマーカを使用しない例を説明する。
作業手順書は、相互に関連付けられた見本画像及び拡張現実画像の組合せを、作業の進捗段階ごとに記憶したデータである（詳細後記）。

（基本的な考え方）
図２〜図５に沿って、本実施形態の基本的な考え方を説明する。これらの図のうち、図２及び図３は、作業支援装置１が既存技術のみを実施する場合を説明する図である。図４及び図５は、作業支援装置１が、既存技術とは異なる本実施形態を実施する場合を説明する図である。

まず、図２に注目する。作業の進捗段階Ｔ０１_{ｓｔａｒｔ}において作業員３が作業の対象とするべき屋外機の画像が、見本画像５１として補助記憶装置１５に記憶されている。同じ進捗段階Ｔ０１_{ｓｔａｒｔ}において行われるべき作業の内容が拡張現実画像５２として、見本画像５１に関連付けて補助記憶装置１５に記憶されている。拡張現実画像５２は、屋外機のカバーの四隅にあるネジをネジまわしで回転し、その後カバーを手前に取り外すことを図示している。

進捗段階Ｔ０１_{ｓｔａｒｔ}において、カメラ１７が注視画像５４を撮像する。日当たり等の撮像条件が良好である場合、鮮明な注視画像５４が撮像される。注視画像５４は、屋外機に付着した汚れ等も忠実に表現している。作業支援装置１は、注視画像５４を見本画像５１と比較する。両者は全く同じ画像ではなく、少なくとも汚れの分だけ差分は生じる。作業支援装置１は、汚れの差分を考慮してもなお、注視画像５４が見本画像５１に類似していると判断する（Ｒ≒Ｐ）。

その後、作業支援装置１は、見本画像５１に関連付けられている拡張現実画像５２を取得し、取得した拡張現実画像５２と注視画像５４を出力装置１３に重ねて表示する。このとき表示される画像が、表示画像５３である。表示画像５３を見た作業員３は、自身が行うべき作業の内容は、“屋外機のカバーの四隅にあるネジをネジまわしで回転し、その後カバーを手前に取り外す”ことであると理解する。

後続する進捗段階においても考え方は全く同じである。但し、進捗段階Ｔ０２においては、カバーが取り外されファンが露出している屋外機の注視画像５６が撮像されるはずである。そのことを前提として、補助記憶装置１５には、カバーが取り外されファンが露出している屋外機の見本画像５５が記憶されている。進捗段階Ｔ０３においては、ファンの固定部材が取り外された屋外機の注視画像５８が撮像されるはずである。そのことを前提として、補助記憶装置１５には、ファンの固定部材が取り外された屋外機の見本画像５７が記憶されている。

図３に注目する。作業の進捗段階Ｔ０１_{ｓｔａｒｔ}の説明は、図２と同様である。進捗段階Ｔ０２において、例えば雨が降り始め、又は、日が沈み、撮像条件が不良になっている。注視画像６２は、人間の目で見れば、屋外機を夜間等に撮像したものであると辛うじて判断され得るものである。しかしながら、作業支援装置１が、注視画像６２を、見本画像５９と比較したとしても、両者が類似するものであるとは判断できない（Ｒ≠Ｐ）。すると、作業支援装置１は、拡張現実画像６０を特定することができず、結果的に、注視画像６２と拡張現実画像６０とを重ねて表示することができない。つまり、作業員３は、表示画像６１を実際には見ることができないまま、作業が中断する。したがって、図３の進捗段階Ｔ０３にまで作業が進むことはあり得ない。

図４に注目する。作業の進捗段階Ｔ０１_{ｓｔａｒｔ}の説明は、図２と同様である。進捗段階Ｔ０２においては、実際の作業場所の撮像条件は不良になっている。仮にカメラ１７が注視画像を撮像したとしても、その注視画像が見本画像６３に類似しないことは明らかである。そこで、作業支援装置１は、予め記憶していた見本画像６３をコピーし、コピーした見本画像を、カメラ１７が仮に撮像したとすれば撮像されたであろう注視画像と看做す。つまり、作業支援装置１は、見本画像自身を、見本画像と重ねて表示されるべき注視画像と看做す。そのうえで、作業支援装置１は、当該看做された注視画像６６を見本画像６３と比較する。当然のことながら、両者は完全に一致する（Ｒ＝Ｐ）。その結果、作業支援装置１は、拡張現実画像６４を特定し、看做された注視画像６６と拡張現実画像６４とを重ねて、表示画像６５として表示することができる。

ここで、作業員３を管理すべき管理者の立場からは、作業員３が本当に設備２の作業場所において作業を行っていたのか否かを確認することが必要となる。その確認のために、作業支援装置１は、エビデンス（証拠）６６ｂを取得し、進捗段階Ｔ０２に関連付けて記憶する。エビデンス６６ｂは、時刻情報、位置情報、不良な撮像条件で撮像された注視画像等である。

図５に注目する。図５においては、作業員３が一連の進捗段階Ｔ０１_{ｓｔａｒｔ}〜Ｔ０８_ｅｎｄを終了した後、次の作業場所に移動し、次の一連の進捗段階Ｔ１１_{ｓｔａｒｔ}〜を開始するまでの期間が想定されている。まず、進捗段階Ｔ０８_ｅｎｄにおいて、拡張現実画像６７は、“ここでの作業は終了です”という文字列の画像である。したがって、作業員３は、当該文字列を表示画像６８として見ることができる。

いま、ある作業場所から次の作業場所まで移動する動作を広義の作業と解釈し、例えば進捗段階“Ｔ０８：Ｔ１１”と表現する。補助記憶装置１５には、進捗段階Ｔ０８：Ｔ１１についての見本画像に代わって、位置情報６９が記憶されている。この位置情報６９は、一連の進捗段階Ｔ０１_{ｓｔａｒｔ}〜Ｔ０８_ｅｎｄの作業が行われた位置（緯度及び経度）を示している。さらに、補助記憶装置１５は、当該位置情報６９に関連付けて、案内情報を拡張現実画像７０として記憶しておく。案内情報は、ある作業場所から次の作業場所への道順を示した地図（ビルの同一フロア内の平面図を含む）、次の作業場所で使用する工具の名称等を含んでいる。

作業支援装置１は、自身の現在の位置情報７２を取得することができる。作業支援装置１は、作業員３が入力装置１２を介して“案内情報要求ボタン”を押下するのを受け付けたことを契機として、自身の現在の位置情報７２を、記憶されている位置情報６９と比較する。両者が所定の基準を満たす程度に類似している場合、作業支援装置１は、拡張現実画面７０を特定し、特定した拡張現実画像７０をそのまま（他の画像と重ねることなく）表示画像７１として表示することができる。

進捗段階Ｔ１１_{ｓｔａｒｔ}以降は、図２の進捗段階Ｔ０１_{ｓｔａｒｔ}以降と同様であるので詳しい説明を省略する。作業員３は、次の作業場所における作業の内容として、別の屋外機（縦型形状）を点検することになる。

（作業手順書）
図６に沿って、作業手順書３１を説明する。作業手順書３１においては、作業場所ＩＤ欄１０１に記憶された作業場所ＩＤに関連付けて、進捗段階ＩＤ欄１０２には進捗段階ＩＤが、見本画像ＩＤ欄１０３には見本画像ＩＤが、拡張現実画像ＩＤ欄１０４には拡張現実画像ＩＤが、表示画像欄１０５には表示画像が、注視画像撮像要否欄１０６には注視画像撮像要否が、注視画像ＩＤ欄１０７には注視画像ＩＤが記憶されている。

作業場所ＩＤ欄１０１の作業場所ＩＤは、作業員３が作業を行う作業場所を一意に特定する識別子である。作業員３がある作業場所から次の作業場所に移動するまでの作業場所ＩＤは、“ＳＳ０１：ＳＳ０２”のように、前後の作業場所ＩＤの組合せになっている。
進捗段階ＩＤ欄１０２の進捗段階ＩＤは、前記した作業段階を一意に特定する識別子である。ある作業場所における最初の進捗段階の進捗段階ＩＤには“_{ｓｔａｒｔ}”が付され、最後の進捗段階の進捗段階ＩＤには“_ｅｎｄ”が付される。移動中の進捗段階の進捗段階ＩＤは、“Ｔ０８：Ｔ１１” のように、前後の進捗段階ＩＤの組合せになっている。

見本画像ＩＤ欄１０３の見本画像ＩＤは、見本画像を一意に特定する識別子である。
拡張現実画像ＩＤ欄１０４の拡張現実画像ＩＤは、拡張現実画像を一意に特定する識別子である。但し、例外的に、作業員３が移動中の進捗段階“Ｔ０８：Ｔ１１”等には、位置情報が記憶されている。

表示画像欄１０５の表示画像は、出力装置１３に表示されるべき画像である。例えば１行目の“ＡＲ０１＋注視画像”は、進捗段階Ｔ０１_{ｓｔａｒｔ}において、拡張現実画像“ＡＲ０１”と作業場所にて撮像されることになる注視画像とが重ねて表示されることを示している。さらに、９行目の“ＡＲ９９”は、進捗段階Ｔ０８：Ｔ１１において、拡張現実画像“ＡＲ９１”が他の画像と重ねられることなく単独で表示されることを示している。なお、“ＡＲ９１”は、案内情報である。

注視画像撮像要否欄１０６の注視画像撮像要否は、“要”又は“否”のいずれかである。“要”は、当該進捗段階において、注視画像が撮像されることが前提になっていることを示す。“否”は、当該進捗段階において、注視画像が撮像されることが前提になっていないこと、又は、良好な撮像条件での撮像に失敗したことを示す。当然のことながら、移動中を除く各進捗段階における注視画像撮像要否は、原則“要”である。

注視画像ＩＤ欄１０７の注視画像ＩＤは、注視画像を一意に特定する識別子である。但し、図６の作業手順書３１は、作業員３が作業場所に出かける前の時点のものであり、その時点では、注視画像は未だ撮像されていない。そこで、各レコードの注視画像ＩＤ欄１０７には、注視画像は未だ撮像されていないことを示す“Ｐ？”が記憶される。但し、注視画像撮像要否が“否”であるレコードの注視画像ＩＤ欄１０７には、“−”が記憶されている。“−”は、そもそも注視画像が撮像される予定ではないことを示している。

図７に沿って、作業手順書３１を説明する。図６の作業手順書３１が、作業員３が作業場所において作業を行う前の時点でのものであるのに対し、図７の作業手順書３１は、作業員３が実際に作業場所において作業を進めた結果データが更新された後の時点のものである。図７の作業手順書３１の構成は、エビデンス欄１０８が追加されていることを除き、図６と同じである。エビデンス欄１０８のエビデンス“＃＃”は、作業員３がその作業場所で確かに作業を行っていたことを示す任意のデータを省略的に示している。前記したように、エビデンスは、時刻情報、位置情報、不良な撮像条件で撮像された注視画像等である。

次に、図６及び図７を、そのデータの内容の相違点に注目して比較する。
（相違点１）
前記の図６の１行目のレコードでは、注視画像ＩＤは“Ｐ？”である。それに対して、図７の１行目のレコードでは、注視画像ＩＤは“Ｐ０１”である。このことは、以下のことを示している。
・進捗段階Ｔ０１_{ｓｔａｒｔ}において、作業場所では予定通り注視画像が撮像されたこと。
・その注視画像を特定する注視画像ＩＤが“Ｐ０１”であること。
なお、図６及び図７の３〜８及び１５行目のレコードについても同様である。

（相違点２）
前記の図６の２行目のレコードでは、注視画像撮像要否は“要”であり、注視画像ＩＤは“Ｐ？”である。それに対して、図７の２行目のレコードでは、注視画像撮像要否は“否”であり、注視画像ＩＤは“Ｒ０２”であり、さらにエビデンス“＃＃”が追加されている。このことは、以下のことを示している。

・進捗段階Ｔ０２において、作業場所では、撮像条件が不良であることに起因してカメラ１７は、見本画像に類似する注視画像を撮像することができなかったこと。
・そのため、見本画像“Ｒ０２”が、本来撮像されるべき注視画像と看做されたこと。
・作業員が作業場所“ＳＳ０１”において確かに作業を行っていたことを示すエビデンスが取得されたこと。

（相違点３）
前記の図６の１０〜１３行目のレコードでは、注視画像撮像要否は“要”であり、注視画像ＩＤは“Ｐ？”である。それに対して、図７の１０〜１３行目のレコードでは、注視画像撮像要否は“否”であり、注視画像ＩＤは“Ｒ１１”、“Ｒ１２”、“Ｒ１３”及び“Ｒ１４”であり、さらにエビデンス“＃＃”が追加されている。このことは、以下のことを示している。

・作業員３は、作業場所“ＳＳ０２”においては、屋外機が殆ど照明のない場所に配置されている、不良な撮像条件がしばらく続きそうである等の事情により、注視画像が撮像されることを前提にしないことを決定したこと。
・そのため、見本画像“Ｒ１１”、“Ｒ１２”、“Ｒ１３”及び“Ｒ１４”が、本来撮像されるべき注視画像と看做されたこと。
・作業員が作業場所“ＳＳ０２”において確かに作業を行っていたことを示すエビデンスが取得されたこと。

（画像間の類似度）
２つの画像間の類似度を比較する技術が一般に普及している。本実施形態において、作業支援装置１は、任意の既存技術を使用して２つの画像間の類似度を算出する。ここでの既存技術とは、例えば、エッジ（輪郭）検出、エッジの方向検出、形状検出、画素値検出、色彩検出、見本画像をテンプレートとしたテンプレートマッチング、検出結果の数値化等の技術を含む。作業支援装置１は、このような既存技術を使用し、２つの画像間の差異を数値化し、その差異が小さいほど大きな類似度を出力するものとする。作業支援装置１がこのように２つの画像間の類似度を算出する場合は２種類存在する。その１つは、撮像された画像が注視画像であるか否かを判断する場合であり、他の１つは、注視画像を見本画像と比較する場合である。

（撮像された画像が注視画像であるか否かの判断）
図８に沿って、撮像された画像が注視画像であるか否かを判断する方法を説明する。まず、図８（ａ）に注目する。いま、カメラ１７は、１１個の連続画像Ａ、Ｂ、・・・、Ｋを所定の時間周期（例えば１秒）で撮像したとする。作業支援装置１は、時間的に隣接する２個の画像について、“画像間の類似度”で前記した既存の方法で類似度を算出する。すると、画像Ａと画像Ｂとの類似度、画像Ｂと画像Ｃとの類似度、・・・、画像Ｊと画像Ｋとの類似度のように、合計１０個の類似度が算出されることになる。

作業支援装置１は、横軸が時間であり縦軸が類似度である座標平面に、このように算出した１０個の類似度をプロットする（図８（ａ）の“●”）。作業員３が、例えば５秒間ある設備２を注視している場合、カメラ１７は、その５秒間において、殆ど同じ画像を例えば５個撮像することになる。この５個の画像について、４個の類似度が算出されることになる。これらの類似度は、充分大きい。すると、これらの類似度を示す“●”は、座標平面の上の方に集まる。

一方、作業員３が、例えば５秒間特定の対象物を注視することなく、何か考えごとをしている場合、カメラ１７は、その５秒間において、充分異なる画像を例えば５個撮像することになる。図８（ａ）からは離れるが、この５個の画像についても４個の類似度が算出されることになる。これらの類似度は、充分小さい。すると、これらの類似度を示す“●”は、座標平面の下の方に集まる。

図８（ａ）において、類似度に対する閾値がＴＨ_１である場合、作業支援装置１は、画像Ｄと画像Ｅ、画像Ｅと画像Ｆ、画像Ｆと画像Ｇ、及び、画像Ｇと画像Ｈは類似していると判断する。そして、５つの画像Ｄ〜Ｈのうち、例えば中央の画像Ｆを注視画像とする。仮に、閾値がＴＨ_０である場合、類似度に関するハードルが高いので、作業支援装置１は、注視画像を検出しない。

類似度に対する閾値が必要以上に厳しい（より大きな類似度を要求する）と、作業支援装置１は、撮像された画像のうちから、見本画像と比較するべき注視画像を取得することができなくなる。図８（ｂ）において、閾値がＴＨ_１を起点として、ＴＨ_２、ＴＨ_３の順に小さくなると、注目画像がより高い確率で取得され得ることになる。

（注視画像と見本画像との間の類似度）
作業支援装置１は、“画像間の類似度”で前記した既存の方法で、注視画像と見本画像との間の類似度を算出する。その際に類似度に対して適用される閾値は、図８の閾値とは、同じものであってもよいし、別のものであってもよい。以降では、注視画像と見本画像との間の類似度を算出するための閾値（“マッチング閾値”と呼ぶ）が、撮像された画像が注視画像であるか否かを判断するための閾値（図８）とは別のものであることを前提として説明を続ける。マッチング閾値が必要以上に厳しいと、注視画像が取得されても、作業支援装置１は、注視画像は見本画像に類似していないと判断し続けることになる。したがって、後記するフローチャートにおいて、作業支援装置１は、マッチング閾値を変更する。

（処理手順）
図９に沿って、処理手順を説明する。処理手順を開始する前提として、ユーザ（作業員３又はその管理者）は、作業手順書３１、見本画像３２及び拡張現実画像３３を既に作成し終えているものとする。さらに、説明の単純化のため、作成済の作業手順書３１は、図６の１行目〜８行目のレコードのみを有しているものとする。他のレコードについては、別途説明する。

ステップＳ２０１において、作業支援装置１の画像入力処理部２１は、作業手順書３１を受け付ける。具体的には、第１に、画像入力処理部２１は、ユーザが入力装置１２を介して作業手順書３１（図６）を入力するのを受け付ける。

第２に、画像入力処理部２１は、受け付けた作業手順書３１にそのＩＤが記憶されているすべての見本画像３２及びすべての拡張現実画像３３をユーザが入力装置１２を介して入力するのを受け付ける。
第３に、画像入力処理部２１は、ステップＳ２０１の“第１”及び“第２”において受け付けた情報を補助記憶装置１５に記憶する。

ステップＳ２０２において、画像入力処理部２１は、見本画像を取得する。具体的には、画像入力処理部２１は、作業手順書３１の未処理のレコードのうち先頭のレコードを取得する。以降、ここで取得されたレコードを“対象レコード”と呼ぶ。画像入力処理部２１は、対象レコードの見本画像ＩＤが特定する見本画像を補助記憶装置１５から取得し、主記憶装置１４に一時的に記憶する。以降、ここで取得された見本画像を“対象見本画像”と呼ぶことがある。なお、繰り返し処理における最初の対象レコードは、進捗段階が“_{ｓｔａｒｔ}”を含むレコードである。

ステップＳ２０３において、画像入力処理部２１は、タイマ及びカウンタを初期化する。具体的には、画像入力処理部２１は、タイマ値を“０”に設定し、カウンタ値を“０”に設置する。その後、タイマは、時間の経過に応じて、タイマ値を増加させていく。

ステップＳ２０４において、画像入力処理部２１は、カメラ１７を使用するか否かを判断する。具体的には、画像入力処理部２１は、ユーザが入力装置１２を介してカメラ１７を使用する旨の指示を入力するのを受け付けた場合（ステップＳ２０４“Ｙｅｓ”）、カメラ１７を運転状態にしたうえで、ステップＳ２０５に進む。画像入力処理部２１は、カメラ１７を使用しない旨の指示を受け付けた場合（ステップＳ２０４“Ｎｏ”）、カメラ１７を停止状態にしたうえで、ステップＳ２０７に進む。

ステップＳ２０５において、画像入力処理部２１は、対象物を注視しているか否かを判断する。具体的には、画像入力処理部２１は、カメラ１７が所定の時間的周期で撮像した画像から、図８で前記した方法によって注目画像を取得できるか否かを判断する。画像入力処理部２１は、注目画像が取得できる場合（ステップＳ２０５“Ｙｅｓ”）、ステップＳ２０６に進み、注目画像が取得できない場合（ステップＳ２０５“Ｎｏ”）、ステップＳ２１６に進む。

ステップＳ２０６において、画像入力処理部２１は、注視画像を取得する。具体的には、図８（ａ）で前記したように、撮像された画像のうち類似している一連の画像の中央の画像を注視画像として取得し、補助記憶装置１５に記憶する。

ステップＳ２０７において、作業支援装置１の注視画像代替部２３は、見本画像を注視画像と看做す。具体的には、注視画像代替部２３は、対象見本画像を注視画像と看做し、注視画像３４として補助記憶装置１５に記憶する。
つまり、注視画像代替部２３は、対象見本画像のコピーを作成し、作成したコピーを注視画像３４として補助記憶装置１５に記憶する。そして、ここで看做された注視画像（対象見本画像のコピーである注視画像）を、以降“看做し注視画像”と呼ぶことがある。なお、これらのことは、後記するステップＳ２３２及びＳ２３７においても同様である。

ステップＳ２０８において、注視画像代替部２３は、エビデンスを受け付ける。具体的には、注視画像代替部２３は、現在の位置情報又は時刻情報をエビデンス（証拠）として取得する。

ステップＳ２０９において、作業支援装置１の画像出力処理部２２は、注視画像と見本画像との類似度を算出する。具体的には、画像出力処理部２２は、前記した既存技術を使用して、ステップＳ２０６において取得された注視画像又は看做し注視画像を、対象見本画像と比較し、両者間の類似度を算出する。なお、ステップＳ２０７を経由した場合、当然のことながら、注視画像は、対象見本画像に完全に一致する。

ステップＳ２１０において、画像出力処理部２２は、類似度が閾値以上であるか否かを判断する。具体的には、画像出力処理部２２は、ステップＳ２０９において算出された類似度が所定の閾値（マッチング閾値）以上である場合（ステップＳ２１０“Ｙｅｓ”）、ステップＳ２１１に進み、それ以外の場合（ステップＳ２１０“Ｎｏ”）、ステップＳ２１７に進む。

ステップＳ２１１において、画像出力処理部２２は、拡張現実画像３３を取得する。具体的には、第１に、画像出力処理部２２は、作業手順書３１（図６）を参照し、対象レコードの拡張現実画像ＩＤを取得する。
第２に、画像出力処理部２２は、ステップＳ２１１の“第１”において取得した拡張現実画像ＩＤが特定する拡張現実画像３３を補助記憶装置１５から取得する。

ステップＳ２１２において、画像出力処理部２２は、拡張現実画像３３及び注視画像３４を重ねて表示する。具体的には、ステップＳ２１１の“第２”において取得された拡張現実画像３３と、ステップＳ２０６で取得された注視画像又は看做し注視画像とを出力装置１３に重ねて表示する。

ステップＳ２１３において、画像出力処理部２２は、すべての進捗段階が終了したか否かを判断する。具体的には、画像出力処理部２２は、対象レコードの進捗段階が“_ｅｎｄ”を含む場合（ステップＳ２１３“Ｙｅｓ”）、ステップＳ２１５に進む。画像出力処理部２２は、それ以外の場合（ステップＳ２１３“Ｎｏ”）、ステップＳ２１４に進む。

ステップＳ２１４において、画像出力処理部２２は、一時中断するか否かを判断する。具体的には、画像出力処理部２２は、ユーザが入力装置１２を介して作業を一時中断する旨の指示、又は、作業を続行する旨の指示を入力するのを受け付ける。そして、画像出力処理部２２は、一時中断する旨の指示を受け付けた場合（ステップＳ２１４“Ｙｅｓ”）、ステップＳ２１５に進み、続行する旨の指示を受け付けた場合（ステップＳ２１４“Ｎｏ”）、ステップＳ２０２に戻る。ステップＳ２０２に戻った後、作業手順書３１の未処理の次のレコードが対象レコードとして取得され、その対象レコードの見本画像ＩＤが特定する見本画像が対象見本画像とされたうえで、同様の処理が繰り返されることになる。

ステップＳ２１５において、画像出力処理部２２は、作業手順書３１を保存する。ステップＳ２０６を経由した場合と、ステップＳ２０７を経由した場合とで当該ステップの処理の内容は異なる。具体的には、ステップＳ２０６を経由した場合には、画像出力処理部２２は、対象レコードの注視画像ＩＤを、“Ｐ？”から、実際に撮像された注視画像を特定する注視画像ＩＤ（“Ｐ０１”等）に変更したうえで、作業手順書３１を更新する。

ステップＳ２０７を経由した場合には、画像出力処理部２２は、対象レコードの注視画像撮像要否を、“要”から“否”に変更する。つぎに、画像出力処理部２２は、対象レコードの注視画像ＩＤを、“Ｐ？”から、看做し注視画像の見本画像ＩＤ（“Ｒ０２”等）に変更する。さらに、画像出力処理部２２は、対象レコードのエビデンス欄１０８を設け、当該欄にステップＳ２０８において取得されたエビデンスを記憶する。結局、画像出力処理部２２は、撮像された注視画面又は看做し注視画面を時系列で記憶することになる。

ステップＳ２１６において、作業支援装置１の画像入力処理部２１は、タイマ値が閾値以上であるか否かを判断する。具体的には、画像入力処理部２１は、現時点のタイマ値が所定の閾値以上である場合（ステップＳ２１６“Ｙｅｓ”）、ステップＳ２１９に進み、それ以外の場合（ステップＳ２１６“Ｎｏ”）、ステップＳ２０５に戻る。

ステップＳ２１０“Ｎｏ”に続くステップＳ２１７において、画像入力処理部２１は、カウンタ値に“１”を加算する。因みに、このカウンタ値は、例えば対象見本画像にはない対象物を注視していた（よそ見していた）回数である。

ステップＳ２１８において、画像入力処理部２１は、カウンタ値が閾値以上であるか否かを判断する。具体的には、画像入力処理部２１は、現時点のカウンタ値が所定の閾値以上である場合（ステップＳ２１８“Ｙｅｓ”）、ステップＳ２１９に進み、それ以外の場合（ステップＳ２１８“Ｎｏ”）、ステップＳ２０５に戻る。

ステップＳ２１９において、作業支援装置１の画像出力処理部２２は、注意メッセージを表示する。具体的には、画像出力処理部２２は、“よそ見を控えて下さい”、“作業に集中して下さい”等の注意メッセージを出力装置１３に表示する。

ステップＳ２２０において、作業支援装置１の画像入力処理部２１は、応答を受け付ける。具体的には、画像入力処理部２１は、入力装置１２に“中止”、“やり直し”及び“続行”の３つのボタンを表示し、ユーザがそれらのうちのいずれかを押下するのを受け付ける。“やり直し”は、作業員３が直近の過去の進捗段階を繰り返したい場合等に押下される。“中止”と“一時中断”とは区別される。“一時中断”は、作業員３が未だ行っていない進捗段階をいずれは再開することを意味している。一方、“中止”は、作業員３が未だ行っていない進捗段階を放棄してしまうことを意味する。

“続行”は、作業員３が単にそのまま作業を続けるのではなく、作業の一時中断、マッチング閾値の変更、カメラ１７の使用の取りやめ等の措置を講じることによって、作業が終了しない悪循環から積極的に脱出しようとしていることを意味する。

ステップＳ２２１において、画像入力処理部２１は、応答は何であったかを判断する。具体的には、画像入力処理部２１は、“中止”が押下された場合（ステップＳ２２１“中止”）、ステップＳ２１５に進む。画像入力処理部２１は、“やり直し”が押下された場合（ステップＳ２２１“やり直し”）、ステップＳ２２２に進み、“続行”が押下された場合（ステップＳ２２１“続行”）、ステップＳ２２３に進む。

ステップＳ２２２において、画像入力処理部２１は、やり直しの起点を決定する。具体的には、第１に、画像入力処理部２１は、過去及び現在の進捗段階の見本画像を時系列で出力装置１３に表示する。
第２に、画像入力処理部２１は、ユーザが表示されている見本画像のうち任意のものを選択するのを受け付ける。ここで選択された見本画像を“やり直し起点見本画像”とも呼ぶ。
ステップＳ２２２の次に戻るステップＳ２０２においては、やり直し起点見本画像が、対象見本画像となり、やり直し起点見本画像の見本画像ＩＤを有する作業手順書３１のレコードが、対象レコードとなる。

ステップＳ２２３は、作業改善処理である。ステップＳ２２３の詳細は、別途後記する。ステップＳ２２３の後、処理は、ステップＳ２０４に戻る。

（ステップＳ２２３の詳細：作業改善処理）
図１０に沿って、ステップＳ２２３の詳細を説明する。
ステップＳ２３１において、作業支援装置１の画像出力処理部２２は、一時中断するか否かを判断する。具体的には、画像出力処理部２２は、ユーザが入力装置１２を介して作業を一時中断する旨の指示、又は、作業を続行する旨の指示を入力するのを受け付ける。そして、画像出力処理部２２は、一時中断する旨の指示を受け付けた場合（ステップＳ２３１“Ｙｅｓ”）、ステップＳ２３２に進み、続行する旨の指示を受け付けた場合（ステップＳ２３１“Ｎｏ”）、ステップＳ２３４に進む。

ステップＳ２３２において、作業支援装置１の注視画像代替部２３は、見本画像を注視画像と看做す。具体的には、注視画像代替部２３は、対象見本画像を注視画像と看做し、注視画像３４として補助記憶装置１５に記憶する。

ステップＳ２３３において、注視画像代替部２３は、エビデンスを受け付ける。具体的には、注視画像代替部２３は、現在の位置情報、時刻情報、又は、ステップＳ２０６において取得された（見本画像との類似度が小さい）注視画像をエビデンス（証拠）として取得する。

ステップＳ２３４において、作業支援装置１の画像出力処理部２２は、類似度に対する閾値を更新する。具体的には、画像出力処理部２２は、マッチング閾値を、所定の刻み幅だけ小さくする。その値が小さくなった分だけ、注視画像と見本画像との間の類似度を算出するための基準は、緩くなる。

ステップＳ２３５において、画像出力処理部２２は、類似度に対する閾値が下限に達しているか否かを判断する。マッチング閾値を所定の刻み幅だけ小さくすることを繰り返した結果、マッチング閾値が極端に小さくなったとする。すると、注目画像が見本画像と多少異なっていても、殆どすべての場合が、ステップＳ２１０の“Ｙｅｓ”を経由することになる。このような場合、注目画像に対して、本来対応するべき正しい拡大現実画像が重ねて表示されなくなる。したがって、作業支援装置１は、類似度に対する閾値の下限を予めユーザから受け付けておく。

具体的には、画像出力処理部２２は、マッチング閾値が下限に達している場合（ステップＳ２３５“Ｙｅｓ”）、ステップＳ２３６に進み、それ以外の場合（ステップＳ２３５“Ｎｏ”）、ステップＳ２２３の処理を終了し、ステップＳ２０４に戻る。

ステップＳ２３６において、作業支援装置１の画像入力処理部２１は、カメラ１７の使用を停止するか否かを判断する。具体的には、画像入力処理部２１は、ユーザが入力装置１２を介してカメラ１７の使用を停止する旨の指示を入力するのを受け付けた場合（ステップＳ２３６“Ｙｅｓ”）、ステップＳ２３７に進む。このとき、画像入力処理部２１は、カメラ１７が運転状態になっている場合はカメラ１７を停止状態にする。画像入力処理部２１は、カメラ１７の使用を停止しない旨の指示を受け付けた場合（ステップＳ２３６“Ｎｏ”）、ステップＳ２３９に進む。このとき、画像入力処理部２１は、カメラ１７が停止状態になっている場合はカメラ１７を運転状態にする。

ステップＳ２３７において、作業支援装置１の注視画像代替部２３は、見本画像を注視画像と看做す。具体的には、注視画像代替部２３は、対象見本画像を注視画像と看做し、注視画像３４として補助記憶装置１５に記憶する。

ステップＳ２３８において、注視画像代替部２３は、エビデンスを受け付ける。具体的には、注視画像代替部２３は、現在の位置情報、時刻情報、又は、ステップＳ２０６において取得された注視画像をエビデンス（証拠）として取得する。

ステップＳ２３９において、作業支援装置１の画像出力処理部２２は、作業手順書３１を保存する。ステップＳ２３９の処理は、ステップＳ２１５の処理と同じである。

（移動中の処理手順）
前記では、作成済の作業手順書３１は、図６の１行目〜８行目のレコードのみを有しているものとした。次に、作業手順書３１が図６の９行目のレコード（以降、“移動案内レコード”と呼ぶこともある。）を有している場合の処理の流れを説明する。

移動中の処理手順は、処理がステップＳ２１３“Ｙｅｓ”の後もステップＳ２１４を経由し（この点は、図９とは異なる）、さらにステップＳ２１４“Ｎｏ”を経由し、ステップＳ２０２に戻ることを契機に開始される。すると、ステップＳ２０２において、移動案内レコードが対象レコードとなる。その後、処理は、ステップＳ２０２→Ｓ２０６→Ｓ２１０→Ｓ２１１→Ｓ２１２→Ｓ２１３を経由する。以下にそれらのステップの処理の内容を記載する。

ステップＳ２０２において、画像入力処理部２１は、対象レコードの位置情報を取得する。以降、ここで取得された位置情報を“対象位置情報”と呼ぶことがある。
ステップＳ２０６において、画像入力処理部２１は、現在の位置情報を取得し、ユーザが入力装置１２を介して案内情報要求ボタンを押下するのを受け付ける。
ステップＳ２１０において、第１に、画像出力処理部２２は、現在の位置情報と対象位置情報との間の距離を算出する。
第２に、画像出力処理部２２は、算出した距離が所定の閾値以下である場合、ステップＳ２１１に進み、それ以外の場合、メッセージ“正しい作業場所に戻ってください”を出力装置１３に表示した後、処理を終了する。

ステップＳ２１１において、画像出力処理部２２は、拡張現実画像３３を取得する。ここでの拡張現実画像３３は、作業員３が他の作業場所（次の現場）に移動するための案内情報（地図等）である。
ステップＳ２１２において、画像出力処理部２２は、拡張現実画像３３（案内情報）を出力装置１３に表示する。
ステップＳ２１３において、画像出力処理部２２は、すべての進捗段階が終了したか否かを判断する。具体的には、画像出力処理部２２は、対象レコードの次のレコードがない場合、処理手順を終了し、それ以外の場合、ステップＳ２０２に戻る。

（カメラの使用の連続的停止）
ある作業場所において撮影条件が不良であり、当該作業場所における一連の進捗段階を完了するまでに撮像条件が回復する見込みがない場合もある。この場合、ステップＳ２０４において、画像入力処理部２１は、カメラ１７を使用しない旨の指示とともに、カメラの使用を連続的に停止する旨の指示を受け付ける。すると、画像入力処理部２１は、以降の繰り返し処理において、必ずステップＳ２０４“Ｎｏ”を経由する。その結果として、更新後の作業手順書３１は、図７の１０行目〜１３行目のようなレコードを有することになる。

これとは逆に、画像入力処理部２１は、原則、自動的にステップＳ２０４“Ｙｅｓ”を経由することとし、例外的にユーザの指示を受けた場合に限り、ステップＳ２０４の判断を実行してもよい。さらに、撮像条件が所定の基準を満たす程度に良好でない場合（例えば、作業場所の照度が閾値以下である場合）、画像入力処理部２１は、自動的にステップＳ２０４“Ｎｏ”を経由することとしてもよい。

（本実施形態の効果）
本実施形態の作業支援装置の効果は以下の通りである。
（１）作業支援装置は、注視画像を見本画像と比較することによって拡大現実画像を特定する。そして、カメラ不使用時、又は、撮像条件不良時には、見本画像を注視画像と看做す。したがってユーザは、カメラ不使用時、又は、撮像条件不良時であっても、確実に拡大現実画像を見ることができる。そして、ユーザは、そのためにわざわざ既存のアルゴリズムを大きく変更する必要がない。
（２）ユーザは、任意の進捗段階で作業を一時中断することができる。このとき、過去の注視画像が保存される。したがって、ユーザは、次の進捗段階から作業を再開することができる。
（３）ユーザは、注視画像を見本画像と比較する際の類似度の閾値を緩くすることができる。したがって、撮像条件が完全に良好でなくても作業を続行できる。

（４）ユーザは、作業の途中で撮像条件が不良となった場合でも、カメラを使用せずに作業を続行できる。
（５）ユーザは、撮像条件が不良となった場合でも、切りのよい進捗段階まで作業を行ったうえで、作業を一時中断することができる。
（６）ユーザは、所定の作業場所で作業を行っていた証拠を残すことができる。
（７）ユーザは、取得しやすい情報（位置情報、時刻情報又は写りの悪い注視画像）を証拠とすることができる。
（８）ユーザは、作業場所を移動する際、案内情報を見ることができる。
（９）ユーザは、撮像条件に応じて、カメラを使用するか否かを自由に選択できる。

なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、前記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウエアで実現してもよい。また、前記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

１、１ｂ 作業支援装置
２ 設備
３ 作業員
４ サーバ（外部記憶装置）
５ ネットワーク
６ ＡＲマーカ
１１ 中央制御装置
１２ 入力装置
１３ 出力装置
１４ 主記憶装置（記憶部）
１５ 補助記憶装置（記憶部）
１６ 通信装置
１７ カメラ
２１ 画像入力処理部
２２ 画像出力処理部
２３ 注視画像代替部
３１ 作業手順書
３２ 見本画像
３３ 拡張現実画像
３４ 注視画像

Claims (11)

1. 作業の対象とするべき対象物を予め撮像した見本画像と、前記作業の内容を拡張現実の手法で示す拡張現実画像と、が前記作業の進捗段階に対応付けて格納される記憶部と、
   作業員が注視している対象物をカメラが撮像した注視画像を取得する画像入力処理部と、
   前記注視画像と、前記見本画像に対応する前記拡張現実画像とを重ねて表示する画像出力処理部と、
   ある進捗段階において、前記カメラが使用されない場合、又は、前記注視画像が前記見本画像に類似しない場合、当該進捗段階の前記見本画像自身を、前記見本画像と重ねて表示されるべき前記注視画像と看做す注視画像代替部と、
   を備えることを特徴とする作業支援装置。
2. 前記画像出力処理部は、
   前記作業員が前記作業を一時中断する場合、前記撮像された注視画像又は前記看做された注視画像を時系列で記憶すること、
   を特徴とする請求項１に記載の作業支援装置。
3. 前記注視画像を前記見本画像と比較し、所定の基準を満たす程度に両者が類似していれば前記注視画像と前記拡張現実画像とを重ねて表示する場合において、
   前記画像出力処理部は、
   前記注視画像が前記見本画像に類似していない場合が所定の回数以上繰り返され、かつ、前記作業員が前記作業を続行する場合、前記所定の基準をより緩いものに更新すること、
   を特徴とする請求項２に記載の作業支援装置。
4. 前記注視画像代替部は、
   ある進捗段階において前記所定の基準が下限に達し、かつ、前記カメラの使用が停止される場合、当該進捗段階の前記見本画像自身を、前記見本画像と比較されるべき前記注視画像と看做すこと、
   を特徴とする請求項３に記載の作業支援装置。
5. 前記注視画像代替部は、
   前記注視画像が前記見本画像に類似していない場合が所定の回数以上繰り返され、かつ、ある進捗段階において前記作業員が前記作業を一時中断する場合、当該進捗段階の前記見本画像自身を、前記見本画像と比較されるべき前記注視画像と看做すこと、
   を特徴とする請求項４に記載の作業支援装置。
6. 前記注視画像代替部は、
   前記見本画像自身を、前記見本画像と比較されるべき前記注視画像と看做す場合、前記作業員が所定の作業場所で作業を行っていたことを示す証拠を取得すること、
   を特徴とする請求項５に記載の作業支援装置。
7. 前記証拠は、
   前記作業が行われた作業場所の位置情報、作業が行われた時点の時刻情報、及び、前記注視画像のうちの少なくともいずれか１つを含むこと、
   を特徴とする請求項６に記載の作業支援装置。
8. 前記画像出力処理部は、
   前記作業員がある作業場所から他の作業場所に移動して作業を行う場合、前記ある作業場所から前記他の作業場所への案内情報を表示すること、
   を特徴とする請求項７に記載の作業支援装置。
9. 前記画像入力処理部は、
   前記作業員が、前記カメラを使用するか否かを入力するのを受け付けること、
   を特徴とする請求項８に記載の作業支援装置。
10. 作業の対象とするべき対象物を予め撮像した見本画像と、前記作業の内容を拡張現実の手法で示す拡張現実画像と、が作業の進捗段階に対応付けて格納される外部記憶装置と通信可能な作業支援装置であって、
    作業員が注視している対象物をカメラが撮像した注視画像を取得する画像入力処理部と、
    前記注視画像と、前記見本画像に対応する前記拡張現実画像とを重ねて表示する画像出力処理部と、
    ある進捗段階において、前記カメラが使用されない場合、又は、前記注視画像が前記見本画像に類似しない場合、当該進捗段階の前記見本画像自身を、前記見本画像と重ねて表示されるべき前記注視画像と看做す注視画像代替部と、
    を備えることを特徴とする作業支援装置。
11. 作業支援装置の記憶部は、
    作業の対象とするべき対象物を予め撮像した見本画像と、前記作業の内容を拡張現実の手法で示す拡張現実画像と、を作業の進捗段階に対応付けて格納しており、
    前記作業支援装置の画像入力処理部は、
    作業員が注視している対象物をカメラが撮像した注視画像を取得し、
    前記作業支援装置の画像出力処理部は、
    前記注視画像と、前記見本画像に対応する前記拡張現実画像とを重ねて表示し、
    前記作業支援装置の注視画像代替部は、
    ある進捗段階において、前記カメラが使用されない場合、又は、前記注視画像が前記見本画像に類似しない場合、当該進捗段階の前記見本画像自身を、前記見本画像と重ねて表示されるべき前記注視画像と看做すこと、
    を特徴とする作業支援装置の作業支援方法。

Images