JPWO2014097413A1 - 作業支援端末および作業支援システム - Google Patents

Abstract

作業者の視野を撮影する視野カメラと、視野カメラで撮影された視野画像と、作業領域の全景が撮影された全景画像と、全景画像中の位置により指定される情報とを蓄積する記憶部と、全景画像中の視野画像の位置を特定し、特定された位置により指定された情報を記憶部より読み出す画像処理部と、情報を表示する表示部と、を有することを特徴とする作業支援端末。

Description

本発明は、作業支援端末およびそれを用いた作業支援システムに関する。

さまざまな作業に拡張現実感技術を適用するためには、重畳表示するための文字列やＣＧ画像等からなるコンテンツを容易に作成できることが望ましい。拡張現実感技術で必要となるコンテンツは、文字列やＣＧ画像等の重畳表示に必要となる情報と、それらと現実世界との対応関係を表す情報と、から構成される。このため、文字列やＣＧ画像等の重畳表示に必要となる情報と現実世界との対応付けを容易に行うための技術が必要となる。

拡張現実感技術を用いた技術としては、例えば特許文献1があげられる。特許文献１では、撮像された観察対象を画像認識技術により特定し、特定された観察対象にあらかじめ対応付けられた付加画像データを観察対象の状態に応じて加工し、観察対象の画像上に加工した付加画像を重畳表示することが記載されている。

特開２００６−１４８６１８号公報

作業者の支援に拡張現実感技術を用いる場合、現実世界を撮影した画像上、あるいは作業者の視界上の適切な位置に、文字列やＣＧ画像による情報を重畳表示することにより、作業者に補足的な情報を提供することが考えられる。これには、現実世界を撮影した画像（以下、視野画像という）上、あるいは作業者の視界内のどこに作業対象となる対象物が存在しているかを特定する技術が必要となる。

上述した特許文献１では、よく知られている画像認識技術の一つであるパターンマッチング技術を用いて現実世界を撮影した画像上における対象物を特定している。すなわち、対象物の特徴的な部分の画像をテンプレートとして用意しておき、現実世界を撮影した画像中からテンプレートと類似度が高い部分を検出することにより、現実世界を撮影した画像中の対象物を特定する技術である。この場合、テンプレートとして用いられる部分は現実世界を撮影した画像中に収まっていることが前提となるため、テンプレートは現実世界の画像よりも小さいものが用いられる。このようなテンプレートを用いて、高精度に作業対象を特定するためには、現実世界を撮影した画像上に対象物全体が撮影されていることが必要となる。

しかし、この技術を応用し実際の作業支援に使おうとした場合、作業中においては、操作等によって作業の対象となる対象物の大部分が視野画像上では見えない状態が頻繁に発生するため、従来の画像認識技術では対象物を特定することが困難となるという問題がわかってきた。

また、特許文献１のように3次元の画像を用いた拡張現実感技術では、画条処理の負荷が大きくなり、作業ごとに異なる視野画像を大量に撮影するような作業支援に対して適用することは実質的に困難である。

本発明の目的は、工事や設備の保守・点検などの各種作業を行う作業者を、拡張現実感技術を用いることにより支援する技術を実現することにあり、特に、拡張現実感技術に必要となるコンテンツの作成が容易で、且つ、現実世界を撮影した画像上に作業対象が一部しか映っていない場合でも作業対象の特定を高精度に行うことができる作業支援技術を実現することにある。

上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、作業支援端末であって、作業者の視野を撮影する視野カメラと、前記視野カメラで撮影された第1の画像と、作業の対象となる対象物が複数写っている第2の画像とを、前記対象物に関する情報とを記憶する記憶部と、前記第1の画像と前記第2の画像との対応関係を求めることにより、前記第1の画像に写っている前記対象物を特定する画像処理部と、前記第1の画像に写っている前記対象物に関する情報を表示する表示部と、を有し、前記第2の画像には、それぞれの前記対象物の全体が写っていることを特徴とする。

本発明によれば、作業対象が視野画像、すなわち現実世界を撮影した画像上に一部しか撮影されていない場合でも、作業対象を高精度に特定することが可能となり、作業者の作業が容易になる。

本発明を適用した第一の実施例における作業支援端末を計算機上で実現した場合の構成図である。 本発明を適用した第一の実施例における作業支援端末の外観と、それを用いて作業を実施している様子を示した模式図である。 作業情報登録プログラムにおける処理の流れを示す図である。 全景画像の一例である。 作業対象に関する情報を格納するためのフォーマットを表す図である。 作業対象が登録された場合の画面と、作業対象が選択された場合に表示される内容の一例を説明するための図である。 作業手順に関する情報を格納するためのフォーマットを表す図である。 作業項目を登録するための画面の一例を表す図である。 作業対象が選択された場合に表示される内容の一例を説明するための図である。 作業項目に作業対象が登録された場合の画面の一例を表す図である。 作業手順に作業項目が登録された場合の画面の一例を表す図である。 作業支援端末を用いた作業の流れを示す図である。 作業支援制御プログラムにおける処理の流れを示す図である。 ステップ２１０３における処理の流れを示す図である。 位置、回転角度、サイズ、それぞれにパラメータの変化を固定した場合の視野画像と全景画像のマッチングの様子を示した模式図である。 全景画像上の作業対象の領域を視野画像上に変換した結果の一例を表す図である。 作業項目に関する情報と作業対象の領域を視野画像上に重畳表示した一例を表す図である。 マッチングの履歴に基づいて、視野画像が全景画像に対応する領域を予想する処理を説明するための図である。 作業項目に対応する作業対象が視野画像の範囲外にあると判定された場合の重畳表示の一例を示す図である。 複数枚の全景画像が必要となる作業領域の一例を示す図である。 複数の全景画像間の対応関係の一例を示す図である。 全景画像間の対応関係を表す情報を格納するためのフォーマットを表す図である。 マッチングの履歴に基づいて、視野画像とマッチングを行う全景画像を選択する方法を説明するための図である。 本発明を適用した第二の実施例における作業支援端末を計算機上で実現した場合の構成図である。

本発明の第一の実施例を図１から図２３を用いて説明する。

図１は本発明による第一の実施例による作業支援端末を計算機上で実現した場合の構成図である。図１における１０１は、作業支援端末に必要な各種のプログラムを実行するための情報処理装置である。入力装置１０２は、作業中に作業を実施している箇所を撮影した画像あるいは作業中の作業者の視線方向の画像である視野画像を作業支援端末に入力するためのカメラと、作業支援端末の使用者である作業者が各種のプログラムに指示を与えるためのマウスあるいはタッチパネル等の計算機への入力手段から構成される。出力装置１０３は作業者に提示する画像を表示するための手段であり、携帯型計算機のモニタや頭部搭載型の表示装置であるＨＭＤ(Head Mounted Display)等を使用することができる。記憶装置１０４は、作業支援端末で必要となる各種プログラムを格納するための手段であり、作業情報登録プログラム１０５は、現実世界における作業対象物の位置や領域の定義、作業者に提示する情報の登録、およびそれらの間の対応関係を設定することにより、拡張現実感技術に必要となるコンテンツを作成するためのプログラムである。作業支援制御プログラム１０６は、視野画像と後述の全景画像をマッチングすることにより、両画像間の対応関係を求め、視野画像上に作業情報登録プログラム１０５で作成した情報を重畳表示することにより、作業中の作業者を支援する処理を行うためのプログラムである。

また、画像記憶部１０７には、作業者が作業を実施する作業領域の全景を撮影した画像である全景画像を格納する。全景画像とは、作業領域における、複数の対象物が１枚の画像中に写っている画像であり、それぞれの対象物は全体が収まるよう写っている。このような画像を本明細書では全景画像と呼び、マッチングのテンプレートとして用いる。例えば、装置の指示計器が作業を行う対象物である場合、装置正面に指示計器が１２個あるならば１２の対象物全てが１枚に写っている画像を指す。この全景画像は、作業情報登録プログラム１０５において作業対象物の位置や領域を定義する場合、および、作業支援制御プログラムにおいて視野画像とのマッチングに使用される。作業情報記憶部１０８には、作業者の支援に必要となる情報である、全景画像上に定義した作業対象に関する情報や、作業手順を表す情報を格納する。

図２は、第一の実施例による作業支援端末の外観とそれを用いて作業を実施している状況を示した模式図である。図２において、２０１は作業領域となる設備である。また、２０２は作業者の視線方向の画像である視野画像を撮影するためのカメラ、２０３は作業情報記憶部１０８に格納された作業情報データを視野画像に重畳表示した画像を表示するためのＨＭＤである。ＨＭＤとしては、カメラ２０２で撮影した視野画像に作業情報記憶部１０８に格納された作業情報データを重畳表示した画像を表示するタイプのＨＭＤの他、作業情報データのみを表示し、現実の作業領域は直接視認することが可能であるシースルー型のＨＭＤを使用することもできる。２０４は、作業情報登録プログラム１０５および作業支援制御プログラム１０６を実行するとともに、画像記憶部１０７および作業情報記憶部１０８を有する携帯型計算機である。携帯型計算機２０４の表示装置２０５には、各種の処理を実行する際に必要となる入力を作業者が行うための入力装置１０２としてタッチパネルが搭載されている。

＜全景画像と作業情報の登録処理について＞
図３に、作業情報登録プログラム１０５における全景画像および作業情報を登録する処理の流れを示す。まずステップ３０１において、作業領域の全景を表す全景画像を入力装置１０２の一つであるカメラにより取得、あるいはすでに画像記憶部１０７に格納されている全景画像から選択する。図２に示す構成では、カメラ２０２を用いて取得することができる。次にステップ３０２において、全景画像上における作業対象物の位置や領域を定義する。ここで、作業対象物とは、作業領域中に含まれるメータやスイッチ等、作業者が作業中に目視により確認、あるいは何らかの操作を行う対象物を指すものとする。さらにステップ３０３において、ステップ３０２で定義された作業対象に対してどのような順番でどのような作業を行うかを示す作業手順に関する情報を登録する。情報の登録が完了した全景画像は、画像記憶部１０７に格納される。図３に示す処理の流れでは、全景画像の登録３０１、作業対象の登録３０２および作業手順の登録３０３を順番に実行する形になっているが、すでに作業画像が登録された状態で作業対象の登録３０２から処理を開始すること、作業対象の登録までが完了した状態で作業手順の登録３０３から処理を開始すること、も可能である。

図４に全景画像の一例を示す。図４の全景画像は図２における設備２０１を正面から撮影した画像である。図４において、８０１、８０２、８０３および８０４は電流計、８０５、８０６、８０７、８０８は設備の状態を表す運転ランプ、８０９、８１０、８１１および８１２は設備を運転・停止するための運転ボタンであるとする。これらの電流計、運転ランプ、運転ボタンを作業対象として、以下、説明を行う。

図５に、作業対象に関する情報を格納するためのフォーマットを示す。図５において、１００１は作業領域名、１００２は全景画像のファイル名、１００３は登録されている作業対象の数である。１００４および１００７は登録された作業対象名、１００５および１００８は登録された作業対象に関する詳細を表す説明文、１００６および１００９は全景画像上における作業対象の領域を表す矩形領域の頂点座標である。作業対象に関する詳細としては説明文だけでなく、作業対象の仕様書やＣＧ画像等、作業対象に関連する情報であればどのような情報でも登録できる。頂点座標１００６および１００９は、全景画像上の位置を表すＸ軸座標およびＹ軸座標の組を矩形領域の頂点となる４点の座標の組を含んだ形式で格納されるものとする。また、作業対象の領域は、矩形だけでなく、円や任意の多角形等によって表すこともできる。作業対象の領域が円の場合は、１００６や１００９は円の中心座標と半径によって表すことができる。また、任意の多角形の場合、頂点数の座標の組を含んだ形式で１００６や１００９を表すことができる。

次に、作業対象に関する情報の登録方法について説明する。ここでは、電流計8０１を新たに作業対象として登録する場合について説明する。

まず、作業対象の領域となる矩形の左上の頂点の位置にマウスポインタを移動し、マウスをドラッグすることにより、矩形領域が設定される。矩形領域を設定した後、作業対象の詳細を入力し、作業対象の登録が完了する。

また、上記の例では、作業対象の領域を矩形領域で表していたが、例えば、作業対象の領域を円で表す場合は、上記と同様の方法で設定された矩形領域が作業対象の領域を表す円の外接矩形となるような円を、作業領域を表す円として求めればよい。あるいは、円の中心位置にマウスポインタを移動した後、ドラッグにより半径を指定するようにしても良い。あるいは、作業対象の領域が任意の多角形である場合は、頂点座標の位置を順にマウスでクリックしていくことにより、指定するようにしても良い。

図４の全景画像に対し、２つの作業対象を登録した後の状態を図６に示す。図６において、作業対象一覧１３０１には、「電流計１」と「電流計２」の２つの作業対象が登録されていることが示されている。また、「電流計２」の背景色が黒であることにより、「電流計２」が選択状態であることが示されている。作業対象一覧１３０１中における作業対象の選択は、目的とする作業対象の名称を、マウスによるクリックあるいはタッチパネルのタップにより、変更することができる。さらに、図６では、選択されている「電流計２」の全景画像上での矩形領域１３０２が表示されているとともに、登録済の「電流計２」の詳細１３０３が矩形領域の横に表示されている。全景画像上に表示する作業対象に関する情報としては、矩形領域のみを表示し、矩形領域をマウスによるクリックあるいはタッチパネルのタップした場合に詳細を表示するようにしても良い。

図７に、作業手順に関する情報を格納するためのフォーマットを示す。図７において、１５０１は作業名、１５０２は登録されている作業項目の数である。１５０３および１５０８は作業項目名、１５０４および１５０９は登録された作業項目に関する内容を表す説明文、１５０５および１５１０は、各作業項目に対応づけられた作業対象の数である。作業項目に関する内容としては説明文だけでなく、別途作成された作業手順書やＣＧ画像等、作業項目の内容を表す情報であればどのような情報でも登録できる。さらに、１５０６、１５０７、１５１１および１５１２は各作業項目に対応づけられた作業対象名である。ここで言う作業項目とは例えば「電流計の値を確認する」といった作業の内容を示す項目であり、この作業項目中で用いられる「電流計１」「電流計２」の情報を作業対象としている。

作業項目の登録は、ステップ３０２で登録済の作業対象を選択し、作業項目名および作業内容を入力して登録は完了する。登録の際に表示される画面の例を図８に示す。図８において、１６０１は作業項目名を入力する欄、１６０２は作業内容を入力する領域、１６０３は作業項目に対応する作業対象の一覧を表示する領域である。１６０４には、登録された作業対象の一覧が表示されており、１６０５および１６０６により作業項目との対応付けを設定したり、対応付けを解除することができる。１６０７は作業項目に対応付ける作業対象を確認するための全景画像を表示する領域である。

図８において、１６０４に表示されている作業対象をマウスによるクリックやタッチパネルのタップ等により選択すると、図９の１７０１に示すように、選択された作業対象「電流計１」の表示が選択状態を表す状態、１７０１では背景が黒になった状態に変化するとともに、全景画像上において選択された作業対象の領域１７０２が表示される。この状態で１６０５を押下すると、選択された作業対象が作業項目に対応する作業対象として設定され、図１０の１８０１に示すように、「電流計１」が作業項目に対応する作業対象の一覧に追加される。さらに登録済みの作業対象の一覧１８０２では、作業項目に対応づけられた作業対象「電流計１」が省略された作業対象の一覧が表示される。また、図８において、作業対象の一覧１６０３中における作業対象を選択した後、１６０６を押下すると、選択された作業対象と作業項目の対応付けが解除され、選択された作業対象は１６０３中から削除されるとともに、１６０４の一覧中に追加され表示される。図８に示す画面では、作業対象を順に設定していくだけとなっているが、設定済みの作業対象の順序を変更する機能を追加することもできる。

図８において、作業項目名および作業内容を入力し、必要な作業対象を設定した後、１６０８を押下すると、入力および設定した情報が作業項目に関する情報として登録され、図８の画面が消去されるとともに元の画面に戻る。また１６０９を押下すると、入力および設定した情報は全て消去され、元の画面に戻る。

図４の全景画像に対し、２つの作業項目を登録した後の状態を図１１に示す。図１１の作業項目一覧１９０１には、登録された作業項目の名称、「電流計の確認」および「運転ランプの確認」が表示されている。ここで、１９０１における「電流計の確認」をマウスによるクリックあるいはタッチパネルのタップにより選択すると、図１１の１９０２に示すように、選択された作業項目名の表示が選択されたことを示す状態に変化するとともに、作業項目に対応する作業対象の領域１９０３、１９０４、１９０５および１９０６が全景画像上に表示される。さらに、図８の画面で作業対象が登録された順序を表す情報が１９０３、１９０４、１９０５および１９０６の左上の数値に示すように表示される。さらに、作業項目に対応する作業対象の順序だけでなく、各作業対象の詳細を表示するようにしても良い。あるいは、各作業対象の領域に対してマウスによるクリック、あるいはタッチパネルのタップを行うことにより、作業対象の詳細を表示するようにしても良い。さらに、作業内容も全景画像上、あるいは別途表示領域を設け、表示するようにしても良い。

作業情報登録プログラム１０５では、以上のような方法により、全景画像の登録、作業対象の登録、および作業手順の登録を行う。

＜作業支援制御プログラムの処理について＞
作業支援制御プログラム１０６の処理について説明する。

作業支援制御プログラム１０６は、作業情報登録プログラムによって登録した作業手順に関する情報に基づいて、拡張現実感技術による情報の重畳表示を行い、作業者の作業を支援する。

図１２に、作業支援端末を用いた作業の流れを示す。まず作業を行う作業者は、カメラ２０２により視野画像を撮影する（ステップ２００１）。次に、作業支援端末は、全景画像よりも小さい範囲を撮影した視野画像と全景画像とのマッチングを行い（ステップ２００２）、ステップ２００３にて全景画像中の視野画像の位置による対応関係を特定する。ステップ２００３で特定された位置に対応する作業項目や作業対象に関する情報を、作業支援端末の表示部に表示し（ステップ２００４）、表示された情報をもとに作業者は作業を行う（ステップ２００５）。図２０中のステップ２００２からステップ２００４までの作業支援制御プログラムの流れを図１３，１４にて詳細に説明する。

図１３に作業支援制御プログラム１０６の処理の流れを示す。図１３において、まず、ステップ２１０１で作業者が実施する作業を選択し、読み込む。作業の選択には、図７で示すフォーマットで保存された作業手順に関する情報の内、作業者が選択した作業１５０１に関する情報を読み込むようにすればよい。ステップ２１０２では、読み込んだ作業１５０１に関する情報の内、最初の作業項目１５０３に関する情報を選択する。ステップ２１０３では、カメラ２０２から取得した視野画像と全景画像とをマッチングさせることにより、視野画像と全景画像との対応関係を求める。図７に示すフォーマットには全景画像の情報が含まれていないが、その中に含まれる作業対象名から作業対象に関する情報をたどることにより、関連する全景画像を特定することができる。

図１４にステップ２１０３で行う処理の詳細な流れを示す。図１４に示す処理では、大まかなマッチングをステップ２２０１から２２０５において、詳細なマッチングをステップ２２０６から２２１０で行う２段階の処理としている。図１４において、ステップ２２０１では、視野画像と全景画像のマッチングを行う位置、全景画像とマッチングを行う際の視野画像の回転角度、全景画像とマッチングを行う際の視野画像の大きさ、の３種類のパラメータの組み合わせの内、ステップ２２０２以降の処理を行っていない組み合わせを検索し、該当する組み合わせが残っている場合は、ステップ２２０２に進む。全ての組み合わせに対して処理が行われていた場合は、ステップ２２０６に進む。パラメータの組み合わせを求める際には、各パラメータの上限値、下限値および変化量を求め、これらの範囲内で各パラメータを変化させることにより、パラメータの組み合わせを求める。

ステップ２２０２では、処理が行われていないパラメータの組み合わせを一つ選択する。さらに、２２０３では、選択されたパラメータの組み合わせによって決定される領域の画像を全景画像から切り出し、視野画像と同じ大きさに調整する。位置、回転角度、大きさ、それぞれにパラメータの変化を固定した場合の、視野画像と全景画像のマッチングのイメージを図１５に示す。図１５において、２３０１が視野画像、２３０２、２３０３および２３０４が全景画像を示している。２３０２において、２３０５で示される各矩形領域は、マッチングを行う位置のみを変化させた場合に視野画像とのマッチングを行うための全景画像上の領域である。２３０３において、２３０６で示される各矩形領域は、回転角度のみを変化させた場合に視野画像とのマッチングを行うための全景画像上の領域である。また、２３０４において、２３０７で示される各矩形領域は、大きさのみを変化させた場合に視野画像とのマッチングを行うための全景画像上の領域となる。全景画像中において、形状の同じ対象物が複数ある場合には、図１５のように、実際の装置の一部にマーキング４５０１をしておき、マーキング４５０１を含める形で全景画像を撮影してもよい。マーキングの位置により、視野画像と全景画像との位置関係が明確になる。

ステップ２２０３で行われる処理では、位置、大きさ、回転角度に基づいて全景画像上の画像を視野画像と同じ大きさに変換するための変換行列を求め、この変換行列により、全景画像上の該当する領域の画像を切り出すとともに、切り出した画像を視野画像と同じ大きさに調整する。このような変形は、アフィン変換と呼ばれる図形の移動や変形に使用される技術を用いることにより、容易に実現することが可能である。

次に、ステップ２２０４において、視野画像と全景画像から切り出した画像とをマッチング(比較)し、類似度を求める。類似度を求めるための計算式としては、画像認識において一般に用いられる各種計算式であればどのような計算式でも用いることができる。例えば、以下の式1

で定義されるＳＳＤ(Sum of Squared Differences)と呼ばれる類似度や、以下の式２

で定義される正規化相互相関等を利用することができる。さらにステップ２２０５では、求めた類似度とパラメータの組み合わせを保存してステップ２２０１に戻る。

ステップ２２０６では、求めた類似度の内、一番類似度が高いパラメータの組み合わせを選択し、それらのパラメータによって決定される全景画像上の領域を視野画像で見えている領域と判断し、ステップ２２０７以降で行われる処理の初期値として設定する。なお、式１は類似度が高いほど小さい値となり、式２は類似度が高いほど大きい値をとるため、用いる計算式に合わせて類似度の大小を判定する方法は変更する必要がある。

ステップ２２０７では、設定されている全景画像上の領域の頂点座標を少し移動した場合の類似度の変化に基づいて、領域を表す各頂点を変更する。これは、実際に撮影された視野画像が、全景画像とは違い作業対象を真正面から撮影したものでない場合、視野画像に合わせて全景画像に傾きをつける目的で各頂点座標の位置を調整するためのステップである。このステップでは、全景画像上の矩形領域の各頂点をＸ軸およびＹ軸方向に少しずつ変化させながら画像間の類似度を計算し、頂点を変更していく。さらに、ステップ２２０８では、新たに決定した頂点で表される全景画像上の領域を切り出し、視野画像と同じ傾きに見えるよう、大きさを調整する。この処理は、射影変換と呼ばれる技術を用いることにより、容易に実現することができる。例えば、全景画像上の任意の位置を

上記の位置に対応する視野画像上の位置を

とすると、対応する４つの頂点の座標から、

となる変換行列Ｈが求められることが知られている。ここでｓはスカラ量である。ステップ２２０８では、全景画像上の領域を表す頂点座標と視野画像の各頂点との対応関係から(式５)における変換行列Ｈを求め、求めた変換行列Ｈを用いて全景画像を変形することにより、全景画像上の領域の切り出しおよび視野画像と同じサイズへの調整を行う。なお、全景画像上の任意の座標ｐは、以下の式により、視野画像と同じサイズの画像上の座標ｐ’に対応付けられる。

ステップ２２０９では、上記により全景画像から切り出した画像と視野画像との類似度を求める。類似度の計算式はステップ２２０４で使用した計算式と同じ計算式を使用しても良いし、異なる計算式を用いても良い。さらに、ステップ２２１０では、ステップ２２０７で変更する前の全景画像上の領域と視野画像との類似度と、ステップ２２０７によって変更した後の全景画像上の領域と視野画像との類似度と、を比較し、その差分があらかじめ定めされた閾値未満であるかを判定する。類似度の差が閾値未満でなければ、ステップ２２０７に戻る。類似度の差が閾値未満であれば、その時の各頂点で表される領域を、視野画像と最も良くマッチする全景画像上の領域として、処理を終了する。またステップ２２０６において、あらかじめ定めた個数の候補を類似度が上位のものから選択し、選択した候補全てに対してステップ２２０７以降の処理を行い、その結果、もっとも類似度が高くなるものを最終的なマッチング結果として選択するようにしても良い。

ステップ２２０７からステップ２２１０までの処理は、一般に最適化問題で利用されるアルゴリズムと同様である。このため、ステップ２２０７における頂点座標の変更方法としては、最適化問題で利用される各種のアルゴリズム、例えば、最急降下法やニュートン法等の方法をそのまま使用することができる。例えば、最急降下法を用いる場合は、ステップ２２０７において、P^kをある時点における４つの頂点座標から構成される８次元のベクトルとして、

により、変更した座標を求めることができる。ここでαはあらかじめ定められた定数、D(P^k)はP^ｋで示される全景画像上の領域と視野画像との類似度であり、また▽は偏微分を行うことを表す演算子である。

図１３におけるステップ２１０４では、ステップ２１０３で決定された視野画像と全景画像の座標の対応関係に基づいて、全景画像上の領域を視野画像に対応付ける変換行列を求める。この変換行列はステップ２２０８を使用した（式５）で求められる射影変換行列と同様である。

さらに、ステップ２１０５では、選択されている作業項目に対応付けられている作業対象の全景画像上における領域を作業対象に関する情報から取得し、取得した領域を上記で求めた変換行列を用いて、視野画像上の領域にと対応するように変換する。図１６に、全景画像上の作業対象の領域を視野画像上の領域に変換した例を示す。図１６では、全景画像上の領域２７０１および２７０２が視野画像上の領域２７０３および２７０４に変換されている。

ステップ２１０６では、ステップ２１０５により視野画像上の領域として変換された作業対象の領域の座標と、図５のように登録された全景画像中の作業対象の座標とを比較し、視野画像上に存在する作業対象を判定する。次に、視野画像上に存在すると判定された作業対象に関する情報を、図７の登録情報から検索し、視野画像上に重畳表示する。さらに２１０７では、選択されている作業項目名および作業内容に関する情報も、視野画像上に重畳表示する。シースルー型の表示装置の場合には、作業対象に関する情報や項目名、作業内容に関する情報のみを、表示する。このように、視野画像と対応する全景画像との位置関係を２次元座標で特定することで、視野画像中の対象物の一部が欠けていたとしても、図５に示すフォーマットをもとに視野画像中の作業対象を特定することができる。

図１７に、作業対象の領域２８０１と２８０２、および作業項目名と作業内容２８０３を視野画像上に重畳表示した例を示す。図１７では、作業対象に関する情報として、作業対象の領域を示す四角形のみを重畳表示しているが、各作業対象に関する詳細を重畳表示するようにしても良い。この他、作業対象に関する情報は、視野画像上で識別が容易な方法であれば、どのような方法を用いることもできる。また、作業項目名および作業内容２８０３は、画面右上に表示されているが、作業対象の位置に基づいて、表示位置を変更するようにしても良い。

図１３におけるステップ２１０８では、選択されている作業項目が完了したかどうかを判定し、完了していない場合は２１０８に戻ることにより完了するまで待機し、完了した場合はステップ２１０９に進む。どの作業項目まで完了しているかについての情報は、作業情報記憶部１０８に記憶される。各作業が完了したかどうかの判定は、例えば、図２に示す携帯型計算機２０４の画面上に、作業項目の一覧と、それぞれの作業項目対するチェック欄を表示し、作業者がチェック欄をマウスによるクリックあるいはタッチパネルのタップ等によりチェックを行うことにより、選択されている作業項目が完了したかどうかを判定することが可能である。作業者が完了のチェックを行った作業項目については、チェックマークが表示されるようにすればよい。また、現在の作業において、選択されている作業項目が容易に識別できるように、色や文字等の表示形態を他の作業項目と異なる表示形態にして表示するようにしても良い。図１３のステップ２１０９では、作業手順に関する情報を確認し、全ての作業項目が完了したかどうかを判定する。完了していない作業項目が存在する場合は、ステップ２１１０において次の作業項目を選択し、ステップ２１０３に戻る。全ての作業項目が完了した場合は、処理を終了する。

以上のように作業支援制御プログラムでは、作業者の作業開始の入力に基づいて視野画像を撮影し、視野画像と全景画像のマッチングを行う。そのマッチング結果に基づいて視野画像中の対象物を特定し、視野画像中の対象物およびに作業項目に対応する作業対象の位置を示す記号や作業内容等を重畳表示することにより、作業者の作業を支援する。視野画像を撮影した際には、撮影した日時も合わせて記録しておくことで、あとで管理者が作業を実際に行ったかの確認に用いることもできる。

なお、図１４に示すステップ２２０１からステップ２２０５までの処理において、視野画像を全景画像にマッチングする際の３種類のパラメータ、位置、回転角度および大きさに関する上限値および下限値として、何枚かの視野画像に対する処理が既に行われた場合は、その履歴を用いて、上限値および下限値を決定するようにしても良い。

例えば図１８において、全景画像全体を対象として行われた視野画像と全景画像のマッチングの結果、決定された領域が３１０１および３１０２であった場合、３１０１から３１０２への移動距離および移動方向から、３１０３が次の領域として予想される。実際には、領域の移動距離や移動方向が予想から外れる場合も想定されることから、例えば、３１０３を中心として、あらかじめ定められた余裕を考慮した３１０４を次の領域の予想範囲として、この予想範囲から各パラメータの上限値と下限値を決定することができる。この場合、領域の移動距離や移動方向が予想から大きく外れた場合も想定し、視野画像と全景画像のマッチングを行った結果得られたもっとも高い類似度があらかじめ定められた閾値未満の場合は、予測に基づくマッチングを打ち切り、全景画像全体を対象としたマッチングに切り替えるようにしても良い。

また、ステップ２１０６において、作業対象が視野画像の範囲外に存在する場合は、作業対象が存在する方向を視野画像上に重畳表示するようにしても良い。例えば視野画像が対応する全景画像上の領域が全景画像から一部はみ出した領域であり、作業対象が視野画像内に存在しない場合、全景画像と視野画像の位置関係はすでにステップ２１０５で得られているので、視野画像の中心座標から見た作業対象の方向を求めることにより、図１９のように、矢印等を用いて、作業対象が存在する相対的な方向を示すようにすることが可能である。このとき、現在の作業項目において作業すべき作業対象を特定する情報は、ステップ２１０８、２１０９において作業情報記憶部１０８に記憶されている。そこで、作業情報記憶部１０８を参照すれば、現在の作業項目において適切な作業対象を特定し、相対的な方向を示すことができる。

例えば、全景画像２３０２と視野画像２３０１があり、ステップ２１０２で選択された最初の作業対象が３２０１であったとする。ステップ２１０４で全景画像２３０２と視野画像２３０１の位置関係を求めた後、ステップ２１０５にて全景画像２３０２を、視野画像２３０１を中心として変換する。その後、視野画像２３０１の中心座標からみて作業対象３２０１が存在する方向を示す矢印３２０３を、視野画像２３０１に対して重畳表示すればよい。

また、ステップ２１０８において、選択されている作業項目が完了したかどうかの判定を行う方法として、作業者の指を使用することもできる。この場合、作業者は、視野画像中に作業対象の領域と指が重なって映るようにする。手の領域は、例えば肌色の領域のみを画像中から検出することにより容易に抽出することができる。また、手袋を装着している場合は、手袋の色を手掛かりとして領域を抽出すれば良い。さらに、抽出した領域の幅から指の領域を判定し、指の先端部分の位置を特定する。抽出した指の領域と作業対象の領域との重なりを視野画像上で判定し、例えば、重なっている領域の大きさと重なっている時間が、あらかじめ定められた閾値以上の場合は、その作業対象に関する作業が完了したと判定することができる。作業対象と指との重なりは、作業対象と手全体との重なりによって判定を行うこともできる。選択された作業項目に対応する作業対象が複数ある場合は、対応する全ての作業対象に対して、同様の処理を行えばよい。

このように、作業対象と指との重なりを検出し、作業完了と判定された場合、次に作業が完了したか否かの判定を行うべき作業対象の領域が視野画像上で重畳表示により示される、というように、完了した作業対象の領域は視野画像上から消去し、完了していない作業対象の領域のみを視野画像上に重畳表示するようにもできる。

また、選択されている作業項目に対応する作業対象の領域を順番に表示していくのではなく、作業が完了していない作業対象の領域は全て表示し、作業が完了した作業対象の領域のみを消去していくようにしても良い。あるいは、選択されている作業項目に対応する作業対象の領域の内、作業が完了した作業対象の領域の表示と完了していない作業対象の領域の表示では、色や模様等の表示形態を変えるようにしても良い。さらには、作業者の指ではなく、先端が識別容易な色や形状に加工された棒状の道具を作成し、それを用いて上記と同様の方法により、作業項目が完了したかどうかを判定するようにしても良い。このような道具を使用する場合、両端の色や形状を異なる色や形状とすることにより、一方の端を作業対象の領域と重ね合わせた場合は作業対象に対する作業の完了を表し、もう一方の端を作業対象の領域と重ね合わせた場合は、その作業対象の詳細を視野画像上に重畳表示する、というような使い方が可能となる。

また、以上の説明では、全景画像は一枚であり、作業対象は全て一枚の全景画像上に定義されるという設定で説明を行っていたが、本発明は全景画像が複数枚である場合にも対応することができる。図２０に、全景画像が複数枚になる作業領域である設備の例を示す。図２０に示す設備は、図２に示す設備と異なり、中央部分に扉３９０１が設置されている。さらに扉の内部にも作業対象３９０２が存在している。この場合、全景画像としては、図２１に示すように、扉を閉めた状態で作業領域全体を撮影した画像４００１と、扉を開けて内部を中心に撮影した画像４００２の２枚の画像を使用する。さらに、４００１と４００２の対応関係を図２１に示すように、扉の領域を示す四角形４００３と４００４の対応関係により表す。図２１の例において、扉の領域を対応付けに用いた理由は、領域間の対応付けが明確であり、設定が容易であるためであり、対応関係が明確であれば、画像上の任意の４つ以上の点を用いることができる。

図２２は全景画像間の対応関係を表す情報を格納するためのフォーマットであり、４１０１は対応元となる全景画像のファイル名、４１０２は対応元となる全景画像上の領域を表す頂点座標の列である。また、４１０３は対応先となる全景画像のファイル名、４１０４は対応先となる全景画像上の領域を表す頂点座標の列である。図２２で示されるフォーマットにより、全景画像間の対応関係を表す情報を全景画像のファイルとともに格納することにより、選択された作業手順に含まれる作業対象に関する情報と全景画像間の対応関係を表す情報とに基づいて、必要な全景画像を自動的に選択することができる。

作業支援制御プログラム１０６の処理における視野画像と全景画像とのマッチングでは、基本的には、関連する全ての全景画像と視野画像とのマッチングを行い、視野画像との類似度が最も高くなる全景画像とその画像上で視野画像が対応する領域とを求める。また、すでに何枚かの視野画像との対応付けが行われている場合は、その履歴を用いることにより、視野画像とのマッチングを行う全景画像の範囲を制限することもできる。例えば、視野画像と対応する全景画像の領域が扉４００３の領域を含んでいる場合には、視野画像と全景画像とのマッチングでは、図２１における全景画像４００１および４００２の両方の画像を対象とする。一方、予想される領域が扉の領域を含まない場合は、全景画像４００１のみを用いるだけでよい。

さらに、作業領域が水平方向あるいは垂直方向に長い場合、作業領域全体を撮影することが困難となるため、作業領域の一部分で、且つ、互いに重なり合う部分を含む画像を撮影し、画像間の対応関係とともに保存しておく。この場合の全景画像としては、重なり合う部分を含まない画像を用いることもできる。また、作業対象は、それらが含まれる全景画像全てに対して同じ名称で登録しておく。視野画像と全景画像とのマッチングは上述した方法と同様の方法を用いることにより、作業領域全体の画像が複数の全景画像から構成される場合においても、視野画像と複数の全景画像との対応する位置関係を求め、視野画像の位置および対象物を特定し、作業に必要な情報を視野画像上に重畳表示することが可能となる。

以上の処理では、視野画像が対応する全景画像は、マッチングの結果として求められる類似度にのみ基づいて特定していたが、例えば、相互に区別が容易で、且つ、作業対象との区別も容易である色や形状、模様から成るマーカーを作業領域上に設置するとともに、マーカーと全景画像との対応関係を表す情報を保存し、これらのマーカーを視野画像中から検出することにより視野画像が対応する全景画像を特定するようにしても良い。マーカーは一枚の全景画像上に一つだけでなく、複数枚のマーカーが含まれるようにしても良い。マーカーを設置する位置としては、任意の場所で良いが、特に各全景画像上で行われる作業の初期段階における作業対象の付近に設置することにより、効率よく全景画像を切り替えることが可能になる。また、視野画像上のマーカーの検出には、画像認識技術で用いられる一般的な方法を用いることができる。例えば、マーカーの画像をテンプレートとして用意しておき、テンプレートを視野画像とマッチングすることにより、視野画像上のマーカーを検出することができる。

また、図２に示した構成では、入力装置１０２としてカメラ２０２を、出力装置としてＨＭＤ２０３および携帯型計算機２０４のモニタ２０５を利用していたが、表示部を具備した携帯型計算機２０４を利用することもできる。携帯型計算機としては、入力手段であるタッチパネルが一体化された表示装置２０５が装備されているものとする。これにより、作業者が指やペン等により画面上で直接、計算機への入力を行うことができる。また、携帯型計算機の背面、すなわち、表示部の反対側の面には、カメラが装備されており、携帯型計算機の表示部を作業者に向けた状態で携帯型計算機を作業領域に対してかざすことにより、作業領域の画像がカメラにより取得され、表示部に表示される。作業支援制御プログラム１０６では、携帯型計算機の背面に設置されたカメラから取得される画像を視野画像として処理を行う。

このような構成の場合にも作業情報登録プログラム１０５および作業支援制御プログラム１０６が行う処理は、上記に説明した内容と同様である。ただし、入力装置および出力装置の違いにより、作業支援制御プログラム１０６において各作業項目が完了したと判定する際、すなわち図１３のステップ２１０８で行われる判定の際、作業者が携帯型計算機２０４に対して行う操作方法として、異なる方法を使用することができる。以下、上記と異なる操作方法について説明する。

ＨＭＤを使用する場合は、たとえば図１７と同様の画像をＨＭＤ上に表示するとともに、作業項目の一覧を携帯型計算機の画面上に表示し、この一覧の内容にチェックを行っていくことにより、作業者が各作業項目の完了を作業支援制御プログラムに通知する構成となっていたが、携帯型計算機のみを使用する場合は、作業者が使用できる表示装置が一つのみとなるため、重畳表示が行われた画像と作業項目の一覧を同時に表示すると、画面の視認性が低下する可能性がある。そこでこの場合には、作業項目に関する情報と作業対象の領域を重畳表示するとともに、作業項目の完了を通知するためのチェック欄を作業項目の表示箇所に設ける。作業者は、表示されているチェック欄を作業者の指やあるいはペン等によりタップすることにより、表示されている作業項目の完了を作業支援制御プログラムに通知することができる。

また前述の構成では、選択されている作業項目に関連する作業対象に対して、作業者の指や手、あるいは特殊な道具を視野画像上に重ねることにより、作業対象毎に作業の完了を通知する方法も使用可能としていた。これに対し、携帯型計算機のみを使用する場合は、画面上に重畳表示されている作業対象の領域を指あるいはペン等によりタップすることによりこの操作を行うことができる。作業対象の領域上でタップが行われた場合、作業支援制御プログラムはタップされた作業対象に対する作業が完了したと判断し、次の作業対象の領域を重畳表示する。また、作業対象の領域をダブルタップ（二回連続でタップする）や、しばらく画面を押す動作、等により、作業対象の詳細を重畳表示するようにすることもできる。

以上をまとめると、本実施例で述べた作業支援端末は、作業者の視野を撮影する視野カメラと、視野カメラで撮影された第１の画像と、作業の対象となる対象物が複数写っている第２の画像とを、前記対象物に関する情報とを記憶する記憶部と、前記第１の画像と前記第２の画像との対応関係を求めることにより、前記第１の画像に写っている前記対象物を特定する画像処理部と、前記第１の画像に写っている前記対象物に関する情報を表示する表示部と、を有し、前記第２の画像には、それぞれの前記対象物の全体が写っていることを特徴とする。

このように、視野画像よりも大きい全景画像を用い、全景画像中から視野画像と対応する領域を探すことで、視野画像中の作業対象が一部欠けて写っていても、作業対象を特定することができる。そのため、何度も視野画像を撮影しなおすことなく、スムーズに作業支援を行うことが可能となる。

また、視野画像および全景画像は２次元情報であるため、３次元情報を元に画像処理を行った場合と比べ、画像処理に必要な時間やメモリが大幅に低減できる。

本発明における第二の実施例を図２４により説明する。本実施例では、実施例１の作業支援端末が行っていた画像処理や、全景画像登録等を、作業支援端末とネットワークを介して接続された作業情報管理用端末（情報処理装置）によって行う作業支援システムであり、実施例１と同様の効果を奏することができる。

図２４は本発明による第二の実施例による作業支援端末を一般的に使用される計算機上で実現した場合の構成図であり、図１に示す第一の実施例による作業支援端末における構成要素を、作業者用端末５３０１と作業情報管理用端末５３１２に分離し、作業者用端末５３０１と作業情報管理用端末５３１２をネットワーク５３１１により接続した構成となっている。

図２４における作業者用端末５３０１には、各種のプログラムを実行するための情報処理装置５３０２、視野画像を撮影し画像として入力するためのカメラや作業者が各種のプログラムに指示を与えるためのマウスあるいはタッチパネル等から構成される入力装置５３０３、携帯型計算機のモニタやＨＭＤ等による出力装置５３０４、作業情報管理用端末５３１２との間で情報のやり取りを行うための通信装置５３０５、各種のプログラムを格納する記憶装置５３０６、作業者が作業を実施する作業領域の全景を撮影した画像である画像記憶部５３０９、および作業者の支援に必要となる情報である、全景画像上に定義した作業対象に関する情報や作業手順に関する情報を格納した作業情報記憶部５３１０が含まれる。また、記憶装置５３０６には、視野画像と全景画像をマッチングした結果に基づいて、視野画像上に作業者を支援するための情報を重畳表示する作業支援制御プログラム５３０７と、作業情報管理用端末５３１２との間で情報のやり取りを行うための送受信プログラム５３０８が含まれる。

また、作業情報管理用端末５３１２には、各種のプログラムを実行するための情報処理装置５３１３、作業者が作業を実施する作業領域の全景を撮影した画像である全景画像を入力するためのカメラや、作業対象に関する情報や作業手順に関する情報である作業情報の登録や修正、管理に必要となる操作を行うためのキーボード、マウス、タッチパッド等の入力装置５３１４、作業情報の内容の表示や編集用の画面を表示するためのモニタやスピーカ等の出力装置５３１５、作業者用端末５３０１との間で情報のやり取りを行うための通信装置５３１６と、各種のプログラムを格納する記憶装置５３１７、作業者が作業を実施する作業領域の全景を撮影した画像である画像記憶部５３２０、および作業者の支援に必要となる情報である、全景画像上に定義した作業対象に関する情報や作業手順に関する情報を格納した作業情報記憶部５３２１が含まれる。

また、記憶装置５３１７には、現実世界における作業対象の位置や領域の定義、作業者に提示する情報の登録、およびそれらの間の対応関係を設定することにより、作業者の支援に必要となるコンテンツを作成するためのプログラムである作業情報登録プログラム５３１８と、作業者用端末５３０１との間で情報のやり取りを行うための送受信プログラム５３１９が含まれる。

図２４に示す第二の実施例における構成要素において、図１に示す第一の実施例における構成要素と同一の構成要素における機能は、第一の実施例において説明した機能と基本的に同様である。さらに、第二の実施例では、一部の構成要素について、作業者用端末５３０１と作業情報管理用端末５３１２の間で情報のやり取りを行うための機能が追加される。以下、第二の実施例において追加される機能について説明する。

まず、作業者用端末５３０１では、作業手順や作業対象、全景画像に関する情報が格納されていない場合は、作業の開始時に、実施する作業に関する作業手順に関する情報を作業者に選択させる。利用可能な作業手順に関する情報は作業情報管理用端末５３１２に格納されているため、作業支援制御プログラム５３０７は、送受信プログラム５３０８を用いて、作業情報管理用端末５３１２から作業手順に関する情報の一覧を取得した後、出力装置５３０４上に作業手順の一覧を表示する。作業者が実施する作業に対応する作業手順に関する情報を選択すると、その結果は送受信プログラム５３０８を用いて作業者用端末５３０１から作業情報管理用端末５３１２に送信され、作業情報管理用端末５３１２では選択された作業手順に関する情報とそれに関連する作業対象に関する情報および全景画像を画像記憶部５３２０および作業情報記憶部５３２１から抽出する。さらに、抽出された情報は、送受信プログラム５３１９を用いて作業者用端末５３０１に送信され、作業者用端末５３０１において、受信された全景画像は画像記憶部５３０９に、作業手順と作業対象に関する情報は作業情報記憶部５３１０に格納される。

作業が開始されると作業者用端末５３０１において、第一の実施例と同様に、作業支援制御プログラム５３０７は、視野画像をマッチングした結果に基づいて、実施中の作業に関連する情報を視野画像上に重畳表示することにより、作業者の支援を行う。

第二の実施例においては、作業者用端末から作業者の視野画像や作業の進捗に関する情報、視野画像と全景画像の対応関係を作業情報管理用端末に送信し、作業情報管理用端末では受信した内容をモニタ上に表示するようにしても良い。例えば、視野画像は作業者用端末から送信された画像を作業情報管理用端末でそのまま表示すれば良い。

また、作業の進捗状況としては、実施例１と同様の画面を作業情報管理用端末で表示すればよい。作業情報管理用端末の中に作業手順や作業対象に関する情報や全景画像が既に格納されている場合は、作業情報を識別する情報と、作業が完了した作業項目および作業情報の番号のみを作業者用端末から作業情報管理用端末に送信すれば良い。作業情報管理用端末の中に作業手順や作業対象に関する情報や全景画像が格納されていない場合は、これらの情報も作業者用端末から作業情報管理用端末に送信するようにできる。

以上をまとめると、本実施例で述べた作業支援システムは、作業者の視野を撮影する視野カメラと、画像表示部と、前記視野カメラで撮影された第１の画像と、作業の対象となる対象物が複数写っている第２の画像と、前記対象物に関する情報とを記憶する記憶部と、前記第１の画像と前記第２の画像との対応関係を求めることにより、前記第１の画像に写っている前記対象物を特定する画像処理部とを具備する端末と、前記端末とネットワークを介して接続される情報処理装置と、を有し、前記情報処理装置は、前記第２の画像と前記第２の画像中の対象物に関する情報を前記端末に送信し、前記第２の画像を受信した前記端末は、前記第１の画像と前記第２の画像とのマッチング結果に基づいて、前記端末が受信した情報を前記画像表示部に表示し、前記第２の画像には、それぞれの前記対象物の全体が写っていることを特徴とする。

さらに、視野画像と全景画像の対応関係に基づいて、全景画像上において視野画像が対応する領域をリアルタイムに明示するようにしても良いし、あるいは、視野画像の領域の履歴を保存し、全景画像上に作業者の視野画像の軌跡を表示するようにしても良い。これにより、実施例１の効果に加え、作業情報管理用端末の使用者が作業者の作業の状況を逐一、確認することが可能となる。

１０１ 情報処理装置
１０２ 入力装置
１０３ 出力装置
１０４ 記憶装置
１０５ 作業情報登録プログラム
１０６ 作業支援制御プログラム
１０７ 画像記憶部
１０８ 作業情報記憶部
２０１ 作業領域
２０２ カメラ
２０３ ＨＭＤ(Head Mounted Display)
２０４ 携帯型計算機
２０５ モニタおよびタッチパネル
５３０１ 作業者用端末
５３０５ 通信装置
５３０８ 送受信プログラム
５３１１ ネットワーク
５３１２ 作業情報管理用端末
５３１６ 通信装置
５３１９ 送受信プログラム

Claims (13)

1. 作業者の視野を撮影する視野カメラと、
   前記視野カメラで撮影された第１の画像と、付加情報を表示する対象となる対象物が写っている第２の画像と、前記付加情報とを記憶する記憶部と、
   前記第１の画像と前記第２の画像との位置関係を求めることにより、前記第１の画像に写っている前記対象物を特定する画像処理部と、
   前記第１の画像に写っている前記対象物についての付加情報を表示する表示部と、を有し、
   前記第２の画像は、前記対象物が複数配置された作業領域を撮影した画像であることを特徴とする作業支援端末。
2. 請求項１において、
   前記第１の画像と前記第２の画像との位置関係は、前記第２の画像中の２次元座標で表されることを特徴とする作業支援端末。
3. 請求項１において、
   前記第１の画像中に前記対象物が写っていない場合には、前記画像処理部により求めた位置関係により、前記第１の画像から前記対象物への方向を示す矢印を表示することを特徴とする作業支援端末。
4. 請求項１において、
   前記表示部は前記第１の画像と前記付加情報とを重ねて表示することを特徴とする作業支援端末。
5. 請求項１において、
   前記作業支援端末は、入力装置をさらに有し、
   前記入力装置に対し前記作業者の作業が開始されたことを示す入力があった場合に、前記視野カメラは前記第１の画像を撮影することを特徴とする作業支援端末。
6. 請求項１において、
   前記作業支援端末は、外部の情報処理装置と通信する手段をさらに有し、
   前記記憶部には、さらに前記第１の画像を撮影した時刻が記憶されることを特徴とする作業支援端末。
7. 作業者の視野を撮影する視野カメラと、画像表示部と、前記視野カメラで撮影された第１の画像と、付加情報を表示する対象となる対象物が写っている第２の画像と、前記付加情報とを記憶する記憶部と、前記第１の画像と前記第２の画像との位置関係を求めることにより、前記第１の画像に写っている前記対象物を特定する画像処理部とを具備する端末と、
   前記端末とネットワークを介して接続される情報処理装置と、を有し、
   前記情報処理装置は、前記第２の画像と前記第２の画像中の対象物についての付加情報を前記端末に送信し、
   前記端末の前記画像表示部は、前記端末が受信した前記付加情報を表示し、
   前記第２の画像は、前記対象物が複数配置された作業領域を撮影した画像であることを特徴とする作業支援システム。
8. 請求項７において、
   前記第１の画像と前記第２の画像との位置関係は、前記第２の画像中の２次元座標で表されることを特徴とする作業支援システム。
9. 請求項８において、
   前記第１の画像中に前記対象物が写っていない場合には、前記画像処理部により求めた位置関係により、前記第１の画像から前記対象物への方向を示す矢印を表示することを特徴とする作業支援システム。
10. 請求項７において、
    前記表示部は前記第１の画像と前記付加情報とを重ねて表示することを特徴とする作業支援システム。
11. 請求項７において、
    前記端末は、入力装置をさらに有し、
    前記入力装置に対し前記作業者の作業が開始されたことを示す入力があった場合に、前記視野カメラは前記第１の画像を撮影することを特徴とする作業支援システム。
12. 請求項７において、
    前記端末は、外部の情報処理装置と通信する手段をさらに有し、
    前記記憶部には、前記第１の画像と前記第１の画像を撮影した時刻と、が記憶され、
    前記端末とネットワークを介して接続される情報処理装置に、前記第１の画像と前記時刻とを送信することを特徴とする作業支援システム。
13. 作業者の視界である第１の画像を撮影する第１のステップと、
    データベースに保持されている第２の画像と前記第１の画像との位置関係を求める第２のステップと、
    前記第２のステップで求めた位置関係をもとに、前記第１の画像中に含まれ、付加情報を表示する対象となる対象物を特定する第３のステップと、
    前記第３のステップで特定された前記対象物についての付加情報を読み出し、表示する第４のステップとを有し、
    前記第２の画像は、前記対象物が複数配置された作業領域を撮影した画像であることを特徴とする作業支援方法。

Images