JP6160290B2 - 情報処理装置、判定方法および判定プログラム - Google Patents

Description

本発明は、作業の実施を判定する技術に関する。

現実空間に対応する３次元の仮想空間上に配置された３次元物体のモデルデータを、撮像装置が撮像する撮影画像に重ねて表示することが行なわれる。この技術は、人間の知覚（視覚など）により収集される情報を拡張させるため、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術などと呼ばれる。そして、現実空間に対応する３次元の仮想空間上に配置された３次元物体のモデルデータは、ＡＲコンテンツと呼ばれる。

ＡＲコンテンツは現実空間に対応する仮想空間上の位置が設定されており、仮想空間上の位置に基づき、ＡＲコンテンツの投影画像が、撮影画像に重ねて表示される。なお、ＡＲコンテンツの投影画像は、さらに、撮像装置とＡＲコンテンツとの位置関係に基づいて生成される。

撮像装置とＡＲコンテンツとの位置関係を判断するために、基準物が用いられる。例えば、基準物として、ＡＲマーカーが用いられることが一般的である。つまり、撮像装置が撮影した撮影画像からＡＲマーカーが検出されると、ＡＲマーカーと撮像装置との位置関係が、撮像装置の撮影画像に写り込んだＡＲマーカーの像に基づいて判断される。そして、当該位置関係を反映して、ＡＲマーカーに対応するＡＲコンテンツの投影画像が、撮影画像に重畳表示される（例えば、特許文献１や特許文献２）。ＡＲ技術は、近年、様々な分野に利用されている。例えば、ＡＲ技術は、施設内で作業を行う作業者を支援するシステムにも利用されている。

一方、作業を行う作業者の正当性を、ＩＣタグを利用して判断する技術もある。例えば、ＩＣタグを読みとった際の位置や時間などに基づいて、ＩＣタグ保持者の正当性を判定する入退場管理サーバがある（例えば、特許文献３）。当該入退場管理サーバは、ＩＣタグを読み取った読取ゲート番号が、当該ＩＣタグを有するユーザに対応付けられた作業場所に設置された読取ゲート番号に含まれるか否かの判定に基づき、作業場所の適否に関する警告を行う。また、入退場管理サーバは、作業者の滞在時間を算出するとともに、滞在時間が正常であるか否かに基づき、作業者の正当性を判定する。

特表２０１０−５３１０８９号公報 国際公開２００５−１１９５３９号公報 特開２００７−３２３１４１号公報

ＡＲ技術を利用した作業者の支援システムにおいて、例えば、作業者は、撮像装置を有する端末装置で、施設内の作業場所に設置されたＡＲマーカーを撮影する。端末装置は、撮影画像に含まれるＡＲマーカーを認識すると、ＡＲマーカーに対応付けられたＡＲコンテンツの投影画像を、撮影画像上に配置した重畳画像を表示する。

支援システムにおけるＡＲコンテンツとしては、例えば、作業内容の指示や、過去の作業履歴、注意事項等に関わる３次元物体のモデルデータとなる。作業者が、重畳画像内のＡＲコンテンツの表示内容を閲覧しながら作業を行うことで、支援システムは、作業者への作業負担を軽減することができる。

ここで、種々の作業においては、作業者による作業が実際に行われているか否かを確認することが必要である。例えば、従来の入退場管理サーバは、固定ゲートが、指定の場所に設置されている場合に、作業者が不正な場所で作業を行っていないか等を判定することができる。しかし、各作業場所にＩＣタグを読み取る固定ゲートを設ける必要がある。

そこで、本発明は、一つの側面として、作業場所において、作業が実際に実施されたか否かを判定することを目的とする。

上記課題を解決する為に、ひとつの実施態様においては、情報処理装置は、入力画像に含まれる基準物の認識に関する認識情報を受け付け、前記入力画像の撮影時間と該入力画像よりも前に取得した他の基準物を含む他の入力画像の撮影時間との差分が予め設定された範囲を満たす場合、または、前記他の入力画像の撮影位置から前記入力画像の撮影位置までの軌跡が予め設定された軌跡と類似する場合に、条件を満たすことを判定し、前記条件を満たすことが判定された場合に、前記基準物が設置された作業場所で作業が実施されたことを示す履歴情報を生成し、前記条件が満たされないことが判定された場合に、前記基準物が設置された前記作業場所で前記作業が実施されなかったことを示す他の履歴情報を生成する判定部、を有することを特徴とする。

本発明の一観点によれば、作業場所において、作業が実施されたか否かを判定することが可能になる。

図１は、ＡＲ技術を用いた点検作業を説明するためのイメージ図である。 図２は、重畳画像のイメージ図である。 図３は、作業の実施を不正に偽装する例を説明するための図である。 図４は、システム構成図である。 図５は、第一の実施例にかかる情報処理装置１の機能ブロック図である。 図６は、カメラ座標系とＡＲマーカー座標系との関係を示す。 図７は、カメラ座標系とＡＲマーカー座標系とにおけるＡＲコンテンツＣの例を示す。 図８は、ＡＲマーカー座標系からカメラ座標系への変換行列Ｅと、変換行列Ｅ内の回転行列Ｒを示す。 図９は、回転行列Ｒ１、Ｒ２およびＲ３を示す。 図１０は、ＡＲコンテンツ情報テーブルのデータ構成例を示す図である。 図１１は、テンプレート情報テーブルのデータ構成例を示す。 図１２は、条件情報テーブルのデータ構成の第一の例を示す。 図１３は、条件情報テーブルのデータ構成の第二の例を示す。 図１４は、ログ情報テーブルのデータ構成例を示す図である。 図１５は、判定方法の処理フローチャートである。 図１６は、第二の実施例における情報処理装置の機能ブロック図である。 図１７は、第二の実施例における管理装置の機能ブロック図である。 図１８は、各実施例の情報処理装置のハードウェア構成例である。 図１９は、コンピュータ１００で動作するプログラムの構成例を示す。 図２０は、各実施例の管理装置のハードウェア構成例である。

［第一の実施例］
本実施例は、施設における点検作業を例に説明する。まず、図１は、ＡＲ技術を用いた点検作業を説明するためのイメージ図である。

作業者は、時刻Ｔ＝ｔ０に、点検作業を開始するとする。そして、施設内の部屋１０１において、まず、部屋１０１に設置された設備に関する作業を行う。このとき、ユーザは、部屋１０１内に設置されたＡＲマーカーＭＡを、情報処理装置を用いて撮影する。情報処理装置は、カメラを備える通信端末装置であって、例えば、スマートフォンや、タブレットＰＣ、携帯電話などである。なお、情報処理装置における各種処理の詳細については、後述する。

また、ＡＲマーカーＭＡは、部屋１０１内で実施される点検作業における作業対象の付近に設置されることが望ましい。つまり、作業場所、またはその周辺にＡＲマーカーＭＡは設置される。例えば、ＡＲマーカーＭＡは、作業対象の設備に添付される。なお、図１に示される、ＡＲマーカーＭＡ、ＡＲマーカーＭＢ、ＡＲマーカーＭＣ、ＡＲマーカーＭＤ、ＡＲマーカーＭＥ、ＡＲマーカーＭＦを区別する必要がない場合は、ＡＲマーカーＭと称する。

ＡＲマーカーＭは、情報処理装置とＡＲコンテンツとの位置関係を判断するための基準物である。そして、事前に、各ＡＲマーカーＭには、撮影画像に重ねて表示されるＡＲコンテンツが対応付けられている。よって、情報処理装置が読み取ったＡＲマーカーＭに対応するＡＲコンテンツが、撮影画像に投影されて表示される。ここで、図示されたＡＲマーカーＭＡからＡＲマーカーＭＦは、互いに異なる形状を示すため、情報処理装置は、ＡＲマーカーＭＡからＡＲマーカーＭＦを、互いに識別可能である。

ここで、図２は、重畳画像のイメージ図である。重畳画像は、ＡＲマーカーＭを含む撮影画像に、当該ＡＲマーカーに対応するＡＲコンテンツの投影画像が、重畳表示された画像である。

例えば、図１において、作業者が、部屋１０１において、ＡＲマーカーＭＡが設置された場所を、情報処理装置を用いて撮影したとする。このとき、情報処理装置は、後述の処理を行い、認識したＡＲマーカーＭＡに対応するＡＲコンテンツの投影画像を撮影画像に重畳させた重畳画像２００を生成する。そして、情報処理装置は、重畳画像２００を、表示装置（例えば、ディスプレイ）に表示する。

図２の例では、ＡＲマーカーＭＡは、パイプ２０１に添付されている。現実空間には、パイプ２０１、バルブ２０２、センサ２０３、ＡＲマーカーＭＡが存在する。重畳画像２００では、この現実空間を撮像した撮影画像に対して、ＡＲコンテンツの投影画像２０４、ＡＲコンテンツの投影画像２０５、ＡＲコンテンツの投影画像２０６が重畳表示される。

つまり、図２の例では、ＡＲマーカーＭＡには、３つのＡＲコンテンツが対応付けられている。なお、各ＡＲコンテンツには、予めＡＲマーカーＭＡを中心とするＡＲマーカー座標系における位置が設定されている。よって、情報処理装置とＡＲマーカーＭＡとの位置関係に応じて、ＡＲコンテンツの三次元モデルに対して予め設定されたマーカー座標系における位置が変換された後、三次元モデルが撮影画像上に投影される。なお、座標の変換等を含む重畳画像の生成については、後述する。

よって、重畳画像２００を閲覧した作業者は、部屋１０１において、どのような作業をすべきかを把握することが可能となる。例えば、作業者は、ＡＲコンテンツの投影画像２０４「（１）バルブが閉まっていることを確認」を閲覧することで、初めに、バルブ２０２が閉まっていることを確認しなければならないことがわかる。さらに、ＡＲコンテンツの投影画像２０５「（２）センサの値を記録」を閲覧する事で、作業者は、センサ２０３の値を記録しなければならないことがわかる。このとき、作業者は、例えば、情報処理装置や、点検用紙に、センサ２０３の値を記録する。

最後に、ＡＲコンテンツの投影画像２０６「（３）隣の部屋へ」を閲覧することで、作業者は部屋１０１における作業を終了し、向かって右側の部屋へ移動しなければならないことがわかる。このように、作業者は、各ＡＲマーカーＭを、撮影することで、重畳画像を閲覧することが可能となり、重畳画像に表示されたＡＲコンテンツの投影画像から、作業内容を把握することが可能となる。

以上のように、ＡＲ技術を、点検作業などの各種作業へ応用することで、作業者は、現実空間に存在する作業対象を認識したうえで、各作業対象に対する作業内容を把握できるため、作業内容を的確かつ容易に把握することが可能となる。

図１に戻り、作業者は、複数の作業を完了させる必要がある場合には、各作業対象が存在する場所（部屋１０１、部屋１０２、部屋１０３、部屋１０４、部屋１０５）へ赴き、各場所に設置されたＡＲマーカーＭを、撮影する。そして、作業者は、各ＡＲマーカーＭに対応付けられたＡＲコンテンツに従って、各場所において、作業対象に関わる作業を実施する。図１の例では、時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４、ｔ５、ｔ６の順に、作業者が作業を実施した例を示している。

このように、情報処理装置が、ＡＲマーカーを認識することで、ＡＲコンテンツの投影画像が表示されるため、次のような不正が行われる可能性がある。

図３は、作業の実施を不正に偽装する例を説明するための図である。作業者は、作業場所の付近設置されているＡＲマーカーを、不正に複製し、複製ＡＲマーカーを生成する。なお、作業場所とは、作業対象が存在する場所およびその周辺である。図２の例であれば、作業対象であるバルブ２０２やセンサ２０３が存在する付近である。

作業者は、ＡＲマーカーＭＡ、ＡＲマーカーＭＢ、ＡＲマーカーＭＣ、ＡＲマーカーＭＤ、ＡＲマーカーＭＥ、ＡＲマーカーＭＦを複製することで、複製ＡＲマーカーＭＡ’、複製ＡＲマーカーＭＢ’、複製ＡＲマーカーＭＣ’、複製ＡＲマーカーＭＤ’、複製ＡＲマーカーＭＥ’、複製ＡＲマーカーＭＦ’を得る。なお、ＡＲマーカーＭＡと複製ＡＲマーカーＭＡ’とは、形状が同一であって、情報処理装置による認識結果は同様である。

作業者は、正規の場所まで赴くことなく、他の場所において、各複製ＡＲマーカーを情報処理装置により撮影する。ＡＲマーカーの認識に応じて表示されるＡＲコンテンツの投影画像から、作業内容を把握し、作業の実施を装うことができる。例えば、「（１）バルブが閉まっていることを確認」という作業内容については、実際にバルブの開閉状態を確認することなく、作業者が、点検表や情報処理装置に「バルブ：閉」と入力する。また、「（２）センサの値を記録」という作業内容については、実際の値を確認することなく、作業者は、適当な値を記入する。

このように、ＡＲマーカーは、撮影画像から認識されるため、背景技術に示した入退場管理システムにおける固定ゲートとは異なり、複製が比較的容易である。例えば、ＡＲマーカーとして、バーコードを利用する場合には、バーコードの画像をさらにコピーすることで、作業場所以外の場所であっても、撮像装置がバーコードを撮影することが可能である。また、ＡＲマーカーが特定の物体である場合でも、当該特定の物体の画像を、別途用意することで、作業者は容易にＡＲマーカーのコピーを入手することができる。

したがって、本実施例においては、ＡＲ技術を利用した作業支援において、入力画像の撮影位置に関する条件に応じて、基準物の認識に応じた処理の実行制御を行う。つまり、入力画像の撮影位置に関する条件に応じて、作業の実施が推測される。なお、作業の実施を偽造する例としては、図３の例以外にも、作業場所において、必要以上にＡＲマーカーを連続して撮影する事などが考えられる。

図４は、システム構成図である。図４の例では、情報処理装置の例として、通信端末１−１および通信端末１−２を示す。以下、これらを総称して、情報処理装置１とする。さらに、情報処理装置１は、ネットワークＮを介して、管理装置２と通信する。管理装置２は、例えば、サーバコンピュータであって、情報処理装置１を管理する。ネットワークＮは、例えば、インターネットである。なお、本実施例に係る支援システムは、情報処理装置１および管理装置２を含む。

ここで、簡単に、管理装置２の機能的構成について、説明する。管理装置２は、ＡＲコンテンツに関するＡＲコンテンツ情報を管理するとともに、必要に応じて、ＡＲコンテンツ情報を情報処理装置１へ送信する。ＡＲコンテンツ情報の詳細については、後述するが、ＡＲコンテンツの表示位置に関する位置情報や、ＡＲコンテンツとＡＲマーカーＭとの対応情報などが含まれる。

さらに、管理装置２は、後述する条件情報を管理するとともに、条件情報を、情報処理装置１へ送信する。条件情報の詳細については、後述するが、ＡＲマーカーに対応する作業の作業場所に関する条件を示す情報である。また、管理装置２は、情報処理装置１を操作する作業者が、作業を実施しているかに関する監視を行うことも可能である。監視した結果、作業の不実施を確認した場合、管理者へ通知を行ってもよい。

次に、情報処理装置１の機能的構成について、説明する。図５は、第一の実施例にかかる情報処理装置１の機能ブロック図である。情報処理装置１は、通信部１１、撮像処理部１２、表示部１３、制御部１４、記憶部１８を含む。通信部１１は、制御部１４による制御の下、他の装置との通信を行う処理部である。例えば、通信部１１は、管理装置２から、ＡＲコンテンツ情報や条件情報を受信する。

撮像処理部１２は、現実空間の撮影画像を取得する処理部である。撮像処理部１２は、一定のフレーム間隔または、制御部１４により指定されたタイミングで撮影を行う。そして、撮影画像に相当する画像データを、制御部１４へ送信する。画像データには、各画素の輝度情報や、色情報などが含まれる。また、撮像処理部１２の機能を担うカメラなどの撮像装置は、情報処理装置１と通信可能であればよく、情報処理装置１に内蔵されていなくとも良い。

表示部１３は、制御部１４の制御の下、撮影画像や、重畳画像を表示する。例えば、表示部１３は、ディスプレイである。

制御部１４は、情報処理装置１における各種処理を制御する制御部である。制御部１４は、例えば、プロセッサである。具体的には、制御部１４は、入力画像に含まれる基準物の認識に関する認識情報を受け付け、前記入力画像の撮影位置に関する条件に応じて、前記基準物の認識に応じた処理の実行制御を行う。また、制御部１４は、認識部１５、判定部１６、画像生成部１７を有する。

認識部１５は、撮影画像からＡＲマーカーを認識する。具体的には、認識部１５は物体認識処理により、画像から、既知の形状であるＡＲマーカーに相当する部分画像を抽出する。そして、認識部１５は、部分画像を解析することで、ＡＲマーカーの識別情報を読み取る。ＡＲマーカーの識別情報は、各ＡＲマーカーを互いに識別するための情報であって、以下、マーカーＩＤを称する。そして、認識部１５は、認識結果に関する認識情報を判定部１６へ出力する。なお、認識情報には、ＡＲマーカーの識別情報が含まれる。

判定部１６は、入力画像に含まれる基準物の認識に関する認識情報を受け付け、入力画像の撮影位置に関する条件に応じて、基準物の認識に応じた処理の実行制御を行う。例えば、判定部１６は、認識部１５がＡＲマーカーのような基準物を認識した際に、入力画像の撮影位置に関する移動情報を生成し、移動情報と入力画像の撮影位置に関する条件とに基づき、ＡＲコンテンツの生成処理および表示処理の実行を制御する。

本実施例においては、移動情報は、第一のＡＲマーカーの認識時間と、第二のＡＲマーカーの認識時間の差分により、第二のＡＲマーカーを含む入力画像の撮影位置を推測する。第一のＡＲマーカーの撮影位置から、第二のＡＲマーカーの撮影位置までの移動があったか否かは、認識時間の差分に基づき推測可能であるためである。また、ＡＲマーカーの認識時間以外にも、ＡＲマーカーを含む画像が撮影された撮影時間が利用されてもよい。

条件は、第一のＡＲマーカーの認識に応じて実施される作業の作業場所から、第二のＡＲマーカーの認識に応じて実施される作業の作業場所までの移動に要する時間と、さらに、第一のＡＲマーカーを撮影することで、第一のＡＲマーカーの作業場所にて実施される作業の作業時間との少なくとも一方に依存する。例えば、移動時間と作業時間を加算した時間を超えることを、条件とする。

また、移動情報は、作業開始時間と各ＡＲマーカーの認識時間の差分であってもよい。移動情報として、作業開始時間と各ＡＲマーカーの認識の差分が利用される場合には、条件情報は、作業開始位置から各ＡＲマーカーの認識に応じて実施される作業の作業場所までの移動時間と、作業時間とに依存した情報となる。

判定部１６は、移動情報が条件情報を満たすか否かを判定するとともに、条件を満たすか否かに応じて、ＡＲマーカーの認識に応じた処理の実行制御を行う。移動情報と条件情報とを比較することで、ＡＲマーカーの認識に応じて実施される作業が実施されたか否かが推測可能である。例えば、第一のＡＲマーカーの認識時間と、第二のＡＲマーカーの認識時間との差分が、条件で設定された時間を超えている場合に、作業が実施されたことが判定される。

一方、情報処理装置１が、加速度センサやジャイロセンサを有する場合には、移動情報は、第一のＡＲマーカーの撮影位置から、第二のＡＲマーカーの撮影位置までの移動の軌跡であってもよい。つまり、判定部１６は、センサからの出力に応じて、情報処理装置１の移動の軌跡を、移動情報として生成する。

この場合、条件情報は、第一のＡＲマーカーから第二のＡＲマーカーまでの移動の軌跡に関する情報が、予め設定される。よって、移動情報における軌跡と、条件情報における軌跡との比較結果に応じて、判定部１６は、移動情報が条件情報を満たすか否かを判定してもよい。２つの軌跡が類似する場合に、移動情報が条件情報を満たすことを判定する。なお、判定部１６は、移動情報の軌跡と条件情報の軌跡との相関値を算出し、相関値が閾値以上である場合に、類似すると判断する。なお、以下、本実施例においては、時間を用いて、作業の実施を判定する例を用いて、説明を続ける。

判定部１６は、判定結果に応じて、例えば、重畳画像の生成を制御する。なお、重畳画像は、画像生成部１７により生成され、その後、表示部１３に表示されるが、画像生成部１７に対して、判定部１６が、重畳画像の生成を命令することで、重畳画像が生成される。言い換えると、判定部１６が、画像生成部１７に重畳画像の生成の命令を抑止することで、重畳画像は生成されない。

例えば、あるＡＲマーカーＭに対応するＡＲコンテンツの投影画像を含む重畳画像が表示されなければ、作業者は、作業内容を把握することができない。よって、例えば、作業者は、点検表に適切な記載を残すことができない。点検表を確認する管理者は、点検表が適切に記載されているか否かに応じて、作業の実施を偽装した作業者に対して、何らかの処置を行うことができる。

一方、作業者が、作業内容を把握していて、ＡＲコンテンツの表示内容に頼らずとも、点検表等に記入可能な場合も考えられる。これに対応する為に、判定部１６は、判定結果に応じて、ＡＲマーカーが設置された作業場所で作業が実施されたか否かに関する履歴情報を生成する。

そして、通信部１１を介して、履歴情報は、管理装置２へ通知される。例えば、移動情報が条件情報を満たさないと判定された場合には、作業が実施されなかった旨の履歴情報が生成される。なお、履歴情報と併せて、各ＡＲマーカーを含む画像を撮影した撮影時間などを含むログ情報を、管理装置２へ通知してもよい。ログ情報に関しては、後述する。

画像生成部１７は、撮影画像にＡＲコンテンツの投影画像を配置した重畳画像を生成する。つまり、画像生成部１７は、３次元物体のモデルデータであるＡＲコンテンツを、カメラにより撮像された撮影画像に重ねて表示させる。ここで、重畳画像の生成について、説明する。

ＡＲコンテンツは、例えば、複数の点を含むモデルデータである。複数の点を直線や曲線で補間して得られる複数の面ごとに模様（テクスチャ）や画像が設定され、複数の面が合成されることで３次元のモデルが形成される。ＡＲコンテンツの配置において、ＡＲコンテンツを構成する各点の座標が、現実空間内に存在する基準物を基準として定められる。

一方で、カメラが撮像した撮影画像内に写り込んだ基準物の見え方（像）に基づいて、カメラと基準物との現実空間における位置関係が求められる。基準物は形状や模様などが既知の物体であり、例えば基準物の像と既知の形状や模様との照合により、基準物がカメラに対してどのような位置にあるかが判別される。

基準物を基準とする座標と、カメラと基準物との位置関係により、カメラとＡＲコンテンツの各点の座標との位置関係が求められる。（カメラとＡＲコンテンツとの位置関係としているが、ＡＲコンテンツは仮想的に配置されたものであり、ＡＲコンテンツという物体が現実空間に存在するわけではない。単にカメラを基準とする位置の情報が生成される。）これらの位置関係に基づいて、カメラが仮想空間上に存在するＡＲコンテンツを仮に撮像した場合に得られるＡＲコンテンツの像（投影画像）が生成される。ＡＲコンテンツの投影画像を生成するための演算について、図６、図７、図８、図９に基づいてさらに説明する。

図６は、カメラ座標系とＡＲマーカー座標系との関係を示す。図６に示されるＡＲマーカーＭは、ＡＲコンテンツ表示に用いられる基準物の一例である。図６に例示されるＡＲマーカーＭは、正方形形状であり、予めサイズが定められている（例えば１辺の長さが１０ｃｍなど）。図６に示されるＡＲマーカーＭは正方形形状であるが、複数の視点ののうちのどの視点から撮像して得られる像に基づいても、カメラからの相対的な位置および向きが判別可能な形状の他の基準物が用いられてもよい。他の例として、撮影画像から生成される特徴点などが基準物に用いられる。

カメラ座標系は、（Ｘｃ，Ｙｃ，Ｚｃ）の３次元で構成され、例えばカメラの焦点を原点（原点Ｏｃ）とする。なお、カメラは、本実施例においては、情報処理装置１が備える撮像装置の一例である。例えば、カメラ座標系のＸｃ−Ｙｃ平面はカメラの撮像素子面と平行な面であり、Ｚｃ軸は撮像素子面に垂直な軸である。

ＡＲマーカー座標系は、（Ｘｍ，Ｙｍ，Ｚｍ）の３次元で構成され、例えばＡＲマーカーＭの中心を原点（原点Ｏｍ）とする。例えば、ＡＲマーカー座標系のＸｍ−Ｙｍ平面はＡＲマーカーＭの模様の印刷面と平行な面であり、Ｚｍ軸はＡＲマーカーＭの印刷面と垂直である。原点Ｏｍは、カメラ座標系において位置座標Ｖ１ｃ（Ｘ１ｃ，Ｙ１ｃ，Ｚ１ｃ）で示される。また、カメラ座標系に対するＡＲマーカー座標系の回転角は、回転座標Ｇ１ｃ（Ｐ１ｃ，Ｑ１ｃ，Ｒ１ｃ）で示される。Ｐ１ｃはＸｃ軸回りの回転角であり、Ｑ１ｃはＹｃ軸回りの回転角であり、Ｒ１ｃはＺｃ軸回りの回転角である。図６に例示されるＡＲマーカーＭはＹｍ軸回りにのみ回転しているため、Ｐ１ｃおよびＲ１ｃは０である。

図７は、カメラ座標系とＡＲマーカー座標系とにおけるＡＲコンテンツＣの例を示す。図７に例示するＡＲコンテンツＣは、吹き出し形状のモデルデータであり、吹き出し内に「（１）バルブが閉まっていることを確認」というテキストデータを含む。ＡＲコンテンツＣの吹き出しの先端の黒丸は、ＡＲコンテンツＣの基準点とする。ＡＲコンテンツＣの基準点のＡＲマーカー座標系における座標は、Ｖ１ｍ（Ｘ１ｍ，Ｙ１ｍ，Ｚ１ｍ）とする。さらにＡＲコンテンツＣの向きは回転座標Ｇ１ｍ（Ｐ１ｍ，Ｑ１ｍ，Ｒ１ｍ）で定められ、ＡＲコンテンツＣのサイズは倍率Ｄ１ｍ（Ｊ１ｘ，Ｊ１ｙ，Ｊ１ｚ）で定められる。

ＡＲコンテンツＣを構成する各点の座標は、ＡＲコンテンツＣの雛型（ＡＲテンプレート）に定義された各点の座標が、基準点の座標Ｖ２ｍ、回転座標Ｇ２ｍおよび倍率Ｄ１ｍに基づいて調整された座標である。ＡＲテンプレートに定義される基準点の座標は、例えば、（０，０，０）である。ＡＲテンプレートに含まれる各座標は、設定された回転座標Ｇ１ｍに基づいて回転され、倍率Ｄ１ｍで拡縮され、さらに基準点の座標Ｖ１ｍに基づいて平行移動されて調整される。図７のＡＲコンテンツＣは、ＡＲテンプレートに定義された各点が、ＡＲマーカーＭのＡＲマーカー座標系において、基準点の座標Ｖ１ｍ、回転座標Ｇ１ｍおよび倍率Ｄ１ｍに基づいて調整された点に基づいて構成された状態である。

ＡＲコンテンツＣの各点のＡＲマーカー座標系での座標が、カメラ座標系に変換され、さらにカメラ座標系の座標に基づいて表示画面内の位置（スクリーン座標系の座標）に変換される。変換された座標に基づいて、ＡＲコンテンツＣの投影画像が生成される。カメラ座標系における座標は、ＡＲマーカー座標系における座標に対して、座標Ｖ１ｃおよび回転座標Ｇ１ｃに基づく座標変換（モデル−ビュー変換）を行なうことにより算出される。例えば、モデル−ビュー変換が座標Ｖ２ｍに対して行なわれると、基準点のカメラ座標系における座標Ｖ２ｃ（Ｘ２ｃ，Ｙ２ｃ，Ｚ２ｃ）が求められる。

図８は、ＡＲマーカー座標系からカメラ座標系への変換行列Ｅと、変換行列Ｅ内の回転行列Ｒを示す。変換行列Ｅは、４×４の行列である。変換行列Ｅと列ベクトル（Ｘｍ，Ｙｍ，Ｚｍ，１）との積により、列ベクトル（Ｘｃ，Ｙｃ，Ｚｃ，１）が得られる。変換行列Ｅは、カメラ座標系におけるＡＲマーカーの位置座標Ｖ１ｃ（Ｘ１ｃ，Ｙ１ｃ，Ｚ１ｃ）および回転座標Ｇ１ｃ（Ｐ１ｃ，Ｑ１ｃ，Ｒ１ｃ）に基づいて算出される。

列ベクトル（Ｘｍ，Ｙｍ，Ｚｍ，１）に座標変換（モデル−ビュー変換）対象のＡＲマーカー座標系の点座標を代入して、行列演算を行なうことにより、カメラ座標系の点座標を含む列ベクトル（Ｘｃ，Ｙｃ，Ｚｃ，１）が得られる。変換行列Ｅの１〜３行目且つ１〜３列の部分行列（回転行列Ｒ）がＡＲマーカー座標系の座標に作用することにより、ＡＲマーカー座標系の向きとカメラ座標系との向きを合わせるための回転操作が行なわれる。変換行列Ｅの１〜３行目且つ４列目の部分行列が作用することにより、ＡＲマーカー座標系の向きとカメラ座標系との位置を合わせるための並進操作が行なわれる。

図９は、回転行列Ｒ１、Ｒ２およびＲ３を示す。図８に示す回転行列Ｒは、回転行列Ｒ１、Ｒ２およびＲ３の積（Ｒ１・Ｒ２・Ｒ３）により算出される。

ＡＲコンテンツＣを構成する各点のＡＲマーカー座標系の座標（Ｘｍ，Ｙｍ，Ｚｍ）は、変換行列Ｅに基づくモデル−ビュー変換により、カメラ座標系の座標（Ｘｃ，Ｙｃ，Ｚｃ）に変換される。図７に例示される位置座標Ｖ２ｍはモデル−ビュー変換により位置座標Ｖ２ｃに変換される。

スクリーン座標系は、（Ｘｓ，Ｙｓ）の２次元で構成され、例えばカメラの撮像処理により得られる撮影画像の中心を原点（原点Ｏｓ）とする。ＡＲコンテンツＣの各点のカメラ座標系の座標は、透視変換によりスクリーン座標系に変換される。透視変換により得られる各点のスクリーン座標系の座標に基づいて、ＡＲコンテンツＣの投影画像が生成される。

カメラ座標系からスクリーン座標系への座標変換（透視変換）は、例えば、カメラの焦点距離ｆに基づいて行なわれる。カメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）に対応するスクリーン座標系の座標のＸｓ座標は、Ｘｓ＝ｆ・Ｘｃ／Ｚｃで求められる。また、カメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）に対応するスクリーン座標系の座標のＹｓ座標は、Ｙｓ＝ｆ・Ｙｃ／Ｚｃで求められる。

ＡＲコンテンツＣを構成する各点の位置座標（カメラ座標系）が透視変換されて得られる位置座標（スクリーン座標系）に基づいて、ＡＲコンテンツＣの投影画像が生成される。ＡＲコンテンツＣの元になるＡＲテンプレートには、どの点を補間して面を形成するか、どの面にどのテクスチャ（または画像）をマッピングするかが定義されている。ＡＲコンテンツＣの投影画像は、ＡＲテンプレートの定義に従って各位置座標（スクリーン座標系）を補間して得られる面にテクスチャや画像がマッピングされることにより生成される。

上述のモデル−ビュー変換および透視変換により、ＡＲマーカー座標系の座標に対応する撮影画像上の座標が算出され、その座標を利用することで、カメラの視点に応じたＡＲコンテンツＣの投影画像が生成される。ＡＲコンテンツＣの投影画像が撮影画像に合成されると、あたかも３次元物体が存在するかのように画面に表示されるため、ユーザに提供される視覚的な情報が拡張される。

また、ＡＲコンテンツ表示の他の例として、透過型ディスプレイにＡＲコンテンツＣの投影画像が表示されてもよい。この態様においても、ユーザがディスプレイを透過して得られる現実空間の像と、ＡＲコンテンツの投影画像とが整合するので、ユーザに提供される視覚的な情報が拡張される。本実施形態におけるＡＲコンテンツの投影画像と撮影画像とを合成して表示する処理などは、透過ディスプレイを用いる場合には、ＡＲコンテンツを表示する処理としてもよい。

以上の処理を、ＡＲマーカーＭに対応付けられた各ＡＲコンテンツに対して実施することで、現実空間の撮影画像にＡＲコンテンツの投影画像を重畳させた重畳画像が生成される。例えば、ＡＲマーカーＭＡを、認識部１５が認識した場合に、画像生成部１７は、図２に示した重畳画像を生成する。

なお、判定部１６が、判定の結果に応じて、画像生成部１７による重畳画像の生成を制御する場合には、画像生成部１７は、判定部１６からの命令に応じて、重畳画像を生成する。一方、判定の結果に応じて履歴情報を生成するような実施形態の場合には、画像生成部１７による重畳画像の生成は、判定部１６による制御を受けず、例えば、認識部１５による認識が終了した場合に、画像生成部１７は、自動的に重畳画像の生成を行うとしてもよい。

図５の説明に戻る。記憶部１８は、情報処理装置１における各種処理に必要な情報を記憶する。例えば、記憶部１８は、ＡＲコンテンツ情報、テンプレート情報、条件情報、ログ情報を記憶する。なお、制御部１４が、管理装置２からのＡＲコンテンツ情報や条件情報等の取得を制御するとともに、記憶部１８への格納を行う。

例えば、通信部１１は、制御部１４の制御の下、作業者が作業を開始する時点（図１におけるＴ＝ｔ０）で、管理装置２から、ＡＲコンテンツ情報、テンプレート情報、条件情報を取得する。そして、制御部１４は、記憶部１８に、ＡＲコンテンツ情報、テンプレート情報、条件情報を記憶する。

なお、管理装置２は、情報処理装置１から作業開始の入力を受信した場合、当該作業に関連するＡＲコンテンツを特定し、特定したＡＲコンテンツのＡＲコンテンツ情報を、情報処理装置１へ提供する。テンプレート情報、条件情報についても、管理装置２は、作業に関連する情報を選択して、情報処理装置１へ提供する。

図１０は、ＡＲコンテンツ情報テーブルのデータ構成例を示す図である。ＡＲコンテンツ情報テーブルは、ＡＲコンテンツ情報を記憶する。ＡＲコンテンツ情報は、各ＡＲコンテンツについて、コンテンツＩＤ、マーカーＩＤ、テンプレートＩＤ、位置情報、倍率情報、付属情報等を有する。

コンテンツＩＤは、各ＡＲコンテンツを識別する情報である。マーカーＩＤは、各ＡＲマーカーを識別する情報である。テンプレートＩＤは、テンプレートを識別する情報である。なお、テンプレートは、重畳画像に表示されるＡＲコンテンツの３次元モデルの形状や模様が定義された情報である。

位置情報は、ＡＲマーカー等の基準物に対するＡＲコンテンツの配置位置や、回転に関わる情報である。具体的には、位置情報は、ＡＲマーカー座標系における位置座標と、回転座標とを含む。倍率情報は、テンプレートに従う三次元モデルを拡大または縮小を定義するための情報である。付属情報は、各ＡＲコンテンツに付属する情報である。例えば、付属情報は、テンプレートに従う三次元モデルに表示するテキスト情報である。

図１０では、例えば、コンテンツＩＤ「Ｃ１」のＡＲコンテンツは、マーカーＩＤ「ＭＡ」のＡＲマーカーに対応付けられており、テンプレートＩＤ「Ｔ１」で規定された三次元モデルで表現される。そして、コンテンツＩＤ「Ｃ１」のＡＲコンテンツは、位置座標（Ｘ１ｍ，Ｙ１ｍ，Ｚ１ｍ）および回転座標（Ｐ１ｍ，Ｑ１ｍ，Ｒ１ｍ）、倍率（Ｊ１ｘ，Ｊ１ｙ，Ｊ１ｚ）に基づき、カメラとＡＲマーカーの位置関係に応じて、撮影画像上に配置される。さらに、コンテンツＩＤ「Ｃ１」のＡＲコンテンツは、テンプレートＩＤ「Ｔ１」に従った三次元モデルに、付属情報「（１）バルブが閉まっていることを確認」というテキスト情報を配置する。

図１１は、テンプレート情報テーブルのデータ構成例を示す。テンプレート情報テーブルは、テンプレート情報を格納する。テンプレート情報は、ＡＲテンプレートのテンプレートＩＤ、ＡＲテンプレートを構成する各頂点の座標データＴ１１、およびＡＲテンプレートを構成する各面の面構成データＴ１２を含む。面構成データに含まれる各面の情報は、面を構成する頂点の順序である頂点順序と、テクスチャＩＤの指定とを含む。テクスチャＩＤは、面にマッピングされるテクスチャの識別情報（画像ファイルの識別情報）を示す。ＡＲテンプレートの基準点は例えば０番目の頂点である。

ここで、認識部１５が、撮像処理部１２から取得した撮影画像において、マーカーＩＤ「ＭＡ」に対応するＡＲマーカーを認識すると、画像生成部１７は、図１０のＡＲコンテンツ情報および図１１のテンプレート情報を用いて、図２のような重畳画像２００を生成する。

つまり、画像生成部１７が、モデル−ビュー変換および透視変換を行うことで、コンテンツＩＤ「Ｃ１」に相当するＡＲコンテンツが、投影画像２０４として、撮影画像に配置される。同様に、テンプレートＩＤ「Ｃ２」に対応するＡＲコンテンツは、投影画像２０５として、テンプレートＩＤ「Ｃ３」に対応するＡＲコンテンツは、投影画像２０６として、撮影画像に配置示される。そして、重畳画像２００が生成される。

図１２および図１３は、条件情報テーブルのデータ構成例を示す。条件情報は、作業場所に関する情報である。例えば、条件情報として、第一のＡＲマーカーの認識に応じて実施される作業の作業場所から、第二のＡＲマーカーの認識に応じて実施される作業の作業場所までの移動に関する時間条件が規定される。

図１２に示す第一の例は、各ＡＲマーカーを読み取ることで実施される複数の作業に関して、作業順序が規定されている場合の条件情報を格納する条件情報テーブルである。一方、図１３に示す第二の例は、各ＡＲマーカーを読み取ることで実施される複数の作業に関して、作業順序が規定されていない場合の条件情報を格納する条件情報テーブルである。

まず、第一の例において、条件情報テーブルは、認識マーカーＩＤと、直前認識マーカーＩＤ、時間条件とを対応付けて記憶する。認識マーカーＩＤは、撮影画像から認識されたＡＲマーカーの識別情報である。直前認識マーカーＩＤは、認識マーカーＩＤを認識する一つ前に認識されたＡＲマーカーの識別情報である。

時間条件は、認識マーカーＩＤのＡＲマーカーが認識された認識時間と、直前マーカーＩＤのＡＲマーカーが認識された認識時間との差分が満たすべき条件に関する情報である。なお、ＡＲマーカーの認識時間とは、例えば、撮影画像の撮影時間等であってもよい。

例えば、図１２の例では、認識マーカーＩＤが「ＭＡ」である場合には、直前認識マーカーが「Ｎｕｌｌ」となっている。これは、マーカーＩＤ「ＭＡ」のＡＲマーカーは、一番初めに認識される必要があることを示している。図１において、作業者は、初めに、部屋１０１を訪れ、ＡＲマーカー「ＭＡ」の読み取りに応じた作業を実施することが、決められている。

また、図１２の例では、認識マーカーＩＤ「ＭＢ」に対応付けて、直前認識マーカーＩＤ「ＭＡ」が対応付けられている。つまり、マーカーＩＤ「ＭＢ」のＡＲマーカーを認識する前に、マーカーＩＤ「ＭＡ」のＡＲマーカーを認識する必要があることが規定されている。さらに、認識マーカーＩＤ「ＭＢ」と直前認識マーカーＩＤ「ＭＡ」のＡＲマーカーを認識する時間間隔は、７分と規定されている。これは、例えば、直前認識マーカーＩＤ「ＭＡ」のＡＲマーカーＭＡを読み取ることで、表示される重畳画像（図２）に従って作業者が各種作業を実施する時間と、ＡＲマーカーＭＡの作業場所からＡＲマーカーＭＢの作業場所まで移動時間として、「７分」要することに基づき、設定された値である。なお、図１２の例では、条件として満たすべき時間間隔の下限値のみが規定されている。つまり、認識時間の差分が、当該下限値以上の範囲に含まれる場合に、条件を満たすことが判定される。

なお、時間条件は、下限値と上限値とで示される範囲により、規定されてもよい。この場合には、時間条件で指定された時間間隔以上で、画像が撮像された場合についても、ＡＲマーカーの認識に応じた処理の実施制御を行うことができる。

次に、第二の例において、条件情報テーブルは、作業順序が規定されていない作業に関連する複数のＡＲマーカーに関して、認識マーカーＩＤと直前認識マーカーＩＤとの組み合わせ毎に、時間条件が設定されている。例えば、認識マーカーＩＤ「ＭＤ」のＡＲマーカーは、作業順序が規定されていない作業に関連するＡＲマーカーであることが、図１３の条件情報テーブルに、認識マーカーＩＤ「ＭＤ」が設定されていることにより、わかる。

さらに、認識マーカーＩＤ「ＭＤ」のＡＲマーカーを認識した場合、直前認識マーカーＩＤが「ＭＣ」であれば、時間条件は、「１０分」である。また、直前認識マーカーＩＤが「ＭＥ」であれば、時間条件は、「３分」である。さらに、直前認識マーカーＩＤが「ＭＦ」であれば、時間条件は、「１０分」である。

図１２および図１３は、併用することが可能である。つまり、図１２および図１３に示すように、各ＡＲマーカーＭのマーカーＩＤを、いずれかの条件情報テーブルにおける認識マーカーＩＤに設定する。これによって、各ＡＲマーカーを読み取る事で実施される各種作業間に、順序性を持たせる場合と、順序性を持たせない場合とを区別する。

例えば、マーカーＩＤ「ＭＡ」「ＭＢ」「ＭＣ」が、順序性を持たせる必要がある作業に関連する場合、これらのマーカーＩＤは、図１２に示す条件情報テーブルに、設定される。一方、マーカーＩＤ「ＭＤ」「ＭＥ」「ＭＦ」が、順序性を持たせる必要のない作業に関連する場合、これらのマーカーＩＤは、図１３に示す条件情報テーブルに、設定される。

また、図１２および図１３に示す条件情報は、作業者ごとに異なる条件が設定されてもよい。例えば、作業者の経験年数や、特性に応じて、時間条件が、基準に対して増減される。経験年数が多い作業者については、図１２や図１３に示される基準の時間条件から、所定割合の時間を減じた時間が、時間条件として利用される。

また、ＡＲ技術においては、あるＡＲマーカーに対して対応付けるＡＲコンテンツを、業務内容や作業者によって、切り替えることも可能である。例えば、同一の施設において、点検業務Ａと、点検業務Ｂとが存在する場合、予め、点検業務Ａ用のＡＲコンテンツ情報と、点検業務Ｂ用のＡＲコンテンツ情報や、条件情報を生成する。そして、管理装置２は、作業者により指定された業務内容に応じたＡＲコンテンツ情報と条件情報を、情報処理装置１へ提供する。これによって、各種業務に応じて、情報処理装置１は、適切な判定を行うことができる。

図１４は、ログ情報テーブルのデータ構成例を示す図である。ログ情報テーブルは、ログ情報を記憶する。ログ情報は、マーカーＩＤと認識時間とを対応付けて記憶する。なお、ログ情報として、他の操作に関するログも、併せて記憶してもよい。

図１４の状態は、マーカーＩＤ「ＭＡ」のＡＲマーカーを、認識時間「２０１３／５／１ １３：００：００」に認識済みであることを示している。他のＡＲマーカーが認識されるたびに、マーカーＩＤに対応付けて、認識時間が格納される。

例えば、まず、ＡＲコンテンツ情報を管理装置２から取得した時点で、制御部１４は、ＡＲコンテンツ情報に含まれるマーカーＩＤを、管理情報テーブルのマーカーＩＤの項目にセットする。なお、認識部１５が、ＡＲマーカーを認識するたびに、認識したＡＲマーカーのマーカーＩＤを、ログ情報テーブルに格納してもよい。

次に、情報処理装置１による、判定方法に関して、詳細な処理の流れを説明する。図１５は、判定方法の処理フローチャートである。なお、本実施例においては、図１５に示す処理に先駆けて、通信部１１は、図１０乃至図１３に示す各種情報を、管理装置２から取得し、記憶部１８に格納する。

まず、認識部１５は、撮影画像を取得する（Ｏｐ．１）。なお、撮像処理部１２により撮影された撮像画像を、認識部１５は取得する。そして、認識部１５は、撮影画像に対して、ＡＲマーカー認識処理を実行し、ＡＲマーカーが認識したか否かを判定する（Ｏｐ．３）。例えば、認識部１５は、撮影画像に所定の形状が含まれる場合に、ＡＲマーカーを含む画像であると判定し、さらに、ＡＲマーカー部分の画像を解析することで、ＡＲマーカーを認識する。

ＡＲマーカーが認識できなければ（Ｏｐ．３Ｎｏ）、Ｏｐ．１へ戻る。一方、ＡＲマーカーを認識できた場合には（Ｏｐ．３Ｙｅｓ）、判定部１６は、認識情報として、認識部１５による認識結果である認識マーカーＩＤを取得する（Ｏｐ．５）。なお、ここで、判定部１６は、ログ情報テーブルに、認識マーカーＩＤと同一のマーカーＩＤに対応付けて、認識時間を格納する。

ここで、認識部１５は、ＡＲマーカーの誤認識を防ぐために、複数の撮影画像を取得し、複数の撮影画像に対してＡＲマーカー認識を実施してもよい。例えば、１０枚の撮影画像に対して、各々ＡＲマーカー認識を実施し、各々の認識結果を参照して、最終的な認識結果を生成する。例えば、認識部１５は、各撮影画像から認識されたマーカーＩＤのうち、もっとも認識回数が多かったマーカーＩＤを、最終的な認識結果とする。

次に、判定部１６は、ログ情報テーブルを参照し、認識マーカーＩＤの認識時間にもっとも近い認識時間を持つ、直前認識マーカーＩＤを取得する（Ｏｐ．７）。さらに、判定部は、直前認識マーカーＩＤの認識時間も取得する。

判定部１６は、認識マーカーＩＤの認識時間と、直前認識マーカーＩＤの認識時間との差分を算出する（Ｏｐ．９）。つまり、判定部１６は、基準物（ＡＲマーカー）を含む撮像画像の撮影位置に関する移動情報を生成する。

そして、判定部１６は、条件情報テーブルを参照し、認識マーカーＩＤと直前認識マーカーＩＤに関する条件情報を取得する（Ｏｐ．１１）。例えば、図１２および図１３の２つの条件情報テーブルのいずれかから、認識マーカーＩＤと直前認識マーカーＩＤに関する時間条件が取得される。

次に、判定部１６は、認識時間の差分が、時間条件を満たすか否かを判定する（Ｏｐ．１３）。つまり、判定部１６は、移動情報が条件情報を満たすか否かに基づき、認識された基準物に応じた作業が実施されたかを判定することができる。

例えば、認識時間の差分が、時間条件以上であるか否かが判定される。また、認識時間の差分が、時間条件に規定された時間の上下数％以内の値であれば、判定部１６は、時間条件を満たすと判定してもよい。

認識時間の差分が、時間条件を満たす場合（Ｏｐ．１３Ｙｅｓ）、画像生成部１７は、判定部１６による判定結果を受けて、重畳画像を生成する（Ｏｐ．１５）。なお、重畳画像の生成は、先に説明した通りである。そして、表示部１３は、画像生成部１７の制御の下、重畳画像を表示する（Ｏｐ．１７）。そして、情報処理装置１は、判定方法を終了する。一方、認識時間の差分が、時間条件を満たさない場合（Ｏｐ．１３Ｎｏ）、情報処理装置１は、判定方法を終了する。

また、Ｏｐ．１３以降の処理については、次のような処理を行ってもよい。例えば、判定部１６は、Ｏｐ．１３の判定の結果に応じて、該作業の実施に関わる履歴情報を生成する。具体的には、認識時間の差分が、時間条件を満たす場合（Ｏｐ．１３Ｙｅｓ）、判定部１６は、作業が実施されたことを示す履歴情報を生成する。一方、認識時間の差分が、時間条件を満たさない場合（Ｏｐ．１３Ｎｏ）、判定部１６は、作業が実施されていないことを示す履歴情報を生成する。

なお、認識時間の差分が、時間条件を満たす場合（Ｏｐ．１３Ｙｅｓ）にのみ、履歴情報を生成するとしてもよい。なお、履歴情報を生成する実施例においては、Ｏｐ．１３の判定結果に関わらず、画像生成部１７は、重畳画像を生成してもよいし、Ｏｐ．１７等と同様、履歴情報の生成と併せて、重畳画像の生成が制御されてもよい。

ここで、情報処理装置１と管理装置２とが通信可能であれば、通信部１１を制御して、管理装置２へ履歴情報を送信してもよい。情報処理装置１と管理装置２とが通信不能であれば、制御部１４、管理装置２へ送信する履歴情報を生成し、通信可能となった時点で、通信部１１を制御して、履歴情報を管理装置２へ送信してもよい。なお、履歴情報と併せて、ログ情報も送信されてもよい。

以上のように、本実施例に開示の情報処理装置１は、移動情報と条件情報とに基づき、所定の作業場所において、基準物の読み取りに応じて実施される作業が実施されたか否かを判別することができる。さらに、事前にＡＲコンテンツ情報や、条件情報、テンプレート情報を、管理装置２から取得することで、情報処理装置１において、作業の実施に関する判定を行うことができる。例えば、作業場所が、管理装置２との通信不能な状態であっても、作業の実施に関して適切な判定を行うことができる。

また、判定の結果に応じて、重畳画像の生成および表示を制御する態様においては、作業者は、次の作業内容を把握することができない。よって、例えば、点検表等に適切な点検結果を記入することができない。よって、不正が、管理者によって把握される。

さらに、判定の結果に応じて、履歴情報を生成する態様においては、作業内容を把握しているような作業者であっても、作業の実施または不実施が特定される。そして、管理装置２へ履歴情報が送信されることで、管理者は不正を把握することができる。

また、作業に順序性が存在する場合には、順序性を加味して、作業の実施に関わる判定を行うことができるため、より正確な判定が行われる。

［第二の実施例］
第一の実施例においては、情報処理装置１が、事前にＡＲコンテンツ情報、条件情報、テンプレート情報を、管理装置２から取得する実施態様を説明した。第二の実施例においては、情報処理装置３と管理装置４とが連携して、作業の実施に関する判定を行う態様を説明する。

まず、本実施例における情報処理装置の機能的構成について説明する。図１６は、第二の実施例における情報処理装置の機能ブロック図である。情報処理装置３は、通信部３１、撮像処理部３２、表示部３３、制御部３４、記憶部３７を有する。なお、通信部３１、撮像処理部３２、表示部３３は、第一の実施例における通信部１１、撮像処理部１２、表示部１３と同様の処理を行う。

制御部３４は、情報処理装置３の全体の処理を制御する。制御部３４は、例えば、プロセッサにより実現される。そして、制御部３４は、認識部３５および画像生成部３６を有する。

認識部３５は、第一の実施例と同様に、ＡＲマーカーの認識を行う。そして、認識部３５は、ＡＲコンテンツ情報の要求を、通信部３１を介して、管理装置４へ送信する。ＡＲコンテンツ情報の要求は、認識したマーカーＩＤおよび認識時間を含む。通信部３１は、ＡＲコンテンツ情報の要求に対する応答を、管理装置４から受信する。

応答には、ＡＲコンテンツ情報や、当該ＡＲコンテンツの描画に必要なテンプレート情報が含まれる。なお、管理装置４は、後述の通り、移動情報を生成し、移動情報と条件情報とに基づき、ＡＲコンテンツ情報の提供可否を判定する。

通信部３１が、応答を受信すると、画像生成部３６は、第一の実施例と同様の方法で、重畳画像を生成する。なお、応答には、認識したマーカーＩＤに対応するＡＲコンテンツ情報およびテンプレート情報が含まれる。そして、画像生成部３６は、生成した重畳画像を、表示部３３に表示させる。

記憶部３７は、第一の実施例とは異なり、予め、複数のＡＲコンテンツ情報、テンプレート情報を保持する必要はない。つまり、記憶部３７は、管理装置４からの応答に含まれるＡＲコンテンツ情報およびテンプレート情報を、一時的に記憶する。さらに、記憶部３７は、条件情報を保持する必要はない。なぜなら、管理装置４において、条件情報を用いた判定が実行されるためである。なお、記憶部３７は、ログ情報を、第一の実施例と同様に保持してもよいし、保持しなくともよい。

次に、管理装置４の機能的構成について、説明する。図１７は、第二の実施例における管理装置の機能ブロック図である。管理装置４は、通信部４１、制御部４２、記憶部４４を有する。

通信部４１は、情報処理装置３と通信を行う処理部である。例えば、ＡＲコンテンツ情報の要求を受信したり、制御部４２の制御のもと、要求に対する応答を送信する。制御部４２は、管理装置４全体の処理を制御する。さらに、制御部４２は、判定部４３を有する。

判定部４３は、ＡＲコンテンツ情報の要求に含まれる認識時間に基づき、移動情報を生成する。そして、判定部４３は、生成した移動情報が条件情報を満たすか否かを判定することで、情報処理装置４を所持する作業者により、作業が実施されたか否かを判定する。

そして、判定部４３は、判定結果に応じて、処理の実行を制御する。例えば、条件を満たすことを判定した場合には、ＡＲコンテンツ情報およびテンプレート情報を含む応答を、通信部４１を介して、情報処理装置３へ送信する。一方、条件を満たさないことを判定した場合には、作業を実施していないことを示す警告情報を、管理者へ送信する。

記憶部４４は、ＡＲコンテンツ情報、テンプレート情報、条件情報、各情報処理装置に係るログ情報を記憶する。なお、各情報は、第一の実施例と同様である。

以上のように、本実施例によれば、情報処理装置３と管理装置４とが協同して、作業の実施を判定することができる。第一の実施例と比較して、情報処理装置３は、予め、ＡＲコンテンツ情報等の情報を、記憶部３７に保持する必要がないため、記憶領域を削減できる。

［第三の実施例］
第一の実施例および第二の実施例においては、本発明が、ＡＲ技術を用いた作業支援に、適用される例を示した。だが、本発明はこれに限られない。例えば、ＩＣタグが、各作業場所に設置され、ＩＣタグのリーダー装置が、各作業場所のＩＣタグを読み取ることで、リーダー装置を保有する作業者の作業の実施を管理するような管理システムにおいても、本発明は適用可能である。

リーダー装置が各ＩＣタグを読み取った読取時刻等を、情報処理装置が取得する。なお、情報処理装置は、リーダー装置であってもよいし、リーダー装置と通信可能なコンピュータであってもよい。そして、コンピュータは、読取時刻から生成される移動情報と、条件情報とに基づき、先の実施例同様に、作業の実施を判定する。本実施例によれば、ＩＣタグが偽装されたことによる、不正を検出することができる。

［第四の実施例］
情報処理装置と管理装置とが連携して、作業の実施に関する判定を行う態様において、情報処理装置が判定部の機能を有し、管理装置が認識部および画像生成部の機能を有してもよい。

具体的には、情報処理装置は、撮像した画像を、管理装置へ送信する。管理装置における認識部および画像生成部は、基準物を認識するとともに、重畳画像を生成する。そして、管理装置は、重畳画像を情報処理装置へ送信する。情報処理装置は、重畳画像を受信したのち、情報処理装置の判定部は、表示部に重畳画像を表示するか否かを、移動情報および条件情報に基づき、判定する。条件を満たす場合には、情報処理装置の表示部は、重畳画像を表示する。一方、条件を満たさない場合には、表示部は、重畳画像を表示しない。

［ハードウェア構成例］
第一の実施例に示した情報処理装置１、第二の実施例に示した情報処理装置３のハードウェア構成について説明する。図１８は、各実施例の情報処理装置のハードウェア構成例である。各実施例における情報処理装置は、コンピュータ３００によって、実現される。なお、第三の実施例および第四の実施例に示した情報処理装置も、図１８に示すコンピュータ３００で実現することが可能である。

図５および図１６に示す各機能ブロックは、例えば、図１８に示すハードウェア構成により実現される。コンピュータ３００は、例えば、プロセッサ３０１、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）３０２、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）３０３、ドライブ装置３０４、記憶媒体３０５、入力インターフェース（入力Ｉ／Ｆ）３０６、入力デバイス３０７、出力インターフェース（出力Ｉ／Ｆ）３０８、出力デバイス３０９、通信インターフェース（通信Ｉ／Ｆ）３１０、カメラモジュール３１１、加速度センサ３１２、角速度センサ３１３、表示インターフェース３１４、表示デバイス３１５およびバス３１６などを含む。それぞれのハードウェアはバス３１６を介して接続されている。

通信インターフェース３１０はネットワークＮを介した通信の制御を行なう。通信インターフェース３１０が制御する通信は、無線通信を利用して、無線基地局を介してネットワークＮにアクセスする態様でもよい。入力インターフェース３０６は、入力デバイス３０７と接続されており、入力デバイス３０７から受信した入力信号をプロセッサ３０１に伝達する。出力インターフェース３０８は、出力デバイス３０９と接続されており、出力デバイス３０９に、プロセッサ３０１の指示に応じた出力を実行させる。

入力デバイス３０７は、操作に応じて入力信号を送信する装置である。入力信号は、例えば、キーボードやコンピュータ１の本体に取り付けられたボタンなどのキー装置や、マウスやタッチパネルなどのポインティングデバイスである。出力デバイス３０９は、プロセッサ３０１の制御に応じて情報を出力する装置である。出力デバイス３０９は、例えば、スピーカーなどの音声出力装置などである。

表示インターフェース３１４は、表示デバイス３１５と接続されている。表示インターフェース３１４は、表示インターフェース３１４に設けられた表示用バッファにプロセッサ３０１により書き込まれた画像情報を、表示デバイス３１５に表示させる。表示デバイス３１５は、プロセッサ３０１の制御に応じて情報を出力する装置である。表示デバイス３１５は、ディスプレイなどの画像出力装置や、透過型ディスプレイなどが用いられる。

透過型ディスプレイが用いられる場合には、ＡＲコンテンツの投影画像は、撮影画像と合成されるのではなく、例えば透過型ディスプレイ内の適切な位置に表示されるように制御されてもよい。これにより、ユーザは、現実空間とＡＲコンテンツが整合した状態の視覚が得られる。また、例えば、タッチスクリーンなどの入出力装置が、入力デバイス３０７及び表示デバイス３１５として用いられる。また、入力デバイス３０７及び表示デバイス３１５がコンピュータ１内部に組み込まれる代わりに、例えば、入力デバイス３０７及び表示デバイス３１５がコンピュータ１に外部から接続されてもよい。

ＲＡＭ３０２は読み書き可能なメモリ装置であって、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）やＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）などの半導体メモリ、またはＲＡＭ以外にもフラッシュメモリなどが用いられてもよい。ＲＯＭ３０３は、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）なども含む。

ドライブ装置３０４は、記憶媒体３０５に記憶された情報の読み出しか書き込みかの少なくともいずれか一方を行なう装置である。記憶媒体３０５は、ドライブ装置３０４によって書き込まれた情報を記憶する。記憶媒体３０５は、例えば、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ブルーレイディスクなどの種類の記憶媒体のうちの少なくとも１つである。また、例えば、コンピュータ１は、コンピュータ１内の記憶媒体３０５の種類に対応したドライブ装置３０４を含む。

カメラモジュール３１１は、撮像素子（イメージセンサ）を含み、例えば、撮像素子が測定した値を読み出し、カメラモジュール３１１に含まれる入力画像用の画像バッファに書き込む。加速度センサ３１２は、加速度センサ３１２に対して作用する加速度を計測する。角速度センサ３１３は、角速度センサ３１３による動作の角速度を計測する。

プロセッサ３０１は、ＲＯＭ３０３や記憶媒体３０５に記憶された判定プログラムをＲＡＭ３０２に読み出し、読み出されたプログラムの手順に従って処理を行なう。

例えば、制御部１４および制御部３４の機能は、プロセッサ３０１が、図１９に示されるプログラムの一部であるＡＲ制御プログラム（判定プログラムを含む）に基づいて、他のハードウェアの制御を行なうことにより実現される。通信部１１および通信部３１の機能は、プロセッサ３０１が、通信インターフェース３１０を制御してデータ通信を実行させ、受信したデータを記憶媒体３０５に格納させることにより実現される。

記憶部１８および記憶部３７の機能は、ＲＯＭ３０３および記憶媒体３０５がプログラムファイルやデータファイルを記憶すること、また、ＲＡＭ３０２がプロセッサ３０１のワークエリアとして用いられることによって実現される。例えば、ＡＲコンテンツ情報などがＲＡＭ３０２に格納される。

撮像処理部１２および撮像処理部３２の機能は、カメラモジュール３１１が入力画像用の画像バッファに画像データを書込み、入力画像用の画像バッファ内の画像データをプロセッサ３０１が読み出すことにより実現される。画像データは、モニタリングモードにおいては、例えば、入力画像用の画像バッファに書き込まれるとともに、表示デバイス３１５の表示用バッファに並行して書き込まれる。

また、表示部１３および表示部３３の機能は、プロセッサ３０１により生成された画像データが表示インターフェース３１４に備えられた表示用バッファに書き込まれ、表示デバイス３１５が表示用バッファ内の画像データの表示を行なうことにより実現される。

図１９は、コンピュータ１００で動作するプログラムの構成例を示す。コンピュータ３００において、図１８に示されるハードウェア群の制御を行なうＯＳ（オペレーティング・システム）５０２が動作する。ＯＳ５０２に従った手順でプロセッサ３０１が動作して、ハードウェア５０１の制御・管理が行なわれることで、アプリケーションプログラム５０４やミドルウェア５０３による処理がハードウェア５０１上で実行される。

コンピュータ３００において、ＯＳ５０２、ミドルウェア５０３及びアプリケーションプログラム５０４などのプログラムは、例えば、ＲＡＭ３０２に読み出されてプロセッサ３０１により実行される。また、ＡＲ制御プログラムは、例えば、ミドルウェア５０３としてアプリケーションプログラム５０４から呼び出されるプログラムである。または、例えば、判定プログラムを含むＡＲ制御プログラムは、アプリケーションプログラム５０４としてＡＲ機能を実現させるプログラムである。ＡＲ制御プログラムは、記憶媒体３０５に記憶される。記憶媒体３０５は、本実施例に係る判定プログラム単体または、判定プログラムを含むＡＲ制御プログラムを記憶した状態で、コンピュータ３００本体と切り離して流通され得る。

第二の実施例に示した管理装置４のハードウェア構成について説明する。図２０は、管理装置のハードウェア構成例である。管理装置４は、コンピュータ４００によって、実現される。なお、第一の実施例に開示された管理装置も、図２０に示すコンピュータ４００で実現することが可能である。

図１７に示す各機能ブロックは、例えば、図２０に示すハードウェア構成により実現される。コンピュータ４００は、例えば、プロセッサ４０１、ＲＡＭ４０２、ＲＯＭ４０３、ドライブ装置４０４、記憶媒体４０５、入力インターフェース（入力Ｉ／Ｆ）４０６、入力デバイス４０７、出力インターフェース（出力Ｉ／Ｆ）４０８、出力デバイス４０９、通信インターフェース（通信Ｉ／Ｆ）４１０、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）インターフェース（ＳＡＮ Ｉ／Ｆ）及びバス４１２などを含む。それぞれのハードウェアはバス４１２を介して接続されている。

例えば、プロセッサ４０１はプロセッサ３０１と同様なハードウェアである。ＲＡＭ４０２は、例えばＲＡＭ３０２と同様なハードウェアである。ＲＯＭ４０３は、例えばＲＯＭ３０３と同様なハードウェアである。ドライブ装置４０４は、例えばドライブ装置３０４と同様なハードウェアである。記憶媒体４０５は、例えば記憶媒体３０５と同様なハードウェアである。入力インターフェース（入力Ｉ／Ｆ）４０６は、例えば入力インターフェース３０６と同様なハードウェアである。入力デバイス４０７は、例えば入力デバイス３０７と同様なハードウェアである。出力インターフェース（出力Ｉ／Ｆ）４０８は、例えば出力インターフェース３０８と同様なハードウェアである。出力デバイス４０９は、例えば出力デバイス３０９と同様なハードウェアである。通信インターフェース（通信Ｉ／Ｆ）４１０は、例えば通信インターフェース３１０と同様なハードウェアである。ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）インターフェース（ＳＡＮ Ｉ／Ｆ）は、コンピュータ４００をＳＡＮに接続するためのインターフェースであり、ＨＢＡ（Ｈｏｓｔ Ｂｕｓ Ａｄａｐｔｅｒ）を含む。

プロセッサ４０１は、ＲＯＭ４０３や記憶媒体４０５に記憶された管理プログラムをＲＡＭ４０２に読み出し、読み出された管理プログラムの手順に従って制御部４２の処理を行なう。その際にＲＡＭ４０２はプロセッサ４０１のワークエリアとして用いられる。なお、管理プログラムは、管理装置４における判定処理に係る判定プログラムを含む。

記憶部４４の機能は、ＲＯＭ４０３および記憶媒体４０５がプログラムファイルやデータファイルを記憶すること、もしくは、ＲＡＭ４０２がプロセッサ４０１のワークエリアとして用いられることによって実現される。また、プロセッサ４０１が通信インターフェース４１０を制御して通信処理を行なうことにより、通信部４１の機能が実現される。

１、３、３００ 情報処理装置
１１、３１ 通信部
１２、３２ 撮像処理部
１３、３３ 表示部
１４、３４ 制御部
１５、３５ 認識部
１６ 判定部
１７、３６ 画像生成部
１８、３７ 記憶部
２、４、４００ 管理装置
４１ 通信部
４２ 制御部
４３ 判定部
４４ 記憶部

Claims (9)

1. 入力画像に含まれる基準物の認識に関する認識情報を受け付け、
   前記入力画像の撮影時間と該入力画像よりも前に取得した他の基準物を含む他の入力画像の撮影時間との差分が予め設定された範囲を満たす場合、または、前記他の入力画像の撮影位置から前記入力画像の撮影位置までの軌跡が予め設定された軌跡と類似する場合に、条件を満たすことを判定し、
   前記条件を満たすことが判定された場合に、前記基準物が設置された作業場所で作業が実施されたことを示す履歴情報を生成し、
   前記条件が満たされないことが判定された場合に、前記基準物が設置された前記作業場所で前記作業が実施されなかったことを示す他の履歴情報を生成する判定部、を有することを特徴とする情報処理装置。
2. 前記入力画像より、前記認識情報を生成するとともに、前記判定部へ該認識情報を出力する認識部を有することを特徴とする請求項１に記載の情報処理装置。
3. 前記基準物に対応付けられたコンテンツ情報を、前記入力画像に対して重畳して表示する重畳画像を生成する画像生成部を有することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記判定部は、前記条件が満たされたか否かの判定結果に応じて、前記画像生成部に、前記重畳画像の生成を指示するか否かを制御することを特徴とする請求項３に記載の情報処理装置。
5. 前記判定部は、さらに、前記他の入力画像と前記入力画像とが、予め指定された順序で撮影されたか否かに基づき、判定を行うことを特徴とする請求項１乃至４のいずれか一項に記載の情報処理装置。
6. 前記作業場所は、前記情報処理装置を管理する管理装置と、該情報処理装置とが通信不能な環境であって、
   前記条件は、前記情報処理装置と前記管理装置とが通信可能な他の環境において、該管理装置から該情報処理装置へ送信されることを特徴とする請求項１乃至請求項５のいずれか一項に記載の情報処理装置。
7. 前記基準物は、印刷物に印刷可能な情報であることを特徴とする請求項１乃至請求項６のいずれか一項に記載の情報処理装置。
8. コンピュータが、
   入力画像に含まれる基準物の認識に関する認識情報を受け付け、
   前記入力画像の撮影時間と該入力画像よりも前に取得した他の基準物を含む他の入力画像の撮影時間との差分が予め設定された範囲を満たす場合、または、前記他の入力画像の撮影位置から前記入力画像の撮影位置までの軌跡が予め設定された軌跡と類似する場合に、条件を満たすことを判定し、
   前記条件を満たすことが判定された場合に、前記基準物が設置された作業場所で作業が実施されたことを示す履歴情報を生成し、
   前記条件が満たされないことが判定された場合に、前記基準物が設置された前記作業場所で前記作業が実施されなかったことを示す他の履歴情報を生成する
   処理を実行することを特徴とする判定方法。
9. コンピュータに、
   入力画像に含まれる基準物の認識に関する認識情報を受け付け、
   前記入力画像の撮影時間と該入力画像よりも前に取得した他の基準物を含む他の入力画像の撮影時間との差分が予め設定された範囲を満たす場合、または、前記他の入力画像の撮影位置から前記入力画像の撮影位置までの軌跡が予め設定された軌跡と類似する場合に、条件を満たすことを判定し、
   前記条件を満たすことが判定された場合に、前記基準物が設置された作業場所で作業が実施されたことを示す履歴情報を生成し、
   前記条件が満たされないことが判定された場合に、前記基準物が設置された前記作業場所で前記作業が実施されなかったことを示す他の履歴情報を生成する
   処理を実行させることを特徴とする判定プログラム。
   

Images