JP6217437B2 - 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム - Google Patents

Description

本発明は、端末装置、情報処理装置、表示制御方法、及び表示制御プログラムに関する。

端末装置の撮像手段により撮像された撮像画像の一部にコンテンツ情報を重畳して表示させる拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術が知られている。ＡＲ技術を用いて提供されるコンテンツ（以下、「ＡＲコンテンツ」という）は、ＡＲコンテンツ毎に、現実空間に対応する仮想空間上の表示位置が設定される。また、端末装置とＡＲコンテンツとの位置関係の判断基準（基準物）として、ＡＲマーカが用いられる。ＡＲマーカと端末装置との位置関係は、端末装置の撮像画像に写り込んだＡＲマーカの像に基づいて判断される。

端末装置で認識したＡＲマーカに基づいて表示される重畳画像等のＡＲコンテンツは、予め管理者の操作により登録されるもののみでなく、作業員等の操作により登録されるものもある。この登録操作により、管理者や作業員等のユーザは、ＡＲマーカからの相対位置にＡＲコンテンツを設定することができる。

特表２０１０−５３１０８９号公報 国際公開２００５／１１９５３９号

上述したように、従来手法におけるＡＲコンテンツの表示は、ＡＲマーカの認識に基づいて行われる。そのため、ＡＲマーカが認識できれば、認識時の状況に関係なくＡＲコンテンツが表示される。したがって、複製されたＡＲマーカや、不正な位置に移動されたＡＲマーカに対しても、ＡＲマーカに対応付けられたＡＲコンテンツの表示が行われてしまう。また、ＡＲコンテンツの登録が行われる場合には、その登録が本来ＡＲマーカが配置されるべき位置（例えば、現場等）でＡＲマーカを認識したことに応じて行われたのかを確認することができない。

一つの側面では、本発明は、適切な表示制御を実現することを目的とする。

一態様における端末装置は、入力画像に含まれる基準物を認識する認識部と、前記基準物の認識に用いられた入力画像の特徴情報が、前記認識された基準物の識別情報に対応付けて設定された空き領域情報又は非空き領域情報に基づく特徴情報を含むかを判定する判定部と、前記判定部による判定結果に基づいて、前記入力画像に前記識別情報に対応付けられたコンテンツを重畳した画像を生成する画像生成部とを有する。

適切な表示制御を実現することができる。

情報処理システムの概略構成の一例を示す図である。 サーバの機能構成の一例を示す図である。 端末装置の機能構成の一例を示す図である。 サーバのハードウェア構成の一例を示す図である。 端末装置のハードウェア構成の一例を示す図である。 実物体にＡＲマーカを設置した例を示す図である。 第１実施例における空き領域及びＡＲコンテンツの設定処理の一例を示すフローチャートである。 第１実施例における空き領域設定の具体例を説明するための図である。 第２実施例における空き領域及びＡＲコンテンツの設定処理の一例を示すフローチャートである。 第２実施例における空き領域設定の具体例を説明するための図である。 第３実施例における空き領域の設定処理の一例を示すフローチャートである。 端末装置が有するデータ例を示す図である。 サーバが有するデータ例を示す図である。 各テーブルで設定した座標値を説明するための図である。 表示制御処理の一例を示すフローチャートである。 撮影位置のナビゲーション例を示す図である。 判定用物体を用いた判定例を示す図である。 端末装置の表示画面例を示す図である。 空き領域に対するコンテンツの表示例を示す図である。

以下、図面に基づいて実施形態を説明する。

＜情報処理システムの概略構成例＞
図１は、情報処理システムの概略構成の一例を示す図である。図１に示す情報処理システム１０は、情報処理装置の一例としてのサーバ１１と、１又は複数の端末装置１２−１〜１２−ｎ（以下、必要に応じて「端末装置１２」と総称する）とを有する。サーバ１１及び端末装置１２は、例えば通信ネットワーク１３によりデータの送受信が可能な状態で接続されている。

サーバ１１は、基準物の一例としてのＡＲマーカ、及び各ＡＲマーカに対応付けて登録された各ＡＲコンテンツや端末装置１２の表示制御に対する判定条件（例えば、空き領域、判定用物体等における特徴情報等）を管理する。ここで、ＡＲマーカとは、例えばＡＲコンテンツ等の各種コンテンツ情報の内容や表示する位置等を指定するための標識となるものである。ＡＲマーカは、例えば二次元コード等のように、所定の領域内に所定の模様や文字パターン等が形成された画像等であるが、これに限定されるものではない。

ＡＲコンテンツとは、例えば現実空間に対応する三次元の仮想空間上に配置された三次元物体のモデルデータ等であり、例えば端末装置１２で撮影された画像に重畳されて表示される重畳情報である。また、ＡＲコンテンツは、例えば撮影画像中に含まれるＡＲマーカからの相対座標で設定された位置に表示される。本実施形態のＡＲコンテンツは、例えばＡＲマーカ等に対応付けられており、例えばテキスト、アイコン、アニメーション、マーク、模様、画像、映像等の様々な形態が含まれる。また、ＡＲコンテンツは、表示出力されるものに限定されず、例えば音声等の情報であってもよい。

また、サーバ１１は、端末装置１２で設定されたＡＲマーカの現実空間上の設置位置と、端末装置１２の撮影位置とを基準にして、撮影画像中の空き領域を管理する。空き領域は、ＡＲコンテンツを表示する領域である。管理者や作業者等のユーザは、ＡＲマーカに対応付けられた撮影画像中の対象物に対する操作手順や注意事項等のＡＲコンテンツを、設定された空き領域中に表示させる。

また、本実施形態において、空き領域は、例えば端末装置１２が適切な位置からＡＲマーカを撮影しているかを判定するために用いられる。空き領域は、例えばＡＲマーカからの相対座標で定義される領域情報であり、その領域の特徴を示す情報（例えば、特徴点情報、輝度情報等）等を含むが、これに限定されるものではない。空き領域等の特徴情報を利用した判定により、端末装置１２が適切な位置からＡＲマーカを撮影している場合に、ＡＲマーカに対応するＡＲコンテンツを登録したり、登録されたＡＲコンテンツを表示する等の制御が行われる。

本実施形態では、上述した画像中の空き領域ではなく、非空き領域を設定し、設定した非空き領域を用いてＡＲコンテンツの登録や表示を行うか否かの判定を行ってもよい。非空き領域とは、例えばＡＲコンテンツの重畳表示により隠れることがないように設定された領域であり、ＡＲコンテンツの内容に対応する実物体等が存在する領域である。また、本実施形態では、画像中に存在する実物体を判定用物体とし、その物体の特徴情報を用いて判定を行ってもよい。これらの判定条件は、例えばＡＲマーカ等に応じて選択されてもよく、複数の条件を組み合わせてもよい。

サーバ１１は、例えば端末装置１２から撮影したＡＲマーカに関する情報（例えば、マーカＩＤ）を受信すると、マーカＩＤに対応するＡＲコンテンツや空き領域等の判定条件を端末装置１２に送信する。なお、本実施形態では、これに限定されるものではない。例えば、サーバ１１は、端末装置１２からマーカＩＤや位置情報、撮影画像等を受信して、サーバ１１側でマーカＩＤに対する空き領域情報を抽出し、端末装置１２の撮影位置等の判定を行い、その判定結果に基づいて、マーカＩＤに対応付けられたＡＲコンテンツを端末装置１２に送信するようにしてもよい。

サーバ１１は、例えばＰｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（ＰＣ）等でもよいが、これに限定されるものではなく、例えば一以上の情報処理装置を有するクラウドコンピューティングにより構成されるクラウドサーバ等であってもよい。

端末装置１２は、ＡＲマーカに対応するＡＲコンテンツの登録を行ったり、撮影したＡＲマーカや空き領域等に基づき、適切な場所でＡＲマーカを撮影しているかの判定を行い、その判定結果に応じてＡＲマーカに対応するＡＲコンテンツを画面に表示する。例えば、端末装置１２は、内蔵カメラ等の撮像部により撮影された画像から、その画像に含まれるＡＲマーカの認識（以下、「マーカ認識」という）を行う。

また、端末装置１２は、マーカ認識により認識されたＡＲマーカと、そのＡＲマーカに対応付けられて設定された空き領域（又は非空き領域）に基づき設定された特徴情報を有するか否かを判定する。また、端末装置１２は、判定結果に応じてＡＲマーカと対応付けられたＡＲコンテンツ等の重畳情報の出力の制御（例えば、出力有無の制御、出力内容の制御）等を行う。また、端末装置１２は、マーカ認識により認識されたＡＲマーカの情報や位置情報等の情報をサーバ１１に送信し、サーバ１１側で行われた判定結果に基づき、対応する出力制御を行ってもよい。

ここで、本実施形態におけるマーカ認識においては、例えばＡＲマーカを１つのアングル（例えば、ＡＲマーカの正面方向）から撮影した場合における空き領域の判定だけでは、他の場所でＡＲマーカを撮影した場合にも偶然同じ空き領域になる可能性がある。この場合には、意図する条件でないのに、正しい位置で撮影されたと判定され、ＡＲマーカに対応付けられたＡＲコンテンツが表示できてしまう。

そこで、本実施形態では、端末装置１２が複数のアングル（例えば、３アングル等）から撮影した画像に対してＡＲマーカと空き領域とを用いた判定を行ってもよい。例えば、端末装置１２は、空き領域情報の特殊性（例えば、画像中における空き領域の位置、大きさ、範囲、数）等に応じて、撮影方向を１アングルにするか複数アングルにするかを使い分けてもよい。

端末装置１２は、例えばタブレット端末やスマートフォン、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ（ＰＤＡ）、ノート型ＰＣ等であるが、これに限定されるものではなく、例えばゲーム機器、携帯電話等の通信端末であってもよい。

通信ネットワーク１３は、例えばインターネットやＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）等であるが、これに限定されるものではない。また、通信ネットワーク１３は、有線でも無線でもよく、これらの組み合わせでもよい。

図１に示す情報処理システム１０は、サーバ１１と端末装置１２とは１対ｎの構成となっているが、これに限定されるものではなく、例えば複数のサーバを有していてもよい。

＜サーバ１１の機能構成例＞
次に、上述したサーバ１１の機能構成例について図を用いて説明する。図２は、サーバの機能構成の一例を示す図である。サーバ１１は、通信部２１と、記憶部２２と、登録部２３と、抽出部２４と、制御部２５とを有する。

通信部２１は、通信ネットワーク１３を介して端末装置１２や他のコンピュータ等との間でデータの送受信を行う。通信部２１は、例えば端末装置１２からのＡＲコンテンツ等の登録要求、及びＡＲマーカに対応付けて登録するＡＲコンテンツや、空き領域（又は非空き領域）等の表示制御を行うための判定条件を受信する。また、通信部２１は、登録されたＡＲマーカの識別情報（例えば、マーカＩＤ）等を受信し、対応する判定条件、及びＡＲコンテンツを端末装置１２に送信する。

記憶部２２は、本実施形態における表示制御処理に必要な各種情報（例えば、マーカＩＤ管理テーブル、ＡＲコンテンツ管理テーブル、空き領域情報管理テーブル、判定位置情報管理テーブル、判定用物体位置情報管理テーブル等）を記憶する。記憶部２２は、例えば端末装置１２でＡＲコンテンツ作成時に生成された設定情報、及びＡＲマーカ毎に設定された空き領域（又は非空き領域）情報、ＡＲコンテンツ、判定用物体情報、判定位置指定用のマーカ座標値情報等の判定条件を記憶する。

登録部２３は、端末装置１２から得られたＡＲコンテンツ等の各種登録情報等を登録する。例えば、登録部２３は、ＡＲマーカを識別する識別情報（マーカＩＤ）と、マーカＩＤに対して設定された判定条件と、マーカＩＤに対して設定されたＡＲコンテンツ情報と対応付けて登録する。登録された情報は、記憶部２２に記憶される。

抽出部２４は、端末装置１２から得られた識別情報（マーカＩＤ）に基づいて記憶部２２を参照し、対応する判定条件とＡＲコンテンツ情報とを抽出する。抽出部２４により抽出された判定条件やＡＲコンテンツ等は、通信部２１によりマーカＩＤを送信した端末装置１２に送信される。

なお、抽出部２４は、端末装置１２からマーカＩＤだけでなく、位置情報等を取得した場合には、マーカＩＤに対応付けられた判定条件に基づき、適切な位置で撮影されたＡＲマーカであるか否かの判定を行ってもよい。例えば、抽出部２４は、端末装置１２で、入力画像に含まれる基準物（例えば、ＡＲマーカ）を認識した際、そのＡＲマーカの認識に用いられた入力画像の特徴情報が、認識された基準物の識別情報に対応付けて設定された空き領域情報又は非空き領域情報に基づく特徴情報を含むかを判定する。また、抽出部２４は、判定した結果に基づいて、例えば適切な位置で撮影されたと判定された場合に、マーカＩＤに対応付けられたＡＲコンテンツ情報を端末装置１２に送信する処理を行ってもよい。 制御部２５は、サーバ１１内の各構成全体を制御する。制御部２５は、例えば通信部２１による各種情報の送受信、記憶部２２によるデータ記憶、登録部２３によるＡＲコンテンツや判定条件等の登録、抽出部２４によるＡＲコンテンツや判定条件等の抽出等の処理を行うが、制御部２５が行う制御内容については、これに限定されるものではない。

＜端末装置１２の機能構成例＞
次に、上述した端末装置１２の機能構成例について、図を用いて説明する。図３は、端末装置の機能構成の一例を示す図である。端末装置１２は、通信部３１と、撮像部３２と、記憶部３３と、表示部３４と、設定部３５と、認識部３６と、取得部３７と、判定部３８と、コンテンツ生成部３９と、画像生成部４０と、制御部４１とを有する。

通信部３１は、通信ネットワーク１３を介してサーバ１１や他のコンピュータ等とデータの送受信を行う。例えば、通信部３１は、例えばＡＲマーカと対応付けたＡＲコンテンツ情報、空き領域（非空き領域）情報等の判定条件等の各種設定情報をサーバ１１等に送信する。また、通信部３１は、マーカ認識により認識されたマーカＩＤをサーバ１１に送信し、送信したマーカＩＤに対応する判定条件やＡＲコンテンツ等を受信する。

撮像部３２は、予め設定されたフレーム間隔で画像を撮像する。撮像部３２は、撮像した画像を制御部４１へ出力したり、記憶部３３に記憶させる。

記憶部３３は、本実施形態における出力制御に必要な各種情報（例えば、データ管理テーブル、ＡＲコンテンツ管理テーブル等）を記憶する。記憶部３３は、例えばＡＲコンテンツの登録時におけるＡＲマーカと、ＡＲマーカに対応付けたＡＲコンテンツ、空き領域、判定位置、判定用物体情報等を記憶する。また、記憶部３３は、マーカ管理情報（例えば、現在認識しているＡＲマーカのＩＤや位置等）の情報も一時的に記憶する。

また、記憶部３３は、例えばＡＲマーカとＡＲコンテンツと対応付ける時（オーサリング時）に設定した空き領域（非空き領域）の情報、判定用物体に関する情報、空き領域（非空き領域）の判定状況（現在判定がどの程度行われているか）等を記憶する。なお、これらの情報は、端末装置１２が設定した情報だけでなく、サーバ１１から取得した情報も含まれる。また、設定時の情報は、サーバ１１へ送信した後に削除されてもよい。

表示部３４は、判定部３８による判定結果に基づき、画像生成部４０により生成される撮影画像にＡＲコンテンツを登録する画面や登録されたコンテンツが撮影画像に重畳された重畳画像、その他の各種設定画像等を表示する。また、表示部３４は、マーカ認識時にユーザによるＡＲマーカの撮影位置をナビゲートするためのナビゲーション用の枠を表示してもよい。また、表示部３４がタッチパネル等である場合には、表示部３４は、タッチパネル上のタッチ位置座標を取得することもできる。

設定部３５は、ＡＲマーカの読取後に、そのＡＲマーカに対してどのようなＡＲコンテンツをどの位置に表示させるかを設定する。また、設定部３５は、特徴情報として、上述したような空き領域（又は非空き領域）の設定、位置情報の設定、判定用物体に関する情報の設定等を行うことができるが、設定する内容については、これに限定されるものではない。

認識部３６は、入力画像に含まれる基準物（例えば、ＡＲマーカ）等を認識する。例えば、認識部３６は、撮像部３２により得られる撮影画像に対して画像認識を行い、その認識結果から、ＡＲマーカや現実空間上の物体（対象物）の識別情報を取得する。また、認識部３６は、ＡＲマーカの撮像部３２からの位置（座標）を取得したりＡＲマーカの識別情報（マーカＩＤ）を取得する。なお、本実施形態では、複数の異なる基準物（ＡＲマーカ）から同じ識別情報が得られる場合もある。

本実施形態では、例えば撮影画像中に含まれる現実空間上の物体（対象物）に対してＡＲマーカを付与しておくことで、ＡＲマーカの識別情報に対応付けられたＡＲコンテンツとして、その物体の使用方法や作業手順、注意事項等を撮影画像に重畳して表示させることができる。

なお、本実施形態における基準物は、ＡＲマーカに限定されるものではなく、例えば予め登録された物体を基準物としてもよい。この場合、認識部３６は、入力画像から登録された物体を認識し、認識した物体に対応する識別情報を取得する。

取得部３７は、認識部３６により読み取られたマーカＩＤと対応付けられた、対象物を基準とする座標で定義される画像領域内の特徴情報（第１の特徴情報）を取得する。第１の特徴情報とは、上述した設定部３５により設定される情報であり、例えば空き領域情報、非空き領域情報、判定用物体等の判定条件に対応する情報であるが、これに限定されるものではない。また、特徴情報は、予めデータ化されていてもよい。

例えば、取得部３７は、ＡＲマーカ、空き領域（又は非空き領域）に設定している物体、判定部３８による判定時に利用する判定用物体を、特徴抽出や輝度差抽出等による物体認識手法を用いて認識する。なお、取得部３７は、例えば予めＡＲマーカ又は物体の形状を規定したテンプレートを記憶部３３に記憶しておき、そのテンプレートとマッチングを行うことでＡＲマーカ又は物体を認識してもよい。また、取得部３７は、例えば画像中の所定の領域中の明度のうち、最大値と最小値を取得し、最大値と最小値との差（輝度差）に基づいて、その領域における特徴量から物体を認識してもよい。また、取得部３７は、認識したＡＲマーカを識別するＩＤ、及びマーカの位置・回転（角度）情報を取得してもよい。なお、取得部３７は、認識部３６による認識処理を行った後、すぐに取得処理を行ってもよく、別々のタイミングで処理を行ってもよい。また、別の端末装置で認識された画像を用いて、上述した取得部３７による特徴情報の取得を行ってもよい。

判定部３８は、認識部３６及び取得部３７により得られる基準物（例えば、ＡＲマーカ）等の認識に用いられた入力画像の特徴情報が、認識された基準物に対応付けて設定された空き領域情報又は非空き領域情報に基づく特徴情報を含むかを判定する。例えば、判定部３８は、撮像部３２により撮像された撮像画像から得られる特徴が、上述した第１の特徴情報に示される特徴（判定条件）と整合するか否かを判定する。例えば、判定部３８は、取得部３７からＡＲマーカ又は物体の特徴点を取得し、取得した特徴点に基づく一致度判定を行うことで、適切な位置でＡＲマーカを撮影したか否かを判定することができるが、これに限定されるものではない。適切な位置でＡＲマーカを撮影したか否かを判定することは、ＡＲマーカに対応付けたＡＲコンテンツを画面に表示してもよいか否かを判定することと言い換えることもできる。

コンテンツ生成部３９は、判定部３８による判定結果に基づいて、ＡＲマーカに対応付けて表示されるＡＲコンテンツを生成する。ＡＲコンテンツは、例えば予め設定された空き領域中の所定の位置に表示させる。なお、位置情報は、コンテンツ生成部３９によりユーザが画面上で指定した点を、ＡＲマーカを基準としたマーカ座標系に変換することで、その変換後の座標値を位置情報とすることができるが、これに限定されるものではない。

画像生成部４０は、例えばＡＲマーカや空き領域等を用いた判定処理の結果、ＡＲコンテンツを表示してもよい場合に、実空間画像の情報に対応するＡＲコンテンツを重畳させて重畳画像（合成画像）を生成する。画像生成部４０は、例えばＡＲマーカからの相対位置でＡＲコンテンツを画面に表示することができるが、これに限定されるものではない。

制御部４１は、端末装置１２が有する各構成における処理全体を制御する。制御部４１は、撮像部３２によって画像を撮影させたり、表示部３４によって各種情報を端末装置１２の画面に表示させたり、設定部３５によって本実施形態における出力制御に関する各種設定を行わせる等の処理を行う。

また、制御部４１は、設定部３５による表示制御に関する各種設定、認識部３６による撮影画像に含まれる各種情報の認識、取得部３７による画像中に含まれる特徴情報の取得、判定部３８による画像領域の特徴と、判定条件とに基づく判定、コンテンツ生成部３９によるＡＲコンテンツの生成、画像生成部４０による重畳画像を生成させる等の処理を行う。

＜サーバ１１のハードウェア構成例＞
次に、サーバ１１のハードウェア構成例について、図を用いて説明する。図４は、サーバのハードウェア構成の一例を示す図である。図４の例において、サーバ１１は、入力装置５１と、出力装置５２と、ドライブ装置５３と、補助記憶装置５４と、主記憶装置５５と、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）５６と、ネットワーク接続装置５７とを有し、これらはシステムバスＢで相互に接続されている。

入力装置５１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスや、マイクロフォン等の音声入力デバイスを有しており、ユーザ等からのプログラムの実行指示、各種操作情報、ソフトウェア等を起動するための情報等の入力を受け付ける。

出力装置５２は、本実施形態における処理を行うためのコンピュータ本体（サーバ１１）を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイ等を有する。出力装置５２は、ＣＰＵ５６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。

ここで、本実施形態において、例えばコンピュータ本体にインストールされる実行プログラムは、記録媒体５８等により提供される。記録媒体５８は、ドライブ装置５３にセット可能である。ＣＰＵ５６からの制御信号に基づき、記録媒体５８に格納された実行プログラムが、記録媒体５８からドライブ装置５３を介して補助記憶装置５４にインストールされる。

補助記憶装置５４は、例えばＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）等のストレージ手段等である。補助記憶装置５４は、ＣＰＵ５６からの制御信号に基づき、本実施形態における実行プログラム（表示制御プログラム）や、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置５４は、ＣＰＵ５６からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。

主記憶装置５５は、ＣＰＵ５６により補助記憶装置５４から読み出された実行プログラム等を格納する。主記憶装置５５は、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）やＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等である。

ＣＰＵ５６は、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）等の制御プログラム、及び主記憶装置５５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現する。プログラムの実行中に必要な各種情報等は、補助記憶装置５４から取得することができ、また実行結果等を格納することもできる。

具体的には、ＣＰＵ５６は、例えば入力装置５１から得られるプログラムの実行指示等に基づき、補助記憶装置５４にインストールされたプログラムを実行させることにより、主記憶装置５５上でプログラムに対応する処理を行う。例えば、ＣＰＵ５６は、表示制御プログラムを実行させることで、上述した登録部２３によるＡＲコンテンツやＡＲコンテンツを出力させるか否かの判定条件（例えば、空き領域、非空き領域、判定用物体）等の特徴情報の登録、抽出部２４による各種情報の抽出、制御部２５による出力制御等の処理を行う。ＣＰＵ５６における処理内容は、上述した内容に限定されるものではない。ＣＰＵ５６により実行された内容は、必要に応じて補助記憶装置５４等に記憶される。

ネットワーク接続装置５７は、上述した通信ネットワーク１３を介して、端末装置１２や他の外部装置との通信を行う。ネットワーク接続装置５７は、ＣＰＵ５６からの制御信号に基づき、通信ネットワーク１３等と接続することにより、実行プログラムやソフトウェア、設定情報等を外部装置等から取得する。また、ネットワーク接続装置５７は、プログラムを実行することで得られた実行結果を端末装置１２等に提供したり、本実施形態における実行プログラム自体を外部装置等に提供してもよい。

記録媒体５８は、上述したように実行プログラム等が格納されたコンピュータで読み取り可能な記録媒体である。記録媒体５８は、例えばフラッシュメモリ等の半導体メモリやＣＤ−ＲＯＭ、ＤＶＤ等の可搬型の記録媒体であるが、これに限定されるものではない。

図４に示すハードウェア構成に実行プログラム（例えば、表示制御プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における表示制御処理等を実現することができる。

＜端末装置１２のハードウェア構成例＞
次に、端末装置１２のハードウェア構成例について図を用いて説明する。図５は、端末装置のハードウェア構成の一例を示す図である。図５の例において、端末装置１２は、マイクロフォン（以下、「マイク」という）６１と、スピーカ６２と、表示部６３と、操作部６４と、センサ部６５と、電力部６６と、無線部６７と、近距離通信部６８と、補助記憶装置６９と、主記憶装置７０と、ＣＰＵ７１と、ドライブ装置７２とを有し、これらはシステムバスＢで相互に接続されている。

マイク６１は、ユーザが発した音声や、その他の音を入力する。スピーカ６２は、通話相手先の音声を出力したり、着信音等の音を出力する。マイク６１及びスピーカ６２は、例えば、通話機能等により通話相手と会話するとき等に用いることができるが、これに限定されるものではなく、音声による情報の入出力に用いることができる。

表示部６３は、ユーザに対してＯＳや各種アプリケーションで設定された画面を表示する。また、表示部６３は、タッチパネルディスプレイ等でもよく、その場合には表示部６３は、入出力部としての機能を有する。

表示部６３は、例えばＬｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）や有機Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）等のディスプレイである。

操作部６４は、表示部６３の画面に表示された操作ボタンや端末装置１２の外部に設けられた操作ボタン等である。操作ボタンは、例えば電源ボタンや音量調整ボタンでもよく、所定の順番で配列された文字入力用の操作キー等でもよい。

ユーザは、例えば表示部６３の画面上で所定の操作を行ったり、上述した操作ボタンを押すことで、表示部６３により画面上のタッチ位置が検出される。また、表示部６３は、画面上にアプリ実行結果やコンテンツやアイコン、カーソル等を表示することができる。

センサ部６５は、端末装置１２のある時点又は継続的な動作を検出する。例えば、センサ部６５は、端末装置１２の傾き角度、加速度、方向、位置等を検出するが、これに限定されるものではない。なお、センサ部６５としては、例えば傾きセンサや加速度センサ、ジャイロセンサ、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（ＧＰＳ）等であるが、これに限定されるものではない。

電力部６６は、端末装置１２の各構成に対して電力を供給する。電力部６６は、例えばバッテリ等の内部電源であるが、これに限定されるものではない。電力部６６は、電力量を常時又は所定の時間間隔で検出し、電力量の残量等を監視することもできる。

無線部６７は、例えばアンテナ等を用いて基地局からの無線信号（通信データ）を受信したり、アンテナを介して無線信号を基地局に送信する通信データの送受信部である。

近距離通信部６８は、例えば赤外線通信やＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信手法を用いて、他の端末装置１２等のコンピュータと近距離通信を行うことができる。上述した無線部６７及び近距離通信部６８は、他のコンピュータとのデータの送受信を可能とする通信インタフェースである。

補助記憶装置６９は、例えばＨＤＤやＳＳＤ等のストレージ手段である。補助記憶装置６９は、各種のプログラム等を記憶し、必要に応じてデータの入出力を行う。

主記憶装置７０は、ＣＰＵ７１からの指示により補助記憶装置６９から読み出された実行プログラム等を格納したり、プログラム実行中に得られる各種情報等を記憶する。主記憶装置７０は、例えばＲＯＭやＲＡＭ等であるが、これに限定されるものではない。

ＣＰＵ７１は、ＯＳ等の制御プログラム、及び主記憶装置７０に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御することで、出力制御における各処理を実現する。

具体的には、ＣＰＵ７１は、例えば操作部６４等から得られるプログラムの実行指示等に基づき、補助記憶装置６９にインストールされたプログラムを実行させることにより、主記憶装置７０上でプログラムに対応する処理を行う。例えば、ＣＰＵ７１は、表示制御プログラムを実行させることで、上述した設定部３５によるＡＲコンテンツやＡＲコンテンツを出力させるか否かの判定条件等の設定、認識部３６によるＡＲマーカ等の基準物の認識等の処理を行う。また、ＣＰＵ７１は、取得部３７による特徴情報（第１の特徴情報）の取得、判定部３８による判定、コンテンツ生成部３９によるコンテンツの生成、画像生成部４０による画像生成等の処理を行う。ＣＰＵ７１における処理内容は、上述した内容に限定されるものではない。ＣＰＵ７１により実行された内容は、必要に応じて補助記憶装置６９等に記憶される。

ドライブ装置７２は、例えば記録媒体７３等を着脱自在にセットすることができ、セットした記録媒体７３に記録された各種情報を読み込んだり、所定の情報を記録媒体７３に書き込むことができる。ドライブ装置７２は、例えば媒体装填スロット等であるが、これに限定されるものではない。

記録媒体７３は、上述したように実行プログラム等を格納するコンピュータで読み取り可能な記録媒体である。記録媒体７３は、例えばフラッシュメモリ等の半導体メモリであってもよい。また、記録媒体７３は、ＵＳＢメモリ等の可搬型記録媒体であってもよいが、これに限定されるものではない。

本実施形態では、上述したコンピュータ本体のハードウェア構成に実行プログラム（例えば、表示制御プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における表示制御処理等を実現することができる。

また、上述した表示制御処理に対応する表示制御プログラムは、例えば装置上で常駐している状態であってもよく、起動指示により起動させてもよい。

＜ＡＲマーカ例＞
次に、本実施形態におけるＡＲマーカ例について図を用いて説明する。図６は、実物体にＡＲマーカを設置した例を示す図である。例えば、図６（Ａ）の例では、現実空間にある実物体（対象物）の一例としてパイプ（配管）８０が設置されている。パイプ８０は、複数のバルブ（弁）８１−１〜８１−５を有する。本実施形態では、例えば上述したパイプ８０と共に撮影できる位置にＡＲマーカ９０が取り付けられている。

本実施形態では、ＡＲマーカ９０をパイプ８０と共に、端末装置１２の撮像部３２で撮影し、認識部３６が画像認識によりＡＲマーカ９０の識別情報を読み取る。また、取得部３７は、認識部３６により得られた識別情報と対応付けられ、ＡＲマーカ９０を基準とする座標値で定義される第１の特徴情報（例えば、空き領域、非空き領域等）を取得する。判定部３８は、認識部３６による識別情報の認識に用いられた入力画像の特徴情報が、認識部３６により認識されたＡＲマーカ９０の識別情報に対応付けて設定された空き領域情報又は非空き領域情報に基づく特徴情報を含むかを判定する。例えば、判定部３８は、撮像部３２により撮像された撮像画像のうち、対応する画像領域の特徴が、第１の特徴情報に示される特徴と整合するか（一致するか）否かを判定する。

判定部３８による判定結果がＯＫの場合（一致する場合）、正しい位置から撮影された画像であると判定され、コンテンツ生成部３９は、例えばＡＲマーカの識別情報に対応付けて設定された対象物であるパイプ８０に設けられたバルブ（弁）８１−１〜８１−５の使用方法等を示すＡＲコンテンツ等を、撮影中又は撮影した画像上に重畳表示したり、新たなＡＲコンテンツを登録する。これにより、ユーザ（作業者等）は、端末装置１２の画面に表示されたＡＲコンテンツ情報に基づいてバルブ（弁）８１−１〜８１−５を直接操作して、パイプ８０の制御等を行うことができる。また、複数のユーザがＡＲコンテンツ情報を共有することができる。

また、ＡＲマーカ９０から得られるＡＲコンテンツ情報としては、上述した操作内容に限定されるものではなく、例えばパイプ８０がひび割れ等の破損をしている場合や修理が必要である場合等に、その情報や注意事項等をユーザ等に通知するための情報でもよい。

ＡＲマーカ９０は、１つの対象物（例えば、パイプ８０）に対して１以上設けてもよく、複数の対象物に対して１つのＡＲマーカ９０であってもよい。

また、ＡＲマーカは、図６（Ｂ）に示すように、例えばサーバ等のコンピュータを収納するサーバラック８２等の機器（対象物）に対して、その操作内容やメンテナンス情報（稼働スケジュール、故障時の連絡先）等の各種情報を、そのサーバラックと共に撮影可能な位置に取り付けられたＡＲマーカ９０の画像を撮影し、その画像に対して画像認識することで取得することができる。

ＡＲマーカ９０の例としては、例えばバーコード、ＱＲコード（登録商標）等の二次元コードでもよく、カラー等を用いた多次元コードでもよいが、これらに限定されるものではない。なお、ＡＲマーカ９０によりＡＲコンテンツを表示させる対象物については、これに限定されるものではない。

＜端末装置１２における処理の一例＞
次に、上述した端末装置１２における処理の一例について、フローチャートを用いて説明する。なお、端末装置１２における処理としては、例えば、管理者や作業者のユーザ等がＡＲマーカに対応付けて空き領域等の判定条件（特徴情報）やＡＲコンテンツを設定する場合と、ＡＲマーカを認識して対応付けられたＡＲコンテンツを表示する場合とがある。なお、上記の場合には、１台の端末装置１２を管理者及び作業者が用いてもよく、例えば複数の端末装置１２をそれぞれの所有者（管理者、作業者）に割り当てて、処理を行ってもよい。以下の説明では、上記の各場合における処理例を分けて説明する。

＜第１実施例における空き領域及びＡＲコンテンツの設定処理の一例＞
図７は、第１実施例における空き領域及びＡＲコンテンツの設定処理の一例を示すフローチャートである。図７に示す第１実施例において、端末装置１２は、例えば管理者や作業者等のユーザが撮影した画像中のＡＲマーカを認識したか否かを判断する（Ｓ０１）。

端末装置１２は、ＡＲマーカを認識していない場合（Ｓ０１において、ＮＯ）、ＡＲマーカを認識するまで待機する。また、撮影した画像中からＡＲマーカを認識した場合（Ｓ０１において、ＹＥＳ）、空き領域を設定する指示か否かを判断する（Ｓ０２）。Ｓ０２の処理において、端末装置１２の設定部３５は、空き領域を設定する旨の指示があった場合（Ｓ０２において、ＹＥＳ）、ユーザからの範囲指定等を受け付け、空き領域を任意の箇所に設定する（Ｓ０３）。なお、Ｓ０３の処理では、例えばユーザが画面上の領域をタッチしたりドラッグすることで、空き領域等を設定することができる。

また、Ｓ０２の処理において、空き領域を設定しない場合（Ｓ０２において、ＮＯ）、又は、Ｓ０３の処理後、設定部３５は、判定用領域を設定するか否かを判断する（Ｓ０４）。設定部３５は、判定用領域を設定する場合（Ｓ０４において、ＹＥＳ）、判定用領域を任意の箇所に設定する（Ｓ０５）。判定用領域とは、例えば判定用の物体が存在する領域である。判定用の物体とは、例えば、撮影画像中にＡＲマーカと共に映っている物体（例えば、対象物、壁掛け時計、ＰＣ、テレビ等）。例えば、上述した図６の例では、対象物であるパイプ８０やサーバラック８２等を判定用の物体とし、その物体を囲む画像上の領域を判定用領域として設定してもよい。図７の例では、特徴情報（判定条件）の一例として判定用物体の設定も行う。

また、Ｓ０４の処理において、判定用領域を設定しない場合（Ｓ０４において、ＮＯ）、又は、Ｓ０５の処理後、ユーザの指示等により他の方向から撮影した画像に対して空き領域を設定するか否かを判断する（Ｓ０６）。ここで、他の方向から撮影した画像に対して空き領域を設定する場合（Ｓ０６において、ＹＥＳ）、Ｓ０３の処理に戻る。また、Ｓ０６の処理において、他の方向から撮影した画像に対して空き領域を設定しない場合（Ｓ０６において、ＮＯ）、Ｓ０１で認識したＡＲマーカに対応付けたＡＲコンテンツを設定する（Ｓ０７）。

なお、上述した処理は、空き領域を設定する例を示したが、これに限定されるものではなく、非空き領域を設定してもよい。例えば、撮影された画像中に設定された空き領域以外の領域を非空き領域とすることができ、画像中に非空き領域が設定された場合には、画像中の非空き領域以外の領域が空き領域となる。

＜第１実施例における空き領域設定の具体例＞
図８は、第１実施例における空き領域設定の具体例を説明するための図である。図８（Ａ）の例は、端末装置１２における撮影方向を説明するための図であり、図８（Ｂ）の例は、図８（Ａ）に対応する設定状況の俯瞰図を示している。

図８（Ａ）の例では、本実施形態における表示制御プログラム（例えば、オーサリング機能）等を用いてＡＲコンテンツを設定する場合に、ＡＲコンテンツを表示させない領域（非空き領域）を設定している。なお、第１実施例では、上述の例に限定されるものではなく、ＡＲコンテンツを表示させる領域（空き領域）を設定してもよい。

図８（Ａ）の例では、現実空間に２つの実物体１００−１、１００−２が存在する。実物体１００−１，１００−２は、例えば上述したパイプやサーバラック８２等である。ユーザは、実物体１００−１、１００−２に対するＡＲコンテンツをＡＲマーカ９０に対応付けて設定する場合に、実物体１００−１，１００−２が重畳されるＡＲコンテンツに隠れないようにするため、非空き領域１０１−１，１０１−２を設定する。図８（Ａ）の例では、実物体１００−１，１００−２を覆うように非空き領域１０１−１，１０１−２が設定される。

また、本実施形態では、ある一方向（例えば、ＡＲマーカ９０に対して正面方向）からの設定だけでなく、他の方向（例えば、左側面方向、右側面方向等）からも設定することができる。これにより、例えば１つの方向では偶然に非空き領域が一致した場合に、意図しない判定結果となることを防止することができる。なお、非空き領域を設定した状態におけるマーカの認識情報やＡＲコンテンツの設定情報は、サーバ１１に送信され管理される。

また、ＡＲマーカを撮影してサーバ１１に登録されたＡＲコンテンツを取得する場合には、例えばＡＲマーカ９０と複数個所からの非空き領域が、判定時に一致するか否かを判定する。このように、複数個所から、非空き領域を設定することにより、立体的な非空き領域を設定することができる。図８（Ｂ）の例では、マーカ９０の正面方向にある端末装置１２ａから実物体１００−１，１００−２に対して非空き領域１０１−１ａ、１０１−２ａが設定される。また、ＡＲマーカ９０の左側面方向にある端末装置１２ｂから実物体１００−１，１００−２に対して非空き領域１０１−１ｂ、１０１−２ｂが設定される。また、ＡＲマーカ９０の右側面方向にある端末装置１２ｃから実物体１００−１，１００−２に対して非空き領域１０１−１ｃ、１０１−２ｃが設定される。上述の設定により得られるＡＲマーカや空き領域等の各領域（位置情報）は、例えばマーカの中心位置を基準としたマーカ座標系（Ｘ，Ｙ，Ｚ）で管理されるが、これに限定されるものではく、例えば撮影された画像のある位置を基準にしたスクリーン座標系で管理してもよい。

＜第２実施例における空き領域及びＡＲコンテンツの設定処理の一例＞
図９は、第２実施例における空き領域及びＡＲコンテンツの設定処理の一例を示すフローチャートである。図９に示す第２実施例において、端末装置１２は、管理者や作業者等のユーザが撮影した画像中のＡＲマーカを認識したか否かを判断する（Ｓ１１）。端末装置１２は、ＡＲマーカを認識していない場合（Ｓ１１において、ＮＯ）、ＡＲマーカを認識するまで待機する。

また、ＡＲマーカを認識した場合（Ｓ１１において、ＹＥＳ）、空き領域を設定する指示を受け付けたか否かを判断する（Ｓ１２）。Ｓ１２の処理において、端末装置１２の設定部３５は、ユーザ等から空き領域を設定する旨の指示があった場合（Ｓ１２において、ＹＥＳ）、予め記憶部３３に記憶された非空き領域のテンプレート等を用いて任意の箇所に設定する（Ｓ１３）。

また、Ｓ１２の処理において、空き領域を設定しない場合（Ｓ１２において、ＮＯ）、又は、Ｓ１３の処理後、設定部３５は、判定用領域を設定するか否かを判断し（Ｓ１４）、判定用領域を設定する場合（Ｓ１４において、ＹＥＳ）、判定用領域を任意の箇所に設定する（Ｓ１５）。次に、設定部３５は、マーカに対応付けたコンテンツを設定する（Ｓ１６）。

ここで、Ｓ１２の処理において、空き領域を設定しない場合（Ｓ１２において、ＮＯ）、Ｓ１４の処理において、判定用領域を設定しない場合（Ｓ１４において、ＮＯ）、又は、Ｓ１６の処理後、処理を終了する。

なお、第２実施例では、上述した第１実施例と同様に、他の方向から撮影された画像に対する設定を行ってもよい。

＜第２実施例における空き領域設定の具体例＞
図１０は、第２実施例における空き領域設定の具体例を説明するための図である。図１０（Ａ）は、端末装置１２における撮影方向を説明するための図であり、図１０（Ｂ）は、設定状況の一例を示している。

第２実施例では、ＡＲマーカと、非空き領域と、判定用領域とを設定して、ＡＲマーカに対応付けたＡＲコンテンツを設定する。なお、図１０（Ａ）の例では、ＡＲコンテンツを表示させない領域（非空き領域）のテンプレートが示されているが、ＡＲコンテンツを表示させる領域（空き領域）を設定してもよい。

第２実施例における設定処理では、非空き領域を予め設定された１又は複数のテンプレート（図１０（Ａ）の例では、３つ）を用いて設定することができる。図１０（Ａ）の例では、テンプレートがそれぞれ「立方体」、「円柱」、「球体」を示しているが、これらの種類や数に限定されるものではなく、例えば正方形、円形等の初期画像（平面）等でもよい。

また、第２実施例では、これらのテンプレート等から選択した１つのテンプレートを画面上に表示し、その表示したテンプレートを端末装置１２の画面（タッチパネル）上での操作（例えば、ピンチイン、ピンチアウト、フリック）等によりテンプレートを任意の大きさに拡縮したり、形状を変化することで、ＡＲマーカ９０に相対する任意の位置を非空き領域として設定することができる（図１０（Ｂ））。

図１０（Ｂ）の例では、実物体１００−１，１００−２の形状に合わせてテンプレートを用いた非空き領域１０１−１，１０１−２が選択されている。第２実施例において設定される非空き領域１０１は、例えばセキュリティ強度に対応させて、画面上の実物体よりも大きく設定したり、小さく設定したりすることができる。例えば、非空き領域を実物体よりも広く設定した場合には、物体認識に用いる特徴点の数を増加させることができるため、セキュリティ強度は高くなる。また、実物体よりも小さく設定した場合には、特徴点の数を減少させることができるため、セキュリティ強度は低くなる。設定部３５は、非空き領域の大きさにより物体認識の範囲に影響がでるため、上述したセキュリティ強度の調整を行うことができる。また、非空き領域とする物体は、撮影した画像中に含まれる全ての実物体でなくてもよく、選択された少なくとも１つの物体であればよい。上述の設定により得られるＡＲマーカや空き領域等の各領域（位置情報）は、例えばマーカの中心位置を基準としたマーカ座標系（Ｘ，Ｙ，Ｚ）で管理されるが、これに限定されるものではく、例えば撮影画像を基準にしたスクリーン座標系で管理してもよい。

＜第３実施例における空き領域の設定処理の一例＞
図１１は、第３実施例における空き領域の設定処理の一例を示すフローチャートである。図１１に示す第３実施例は、上述した第１実施例における設定手法を第１モードとし、第２実施例における設定手法を第２モードとして、管理者等がモード選択により選択可能とするものである。

図１１の例において、端末装置１２は、管理者や作業者等のユーザが撮影した画像中のＡＲマーカを認識したか否かを判断する（Ｓ２１）。端末装置１２は、ＡＲマーカを認識していない場合（Ｓ２１において、ＮＯ）、ＡＲマーカを認識するまで待機する。

また、撮影した画像中からＡＲマーカを認識した場合（Ｓ２１において、ＹＥＳ）、予め設定された画面等により、管理者等からのモード選択を受け付ける（Ｓ２２）。次に、設定部３５は、Ｓ２２の処理から、設定モードで第１モードが選択されたか否かを判断し（Ｓ２３）、第１モードが選択された場合（Ｓ２３において、ＹＥＳ）、上述した第１モード（第１実施例）での設定を行う（Ｓ２４）。また、Ｓ２３の処理において、設定モードで第１モードが選択されていない場合（Ｓ２３において、ＮＯ）、上述した第２モード（第２実施例）での設定を行う（Ｓ２５）。なお、モードについては、これに限定されるものではなく、３以上のモードがある場合には、それぞれのモードの選択結果に対応するモードを実行する。

＜データ例＞
次に、上述した本実施形態におけるデータ例について図を用いて説明する。なお、以下のデータ例では、位置情報等を示す座標系の例として三次元座標系を用いているが、これに限定されるものではなく、例えば二次元座標系（Ｘ，Ｙ）であってもよい。図１２は、端末装置が有するデータ例を示す図である。図１２（Ａ）は、データ管理テーブルの一例を示している。図１２（Ｂ）は、ＡＲコンテンツ管理テーブルの一例を示している。

図１２（Ａ）に示すデータ管理テーブルの項目としては、例えば「マーカＩＤ」、「ＡＲコンテンツＩＤ」、「空き領域情報」、「判定位置情報」、「判定用物体情報」等があるが、これに限定されるものではない。

「マーカＩＤ」は、ＡＲマーカを識別するための情報である。「ＡＲコンテンツＩＤ」は、マーカＩＤに対応付けられて設定されたＡＲコンテンツを識別するための情報である。１つのマーカＩＤに対して１又は複数のＡＲコンテンツＩＤを設定することができる。また、マーカＩＤに対するコンテンツＩＤは必要に応じて変更することができる。「空き領域情報」は、撮影画像の三次元空間（仮想空間）上における空き領域の座標である。なお、「空き領域情報」には、非空き領域の情報を記憶してもよい。その場合には、どちらの領域であるか示すフラグ等も記憶される。「判定位置情報」は、判定するＡＲマーカの位置情報の座標である。「判定用物体情報」は、判定物体情報であり、例えば空き領域の判定位置における判定用の物体の特徴点の座標値等であるが、これに限定されるものではない。

図１２（Ｂ）に示すＡＲコンテンツ管理テーブルの項目としては、例えば「ＡＲコンテンツＩＤ」と、「座標値」と、「回転角度」、「拡縮率」、「テクスチャパス」等があるが、これに限定されるものではない。例えば、第２実施例に示すような形状のテンプレートを用いて設定を行った場合には、そのテンプレートの識別情報を有していてもよい。

「ＡＲコンテンツＩＤ」は、ＡＲコンテンツを識別するための識別情報であり、図１２（Ａ）に示すデータ管理テーブルのＡＲコンテンツＩＤと関連付けられている。「座標値」は、ＡＲコンテンツを撮影画像の三次元空間（仮想空間）上に表示するための座標である。図１２（Ｂ）の例では、ＡＲコンテンツの中心の座標値が設定されているが、これに限定されるものではない。「回転角度」は、例えば予め正面等の所定の位置を基準にした基準角度から、三次元空間上にどの程度回転しているかを示す情報である。「拡縮率」は、基準となる大きさに対する拡縮率を示す情報である。「テクスチャパス」は、例えばＡＲコンテンツに設定するイメージファイル等の格納先アドレスを示す情報である。なお、ＡＲコンテンツの格納先へは、例えば上述した通信ネットワーク１３を介してアクセスしてもよいが、これに限定されるものではない。格納先は、例えばサーバ１１等であるが、これに限定されるものではなく、例えばウェブ上で公開される画像ファイル等でもよい。

図１３は、サーバが有するデータ例を示す図である。図１３（Ａ）は、マーカＩＤ管理テーブルの一例を示している。図１３（Ｂ）は、ＡＲコンテンツ管理テーブルの一例を示している。図１３（Ｃ）は、判定位置情報管理テーブルの一例を示している。図１３（Ｄ）は、空き領域情報管理テーブルの一例を示している。図１３（Ｅ）は、判定用物体位置情報管理テーブルの一例を示している。

図１３（Ａ）に示すマーカＩＤ管理テーブルの項目としては、例えば「マーカＩＤ」、「ＡＲコンテンツＩＤ」、「判定位置情報ＩＤ」、「空き領域ＩＤ」、「判定物体位置情報ＩＤ」等があるが、これに限定されるものではない。図１３（Ａ）に示すマーカＩＤ管理テーブルには、マーカＩＤに対応付けられた１又は複数のＡＲコンテンツと、ＡＲコンテンツを表示するための判定条件に対応する特徴情報（「判定位置情報ＩＤ」、「空き領域ＩＤ」、「判定物体位置情報ＩＤ」）が記憶されている。これらの特徴情報は、ＡＲマーカの位置情報、空き領域、判定物体の位置情報のうち、少なくとも１つを有していればよいが、特徴情報については、これに限定されるものではない。

図１３（Ｂ）に示すＡＲコンテンツ管理テーブルの項目としては、例えば上述した図１２（Ｂ）に示すように、「ＡＲコンテンツＩＤ」、「座標値」、「回転角度」、「拡縮率」、「テクスチャパス」等があるが、これに限定されるものではない。例えば、第２実施例に示すような形状のテンプレートを用いて設定を行った場合には、そのテンプレートの識別情報を有していてもよい。

図１３（Ｃ）に示す空き領域情報管理テーブルの項目としては、例えば「空き領域情報ＩＤ」、「空き領域の座標値」等があるが、これに限定されるものではない。空き領域情報管理テーブルにより、空き領域毎の位置情報を取得することができる。

図１３（Ｄ）に示す判定位置情報管理テーブルの項目としては、例えば「判定位置情報ＩＤ」、「ＡＲマーカの四隅の座標値」等があるが、これに限定されるものではない。判定位置情報管理テーブルにより、ＡＲマーカの位置情報を取得することができる。

図１３（Ｅ）に示す判定用物体位置情報管理テーブルの項目としては、例えば「判定用物体位置情報ＩＤ」、「物体の特徴点の座標値」等があるが、これに限定されるものではない。判定用物体位置情報管理テーブルにより、判定用物体の位置情報を取得することができる。

なお、図１３に示す上述したサーバ１１が有するデータ例は、１又は複数の端末装置１２から得られる情報である。したがって、例えば端末装置１２を識別するための識別情報（端末ＩＤ）と共に上述した各データを管理してもよい。

ここで、図１４は、各テーブルで設定した座標値を説明するための図である。図１４（Ａ）は、ＡＲマーカの座標値を示している。図１４（Ｂ）は、ＡＲコンテンツの座標値を示している。図１４（Ｃ）は、非空き領域の座標値を示している。図１４（Ｄ）は、認識用物体位置情報管理テーブルにおける物体の特徴点の一例を示している。

図１４（Ａ）では、ＡＲマーカ９０を位置付ける三次元空間上の四隅の座標値が上述したテーブルで管理される。なお、ＡＲマーカ９０の座標値は、これに限定されるものではなく、例えばＡＲマーカ９０の中心座標であってもよい。

図１４（Ｂ）では、ＡＲコンテンツを位置付ける三次元空間上の中心座標値が上述したテーブルで管理される。なお、図１４（Ｂ）の例では、ＡＲコンテンツの一例として、ＡＲマーカ９０に対応付けられた対象物を操作するための手順を示しているが、ＡＲコンテンツについては、これに限定されるものではない。

図１４（Ｃ）に示す例では、三次元空間上における複数の非空き領域を各領域毎に四隅の座標値を設定する。図１４（Ｃ）の例では、２つの実物体に対応させて２つの非空き領域の四隅の座標値が上述したテーブルで管理される。

図１４（Ｄ）に示す例では、撮影画像中に存在する実物体を判定に利用する場合に、その物体の三次元空間上の特徴点を予め設定しておき、その特徴点の座標値をテーブルに設定しておく。これにより、適切な位置でＡＲマーカを撮影しているかを判定する際に、この実物体の情報（特徴点の座標値）を判定条件の一つとして利用することができる。

なお、上述した各座標値は、上述したマーカ座標系でもよく、スクリーン座標系でもよく、これらを組み合わせたり、座標変換等により所定の座標系に変換した値でもよい。

＜表示制御処理の一例＞
次に、例えば管理者等が設定した判定条件に基づいて、作業員等が実際に撮影したＡＲマーカに対応付けられたＡＲコンテンツを表示するときの表示制御処理の一例について、フローチャートを用いて説明する。

図１５は、表示制御処理の一例を示すフローチャートである。図１５の例において、例えば作業者等のユーザが端末装置１２の撮像部３２で撮影した画像中に存在するＡＲマーカを認識したか否かを判断する（Ｓ３１）。端末装置１２の認識部３６は、ＡＲマーカを認識していない場合（Ｓ３１において、ＮＯ）、Ｓ３１の処理に戻り、ＡＲマーカを認識するまで待機する。なお、所定時間以上ＡＲマーカを認識できない場合には、処理を終了してもよい。

Ｓ３１の処理において、認識部３６は、画像中に存在するＡＲマーカを認識した場合（Ｓ３１において、ＹＥＳ）、空き領域判定用のマーカ枠を表示する（Ｓ３２）。このマーカ枠を画面上に表示することで、その枠内にＡＲマーカを入れて撮影した画像に基づいて、空き領域（非空き領域）や判定用物体等の特徴情報等を用いた整合判定（一致・不一致判定）を行うように、ユーザにナビゲーションすることができる。また、マーカ枠は、上述した図１３（Ｄ）に示す判定位置情報管理テーブル等から取得することができ、複数の方向からマーカを撮影して、適切な場所（現場）で撮影されているか否かを判定する場合には、複数のマーカ枠が表示される。

次に、判定部３８は、現在認識しているＡＲマーカに対して取得した特徴情報と、予め設定された特徴情報との整合を行う。例えば、判定部３８は、現在認識しているＡＲマーカとマーカ枠の座標値及び空き領域等の座標値が一致したか否かを判断する（Ｓ３３）。なお、Ｓ３３の処理では、例えば、上述した空き領域（又は非空き領域）やＡＲコンテンツを設定する処理において予め設定されたＡＲマーカの座標値や空き領域（又は非空き領域）を使用する。また、現在認識しているＡＲマーカに対する空き領域等の情報は、撮影画像に対する判定用物体の位置や特徴点抽出、輝度差情報等を用いて取得することができるが、これに限定されるものではない。

また、Ｓ３３の処理では、座標値の完全一致は困難であると考えられるため、予め許容範囲を設け、その許容範囲内に座標値が含まれる場合（座標値とある程度近似している場合）に一致していると判定してもよい。また、Ｓ３３の処理では、空き領域に限定されずに、例えば撮影画像中に存在する判定用物体（実物体）の特徴情報の座標値を用いて一致しているか否かの判定を行ってもよく、空き領域と判定用物体とを用いてが一致しているか否かの判定を行ってもよい。

判定部３８は、Ｓ３３の処理において、判定部２８は、現在認識しているマーカとマーカ枠の座標値及び空き領域等の座標値が一致していない場合（Ｓ３３において、ＮＯ）、Ｓ３１の処理に戻る。このとき、エラーメッセージを画面に表示してもよい。また、判定部３８は、現在認識しているマーカとマーカ枠の座標値及び空き領域等の座標値が一致した場合（Ｓ３３において、ＹＥＳ）、適切な場所から撮影されたものと判断し、一致したマーカ枠を非表示にする（Ｓ３４）。

次に、判定部３８は、認識中のマーカに設定されている全マーカ枠座標でマーカ認識済みか否かを判断し（Ｓ３５）、認識済みでない場合（Ｓ３５において、ＮＯ）、Ｓ３３の処理に戻り、他のマーカ枠と座標値の比較による整合判定を行う。また、判定部３８は、全マーカ枠座標で認識済みである場合（Ｓ３５において、ＹＥＳ）、認識中のＡＲマーカの識別情報（マーカＩＤ）に基づき、ＡＲマーカに対応するＡＲコンテンツをサーバ１１等から取得して、画面上の所定の位置に表示する（Ｓ３６）。なお、Ｓ３６の処理では、新たなＡＲコンテンツを設定する処理を行ってもよい。これにより、適切な撮影位置で撮影されたＡＲマーカに対応付けて適切な位置にＡＲコンテンツを表示したり、登録することができる。

ここで、上述した表示制御処理では、例えばＳ３３の処理における座標値の比較を端末装置１２側で行ったが、本実施形態については、これに限定されるものではなく、サーバ１１側で行ってもよい。この場合、認識したＡＲマーカの識別情報（マーカＩＤ）と関連する特徴情報（座標値等）とをサーバ１１に送信し、サーバ１１の抽出部２４が、マーカＩＤに対応付けられたＡＲコンテンツを記憶部２２から抽出する場合に、座標値に基づいて判定を行ってもよい。

＜撮影位置のナビゲーション例＞
ここで、上述したマーカ枠を用いた撮影位置のナビゲーション例について説明する。図１６は、撮影位置のナビゲーション例を示す図である。図１６（Ａ）は、上述したマーカ枠の表示例を示し、図１６（Ｂ）は、マーカ枠に入れて撮影した画像に対する特徴情報を用いた整合判定結果後の動作例を示している。

図１６（Ａ）において、端末装置１２の画面１１０には、上述した実物体１００−１，１００−２と、実物体１００−１，１００−２に対応付けた操作手順や注意事項等のコンテンツを表示させるためのＡＲマーカ９０とを有している。

例えば、本実施形態における表示制御時には、図１６（Ａ）に示すように、判定を行う際のマーカ認識位置におけるマーカ枠（マーカの外形枠）１２０が画面に表示される。マーカ枠１２０の領域と、実際に認識したＡＲマーカの画面中の形状（座標値）が一致した位置が、事前に空き領域（非空き領域）等を設定した位置となるため、その位置で撮影された画像を用いて、空き領域（非空き領域）や判定用物体等を用いた判定処理が行われる。

判定の結果、例えば非空き領域や画像中にある物体の位置等を用いた特徴情報が一致した場合、図１６（Ｂ）に示すようにマーカ枠１２０−１が画面１１０から消える。また、他のマーカ枠１２０−２，１２０−３でも同様に判定を行う旨の指示情報が画面表示されたり、音声出力されてユーザに通知される。そして、全てのマーカ枠で特徴情報が一致した場合には、既に登録されたＡＲコンテンツが画面１１０に表示される。

また、図１６（Ｂ）において、例えば非空き領域等を用いた判定結果が不一致であった場合には、マーカ枠１２０−１の領域は、消えないままとなる。この場合、端末装置１２は、ＡＲマーカを再度認識されるようにユーザに促す情報やエラーメッセージを画面１１０に表示する。このように、本実施形態では、マーカ枠を表示することで、空き領域等の特徴情報が画角に含まれるように誘導する制御を行うことができる。

なお、図１６の例では、３つのマーカ枠１２０−１〜１２０−３を示しており、それぞれの角度で撮影するようにナビゲーションしているが、撮影位置については、これに限定されるものではない。また、マーカ枠１２０は、ＡＲマーカ９０の外枠と一致していなくてもよく、予め設定された許容範囲内に含まれていればよい。

また、本実施形態では、例えばＡＲマーカ９０を入れるマーカ枠１２０の順序等を予め設定しておき、所定の順序でマーカ枠に入れない場合に不一致判定を行うように制御を行ってもよい。

＜判定用物体を用いた判定例＞
次に、判定用物体を用いた判定例について図を用いて説明する。図１７は、判定用物体を用いた判定例を示す図である。図１７の例では、端末装置１２の撮像部３２により得られる撮影画像に含まれる実物体（時計等）を判定用物体１３０として判定に用いる。

例えば、撮影画像全体において非空き領域が占める割合が少ない場合には、非空き領域を用いて、その場所で撮影されたものであるか否かの判定精度が低下する可能性がある。これは、撮影画像中における物体が小さいことによる物体認識精度が低下することも関係している。そのため、本実施形態では、撮影画像中に含まれる非空き領域以外に撮影されている他の物体（図１７の例では、時計）を判定用物体１３０として設定し、その判定用物体の範囲からなる特徴情報（座標値）１３１等を利用して判定を行うことで、判定精度を向上させることができる。

図１７の例では、端末装置１２に画面１１０に表示された撮影画像において、画像全体における非空き領域１０１が占める割合（例えば、画面の面積比率）が所定値より小さい場合に、ＡＲマーカ９０からの相対位置で特定の物体（判定用物体１３０）を設定する。また、設定した判定用物体１３０の特徴情報１３１を利用することで判定の精度を向上させることができる。また、本実施形態では、ＡＲマーカ９０からの相対位置で判定用物体１３０の設定を行うことにより、物体認識の精度・処理時間を向上させることができる。

＜端末装置１２における表示画面例＞
次に、上述した端末装置１２における表示画面例について、図を用いて説明する。図１８は、端末装置の表示画面例を示す図である。図１８の例において、端末装置１２は、画面１１０上に実物体１００−１，１００−２と、それらに対応するＡＲマーカ９０が設定されている。図１８に示す例では、画面１１０上の実物体１００−１，１００−２に対してそれぞれ非空き領域１０１−１，１０１−２が設定されている。なお、判定時には、上述した非空き領域１０１−１，１０１−２は、画面１１０には表示されない。図１８に示すＡＲコンテンツ１４１，１４２は、非空き領域１０１と重ならない位置に表示される。

本実施形態では、図１８に示すように、ＡＲマーカ９０に対応付けられたＡＲコンテンツとして、例えばその実物体１００−１，１００−２に対する操作手順を示すＡＲコンテンツ１４１や、注意、コメント等のＡＲコンテンツ１４２等が画面１１０に表示される。これらのＡＲコンテンツは、１又は複数のユーザ（管理者や作業者）等がＡＲマーカに対応付けて設定することができ、予め設定した三次元空間上の位置に表示される。これにより、複数のユーザに情報を提供して共有することができる。なお、上述したＡＲコンテンツは、例えばマーカ座標系に基づく予め設定された空き領域上に表示される。

また、ＡＲコンテンツの内容としては、図１８の例に限定されるものではなく、例えば、図１８に示すＡＲコンテンツを画面１１０から選択（タッチ）することで、そのＡＲコンテンツ情報に対応する映像や音声、詳細情報等のコンテンツを出力することができる。上述したＡＲコンテンツは、予め設定された空き領域上に表示される。

＜ＡＲコンテンツの表示例＞
図１９は、空き領域に対するコンテンツの表示例を示す図である。例えば、ＡＲマーカに対応付けられたＡＲコンテンツは、上述したように予め設定された空き領域上に表示される。この空き領域は、例えばＡＲマーカの正面方向に対して設定される。ここで、ＡＲマーカの右側に回り込んで撮影した場合には、空き領域の四隅の座標Ｐ１〜Ｐ４による四角形は歪んだ四角形となる。

そのため、ＡＲコンテンツの表示例としては、例えば図１９（Ａ）に示すように、マーカ座標系で、空き領域の歪んだ四角形の領域にコンテンツＣ１〜Ｃ３のそれぞれをマッピングし、マッピングされたコンテンツＣ１〜Ｃ３のそれぞれの投影画像を生成する。したがって、ＡＲコンテンツＣ１〜Ｃ３は、図１９（Ａ）に示すように、あたかも壁に取り付けられた画像のように表示される。

また、他の例として、例えば、図２０（Ｂ）に示すように、スクリーン座標系で、四角形の空き領域内にＡＲコンテンツＣ１〜Ｃ３のそれぞれをマッピングする。図１９（Ｂ）のようにコンテンツを表示することで、各コンテンツが画面（スクリーン）に対して正面を向くため、表示される情報が見やすくなる。

ここで、本実施形態における空き領域等は、例えばＡＲコンテンツとして編集されてもよく、画像の特徴等に基づいて生成されてもよい。また、本実施形態では、空き領域を含むか否かの判定を端末装置１２で行う場合には、端末装置１２とサーバ１１とが接続されていない状態（オフライン環境）であってもよい。この場合、例えばマーカＩＤに対応するＡＲコンテンツを端末装置１２で予め保持しておき、マーカＩＤに対応する判定についてサーバ１１を介さずに端末装置１２が行い、その判定結果に応じて端末装置１２に保持されたＡＲコンテンツを表示してもよい。また、本実施形態では、他のユーザがＡＲマーカに関するＡＲコンテンツを登録中であるときに、ＡＲコンテンツの参照を抑止するようにしてもよい。また、本実施形態では、端末装置１２のＧＰＳ等から得られる位置情報と組み合わせて撮影位置の判定を行ってもよい。

上述したように、本実施形態によれば、適切な表示制御を実現することができる。例えば、本実施形態によれば、ＡＲマーカの配置状況に基づいて、ＡＲマーカの認識に応じて行われる表示内容を制御することができる。

以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、上述した実施例の一部又は全部を組み合わせることも可能である。

なお、以上の実施例に関し、更に以下の付記を開示する。
（付記１）
入力画像に含まれる基準物を認識する認識部と、
前記基準物の認識に用いられた入力画像の特徴情報が、前記認識された基準物の識別情報に対応付けて設定された空き領域情報又は非空き領域情報に基づく特徴情報を含むかを判定する判定部と、
前記判定部による判定結果に基づいて、前記入力画像に前記識別情報に対応付けられたコンテンツを重畳した画像を生成する画像生成部とを有することを特徴とする端末装置。
（付記２）
前記判定部は、
複数の方向から撮影された前記基準物の認識に用いられた入力画像を用いて、前記空き領域情報又は前記非空き領域情報に基づく特徴情報を含むかの判定を行うことを特徴とする付記１に記載の端末装置。
（付記３）
前記判定部は、
前記認識部による前記基準物の認識に用いられた前記入力画像の特徴情報が、前記認識された基準物の識別情報と対応付けて設定された判定用物体の特徴情報を含むかを判定することを特徴とする付記１又は２に記載の端末装置。
（付記４）
前記認識部による前記基準物の認識に用いられた前記入力画像に対し、前記基準物の位置情報に対応付けて前記空き領域情報又は非空き領域情報に基づく特徴情報及び前記コンテンツを設定する設定部を有することを特徴とする付記１乃至３の何れか１項に記載の端末装置。
（付記５）
前記空き領域又は前記非空き領域情報は、前記基準物からの相対座標で定義される領域情報であることを特徴とする付記１乃至４の何れか１項に記載の端末装置。
（付記６）
端末装置で入力画像に含まれる基準物を認識した際、前記基準物の認識に用いられた入力画像の特徴情報が、前記認識された基準物の識別情報に対応付けて設定された空き領域情報又は非空き領域情報に基づく特徴情報を含むかを判定し、判定した結果に基づいて前記識別情報に対応付けられたコンテンツを抽出する抽出部と、
前記抽出部により抽出されたコンテンツを前記端末装置に送信する通信部とを有することを特徴とする情報処理装置。
（付記７）
端末装置が、
入力画像に含まれる基準物を認識し、
前記基準物の認識に用いられた入力画像の特徴情報が、前記認識された基準物の識別情報に対応付けて設定された空き領域情報又は非空き領域情報に基づく特徴情報を含むかを判定し、
判定結果に基づいて、前記入力画像に前記識別情報に対応付けられたコンテンツを重畳した画像を生成することを特徴とする表示制御方法。
（付記８）
入力画像に含まれる基準物を認識し、
前記基準物の認識に用いられた入力画像の特徴情報が、前記認識された基準物の識別情報に対応付けて設定された空き領域情報又は非空き領域情報に基づく特徴情報を含むかを判定し、
判定結果に基づいて、前記入力画像に前記識別情報に対応付けられたコンテンツを重畳した画像を生成する、処理をコンピュータに実行させる表示制御プログラム。

１０ 情報処理システム
１１ サーバ（情報処理装置）
１２ 端末装置
１３ 通信ネットワーク
２１，３１ 通信部
２２，３３ 記憶部
２３ 登録部
２４ 抽出部
２５，４１ 制御部
３２ 撮像部
３４，６３ 表示部
３５ 設定部
３６ 認識部
３７ 取得部
３８ 判定部
３９ コンテンツ生成部
４０ 画像生成部
５１ 入力装置
５２ 出力装置
５３，７２ ドライブ装置
５４，６９ 補助記憶装置
５５，７０ 主記憶装置
５６，７１ ＣＰＵ
５７ ネットワーク接続装置
５８，７３ 記録媒体
６１ マイク
６２ スピーカ
６４ 操作部
６５ センサ部
６６ 電力部
６７ 無線部
６８ 近距離通信部
８０ パイプ（配管）
８１ バルブ（弁）
８２ サーバラック
９０ ＡＲマーカ（基準物）
１００ 実物体
１０１ 非空き領域
１１０ 画面
１２０ マーカ枠
１３０ 判定用物体
１３１ 特徴情報
１４１，１４２ ＡＲコンテンツ

Claims (7)

1. 入力画像に含まれる基準物を認識する認識部と、
   前記基準物の認識に用いられた入力画像の特徴情報が、前記認識された基準物の識別情報に対応付けて設定された空き領域情報又は非空き領域情報に基づく特徴情報を含むかを判定する判定部と、
   前記判定部による判定結果に基づいて、前記入力画像に前記識別情報に対応付けられたコンテンツを重畳した画像を生成する画像生成部とを有することを特徴とする端末装置。
2. 前記判定部は、
   複数の方向から撮影された前記基準物の認識に用いられた入力画像を用いて、前記空き領域情報又は前記非空き領域情報に基づく特徴情報を含むかの判定を行うことを特徴とする請求項１に記載の端末装置。
3. 前記判定部は、
   前記認識部による前記基準物の認識に用いられた前記入力画像の特徴情報が、前記認識された基準物の識別情報と対応付けて設定された判定用物体の特徴情報を含むかを判定することを特徴とする請求項１又は２に記載の端末装置。
4. 前記認識部による前記基準物の認識に用いられた前記入力画像に対し、前記基準物の位置情報に対応付けて前記空き領域情報又は非空き領域情報に基づく特徴情報及び前記コンテンツを設定する設定部を有することを特徴とする請求項１乃至３の何れか１項に記載の端末装置。
5. 端末装置で入力画像に含まれる基準物を認識した際、前記基準物の認識に用いられた入力画像の特徴情報が、前記認識された基準物の識別情報に対応付けて設定された空き領域情報又は非空き領域情報に基づく特徴情報を含むかを判定し、判定した結果に基づいて前記識別情報に対応付けられたコンテンツを抽出する抽出部と、
   前記抽出部により抽出されたコンテンツを前記端末装置に送信する通信部とを有することを特徴とする情報処理装置。
6. 端末装置が、
   入力画像に含まれる基準物を認識し、
   前記基準物の認識に用いられた入力画像の特徴情報が、前記認識された基準物の識別情報に対応付けて設定された空き領域情報又は非空き領域情報に基づく特徴情報を含むかを判定し、
   判定結果に基づいて、前記入力画像に前記識別情報に対応付けられたコンテンツを重畳した画像を生成することを特徴とする表示制御方法。
7. 入力画像に含まれる基準物を認識し、
   前記基準物の認識に用いられた入力画像の特徴情報が、前記認識された基準物の識別情報に対応付けて設定された空き領域情報又は非空き領域情報に基づく特徴情報を含むかを判定し、
   判定結果に基づいて、前記入力画像に前記識別情報に対応付けられたコンテンツを重畳した画像を生成する、処理をコンピュータに実行させる表示制御プログラム。

Images