JP6244954B2 - 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム - Google Patents

端末装置、情報処理装置、表示制御方法、及び表示制御プログラム Download PDF

Info

Publication number
JP6244954B2
JP6244954B2 JP2014021589A JP2014021589A JP6244954B2 JP 6244954 B2 JP6244954 B2 JP 6244954B2 JP 2014021589 A JP2014021589 A JP 2014021589A JP 2014021589 A JP2014021589 A JP 2014021589A JP 6244954 B2 JP6244954 B2 JP 6244954B2
Authority
JP
Japan
Prior art keywords
information
marker
content
image
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014021589A
Other languages
English (en)
Other versions
JP2015148957A (ja
Inventor
奨 古賀
奨 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014021589A priority Critical patent/JP6244954B2/ja
Priority to US14/601,624 priority patent/US9990773B2/en
Publication of JP2015148957A publication Critical patent/JP2015148957A/ja
Application granted granted Critical
Publication of JP6244954B2 publication Critical patent/JP6244954B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Description

本発明は、端末装置、情報処理装置、表示制御方法、及び表示制御プログラムに関する。
端末装置の撮像手段により撮像された撮像画像の一部にコンテンツ情報を重畳して表示させる拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術が知られている。ＡＲ技術を用いて提供されるコンテンツ（以下、「ＡＲコンテンツ」という）は、ＡＲコンテンツ毎に、現実空間に対応する仮想空間上の表示位置が設定される。また、端末装置とＡＲコンテンツとの位置関係の判断基準（基準物）として、ＡＲマーカが用いられる。ＡＲマーカと端末装置との位置関係は、端末装置の撮像画像に写り込んだＡＲマーカの像に基づいて判断される。
端末装置で認識したＡＲマーカに基づいて表示される重畳画像等のＡＲコンテンツは、予め管理者の操作により登録されるもののみでなく、作業員等の操作により登録されるものもある。この登録操作により、管理者や作業員等のユーザは、ＡＲマーカからの相対位置にＡＲコンテンツを設定することができる。
特表２０１０−５３１０８９号公報 国際公開２００５／１１９５３９号
上述したように、従来手法におけるＡＲコンテンツの表示は、ＡＲマーカの認識に基づいて行われる。そのため、ＡＲマーカが認識できれば、認識時の状況に関係なくＡＲコンテンツが表示される。したがって、複製されたＡＲマーカや、不正な位置に移動されたＡＲマーカに対しても、ＡＲマーカに対応付けられたＡＲコンテンツの表示が行われてしまう。また、ＡＲコンテンツの登録が行われる場合には、その登録が本来ＡＲマーカが配置されるべき位置（例えば、現場等）でＡＲマーカを認識したことに応じて行われたのかを確認することができない。
一つの側面では、本発明は、適切な表示制御を実現することを目的とする。
一態様における端末装置は、入力画像に含まれる基準物を認識する認識部と、前記入力画像のうち、前記基準物とは異なる領域の特徴情報が、前記認識された基準物の識別情報に対応付けられた特徴情報を含むかを判定する判定部と、前記判定部による判定結果に基づいて、前記入力画像に前記識別情報に対応付けられたコンテンツを重畳した画像を生成する画像生成部とを有する。
適切な表示制御を実現することができる。
情報処理システムの概略構成の一例を示す図である。 サーバの機能構成例を示す図である。 端末装置の機能構成の一例を示す図である。 サーバのハードウェア構成の一例を示す図である。 端末装置のハードウェア構成の一例を示す図である。 実物体にＡＲマーカを設置した例を示す図である。 第１実施例における判定条件及びＡＲコンテンツの設定処理を示すフローチャートである。 明暗領域設定の具体例を説明するための図である。 第１実施例において端末装置が有するデータ例を示す図である。 第１実施例においてサーバが有するデータ例を示す図である。 二値化画像の一例を示す図である。 二値化画像に対する分割領域の設定例を示す図である。 複数のＡＲマーカを用いた明暗領域の第１の設定例を示す図である。 複数のＡＲマーカを用いた明暗領域の第２の設定例を示す図である。 第１実施例における判定処理を示すフローチャートである。 第１実施例における表示画面例を示す図である。 時間情報を利用したときの端末装置が有するデータ例を示す図である。 時間情報を利用したときのサーバが有するデータ例を示す図である。 時間情報を利用したときの判定内容と表示されるＡＲコンテンツの一例を示す図である。 第２実施例における判定条件及びＡＲコンテンツの設定処理を示すフローチャートである。 物体の特徴情報設定の具体例を説明するための図である。 第２実施例において端末装置が有するデータ例を示す図である。 第２実施例においてサーバが有するデータ例を示す図である。 第２実施例における判定処理を示すフローチャートである。 第２実施例における表示画面例を示す図である。
以下、図面に基づいて実施形態を説明する。
＜情報処理システムの概略構成例＞
図１は、情報処理システムの概略構成の一例を示す図である。図１に示す情報処理システム１０は、情報処理装置の一例としてのサーバ１１と、１又は複数の端末装置１２−１〜１２−ｎ（以下、必要に応じて「端末装置１２」と総称する）とを有する。サーバ１１及び端末装置１２は、例えば通信ネットワーク１３によりデータの送受信が可能な状態で接続されている。
サーバ１１は、基準物の一例としてのＡＲマーカや各ＡＲマーカに対応付けて登録された１又は複数のＡＲコンテンツ、端末装置１２の表示制御に対する判定条件（例えば、画像の特徴情報）等を管理する。ここで、ＡＲマーカとは、例えばＡＲコンテンツ等の各種コンテンツ情報の内容や表示する位置等を指定するための標識となるものである。ＡＲマーカは、例えば二次元コード等のように、所定の領域内に所定の模様や文字パターン等が形成された画像等であるが、これに限定されるものではない。
ＡＲコンテンツとは、例えば現実空間に対応する三次元の仮想空間上に配置された三次元物体のモデルデータ等であり、例えば端末装置１２で撮影された画像に重畳されて表示される重畳情報である。また、ＡＲコンテンツは、例えば撮影画像中に含まれるＡＲマーカを基準とした相対座標（マーカ座標系）で設定された位置に表示される。本実施形態のＡＲコンテンツは、例えばＡＲマーカ等に対応付けられており、例えばテキスト、アイコン、アニメーション、マーク、模様、画像、映像等の様々な形態が含まれる。また、ＡＲコンテンツは、表示出力されるものに限定されず、例えば音声等の情報であってもよい。
また、上述した画像の特徴とは、例えば予め（事前に）ＡＲマーカを含んで撮影された画像から得られる特徴であり、画像内の明暗領域（例えば、ＡＲマーカの周囲（背景部分）の明暗領域）や画像中の物体に対する特徴点情報等であるが、これに限定されるものではない。
サーバ１１は、例えば端末装置１２からＡＲマーカに関する情報（例えば、マーカＩＤ）を受信すると、マーカＩＤに対応するＡＲコンテンツや適切な撮影位置（現場）で撮影されたか否かを判定する判定条件を端末装置１２に送信する。適切な撮影位置とは、例えばＡＲマーカに対応付けてＡＲコンテンツを登録する際に、管理者等の登録者が設定した位置である。
なお、本実施形態では、これに限定されるものではなく、例えばサーバ１１は、端末装置１２からマーカＩＤや位置情報、撮影画像等を受信して、サーバ１１側で予め設定された判定条件に基づいて上述した判定を行ってもよい。また、サーバ１１は、判定結果に基づいてマーカＩＤに対応付けられたＡＲコンテンツを抽出して端末装置１２に送信するようにしてもよい。
サーバ１１は、例えばＰｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（ＰＣ）等でもよいが、これに限定されるものではなく、例えば一以上の情報処理装置を有するクラウドコンピューティングにより構成されるクラウドサーバ等であってもよい。
端末装置１２は、ＡＲマーカに対応付けてＡＲコンテンツの登録を行ったり、撮影したＡＲマーカや判定条件等に基づき、例えば適切な場所からＡＲマーカを撮影しているか否かの判定を行い、その判定結果に応じたＡＲコンテンツを画面に表示する。
例えば、端末装置１２は、内蔵カメラ等の撮像部により撮影された画像から、その画像に含まれるＡＲマーカの認識（以下、「マーカ認識」という）を行う。また、端末装置１２は、マーカ認識により認識されたＡＲマーカを撮影した画像の特徴情報が、そのＡＲマーカを含んで事前に撮影された画像の特徴情報（判定条件）を含んでいるか否かを判定する。また、端末装置１２は、判定結果に応じてＡＲマーカに対応付けられたＡＲコンテンツ等の重畳情報の出力の制御（例えば、出力有無の制御、出力内容の制御）等を行う。また、端末装置１２は、マーカ認識により認識されたＡＲマーカの情報や位置情報等の情報をサーバ１１に送信し、サーバ１１側で行われた判定結果に基づき、対応する表示制御を行ってもよい。なお、本実施形態では、上述した適切な撮影位置（現場）で撮影されたと判定された場合（判定結果がＯＫの場合）と、適切な撮影位置で撮影されていないと判定された場合（判定結果がＮＧの場合）とで、異なるＡＲコンテンツを表示してもよい。
ここで、本実施形態におけるマーカ認識において、例えばＡＲマーカを１つのアングル（例えば、ＡＲマーカの正面方向）から撮影した場合における画像の特徴（例えば、画像内の明暗領域）を用いた判定だけでは、他の場所でＡＲマーカを撮影した場合にも偶然同じ条件になる可能性がある。この場合には、意図する条件でないのに、正しい位置で撮影されたと判定され、ＡＲマーカに対応付けられたＡＲコンテンツが表示できてしまう。
そこで、本実施形態では、端末装置１２が複数の方向（例えば、３アングル等）から撮影した画像に対してＡＲマーカと画像の特徴とを用いた判定を行ってもよい。例えば、端末装置１２は、画像の特徴情報の特殊性（例えば、画像中における明暗領域の割合、位置）等に応じて、撮影方向を１アングルにするか複数アングルにするかを使い分けてもよい。
端末装置１２は、例えばタブレット端末やスマートフォン、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ（ＰＤＡ）、ノート型ＰＣ等であるが、これに限定されるものではなく、例えばゲーム機器、携帯電話等の通信端末であってもよい。
通信ネットワーク１３は、例えばインターネットやＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）等であるが、これに限定されるものではない。また、通信ネットワーク１３は、有線でも無線でもよく、これらの組み合わせでもよい。
図１に示す情報処理システム１０は、サーバ１１と端末装置１２とは１対ｎの構成となっているが、これに限定されるものではなく、例えば複数のサーバを有していてもよい。
＜サーバ１１の機能構成例＞
次に、上述したサーバ１１の機能構成例について図を用いて説明する。図２は、サーバの機能構成例を示す図である。サーバ１１は、通信部２１と、記憶部２２と、登録部２３と、抽出部２４と、制御部２５とを有する。
通信部２１は、通信ネットワーク１３を介して端末装置１２や他のコンピュータ等との間でデータの送受信を行う。通信部２１は、例えば端末装置１２からのＡＲコンテンツ等の登録要求、及びＡＲマーカに対応付けて登録するＡＲコンテンツや画像の特徴情報等の判定条件を受信する。また、通信部２１は、登録されたＡＲマーカの識別情報（例えば、マーカＩＤ）等を受信し、対応する判定条件、及びＡＲコンテンツを端末装置１２に送信する。
記憶部２２は、本実施形態における表示制御処理に必要な各種情報（例えば、マーカＩＤ管理テーブル、ＡＲコンテンツ管理テーブル、明暗領域管理テーブル、設定時間帯別データ管理テーブル、物体管理テーブル等）を記憶する。記憶部２２は、例えば端末装置１２でＡＲコンテンツ作成時に生成された設定情報、及びＡＲマーカ毎に設定された画像の特徴情報、１又は複数のＡＲコンテンツ、時間情報、判定用物体情報等の判定条件を記憶する。
登録部２３は、端末装置１２から得られたＡＲコンテンツ等の各種登録情報等を登録する。例えば、登録部２３は、ＡＲマーカを識別する識別情報（マーカＩＤ）と、マーカＩＤに対して設定された判定条件と、ＡＲコンテンツ情報とを対応付けて登録する。登録された情報は、記憶部２２に記憶される。
抽出部２４は、端末装置１２から得られた識別情報（マーカＩＤ）に基づいて記憶部２２を参照し、対応する判定条件とＡＲコンテンツ情報とを抽出する。抽出部２４により抽出された判定条件やＡＲコンテンツ等は、通信部２１によりマーカＩＤを送信した端末装置１２に送信される。
なお、抽出部２４は、端末装置１２からマーカＩＤだけでなく、位置情報等を取得した場合には、マーカＩＤに対応付けられた判定条件に基づき、適切な位置で撮影されたＡＲマーカであるか否かの判定を行ってもよい。例えば、抽出部２４は、端末装置１２で、入力画像に含まれる基準物（例えば、ＡＲマーカ）を認識した際、そのＡＲマーカの認識に用いられた入力画像の特徴情報が、認識されたＡＲマーカの識別情報（例えば、マーカＩＤ）に対応付けられた特徴情報を含むかを判定する。また、抽出部２４は、判定結果に基づいて、例えば適切な位置で撮影されたと判定された場合に、マーカＩＤに対応付けられたＡＲコンテンツ情報を端末装置１２に送信する処理を行ってもよい。
制御部２５は、サーバ１１内の各構成全体を制御する。制御部２５は、例えば通信部２１による各種情報の送受信、記憶部２２によるデータ記憶、登録部２３によるＡＲコンテンツや判定条件等の登録、抽出部２４によるＡＲコンテンツや判定条件等の抽出等の処理を行う。制御部２５が行う制御内容については、これに限定されるものではない。
＜端末装置１２の機能構成の一例＞
次に、上述した端末装置１２の機能構成例について、図を用いて説明する。図３は、端末装置の機能構成の一例を示す図である。端末装置１２は、通信部３１と、撮像部３２と、記憶部３３と、表示部３４と、設定部３５と、認識部３６と、取得部３７と、判定部３８と、コンテンツ生成部３９と、画像生成部４０と、制御部４１とを有する。
通信部３１は、通信ネットワーク１３を介してサーバ１１や他のコンピュータ等とデータの送受信を行う。例えば、通信部３１は、例えばＡＲマーカと対応付けたＡＲコンテンツ情報、画像の特徴情報等の判定条件等の各種設定情報をサーバ１１等に送信する。また、通信部３１は、マーカ認識により認識されたマーカＩＤをサーバ１１に送信し、送信したマーカＩＤに対応する判定条件やＡＲコンテンツ等を受信する。
撮像部３２は、予め設定されたフレーム間隔で画像を撮像する。撮像部３２は、撮像した画像を制御部４１へ出力したり、記憶部３３に記憶させる。
記憶部３３は、本実施形態における表示制御に必要な各種情報（例えば、データ管理テーブル、ＡＲコンテンツ管理テーブル、明暗領域管理テーブル、設定時間帯別管理テーブル、物体管理テーブル等）を記憶する。記憶部３３は、例えばＡＲコンテンツの登録時におけるＡＲマーカと、判定条件、判定結果に応じて表示されるＡＲコンテンツ等を記憶する。判定条件としては、例えば画像の特徴情報（画像内の明暗領域又は特徴点情報）、時間情報、判定用物体に関する情報等であるが、これに限定されるものではない。また、記憶部３３は、例えば判定状況（現在判定がどの程度行われているか）等を一時的に記憶してもよい。なお、これらの情報は、端末装置１２が設定した情報だけでなく、サーバ１１から取得した情報も含まれる。また、設定時の情報は、サーバ１１へ送信した後に削除されてもよい。
表示部３４は、判定部３８による判定結果に基づき、画像生成部４０により生成される撮影画像にＡＲコンテンツを登録する画面や登録されたコンテンツが撮影画像に重畳された重畳画像、その他の各種設定画像等を表示する。また、表示部３４がタッチパネル等である場合には、表示部３４は、タッチパネル上のタッチ位置座標を取得することもできる。また、表示部３４は、制御部４１の制御により、例えばマーカ認識時にユーザによるＡＲマーカの撮影位置をナビゲートするためのナビゲーション用の枠を表示してもよい。
設定部３５は、ＡＲマーカの読取後に、そのＡＲマーカに対して、どのような判定条件に基づき表示させるＡＲコンテンツや、各ＡＲコンテンツをどの位置に表示させるか等を設定する。設定部３５は、設定された各種情報をサーバ１１に送信して登録を行う。
また、設定部３５は、判定条件として、上述したような画像の特徴情報（例えば、明暗情報）の設定、時間情報の設定、判定用物体に関する情報の設定等を行うことができるが、設定する内容については、これに限定されるものではない。
また、設定部３５は、撮影画像中に複数のＡＲマーカを含む場合に、ＡＲマーカの組み合わせの設定を行ってもよい。ＡＲマーカの組み合わせの設定とは、例えば撮影画像中に複数のＡＲマーカが存在する場合に、そのうちのどのＡＲマーカが同時に撮影された場合に、共通の画像の特徴情報等を設定するかを指定するものである。
認識部３６は、入力画像に含まれる基準物（例えば、ＡＲマーカ）等を認識する。例えば、認識部３６は、撮像部３２により得られる撮影画像に対して画像認識を行い、その認識結果から、ＡＲマーカや現実空間上の物体（対象物）の情報を取得する。また、認識部３６は、ＡＲマーカの撮像部３２からの位置（座標）を取得したりＡＲマーカの識別情報（マーカＩＤ）を取得する。なお、本実施形態では、複数の異なる基準物（ＡＲマーカ）から同じ識別情報が得られる場合もある。
本実施形態では、例えば撮影画像中に含まれる現実空間上の物体（対象物）に対してＡＲマーカを付与しておくことで、ＡＲマーカの識別情報に対応付けられたＡＲコンテンツとして、その物体の使用方法や作業手順、注意事項等を撮影画像に重畳して表示させることができる。
なお、本実施形態における基準物は、ＡＲマーカに限定されるものではなく、例えば予め登録された物体を基準物としてもよい。この場合、認識部３６は、入力画像から登録された物体を認識し、認識した物体に対応する識別情報を取得する。
取得部３７は、認識部３６により読み取られたＡＲマーカ（基準物）を基準とする座標で定義される画像領域内の特徴情報を取得する。特徴情報とは、上述した設定部３５により設定される情報であり、例えば画像中に含まれる明暗領域情報（第１の特徴情報）又は特徴点情報（第２の特徴情報）等の判定条件に対応する１又は複数の異なる特徴情報であるが、これに限定されるものではない。また、特徴情報は、予めデータ化されていてもよい。
例えば、取得部３７は、ＡＲマーカ、ＡＲマーカに対応して表示内容を設定している対象物（実物体）、判定部３８による判定時に利用する判定用物体等を、特徴抽出や輝度差抽出等による物体認識手法を用いて認識してもよい。例えば、取得部３７は、撮影された画像中の所定の領域中の明度のうち、最大値と最小値を取得し、最大値と最小値との差（輝度差）に基づいて、その領域における特徴量から物体を認識してもよい。また、取得部３７は、認識したＡＲマーカを識別するＩＤ、及びマーカの位置・回転（角度）情報を取得してもよい。また、取得部３７は、例えば予めＡＲマーカ又は物体の形状を規定したテンプレートを記憶部３３に記憶しておき、そのテンプレートとマッチングを行うことでＡＲマーカ又は物体を認識してもよい。なお、取得部３７は、認識部３６による認識処理を行った後、すぐに取得処理を行ってもよく、別々のタイミングで処理を行ってもよい。また、別の端末装置で認識された画像を用いて、上述した取得部３７による特徴情報の取得を行ってもよい。
判定部３８は、認識部３６及び取得部３７により得られる基準物（例えば、ＡＲマーカ）等の認識に用いられた入力画像の特徴情報が、認識された基準物の識別情報に対応付けられた判定条件（例えば、明暗領域情報又は特徴点情報等の画像の特徴情報）を含むか否かを判定する。例えば、判定部３８は、ＡＲマーカの認識に用いられた入力画像の特徴情報と、そのＡＲマーカの識別情報に対応付けられた特徴情報との一致度判定を行うことで、適切な位置でＡＲマーカを撮影したか否かを判定することができるが、これに限定されるものではない。なお、上述の判定には、時間情報を含んでいてもよい。適切な位置でＡＲマーカを撮影したか否かを判定することは、ＡＲマーカに対応付けたＡＲコンテンツを画面に表示してもよいか否かを判定することと言い換えることもできる。
また、判定部３８は、複数の方向から撮影されたＡＲマーカを含む画像を用いて、画像の特徴情報による判定を行ってもよい。また、判定部３８は、時間情報（例えば、時間帯）に対応して設定された画像の特徴情報を用いて判定を行ってもよい。
コンテンツ生成部３９は、判定部３８による判定結果に基づいて、ＡＲマーカに対応付けて表示されるＡＲコンテンツを生成する。ＡＲコンテンツは、例えば予め設定された画像中の空き領域に対して所定の位置に表示させる。なお、位置情報は、コンテンツ生成部３９によりユーザが画面上で指定した点を、ＡＲマーカの位置を基準とした座標系（マーカ座標系）に変換することで、その変換後の座標値をＡＲマーカに基づく相対位置情報とすることができるが、これに限定されるものではない。
画像生成部４０は、例えばＡＲマーカや画像の特徴情報等を用いた判定処理の結果に応じたＡＲコンテンツを、撮影画像に重畳させて重畳画像（合成画像）を生成する。画像生成部４０は、例えば判定部３８による判定結果がＯＫの場合やＮＧの場合で異なるＡＲコンテンツを重畳させる。また、画像生成部４０は、取得した時間情報に応じて異なるＡＲコンテンツを重畳させてもよい。画像生成部４０は、例えばＡＲマーカからの相対位置を基準にＡＲコンテンツを重畳させて画面に表示することができるが、これに限定されるものではない。
制御部４１は、端末装置１２が有する各構成における処理全体を制御する。制御部４１は、撮像部３２によって画像を撮影させたり、表示部３４によって各種情報を端末装置１２の画面に表示させたり、設定部３５によって本実施形態における表示制御に関する各種設定を行わせる等の処理を行う。
また、制御部４１は、設定部３５による表示制御に関する各種設定、認識部３６による撮影画像に含まれるＡＲマーカや物体情報の認識、取得部３７による画像中に含まれる特徴情報の取得、判定部３８による撮影画像の特徴情報と、判定条件とに基づく判定、コンテンツ生成部３９によるＡＲコンテンツの生成、画像生成部４０による重畳画像の生成等の処理を行う。
＜サーバ１１のハードウェア構成例＞
次に、サーバ１１のハードウェア構成例について、図を用いて説明する。図４は、サーバのハードウェア構成の一例を示す図である。図４の例において、サーバ１１は、入力装置５１と、出力装置５２と、ドライブ装置５３と、補助記憶装置５４と、主記憶装置５５と、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）５６と、ネットワーク接続装置５７とを有し、これらはシステムバスＢで相互に接続されている。
入力装置５１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスや、マイクロフォン等の音声入力デバイスを有しており、ユーザ等からのプログラムの実行指示、各種操作情報、ソフトウェア等を起動するための情報等の入力を受け付ける。
出力装置５２は、本実施形態における処理を行うためのコンピュータ本体（サーバ１１）を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイ等を有する。出力装置５２は、ＣＰＵ５６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
ここで、本実施形態において、例えばコンピュータ本体にインストールされる実行プログラムは、記録媒体５８等により提供される。記録媒体５８は、ドライブ装置５３にセット可能である。ＣＰＵ５６からの制御信号に基づき、記録媒体５８に格納された実行プログラムが、記録媒体５８からドライブ装置５３を介して補助記憶装置５４にインストールされる。
補助記憶装置５４は、例えばＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）等のストレージ手段等である。補助記憶装置５４は、ＣＰＵ５６からの制御信号に基づき、本実施形態における実行プログラム（表示制御プログラム）や、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置５４は、ＣＰＵ５６からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。
主記憶装置５５は、ＣＰＵ５６により補助記憶装置５４から読み出された実行プログラム等を格納する。主記憶装置５５は、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）やＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等である。
ＣＰＵ５６は、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）等の制御プログラム、及び主記憶装置５５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現する。プログラムの実行中に必要な各種情報等は、補助記憶装置５４から取得することができ、また実行結果等を格納することもできる。
具体的には、ＣＰＵ５６は、例えば入力装置５１から得られるプログラムの実行指示等に基づき、補助記憶装置５４にインストールされたプログラムを実行させることにより、主記憶装置５５上でプログラムに対応する処理を行う。例えば、ＣＰＵ５６は、表示制御プログラムを実行させることで、上述した登録部２３によるＡＲコンテンツやＡＲコンテンツを出力させるか否かの判定条件（例えば、画像内の明暗領域又は特徴点情報）等の登録、抽出部２４による各種情報の抽出、制御部２５による表示制御等の処理を行う。ＣＰＵ５６における処理内容は、上述した内容に限定されるものではない。ＣＰＵ５６により実行された内容は、必要に応じて補助記憶装置５４等に記憶される。
ネットワーク接続装置５７は、上述した通信ネットワーク１３を介して、端末装置１２や他の外部装置との通信を行う。ネットワーク接続装置５７は、ＣＰＵ５６からの制御信号に基づき、通信ネットワーク１３等と接続することにより、実行プログラムやソフトウェア、設定情報等を外部装置等から取得する。また、ネットワーク接続装置５７は、プログラムを実行することで得られた実行結果を端末装置１２等に提供したり、本実施形態における実行プログラム自体を外部装置等に提供してもよい。
記録媒体５８は、上述したように実行プログラム等が格納されたコンピュータで読み取り可能な記録媒体である。記録媒体５８は、例えばフラッシュメモリ等の半導体メモリやＣＤ−ＲＯＭ、ＤＶＤ等の可搬型の記録媒体であるが、これに限定されるものではない。
図４に示すハードウェア構成に実行プログラム（例えば、表示制御プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における表示制御処理等を実現することができる。
＜端末装置１２のハードウェア構成例＞
次に、端末装置１２のハードウェア構成例について図を用いて説明する。図５は、端末装置のハードウェア構成の一例を示す図である。図５の例において、端末装置１２は、マイクロフォン（以下、「マイク」という）６１と、スピーカ６２と、表示部６３と、操作部６４と、センサ部６５と、電力部６６と、無線部６７と、近距離通信部６８と、補助記憶装置６９と、主記憶装置７０と、ＣＰＵ７１と、ドライブ装置７２とを有し、これらはシステムバスＢで相互に接続されている。
マイク６１は、ユーザが発した音声や、その他の音を入力する。スピーカ６２は、通話相手先の音声を出力したり、着信音等の音を出力する。マイク６１及びスピーカ６２は、例えば、通話機能等により通話相手と会話するとき等に用いることができるが、これに限定されるものではなく、音声による情報の入出力に用いることができる。
表示部６３は、ユーザに対してＯＳや各種アプリケーションで設定された画面を表示する。また、表示部６３は、タッチパネルディスプレイ等でもよく、その場合には表示部６３は、入出力部としての機能を有する。
表示部６３は、例えばＬｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）や有機Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）等のディスプレイである。
操作部６４は、表示部６３の画面に表示された操作ボタンや端末装置１２の外部に設けられた操作ボタン等である。操作ボタンは、例えば電源ボタンや音量調整ボタンでもよく、所定の順番で配列された文字入力用の操作キー等でもよい。
ユーザは、例えば表示部６３の画面上で所定の操作を行ったり、上述した操作ボタンを押すことで、表示部６３により画面上のタッチ位置が検出される。また、表示部６３は、画面上にアプリ実行結果やコンテンツやアイコン、カーソル等を表示することができる。
センサ部６５は、端末装置１２のある時点又は継続的な動作を検出する。例えば、センサ部６５は、端末装置１２の傾き角度、加速度、方向、位置等を検出するが、これに限定されるものではない。なお、センサ部６５としては、例えば傾きセンサや加速度センサ、ジャイロセンサ、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（ＧＰＳ）等であるが、これに限定されるものではない。
電力部６６は、端末装置１２の各構成に対して電力を供給する。電力部６６は、例えばバッテリ等の内部電源であるが、これに限定されるものではない。電力部６６は、電力量を常時又は所定の時間間隔で検出し、電力量の残量等を監視することもできる。
無線部６７は、例えばアンテナ等を用いて基地局からの無線信号（通信データ）を受信したり、アンテナを介して無線信号を基地局に送信する通信データの送受信部である。無線部６７により、通信ネットワーク１３を介して基地局等からサーバ１１とデータの送受信を行うことができる。
近距離通信部６８は、例えば赤外線通信やＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信手法を用いて、他の端末装置１２等のコンピュータと近距離通信を行うことができる。上述した無線部６７及び近距離通信部６８は、他のコンピュータとのデータの送受信を可能とする通信インタフェースである。
補助記憶装置６９は、例えばＨＤＤやＳＳＤ等のストレージ手段である。補助記憶装置６９は、各種のプログラム等を記憶し、必要に応じてデータの入出力を行う。
主記憶装置７０は、ＣＰＵ７１からの指示により補助記憶装置６９から読み出された実行プログラム等を格納したり、プログラム実行中に得られる各種情報等を記憶する。主記憶装置７０は、例えばＲＯＭやＲＡＭ等であるが、これに限定されるものではない。
ＣＰＵ７１は、ＯＳ等の制御プログラム、及び主記憶装置７０に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御することで、表示制御における各処理を実現する。
具体的には、ＣＰＵ７１は、例えば操作部６４等から得られるプログラムの実行指示等に基づき、補助記憶装置６９にインストールされたプログラムを実行させることにより、主記憶装置７０上でプログラムに対応する処理を行う。例えば、ＣＰＵ７１は、表示制御プログラムを実行させることで、上述した設定部３５によるＡＲコンテンツや判定条件等の設定、認識部３６によるＡＲマーカ等の基準物の認識等の処理を行う。また、ＣＰＵ７１は、取得部３７による特徴情報の取得、判定部３８による判定、コンテンツ生成部３９によるＡＲコンテンツの生成、画像生成部４０による画像生成等の処理を行う。ＣＰＵ７１における処理内容は、上述した内容に限定されるものではない。ＣＰＵ７１により実行された内容は、必要に応じて補助記憶装置６９等に記憶される。
ドライブ装置７２は、例えば記録媒体７３等を着脱自在にセットすることができ、セットした記録媒体７３に記録された各種情報を読み込んだり、所定の情報を記録媒体７３に書き込むことができる。ドライブ装置７２は、例えば媒体装填スロット等であるが、これに限定されるものではない。
記録媒体７３は、上述したように実行プログラム等を格納するコンピュータで読み取り可能な記録媒体である。記録媒体７３は、例えばフラッシュメモリ等の半導体メモリであってもよい。また、記録媒体７３は、ＵＳＢメモリ等の可搬型記録媒体であってもよいが、これに限定されるものではない。
本実施形態では、上述したコンピュータ本体のハードウェア構成に実行プログラム（例えば、表示制御プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における表示制御処理等を実現することができる。
また、上述した表示制御処理に対応する表示制御プログラムは、例えば装置上で常駐している状態であってもよく、起動指示により起動させてもよい。
＜ＡＲマーカ例＞
次に、本実施形態におけるＡＲマーカ例について図を用いて説明する。図６は、実物体にＡＲマーカを設置した例を示す図である。例えば、図６（Ａ）の例では、現実空間にある実物体（対象物）の一例としてパイプ（配管）８０が設置されている。パイプ８０は、複数のバルブ（弁）８１−１〜８１−５を有する。本実施形態では、例えば上述したパイプ８０と共に撮影できる位置にＡＲマーカ９０が取り付けられている。
本実施形態では、ＡＲマーカ９０をパイプ８０と共に、端末装置１２の撮像部３２で撮影し、認識部３６が画像認識によりＡＲマーカ９０の識別情報を読み取る。また、取得部３７は、認識部３６により得られた識別情報と対応付けられ、ＡＲマーカ９０を基準とする座標値で定義される特徴情報（例えば、明暗情報（第１の特徴情報）、特徴点情報（第２の特徴情報）等）を取得する。判定部３８は、認識部３６による識別情報の認識に用いられた入力画像の特徴情報が、認識部３６により認識されたＡＲマーカ９０の識別情報に対応付けられた特徴情報（判定条件）を含むか否かを判定する。例えば、判定部３８は、撮像部３２により撮像された撮像画像のうち、対応する画像領域の特徴が、第１の特徴情報に示される特徴と一致するか否かを判定する。
判定部３８による判定結果がＯＫの場合（一致する場合）、正しい位置から撮影された画像であると判定され、コンテンツ生成部３９は、例えばＡＲマーカの識別情報に対応付けて設定された対象物であるパイプ８０に設けられたバルブ（弁）８１−１〜８１−５の使用方法等を示すＡＲコンテンツ等を、撮影中又は撮影した画像上に重畳表示したり、新たなＡＲコンテンツを登録する。また、判定部３８による判定結果がＮＧの場合、ＮＧ用のＡＲコンテンツを重畳表示する。
これにより、ユーザ（作業者等）は、端末装置１２の画面に表示されたＡＲコンテンツ情報に基づいてバルブ（弁）８１−１〜８１−５を直接操作して、パイプ８０の制御等を行うことができる。また、複数のユーザがＡＲコンテンツ情報を共有することができる。
また、ＡＲマーカ９０から得られるＡＲコンテンツ情報としては、上述した操作内容に限定されるものではなく、例えばパイプ８０がひび割れ等の破損をしている場合や修理が必要である場合等に、その情報や注意事項等をユーザ等に通知するための情報でもよい。
ＡＲマーカ９０は、１つの対象物（例えば、パイプ８０）に対して１以上設けてもよく、複数の対象物に対して１つのＡＲマーカ９０であってもよい。また、画像中に複数のＡＲマーカが存在する場合には、それらのＡＲマーカに対して共通の判定条件を用いて判定を行い、その判定結果に応じたＡＲコンテンツを表示してもよい。
また、ＡＲマーカ９０は、図６（Ｂ）に示すように、例えばサーバ等のコンピュータを収納するサーバラック８２等の機器（対象物）に対して、その操作内容やメンテナンス情報（稼働スケジュール、故障時の連絡先）等の各種情報を、そのサーバラックと共に撮影可能な位置に取り付けられたＡＲマーカ９０の画像を撮影し、その画像に対して画像認識することで取得することができる。
ＡＲマーカ９０の例としては、例えばバーコード、ＱＲコード（登録商標）等の二次元コードでもよく、カラー等を用いた多次元コードでもよいが、これらに限定されるものではない。なお、ＡＲマーカ９０によりＡＲコンテンツを表示させる対象物については、これに限定されるものではない。
＜端末装置１２における処理の一例＞
次に、上述した端末装置１２における処理の一例について、フローチャートを用いて説明する。なお、端末装置１２における処理としては、例えば、管理者や作業者のユーザ等がＡＲマーカに対応付けて判定条件（画像の特徴情報）やＡＲコンテンツを設定する場合と、ＡＲマーカを認識して対応付けられたＡＲコンテンツを表示する場合とがある。なお、上記の場合には、１台の端末装置１２を管理者及び作業者が用いてもよく、例えば複数の端末装置１２をそれぞれの所有者（管理者、作業者）に割り当てて、処理を行ってもよい。以下の説明では、上記の各場合における処理例を分けて説明する。
＜第１実施例における判定条件及びＡＲコンテンツの設定処理例＞
図７は、第１実施例における判定条件及びＡＲコンテンツの設定処理を示すフローチャートである。図７の例において、端末装置１２の認識部３６は、例えば管理者や作業者等のユーザが撮像部３２により撮影した画像中のＡＲマーカを認識したか否かを判断する（Ｓ０１）。端末装置１２の認識部３６は、ＡＲマーカを認識していない場合（Ｓ０１において、ＮＯ）、ＡＲマーカを認識するまで待機する。なお、所定時間以上ＡＲマーカを認識できない場合には、処理を終了してもよい。
また、ＡＲマーカを認識した場合（Ｓ０１において、ＹＥＳ）、端末装置１２の設定部３５は、同時に認識したＡＲマーカ数が１つか否かを判断する（Ｓ０２）。端末装置１２の設定部３５は、ＡＲマーカ数が１つでない場合（Ｓ０２において、ＮＯ）、同時に認識した複数のＡＲマーカに対して個別に明暗領域を設定するか否かを判断する（Ｓ０３）。Ｓ０３の処理では、ユーザからの入力により判断してもよく、予め設定された情報に基づいて判断してもよい。
端末装置１２の設定部３５は、同時に認識したＡＲマーカに個別に明暗領域を設定しない場合（Ｓ０３において、ＮＯ）、複数のＡＲマーカに対して１つの明暗領域を設定するために、同時に認識したＡＲマーカの組み合わせを設定する（Ｓ０４）。ＡＲマーカの組み合わせの設定とは、例えば撮影画像中に複数のＡＲマーカが存在する場合に、そのうちのどのＡＲマーカが同時に撮影された場合に、共通の画像の特徴情報等を設定するかを指定するものである。Ｓ０４の処理は、例えばユーザからの入力により設定される。
また、端末装置１２の設定部３５は、Ｓ０３の処理において、同時に認識したＡＲマーカに個別に明暗領域を設定する場合（Ｓ０３において、ＹＥＳ）、又は、Ｓ０４の処理後、明暗領域を設定するか否かを判断する（Ｓ０５）。端末装置１２の設定部３５は、明暗領域を設定する場合（Ｓ０５において、ＹＥＳ）、それぞれのＡＲマーカ又はＡＲマーカの組み合わせに対応させて明暗領域を任意の箇所に設定する（Ｓ０６）。Ｓ０６の処理において、明暗領域を設定する場合には、例えば撮影画像を二値化し、二値化した画像に基づいて明暗領域を設定する。明暗領域設定の具体例については、後述する。次に、端末装置１２の設定部３５は、認識したＡＲマーカに対応付けたＡＲコンテンツを設定する（Ｓ０７）。なお、ＡＲコンテンツは、コンテンツ生成部３９により生成することができる。また、ＡＲコンテンツの設定は、Ｓ０６の処理により設定された明暗領域による判定条件を用いた判定結果がＯＫの場合とＮＧの場合とで異なるＡＲコンテンツを設定することができる。
また、端末装置１２の設定部３５は、Ｓ０５の処理において、明暗領域を設定しない場合（Ｓ０５において、ＮＯ）、又は、Ｓ０７の処理後、認識したＡＲマーカ全てに対して設定が完了したか否かを判断する（Ｓ０７）。端末装置１２の設定部３５は、ＡＲマーカ全てに対して設定が完了していない場合（Ｓ０８において、ＮＯ）、Ｓ０５の処理に戻る。また、端末装置１２の設定部３５は、ＡＲマーカ全てに情報設定が完了した場合（Ｓ０８において、ＹＥＳ）、処理を終了する。
＜明暗領域設定の具体例＞
図８は、明暗領域設定の具体例を説明するための図である。図８の例では、端末装置１２で撮影された画像１００中に含まれるＡＲマーカ９０（基準物）の中心を基準とした三次元座標系（Ｘ，Ｙ，Ｚ）（マーカ座標系）を基準に暗領域及び明領域の一方又は両方を設定する。なお、座標系は、三次元座標系に限定されるものではなく、例えば二次元座標系（Ｘ，Ｙ）であってもよい。
例えば、図８の例では、ＡＲマーカ９０の中心を基準に画像を上下に区切り、区切られた上下の領域における各画素の輝度の平均を取得し、輝度値に基づいて区切られた領域間で比較を行い、暗い（輝度値が小さい）領域を暗領域とし、明るい（輝度値の大きい）領域を明領域としてそれぞれの領域を示す情報（例えば、矩形の角の座標等）を取得する。また、輝度値と予め設定された閾値とを比較し、閾値よりも大きい場合に明領域とし、閾値以下の場合に暗領域として設定してもよい。
なお、上述したＡＲマーカ９０を基準とした画像領域の区切り方については、これに限定されるものではなく、例えば、ＡＲマーカ９０の中心として左右の領域で分けてもよく、上下左右の４等分の領域で分けてもよい。例えば、４等分の領域に分けた場合には、それぞれの領域内の平均輝度値を比較し、輝度が明るい２つの領域を明領域、輝度が暗い２つの領域を暗領域として、その各領域を示す情報を取得してもよい。また、４等分した輝度のうち、最も暗い領域を暗領域とし、最も明るい領域を明領域として設定してもよい。また、上述したように、予め設定された閾値に基づいて明暗領域を設定してもよい。
また、本実施形態では、画像の特徴情報としての明暗領域が設定された場合に、その特徴情報の判定条件を満たすか否かに応じてＡＲコンテンツ１０１の内容と表示位置を設定する。表示位置は、例えばＡＲマーカ９０の中心を基準にしたマーカ座標系により設定されてもよく、また撮影された画像のある位置を基準にしたスクリーン座標系により設定されてもよい。また、ＡＲコンテンツ１０１は、撮影画像に重畳することで、撮影画像に含まれる物体が隠れることがないように、画像中の空き領域内で表示位置を設定することが好ましいが、これに限定されるものではない。
＜第１実施例におけるデータ例＞
次に、第１実施例におけるデータ例について説明する。図９は、第１実施例において端末装置が有するデータ例を示す図である。図１０は、第１実施例においてサーバが有するデータ例を示す図である。
図９に示す端末装置１２が有するデータ例において、図９（Ａ）は、データ管理テーブルの一例を示し、図９（Ｂ）は、ＡＲコンテンツ管理テーブルの一例を示し、図９（Ｃ）は、明暗領域管理テーブルの一例を示している。
図９（Ａ）に示すデータ管理テーブルの項目としては、例えば「マーカＩＤ」、「ＯＫ時表示ＡＲコンテンツＩＤ」、「ＮＧ時表示ＡＲコンテンツＩＤ」、「明暗領域ＩＤ」等があるが、これに限定されるものではない。
マーカＩＤとは、ＡＲマーカの識別情報である。ＯＫ時表示ＡＲコンテンツＩＤは、判定結果において、適切な位置（管理者等が設定した位置）からＡＲマーカが撮影されていると判定された場合（判定結果がＯＫの場合）に、表示されるＡＲコンテンツの識別情報である。ＮＧ時表示ＡＲコンテンツＩＤは、判定結果において、適切な位置からＡＲマーカが撮影されていないと判定された場合（判定結果がＮＧの場合）に表示されるＡＲコンテンツの識別情報である。明暗領域ＩＤとは、画像の特徴情報の一例である明暗領域を識別するための情報（例えば、座標値）である。明暗領域ＩＤに基づいて、例えば図９（Ｃ）に示す明暗領域管理テーブルから領域の詳細情報（例えば、位置情報等）を取得する。
図９（Ｂ）に示すＡＲコンテンツ管理テーブルの項目としては、例えば「ＡＲコンテンツＩＤ」、「座標値」、「回転角度」、「拡縮率」、「テクスチャパス」等であるが、これに限定されるものではない。
「ＡＲコンテンツＩＤ」は、ＡＲコンテンツを識別するため識別情報であり、図９（Ａ）に示すデータ管理テーブルの「ＯＫ時表示ＡＲコンテンツＩＤ」、「ＮＧ時表示ＡＲコンテンツＩＤ」等と関連付けられている。「座標値」は、ＡＲコンテンツを撮影画像の三次元空間（仮想空間）上に表示するための座標である。図９（Ｂ）の例では、ＡＲコンテンツの中心の座標値が設定されているが、これに限定されるものではない。「回転角度」は、例えば予め正面等の所定の位置を基準にした基準角度から、三次元空間上にどの程度回転しているかを示す情報である。「拡縮率」は、基準となる大きさに対する拡縮率を示す情報である。「テクスチャパス」は、例えばＡＲコンテンツに設定するイメージファイル等の格納先アドレスを示す情報である。なお、ＡＲコンテンツの格納先へは、例えば上述した通信ネットワーク１３を介してアクセスしてもよいが、これに限定されるものではない。格納先は、例えばサーバ１１等であるが、これに限定されるものではなく、例えばウェブ上で公開される画像ファイル等でもよい。
図９（Ｃ）に示す明暗領域管理テーブルの項目としては、例えば「明暗領域ＩＤ」、「座標値」、「明暗値」等があるが、これに限定されるものではない。「明暗領域ＩＤ」は、図９（Ａ）に示す明暗領域ＩＤと関連付けられた情報である。「座標値」は、各領域の位置を示す情報である。これらの座標は、上述した図８に示すようにＡＲマーカ９０の基準位置に基づいて設定される。
また、これらの情報は、設定の終了後、サーバ１１に送信され、サーバ１１側で管理さる。サーバ１１へ適切に送信された後は、端末装置１２に記憶された各データは削除されてもよい。
図１０に示すサーバ１１が有するデータ例において、図１０（Ａ）は、マーカＩＤ管理テーブルの一例を示し、図１０（Ｂ）は、ＡＲコンテンツ管理テーブルの一例を示し、図１０（Ｃ）は、明暗領域管理テーブルの一例を示している。
図１０（Ａ）に示すマーカＩＤ管理テーブルの項目としては、例えば「マーカＩＤ」、「ＯＫ時表示ＡＲコンテンツＩＤ」、「ＮＧ時表示ＡＲコンテンツＩＤ」、「明暗領域情報」等であるが、これに限定されるものではない。
図１０（Ｂ）に示すＡＲコンテンツ管理テーブルの項目としては、例えば「ＡＲコンテンツＩＤ」、「座標値」、「回転角度」、「拡縮率」、「テクスチャパス」等があるが、これに限定されるものではない。
図１０（Ｃ）に示す明暗領域管理テーブルの項目としては、例えば「明暗領域ＩＤ」、「座標値」、「明暗値」等があるが、これに限定されるものではない。なお、図１０（Ａ）に示す「マーカＩＤ」に格納された"１／２"は、マーカＩＤが１と２の複数のＡＲマーカに対して共通の明暗領域が設定されている場合に、そのことが分かるように記述したものであるが、記述形式については、これに限定されるものではない。
図１０（Ａ）〜図１０（Ｃ）に示すデータ例は、上述した図９（Ａ）〜図９（Ｃ）に示す内容と同様の項目であるが、サーバ１１は、１又は複数の端末装置１２から上述した各種情報を取得して管理する。したがって、図１０に示すような各テーブルを管理する際には、例えば登録した端末装置１２の識別情報も含めて管理してもよい。
＜明暗情報について＞
ここで、上述した本実施形態における明暗情報の設定について具体的に説明する。本実施形態では、判定条件設定時に、ＡＲマーカとその背景画像を二値化し、画像中の明暗情報をサーバ１１等へ登録する。
また、判定時には、判定部３８は、マーカを認識したときに背景画像を二値化し、画像中の明暗情報を取得する。例えば、通常のマーカＩＤの認識処理中に二値化処理を実施する。また、判定部３８は、取得した背景画像の明暗情報と、サーバ１１に予め（事前に）登録された背景画像の明暗情報とを比較し、その結果、背景画像の明暗情報が一致した場合と不一致の場合で、重畳情報（ＡＲコンテンツ）を切り替えて表示する。
ここで、図１１は、二値化画像の一例を示す図である。図１１（Ａ）は、二値化処理前の画像例を示し、図１１（Ｂ）は、二値化処理後の画像例を示している。図１１（Ａ）の例に示す撮影画像１００には、上述した図６（Ａ）のパイプ（配管）８０が対象物として撮影されている。また、撮影画像１００には、基準物の一例であるＡＲマーカ９０も含まれている。
本実施形態において、端末装置１２の取得部３７は、この画像を、一般的な画像処理により二値化画像１１０を生成する。二値化画像１１０は、撮影画像１００を画素毎の輝度情報に基づいて、所定の閾値（例えば、輝度値１２３等）に基づいて白又は黒を設定する。以下に、二値化後の画像に対する明暗の判定条件の具体例について説明する。なお、以下の計算式で用いる表色系は、明度（輝度）の計算が可能であれば、他の表色系を使用しても計算可能である。二値化処理では、例えばＲＧＢ表色系を用いて、フルカラー（ＲＧＢ各色の表現範囲が０〜２５５）の画像に対して計算を行う。例えば、画像中の各画素において、明度（白・黒）は以下の計算式で算出することができる。
明度＝（√Ｒ２＋√Ｇ２＋√Ｂ２）／３
また、画像中の各画素の最小値（黒：暗）と最大値（白：明）は以下のように算出される。
黒＝（√０２＋√０２＋√０２）／３
白＝（√２５５２＋√２５５２＋√２５５２）／３
また、上記の２つの式により、明度の平均値は１２７（又は１２８）と一意に決定する。この平均値を画像中の画素を明暗の何れかに二値化する際の閾値として使用することにより、画像の二値化を行う。例えば、任意の画素値１〜３は、閾値を用いて以下のように判断される。
画素１＝（√２５５２＋√０２＋√０２）／３＝８５ → 「暗（０）」と判断
画素２＝（√２５５２＋√２５５２＋√０２）／３＝１７０ → 「明（１）」と判断
画素３＝（√１２７２＋√２５５２＋√２５５２）／３＝２１２ → 「明（１）」と判断
図１２は、二値化画像に対する分割領域の設定例を示す図である。図１２（Ａ）〜図１２（Ｃ）の例は、二値化画像に対する分割領域の設定と、設定された各領域に対する明暗領域の設定例を示している。例えば、図１２（Ａ）は、ＡＲマーカ９０の中心を通る横軸を境界線とした上下２分割の例を示し、図１２（Ｂ）は、ＡＲマーカ９０の中心を通る縦軸を境界線とした左右２分割の例を示し、図１２（Ｃ）は、上述した横軸、縦軸を境界線とした上下左右の４つ分割領域の例を示している。
本実施形態では、分割領域における明（明度値：１）と暗（明度値：０）の単位領域あたりの出現数を計算し、出現数が多い方を採用する。例えば領域内で０より１が多い場合は明領域とし、１より０が多い場合は暗領域とする。また、０と１の出現数が同数の場合には、予め設定された明、暗の何れかの領域（例えば、明領域）とする。また、同様に図１２（Ｂ）の左右分割、図１２（Ｃ）に示す上下左右の４分割についても同様に設定することができる。
なお、本実施形態における分割領域の明度値の出現数の計算については、領域中の全ての画素を用いて判定してもよく、一定の間隔で画素を抽出し、その明度値を使用してもよい。例えば一定の間隔で画素を抽出することにより、明暗判定に関する処理時間を高速化させることができる。明暗の各領域は、座標値等を用いて特定される。
なお、上述した分割領域の設定は、設定部３５により行われる。設定部３５は、分割領域を画像処理精度や判定精度等により、適宜変更することができる。また、設定部３５は、上述したようにＡＲマーカの位置を基準とせずに、例えば撮影画像１００の中心を基準にして上下左右の軸で分かれる４つの分割領域に対して明暗領域を設定してもよい。
分割領域の設定手法は、例えばプログラムによる設定変更やユーザ入力による設定変更を行うことができるが、これに限定されるものではない。また、画像中に含まれる明領域又は暗領域は、例えば円形や楕円形、矩形、三角以上の多角形の予め設定された形状（テンプレート）等を用いて設定してもよい。
判定部３８は、ＡＲマーカ９０を認識した際、予め図１２（Ａ）〜図１２（Ｃ）に設定された判定条件（明暗情報）との比較を行うことで、その場所で撮影されたＡＲマーカであるか否かを判断することができ、その判定結果に応じて適切な情報（ＡＲコンテンツ）を表示することができる。
＜撮影画像中に複数のＡＲマーカを含む場合の明暗領域の設定例＞
次に、撮影画像中に複数のＡＲマーカを含む場合の明暗領域の設定例について、図を用いて説明する。図１３は、複数のＡＲマーカを用いた明暗領域の第１の設定例を示す図である。第１設定例では、撮影画像１００に存在する複数のＡＲマーカに対し、それぞれ独立して明暗領域（判定条件）を設定する。
第１の設定例では、撮像部３２により撮影された撮影画像１００に複数のＡＲマーカ（図１３の例では、２つのＡＲマーカ９０−１，９０−２）が撮影されている。本実施形態では、設定部３５は、明暗領域の設定の際に撮影画像１００に対して二値化処理を実施し、二値化画像１１０を取得する。また、設定部３５は、二値化画像１１０に含まれる各ＡＲマーカ９０−１，９０−２に対して、それぞれＡＲマーカ毎に明暗領域（判定条件）を設定する（設定画像１１１−１，１１１−２）。なお、ＡＲマーカ９０−１に対しては、上下の２つの分割領域に対する明暗領域を設定し、ＡＲマーカ９０−２に対しては、上下左右の４つの分割領域に対する明暗領域を設定しているが、これに限定されるものではない。
これにより、撮影画像に複数のＡＲマーカが存在する場合であっても個々のＡＲマーカに対して、それぞれの判定条件に基づき判定を行うため、判定結果がＯＫであったＡＲマーカに対応付けられたＡＲコンテンツを表示することができる。なお、ＡＲコンテンツの表示については、全てのＡＲマーカ９０−１，９０−２に対する判定結果がＯＫであった場合にのみＡＲコンテンツを表示するようにしてもよい。また、複数のＡＲマーカのうち、何れかのＡＲマーカの判定結果がＮＧであった場合には、ＡＲコンテンツを全て表示しないようにしてもよい。
図１４は、複数のＡＲマーカを用いた明暗領域の第２の設定例を示す図である。図１４に示す第２の設定例では、上述した第１の設定例と同様に撮影画像中に複数のＡＲマーカ９０−１，９０−２を認識した場合の明暗領域の設定例を示している。第２の設定例では、撮影画像１００に複数のＡＲマーカ９０−１，９０−２が存在する場合に、二値化処理が実施された二値化画像１１０に対して、複数のＡＲマーカを同時に判定するための共通の明暗領域を設定する。なお、図１４に示す設定画像１１１−３では、画像の中心を基準にして上下左右の軸で分かれる４つの分割領域に対して明暗領域を設定しているが、領域の分割手法は、これに限定されるものではない。
第２の設定例により、例えば撮影画像１００から２つのＡＲマーカ９０−１，９０−２を認識した時点で、上述した判定条件に基づいて判定が行われ、判定条件を満たす場合（判定結果がＯＫの場合）に、２つのＡＲマーカ９０−１，９０−２に対応付けられたＡＲコンテンツが表示される。図１４の例では、画像中に多数のＡＲマーカを同時認識した場合でも、１回の明暗領域の判定処理により、判定結果を取得することができる。また、撮影画像中に複数のＡＲマーカが存在する場合には、各ＡＲマーカの組み合わせを設定し、設定された組み合わせに対応させてＡＲマーカに対して共通の判定条件を設定してもよい。
＜第１実施例における判定処理例＞
図１５は、第１実施例における判定処理を示すフローチャートである。図１５の例において、端末装置１２の認識部３６は、例えば撮像部３２によるカメラ撮影を開始し、撮影中の画像からＡＲマーカを認識したか否かを判断する（Ｓ１１）。端末装置１２の認識部３６は、ＡＲマーカを認識していない場合（Ｓ１１において、ＮＯ）、ＡＲマーカを認識するまで待機する。なお、所定時間以上ＡＲマーカを認識できない場合には、処理を終了してもよい。
また、Ｓ１１の処理において、ＡＲマーカを認識した場合（Ｓ１１において、ＹＥＳ）、端末装置１２の判定部３８は、明暗領域が事前に設定されているか否かを判断する（Ｓ１２）。事前に設定されているか否かは、例えば、ＡＲマーカの認識により得られたマーカＩＤ（識別情報）をサーバ１１に送信し、マーカＩＤに対応する判定条件及び判定結果に対応して表示されるＡＲコンテンツの内容を取得し、その判定条件に明暗領域情報が含まれているか否かで判断することができるが、これに限定されるものではない。
端末装置１２の判定部３８は、明暗領域が事前に設定されている場合（Ｓ１２において、ＹＥＳ）、事前に設定された明暗領域が、現在の撮影画像の明暗領域と一致するか否かを判断する（Ｓ１３）。なお、Ｓ１３の処理では、明暗領域に対応する特徴点の座標値（領域の座標値）が一致するか否かについては、完全に一致していなくても座標値同士の差分値が所定の許容範囲内にある場合には、一致しているとみなしてもよい。また、Ｓ１３の処理では、現在の撮影画像の明暗領域が、事前に設定された明暗領域を含んでいるか否かを判断し、含んでいれば一致しているとみなしてもよい。
Ｓ１２の処理において、明暗領域が事前に設定されていない場合（Ｓ１２において、ＮＯ）、又は、Ｓ１３の処理において、明暗領域が現在の撮影画像の明暗情報と一致しない場合（Ｓ１３において、ＮＯ）、端末装置１２は、画像生成部４０により生成された判定結果がＮＧ時のＡＲコンテンツを表示する（Ｓ１４）。なお、Ｓ１４の処理では、ＡＲコンテンツを表示させない処理を行ってもよい。
また、Ｓ１３の処理において、明暗領域が現在の撮影画像の明暗情報と一致する場合（Ｓ１３において、ＹＥＳ）、端末装置１２は、画像生成部４０により生成された判定結果がＯＫ時のＡＲコンテンツを表示する（Ｓ１５）。
これにより、第１実施例では、ＡＲマーカとその周囲（背景）の明暗情報とを用いてユーザの撮影場所が適切であるか否かを判定することで、単純にマーカＩＤのみを認識した場合であっても、重畳情報の出力を抑止することができる。また、現場での重畳情報の出力状態を切り替えることができる。これにより、本実施形態では、ＡＲマーカの不正コピーや、システムの不正利用による、重畳情報の出力を抑止することができる。
＜第１実施例における表示画面例＞
図１６は、第１実施例における表示画面例を示す図である。図１６（Ａ）の例に示すような端末装置１２が撮影した撮影画像からＡＲコンテンツの対象物であるパイプ（配管）８０に取り付けられたＡＲマーカ９０を認識すると、そのマーカＩＤをサーバ１１に送信し、対応する判定条件及び判定結果に対応して表示されるＡＲコンテンツ等を取得する。次に、取得した判定条件に基づいて判定を行う。判定結果がＮＧである場合には、図１６（Ｂ）の例に示すようなＡＲコンテンツ１２０−１が画面に表示される。図１６（Ｂ）の例では、「正しい作業場所でマーカを認識して下さい。」等のメッセージ（ＡＲコンテンツ）が撮影画像１００に重畳されて画面表示されるが、表示される内容については、これに限定されるものではない。これにより、マーカＩＤに設定された機密情報等が不正ユーザに閲覧されることを防止することができる。
また、判定結果がＯＫであった場合には、図１６（Ｃ）の例に示すようにＡＲマーカ９０に対応付けられたＡＲコンテンツ１２０−２〜１２０−５が、撮影画像１００に重畳されて画面表示される。具体的には、パイプ８０に設けられたバルブ８１の操作手順や内容、方向を示すテキスト情報やアイコン等が表示されるが、これに限定されるものではなく、例えばパイプ８０に対して「ひび割れ注意！」等の注意事項を表示してもよい。
なお、上述した第１実施例において明暗情報を用いるにあたり、ＡＲマーカの設置場所が室外であったり、室内であっても窓からの日差しが入りやすい場所である場合には、天候や時間帯（日中、夜間）等によって輝度（明暗領域）が異なる。そこで、本実施形態では、撮影位置の判定時において、時間情報（例えば、時間帯）も事前に設定しておき、その時間情報に応じて判定条件やＡＲコンテンツの内容を設定してもよい。
図１７は、時間情報を利用したときの端末装置が有するデータ例を示す図である。図１８は、時間情報を利用したときのサーバが有するデータ例を示す図である。
図１７に示す端末装置が有するデータ例において、図１７（Ａ）は、マーカ管理テーブルの一例を示し、図１７（Ｂ）は、ＡＲコンテンツ管理テーブルの一例を示し、図１７（Ｃ）は、設定時間帯別データ管理テーブルの一例を示し、図１７（Ｄ）は、明暗領域管理テーブルの一例を示している。
図１７（Ａ）に示すマーカ管理テーブルの項目としては、例えば「マーカＩＤ」、「設定時間帯１」、「設定時間帯２」等があるが、これに限定されるものではない。マーカＩＤは、ＡＲマーカを識別するための情報である。また、「設定時間帯１」、「設定時間帯２」は、明暗領域の設定内容が異なる時間帯（時間情報）が設定される。そのため、設定時間帯は、複数の時間帯を設定することができ、図１７（Ａ）に示すように２つの時間帯に限定されるものではない。
図１７（Ｂ）に示すＡＲコンテンツ管理テーブルの項目としては、「ＡＲコンテンツＩＤ」、「座標値」、「回転角度」、「拡縮率」、「テクスチャパス」等であるが、これに限定されるものではない。図１７（Ｂ）の各項目は、上述した図９（Ｂ）に示すテーブルの各項目と同様である。
図１７（Ｃ）に示す設定時間帯別データ管理テーブルの項目としては、例えば「設定時間帯ＩＤ」、「ＯＫ時表示ＡＲコンテンツＩＤ」、「ＮＧ時表示ＡＲコンテンツＩＤ」、「明暗領域ＩＤ」等であるが、これに限定されるものではない。
「設定時間帯ＩＤ」は、図１７（Ａ）に示す設定時間帯を識別するための情報であり、上述した設定時間帯１，２が、それぞれ設定時間帯ＩＤ１，２に対応する。また、図１７（Ｃ）の例では、各設定時間帯に応じて、判定条件に基づく判定結果がＯＫ時の表示内容（ＡＲコンテンツ）と、ＮＧ時の表示内容と、明暗領域の識別情報（明暗領域ＩＤ）とが設定されている。
図１７（Ｄ）に示す明暗領域管理テーブルの項目としては、例えば「明暗領域ＩＤ」、「座標値」、「明暗値」等であるが、これに限定されるものではない。図１７（Ｄ）の各項目は、上述した図９（Ｃ）に示すテーブルの各項目と同様である。
また、図１８に示すサーバが有するデータ例において、図１８（Ａ）は、マーカＩＤ管理テーブルの一例を示し、図１８（Ｂ）は、設定時間帯別データ管理テーブルの一例を示し、図１８（Ｃ）は、ＡＲコンテンツ管理テーブルの一例を示し、図１８（Ｄ）は、明暗領域管理テーブルの一例を示している。
図１８（Ａ）に示すマーカＩＤ管理テーブルの項目としては、例えば「マーカＩＤ」、「設定時間帯ＩＤ」等であるが、これに限定されるものではない。図１８（Ａ）の例では、マーカＩＤ毎に判定条件が設定された時間帯が記憶されている。
図１８（Ｂ）に示す設定時間帯別データ管理テーブルの項目としては、例えば「設定時間帯ＩＤ」、「設定時間帯」、「ＯＫ時表示ＡＲコンテンツＩＤ」、「ＮＧ時表示ＡＲコンテンツＩＤ」、「明暗領域ＩＤ」等であるが、これに限定されるものではない。
図１８（Ｂ）の例では、設定時間帯ＩＤ毎に、設定時間帯と、その設定時間帯に対して、判定条件となる明暗領域と、判定結果に応じて表示されるＡＲコンテンツとが設定されている。ＡＲコンテンツは、判定結果がＯＫ時に表示されるＡＲコンテンツと、ＮＧ時に表示されるＡＲコンテンツとが設定されているが、これに限定されるものではなく、ＮＧ時には、何も表示しない設定であってもよい。
図１８（Ｃ）の示すＡＲコンテンツ管理テーブルの項目としては、例えば「ＡＲコンテンツＩＤ」、「座標値」、「回転角度」、「拡縮率」、「テクスチャパス」等であるが、これに限定されるものではない。図１８（Ｃ）の各項目は、上述した図１０（Ｃ）に示すテーブルの各項目と同様である。
図１８（Ｄ）に示す明暗領域管理テーブルの項目としては、例えば「明暗領域ＩＤ」、「座標値」、「明暗値」等があるが、これに限定されるものではない。図１８（Ｄ）の各項目は、上述した図１０（Ｄ）に示すテーブルの各項目と同様である。
このように、時間帯を判定条件に含め、設定された時間帯に応じて明暗領域を設定することで、その判定結果に応じて異なるＡＲコンテンツを表示することができる。図１９は、時間情報を利用したときの判定内容と表示されるＡＲコンテンツの一例を示す図である。図１９（Ａ），図１９（Ｂ）の例は、時間帯（例えば、日光や照明による明度変化が生じる状況下）を利用したＡＲコンテンツの表示内容を変更する例を示している。
例えば、図１９（Ａ）に示すように、日中の時間帯等のように窓から入り込む太陽光等によりＡＲマーカ９０が設置された部屋全体の輝度が高い場合には、図１９（Ａ）に示すような明暗領域が設定され（設定画像１１１）、日中の時間帯にこの明暗領域の条件を満たす場合に、撮影画像１００に対して、ＡＲコンテンツ１２０が表示される。図１９（Ａ）の例では、ＡＲマーカ９０の中心を基準とした相対位置（マーカ座標系）により設定された位置（座標値）に、ＡＲマーカ９０に対応付けられたＡＲコンテンツ１２０が表示されている。図１９（Ａ）に示すＡＲコンテンツは、対象物であるパイプ８０に設けられたバルブ８１−４の開け方を表示するコンテンツであるが、これに限定されるものではない。
また、図１９（Ｂ）の例では、夕方や夜間の時間帯における明暗領域が設定され（設定画像１１１）、この明暗領域の条件を満たす場合に、撮影画像に対して、マーカ座標系に基づきＡＲコンテンツ１２０が表示されている。図１９（Ｂ）に示すＡＲコンテンツは、対象物である配管に設けられたバルブ８１−４の閉め方を表示するコンテンツであるが、これに限定されるものではない。図１９（Ａ）、（Ｂ）の例では、昼間の時間帯では、バルブ８１−４を開けるように作業者に指示することができ、夕方や夜間の時間帯では、バルブ８１−４を閉めるように指示することができる。
つまり、上述の例では、同一のＡＲマーカを同じ場所で撮影したとしても、判定時の時間等の条件に応じて異なる判定条件を設定することができる。また、各判定条件による判定結果がＯＫである場合には、各判定条件に対応付けられた異なるＡＲコンテンツを表示することができる。
なお、上述した第１実施例に示すように、明暗領域のみを用いた判定条件の場合には、例えば、１方向（例えば、正面）から撮影された画像の明暗領域が、たまたま同じになってしまう可能性もある。そのため、同じＡＲマーカを予め設定された複数の角度（アングル）から撮影し、各アングルで設定された明暗領域に基づいて判定を行ってもよい。この場合、１つの角度から撮影された画像を用いて判定を行うか、複数の角度から撮影された画像を用いて判定を行うかは、管理者等が任意に設定するか、画像の特徴情報の特殊性に応じて使い分けてもよい。また、複数の角度からＡＲマーカを撮影する場合には、その位置（角度）から撮影するのかをナビゲートする情報を表示してもよい。ナビゲートする情報とは、例えばＡＲマーカの撮影時に、ＡＲマーカを入れるマーカ枠を画面に表示したり、撮影位置へ移動する方向を示す矢印を画面に表示する等があるが、これに限定されるものではない。
＜第２実施例における判定条件及びＡＲコンテンツの設定処理例＞
次に、第２実施例における判定条件及びＡＲコンテンツの設定処理例について説明する。第２実施例では、判定条件として上述した明暗情報（第１の特徴情報）だけでなく、撮影画像中に存在する実物体の特徴情報（第２の特徴情報）を利用してＡＲコンテンツの表示内容を変更する。
図２０は、第２実施例における判定条件及びＡＲコンテンツの設定処理を示すフローチャートである。図２０の例において、端末装置１２の認識部３６は、例えば管理者や作業者等のユーザが撮影した画像中のＡＲマーカを認識したか否かを判断する（Ｓ２１）。端末装置１２の認識部３６は、ＡＲマーカを認識していない場合（Ｓ２１において、ＮＯ）、ＡＲマーカを認識するまで待機する。また、ＡＲマーカを認識した場合（Ｓ２１において、ＹＥＳ）、端末装置１２の設定部３５は、認識したＡＲマーカ数が１つか否かを判断する（Ｓ２２）。
端末装置１２の設定部３５は、ＡＲマーカ数が１つでない場合（Ｓ２２において、ＮＯ）、同時に認識した複数のＡＲマーカに対して個別に明暗領域を設定するか否かを判断する（Ｓ２３）。端末装置１２の設定部３５は、同時に認識したＡＲマーカに個別に明暗領域を設定しない場合（Ｓ２３において、ＮＯ）、複数のＡＲマーカに対して１つの明暗領域を設定するために、同時に認識したＡＲマーカの組み合わせを設定する（Ｓ２４）。
また、端末装置１２の設定部３５は、Ｓ２３の処理において、同時に認識したＡＲマーカに個別に明暗領域を設定する場合（Ｓ２３において、ＹＥＳ）、又は、Ｓ２４の処理後、明暗領域（例えば、第１の特徴情報）を設定するか否かを判断する（Ｓ２５）。端末装置１２の設定部３５は、明暗領域を設定する場合（Ｓ２５において、ＹＥＳ）、それぞれのＡＲマーカ又はＡＲマーカの組み合わせに対応させて明暗領域を任意の箇所に設定する（Ｓ２６）。Ｓ２６の処理において、明暗領域を設定する場合には、例えば撮影画像を二値化し、二値化した画像に基づいて明暗領域を設定する。
また、端末装置１２の設定部３５は、Ｓ２５の処理において、明暗領域を設定しない場合（Ｓ２５において、ＮＯ）、又は、Ｓ２６の処理後、撮影画像中に含まれる物体に対する特徴情報（例えば、第２の特徴情報）を設定するか否かを判断する（Ｓ２７）。物体に対する特徴情報を設定する場合（Ｓ２７において、ＹＥＳ）、物体に対する特徴情報を設定し（Ｓ２８）、ＡＲコンテンツを設定する（Ｓ２９）。Ｓ２９の処理では、例えば明暗領域及び物体の特徴情報に対して両方の判定結果がＯＫの場合、一方の判定結果のみがＯＫの場合、両方の判定結果がＮＧの場合について、それぞれ設定することができるが、これに限定されるものではない。
次に、端末装置１２の設定部３５は、他の物体に対する特徴情報を設定するか否かを判断し（Ｓ３０）、他の物体を設定する場合（Ｓ３０において、ＹＥＳ）、Ｓ２８の処理に戻る。また、Ｓ２７の処理において、物体に対する特徴情報を設定しない場合（Ｓ２７において、ＮＯ）、又は、Ｓ３０の処理において、他の物体に対する特徴情報を設定しない場合（Ｓ３０において、ＮＯ）、認識したＡＲマーカ全てに対して設定が完了したか否かを判断する（Ｓ３１）。端末装置１２の設定部３５は、ＡＲマーカ全てに対して設定が完了していない場合（Ｓ３１において、ＮＯ）、Ｓ２５の処理に戻る。また、端末装置１２の設定部３５は、ＡＲマーカ全てに情報設定が完了した場合（Ｓ３１において、ＹＥＳ）、処理を終了する。
＜物体の特徴情報設定の具体例＞
図２１は、物体の特徴情報設定の具体例を説明するための図である。図２１の例では、上述した図８の例と同様に、端末装置１２で撮影された撮影画像１００中に含まれるＡＲマーカ９０（基準物）の中心を基準とした三次元座標系（Ｘ，Ｙ，Ｚ）（マーカ座標系）を基準に暗領域及び明領域の一方又は両方を設定する。更に、図２１の例では、撮影画像１００に含まれる物体（実物体）１３０に対する特徴情報を設定する。物体１３０は、撮影画像中に含まれる物体であればよく、例えばＡＲコンテンツを表示する対象物でもよい。なお、座標系は、三次元座標系に限定されるものではなく、例えば二次元座標系（Ｘ，Ｙ）であってもよい。
図２１の例では、撮影画像１００に存在する物体（ＰＣ本体）１３０を、ユーザが適切な位置で撮影されたか否かを判定する物体（判定用物体）として設定し、その物体が存在する領域を示す物体領域（例えば、物体座標値）と、判定時の特徴点情報（例えば、特徴点座標値）を設定する。また、特徴点情報としては、例えば物体領域内において、特徴抽出や輝度差抽出等による物体認識手法を用いて１又は複数の座標を取得することができるが、これに限定されるものではない。また、特徴点情報として、例えば予め判定用物体に対応する形状テンプレートを設定してもよい。
また、第２実施例では、画像の特徴情報としての明暗領域や判定用物体に対する特徴点情報等が設定された場合に、それらの判定条件を満たすか否かに応じてＡＲコンテンツ１０１の内容と表示位置を設定する。表示位置は、例えばＡＲマーカ９０の中心を基準にしたマーカ座標系により設定されてもよく、また撮影された画像のある位置を基準にしたスクリーン座標系により設定されてもよい。
＜第２実施例におけるデータ例＞
次に、第２実施例におけるデータ例について説明する。図２２は、第２実施例において端末装置が有するデータ例を示す図である。図２３は、第２実施例においてサーバが有するデータ例を示す図である。
図２２に示す端末装置１２が有するデータ例において、図２２（Ａ）は、データ管理テーブルの一例を示し、図２２（Ｂ）は、ＡＲコンテンツ管理テーブルの一例を示し、図２２（Ｃ）は、明暗領域管理テーブルの一例を示している。
図２２（Ａ）に示すデータ管理テーブルの項目としては、例えば「マーカＩＤ」、「ＯＫ時表示ＡＲコンテンツＩＤ」、「ＮＧ時表示ＡＲコンテンツＩＤ」、「明暗領域ＩＤ」、「物体ＩＤ」等であるが、これに限定されるものではない。図２２（Ａ）の例では、上述した図９（Ａ）に示すデータ管理テーブルと比較すると、「物体ＩＤ」を有している。物体ＩＤは、上述した判定用物体を識別するための情報である。
図２２（Ｂ）に示すＡＲコンテンツ管理テーブルの項目としては、例えば「ＡＲコンテンツＩＤ」、「座標値」、「回転角度」、「拡縮率」、「テクスチャパス」等があるが、これに限定されるものではない。図２２（Ｂ）の各項目は、上述した図９（Ｂ）に示すテーブルの各項目と同様である。
図２２（Ｃ）に示す明暗領域管理テーブルの項目としては、例えば「明暗領域ＩＤ」、「座標値」、「明暗値」等であるが、これに限定されるものではない。図２２（Ｃ）の各項目は、上述した図９（Ｃ）に示すテーブルの各項目と同様である。
図２２（Ｄ）に示す物体管理テーブルの項目としては、例えば「物体ＩＤ」、「物体座標値」、「ＯＫ時表示ＡＲコンテンツＩＤ」、「特徴点座標値」等であるが、これに限定されるものではない。
物体ＩＤは、上述した判定用物体を識別するための情報である。物体座標値は、例えば判定用物体が存在する領域の情報であり、マーカ座標系等を用いて設定される。ＯＫ時表示ＡＲコンテンツＩＤは、判定用物体の特徴情報を用いた判定結果がＯＫであった場合に、表示されるＡＲコンテンツを識別するための情報である。特徴点座標値は、物体ＩＤに対応する判定用物体の特徴情報であり、物体認識により取得される特徴点の情報が設定されている。なお、特徴点座標値の場所や数は、ユーザが指定することで設定してもよく、物体ＩＤ毎に異なっていてもよい。なお、図２２（Ｄ）に示す物体管理テーブルは、例えばＮＧ時表示ＡＲコンテンツを設定してもよい。
図２３に示すサーバ１１が有するデータ例において、図２３（Ａ）はマーカＩＤ管理テーブルの一例を示し、図２３（Ｂ）は、ＡＲコンテンツ管理テーブルの一例を示し、図２３（Ｃ）は、マーカＩＤ管理テーブルの一例を示し、図２３（Ｄ）は、物体管理テーブルの一例を示している。
図２３（Ａ）に示すマーカＩＤ管理テーブルの項目としては、「マーカＩＤ」、「ＯＫ時表示ＡＲコンテンツＩＤ」、「ＮＧ時表示ＡＲコンテンツＩＤ」、「明暗領域ＩＤ」、「物体ＩＤ」等であるが、これに限定されるものではない。図２３（Ａ）の例では、上述した図１０（Ａ）に示すマーカＩＤ管理テーブルと比較すると、「物体ＩＤ」を有している。物体ＩＤは、上述した判定用物体を識別するための情報である。
図２３（Ｂ）に示すＡＲコンテンツ管理テーブルの項目としては、例えば「ＡＲコンテンツＩＤ」、「座標値」、「回転角度」、「拡縮率」、「テクスチャパス」等があるが、これに限定されるものではない。図２３（Ｂ）の各項目は、上述した図１０（Ｂ）に示すＡＲコンテンツ管理テーブルの各項目と同様である。
図２３（Ｃ）に示す明暗領域管理テーブルの項目としては、例えば「明暗領域ＩＤ」、「座標値」、「明暗値」等があるが、これに限定されるものではない。なお、図２３（Ｃ）の各項目は、上述した図１０（Ｃ）に示す明暗領域管理テーブルの各項目と同様である。
図２３（Ｄ）に示す物体管理テーブルの項目としては、例えば「物体ＩＤ」、「物体座標値」、「ＯＫ時表示ＡＲコンテンツＩＤ」、「特徴点座標値」等であるが、これに限定されるものではない。
図２３（Ａ）〜図２３（Ｄ）に示すデータ例は、上述した図２２（Ａ）〜図２２（Ｄ）に示す内容と同様の項目であるが、サーバ１１には、１又は複数の端末装置１２から情報を取得することができる。したがって、図２３に示すような各テーブルを管理する際には、例えば登録した端末装置１２の識別情報も含めて管理してもよい。
＜第２実施例における判定処理＞
図２４は、第２実施例における判定処理を示すフローチャートである。図２４の例において、端末装置１２の認識部３６は、例えば撮像部３２によるカメラ撮影を開始し、撮影中の画像からＡＲマーカを認識したか否かを判断する（Ｓ４１）。端末装置１２の認識部３６は、ＡＲマーカを認識していない場合（Ｓ４１において、ＮＯ）、ＡＲマーカを認識するまで待機する。
また、Ｓ４１の処理において、ＡＲマーカを認識した場合（Ｓ４１において、ＹＥＳ）、端末装置１２の判定部３８は、明暗領域が事前に設定されているか否かを判断する（Ｓ４２）。事前に設定されているか否かは、例えば上述した第１実施例と同様に、ＡＲマーカの認識により得られたマーカＩＤに基づいてサーバ１１に問い合わせを行い、取得した判定条件に明暗領域情報が含まれているか否かで判断することができる。
端末装置１２の判定部３８は、明暗領域が事前に設定されている場合（Ｓ４２において、ＹＥＳ）、事前に設定された明暗領域（例えば、第１の特徴情報）が、現在の撮影画像の明暗領域と一致するか否かを判断する（Ｓ４３）。Ｓ４３の処理では、明暗領域に対応する特徴点の座標値（領域の座標値）が一致するか否かについては、完全に一致していなくても座標値同士の差分値が所定の許容範囲内にある場合には、一致しているとみなしてもよい。また、Ｓ４３の処理では、現在の撮影画像の明暗領域が、事前に設定された明暗領域を含んでいるか否かを判断し、含んでいれば一致しているとみなしてもよい。
Ｓ４２の処理において、明暗領域が事前に設定されていない場合（Ｓ４２において、ＮＯ）、又は、Ｓ４３の処理において、明暗領域が現在の撮影画像の明暗情報と一致しない場合（Ｓ４３において、ＮＯ）、端末装置１２は、画像生成部４０により生成された判定結果がＮＧ時のＡＲコンテンツを表示する（Ｓ４４）。なお、Ｓ４４の処理では、ＡＲコンテンツを表示させない処理を行ってもよい。
また、Ｓ４３の処理において、明暗領域が現在の撮影画像の明暗情報と一致する場合（Ｓ４３において、ＹＥＳ）、次に、端末装置１２の判定部３８は、物体の特徴情報が事前に設定されているか否かを判断する（Ｓ４５）。ここで、物体の特徴情報とは、上述したように撮影画像内に存在する実物体（判定用物体）の特徴点の情報等であるが、これに限定されるものではない。また、物体の特徴情報が事前に設定されているか否かは、サーバ１１から取得した判定条件に物体の特徴情報が含まれているか否かにより判断することができるが、これに限定されるものではない。
物体の特徴情報が事前に設定されている場合（Ｓ４５において、ＹＥＳ）、端末装置１２の判定部３８は、物体の特徴情報（例えば、第２の特徴情報）が現在の撮影画像の物体の特徴情報と一致するか否かを判断する（Ｓ４６）。物体の特徴情報の一致については、上述したように特徴点の差分値に対する所定の許容範囲を設けて、その許容範囲内であれば、一致していると判定することができるが、これに限定されるものではない。また、Ｓ４６の処理では、現在の撮影画像の物体の特徴情報が、事前に設定された物体の特徴情報を含んでいるか否かを判断し、含んでいれば一致しているとみなしてもよい。
また、端末装置１２の判定部３８は、物体の特徴情報の取得は、予め設定された物体領域の中のみで物体認証を行うことで、画像全体に対して物体認証を行うよりも迅速に物体の特徴情報を取得することができる。
Ｓ４５の処理において、物体の特徴情報が事前に設定されていない場合（Ｓ４５において、ＮＯ）、又は、Ｓ４６の処理において、物体の特徴情報が現在の撮影画像の物体の特徴情報と一致しない場合（Ｓ４６において、ＮＯ）、端末装置１２は、画像生成部４０により生成された明暗情報の判定結果がＯＫ時のＡＲコンテンツを表示する（Ｓ４７）。また、物体の特徴情報が現在の撮影画像の物体の特徴情報と一致する場合（Ｓ４６において、ＹＥＳ）、画像生成部４０により生成された明暗領域及び物体の特徴情報の判定結果がＯＫ時のＡＲコンテンツを表示する（Ｓ４８）。
これにより、撮影されたＡＲマーカの周囲の明暗情報と、判定用物体の特徴情報とを用いて判定を行うことで、ＡＲマーカに対応する情報（例えば、ＡＲコンテンツ等）を適切にユーザに提供することができる。例えば、第２実施例では、マーカＩＤとＡＲマーカの背景画像の明暗情報や、重畳情報の内容を切り替える判定用物体を利用することで、重畳情報の出力を抑止することができ、現場での重畳情報の出力状態を切り替えることができる。これにより、第２実施例では、ＡＲマーカの不正コピーや、システムの不正利用による重畳情報の出力を抑止することができる。
＜第２実施例における表示画面例＞
図２５は、第２実施例における表示画面例を示す図である。図２５（Ａ）の例に示すような端末装置１２が撮影した撮影画像からＡＲコンテンツを表示する対象物であるパイプ８０に取り付けられたＡＲマーカ９０を認識すると、そのマーカＩＤをサーバ１１に送信し、対応する判定条件及び判定結果に応じて表示されるＡＲコンテンツ等を取得する。なお、マーカＩＤに対応するＡＲコンテンツは、端末装置１２が予め保持しておいてもよい。また、マーカＩＤに対応する判定についても、サーバ１１を介さずに端末装置１２が行い、端末装置１２に保持されたＡＲコンテンツを取得してもよい。なお、第２実施例における判定条件は、明暗情報と判定用物体（実物体）の特徴情報である。
次に、取得した判定条件に基づいて判定を行う。明暗情報と判定用物体の両方の判定結果がＮＧである場合には、上述した図１６（Ｂ）の例に示すようなエラーメッセージ（ＡＲコンテンツ１２０−１）が画面に表示される。また、明暗領域の判定結果がＯＫで、物体を用いた判定結果がＮＧであった場合には、図１６（Ｃ）と同様に図２５（Ｂ）に示すようにＡＲマーカ９０に対応付けられたＡＲコンテンツ１２０−２〜１２０−５が、撮影画像１００に重畳されて画面表示される。この場合、判定用の物体１３０に対するＡＲコンテンツは表示されない。
また、明暗領域及び物体の特徴情報の両方の判定結果がＯＫであった場合には、図２５（Ｃ）に示すように、明暗判定時のＡＲコンテンツ１２０−２〜１２０−５と共に、判定用の物体１３０に対応付けられたＡＲコンテンツ１２０−６が表示される。
なお、上述した図２５（Ｂ）の例においては、明暗領域と物体の特徴情報の両方の判定結果がＯＫでない場合には、ＯＫ時のＡＲコンテンツを表示しないように設定してもよい。
なお、表示内容としては、これに限定されるものではなく、例えば判定時の時間情報やユーザ識別情報等に対応させて、スケジュール情報や、個別の内容等をＡＲコンテンツとして表示させてもよい。
このように、マーカＩＤとマーカの背景画像の明暗情報や、重畳情報の表示内容を切り替える判定用物体を利用することで、単純にマーカＩＤのみを認識した場合に、重畳情報（ＡＲコンテンツ）の出力を抑止することができる。
なお、本実施形態における表示制御は、上述した第１及び第２実施例に限定されるものではなく、例えば上述した第１及び第２実施例の一部又は全部を組み合わせてもよい。例えば、第２実施例では、明暗領域及び判定用物体の特徴情報を適切な位置でＡＲマーカを撮影したかを判定するための判定条件としたが、これに限定されるものではなく、例えば、判定用物体の特徴情報のみを用いて判定を行ってもよい。
ここで、本実施形態で用いられる画像の特徴情報としては、上述したような明暗情報や判定用物体の特徴情報に限定されるものではない。例えば、明暗情報であれば、明度が閾値以上の領域が存在するか否か、画像中に含まれる明領域又は暗領域の数、明度が均一な領域が存在するか否か等を有してもよく、これらの条件を組み合わせたものでもよい。また、判定用物体の特徴情報であれば、画像中における物体の数、物体の大きさ、形状等を有してもよく、これらの条件を組み合わせたものでもよい。
これに限定されるものではない。
上述したように、本実施形態によれば、適切な表示制御を実現することができる。例えば、端末装置１２によりＡＲマーカの認識が行われると、マーカ認識に伴い取得された画像情報が、マーカを含んで事前に撮影された画像の特徴（画像内の明暗情報又は特徴点情報）と一致するか否かを判定し、判定結果に応じてマーカと対応付けられた重畳情報の出力の制御（出力有無の制御、出力内容の制御）を行う。なお、上記の判定は、端末装置１２が行ってもよく、サーバ１１で行ってもよい。
また、本実施形態では、明暗情報による重畳情報の切り替えを行う際、画像の２値化という簡素な処理による明暗情報を用いることで、重畳切り替えの複雑度を低くすることができる。また、上述したように、判定用の物体を用いた表示制御では、物体の認識精度は特徴点等を利用した認識であるため低くなり、重畳切り替えの複雑度は物体を用いた判定により高くなる。
このように、マーカＩＤとマーカの背景画像の明暗情報や、重複情報の出力状態を切り替える判定用物体を利用することで、単純にマーカＩＤのみを認識した場合に、重畳情報（ＡＲコンテンツ）の出力を抑止することができる。また、本実施形態では、例えばマーカの不正コピーやシステムの不正使用による重畳情報の出力を抑止し、出力状態を切り替える物体や、マーカ背景の明暗状態を現場で変更することで適切な表示制御を実現することができる。
以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、上述した実施例の一部又は全部を組み合わせることも可能である。
なお、以上の実施例に関し、更に以下の付記を開示する。
（付記１）
入力画像に含まれる基準物を認識する認識部と、
前記基準物の認識に用いられた入力画像の特徴情報が、前記認識された基準物の識別情報に対応付けられた特徴情報を含むかを判定する判定部と、
前記判定部による判定結果に基づいて、前記入力画像に前記識別情報に対応付けられたコンテンツを重畳した画像を生成する画像生成部とを有することを特徴とする端末装置。
（付記２）
前記入力画像の特徴情報は、前記入力画像の明暗情報又は前記画像に含まれる物体の特徴点情報であることを特徴とする付記１に記載の端末装置。
（付記３）
前記判定部は、
複数の方向から撮影された前記基準物の認識に用いられた入力画像の特徴情報を用いて前記判定を行うことを特徴とする付記１又は２に記載の端末装置。
（付記４）
前記判定部は、
時間情報に対応して設定された前記入力画像の特徴情報を用いて前記判定を行うことを特徴とする付記１乃至３の何れか１項に記載の端末装置。
（付記５）
前記画像生成部は、
前記判定部の判定結果に応じて前記時間情報に対応して設定されたコンテンツを前記画像に重畳することを特徴とする付記４に記載の端末装置。
（付記６）
前記認識部による前記識別情報の読み取りに伴い取得した入力画像に対し、前記基準物に対応付けて前記入力画像の特徴情報及び前記コンテンツを設定する設定部を有することを特徴とする付記１乃至５の何れか１項に記載の端末装置。
（付記７）
端末装置で入力画像に含まれる基準物を認識した際、前記基準物の認識に用いられた入力画像の特徴情報が、前記認識された基準物の識別情報に対応付けられた特徴情報を含むかを判定し、判定した結果に基づいて前記識別情報に対応付けられたコンテンツを抽出する抽出部と、
前記抽出部により抽出されたコンテンツを前記端末装置に送信する通信部とを有することを特徴とする情報処理装置。
（付記８）
端末装置が、
入力画像に含まれる基準物を認識し、
前記基準物の認識に用いられた入力画像の特徴情報が、前記認識された基準物の識別情報に対応付けられた特徴情報を含むかを判定し、
判定結果に基づいて、前記入力画像に前記識別情報に対応付けられたコンテンツを重畳した画像を生成することを特徴とする表示制御方法。
（付記９）
入力画像に含まれる基準物を認識し、
前記基準物の認識に用いられた入力画像の特徴情報が、前記認識された基準物の識別情報に対応付けられた特徴情報を含むかを判定し、
判定結果に基づいて、前記入力画像に前記識別情報に対応付けられたコンテンツを重畳した画像を生成する、処理をコンピュータに実行させる表示制御プログラム。
１０ 情報処理システム
１１ サーバ（情報処理装置）
１２ 端末装置
１３ 通信ネットワーク
２１，３１ 通信部
２２，３３ 記憶部
２３ 登録部
２４ 抽出部
２５，４１ 制御部
３２ 撮像部
３４，６３ 表示部
３５ 設定部
３６ 認識部
３７ 取得部
３８ 判定部
３９ コンテンツ生成部
４０ 画像生成部
５１ 入力装置
５２ 出力装置
５３，７２ ドライブ装置
５４，６９ 補助記憶装置
５５，７０ 主記憶装置
５６，７１ ＣＰＵ
５７ ネットワーク接続装置
５８,７３ 記録媒体
６１ マイク
６２ スピーカ
６４ 操作部
６５ センサ部
６６ 電力部
６７ 無線部
６８ 近距離通信部
８０ パイプ（配管）
８１ バルブ（弁）
８２ サーバラック
９０ ＡＲマーカ（基準物）
１００ 撮影画像
１０１，１２０ ＡＲコンテンツ
１１０ 二値化画像
１１１ 設定画像
１３０ 物体

Claims (8)

  1. 入力画像に含まれる基準物を認識する認識部と、
    前記入力画像のうち、前記基準物とは異なる領域の特徴情報が、前記認識された基準物の識別情報に対応付けられた特徴情報を含むかを判定する判定部と、
    前記判定部による判定結果に基づいて、前記入力画像に前記識別情報に対応付けられたコンテンツを重畳した画像を生成する画像生成部と
    を有することを特徴とする端末装置。
  2. 前記入力画像のうち、前記基準物とは異なる領域の特徴情報は、前記入力画像のうち、前記基準物とは異なる領域の明暗情報又は前記基準物とは異なる領域に含まれる物体の特徴点情報であることを特徴とする請求項１に記載の端末装置。
  3. 前記判定部は、
    複数の方向から撮影された前記入力画像の前記基準物とは異なる領域の特徴情報を用いて前記判定を行うことを特徴とする請求項１又は２に記載の端末装置。
  4. 前記判定部は、
    時間情報に対応して設定された、前記入力画像の前記基準物とは異なる領域の特徴情報を用いて前記判定を行うことを特徴とする請求項１乃至３の何れか１項に記載の端末装置。
  5. 前記基準物の識別情報に対応付けて、前記入力画像の前記基準物とは異なる領域の特徴情報及び前記コンテンツを設定する設定部を有することを特徴とする請求項１乃至４の何れか１項に記載の端末装置。
  6. 端末装置で入力画像に含まれる基準物を認識した際、前記入力画像のうち、前記基準物とは異なる領域の特徴情報が、前記認識された基準物の識別情報に対応付けられた特徴情報を含むかを判定し、判定した結果に基づいて前記識別情報に対応付けられたコンテンツを抽出する抽出部と、
    前記抽出部により抽出されたコンテンツを前記端末装置に送信する通信部とを有することを特徴とする情報処理装置。
  7. 端末装置が、
    入力画像に含まれる基準物を認識し、
    前記入力画像のうち、前記基準物とは異なる領域の特徴情報が、前記認識された基準物の識別情報に対応付けられた特徴情報を含むかを判定し、
    判定結果に基づいて、前記入力画像に前記識別情報に対応付けられたコンテンツを重畳した画像を生成する
    ことを特徴とする表示制御方法。
  8. 入力画像に含まれる基準物を認識し、
    前記入力画像のうち、前記基準物とは異なる領域の特徴情報が、前記認識された基準物の識別情報に対応付けられた特徴情報を含むかを判定し、
    判定結果に基づいて、前記入力画像に前記識別情報に対応付けられたコンテンツを重畳した画像を生成する、
    処理をコンピュータに実行させる表示制御プログラム。
JP2014021589A 2014-02-06 2014-02-06 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム Active JP6244954B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014021589A JP6244954B2 (ja) 2014-02-06 2014-02-06 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
US14/601,624 US9990773B2 (en) 2014-02-06 2015-01-21 Terminal, information processing apparatus, display control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014021589A JP6244954B2 (ja) 2014-02-06 2014-02-06 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2015148957A JP2015148957A (ja) 2015-08-20
JP6244954B2 true JP6244954B2 (ja) 2017-12-13

Family

ID=53755284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014021589A Active JP6244954B2 (ja) 2014-02-06 2014-02-06 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム

Country Status (2)

Country Link
US (1) US9990773B2 (ja)
JP (1) JP6244954B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6256430B2 (ja) * 2015-08-17 2018-01-10 コニカミノルタ株式会社 コンテンツ提供サーバ、コンテンツ提供方法、およびコンピュータプログラム
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
KR20180041890A (ko) * 2016-10-17 2018-04-25 삼성전자주식회사 가상 객체를 표시하는 방법 및 장치
US20180268614A1 (en) * 2017-03-16 2018-09-20 General Electric Company Systems and methods for aligning pmi object on a model
US10489651B2 (en) * 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment
US20180357826A1 (en) * 2017-06-10 2018-12-13 Tsunami VR, Inc. Systems and methods for using hierarchical relationships of different virtual content to determine sets of virtual content to generate and display
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
KR102199686B1 (ko) * 2018-10-24 2021-01-07 디에스글로벌(주) 위치정보 및 시간정보 기반의 ar 컨텐츠 제공 방법 및 시스템
US11145123B1 (en) * 2018-04-27 2021-10-12 Splunk Inc. Generating extended reality overlays in an industrial environment
US11847773B1 (en) 2018-04-27 2023-12-19 Splunk Inc. Geofence-based object identification in an extended reality environment
JP6640294B1 (ja) * 2018-08-24 2020-02-05 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、携帯端末装置、及び方法
WO2020163218A1 (en) * 2019-02-04 2020-08-13 Beam Therapeutics Inc. Systems and methods for implemented mixed reality in laboratory automation
JP7449672B2 (ja) 2019-11-05 2024-03-14 ユニ・チャーム株式会社 表示制御装置、表示制御方法及び表示制御プログラム
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US11374808B2 (en) * 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697761B2 (en) 2000-09-19 2004-02-24 Olympus Optical Co., Ltd. Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system
US6765569B2 (en) 2001-03-07 2004-07-20 University Of Southern California Augmented-reality tool employing scene-feature autocalibration during camera motion
JP2003281297A (ja) 2002-03-22 2003-10-03 National Institute Of Advanced Industrial & Technology 情報提示装置および情報提示方法
US8064650B2 (en) 2002-07-10 2011-11-22 Hewlett-Packard Development Company, L.P. File management of digital images using the names of people identified in the images
US7427996B2 (en) 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US7876359B2 (en) 2003-01-17 2011-01-25 Insitu, Inc. Cooperative nesting of mechanical and electronic stabilization for an airborne camera system
US9002497B2 (en) 2003-07-03 2015-04-07 Kla-Tencor Technologies Corp. Methods and systems for inspection of wafers and reticles using designer intent data
US7277572B2 (en) 2003-10-10 2007-10-02 Macpearl Design Llc Three-dimensional interior design system
JPWO2005119539A1 (ja) 2004-06-04 2008-04-03 三菱電機株式会社 動作環境を証明する証明書発行サーバ及び証明システム
SE525826C2 (sv) 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
US8004574B2 (en) 2004-07-21 2011-08-23 Nokia Corporation Portable electronic devices with picture in picture capability
EP1720131B1 (en) 2005-05-03 2009-04-08 Seac02 S.r.l. An augmented reality system with real marker object identification
JP4743522B2 (ja) 2006-03-15 2011-08-10 株式会社日立プラントテクノロジー 画像データ記録方法、画像データによる作業実績記録方法、画像データ記録装置、並びに画像データによる作業実績記録システム
KR100914515B1 (ko) * 2006-06-23 2009-09-02 주식회사 칼라짚미디어 색상 기반 이미지 코드의 색상 판별 방법
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
FR2911707B1 (fr) * 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
US20080266323A1 (en) 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
JP4607208B2 (ja) 2007-05-23 2011-01-05 コワングウーン ユニバーシティー リサーチ インスティテュート フォー インダストリー コーオペレーション 立体映像ディスプレイ方法
US20080310686A1 (en) 2007-06-15 2008-12-18 Martin Kretz Digital camera system and method of storing image data
JP4788732B2 (ja) 2008-04-18 2011-10-05 コニカミノルタビジネステクノロジーズ株式会社 表示操作部を備えた装置
US8542906B1 (en) 2008-05-21 2013-09-24 Sprint Communications Company L.P. Augmented reality image offset and overlay
EP2457627B1 (en) 2008-06-30 2014-06-25 Sony Computer Entertainment Inc. Portable type game device and method for controlling portable type game device
US20100048290A1 (en) 2008-08-19 2010-02-25 Sony Computer Entertainment Europe Ltd. Image combining method, system and apparatus
JP5298984B2 (ja) 2009-03-17 2013-09-25 株式会社リコー ヘルプ情報提供システム、サーバ装置、対象機器、携帯通信端末、ヘルプ情報提供方法、プログラム及び記録媒体
WO2011004534A1 (ja) 2009-07-09 2011-01-13 株式会社 日立ハイテクノロジーズ 半導体欠陥分類方法，半導体欠陥分類装置，半導体欠陥分類プログラム
US8502835B1 (en) 2009-09-02 2013-08-06 Groundspeak, Inc. System and method for simulating placement of a virtual object relative to real world objects
US8451266B2 (en) * 2009-12-07 2013-05-28 International Business Machines Corporation Interactive three-dimensional augmented realities from item markers for on-demand item visualization
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
JP2013141049A (ja) * 2010-03-24 2013-07-18 Hitachi Ltd 世界座標系データベースを利用したサーバ及び端末
US20110234631A1 (en) 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
US8982156B2 (en) * 2010-06-10 2015-03-17 Sartorius Stedim Biotech Gmbh Assembling method, operating method, augmented reality system and computer program product
JP4914528B1 (ja) * 2010-08-31 2012-04-11 新日鉄ソリューションズ株式会社 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム
US9483677B2 (en) * 2010-09-20 2016-11-01 Hid Global Corporation Machine-readable symbols
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US8854356B2 (en) 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
US10909564B2 (en) 2010-11-17 2021-02-02 PicScore, Inc. Fast and versatile graphical scoring device and method
JP2012128578A (ja) * 2010-12-14 2012-07-05 Ntt Docomo Inc 携帯端末および画像処理方法
JP5859843B2 (ja) 2010-12-24 2016-02-16 新日鉄住金ソリューションズ株式会社 情報処理装置、情報処理方法、及びプログラム
KR20120073726A (ko) * 2010-12-27 2012-07-05 주식회사 팬택 증강 현실 정보 제공을 위한 인증 장치 및 방법
JP5799521B2 (ja) 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US10133950B2 (en) 2011-03-04 2018-11-20 Qualcomm Incorporated Dynamic template tracking
JP5752959B2 (ja) 2011-03-10 2015-07-22 株式会社三共 遊技機関連情報配信システム、遊技機関連情報配信装置および携帯端末用アプリケーションプログラム
US20120249588A1 (en) * 2011-03-22 2012-10-04 Panduit Corp. Augmented Reality Data Center Visualization
JP2012215989A (ja) 2011-03-31 2012-11-08 Toppan Printing Co Ltd 拡張現実表示方法
US10242456B2 (en) 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)
US8872852B2 (en) * 2011-06-30 2014-10-28 International Business Machines Corporation Positional context determination with multi marker confidence ranking
KR101832959B1 (ko) 2011-08-10 2018-02-28 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US8749396B2 (en) * 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5783885B2 (ja) * 2011-11-11 2015-09-24 株式会社東芝 情報提示装置、その方法及びそのプログラム
JP6226510B2 (ja) 2012-01-27 2017-11-08 キヤノン株式会社 画像処理システム、処理方法及びプログラム
JP2013165366A (ja) 2012-02-10 2013-08-22 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP6045796B2 (ja) 2012-02-27 2016-12-14 京セラ株式会社 映像処理装置、映像処理方法、および映像表示システム
US9087178B2 (en) 2012-04-25 2015-07-21 Convivial Corporation System and method for posting content to network sites
US20140002443A1 (en) 2012-06-29 2014-01-02 Blackboard Inc. Augmented reality interface
US9448758B2 (en) * 2012-07-18 2016-09-20 The Boeing Company Projecting airplane location specific maintenance history using optical reference points
TWI475474B (zh) 2012-07-30 2015-03-01 Mitac Int Corp Gesture combined with the implementation of the icon control method
US20140123507A1 (en) 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination
US8887991B2 (en) * 2012-12-27 2014-11-18 Ciena Corporation Method and apparatus for configuring and validating telecom and datacom systems
US9336629B2 (en) * 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
US9269011B1 (en) 2013-02-11 2016-02-23 Amazon Technologies, Inc. Graphical refinement for points of interest
US9946963B2 (en) * 2013-03-01 2018-04-17 Layar B.V. Barcode visualization in augmented reality
US9418378B2 (en) 2013-03-15 2016-08-16 Gilt Groupe, Inc. Method and system for trying out a product in relation to a real world environment
US9898844B2 (en) 2013-12-31 2018-02-20 Daqri, Llc Augmented reality content adapted to changes in real world space geometry
JP6217437B2 (ja) * 2014-02-14 2017-10-25 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
US20150277686A1 (en) 2014-03-25 2015-10-01 ScStan, LLC Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format

Also Published As

Publication number Publication date
US9990773B2 (en) 2018-06-05
US20150221134A1 (en) 2015-08-06
JP2015148957A (ja) 2015-08-20

Similar Documents

Publication Publication Date Title
JP6244954B2 (ja) 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
AU2017203098B2 (en) Information processing system and display control method
US10163266B2 (en) Terminal control method, image generating method, and terminal
US10043314B2 (en) Display control method and information processing apparatus
JP6217437B2 (ja) 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP6424601B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
US20160012612A1 (en) Display control method and system
US20180214767A1 (en) Data processing method for reactive augmented reality card game and reactive augmented reality card game play device, by checking collision between virtual objects
US20150302623A1 (en) Display control method and system
US9854148B2 (en) Micro-location of devices within a wireless network using room boundary images
US20160284130A1 (en) Display control method and information processing apparatus
US20220311950A1 (en) Systems and methods for placing annotations in an augmented reality environment using a center-locked interface
CN110800314B (zh) 计算机系统、远程操作通知方法以及记录介质
JP6543924B2 (ja) 情報処理方法、情報処理プログラム、及び情報処理装置
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
JP2017163195A (ja) 画像処理システム、プログラム、画像処理方法
JP6524706B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
KR102260193B1 (ko) 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템
JP6413521B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
US20210329099A1 (en) Electronic apparatus and data transmission method thereof
KR102214292B1 (ko) 모바일 마케팅 어플리케이션 통합 시스템
JP2014119811A (ja) 情報処理装置、システム、情報処理方法、及びプログラム
CN114856527A (zh) 丛式井中井口间距的确定方法、装置及计算机存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171030

R150 Certificate of patent or registration of utility model

Ref document number: 6244954

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150