JP6524706B2 - 表示制御方法、表示制御プログラム、及び情報処理装置 - Google Patents

Description

本発明は、表示制御方法、表示制御プログラム、及び情報処理装置に関する。

カメラ等の撮像装置により撮像された画像の一部にオブジェクトデータを重畳して表示させる拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術が知られている。ＡＲ技術では、撮像画像から認識されたＡＲマーカ等の基準物（画像データ）に対する位置情報や識別情報（マーカＩＤ）に基づき、拡張空間に重畳して表示されるオブジェクトデータを配置する処理（以下、必要に応じて「オーサリング処理」という）がある。

上述したオーサリング処理後のＡＲ表示では、撮像装置により撮像された画像からＡＲマーカの画像が写っているかを認識し、認識したＡＲマーカの画像からマーカＩＤを読み取る。また、上述したオーサリング処理によりマーカＩＤに対応付けられたオブジェクトデータと配置位置情報とを含むＡＲコンテンツを取得し、マーカ領域の大きさや形状（歪み）から、マーカとカメラとの位置関係を推定する。また、推定した位置関係を用いて、オブジェクトデータの配置（位置、向き等）を決定し、決定した配置でオブジェクトデータを撮影画像に重畳表示する。

ここで、従来のオーサリング処理では、撮影画像に含まれるＡＲマーカに対応させてオブジェクトデータの配置位置を指定する際、１つの視点から奥行き方向の位置指定を行うことが難しい。奥行き方向の位置指定の精度が悪いと、実際のＡＲ表示のときに、見る角度によっては、オブジェクトデータが変な位置に重畳表示されてしまう。そのため、オーサリング処理時には、複数の視点からみて配置位置を微調整しながら、オブジェクトデータの最終的な配置位置を決定する必要が生じ、オーサリング処理の実施するユーザ（管理者）等の作業負担が大きくなる。

なお、ＡＲ表示時において、オーサリング処理時におけるカメラの視線方向と同一の視線方向でＡＲマーカを撮影した場合には、奥行き方向の精度が低くても、オブジェクトデータが変な位置に表示されることはない。これは、オーサリング処理時とＡＲ表示時で、同じ画角の画像が撮影されるからであり、オーサリング処理時に参照した画像上での指定位置（Ｘ，Ｙ）さえ正しく指定できれば、ＡＲ表示時も（Ｘ，Ｙ）平面に関しては同じ位置に表示されるため、奥行き方向（Ｚ）の影響がでない状態になるためである。

上述の内容を踏まえると、単純にオーサリング処理時のカメラの方向を目印として、床にテープを張り、ＡＲ表示時には、そのテープが張られた位置からＡＲマーカを撮影するように、ユーザに周知することで、Ｚ方向の指定精度に依存せず、変な位置にオブジェクトデータが表示されることを防ぐことができる。

特開２０１３−１９６６３０号公報

しかしながら、ユーザにオーサリング処理時と同じ位置からの撮影を行わせるのは、ユーザの利便性に欠ける。また、物理的にオーサリング処理時のカメラ方向と異なる方向でしか、その後、ＡＲマーカ等の基準物を撮影できないような場合もある。そのため、撮影位置がオーサリング処理時と異なる視点から撮影された画像であってもオブジェクトデータの重畳表示の表示精度を向上させる必要がある。

一つの側面では、本発明は、オブジェクトデータの重畳表示の表示精度を向上させることを目的とする。

一つの態様では、表示制御方法は、オブジェクトデータの設定処理において、撮像装置が生成した第１の画像データに含まれる物体と、前記撮像装置との位置関係を示す第１の情報を生成して記憶部に記憶し、オブジェクトデータの表示処理において、前記撮像装置が生成した第２の画像データに前記物体が含まれる場合、該物体と前記撮像装置との位置関係を示す第２の情報を生成し、前記第１の情報と前記第２の情報と、に基づき、前記第２の画像データを、前記記憶部に記憶された前記位置関係で撮影された場合に前記撮像装置が生成する第３の画像データへ変換し、前記第３の画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記第３の画像データに含まれる前記物体の位置に応じて重畳表示する、処理をコンピュータが実行する。

一つの側面として、オブジェクトデータの重畳表示の表示精度を向上させることができる。

表示制御システムの概略構成の一例を示す図である。 表示装置の機能構成の一例を示す図である。 表示装置のハードウェア構成の一例を示す図である。 オーサリング処理における表示制御処理の一例を示すフローチャートである。 本実施形態で用いられるデータ例を示す図である。 ＡＲ表示における表示制御処理の一例を示すフローチャートである。 カメラ視線変換処理の一例を示すフローチャートである。 オブジェクトデータの表示例を示す図である。 カメラ視線が異なる場合の表示制御処理の一例を示す図である。 本実施形態の利用シーンを説明するための図である。

以下、図面に基づいて実施形態を説明する。

＜表示制御システムの概略構成例＞
図１は、表示制御システムの概略構成の一例を示す図である。図１に示す表示制御システム１０は、サーバ１１と、１又は複数の表示装置１２−１〜１２−ｎ（以下、必要に応じて「表示装置１２」と総称する）とを有する。サーバ１１及び表示装置１２は、情報処理装置の一例である。サーバ１１及び表示装置１２は、例えば通信ネットワーク１３によりデータの送受信が可能な状態で接続されている。

サーバ１１は、基準物の一例としてのＡＲマーカ、及びＡＲマーカに対応付けて登録された１又は複数のＡＲコンテンツが管理されている。ここで、ＡＲマーカとは、例えばＡＲコンテンツ等の各種コンテンツ情報の内容や表示する位置等を指定するための標識となるものである。ＡＲマーカは、例えば二次元コード等のように、所定の領域内に所定の模様や文字パターン等が形成された画像中に含まれる物体等であるが、これに限定されるものではない。

基準物の一例としては、ＡＲマーカに限定されるものではなく、例えば壁掛け時計や絵画、壁紙、置物等の所定の物体であってもよい。基準物の認識は、例えば物体の形状や色、模様等に対応する特徴情報と、予め設定された基準物毎の特徴情報とを比較（パターンマッチング）して、物体を特定することで、その実物体に対応する識別情報（ＩＤ）を上述したマーカＩＤとして用いることができる。

ＡＲコンテンツとは、例えば現実空間に対応する三次元の仮想空間上に配置された物体のモデルデータ等であり、例えば表示装置１２で撮影された画像に重畳して表示される重畳用の画像データ等のオブジェクトデータと、その配置位置情報とを有する。オブジェクトデータは、例えば撮影画像中に含まれるＡＲマーカの大きさや形状（歪み）等から推定されるＡＲマーカとカメラ等の撮像装置との位置関係（配置位置）を用いて、ＡＲマーカを基準とした相対座標（マーカ座標系）で設定された位置に表示される。また、オブジェクトデータは、上述した位置関係を用いて、ＡＲマーカの撮影方向に対応する向き（回転角度）で表示される。位置関係とは、ＡＲマーカと撮影位置との距離及び撮影方向のうち少なくとも１つを含むが、これに限定されるものでない。マーカ座標系は、例えば三次元空間座標系（Ｘ，Ｙ，Ｚ）である。

本実施形態のオブジェクトデータは、マーカＩＤ等に対応付けられており、例えばテキスト、アイコン、アニメーション、マーク、模様、画像、映像等の様々な形態が含まれる。また、オブジェクトデータは、表示出力されるものに限定されず、例えば音声等の情報であってもよい。

サーバ１１は、例えば表示装置１２におけるＡＲコンテンツ（オブジェクトデータ、配置位置情報等）の設定処理（オーサリング処理）により、表示装置１２から得られるＡＲマーカに関する情報（例えば、マーカＩＤ、ＡＲマーカの位置情報等）と、ＡＲマーカの位置を基準とする相対位置に設定されたＡＲコンテンツとを登録する。また、サーバ１１は、表示装置１２から、ＡＲコンテンツの取得要求等を受信した場合には、表示装置１２から送信されたマーカＩＤに対応させて、予め登録されたＡＲコンテンツに関する情報を抽出し、抽出した情報を表示装置１２に送信する。

サーバ１１は、例えばＰｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（ＰＣ）等でもよいが、これに限定されるものではなく、例えば一以上の情報処理装置を有するクラウドコンピューティングを用いたクラウドサーバ等であってもよい。

表示装置１２は、オーサリング処理において、カメラ等の撮像装置（第１の撮像装置）が生成した撮影画像（第１の画像データ）を取得し、取得した撮影画像に、ＡＲマーカ等の所定の物体（基準物）が含まれる場合、そのＡＲマーカと、第１の撮像装置との位置関係（第１の位置関係）を示す情報（第１の情報）を生成する。また、表示装置１２は、ＡＲマーカ等の所定の物体を識別する識別情報（例えば、マーカＩＤ等）を認識し、認識したマーカＩＤに対応付けてオブジェクトデータや上述した第１の情報等を含むＡＲコンテンツの登録を行う。この登録情報は、サーバ１１に送信され、サーバ１１内の記憶部で管理されてもよく、表示装置１２内の記憶部で管理されていてもよい。

また、表示装置１２は、ＡＲ表示において、カメラ等の撮像装置（第２の撮像装置）が生成した撮影画像（第２の画像データ）を取得し、取得した撮影画像に、ＡＲマーカ等の所定の物体（基準物）が含まれる場合、そのＡＲマーカと、第２の撮像装置との位置関係（第２の位置関係）を示す情報（第２の情報）を生成する。また、表示装置１２は、上述した第１の情報及び第２の情報に基づき、撮影画像（第２の画像データ）を、第１の位置関係で撮影された画像に対応する画像データ（第３の画像データ）に変換する。また、表示装置１２は、変換した画像データ（第３の画像データ）に対して、ＡＲマーカ等の所定の物体の識別情報に対応するオブジェクトデータを、識別情報が示す物体相当で予め指定された配置位置に重畳表示する。

また、表示装置１２は、ＡＲ表示時に上述した第１の情報やオブジェクトデータ等の情報が記憶部に存在しない場合、通信ネットワーク１３を介してサーバ１１に取得要求を行い、対象のデータを取得してもよい。また、表示装置１２は、オーサリング処理時と、ＡＲ表示時とで同一の装置を用いてもよく、異なる装置を用いてもよい。例えば、同一の装置を用いる場合には、上述した第１の情報やオブジェクトデータ等の情報は、表示装置１２の記憶部等に格納されているため、サーバ１１にアクセスしなくてもよい。

また、上述した第１の撮像装置と第２の撮像装置とは、同一でも異なってもよい。また、上述した第１の画像データと第２の画像データは、内容が同じこともあり得るが、異なることが多い。上述した処理によりＡＲコンテンツ（オブジェクトデータ＋配置位置情報）を作成するユーザが配置位置に関して奥行き方向の位置指定を精度よく行わなくとも、その後のＡＲ表示において、オブジェクトデータが誤った位置に重畳表示されることがなくなる。したがって、オブジェクトデータの重畳表示の表示精度を向上させることができる。

表示装置１２は、例えばタブレット端末やスマートフォン、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ（ＰＤＡ）、ノート型ＰＣ等であるが、これに限定されるものではなく、例えばゲーム機器、携帯電話等の通信端末であってもよい。

通信ネットワーク１３は、例えばインターネットやＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）等であるが、これに限定されるものではない。また、通信ネットワーク１３は、有線でも無線でもよく、これらの組み合わせでもよい。

図１に示す表示制御システム１０において、サーバ１１と表示装置１２とは１対ｎの構成となっているが、これに限定されるものではなく、例えば複数のサーバを有していてもよい。

＜表示装置１２の機能構成の一例＞
次に、上述した表示装置１２の機能構成の一例について、図を用いて具体的に説明する。図２は、表示装置の機能構成の一例を示す図である。図２に示す表示装置１２は、入力部２１と、表示部２２と、記憶部２３と、画像取得部２４と、認識部２５と、位置関係生成部２６と、変換部２７と、コンテンツ生成部２８と、通信部２９と、制御部３０とを有する。

入力部２１は、表示装置１２を操作する上で必要となる入力情報や本実施形態における表示制御処理を実行するための各種指示等を受け付ける。表示部２２は、例えば入力部２１で入力された情報に基づいて対応する情報を出力する。例えば、表示部２２がタッチパネル等である場合には、表示部２２から入力される情報を入力部２１が受け付けることになる。

記憶部２３は、本実施形態において必要となる情報を記憶する。記憶する情報としては、例えば画像取得部２４により取得した撮像装置３１からの撮影画像や、認識部２５により算出された内容、位置関係生成部２６により生成された情報、変換部２７により変換された情報、コンテンツ生成部２８により生成された情報等であるが、これに限定されるものではない。例えば、記憶部２３は、オーサリング時に必要な１又は複数のオブジェクトデータや、表示制御処理を実行したときのログ情報（履歴情報）、エラー情報、外部装置とのアクセス情報、表示装置１２を利用可能なユーザ情報等を記憶してもよい。

画像取得部２４は、ＡＲコンテンツのオブジェクトデータを表示する対象となる画像データ（例えば、複数のフレーム画像を含む映像データでもよい）を取得する。例えば、画像取得部２４は、撮像装置３１により生成した画像データ（例えば、オーサリング時には上述した第１の画像データ、ＡＲ表示時には上述した第２の画像データ）等を取得する。画像取得部２４は、画像データを表示装置１２の外部にある撮像装置３１から取得してもよく、通信部２９から取得してもよい。

ここで、撮像装置３１は、例えば予め設定された画角内の実空間の画像を撮影する。画像は、動画像（映像）でもよく、静止画像でもよい。映像の場合には、複数の画像フレームを有する。撮像装置３１は、例えばカメラ等であるが、これに限定されるものではない。撮像装置３１は、図２に示すように別体に構成されていてもよく、表示装置１２に内蔵されていてもよい。

認識部２５は、例えば、撮像装置３１により生成した画像データ（例えば、オーサリング時には上述した第１の画像データ、ＡＲ表示時には上述した第２の画像データ）にＡＲマーカ等の基準物（所定の物体）を示す画像データが含まれるか否かの認識を行う。例えば、認識部２５は、予め設定されたＡＲマーカ等の所定の物体の形状や模様等とのパターンマッチングを行うことで、画像データ中にＡＲマーカ等の所定の物体を含むか否かを判断してもよいが、これに限定されるものではない。

例えば、認識部２５は、撮像装置３１により生成した画像データに含まれる１又は複数のＡＲマーカ等を認識する。また、認識部２５は、各ＡＲマーカにに対応する識別情報（例えば、マーカＩＤ等）を認識する。

位置関係生成部２６は、認識部２５において、画像データ中にＡＲマーカ等の所定の物体を示す画像データが含まれる場合、それぞれ撮影した撮像装置３１と、上述した所定の物体との位置関係（例えば、オーサリング時には上述した第１の位置関係、ＡＲ表示時には上述した第２の位置関係）を示す情報（例えば、オーサリング時には上述した第１の情報、ＡＲ表示時には上述した第２の情報）を生成する。なお、生成された情報は、記憶部２３等に記憶されてもよく、通信ネットワーク１３を介してサーバ１１に記憶させてもよい。

変換部２７は、複数の画像データのカメラ視線を変換する。変換部２７は、記憶部２３を参照し、上述した第１の情報及び第２の情報に基づき、上述した第２の画像データを、その第１の位置関係で撮影された画像に対応する画像データ（第３の画像データ）へ変換する。

また、変換部２７は、画像データに複数のＡＲマーカ（所定の物体）等が含まれている場合には、複数のＡＲマーカからそれぞれ得られる位置関係（例えば、位置情報、回転角度等）の平均値に対して画像変換を実施する。これにより、各ＡＲマーカに対して万遍なく見えやすくなる。

また、変換部２７は、画像データに複数のＡＲマーカ（所定の物体）等が含まれている場合には、カメラ視線を変更するために着目するＡＲマーカをユーザ操作等のより入力部２１から受け付けて、受け付けたＡＲマーカに対応する位置関係に基づいて、画像変換を実施してもよい。

コンテンツ生成部２８は、オーサリング処理時には、ＡＲマーカ等の所定の物体を識別する識別情報（例えば、マーカＩＤ）に対応付けて、オブジェクトデータと、そのオブジェクトデータの配置位置情報等とを有するＡＲコンテンツを生成する。

例えば、コンテンツ生成部２８は、オブジェクトデータ等を画像データに重畳させた画面を表示部２２に表示させてもよい。ユーザは、表示部２２に表示された内容を見ながら予め設定された１又は複数のオブジェクトデータから所定のオブジェクトデータを選択したり、選択したオブジェクトデータの配置位置を決定する。また、コンテンツ生成部２８は、生成したＡＲコンテンツの情報等を記憶部２３に記憶したり、通信部２９から通信ネットワーク１３を介してサーバ１１に送信して登録させる。

また、コンテンツ生成部２８は、ＡＲ表示時には、認識部２５により認識された所定の物体を識別する識別情報（例えば、マーカＩＤ）に対応するオブジェクトデータを取得し、撮影画像に重畳表示する。このとき、コンテンツ生成部２８は、変換部２７により変換された画像データ（例えば、上述した第３の画像データ）に対して、ＡＲマーカ等の所定の物体相当で予め指定された位置に、対応するオブジェクトデータを重畳表示する。

なお、コンテンツ生成部２８は、上述した第２の画像データにオブジェクトデータを重畳表示してもよく、第２の画像データから変換部２７により変換された第３の画像データにオブジェクトデータを重畳表示してもよい。どちらの画像データに重畳表示するかについては、例えば表示部２２の画面上に予め画像選択ボタン等を表示しておき、ユーザ操作により選択された画像を用いて重畳表示を行ってもよく、ボタンが押下された場合に、変換された第３の画像データに対して重畳表示を行ってもよい。

通信部２９は、通信ネットワーク１３を介してサーバ１１や、他の表示装置１２とデータの送受信を行う。通信部２９は、例えばオーサリング処理時に取得したマーカＩＤや、マーカＩＤに対応する位置関係やＡＲコンテンツ（第１の情報、第２の情報）を通信ネットワーク１３を介してサーバ１１に登録したり、ＡＲ表示時にサーバ１１からマーカＩＤに対応する第１の情報、第２の情報等を取得する。

制御部３０は、表示装置１２の各機能全体を制御する。制御部３０は、例えば入力部２１による入力情報の受け付け、表示部２２による表示、画像取得部２４による画像の取得、認識部２５によるＡＲマーカの認識、位置関係生成部２６による位置関係の生成、変換部２７によるカメラ視線変換等の制御を行う。また、制御部３０は、コンテンツ生成部２８によるコンテンツ生成、通信部２９による通信等の制御を行う。なお、制御部３０による制御内容は、これに限定されるものではなく、例えば本実施形態における表示制御処理（プログラム）の開始・終了、撮像装置３１の撮影開始・終了、エラー処理等を制御してもよい。

＜表示装置１２のハードウェア構成例＞
次に、表示装置１２として機能するコンピュータのハードウェア構成例について、図を用いて説明する。図３は、表示装置のハードウェア構成の一例を示す図である。図３の例において、表示装置１２は、マイクロフォン（以下、「マイク」という）４１と、スピーカ４２と、カメラ４３と、表示部４４と、操作部４５と、センサ部４６と、電力部４７と、無線部４８と、近距離通信部４９と、補助記憶装置５０と、主記憶装置５１と、ＣＰＵ５２と、ドライブ装置５３とを有し、これらはシステムバスＢで相互に接続されている。

マイク４１は、ユーザが発した音声や、その他の音を入力する。スピーカ４２は、通話相手先の音声を出力したり、着信音等の音を出力する。マイク４１及びスピーカ４２は、例えば、通話機能等により通話相手と会話するとき等に用いることができるが、これに限定されるものではなく、音声による情報の入出力に用いることができる。

カメラ４３は、例えば予め設定された画角内の実空間の画像（動画像、静止画像）を撮影する。カメラ４３は、上述した撮像装置３１の一例である。図３の例では、カメラ４３を表示装置１２に内蔵しているが、これに限定されるものではなく、例えば図２に示すように外付けされていてもよい。

表示部４４は、ユーザに対してＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）や各種アプリケーションで設定された画面（例えば、実空間にオブジェクトデータが重畳された画像等）を表示する。表示部４４は、上述した表示部２２の一例である。また、表示部４４は、タッチパネルディスプレイ等でもよく、その場合には表示部４４は、入出力部としての機能を有する。表示部４４は、例えばＬｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）や有機Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）等のディスプレイである。

操作部４５は、表示部４４の画面に表示された操作ボタンや表示装置１２の外部に設けられた操作ボタン等である。操作ボタンは、例えば電源ボタンや音量調整ボタンでもよく、所定の順番で配列された文字入力用の操作キー等でもよい。ユーザは、例えば表示部４４の画面上で所定の操作を行ったり、上述した操作ボタンを押すことで、表示部４４により画面上のタッチ位置が検出される。また、表示部４４は、画面上にアプリ実行結果やコンテンツやアイコン、カーソル等を表示することができる。表示部４４及び操作部４５は、上述した入力部２１の一例である。

センサ部４６は、表示装置１２のある時点又は継続的な動作を検出する。例えば、センサ部４６は、表示装置１２の傾き角度、加速度、方向、位置等を検出するが、これに限定されるものではない。なお、センサ部４６としては、例えば傾きセンサや加速度センサ、ジャイロセンサ、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（ＧＰＳ、全地球測位網）等であるが、これに限定されるものではない。

電力部４７は、表示装置１２の各構成に対して電力を供給する。電力部４７は、例えばバッテリ等の内部電源であるが、これに限定されるものではない。電力部４７は、電力量を常時又は所定の時間間隔で検出し、電力量の残量等を監視することもできる。

無線部４８は、例えばアンテナ等を用いて基地局からの無線信号（通信データ）を受信したり、アンテナを介して無線信号を基地局に送信する通信データの送受信部である。

近距離通信部４９は、例えば赤外線通信やＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信手法を用いて、他の表示装置１２等のコンピュータと近距離通信を行うことができる。上述した無線部４８及び近距離通信部４９は、他のコンピュータとのデータの送受信を可能とする通信インタフェースである。

補助記憶装置５０は、例えばＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）等のストレージ手段である。補助記憶装置５０は、ＣＰＵ５２からの制御信号に基づき、本実施形態における実行プログラム（表示制御プログラム）や、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置５０は、ＣＰＵ５２からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。

主記憶装置５１は、ＣＰＵ５２からの指示により補助記憶装置５０から読み出された実行プログラム等を格納したり、プログラム実行中に得られる各種情報等を記憶する。主記憶装置５１は、例えばＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）やＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等である。

ＣＰＵ５２は、ＯＳ等の制御プログラム、及び主記憶装置５１に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御することで、出力制御における各処理を実現する。

具体的には、ＣＰＵ５２は、例えば操作部４５等から得られるプログラムの実行指示等に基づき、補助記憶装置５０にインストールされたプログラムを実行させることにより、主記憶装置５１上でプログラムに対応する処理を行う。例えば、ＣＰＵ５２は、表示制御プログラムを実行させることで、上述した画像取得部２４による撮影画像の取得、認識部２５によるＡＲマーカの認識、位置関係生成部２６による位置関係の生成、変換部２７によるカメラ視線変換等の処理を行う。また、ＣＰＵ５２は、表示制御プログラムを実行させることで、コンテンツ生成部２８によるコンテンツ生成、通信部２９による通信等の処理を行う。ＣＰＵ５２における処理内容は、上述した内容に限定されるものではない。ＣＰＵ５２により実行された内容は、必要に応じて補助記憶装置５０等に記憶される。

ドライブ装置５３は、例えば記録媒体５４等を着脱自在にセットすることができ、セットした記録媒体５４に記録された各種情報を読み込んだり、所定の情報を記録媒体５４に書き込むことができる。ドライブ装置５３は、例えば媒体装填スロット等であるが、これに限定されるものではない。

記録媒体５４は、上述したように実行プログラム等を格納するコンピュータで読み取り可能な記録媒体である。記録媒体５４は、例えばフラッシュメモリ等の半導体メモリであってもよい。また、記録媒体５４は、ＵＳＢメモリ等の可搬型記録媒体であってもよいが、これに限定されるものではない。

本実施形態では、上述したコンピュータ本体のハードウェア構成に実行プログラム（例えば、表示制御プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における表示制御処理等を実現することができる。また、上述した表示制御処理に対応する表示制御プログラムは、例えば装置上で常駐している状態であってもよく、起動指示により起動させてもよい。

＜表示制御処理の一例＞
次に、本実施形態における表示制御処理の一例についてフローチャートを用いて説明する。

＜オーサング処理＞
図４は、オーサリング処理における表示制御処理の一例を示すフローチャートである。図４の例において、オーサリング処理を行う表示制御プログラム（アプリケーション）を起動すると、画像取得部２４は、例えば撮像装置（第１の撮像装置）３１等が生成した画像（第１の画像データ）を取得する（Ｓ０１）。Ｓ０１の処理では、映像（所定間隔で取得されるフレーム画像）を取得してもよい。

次に、認識部２５は、Ｓ０１の処理で取得した画像からＡＲマーカを認識したか否かを判断する（Ｓ０２）。Ｓ０２の処理では、例えば認識部２５は、予め設定された複数のＡＲマーカとのパターンマッチング等により、画像中にＡＲマーカを示す画像が含まれており、そのＡＲマーカ識別情報（例えば、マーカＩＤ）を読み取れた場合に、ＡＲマーカが認識できたと判断することができるが、これに限定されるものではない。

Ｓ０２の処理において、ＡＲマーカを認識した場合（Ｓ０２において、ＹＥＳ）、位置関係生成部２６は、ＡＲマーカと撮像装置３１との位置関係（例えば、回転角情報）を第１の情報として生成する（Ｓ０３）。ここでの位置関係（第１の位置関係）は、例えば画像中に含まれるＡＲマーカの大きさ（位置）、形状の歪み（角度）等に基づいて、その回転角情報や距離等を生成することができるが、これに限定されるものではない。

次に、コンテンツ生成部２８は、ユーザが操作したＡＲマーカに対応するオブジェクトデータの選択を受け付け（Ｓ０４）、オブジェクトデータの配置位置を受け付ける（Ｓ０５）。なお、Ｓ０４、Ｓ０５の処理では、上述した入力部２１等を用いたユーザ操作により各種情報を受け付けることができるが、これに限定されるものではない。また、コンテンツ生成部２８は、オブジェクトデータや撮影画像等の情報を表示部２２に表示させてもよい。

コンテンツ生成部２８は、ＡＲのマーカＩＤに対応する位置関係（第１の情報）、オブジェクトデータ、配置位置（三次元座標）等のＡＲコンテンツを記憶部２３等に記憶（格納）する（Ｓ０６）。Ｓ０６の処理では、設定したオブジェクトデータが他の表示装置１２でも表示できるように、通信ネットワーク１３を介してサーバ１１に登録してもよい。

ここで、コンテンツ生成部２８は、他に認識しているＡＲマーカがあるか（ＡＲコンテンツを設定していない他のＡＲマーカが存在するか）否かを判断する（Ｓ０７）。他に認識しているＡＲマーカがある場合（Ｓ０７において、ＹＥＳ）、Ｓ０３の処理に戻り、他のＡＲマーカに対して上述と同様の処理を行う。また、Ｓ０７において、他に認識しているＡＲマーカがない場合（Ｓ０７において、ＹＥＳ）、又は、Ｓ０２の処理において、ＡＲマーカを認識していない場合（Ｓ０２において、ＮＯ）、処理を終了するか否かを判断する（Ｓ０８）、処理を終了しない場合（Ｓ０８において、ＮＯ）、Ｓ０１の処理に戻る。また、処理を終了する場合（Ｓ０８において、ＹＥＳ）、オーサリング処理を終了する。

＜データ例＞
図５は、本実施形態で用いられるデータ例を示す図である。図５では、上述したオーサリング処理により、記憶部２３やサーバ１１に記憶されるデータ例である。データの項目としては、例えば「マーカＩＤ」、「オブジェクトデータ」、「座標（配置位置情報）」、「回転角（回転角情報）」等であるが、これに限定されるものではない。

「マーカＩＤ」は、ＡＲマーカ等の物体を検出したときのＡＲマーカを識別するための情報である。「オブジェクトデータ」は、マーカＩＤに対応させて、ＡＲマーカの位置を基準にした相対位置に表示されるオブジェクトデータを識別するための情報である。オブジェクトデータは、マーカＩＤ毎に１又は複数設定することができる。オブジェクトデータには、識別情報の他に、例えば操作手順や注意情報等に対応させてユーザが指定した文字情報を含んでいてもよい。

「座標」は、ＡＲマーカを基準（０，０，０）にしたときのオブジェクトデータの相対位置座標（オブジェクトの表示位置座標）であり、例えば（ｔｒａｎｓｌａｔｉｏｎ−ｘ，ｔｒａｎｓｌａｔｉｏｎ−ｙ，ｔｒａｎｓｌａｔｉｏｎ−ｚ）等の三次元座標であるが、これに限定されるものではない。「回転角」は、ＡＲマーカを正対した時の中心等を基準にしたときのＡＲマーカの回転角情報であり、例えば（ｒｏｔａｔｅ−ｘ、ｒｏｔａｔｅ−ｙ、ｒｏｔａｔｅ−ｚ）等の三次元の情報であるが、これに限定されるものではない。上述した「座標」又は「回転角」は、画像を撮影した撮像装置（上述した第１の撮像装置）との位置関係を示す第１の情報の一例である。

＜ＡＲ表示＞
図６は、ＡＲ表示における表示制御処理の一例を示すフローチャートである。ＡＲ表示処理は、例えばオーサリング処理後の運用時における処理を示す。図６の例において、表示装置１２は、前処理として、ＡＲ表示に対応する表示制御プログラムの起動や撮像装置３１の起動等を行う（Ｓ１１）。次に、画像取得部２４は、例えば撮像装置（第２の撮像装置）３１等が生成した画像（第２の画像データ）を取得する（Ｓ１２）。Ｓ１２の処理では、映像（所定間隔で取得されるフレーム画像）を取得してもよい。

次に、認識部２５は、Ｓ１２の処理で取得した画像からＡＲマーカを認識したか否かを判断する（Ｓ１３）。Ｓ１３の処理では、例えば認識部２５は、予め設定された複数のＡＲマーカとのパターンマッチング等により、画像中にＡＲマーカを示す画像が含まれており、そのＡＲマーカ識別情報（例えば、マーカＩＤ）を読み取れた場合に、ＡＲマーカが認識できたと判断することができるが、これに限定されるものではない。

Ｓ１３の処理において、ＡＲマーカを認識した場合（Ｓ１３において、ＹＥＳ）、位置関係生成部２６は、ＡＲマーカと撮像装置３１との位置関係（例えば、回転角情報）を第２の情報として生成する（Ｓ１４）。ここでの位置関係（第２の位置関係）は、例えば画像中に含まれるＡＲマーカの大きさ（位置）、形状の歪み（角度）等に基づいて、その回転角情報や距離等を生成することができるが、これに限定されるものではない。

次に、変換部２７は、カメラ視線変換処理を行う（Ｓ１５）。なお、Ｓ１５の処理は、ユーザからの指示があった場合のみに行ってもよい。Ｓ１５の処理内容については、後述する。次に、コンテンツ生成部２８は、変換部２７によるカメラ視線変換処理の結果により得られた画像（第３の画像データ）を入力画像として設定し（Ｓ１６）、ＡＲマーカを再認識する（Ｓ１７）。次に、コンテンツ生成部２８は、変換行列を生成する（Ｓ０７）。変換行列とは、入力画像に対するＡＲマーカの角度、大きさ、距離等のマーカ相対位置を実空間上の座標に変換するための行列である。例えば、図５に示す「座標」の情報を実空間上の座標に変換する。変換行列を用いて、入力画像にＡＲマーカがどのように写っているかによって、オブジェクトデータの大きさ、向きを変更する。

次に、コンテンツ生成部２８は、マーカＩＤに対応するオブジェクトデータを取得し（Ｓ１９）、取得したオブジェクトデータに対する画像変換（例えば、モデル・ビュー変換、透視変換等）をした後（Ｓ２０）、入力画像に重畳表示する（Ｓ２１）。モデル・ビュー変換とは、オブジェクトデータの情報から実際のオブジェクト（矢印、マーク、文字情報）等の表示データに変換する処理である。また、透視変換とは、例えば三次元形状のオブジェクトの場合に、物体の傾きや透過率、陰影等に付加した表示データに変換する処理である。なお、画像変換の種類については、これに限定されるものではない。

ここで、Ｓ２１の処理後、又は、Ｓ１３の処理において、ＡＲマーカを認識していない場合（Ｓ１３において、ＮＯ）、処理を終了するか否かを判断する（Ｓ２２）、処理を終了しない場合（Ｓ２２において、ＮＯ）、Ｓ１２の処理に戻る。また、処理を終了する場合（Ｓ１３において、ＹＥＳ）、ＡＲ表示処理を終了する。

＜カメラ視線変換処理；Ｓ１５＞
次に、上述したＳ１５のカメラ視線変換処理について、フローチャートを用いて説明する。図７は、カメラ視線変換処理の一例を示すフローチャートである。図７の例において、変換部２７は、ＡＲ表示処理において、認識したＡＲマーカの回転角（上述した第２の位置関係）を取得する（Ｓ３１）。図７の例では、Ｓ３１の処理で取得した回転角を（ｘΘｎ，ｙΘｎ，ｚΘｎ）とする。

次に、変換部２７は、ＡＲマーカのマーカＩＤに対応するオーサリング処理時の回転角（上述した第１の位置関係）を記憶部等から取得する（Ｓ３２）。図７の例では、Ｓ３２の処理で取得した回転角を（ａｘΘｎ，ａｙΘｎ，ａｚΘｎ）とする。

次に、変換部２７は、画像から他に認識しているＡＲマーカがあるか否かを判断し（Ｓ３３）、他のＡＲマーカがある場合（Ｓ３３において、ＹＥＳ）、Ｓ３１の処理に戻り、他のＡＲマーカに対して上述と同様の処理を行う。また、他に認識しているＡＲマーカがない場合（Ｓ３３において、ＮＯ）、変換部２７は、Ｓ３１の処理で取得した１又は複数の回転角の平均値を取得する（Ｓ３４）。図７の例では、Ｓ３４の処理で取得した平均値を（ｘΘａｖｒ，ｙΘａｖｒ，ｚΘａｖｒ）とする。

また、変換部２７は、Ｓ３２の処理で取得したＡＲマーカに対応するオーサリング処理時の１又は複数の回転角のの平均値を取得する（Ｓ３５）。図７の例では、Ｓ３５の処理で取得した平均値を（ａｘΘａｖｒ，ａｙΘａｖｒ，ａｚΘａｖｒ）とする。

次に、変換部２７は、Ｓ３４とＳ３５の処理で得られたオーサリング処理時と現在のＡＲマーカとの回転角の差分（回転差分ＣｏｎｖｅｒｔΘ（ｃｘΘ，ｃｙΘ，ｃｚΘ））を算出する（Ｓ３６）。なお、ＣｏｎｖｅｒｔΘ（ｃｘΘ，ｃｙΘ，ｃｚΘ）は、例えば（ａｘΘａｖｒ，ａｙΘａｖｒ，ａｚΘａｖｒ）−（ｘΘａｖｒ，ｙΘａｖｒ，ｚΘａｖｒ）で算出することができるが、これに限定されるものではない。

次に、変換部２７は、取得した画像データ（第２の画像データ）をＳ３６の処理で得られたＣｏｎｖｅｒｔΘ分回転させて（Ｓ３７）、回転した画像データ（第３の画像データ）を生成して（Ｓ３８）、カメラ視線変換処理を終了する。なお、上述の例では、位置関係の一例として回転角のみを基準にカメラ視線変換を行っているが、これに限定されるものではなく、例えばＡＲマーカまでの距離やＡＲマーカの大きさ等の情報を用いて変換を行ってもよい。ＡＲマーカの大きさや距離等の情報は、例えばマーカ認識時等に取得することができる。

また、上述したカメラ視線変換処理では、Ｓ３１及びＳ３２の処理において得られたＡＲマーカの数が１つの場合、Ｓ３４，Ｓ３５の処理結果は、Ｓ３１，Ｓ３２の処理結果と同一の値となる。そのため、Ｓ３１，Ｓ３２の処理で得られる回転角情報の数が１つの場合には、Ｓ３４，Ｓ３５の処理を行わなくてもよい。

また、上述したカメラ視線変換処理では、取得した第２の画像データに含まれるＡＲマーカが複数ある場合に、その中から上述したカメラ視線変換を行う基準となるＡＲマーカをユーザが指定し、指定されたＡＲマーカにおける回転角を取得して、取得した回転角による画像変換を行ってもよい。ＡＲマーカの指定は、例えば表示部２２の画面に表示されているＡＲマーカから視線変換の対象となるＡＲマーカの領域をユーザがタップし、そのタップした位置（座情）を受け付け、受け付けた位置に基づいてＡＲマーカを特定することができる。これにより、ユーザが所望するＡＲマーカに対するオブジェクトデータの表示精度を向上させることができる。

＜実施例について＞
次に、上述した表示制御処理の実施例について図を用いて説明する。図８は、オブジェクトデータの表示例を示す図である。例えば、オーサリング処理において、ユーザは、図８（Ａ）のようにＡＲマーカ６０と正対した向きで、オブジェクトデータ７０−１〜７０−４等及び配置位置（ＡＲマーカ６０に対する相対位置）を設定したとする。

オーサリング処理は、画面上の１地点（１つの視点）で実行されるものであるため、いい加減なオーサリングユーザ（オーサリング処理を実施するユーザ）の場合には、Ｚ軸方向の設定が適切に行われない場合がある。したがって、１地点で見る分には問題にならないが、他の地点から見る場合は、マーカーの回転角度（例えば、正対時の場合には、Ｚ軸の値）が影響して、重畳表示される位置がずれる場合がある。

例えば、図８（Ｂ）に示すように、角度をかえて、ＡＲマーカ６０を横から撮影したり、斜めから撮影した場合には、Ｚ軸方向や他の方向のずれ等が生じ、各オブジェクトデータ７０−１〜７０−４が意図していない位置に重畳表示されてしまう。

このような現象は、角度の異なる他の位置から見ないと検出できないため、オーサリングユーザは気づきにくい。また、実際の運用では、オーサリング処理時における撮影位置に物が置いてある場合や、工事中等で立ち入り禁止である場合等、何かしらの理由でオーサリング位置に行けない場合もある。

したがって、本実施形態では、オーサリング処理時とＡＲ表示処理において、カメラ視線の角度が異なる場合であっても上述した視線変換により、ＡＲ表示処理における撮影画像を、オーサリング時の画像の向き（回転角）に変換し、変換した画像に対してＡＲマーカを再度認識し、認識したＡＲマーカに対するオブジェクトデータを変換した画像を重畳表示する。

例えば、ＡＲ表示時において、図８（Ｂ）に示すような画像（オブジェクトデータ７０が表示されていない状態）が得られた場合、ＡＲマーカ６０を認識してＡＲマーカ６０の回転角度（ｘΘ，ｙΘ，ｚΘ）を取得する。次に、ＡＲマーカ６０に対してオーサリング時の同一ＡＲマーカ６０に対する回転角度（例えば、図８（Ａ）では、正対（０°，０°，０°））がベストポジションであると仮定し、回転角度の差分を算出し、その回転角度に基づいて図８（Ｂ）に示す画像を変換する。また、本実施形態では、変換した画像を元に、再度ＡＲマーカ６０を認識し、認識したＡＲマーカ６０の位置に基づいてＡＲマーカのマーカＩＤに対応するＡＲコンテンツ（オブジェクトデータ、配置位置情報）を取得し、所定の位置に表示する。

これにより、オーサリングユーザは、オブジェクトデータの配置位置に関して奥行き方向の位置指定を精度よく行わなくとも、その後のＡＲ表示処理で、オブジェクトデータが異なるような位置に重畳表示されることがなくなる。したがって、オブジェクトデータの重畳表示の表示精度を向上させることができる。

図９は、カメラ視線が異なる場合の表示制御処理の一例を示す図である。図９の例では、２つのＡＲマーカ６０−１，６０−２が、配管ａ〜ｃ等を有する実物体９０−１，９０−２にそれぞれ取り付けられており、そこにＡＲマーカ６０−１，６０−２のそれぞれ対応付けられたオブジェクトデータ８０−１，８０−２を表示させる例を示している。

上述したように、本実施形態における画像変換では、オーサリング処理におけるＡＲマーカの回転角度等の位置関係を記憶部等に記憶（格納）しておくことで、オーサリング時と同じ角度で物体を参照することが可能となる。

また、図９に示すように複数のＡＲマーカ６０−１，６０−２を認識した場合には、複数のＡＲマーカ６０−１，６０−２の回転角度の平均値に対して画像変換を実施することで、それぞれのＡＲマーカ６０−１，６０−２に対応するオブジェクトデータの表示位置の誤差を平均化し、全体として大きな誤差なく各オブジェクトデータを見ることができる。

また、図９に示すような例において、カメラ視線を変更するために、着目するＡＲマーカをユーザのタッチアクションにより指定してもよい。図９の例では、着目するＡＲマーカ（例えば、ＡＲマーカ６０−１）の表示領域ををタップすることで、そのＡＲマーカ６０−１が正対したときの画像に変換することができる。

図１０は、本実施形態の利用シーンを説明するための図である。例えば、工場内のコンベア等を用いた組み立て設備（例えば、プレス機器装置の組み立て）等の場合には、図１０（Ａ）に示すように人間（管理者）が目視で部品等を確認すると、読み間違い等の影響により、間違いが発生する場合がある。

ここで、従来では、図１０（Ｂ）に示すように、天井や壁等に設置されたネットワークカメラ（撮像装置３１）等を用いて稼働状況を撮影し、撮影された画像を用いて、遠隔地から現場作業員の状況を支援したり、ライン生産を監視したり、導線を監視したりすることができる。そこで、本実施形態では、ネットワークカメラから撮影された画像に対してＡＲ技術を適用する。例えば、ネットワークカメラから撮影された画像に含まれるＡＲマーカ６０−１〜６０−４等を用いてオブジェクトデータを重畳表示し、その情報を管理者が監視することで、部品等の間違いを防止する。つまり、ＡＲ技術を用いてＡＲマーカ６０−１〜６０−４のマーカ位置を認識し、その位置関係を確認することで、間違いを防止することができる。

このような場合、オーサリング時に管理者が所持する表示装置１２を用いて撮影された画像と、天井や壁等に設置されたネットワークカメラ等から撮影された画像とでは撮影位置が異なるため、オブジェクトデータの表示位置もずれる可能性がある。そこで、本実施形態に示すような視線変換を行うことで、図１０（Ｂ）の画面１００に示すようにオブジェクトデータの重畳表示の表示精度を向上させることができ、重畳表示された情報に基づき、適切な監視を行うことができる。なお、図１０（Ｂ）の例では、プレスの上側と下側の組み合わせにおいて、プレス上側［Ａ］−プレス下側［Ｂ］がＯＫの判定であり、プレス上側［Ｘ］−プレス下側［Ｙ'］がＮＧの判定となる（プレス下側が［Ｙ］でないため）。

上述したように、本実施形態によれば、オブジェクトデータの重畳表示の表示精度を向上させることができる。例えばオーサリングユーザは、配置位置に関して奥行き方向の位置指定を精度よく行わなくとも、その後のＡＲ表示で、オブジェクトデータが所定の物体と異なるような位置に重畳表示されることがなくなる。

以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。

なお、以上の実施例に関し、更に以下の付記を開示する。
（付記１）
撮像装置が生成した画像データに物体が含まれる場合、該物体と前記撮像装置との位置関係を示す情報を生成し、
前記情報と、記憶部に記憶された前記物体と前記撮像装置との位置関係を示す情報とに基づき、前記撮像装置が生成した画像データを、前記記憶部に記憶された前記位置関係で撮影された画像データへ変換し、
前記変換された画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記変換された画像データに含まれる前記物体の位置に応じて重畳表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
（付記２）
撮像装置が生成した第１の画像データを取得し、
前記第１の画像データに所定の物体が含まれる場合、該物体と前記撮像装置との第１の位置関係を示す第１の情報を生成し、
撮像装置が生成した第２の画像データに前記物体が含まれる場合、該物体と前記撮像装置との第２の位置関係を示す第２の情報を生成し、
前記第１の情報及び前記第２の情報に基づき、前記第２の画像データを、前記第１の位置関係で撮影された画像に対応する第３の画像データへ変換し、
前記第３の画像データに前記物体が含まれる場合、前記第３の画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記第３の画像データに含まれる前記物体の位置に応じて重畳表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
（付記３）
前記第１の情報に含まれる前記物体の回転角情報と、前記第２の情報に含まれる前記物体の回転角情報との差分を算出し、
算出した前記差分に基づいて、前記第２の画像データを、前記第３の画像データへ変換することを特徴とする付記２に記載の表示制御方法。
（付記４）
前記第１の画像データに前記物体が複数存在する場合、又は前記第２の画像データに前記物体が複数存在する場合に、それぞれの画像データから得られる前記第１の情報又は前記第２の情報の平均値を用いて、前記第２の画像データを、前記第３の画像データへ変換することを特徴とする付記２又は３に記載の表示制御方法。
（付記５）
前記第２の画像データに前記物体が複数存在する場合に、ユーザから選択された前記物体に対応する前記第２の情報を用いて、前記第２の画像データを、前記第３の画像データへ変換することを特徴とする付記２又は３に記載の表示制御方法。
（付記６）
撮像装置が生成した画像データに物体が含まれる場合、該物体と前記撮像装置との位置関係を示す情報を生成し、
前記情報と、記憶部に記憶された前記物体と前記撮像装置との位置関係を示す情報とに基づき、前記撮像装置が生成した画像データを、前記記憶部に記憶された前記位置関係で撮影された画像データへ変換し、
前記変換された画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記変換された画像データに含まれる前記物体の位置に応じて重畳表示する、
処理をコンピュータに実行させるための表示制御プログラム。
（付記７）
撮像装置が生成した第１の画像データを取得し、
前記第１の画像データに所定の物体が含まれる場合、該物体と前記撮像装置との第１の位置関係を示す第１の情報を生成し、
撮像装置が生成した第２の画像データに前記物体が含まれる場合、該物体と前記撮像装置との第２の位置関係を示す第２の情報を生成し、
前記第１の情報及び前記第２の情報に基づき、前記第２の画像データを、前記第１の位置関係で撮影された画像に対応する第３の画像データへ変換し、
前記第３の画像データに前記物体が含まれる場合、前記第３の画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記第３の画像データに含まれる前記物体の位置に応じて重畳表示する、
処理をコンピュータに実行させるための表示制御プログラム。
（付記８）
撮像装置が生成した画像データに物体が含まれる場合、該物体と前記撮像装置との位置関係を示す情報を生成する位置関係生成部と、
前記情報と、記憶部に記憶された前記物体と前記撮像装置との位置関係を示す情報とに基づき、前記撮像装置が生成した画像データを、前記記憶部に記憶された前記位置関係で撮影された画像データへ変換する変換部と、
前記変換部により変換された画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記変換された画像データに含まれる前記物体の位置に応じて重畳表示するコンテンツ生成部と、
を有することを特徴とする情報処理装置。
（付記９）
撮像装置が生成した第１の画像データを取得する画像取得部と、
前記画像取得部で取得した第１の画像データに所定の物体が含まれる場合、該物体と前記撮像装置との第１の位置関係を示す第１の情報を生成する位置関係生成部と、
前記位置関係生成部により、撮像装置が生成した第２の画像データに前記物体が含まれる場合、該物体と前記撮像装置との第２の位置関係を示す第２の情報を生成し、前記第１の情報及び前記第２の情報に基づき、前記第２の画像データを、前記第１の位置関係で撮影された画像に対応する第３の画像データへ変換する変換部と、
前記第３の画像データに前記物体が含まれる場合、前記第３の画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記第３の画像データに含まれる前記物体の位置に応じて重畳表示するコンテンツ生成部とを有することを特徴とする情報処理装置。

１０ 表示制御システム
１１ サーバ
１２ 表示装置
１３ 通信ネットワーク
２１ 入力部
２２，４４ 表示部
２３ 記憶部
２４ 画像取得部
２５ 認識部
２６ 位置関係生成部
２７ 変換部
２８ コンテンツ生成部
２９ 通信部
３０ 制御部
３１ 撮像装置
４１ マイクロフォン
４２ スピーカ
４３ カメラ
４５ 操作部
４６ センサ部
４７ 電力部
４８ 無線部
４９ 近距離通信部
５０ 補助記憶装置
５１ 主記憶装置
５２ ＣＰＵ
５３ ドライブ装置
５４ 記録媒体
６０ ＡＲマーカ
７０，８０ オブジェクトデータ
９０ 実物体
１００ 画面

Claims (7)

1. オブジェクトデータの設定処理において、撮像装置が生成した第１の画像データに含まれる物体と、前記撮像装置との位置関係を示す第１の情報を生成して記憶部に記憶し、
   オブジェクトデータの表示処理において、前記撮像装置が生成した第２の画像データに前記物体が含まれる場合、該物体と前記撮像装置との位置関係を示す第２の情報を生成し、
   前記第１の情報と前記第２の情報と、に基づき、前記第２の画像データを、前記記憶部に記憶された前記位置関係で撮影された場合に前記撮像装置が生成する第３の画像データへ変換し、
   前記第３の画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記第３の画像データに含まれる前記物体の位置に応じて重畳表示する、
   処理をコンピュータが実行することを特徴とする表示制御方法。
2. オブジェクトデータの設定処理において、撮像装置が生成した第１の画像データを取得し、
   前記第１の画像データに所定の物体が含まれる場合、該物体と前記撮像装置との第１の位置関係を示す第１の情報を生成し、
   オブジェクトデータの設定処理において、撮像装置が生成した第２の画像データに前記物体が含まれる場合、該物体と前記撮像装置との第２の位置関係を示す第２の情報を生成し、
   前記第１の情報及び前記第２の情報に基づき、前記第２の画像データを、前記第１の位置関係で撮影された画像に対応する第３の画像データへ変換し、
   前記第３の画像データに前記物体が含まれる場合、前記第３の画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記第３の画像データに含まれる前記物体の位置に応じて重畳表示する、
   処理をコンピュータが実行することを特徴とする表示制御方法。
3. 前記第１の情報に含まれる前記物体の回転角情報と、前記第２の情報に含まれる前記物体の回転角情報との差分を算出し、
   算出した前記差分に基づいて、前記第２の画像データを、前記第３の画像データへ変換することを特徴とする請求項２に記載の表示制御方法。
4. 前記第１の画像データに前記物体が複数存在する場合、又は前記第２の画像データに前記物体が複数存在する場合に、それぞれの画像データから得られる前記第１の情報又は前記第２の情報の平均値を用いて、前記第２の画像データを、前記第３の画像データへ変換することを特徴とする請求項２又は３に記載の表示制御方法。
5. 前記第２の画像データに前記物体が複数存在する場合に、ユーザから選択された前記物体に対応する前記第２の情報を用いて、前記第２の画像データを、前記第３の画像データへ変換することを特徴とする請求項２又は３に記載の表示制御方法。
6. オブジェクトデータの設定処理において、撮像装置が生成した第１の画像データに含まれる物体と、前記撮像装置との位置関係を示す第１の情報を生成して記憶部に記憶し、
   オブジェクトデータの表示処理において、前記撮像装置が生成した第２の画像データに前記物体が含まれる場合、該物体と前記撮像装置との位置関係を示す第２の情報を生成し、
   前記第１の情報と前記第２の情報と、に基づき、前記第２の画像データを、前記記憶部に記憶された前記位置関係で撮影された場合に前記撮像装置が生成する第３の画像データへ変換し、
   前記第３の画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記第３の画像データに含まれる前記物体の位置に応じて重畳表示する、
   処理をコンピュータに実行させるための表示制御プログラム。
7. オブジェクトデータの設定処理において、撮像装置が生成した第１の画像データに含まれる物体と、前記撮像装置との位置関係を示す第１の情報を生成して記憶する記憶部と、
   オブジェクトデータの表示処理において、前記撮像装置が生成した第２の画像データに物体が含まれる場合、該物体と前記撮像装置との位置関係を示す第２の情報を生成する位置関係生成部と、
   前記第１の情報と前記第２の情報と、に基づき、前記第２の画像データを、前記記憶部に記憶された前記位置関係で撮影された場合に前記撮像装置が生成する第３の画像データへ変換する変換部と、
   前記第３の画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記第３の画像データに含まれる前記物体の位置に応じて重畳表示するコンテンツ生成部と、
   を有することを特徴とする情報処理装置。

Images