JP5676982B2 - 画像生成装置、画像生成方法、及びプログラム - Google Patents

Description

本発明は、表示装置に対する画像表示を制御する技術に関する。

画像を表示する装置において、ユーザの属性に応じて異なる画像を表示する技術が従来から存在する。例えば特許文献１には、観察者とは異なる身長を持つ人の視界を再現する技術が提案されている。特許文献１に記載の技術を用いると、大人に対して子供の視界を提示することができる。また特許文献２には、観察者の生体情報を用いて認証を行い、認証が確立したときにのみ、機密データをディスプレイに表示する技術が提案されている。また特許文献３には、観察者の属性と表示デバイスの種類とに応じて、機密データの表示を制御する技術が提案されている。

特許３４０８２６３号公報 特開２００３−１６７８５５号公報 特開２００８−２９９７６０号公報 特登録０３９４２７５９号公報 特開２００８−０７９０１３号公報

Ｒ．Ｍ．Ｈａｒａｌｉｃｋ，Ｃ．Ｌｅｅ，Ｋ．Ｏｔｔｅｎｂｅｒｇ，ａｎｄ Ｍ．Ｎｏｌｌｅ：Ｒｅｖｉｅｗ ａｎｄ ａｎａｌｙｓｉｓ ｏｆ ｓｏｌｕｔｉｏｎｓ ｏｆ ｔｈｅ ｔｈｒｅｅ ｐｏｉｎｔ ｐｅｒｓｐｅｃｔｉｖｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｐｒｏｂｌｅｍ， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ．１３，ｎｏ．３，ｐｐ．３３１−３５６，１９９４． Ｄ．Ｇ．Ｌｏｗｅ：Ｆｉｔｔｉｎｇ ｐａｒａｍｅｔｅｒｉｚｅｄ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｍｏｄｅｌｓ ｔｏ ｉｍａｇｅｓ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰＡＭＩ，ｖｏｌ．１３，ｎｏ．５，ｐｐ．４４１−４５０，１９９１．

上述の従来技術によれば、観察者の識別情報を用いて、表示が制御される。したがって、例えば観察者が認証された時にのみ機密情報を提示する場合、観察者がどのような状況にあっても、機密情報が提示され得る。例えば機密情報を閲覧可能な区域が限定されている場合に、その区域外であっても、表示装置には機密情報が表示され得た。

本発明は、観察者の周囲に存在する情報に従って、表示装置への画像表示を制御することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像生成装置は以下の構成を備える。すなわち、
現実空間を撮像して撮像画像を出力する撮像手段と、ユーザに対して画像を表示する表示手段とを備える頭部装着型表示装置に接続されている画像生成装置であって、
前記ユーザを認証する認証手段と、
前記撮像手段から出力される撮像画像を参照し、該撮像画像から所定のパターンを検出する検出手段と、
前記頭部装着型表示装置の位置姿勢を取得する取得手段と、
表示画像を生成する生成手段と、
前記ユーザの認証結果に従う第１の表示判定と、前記検出された所定のパターンに従う第２の表示判定と、前記頭部装着型表示装置の位置に従う第３の表示判定との組み合わせに基づいて、前記表示画像の表示可否を判定する判定手段と、
前記判定手段による判定に従い、前記表示画像を、前記表示手段に対して出力する出力手段と
を備えることを特徴とする。

観察者の周囲に存在する情報に従って、表示装置への画像表示を制御することができる。

実施例１に係る画像生成装置１００の一例を示すブロック図。 実施例１２に係るコンピュータ２０００の一例を示すブロック図。 実施例１に係る処理の一例を示すフローチャート。 実施例１に係る表示画像の例を示す図。 実施例２に係る表示画像の例を示す図。 実施例３に係る画像生成装置６００の一例を示すブロック図。 実施例３に係る処理の一例を示すフローチャート。 実施例４に係る画像生成装置８００の一例を示すブロック図。 実施例４に係る処理の一例を示すフローチャート。 実施例８に係る画像生成装置１３００の一例を示すブロック図。 実施例６に係る処理の一例を示すフローチャート。 実施例６に係る表示画像の例を示す図。

以下、添付図面を参照し、本発明の好適な実施例について詳細に説明する。

図１は、実施例１に係る画像生成装置１００の構成例を示すブロック図である。以下、画像生成装置１００が備える各部について説明する。頭部装着型表示装置（ヘッド・マウント・ディスプレイ、ＨＭＤ）１０００は、ユーザの頭部に装着可能な表示装置である。ＨＭＤ１０００は、表示部１０１０、撮像部１０２０、及び識別情報取得部１０３０を備える。

表示部１０１０は、画像生成部１０７０から送出された画像を表示する。ＨＭＤを装着したユーザは、表示部１０１０を介して画像を見ることができる。例えば表示部１０１０は、液晶画面を備えてもよい。ＨＭＤ１０００は、右目用の表示部１０１０と、左目用の表示部１０１０とを有しうる。それぞれの表示部１０１０は、ＨＭＤ１０００を装着したユーザの右目又は左目の眼前に位置するように、ＨＭＤ１０００に取り付けられる。

撮像部１０２０は、現実空間の画像を撮像する。撮像部１０２０は、撮像した画像（現実空間画像）を画像入力部１０９０に対して送出する。撮像部１０２０は、動画像を撮影する構成を有することが望ましい。この場合撮像部１０２０は、動画像を構成する各フレームの画像を順次画像入力部１０９０に対して送出する。

以下の説明において、現実空間には、紙媒体１５００が配置されているものとする。撮像部１０２０は、この紙媒体１５００の画像を撮像することができる。この紙媒体１５００には、所定のパターンが人工的に付与されている。本実施例においては、この所定のパターンは電子透かしである。すなわち、撮像部１０２０が撮像した紙媒体１５００の画像からは、電子透かし情報が抽出されうる。紙媒体１５００に電子透かし情報を人工的に付与することは、例えば特許文献４や特許文献５に示されているような、周知技術に従って行うことができる。したがって、電子透かし技術についての詳細な説明は、本明細書においては省略する。

以下の説明では、現実空間には電子透かし情報が付与された紙媒体１５００が配置されているものとするが、電子透かし情報が付与された他の物体が配置されていてもよい。また、物体に対して、電子透かしとは別の技術を用いて情報を付与してもよい。例えば、撮像画像から情報を抽出しうるように、物体に対して情報を付与することができる。物体に対して情報を付与するためには、二次元バーコード技術が用いられてもよい。また、物体上に文字列が表示されていてもよい。

本実施例において画像生成装置１００はＨＭＤ１０００を備えるものとするが、画像生成装置１００とＨＭＤ１０００とは別の装置であってもよい。すなわちこの場合、画像生成装置１００は、現実空間を撮像して撮像画像を順次出力する撮像部１０２０（撮像装置）と、ユーザに対して画像を表示する表示部１０１０（表示装置）とに接続される。この場合、画像生成装置１００（特に画像生成部１０７０、データ管理部１０８０、及び画像入力部１０９０）と、ＨＭＤ１０００とは、通信チャネルを介してデータを交換することができる。

識別情報取得部１０３０は、ＨＭＤのユーザを識別する識別情報を取得する。本実施例において識別情報取得部１０３０は、識別情報として、ユーザの虹彩情報を取得する。例えば識別情報取得部１０３０は、虹彩情報として、ユーザの虹彩画像を取得する。識別情報取得部１０３０は、取得した虹彩情報を、データ管理部１０８０に対して送出する。

本実施例においては虹彩情報をユーザの識別情報として利用するが、識別情報は虹彩情報には限られない。例えば、虹彩情報以外の生体情報を、ユーザの識別情報として用いてもよい。例えば、ユーザの生体情報である、網膜パターン、静脈パターン、及び指紋パターンなどを用いることができる。また、識別情報は生体情報には限られない。例えば、ユーザＩＤ及びパスワードをユーザの識別情報としてもよい。また、ＩＤカードなどによる認証技術を用いて、ユーザの識別情報を取得することもできる。例えば短距離無線通信技術を用いて、ＩＣカードなどのユーザが有する鍵から、ユーザの識別情報を取得してもよい。

画像入力部１０９０は、撮像部１０２０から送出された現実空間画像を取得する。情報認識部１０４０は、撮像部１０２０で撮像された撮像画像から所定のパターンを検出する（検出手段）。この所定のパターンは、予め定められているものとする。本実施例においては情報認識部１０４０は、撮像画像中の電子透かし情報を検出し抽出する。情報認識部１０４０が抽出した透かし情報は、予め保持されている情報と照合される。抽出した電子透かし情報と予め保持されている情報とが一致する場合、情報認識部１０４０は所定のパターンを検出できたことになる。

本実施例においては撮像画像中の全領域に対して電子透かし情報の抽出処理が行われる。しかしながら、予め電子透かし情報が配置されている領域が特定されていれば、特定された領域に対して抽出処理を行うこともできる。例えば、周知の位置計測技術を用いて紙媒体１５００と撮像部１０２０との位置を測定することができる。この場合、撮像画像中において紙媒体が占める領域を算出することができる。情報認識部１０４０は、パターンの検出結果を、データ管理部１０８０へと出力しうる。情報認識部１０４０が所定のパターンを検出できない場合には、情報認識部１０４０は、パターンが検出されなかったことを示す情報を、データ管理部１０８０へと出力しうる。

本実施例においては情報認識部１０４０は、抽出した電子透かし情報と予め保持されている情報とが一致するか否かを示す情報を、データ管理部１０８０に出力しうる。本実施例において情報認識部１０４０は、抽出した電子透かし情報と予め保持されている情報とが一致する場合に、表示部１０１０への画像表示が認証されたものと判定する。また、抽出した電子透かし情報と予め保持されている情報とが一致しない場合には、情報認識部１０４０は、表示部１０１０への画像表示が認証されていないものと判定する。この予め保持されている情報は、例えばデータ管理部１０８０に保持されていてもよい。電子透かしを抽出する技術は、電子透かしを付与する技術と同様、周知技術に従って行うことができる。

個人属性認識部１０５０は、識別情報取得部１０３０が取得した識別情報を用いて、画像生成装置１００のユーザの属性を認識する（認証手段）。例えば個人属性認識部１０５０は、虹彩情報とユーザとが対応付けられたデータベースを参照することにより、虹彩情報に対応するユーザの属性を取得することができる。このユーザの属性は例えば、ユーザが認証されたユーザであるか、又は認証されていないユーザであるかを示すことができる。また個人属性認識部１０５０は、識別情報を用いて、ユーザが予め定められたグループのうちの１つに該当することを認証することができる。この場合、このユーザの属性は、ユーザがどのグループに含まれるかを示すことができる。

このデータベースは、例えばデータ管理部１０８０に存在してもよい。個人属性認識部１０５０は、認識されたユーザの属性を、データ管理部１０８０へと出力する。虹彩情報からユーザの属性を認識する技術は周知技術であるので、この技術についての詳細な説明は省略する。

表示制御部１０６０は、情報認識部１０４０が抽出した情報と、個人属性認識部１０５０が認識したユーザの属性とに従って、表示部１０１０への出力を制御する制御情報を生成する。本実施例においては、ユーザの認証結果、すなわち個人属性認識部１０５０が決定したユーザの属性と、情報認識部１０４０が検出するパターンと、の組み合わせ毎に、対応する表示内容が規定されている。この表示内容は予め定められており、例えばデータ管理部１０８０で管理されうる（規定手段）。そして表示制御部は、ユーザの認証結果と、情報認識部１０４０が検出したパターンとの組み合わせに対応する表示内容に従って、画像生成部１０７０を制御する制御情報を生成する。表示制御部１０６０の詳しい処理については後述する。表示制御部１０６０は、生成した制御情報をデータ管理部１０８０へと出力する。

画像生成部１０７０は、表示制御部１０６０が生成した制御情報に従って、表示部１０１０に表示する画像を生成する（生成手段）。画像生成部１０７０が生成する画像は、例えば予め保持しているテキスト情報、仮想物体画像、などを含みうる。また画像生成部１０７０は、紙媒体１５００と関連するテキスト情報又は仮想物体画像を含みうる。そして、画像生成部１０７０は、生成した画像を表示部１０１０に対して送出する（出力手段）。

データ管理部１０８０は、上述したように、様々な情報を格納することができる。また、上述した各部の動作を制御することもできる。データ管理部１０８０は、データ管理部１０８０が保持するものとして本実施例で説明される情報に加えて、既知の情報として本実施例で説明される情報をも格納しているものとする。データ管理部１０８０はこれらの情報を、画像生成装置１００から分離された外部装置、例えばサーバ、に格納してもよい。この場合データ管理部１０８０は、外部装置と通信することにより、上述の情報を取得することができる。

次に図３を参照して、本実施例に係る画像生成装置１００が行う処理を説明する。ステップＳ３０１０で画像入力部１０９０は、撮像部１０２０から送出された現実空間画像（撮像画像）を取得（キャプチャ）する。ステップＳ３０２０で識別情報取得部１０３０は、ユーザの識別情報として虹彩情報を取得する。ステップＳ３０３０で情報認識部１０４０は、ステップＳ３０１０で取得された現実空間画像から情報を抽出する。本実施例においては、現実空間中に配置された紙媒体１５００に付与されている、電子透かし情報が抽出される。そして情報認識部１０４０は、抽出された電子透かし情報と、予め保持されている情報とを照合する。照合結果は、データ管理部１０８０へと出力される。

ステップＳ３０４０で個人属性認識部１０５０は、ステップＳ３０２０で取得された虹彩情報を用いて、データベースから画像生成装置１００のユーザの属性を取得する。ステップＳ３０５０で表示制御部１０６０は、ステップＳ３０３０で得られた照合結果と、ステップＳ３０４０で得られたユーザの属性とを用いて、表示部１０１０へと出力する表示内容を決定する。表示制御部１０６０が行う具体的な処理については後述する。そして表示制御部１０６０は、画像生成部１０７０に対して制御情報を送ることにより、決定された表示内容に従う画像を画像生成部１０７０に生成させる。

ステップＳ３０６０で画像生成部１０７０は、ステップＳ３０５０で表示制御部１０６０から受け取った制御情報に従い、表示部１０１０に表示させる画像を生成する。そして画像生成部１０７０は、生成された画像を表示部１０１０へと送信する。ステップＳ３０７０で表示部１０１０は、ステップＳ３０６０で生成された画像を表示する。

ステップＳ３０８０でデータ管理部１０８０は、画像表示処理を終了するか否かを判定する。画像表示処理を終了する場合、図３に示される処理は終了する。画像表示処理を終了しない場合、処理はステップＳ３０６０へと戻る。データ管理部１０８０は、画像表示処理を終了する指示が入力された場合に、画像表示処理を終了することができる。たとえば、画像表示を消すユーザ指示を、例えば非図示の入力装置を介して受け取った場合に、データ管理部１０８０は画像表示処理を終了させることができる。このように、一度ユーザが認証され、所定のパターンが検知されると、再び認証及び検知を行うことなく、画像生成及び画像表示が続けられうる。

一方で、データ管理部１０８０は、画像表示処理を終了する条件が満たされた場合に、画像表示処理を終了することができる。例えば、撮像部１０２０によって現実空間画像Ａが撮像され、現実空間画像Ａから透かし情報Ａが抽出されて、この透かし情報ＢがステップＳ３０５０における表示内容決定処理で用いられたものと仮定する。この場合、現実空間画像Ａが撮像された時より後の時点で撮像された現実空間画像Ｂからは、透かし情報Ａは抽出されないかもしれない。

したがって、現実空間が撮像された時から所定時間が経過した後は、ステップＳ３０１０〜ステップＳ３０５０の処理を繰り返すことが望ましい。こうして、例えば上述の現実空間画像Ｂに対して透かし情報の抽出処理を行い、抽出された情報に従って表示部１０１０の表示を制御することが可能となる。そこで、ステップＳ３０１０で現実空間画像が撮像されてから所定の時間が経過した場合に、データ管理部１０８０は画像表示処理を終了してもよい。図３の処理が終了した後には、再びステップＳ３０１０からの処理が繰り返されてもよい。

また、既知の技術を用いてＨＭＤ１０００の位置を測定できる場合もある。この場合、ステップＳ３０１０で現実空間画像が撮像された際のＨＭＤ１０００の位置と、ステップＳ３０８０におけるＨＭＤ１０００の位置とが所定の距離よりも離れている場合、データ管理部１０８０は画像表示処理を終了してもよい。

図４は、表示制御部１０６０の制御に従って、画像生成部１０７０が生成する画像を示す。図４を参照して、表示制御部１０６０がステップＳ３０５０で行う具体的な処理を説明する。本実施例において個人属性認識部１０５０は、上述のように、ユーザが認証されているか認証されていないかを示すユーザの属性を、表示制御部１０６０に知らせることができる。また情報認識部１０４０は、上述のように、電子透かし情報の認識結果に従って、表示部１０１０への画像表示が認証されているか否かを判定することができる。そして情報認識部１０４０は、表示部１０１０への画像表示が認証されているか否か（認証ＯＫか認証ＮＧか）を示す情報を、表示制御部１０６０に知らせることができる。

表示制御部１０６０は、上述の情報に従って、画像４０１０、画像４０２０、画像４０３０、画像４０４０の何れかを画像生成部１０７０に生成させる。画像４０１０〜４０４０は、予め決定されていてもよいし、動的に生成されてもよい。図４で示されるように、電子透かし情報の認識結果が「認証ＯＫ」であり、かつ、ユーザの属性が「認証されたユーザ」である場合には、表示制御部１０６０は画像生成部１０７０に画像４０１０を生成させる。画像４０１０は、仮想物体画像とテキスト情報との少なくとも一方を含みうる。画像４０１０は表示部１０１０に出力され、ユーザが観察することができる。

一方、電子透かし情報の認識結果が「認証ＯＫ」であり、ユーザの属性が「認証されていないユーザ」である場合には、表示制御部１０６０は画像生成部１０７０に画像４０２０を生成させる。画像４０２０は、ＨＭＤ１０００の使用がユーザには許可されていないことを示しうる。また、電子透かし情報の認識結果が「認証ＮＧ」であり、ユーザの属性が「認証されているユーザ」である場合には、表示制御部１０６０は画像生成部１０７０に画像４０３０を生成させる。画像４０３０は、撮像部１０２０が撮像している現実空間画像に表示を可能とする情報が含まれていないこと、すなわち情報表示が許可されていない事を示しうる。

さらに、電子透かし情報の認識結果が「認証ＮＧ」であり、ユーザの属性が「認証されていないユーザ」である場合には、表示制御部１０６０は画像生成部１０７０に画像４０４０を生成させる。画像４０４０は、ＨＭＤ１０００の使用がユーザには許可されていないこと、及び情報表示が許可されていないことを示しうる。

このように本実施例によれば、ユーザの識別情報と、現実空間に存在する情報と、の双方を用いて、ＨＭＤへの表示を制御することができる。例えば、画像表示を可能とする「鍵」となる、電子透かし情報が付与された物体を用いて表示制御を行うことができる。具体的には、その物体が撮像されているときにのみ、画像表示を行うことができる。

本実施例においては、ユーザの属性が「認証されていないユーザ」である場合には、ＨＭＤ１０００の使用がユーザには許可されていないことを示す画像が表示された。また、電子透かし情報の認識結果が「認証ＮＧ」である場合には、情報表示が許可されていないことを示す画像が表示された。しかしながら、表示される画像は様々な画像でありうる。例えば、画像４０１０は機密性の高い情報を含む画像でありうる。また、画像４０２０、画像４０３０、及び画像４０４０は、画像４０１０から機密性の高い情報を除いた画像でありうる。このように本実施例に係る画像生成装置１００は、ユーザの属性と、現実空間画像から抽出された情報と、に応じて画像を選択し、選択された画像を表示することができる。

また、本実施例を利用することにより、電子透かし情報が付与された物体を撮像部１０２０で撮像している場合にのみ、表示部１０１０に情報を表示することができる。例えばエンターテイメントの分野において、ユーザが特定の物体を発見した時にのみ情報を表示するような装置を実現することができる。

実施例１では、電子透かし情報の認識結果は「認証ＯＫ」と「認証ＮＧ」の２つのうちの何れかであった。しかしながら情報認識部１０４０が生成する認識結果は、より多くの種類から選ばれてもよい。実施例２では、情報認識部１０４０は、認識結果を「認証ＯＫ」、「認証一部ＯＫ」「認証ＮＧ」のうちから選択する。情報認識部１０４０は、何らかの理由により、電子透かし情報をその一部しか認証できないかもしれない。また、電子透かし情報が複数の要素から構成されている場合、情報認識部１０４０は一部の要素しか認証できないかもしれない。このような場合、情報認識部１０４０は「認証一部ＯＫ」という認識結果を選択することができる。

図５は、本実施例において、表示制御部１０６０の制御に従って、画像生成部１０７０が生成する画像を示す。図４に示される画像と同一の画像には、同一の参照符号が付されている。実施例１に関して既に説明した画像については、以下では説明を省略する。ユーザの属性が「認証されているユーザ」であり、かつ、電子透かし情報の認識結果が「一部認証ＯＫ」である場合、表示制御部１０６０は画像生成部１０７０に画像５０１０を生成させる。

画像５０１０は、画像４０１０〜４０４０とは異なる画像でありうる。本実施例において画像５０１０に含まれる情報は、画像４０１０に含まれる情報の一部である。すなわち、画像４０１０に含まれるテキスト情報「ｘｘｘｘｘ」及び「ｚｚｚｚｚ」を、画像５０１０は含んでいない。画像５０１０は、画像４０１０に含まれる仮想物体画像の一部を含んでいてもよい。また、画像４０１０に含まれる仮想物体画像が３次元モデルから生成されている場合、画像５０１０に含まれる仮想物体画像は、より簡略化された３次元モデルから生成されてもよい。

一方、ユーザの属性が「認証されていないユーザ」であり、電子透かし情報の認識結果が「一部認証ＯＫ」である場合、表示制御部１０６０は画像生成部１０７０に画像５０２０を生成させる。画像５０２０は、ＨＭＤ１０００の使用がユーザには許可されていないことを示しうる。このように本実施例に係る画像生成装置１００は、ユーザの属性と、現実空間画像から抽出された情報と、に応じて画像を選択し、選択された画像を表示することができる。

上述の実施例では、画像生成装置１００は、ユーザに仮想物体画像及びテキスト情報を表示した。実施例３に係る画像生成装置６００は、ユーザに仮想現実空間を提示することができる。具体的には実施例３に係る画像生成装置６００は、仮想空間画像をＨＭＤ１０００に表示させることができる。
具体的には画像生成装置６００は、ＨＭＤ１０００の位置姿勢を計測する。さらに画像生成装置６００は、計測された位置姿勢に対応する仮想空間画像を生成する。そして画像生成装置６００は、生成された仮想空間画像をＨＭＤ１０００に表示させる。図６には、本実施例に係る画像生成装置６００を示す。図１を参照して既に説明された構成には、図１と同一の参照符号が付されている。これらの構成については、説明を省略する。

現実空間の複数の位置には、複数個の指標Ｑ_ｋ（ｋ＝１，…，Ｋ）が配置されている。これらの指標が、撮像部１０２０によって撮影される。それぞれの指標の世界座標系における位置ｘ_Ｗ ^Ｑｋは、画像生成装置６００にとって既知である。この世界座標系は、現実空間の１点を原点とする。そしてこの世界座標系においては、互いに直交する３軸がそれぞれＸ軸、Ｙ軸、Ｚ軸とされる。

本実施例においては、撮像部１０２０によって撮像される撮像画像には、少なくとも３個以上の指標Ｑ_ｋが含まれていることが望ましい。図６に示される例においては、４個の指標Ｑ_１，Ｑ_２，Ｑ_３，Ｑ_４が現実空間中に存在する。また、図６に示される例においては、３個の指標Ｑ_１，Ｑ_２，Ｑ_３が、撮像部１０２０の撮像範囲内に含まれている。それぞれの指標には、指標を互いに識別可能な識別子が付されている。指標と識別子とは一対一の対応を有し、識別子が特定されれば指標を特定することができる。本実施例においては、Ｑ_１，Ｑ_２，Ｑ_３，Ｑ_４には、識別子として１，２，３，４がそれぞれ付されているものとする。

なお、指標Ｑ_ｋとしては、様々なものを用いることができる。画像生成装置６００が、撮像画像上における指標Ｑ_ｋの座標を検出することができるように、指標Ｑ_ｋは構成される。また、画像生成装置６００が、撮像画像上において指標Ｑ_ｋを他の指標Ｑ_ｋから識別できるように、指標Ｑ_ｋは構成される。

例えば指標Ｑ_ｋは、それぞれが異なる色を有する円形のマーカでありうる。また指標Ｑ_ｋは、それぞれが異なるテクスチャ特徴を有する自然特徴等の特徴点でありうる。さらに指標Ｑ_ｋは、四角形の指標でありうる。この四角形の指標は、ある程度の面積を有する四角形の単色領域によって構成されうる。指標Ｑ_ｋは、人為的に形状を決められ、人為的に現実空間中に配置されたものでありうる。一方で指標Ｑ_ｋは、現実空間中に元来存在する特徴的な要素であってもよい。指標Ｑ_ｋとして、人為的に配置された要素と、現実空間中に元来存在する要素との双方を用いることもできる。指標検出部６０１０は、指標の特徴（上述の例では、色又はテクスチャ特徴）と、識別子とを対応付けるデータベースを用いて、それぞれの指標についての識別子を取得することができる。

指標検出部６０１０は、データ管理部１０８０から撮像画像を取得する。そして、取得した撮像画像に含まれる指標の、撮像画像における座標を検出する。以下では、撮像画像における座標を「画像座標」と呼ぶ。例えば、指標の各々が異なる色を有するマーカによって構成されている場合には、指標検出部６０１０は、各々のマーカ色を有する領域を撮像画像から検出する。そして、検出された領域の重心位置を、指標の座標とする。

また、指標の各々が異なるテクスチャ特徴を有する特徴点によって構成されている場合には、指標検出部６０１０は次のように指標の位置を検出する。すなわち指標検出部６０１０は、各々のテクスチャ特徴に対応するテンプレート画像を用いたテンプレートマッチング処理を撮像画像に対して行えばよい。このテンプレート画像は、データ管理部１０８０が既知の情報として予め保持している。

また、指標の各々が四角形指標によって構成されている場合には、指標検出部６０１０は、撮像画像に対して２値化処理を行う。指標検出部６０１０はその後ラベリング処理を行い、４つの直線によって構成される領域を指標候補として検出する。さらに指標検出部６０１０は、指標候補である領域中に、特定のパターンが存在するか否かを判定してもよい。指標検出部６０１０は、特定のパターンが存在する領域を、四角形指標として検出する。パターンを検出することにより指標検出部６０１０は、その四角形指標を他の四角形指標と区別することができる。また、パターンを検出することにより指標検出部６０１０は、四角形指標を誤検出することを防ぐことができる。１つの四角形指標は４つの頂点によって構成されるが、本実施例においては、それぞれの頂点が指標として認識される。

指標検出部６０１０はさらに、検出された指標の画像座標と、その指標の識別子と、をデータ管理部１０８０へと出力する。なお以下では、検出された指標のそれぞれを、番号ｎ（ｎ＝１，…，Ｎ）を用いて、Ｑ_ｋｎと表す。本実施例においては、Ｑ_ｋ１はＱ_１に、Ｑ_ｋ２はＱ_３に、Ｑ_ｋ３はＱ_４に、それぞれ対応するものとする。ここで、Ｎは撮像画像上で検出された指標の数を表している。例えば図６の場合には、Ｎ＝３である。

また、指標Ｑ_ｋｎの画像座標をｕ^Ｑｋｎと表す。さらに、検出された指標の識別子を、ｋ_ｎと表す。この例では、識別子ｋ_１＝１，ｋ_２＝３，ｋ_３＝４である。すなわち指標検出部６０１０は、検出された指標の画像座標ｕ^Ｑｋ１，ｕ^Ｑｋ２，ｕ^Ｑｋ３と、対応する識別子ｋ_１，ｋ_２，ｋ_３と、を、データ管理部１０８０へ出力する。

位置姿勢計測部６０２０は、指標検出部６０１０が取得した、それぞれの指標Ｑ_ｋｎの画像座標ｕ^Ｑｋｎを取得する。また位置姿勢計測部６０２０は、それぞれの指標Ｑ_ｋｎの識別子ｋ_ｎを取得する。位置姿勢計測部６０２０は、指標Ｑ_ｋｎの識別子ｋ_ｎを用いて、指標Ｑ_ｋｎに対応する、現実空間に配置された指標Ｑ_ｎを知ることができる。上述のように、指標Ｑ_ｎの世界座標ｘ_Ｗ ^Ｑｋｎは、データ管理部１０８０にとって既知である。こうして位置姿勢計測部６０２０は、それぞれの指標Ｑ_ｋｎの世界座標ｘ_Ｗ ^Ｑｋｎを、データ管理部１０８０から取得することができる。

以上のように位置姿勢計測部６０２０は、それぞれの指標Ｑ_ｋｎについての、画像座標ｕ^Ｑｋｎと世界座標ｘ_Ｗ ^Ｑｋｎとの組を取得できる。次に位置姿勢計測部６０２０は、これらの座標に基づいて、ＨＭＤ１０００（より詳細には撮像部１０２０）の位置及び姿勢を算出する。算出された位置及び姿勢は、例えば、位置を表す３次元ベクトルｘ_Ｗ ^Ｃと、姿勢を表す３×３行列Ｒ_ＷＣと、の組を用いて表すことができる。

位置姿勢計測部６０２０は、これら算出された位置及び姿勢をデータ管理部１０８０へと出力する。現実空間に配置された指標の世界座標と、撮像画像における指標の画像座標との組から撮像部の位置及び姿勢を算出する技術は既知である。例えばこの技術は、写真測量等の分野において古くから提案されている（例えば、非特許文献１、非特許文献２を参照）。そこで、撮像部の位置及び姿勢を算出する技術についての詳細な説明は省略する。

画像生成部６０７０は、表示制御部１０６０から受け取った制御情報に従って、表示部１０１０に表示する表示画像を生成する。表示制御部１０６０から受け取った制御情報に、仮想空間画像を生成してもよいことが示されている場合、画像生成部６０７０は仮想空間画像を生成する。表示制御部１０６０は、例えば電子透かし情報の認識結果が「認証ＯＫ」であり、ユーザの属性が「認証されているユーザ」であると判断した場合に、表示制御部１０６０は画像生成部６０７０に仮想空間画像を生成させうる。

画像生成部６０７０は、データ管理部１０８０に格納されている仮想空間のデータと、位置姿勢計測部６０２０が算出したＨＭＤの位置及び姿勢に基づいて、仮想空間画像を生成する。具体的には画像生成部６０７０は、データ管理部１０８０に格納されている仮想空間のデータを用いて、仮想空間を構築する。仮想空間のデータには、仮想空間を構成する各仮想物体のデータ、例えば構造情報及び色情報が含まれる。また仮想空間のデータには、仮想空間中で照射される光源のデータ、例えば位置、色、及び強度、が含まれる。

画像生成部６０７０は、位置姿勢計測部６０２０が算出したＨＭＤの位置及び姿勢に対応する視点を、仮想空間中に設定する。そして、設定された視点から見える仮想空間の画像（仮想空間画像）を生成する。所定の位置姿勢を有する視点から見える仮想空間の画像を生成する技術は周知である。従って、この技術についての詳細な説明は省略する。

次に図７を参照して、本実施例の画像生成装置６００が行う処理を説明する。図３に示される処理と同様の処理には、図３と同じ参照符号が付されている。これらの処理については、説明を省略する。ステップＳ７０１０で指標検出部６０１０は、データ管理部１０８０から撮像部１０２０が撮像した現実空間画像を取得する。そして指標検出部６０１０は現実空間画像に含まれる指標を検出し、検出された指標の画像座標及び識別子をデータ管理部１０８０に送出する。ステップＳ７０２０で位置姿勢計測部６０２０は、指標検出部６０１０が検出した指標の画像座標を用いて、上述のようにＨＭＤ１０００の位置及び姿勢を算出する。そして、位置姿勢計測部６０２０は、算出された位置及び姿勢をデータ管理部１０８０に送出する。

ステップＳ７０３０で画像生成部６０７０は、ステップＳ３０５０で表示制御部１０６０から受け取った制御情報に従い、表示部１０１０に表示させる画像を生成する。上述のように画像生成部６０７０は、仮想空間画像を生成するように制御された場合には、ステップＳ７０２０で算出されたＨＭＤ１０００の位置及び姿勢に従って、仮想空間の画像を生成する。画像生成部６０７０は、仮想空間画像を生成しないように制御された場合には、上述の実施例のように、例えば図４の画像４０２０〜４０４０のような予め決定された画像を生成してもよい。ステップＳ７０４０の処理はステップＳ３０８０と同様であるが、画像表示処理を継続する場合、処理はステップＳ７０５０へと進む。ステップＳ７０５０で、撮像部１０２０は現実空間の画像を撮像し、処理はステップＳ７０１０に戻る。

このように本実施例に係る画像生成装置６００は、ユーザの属性と、現実空間画像から抽出された情報と、に応じて仮想空間画像を生成し、生成された画像を表示することができる。実施例２と同様に、本実施例に係る画像生成装置６００は、ユーザの属性と、現実空間画像から抽出された情報と、に応じて異なる仮想空間画像を生成してもよい。

実施例３においては、ＨＭＤはユーザに仮想現実空間を提示する装置であった。実施例４においては、ＨＭＤはユーザに複合現実空間を提示する。すなわち本実施例に係る画像生成装置８００は、ユーザに対して、合成された現実空間の画像と仮想空間の画像とを提示する。本実施例に係るＨＭＤは、光学シースルータイプのＨＭＤでありうる。光学シースルータイプのＨＭＤを用いるユーザは、ＨＭＤを透過する現実空間の光学像と、表示部によって表示された仮想空間の光学像との組み合わせを提示される。また、本実施例に係るＨＭＤは、ビデオシースルータイプのＨＭＤであってもよい。ビデオシースルータイプのＨＭＤにおいては、撮像された現実空間の画像と、仮想空間の画像とが合成され、合成画像が生成される。そして、合成画像が表示部を介してユーザに提示される。

本実施例においてはビデオシースルータイプのＨＭＤが用いられるが、光学シースルータイプのＨＭＤを用いることも同様に可能である。図８は、ビデオシースルータイプのＨＭＤ８０００を用いる本実施例の画像生成装置８００を示す。図６に示された要素と同様の要素には、図６と同一の参照符号が付されている。これらの要素については、説明を省略する。

撮像部８０２０は、上述の撮像部１０２０と同様の構成を有し、現実空間画像を撮像する。本実施例において撮像部８０２０は、撮像部８０２０ａと、撮像部８０２０ｂとを含む。撮像部８０２０ａは、ユーザの右目から見える現実空間の画像を撮像する。撮像部８０２０ｂは、ユーザの左目から見える現実空間の画像を撮像する。すなわち、撮像部８０２０ａはＨＭＤ８０００のユーザの右目の役割を果たし、撮像部８０２０ｂはＨＭＤ８０００のユーザの左目の役割を果たす。本実施例においてはさらに、表示部１０１０は、右目に提示される画像と、左目に提示される画像との双方を表示することができる。すなわち表示部１０１０は、右目用の画像をユーザの右目に対して提示し、左目用の画像をユーザの左目に対して提示する。

画像入力部８０９０は、撮像部８０２０から送出された、右目用の現実空間画像、及び左目用の現実空間画像を取得する。そして画像入力部８０９０は、取得したそれぞれの現実空間画像をデータ管理部１０８０に格納する。画像合成部８０３０は、撮像部８０２０が撮像した現実空間画像と、画像生成部６０７０が生成した画像とを合成する。

画像合成部８０３０は、右目用の画像と左目用の画像とのそれぞれを生成することができる。すなわち画像合成部８０３０は、自身が管理するメモリ上に、データ管理部１０８０に格納されている右目用の現実空間画像を描画する。さらに画像合成部８０３０は、同じメモリ上に、画像生成部６０７０が生成した画像を重畳描画する。こうして、メモリ上に現実空間画像と、画像生成部６０７０が生成した画像との合成画像が生成される。画像合成部８０３０は、生成された合成画像を、表示部１０１０を介して、ユーザの右目に対して提示する。画像合成部８０３０は、左目用の画像についても同様に処理することができる。

本実施例においては、右目用の画像と左目用の画像とで、画像生成部６０７０によって生成された同じ画像が用いられる。画像生成部６０７０は、右目用の撮像部８０２０ａについて算出された位置姿勢を用いて仮想空間画像を生成してもよいし、左目用の撮像部８０２０ｂについて算出された位置姿勢を用いて仮想空間画像を生成してもよい。また、撮像部８０２０ａについて算出された位置姿勢と、撮像部８０２０ｂについて算出された位置姿勢との平均を用いて、仮想空間画像が生成されてもよい。

しかしながら、右目用の画像と左目用の画像とが、画像生成部６０７０によって生成されてもよい。すなわち画像生成部６０７０は、右目用の撮像部８０２０ａについて算出された位置姿勢を用いて右目用の仮想空間画像を生成しうる。また、画像生成部６０７０は、左目用の撮像部８０２０ｂについて算出された位置姿勢を用いて左目用の仮想空間画像を生成しうる。そして画像合成部は、それぞれの目についての現実空間画像と仮想空間画像とを合成しうる。

次に図９を参照して、本実施例に係る画像生成装置８００が行う処理を説明する。図７に示される処理と同様の処理には、同じ参照符号が付されている。これらの処理については、説明を省略する。ステップＳ９０１０で画像入力部８０９０は、撮像部８０２０ａ，８０２０ｂから送出された現実空間画像（撮像結果）を取得（キャプチャ）する。

ステップＳ９０２０で画像合成部８０３０は上述のように、撮像部８０２０ａが取得した画像と画像生成部６０７０が生成した画像とを合成する。また画像合成部８０３０は上述のように、撮像部８０２０ｂが取得した画像と画像生成部６０７０が生成した画像とを合成する。ステップＳ９０３０では画像入力部８０９０は、撮像部８０２０ａおよび８０２０ｂから送出された現実空間画像（撮像結果）を取得（キャプチャ）する。そして、処理はステップＳ７０１０に戻る。

このように本実施例に係る画像生成装置８００は、ユーザの属性と、現実空間画像から抽出された情報と、に応じて仮想空間画像を生成することができる。そして本実施例に係る画像生成装置８００は、現実空間画像と仮想空間画像とが合成された複合現実空間画像をユーザに提示することができる。実施例３と同様に、本実施例に係る画像生成装置８００は、ユーザの属性と、現実空間画像から抽出された情報と、に応じて異なる仮想空間画像を生成してもよい。

実施例１〜４では、一度表示制御部１０６０が制御情報を生成すると、画像生成部１０７０，６０７０はその制御情報に従って繰り返し画像を生成し、生成された画像をユーザに提示していた。しかしながら、表示制御部１０６０は、情報認識部１０４０からの認識結果と、個人属性認識部１０５０からの認識結果とを継続的に受け取り、繰り返し制御情報を生成してもよい。この場合画像生成部１０７０，６０７０は、最新の制御情報に従って画像を生成することができる。表示制御部１０６０による制御情報の生成は、画像生成部１０７０，６０７０が画像を生成する度に行われてもよい。また、表示制御部１０６０による制御情報の生成は一定の時間間隔で行われてもよいし、ユーザの指示によって行われてもよい。

上述の実施例では、現実空間画像から抽出された電子透かし情報と、ユーザの属性と、を用いてＨＭＤへの表示内容が決定された。実施例６では、現実空間画像から抽出された電子透かし情報と、ユーザの属性と、ＨＭＤの位置姿勢情報と、を用いてＨＭＤへの表示内容が決定される。本実施例に係る画像生成装置は、上述の実施例における表示制御部１０６０の動作を変更することにより実現できる。以下では、図８に示される実施例５の画像生成装置８００の表示制御部１０６０の動作を変更することにより、本実施例に係る画像生成装置８００を実現する場合について説明する。

本実施例において表示制御部１０６０は、ＨＭＤ８０００に出力する表示内容を制御する。このとき表示制御部１０６０は、情報認識部１０４０が認識した現実空間画像中の情報と、個人属性認識部１０５０が認識したユーザの属性と、位置姿勢計測部６０２０が計測したＨＭＤ８０００の位置姿勢情報と、を用いる。本実施例においてデータ管理部１０８０は、ユーザの認証結果と、撮像画像から検出されたパターンと、ＨＭＤ８０００の位置姿勢と、の組み合わせ毎に、対応する表示内容を規定する情報を保持している。そして表示制御部１０６０は、ユーザの認証結果と、撮像画像から検出されたパターンと、撮像装置の位置姿勢と、の組み合わせに対応する、規定された表示内容に従う画像を、画像生成部６０７０に生成させる。

具体的には表示制御部１０６０は、ＨＭＤ８０００の位置姿勢情報を用いて、ＨＭＤ８０００が利用可能範囲内にあるか否かを判定する。ＨＭＤ８０００の利用可能範囲を示す情報は、例えばデータ管理部１０８０が保持しうる。ＨＭＤ８０００の利用可能範囲は、予め定められていてもよいし、管理者によって設定されてもよい。表示制御部１０６０は、ＨＭＤ８０００が利用可能範囲内にあるか否かに従って、画像生成部６０７０によって生成される画像を制御する。

本実施例に係る画像生成装置８００が行う処理について、図１１のフローチャートを参照して説明する。図１１に示される処理のうち、図９に示される実施例５に係る処理と同様の処理については、同じ参照符号が付されている。これらの処理については説明を省略する。本実施例においては、表示内容が決定されるステップＳ１１０１０は、ＨＭＤ８０００の位置姿勢が決定されるステップＳ７０２０の後に行われる。ステップＳ１１０１０において表示制御部１０６０は、上述のようにＨＭＤ８０００への表示内容を決定し、制御情報を画像生成部６０７０へと送る。ステップＳ１１０３０における処理は図３のステップＳ３０８０における処理と同様であるが、画像表示処理を継続する場合、処理はステップＳ９０１０へと戻る。

図１２は、表示制御部１０６０の制御に従って、画像生成部６０７０が生成する画像を示す。画像生成部６０７０は、表示制御部１０６０の制御結果に従って、画像１２０１０〜１２０８０の何れかを生成する。電子透かし情報の認識結果が「認証ＯＫ」であり、ユーザの属性が「認証されたユーザ」であり、かつＨＭＤ８０００が利用範囲内である場合には、画像生成部６０７０は画像１２０１０のような仮想空間画像を生成する。

一方、電子透かし情報の認識結果が「認証ＮＧ」であるか、ユーザの属性が「認証されていないユーザ」であるか、もしくはＨＭＤ８０００が利用範囲外である場合には、画像生成部６０７０は画像１２０２０〜１２０８０のような画像を生成する。画像１２０２０〜１２０８０は、ユーザにＨＭＤの使用が許可されていないこと、現実空間画像に表示を可能とする情報が含まれていないすなわち情報表示が許可されていないこと、ＨＭＤの使用範囲外であること、の少なくとも１つを示している。

このように本実施例によれば、ユーザの識別情報と、現実空間に存在する情報と、ＨＭＤの位置姿勢と、を用いて、ＨＭＤへの表示を制御することができる。

実施例６では、ＨＭＤの位置姿勢の判定結果は範囲内か範囲外であるかの２通りであった。しかしながら、ＨＭＤの位置姿勢の判定結果は、より多くの種類から選択されてもよい。例えば、ＨＭＤが予め設定された３つの領域のうちの何れに位置するのかが判定されてもよい。さらには、それぞれの領域に表示レベルが設定されてもよい。ＨＭＤが位置する領域の表示レベルに応じて、ＨＭＤへの表示は制御されうる。例えば、ＨＭＤが位置する領域の表示レベルが高いほど、ＨＭＤに表示される仮想空間画像はより高精細なものとなりうるし、テキスト情報の情報量は多くなりうる。さらには、ユーザに応じて、ＨＭＤの使用範囲が異なっていてもよい。すなわち、ユーザの識別情報（又は属性）に対応する使用範囲が、予め設定されていてもよい。

実施例６では、電子透かし情報とユーザの属性とＨＭＤの位置姿勢とを用いてＨＭＤに出力する表示内容を決定していた。実施例８に係る画像生成装置は、電子透かし情報とユーザの属性と電子透かし情報を持つオブジェクトの位置姿勢情報とを用いて、ＨＭＤに出力する表示内容を決定してもよい。図１０は、本実施例に係る画像生成装置１３００の構成の一例を示すブロック図である。本実施例に係る画像生成装置１３００は、図８に示される画像生成装置８００と同様の構成を有する。図１０においては、図８に示される構成と同様の構成には、同一の参照符号が付されている。以下では、図８に示される構成と同様の構成については説明を省略する。

本実施例において、現実空間には、紙媒体１３５００が配置されている。撮像部８０２０ａ，８０２０ｂの撮像範囲内に、紙媒体１３５００は位置する。この紙媒体１３５００には電子透かし情報が付与されている。また紙媒体１３５００には、複数個の指標Ｓ_ｉ（ｉ＝１，…，Ｉ_Ｓ）が配置されている。それぞれの指標Ｓ_ｉは、独立座標系における位置が既知である。すなわち、指標Ｓ_ｉのそれぞれの独立座標系における位置は、例えばデータ管理部１０８０に格納されている。この独立座標系において、原点は紙媒体１３５００上の１点であり、Ｘ軸、Ｙ軸、及びＺ軸はそれぞれ互いに直交する３軸である。

指標Ｓ_ｉは、指標Ｑ_ｋについて説明されたのと同様の特徴を有しうる。すなわち、画像生成装置１３００が、撮像画像上における指標Ｓ_ｉの座標を検出することができるように、指標Ｓ_ｉは構成される。また、画像生成装置１３００が、撮像画像上において指標Ｓ_ｉを他の指標Ｓ_ｉから識別できるように、指標Ｓ_ｉは構成される。さらにそれぞれの指標Ｓ_ｉには、互いに識別可能な識別子が付されている。本実施例においては、Ｓ_１，Ｓ_２，Ｓ_３には、識別子として１，２，３がそれぞれ付されているものとする。表示内容を制御するために用いられる指標Ｓ_ｉと、ＨＭＤ８０００の位置姿勢を計測するために用いられる指標Ｑ_ｋとは、画像生成装置１３００によって区別されうる。

指標検出部６０１０は、データ管理部１０８０より撮像画像を入力し、入力した画像中に撮影されている指標の画像座標を検出する。指標検出部６０１０はさらに、検出された指標の画像座標とその指標の識別子とをデータ管理部１０８０へと出力する。以下では、撮像画像上で検出された指標を、検出された指標のそれぞれに付けられた番号ｎ（ｎ＝１，…，Ｎ）、ｍ（ｍ＝１，…，Ｍ）を用いて、Ｑ_ｋｎ、Ｓ_ｉｍと表す。ここで、Ｎは撮像画像上で検出された指標Ｑの数、Ｍは撮像画像上で検出された指標Ｓの数を表す。

また、検出された指標Ｓ_ｉｍの画像座標をｕ^Ｓｉｍと表す。さらに、検出された指標Ｓ_ｉｍの識別子をｉ_ｍと表す。例えば図１０の場合には、Ｍ＝３であり、指標の識別子ｉ_１＝１，ｉ_２＝２，ｉ_３＝３である。これらの指標Ｓ_ｉｍに対応する、識別子ｉ_１，ｉ_２，ｉ_３と、画像座標ｕ^Ｓｉ１，ｕ^Ｓｉ２，ｕ^Ｓｉ３とを、指標検出部６０１０は出力する。さらに指標検出部６０１０は、指標Ｑ_ｋｎについての識別子と画像座標とを、実施例３で説明したように出力する。

位置姿勢計測部６０２０は、指標検出部６０１０によって出力された指標の画像座標ｕ^Ｑｋｎと、既知である指標の世界座標ｘ_Ｗ ^Ｑｋｎとを取得する。そして位置姿勢計測部６０２０は、実施例３で説明したように、ＨＭＤ８０００の位置及び姿勢を算出する。また位置姿勢計測部６０２０は、指標検出部６０１０によって出力された指標の画像座標ｕ^Ｓｉｍを取得する。さらに位置姿勢計測部６０２０は、上述のように既知である、独立座標系における指標の座標をデータ管理部１０８０から取得する。そして位置姿勢計測部６０２０は、これらの情報に基づいて、紙媒体１３５００とＨＭＤ８０００との間の相対的な位置及び姿勢を算出する。相対的な位置及び姿勢の算出は、実施例３で説明したような、周知の技術に従って行うことができる。

表示制御部１０６０は、ＨＭＤ８０００に出力する表示内容を制御する。この制御は、情報認識部１０４０が認識した現実空間の情報と、個人属性認識部１０５０が認識したユーザの属性と、位置姿勢計測部６０２０が算出した紙媒体１３５００の位置姿勢情報とに従って行われる。本実施例においてデータ管理部１０８０には、ユーザの認証結果と、撮像画像から検出されたパターンと、紙媒体１３５００の位置姿勢と、の組み合わせ毎に、対応する表示内容を規定する情報を保持している。そして表示制御部１０６０は、ユーザの認証結果と、撮像画像から検出されたパターンと、紙媒体１３５００の位置姿勢と、の組み合わせに対応する、規定された表示内容に従う画像を、画像生成部６０７０に生成させる。

ここで紙媒体１３５００の位置姿勢は、紙媒体１３５００上に付された透かし情報の位置姿勢に対応する。このように表示制御部１０６０は、透かし情報の位置姿勢に対応する、紙媒体１３５００の位置姿勢に従って、表示内容を制御することができる。透かし情報と、上述の指標Ｓ_ｉとが紙媒体１３５００上にあることを、画像生成装置１３００は予め知っていてもよい。この場合、指標Ｓ_ｉに従って算出された紙媒体１３５００の位置姿勢が、透かし情報の位置姿勢に対応することは、表示制御部１０６０にとって既知となる。

具体的には表示制御部１０６０は、位置姿勢計測部６０２０が算出した、ＨＭＤ８０００に対する紙媒体１３５００の相対的な位置姿勢を取得する。また表示制御部は、ＨＭＤ８０００が利用可能とされる、相対的な位置姿勢の範囲を、データ管理部１０８０から取得する。データ管理部１０８０には、ＨＭＤ８０００に対して紙媒体１３５００がどのような位置姿勢を有している場合に、ＨＭＤ８０００が利用可能であるかを示す情報が格納されている。

そして表示制御部１０６０は、ＨＭＤ８０００に対する紙媒体１３５００の相対的な位置姿勢が、ＨＭＤ８０００が利用可能とされる相対的な位置姿勢の範囲に含まれるか否かを判定する。そして、この判定結果に従って、画像生成部６０７０に対して制御情報を送信する。ＨＭＤ８０００が利用可能とされる相対的な位置姿勢の範囲は、予め定められていてもよいし、管理者によって設定されてもよい。

次に、本実施例に係る画像生成装置１３００が行う処理について説明する。本実施例に係る画像生成装置１３００は、図１１を参照して説明した実施例６に係る画像生成装置と、同様に動作することができる。以下では、図１１に示される処理とは異なる処理について説明する。ステップＳ７０２０で位置姿勢計測部６０２０は、実施例６で説明したように、ＨＭＤ１０００の位置及び姿勢を算出する。また位置姿勢計測部６０２０は、上述のように、紙媒体１３５００とＨＭＤ８０００との相対的な位置姿勢を算出する。そして位置姿勢計測部６０２０は、上述のように、ＨＭＤ８０００に対する紙媒体１３５００の相対的な位置姿勢が所定の範囲内にあるか否かを判定する。

ステップＳ１１０１０で表示制御部１０６０は、ステップＳ３０３０における電子透かし情報の認識結果と、ステップＳ３０４０におけるユーザの属性の認識結果と、ステップＳ７０２０で算出された紙媒体１３５００の位置姿勢の計測結果と、を読み出す。そして表示制御部１０６０は、これらの情報を用いてＨＭＤ８０００に出力される表示内容を決定する。

本実施例において、画像生成部６０７０が生成する画像は、実施例６に係る画像生成装置が生成する画像と同様でありうる。例えば画像生成部６０７０が生成する画像は、図１２に示される画像でありうる。実施例６においては、ＨＭＤの位置姿勢の判定結果に従って表示内容が決定された。一方で本実施例においては、紙媒体１３５００の位置姿勢の判定結果が、表示内容を決定するために用いられる。したがって、本実施例によれば、指標が付された現実の物体の位置姿勢に従って、表示内容を制御することができる。

実施例８では、電子透かし情報が付された物体とＨＭＤとの相対的な位置姿勢情報を用いて、ＨＭＤに出力される表示内容が決定された。実施例１０においては、世界座標系における電子透かし情報が付された物体の位置姿勢情報を用いて、ＨＭＤに出力される表示内容が決定される。世界座標系における物体の位置姿勢情報は、世界座標系におけるＨＭＤの位置姿勢情報と、ＨＭＤと物体との相対的な位置姿勢情報と、を用いて計算できる。この計算は公知の技術によって可能であるから、この計算についての詳細な説明は省略する。また、電子透かし情報が付された物体にセンサを取り付け、このセンサを用いて物体の位置姿勢を計測してもよい。

実施例６〜９においては、ＨＭＤの位置姿勢情報と、電子透かし情報が付された物体の位置姿勢情報とのうち、の一方が、ＨＭＤに出力される表示内容を決定するために用いられた。実施例１０においては、これらの情報の双方に従って、ＨＭＤに出力される表示内容が決定される。表示内容の決定は実施例６〜９と同様に行うことができるから、説明は省略する。

また、実施例６〜９では、ＨＭＤ又は物体の、位置情報と姿勢情報との双方が、ＨＭＤに出力される表示内容を決定するために用いられた。しかしながら、位置情報のみを用いてＨＭＤに出力される表示内容を決定してもよい。また、姿勢情報のみを用いてＨＭＤに出力される表示内容を決定してもよい。さらには、位置情報の一部と、姿勢情報の一部とを用いて、ＨＭＤに出力される表示内容を決定してもよい。

上述の実施例においては、ＨＭＤ又は物体の位置姿勢は、撮像画像に対する画像処理によって算出された。しかしながら位置姿勢は、他の方法によって求められてもよい。例えば、磁気センサを用いて位置姿勢を計測してもよい。また、赤外光を用いて位置姿勢を計測してもよい。さらには、超音波を用いて位置姿勢を計測してもよい。また、機械的に位置姿勢を計測してもよい。
また、上述の実施例においては、指標の座標は画像処理によって求められた。しかしながら、指標の座標は他の技術を用いて求められても良い。例えば、磁気センサなどを用いることができる。また上述の実施例では、撮像画像からパターンを検出し、検出されたパターンに従って表示制御が行われた。しかしながら、より一般的に、現実空間に存在する物から得られる情報を用いて表示制御を行うことができる。すなわち、現実空間の画像に従って表示制御を行うことに、上述の各実施例が限定される必要はない。例えば、短距離無線通信技術などを用いて、現実空間に存在する物から発せられる信号に従って表示制御を行うこともできる。

上述の実施例においては、画像生成装置を構成する各部はハードウェアで構成されているものとした。しかし、画像生成装置の一部をソフトウェアで構成することもできる。この場合、ソフトウェアで構成されない部分をハードウェアとして有するコンピュータに、このソフトウェアを実行させることにより、このコンピュータを上述の実施例における画像生成装置として動作させることができる。

本実施例では、図２に示されるコンピュータと、ソフトウェアとを用いて、上述の各実施例に係る画像生成装置を実現する。図２は、画像生成装置として使用可能なコンピュータ２０００のハードウェア構成例を示すブロック図である。ＣＰＵ２００１は、ＲＡＭ２００２やＲＯＭ２００３に格納されているプログラムやデータを用いて、コンピュータ２０００が有する各部の制御を行う。さらにＣＰＵ２００１は、各実施例において画像生成装置が行うものとして説明された各処理を実行する。

ＲＡＭ２００２は、外部記憶装置２００７や記憶媒体ドライブ２００８から読み込まれたプログラムやデータを一時的に記憶することができる。更にＲＡＭ２００２は、Ｉ／Ｆ（インターフェース）２００９を介して外部から受信したデータを一時的に記憶することができる。例えばＲＡＭ２００２は、撮像部及び識別情報取得部から受信したデータ、すなわち現実空間画像及びユーザの識別情報、を記憶することができる。さらにＲＡＭ２００２は、ＣＰＵ２００１に対して、処理を行う際に用いるワークエリアを提供する。以上のようにＲＡＭ２００２は、各種のデータ格納エリアを提供することができる。ＲＡＭ２００２は、図１に示したデータ管理部１０８０としても機能しうる。

ＲＯＭ２００３には、コンピュータ２０００の設定データ、及び起動プログラムなどが格納されている。キーボード２００４及びマウス２００５は、操作入力装置の一例である。ユーザがキーボード２００４及びマウス２００５を操作することにより、各種の指示をＣＰＵ２００１に対して入力することができる。キーボード２００４及びマウス２００５以外の他の入力装置を、コンピュータ２０００は備えてもよい。

表示部２００６は、コンピュータ２０００による処理結果を表示することができる。表示部２００６には、ＣＲＴや液晶画面などが含まれ、画像や文字などを表示することができる。例えば表示部２００６は、ＨＭＤ１０００の位置姿勢計測のために表示すべきメッセージを表示することができる。表示部２００６には、例えば図１に示される表示部１０１０でありうる。また表示部２００６は、ＨＭＤに取り付けられた表示部１０１０とは別のものであってもよい。

外部記憶装置２００７は、プログラム及びデータなどを持続的に格納することができる。例えば外部記憶装置２００７は、ハードディスクドライブ装置に代表される大容量情報記憶装置でありうる。外部記憶装置２００７は、ＯＳ（オペレーティングシステム）を格納することができる。また外部記憶装置２００７は、画像生成装置が有する各部としてコンピュータ２０００を動作させるためのプログラム及びデータなど格納することができる。外部記憶装置２００７に保存されているプログラム及びデータは、ＣＰＵ２００１による制御に従ってＲＡＭ２００２にロードされる。ＣＰＵ２００１は、このロードされたプログラム及びデータを用いて処理を実行することにより、上述の各実施例において画像生成装置が有する各部によって行われる処理を実行することができる。

例えば情報認識部１０４０、個人属性認識部１０５０、表示制御部１０６０、画像生成部１０７０，６０７０、のそれぞれに対応するプログラムを、外部記憶装置２００７は有する。また、例えば画像入力部１０９０，８０９０、指標検出部６０１０、位置姿勢計測部６０２０、及び画像合成部８０３０のそれぞれに対応するプログラムを、外部記憶装置２００７は有する。さらに、仮想空間のデータ、及び上述の説明において既知の情報として説明されたデータ、を外部記憶装置２００７は有する。外部記憶装置２００７を、上述のデータ管理部１０８０として用いることもできる。

記憶媒体ドライブ２００８は、記憶媒体からプログラム及びデータを読み出すこと、並びに記憶媒体にプログラム及びデータを書き込むことができる。この記憶媒体には、例えばＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭが含まれる。外部記憶装置２００７に保存されるものとして説明したプログラムやデータの一部若しくは全部が、この記憶媒体に保存されていてもよい。記憶媒体ドライブ２００８が記憶媒体から読み出したプログラム及びデータは、外部記憶装置２００７又はＲＡＭ２００２へと出力されうる。

Ｉ／Ｆ２００９は、コンピュータ２０００を外部の装置と接続するためのインタフェースである。Ｉ／Ｆ２００９には、撮像部１０２０，８０２０を接続するためのアナログビデオポート又はＩＥＥＥ１３９４等のデジタル入出力ポートが含まれる。またＩ／Ｆ２００９には、イーサネット（登録商標）ポートが含まれる。コンピュータ２０００とＨＭＤとが切り離されている場合、コンピュータ２０００は合成画像を、イーサネット（登録商標）ポートを介して、ＨＭＤに対して出力しうる。

Ｉ／Ｆ２００９を介してコンピュータ２０００が受信したデータは、ＲＡＭ２００２又は外部記憶装置２００７に格納されうる。図１に示した画像入力部１０９０の機能の一部は、Ｉ／Ｆ２００９によって実現されうる。また、位置姿勢の取得にセンサを用いる場合、Ｉ／Ｆ２００９を介してセンサは接続されうる。バス２０１０は、コンピュータ２０００内の各部を接続する。

［その他の実施例］
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (6)

1. 現実空間を撮像して撮像画像を出力する撮像手段と、ユーザに対して画像を表示する表示手段とを備える頭部装着型表示装置に接続されている画像生成装置であって、
   前記ユーザを認証する認証手段と、
   前記撮像手段から出力される撮像画像を参照し、該撮像画像から所定のパターンを検出する検出手段と、
   前記頭部装着型表示装置の位置姿勢を取得する取得手段と、
   表示画像を生成する生成手段と、
   前記ユーザの認証結果に従う第１の表示判定と、前記検出された所定のパターンに従う第２の表示判定と、前記頭部装着型表示装置の位置に従う第３の表示判定との組み合わせに基づいて、前記表示画像の表示可否を判定する判定手段と、
   前記判定手段による判定に従い、前記表示画像を、前記表示手段に対して出力する出力手段と
   を備えることを特徴とする、画像生成装置。
2. 前記撮像画像から検出されたパターンの位置姿勢を計測する手段をさらに備え、
   前記生成手段は、前記ユーザの認証結果と、前記検出された所定のパターンと、当該パターンの位置姿勢と、の組み合わせに基づいて、前記表示画像を生成することを特徴とする、請求項１に記載の画像生成装置。
3. 前記所定のパターンは、電子透かしであることを特徴とする、請求項１又は２に記載の画像生成装置。
4. 前記表示画像は、現実空間の画像と合成されて、前記表示手段に表示されることを特徴とする、請求項１乃至３の何れか１項に記載の画像生成装置。
5. 現実空間を撮像して撮像画像を出力する撮像手段と、ユーザに対して画像を表示する表示手段とを備える頭部装着型表示装置に接続されている画像生成装置が行う画像生成方法であって、
   前記画像生成装置の認証手段が、前記ユーザを認証する認証工程と、
   前記画像生成装置の検出手段が、前記撮像手段から出力される撮像画像を参照し、該撮像画像から所定のパターンを検出する検出工程と、
   前記画像生成装置の取得手段が、前記頭部装着型表示装置の位置姿勢を取得する取得工程と、
   前記画像生成装置の生成手段が、表示画像を生成する生成工程と、
   前記画像生成装置の判定手段が、前記ユーザの認証結果に従う第１の表示判定と、前記検出された所定のパターンに従う第２の表示判定と、前記頭部装着型表示装置の位置に従う第３の表示判定との組み合わせに基づいて、前記表示画像の表示可否を判定する判定工程と、
   前記画像生成装置の出力手段が、前記判定工程における判定に従い、前記表示画像を、前記表示手段に対して出力する出力工程と
   を備えることを特徴とする、画像生成方法。
6. コンピュータを、請求項１乃至４の何れか１項に記載の画像生成装置が有する各手段として機能させるためのプログラム。

Images