JPWO2019163129A1

JPWO2019163129A1 - 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム

Info

Publication number: JPWO2019163129A1
Application number: JP2020501984A
Authority: JP
Inventors: 雅也仁平; 智史櫻井
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-02-26
Filing date: 2018-02-26
Publication date: 2020-05-28
Anticipated expiration: 2038-02-26
Also published as: KR20200103115A; JP6698972B2; KR102279300B1; CN111758121A; WO2019163129A1; DE112018006930T5; US20200402310A1

Abstract

仮想物体表示制御装置（１０）は、実空間を示す実空間情報（Ａ１，Ａ２）を受け取る認識部（１１０）と、実空間情報（Ａ１，Ａ２）から観察者の視点位置を判定する視点位置判定部（１２１）と、実空間情報（Ａ１，Ａ２）から実物体の位置及び形状を判定する実物体判定部（１２２）と、仮想物体の画像情報を加工することによって、仮想物体をアニメーション表示させる画像情報を生成する画像制御部（１２３）と、視点位置と実物体の位置及び形状と前記仮想物体の画像情報とに基づいて、仮想物体をアニメーション表示させるか否か判定を行い、判定の結果に基づいて、仮想物体の画像情報又は仮想物体をアニメーション表示させる画像情報のいずれかを含む画像情報を表示画像情報（Ｂ２）として設定する表示設定部（１２４）と、表示画像情報（Ｂ２）を出力する描画部（１２５）とを有する。

Description

本発明は、仮想物体の画像を表示するための制御を行う仮想物体表示制御装置、仮想物体表示制御方法、及び仮想物体表示制御プログラム、並びに前記仮想物体表示制御装置を含む仮想物体表示システムに関する。

表示装置の画面に、実物体の画像と、これに重畳された仮想物体の画像とを表示させる装置が提案されている（例えば、特許文献１参照）。仮想物体の画像は、例えば、拡張現実（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：ＡＲ）画像である。

特開２０１５−４９０３９号公報

上記従来の装置では、実空間におけるオクルージョンを考慮に入れて（すなわち、仮想物体の画像が実物体の画像によって隠れないように）、仮想物体の画像を本来表示されるべき位置から移動させた位置に表示している。しかしながら、この場合、観察者は、仮想物体の画像が本来表示されるべき位置を知ることができない。このため、仮想物体の画像が、実物体のアノテーションを含む画像である場合、アノテーションがいずれの実物体に関するものであるのかが分かりにくい。

本発明は、仮想物体の画像が観察者から見えない位置に表示された場合であっても、アニメーション表示によって観察者に仮想物体の画像の位置を認識させることができる仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラムを提供することを目的とする。

本発明の一態様に係る仮想物体表示制御装置は、実空間を示す実空間情報を受け取る認識部と、前記実空間情報から観察者の視点位置を判定する視点位置判定部と、前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、仮想物体の画像情報を受け取り、前記仮想物体の画像情報を加工することによって、前記仮想物体をアニメーション表示させる画像情報を生成する画像制御部と、前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて、前記仮想物体をアニメーション表示させるか否か判定を行い、前記判定の結果に基づいて、前記仮想物体の画像情報又は前記仮想物体をアニメーション表示させる画像情報のいずれかを含む画像情報を表示画像情報として設定する表示設定部と、前記表示画像情報を出力する描画部と、を有することを特徴とする。

本発明の他の態様に係る仮想物体表示システムは、実空間を示す実空間情報を取得する空間情報取得部と、前記実空間情報を受け取る認識部と、前記実空間情報から観察者の視点位置を判定する視点位置判定部と、前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、仮想物体の画像情報を受け取り、前記仮想物体の画像情報を加工することによって、前記仮想物体をアニメーション表示させる画像情報を生成する画像制御部と、前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて、前記仮想物体をアニメーション表示させるか否か判定を行い、前記判定の結果に基づいて、前記仮想物体の画像情報又は前記仮想物体をアニメーション表示させる画像情報のいずれかを含む画像情報を表示画像情報として設定する表示設定部と、前記表示画像情報を出力する描画部と、前記表示画像情報に基づいて画像を表示する表示装置と、を有することを特徴とする。

本発明によれば、仮想物体の画像が観察者から見えない位置に表示された場合であっても、アニメーション表示によって観察者に仮想物体の画像の位置を認識させることができる。

本発明の実施の形態１に係る仮想物体表示システムのハードウェア構成を示す図である。視点位置と実物体（遮蔽物）との位置関係を概略的に示す図である。実施の形態１に係る仮想物体表示制御装置を示す機能ブロック図である。実施の形態１に係る仮想物体表示システムを示す説明図である。実施の形態１に係る仮想物体表示システムの表示装置におけるアニメーション表示（通常サイズ時）された仮想物体の表示画像の例を示す図である。実施の形態１に係る仮想物体表示システムの表示装置におけるアニメーション表示（拡大サイズ時）された仮想物体の表示画像の例を示す図である。実施の形態１に係る仮想物体表示システムの表示装置におけるアニメーション表示（すなわち、移動表示）された仮想物体の表示画像の例を示す図である。実施の形態１に係る仮想物体表示制御装置の動作を示すフローチャートである。本発明の実施の形態２に係る仮想物体表示システムのハードウェア構成を示す図である。実施の形態２に係る仮想物体表示システムを示す説明図である。本発明の実施の形態３に係る仮想物体表示システムのハードウェア構成を示す図である。実施の形態３に係る仮想物体表示システムを示す説明図である。

以下に、本発明の実施の形態に係る仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラムを、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。

なお、図にはｘｙｚ直交座標系が示される。ｘｙｚ直交座標系において、ｘ軸は、実空間における横方向（すなわち、水平横方向）を示し、ｙ軸は、実空間における奥行方向（すなわち、水平奥行方向）を示し、ｚ軸は、実空間における高さ方向（すなわち、縦方向）を示す。

実施の形態１．
先ず、仮想物体表示システム１及び仮想物体表示制御装置１０の構成を説明する。図１は、実施の形態１に係る仮想物体表示システム１のハードウェア構成を示す図である。図１に示されるように、仮想物体表示システム１は、実空間（すなわち、実世界）を示す実空間情報を取得する空間検出部である空間情報取得部２０と、画像を表示する表示装置３０と、表示装置３０に画像を表示させる仮想物体表示制御装置１０とを有する。表示装置３０は、例えば、実物体の画像及び仮想物体の画像を表示する。仮想物体の画像は、例えば、ＡＲ画像である。画像仮想物体表示制御装置１０は、実施の形態１に係る仮想物体表示制御方法を実施することができる装置である。

空間情報取得部２０は、例えば、実空間の画像情報Ａ１を取得する１台以上の撮像部２１と、実空間内に存在する実物体（すなわち、対象物）の奥行情報Ａ２を取得する１台以上の奥行検出部２２とを有する。空間情報取得部２０は、撮像部２１及び奥行検出部２２の一方を有してもよい。撮像部２１は、例えば、カラー画像を取得するカラーカメラ（「ＲＧＢカメラ」とも言う）及び実物体を複数の異なる方向から同時に撮影するステレオカメラなどである。奥行検出部２２は、例えば、実物体の奥行き（深度）を検出する機能を備えたデプスカメラ（「深度センサ付きカメラ」とも言う）などである。実施の形態１において、実空間情報は、実空間の画像情報Ａ１と実物体の奥行情報Ａ２とを含む。

仮想物体表示制御装置１０は、情報処理部としてのＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１と、画像処理部としてのＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１２と、情報を記憶する記憶部としてのメモリ１３とを有する。ＧＰＵ１２は、グラフィックス描画部であり、ＣＰＵ１１から受けた描画命令に基づいて、メモリ１３に描画結果としての画像データを書き込む（すなわち、描画を行う）。メモリ１３に書き込まれた画像データは、表示装置３０に転送される。ＧＰＵ１２の機能は、ＣＰＵ１１によって行われてもよい。仮想物体表示制御装置１０は、例えば、パーソナルコンピュータ（ＰＣ）、スマートフォーン、又はタブレット端末などである。メモリ１３は、実施の形態１に係る仮想物体表示制御プログラムを記憶してもよい。ＣＰＵ１１は、仮想物体表示制御プログラムを実行することにより表示装置３０の表示動作を制御することができる。

表示装置３０は、例えば、ＰＣのモニタ、スマートフォーン、又はタブレット端末などの表示画面（すなわち、ディスプレイ）を有する装置である。

図２は、観察者９０の視点位置９１と実物体３１１との位置関係を概略的に示す図である。実物体３１１は、仮想物体を隠す遮蔽物となり得る。実空間内に実物体３１１が存在する場合、観察者９０は、視点位置９１から実物体３１１に隠された領域（斜線領域）３１４に表示された仮想物体の画像を目視することができない。また、仮想物体の画像を異なる位置に移動させた場合には、仮想物体の画像が、どの実物体に関連するものであるのかが分からなくなる。そこで、仮想物体表示制御装置１０は、実空間情報から観察者９０の視点位置９１と実物体３１１の位置及び形状を判定し、視点位置９１と実物体３１１の位置及び形状と仮想物体の画像情報とに基づいて動く表示であるアニメーション表示の要否を判定する。アニメーション表示は、例えば、仮想物体の画像の拡大縮小表示又は仮想物体の画像の往復移動などである。仮想物体表示制御装置１０は、アニメーション表示が必要な場合にアニメーション表示の画像情報を設定し、仮想物体をアニメーション表示させる画像情報（すなわち、アニメーション画像情報）を出力する。仮想物体表示制御装置１０は、アニメーション表示が必要でない場合に、仮想物体を通常のサイズで静止画として表示させる画像情報（すなわち、通常画像情報）を出力する。

図３は、実施の形態１に係る仮想物体表示制御装置１０を示す機能ブロック図である。図３に示されるように、仮想物体表示制御装置１０は、実空間情報である実空間の画像情報Ａ１と実物体の奥行情報Ａ２とを受け取る認識部１１０と、表示制御部１２０とを有する。

認識部１１０は、例えば、実空間（すなわち、対象空間）の画像情報Ａ１を受け取り、実空間のどの位置に実物体が存在するかを認識するための認識処理を行い、処理の結果を表示制御部１２０に提供する空間認識部１１１と、実物体の奥行情報Ａ２を受け取り、実物体が何であるのかを認識するための認識処理を行い、処理の結果を表示制御部１２０に提供する実物体認識部１１２とを有する。実物体認識部１１２は、実物体を実物体のモデル（すなわち、予め保持している画像情報）に置き換えたデータを出力してもよい。実物体のモデルは、予め保持している画像情報であり、机又は椅子などの画像情報、円柱、直方体、三角錐、球体などのような代表的な３次元形状であってもよい。ただし、認識部１１０の構成及び機能は、以上の例に限定されない。

表示制御部１２０は、認識部１１０から提供された実空間情報から観察者９０の視点位置９１を判定する視点位置判定部１２１と、認識部１１０から提供された実空間情報から実物体３１１の位置及び形状を判定する実物体判定部１２２とを有する。視点位置判定部１２１は、空間認識部１１１から受け取った位置情報に基づいて、実空間内に表示される仮想物体を観察する観察者９０の視点位置９１を算出し、視点位置を示す視点位置情報を生成する。実物体判定部１２２は、実物体認識部１１２から受け取った実物体情報に基づいて、実空間内に表示される仮想物体を隠す遮蔽物の位置を算出し、遮蔽物を示す遮蔽物判定情報を生成する遮蔽物判定部である。

また、表示制御部１２０は、仮想物体の画像情報を受け取り、仮想物体の画像情報を加工することによって、仮想物体をアニメーション表示させる画像情報を生成する画像制御部１２３を有する。仮想物体の画像情報は、例えば、実物体３１１の解説情報である。画像制御部１２３は、仮想物体の画像情報を予め記憶してもよいし、外部記憶装置（図示せず）又はメモリ１３（図１）から取得してもよい。画像制御部１２３は、仮想物体の画像情報及び仮想物体をアニメーション表示させる画像情報を表示設定部１２４に提供する。アニメーション表示は、例えば、仮想物体の画像を拡大サイズ及び通常サイズに繰り返し切り替える表示方法（すなわち、拡縮表示）である。また、アニメーション表示は、例えば、仮想物体の画像を本来の仮想物体の画像位置と実物体に隠れない位置との間で繰り返し移動（往復移動）させる表示方法（すなわち、移動表示）であってもよい。画像制御部１２３から表示設定部１２４に提供される画像情報を、画像情報Ｂ１とする。

画像制御部１２３は、条件に応じて、仮想物体をアニメーション表示させる方法として拡縮表示又は移動表示のいずれかを選択してもよい。例えば、画像制御部１２３は、観察者９０から予め決められた基準距離よりも遠い位置に仮想物体が存在する場合は、アニメーション表示として拡縮表示を採用し、基準距離以内である場合は、アニメーション表示として移動表示を採用する。また、画像制御部１２３は、仮想物体が文字を含む解説文であるときにはアニメーション表示として移動表示を選択し、仮想物体が解説文以外であるときにはアニメーション表示として拡縮表示を選択してもよい。また、画像制御部１２３は、仮想物体を遮蔽する実物体が予め決められた基準サイズよりも大きいときにはアニメーション表示として移動表示を選択し、基準サイズ以下であるときにはアニメーション表示として拡縮表示を選択してもよい。アニメーション表示の選択方法は、これらの例に限定されない。

表示制御部１２０は、視点位置９１と実物体３１１の位置及び形状と画像情報Ｂ１とに基づいて、仮想物体の画像をアニメーション表示させるか否か判定を行い、この判定の結果に基づいて、仮想物体の画像情報又は仮想物体をアニメーション表示させる画像情報のいずれかを含む画像情報を表示画像情報Ｂ２として設定する表示設定部１２４と、表示画像情報Ｂ２をメモリ１３に書き込むことによって、表示装置３０に出力する描画部１２５とを有する。

表示設定部１２４は、視点位置９１から見たときに、仮想物体の全体又は一部が実物体によって隠れる場合に、仮想物体をアニメーション表示させる画像情報を表示画像情報Ｂ２として設定することができる。表示設定部１２４は、視点位置９１から見たときに、仮想物体の予め決められた一定割合以上（例えば、５０％以上）が実物体によって隠れる場合に、仮想物体をアニメーション表示させる必要があると判定してもよい。

表示設定部１２４は、実空間の画像情報Ａ１に、仮想物体の画像情報又は仮想物体をアニメーション表示させる画像情報を合成することで得られた合成画像情報を表示画像情報Ｂ２として設定してもよい。

次に、仮想物体表示制御装置１０の動作を説明する。図４は、仮想物体表示システム１を示す説明図である。図４においては、図１の撮像部２１として２台の撮像部２１ａ，２１ｂが示されている。図４の例では、空間情報取得部２０の撮像部２１ａ，２１ｂが、実空間の画像情報Ａ１を仮想物体表示制御装置１０に提供し、奥行検出部２２が実物体の奥行情報Ａ２を仮想物体表示制御装置１０に提供する。

図５及び図６は、実施の形態１に係る仮想物体表示システム１の表示装置３０における仮想物体のアニメーション表示画像３２２の例を示す図である。図５及び図６は、アニメーション表示が拡縮表示である場合を示している。図５は、アニメーション表示画像３２２が通常サイズであるとき、図６は、アニメーション表示画像３２２が拡大サイズであるときを示している。拡大時の拡大倍率は、仮想物体の画像が実物体の画像に遮蔽されない部分を有する値である。また、拡大時に、輝度を上げる又は色を変えるなどの強調表示をともなってもよい。

図７は、実施の形態１に係る仮想物体表示システム１の表示装置３０におけるアニメーション表示画像の例を示す図である。図７は、仮想物体のアニメーション表示が移動表示である場合を示している。図７において、本来の位置にある仮想物体の画像３２２の上に、移動時における仮想物体の画像３２２ａが表示されている。しかし、移動時における仮想物体の画像３２２ａの位置は、本来の位置の横に移動した位置、斜め方向に移動した位置であってもよい。また、移動時における仮想物体の画像３２２ａの位置は、仮想物体の画像が実物体の画像に遮蔽されない位置であって、移動距離が最も短い位置であってもよい。また、移動時に、輝度を上げる又は色を変えるなどの強調表示をともなってもよい。

図８は、仮想物体表示制御装置１０の動作を示すフローチャートである。仮想物体表示制御装置１０は、ステップＳ１において実空間情報を受け取り、ステップＳ２において実空間情報（例えば、実空間の画像情報Ａ１）から観察者９０の視点位置９１を判定し、ステップＳ３において実空間情報（例えば、実物体の奥行情報Ａ２）から実物体３１１の位置及び形状を判定し、ステップＳ４において視点位置９１と実物体３１１の位置及び形状（又はモデル化された実物体の位置及び形状）とに基づいて仮想物体３１２の画像情報を設定する。

次に、仮想物体表示制御装置１０は、ステップＳ５において視点位置９１と実物体３１１の位置及び形状と仮想物体の画像情報とに基づいて仮想物体をアニメーション表示するか否かを判定する。すなわち、仮想物体表示制御装置１０は、視点位置９１から見て仮想物体３１２の画像３２２が実物体３１１の画像３２１に隠れるか否かを判定する。

仮想物体３１２の画像３２２が隠れない場合（ステップＳ５においてＮＯの場合）、仮想物体表示制御装置１０は、ステップＳ６において、実空間の画像情報に基づく実物体の画像３２１と、仮想物体の画像３２２とを描画する。そして、仮想物体表示制御装置１０は、ステップＳ７において、表示装置３０に実物体の画像３２１と仮想物体の画像３２２を表示させる。

仮想物体３１２の画像３２２が隠れる場合（ステップＳ５においてＹＥＳの場合）、仮想物体表示制御装置１０は、ステップＳ８において、アニメーション表示の方法を決定し、ステップＳ９において、実空間の画像情報に基づく実物体の画像３２１と、仮想物体の画像３２１と、仮想物体のアニメーション表示画像３２２とを描画する。そして、図５及び図６に示されるように、仮想物体表示制御装置１０は、表示装置３０に実物体の画像３２１と仮想物体のアニメーション表示画像３２２とを表示させる。

以上に説明したように、実施の形態１に係る仮想物体表示システム１及び仮想物体表示制御装置１０によれば、仮想物体の画像が観察者９０から見えない実物体の後ろなどに表示された場合であっても、仮想物体のアニメーション表示画像３２２によって観察者９０から見えるように表示するので、仮想物体の画像３２２の位置を認識させることができる。

また、実施の形態１に係る仮想物体表示システム１及び仮想物体表示制御装置１０によれば、仮想物体の本来の位置にアニメーション表示画像３２２を表示させているので、観察者９０は、仮想物体のアニメーション表示画像３２２がどの実物体に関する情報であるのかを正しく認識することができる。

実施の形態２．
図９は、実施の形態２に係る仮想物体表示システム２のハードウェア構成を示す図である。図９において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図１０は、図９の仮想物体表示システム２を示す説明図である。図１０において、図４に示される構成要素と同一又は対応する構成要素には、図４に示される符号と同じ符号が付される。

図９及び図１０に示される仮想物体表示システム２は、表示装置４０が、視点位置９１から見た撮像情報Ｃ１を取得する撮像部４２と、表示画面４１と、撮像情報Ｃ１に、仮想物体の画像情報Ｂ１と案内表示の画像情報Ｂ２とが重畳された画像を表示画面４１に表示させる合成部４３とを有する点が、図１に示される仮想物体表示システム１と異なる。

仮想物体表示システム２では、仮想物体表示制御装置１０は、観察者９０の視点位置９１を、表示装置４０から受信してもよい。

また、仮想物体表示システム２では、表示装置４０の撮像部４２を、空間情報取得部２０の撮像部として使用してもよい。

以上に説明したように、実施の形態２に係る仮想物体表示システム２及び仮想物体表示制御装置１０によれば、仮想物体の表示画像が観察者９０から見えない位置に表示された場合であっても、仮想物体のアニメーション表示画像によって観察者９０に認識させることができる。

以上の点を除いて、図９及び図１０に示される仮想物体表示システム２は、図１及び図４に示される仮想物体表示システム１と同じである。

実施の形態３．
図１１は、実施の形態３に係る仮想物体表示システム３のハードウェア構成を示す図である。図１１において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図１２は、図１１の仮想物体表示システム３を示す説明図である。図１２において、図４に示される構成要素と同一又は対応する構成要素には、図４に示される符号と同じ符号が付される。

図１１及び図１２に示される仮想物体表示システム３は、表示装置５０が、実空間（すなわち、実世界）に画像を投射するプロジェクタである点、及び仮想物体のアニメーション表示画像３３２，３３２ａが実空間の床、壁、天井、実物体などに表示される投射画像である点が、図１及び図４に示される仮想物体表示システム１と異なる。図１２の例では、仮想物体のアニメーション表示画像３３２，３３２ａは、仮想物体が本来表示されるべき位置とその真上の位置とを反復的に切替えられるアニメーション画像である。

以上に説明したように、実施の形態３に係る仮想物体表示システム３及び仮想物体表示制御装置１０ａによれば、仮想物体の表示画像３３２が観察者９０から見えない位置に表示された場合であっても、仮想物体のアニメーション表示画像３３２，３３２ａによって観察者９０に認識させることができる。

また、実施の形態３に係る仮想物体表示システム３及び仮想物体表示制御装置１０ａによれば、仮想物体のアニメーション表示画像３３２，３３２ａの位置を反復的に移動させているので、観察者９０は、仮想物体のアニメーション表示画像３３２，３３２ａがどの実物体に関する情報であるのかを正しく認識することができる。

さらに、案内表示３３３が、実世界に直接に投影され、実世界の空間情報をそのまま使用できるため、より案内の意図が分かりやすくなる。

以上の点を除いて、図１１及び図１２に示される仮想物体表示システム３は、図１及び図４に示される仮想物体表示システム１又は図９及び図１０に示される仮想物体表示システム２と同じである。

１，２，３仮想物体表示システム、１０，１０ａ仮想物体表示制御装置、２０空間情報取得部、２１，２１ａ，２１ｂ撮像部、２２奥行検出部、３０，４０表示装置、３１，４１表示画面、４２撮像部、４３合成部、５０表示装置（プロジェクタ）、９０観察者、９１視点位置、１１０認識部、１２０表示制御部、１２１視点位置判定部、１２２実物体判定部、１２３画像制御部、１２４表示設定部、１２５描画部、３１１実物体、３１２仮想物体、３２１実物体の画像、３２２アニメーション表示画像（通常サイズ時）、３２２ａアニメーション表示画像（拡大サイズ時）、３２２ｂアニメーション表示画像（移動時）、３３２アニメーション表示画像、３３２ａアニメーション表示画像（移動時）、Ａ１実空間の画像情報、Ａ２実物体の奥行情報、Ｂ２表示画像情報。

本発明の一態様に係る仮想物体表示制御装置は、実空間を示す実空間情報を受け取る認識部と、前記実空間情報から観察者の視点位置を判定する視点位置判定部と、前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、仮想物体の画像情報を受け取り、前記仮想物体の画像情報を加工することによって、前記仮想物体をアニメーション表示させる画像情報を生成する画像制御部と、前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて、前記仮想物体をアニメーション表示させるか否か判定を行い、前記判定の結果に基づいて、前記仮想物体の画像情報又は前記仮想物体をアニメーション表示させる画像情報のいずれかを含む画像情報を表示画像情報として設定する表示設定部と、前記表示画像情報を出力する描画部と、を有し、前記表示設定部は、前記視点位置から見たときに、前記仮想物体の全体又は一部が前記実物体によって隠れる場合に、前記仮想物体をアニメーション表示させる画像情報を前記表示画像情報として設定することを特徴とする。

本発明の他の態様に係る仮想物体表示システムは、実空間を示す実空間情報を取得する空間情報取得部と、前記実空間情報を受け取る認識部と、前記実空間情報から観察者の視点位置を判定する視点位置判定部と、前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、仮想物体の画像情報を受け取り、前記仮想物体の画像情報を加工することによって、前記仮想物体をアニメーション表示させる画像情報を生成する画像制御部と、前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて、前記仮想物体をアニメーション表示させるか否か判定を行い、前記判定の結果に基づいて、前記仮想物体の画像情報又は前記仮想物体をアニメーション表示させる画像情報のいずれかを含む画像情報を表示画像情報として設定する表示設定部と、前記表示画像情報を出力する描画部と、前記表示画像情報に基づいて画像を表示する表示装置と、を有し、前記表示設定部は、前記視点位置から見たときに、前記仮想物体の全体又は一部が前記実物体によって隠れる場合に、前記仮想物体をアニメーション表示させる画像情報を前記表示画像情報として設定することを特徴とする。

Claims

実空間を示す実空間情報を受け取る認識部と、
前記実空間情報から観察者の視点位置を判定する視点位置判定部と、
前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、
仮想物体の画像情報を受け取り、前記仮想物体の画像情報を加工することによって、前記仮想物体をアニメーション表示させる画像情報を生成する画像制御部と、
前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて、前記仮想物体をアニメーション表示させるか否か判定を行い、前記判定の結果に基づいて、前記仮想物体の画像情報又は前記仮想物体をアニメーション表示させる画像情報のいずれかを含む画像情報を表示画像情報として設定する表示設定部と、
前記表示画像情報を出力する描画部と、
を有することを特徴とする仮想物体表示制御装置。
前記表示設定部は、前記視点位置から見たときに、前記仮想物体の全体又は一部が前記実物体によって隠れる場合に、前記仮想物体をアニメーション表示させる画像情報を表示画像情報として設定することを特徴とする請求項１に記載の仮想物体表示制御装置。
前記仮想物体をアニメーション表示させる画像情報は、前記仮想物体のサイズが変化するように表示させる拡縮表示の画像情報又は前記仮想物体が移動するように表示させる移動表示の画像情報であることを特徴とする請求項１又は２に記載の仮想物体表示制御装置。
前記仮想物体をアニメーション表示させる画像情報は、前記仮想物体のサイズが変化するように表示させる拡縮表示の画像情報及び前記仮想物体が移動するように表示させる移動表示の画像情報であり、予め決められた条件に応じて、拡縮表示の画像情報又は移動表示の画像情報のいずれかが選択されることを特徴とする請求項１又は２に記載の仮想物体表示制御装置。
前記実空間情報は、前記実空間の画像情報及び前記実物体の奥行情報を含むことを特徴とする請求項１から４のいずれか１項に記載の仮想物体表示制御装置。
前記表示設定部は、前記実空間の画像情報に、前記仮想物体の画像情報又は前記仮想物体をアニメーション表示させる画像情報を合成することで得られた合成画像情報を前記表示画像情報として出力することを特徴とする請求項１から５のいずれか１項に記載の仮想物体表示制御装置。
実空間を示す実空間情報を取得する空間情報取得部と、
前記実空間情報を受け取る認識部と、
前記実空間情報から観察者の視点位置を判定する視点位置判定部と、
前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、
仮想物体の画像情報を受け取り、前記仮想物体の画像情報を加工することによって、前記仮想物体をアニメーション表示させる画像情報を生成する画像制御部と、
前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて、前記仮想物体をアニメーション表示させるか否か判定を行い、前記判定の結果に基づいて、前記仮想物体の画像情報又は前記仮想物体をアニメーション表示させる画像情報のいずれかを含む画像情報を表示画像情報として設定する表示設定部と、
前記表示画像情報を出力する描画部と、
前記表示画像情報に基づいて画像を表示する表示装置と、
を有することを特徴とする仮想物体表示システム。
前記空間情報取得部は、前記実空間の画像情報を取得する撮像部及び前記実物体の奥行情報を取得する奥行検出部を有することを特徴とする請求項７に記載の仮想物体表示システム。
表示設定部は、前記実空間の画像情報に前記画像制御部から出力された画像情報を合成することで得られた合成画像情報を前記表示画像情報として出力することを特徴とする請求項７又は８に記載の仮想物体表示システム。
前記表示装置は、
前記視点位置から見た撮像情報を取得する他の撮像部と、
表示画面と、
前記撮像情報に、前記画像制御部から出力された画像情報が重畳された画像を前記表示画面に表示させる合成部と、
を有することを特徴とする請求項７又は８に記載の仮想物体表示システム。
前記表示装置は、前記表示画像情報を前記実空間上に投射するプロジェクタを有することを特徴とする請求項７又は８に記載の仮想物体表示システム。
実空間を示す実空間情報を受け取るステップと、
前記実空間情報から観察者の視点位置を判定するステップと、
前記実空間情報から実物体の位置及び形状を判定するステップと、
仮想物体の画像情報を受け取り、前記仮想物体の画像情報を加工することによって、前記仮想物体をアニメーション表示させる画像情報を生成するステップと、
前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて、前記仮想物体をアニメーション表示させるか否か判定を行い、前記判定の結果に基づいて、前記仮想物体の画像情報又は前記仮想物体をアニメーション表示させる画像情報のいずれかを含む画像情報を表示画像情報として設定するステップと、
前記表示画像情報を出力するステップと、
を有することを特徴とする仮想物体表示制御方法。
実空間を示す実空間情報を受け取る処理と、
前記実空間情報から観察者の視点位置を判定する処理と、
前記実空間情報から実物体の位置及び形状を判定する処理と、
仮想物体の画像情報を受け取り、前記仮想物体の画像情報を加工することによって、前記仮想物体をアニメーション表示させる画像情報を生成する処理と、
前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて、前記仮想物体をアニメーション表示させるか否か判定を行い、前記判定の結果に基づいて、前記仮想物体の画像情報又は前記仮想物体をアニメーション表示させる画像情報のいずれかを含む画像情報を表示画像情報として設定する処理と、
前記表示画像情報を出力する処理と、
を有することを特徴とする仮想物体表示制御プログラム。