JP6611143B1

JP6611143B1 - 画像表示方法、画像表示システム、プログラム

Info

Publication number: JP6611143B1
Application number: JP2019042355A
Authority: JP
Inventors: 将萩原; 庸平宮本; 透財部; 一紀飯田; 賢典長縄
Original assignee: Abeam Consulting Ltd
Current assignee: Abeam Consulting Ltd
Priority date: 2019-03-08
Filing date: 2019-03-08
Publication date: 2019-11-27
Anticipated expiration: 2039-03-08
Also published as: JP2020145636A

Abstract

【課題】ユーザが仮想現実空間に設けられる現実空間の対象物の二次元画像を三次元的に知覚するため、対象物の三次元画像を二次元画像に代替えできるため、情報処理に係る処理量を縮減でき、対象物の三次元画像の生成コストを抑制する画像表示方法を提供する。【解決手段】ユーザが頭部に装着して表示部に仮想現実空間を表示する表示端末装置を備える画像表示システムの画像表示方法であって、前記表示端末装置が、壁で囲われる三次元空間を示す三次元画像を表示する三次元画像表示ステップと、前記三次元空間の所定の壁における側面の内側領域に、現実空間の対象物の画像を含む二次元画像を表示する二次元画像表示ステップと、を実現する。【選択図】図５

Description

本開示は、仮想現実空間においてユーザに対し二次元画像を三次元的に知覚させるための画像表示方法、画像表示システム、プログラムに関する。

仮想現実空間を知覚するためのヘッドマウントディスプレイの制御方法が知られている（特許文献１を参照）。

特開２０１７−２１８２４号公報

特許文献１のヘッドマウントディスプレイでは、仮想空間画像を低画質で構成し、仮想空間画像のうちユーザの視界を構成する視界領域を高画質で構成している。これにより、レンダリング負荷を軽減するとともに、ユーザは常に高画質な仮想空間を視認することができるため、ユーザ体験を改善することができる。

しかしながら、特許文献１のヘッドマウントディスプレイでは、仮想現実空間に現実空間の物を三次元画像として提供するためには、現実空間の物を三次元スキャニングする必要がある。この三次元画像の生成には膨大な費用と時間を要する虞があった。

本発明の目的は、上記のような問題に鑑みてなされたものであり、ユーザに対して仮想現実空間における二次元画像を三次元の画像であるかのように見せる方法を提供することにある。

本開示の一実施形態に係る画像表示方法は、ユーザが頭部に装着して表示部に仮想現実空間を表示する表示端末装置を備える画像表示システムの画像表示方法であって、前記表示端末装置が、壁で囲われる三次元空間を示す三次元画像を表示する三次元画像表示ステップと、前記三次元空間の所定の壁における側面の内側領域に、現実空間の対象物の画像を含む二次元画像を表示する二次元画像表示ステップと、を実現することを要旨とする。

本発明によれば、ユーザが仮想現実空間における現実空間の対象物の二次元画像を三次元的に知覚するため、対象物の三次元画像を二次元画像に代替えできるため、情報処理に係る処理量を縮減でき、現実空間の対象物を投影する仮想現実空間の生成コストを抑制できる。また、例えば、商品が日々更新される小売業界などにおいて、仮想現実空間を活用した商品販売を簡易に行うことができるようになるため、ユーザに新たな購買体験をもたらすことができる。

画像表示システムの構成の一例を示す図である。表示端末装置の使用状態を例示する模式図である。仮想現実空間の模式図である。表示端末装置の構成の一例を示す図である。三次元画像の所定の壁に形成される開口及び二次元画像を示す図である。開口の大きさの設定方法を説明するためのｘｚ断面の模式図である。ユーザの視点の位置の設定方法を説明するための現実空間におけるｘｚ断面の模式図である。二次元画像についてユーザが錯覚を起こす原理を説明する図である。二次元画像の拡大率を説明するための模式図である。表示端末装置の動作処理を示すフローチャートである。

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは同一又は同様の構成を有する。
＝＝＝本実施形態の構成＝＝＝

＜＜画像表示システム１＞＞
図１は、画像表示システム１の構成の一例を示す図である。図１に示すように、画像表示システム１は、例えば、表示端末装置１０、情報処理装置２０を含んで構成されている。なお、本実施形態においては、全ての機能が表示端末装置１０に備えられる場合について説明するが、表示端末装置１０の機能の一部が分離可能であってもよい。例えば、表示端末装置１０の一部の機能がスマートフォンやパーソナルコンピュータ等の情報処理装置２０に設けられていてもよい。この場合、情報処理装置２０が、仮想現実空間１００を生成し、生成した仮想現実空間１００に関する情報を表示端末装置１０に送信する。表示端末装置１０は該情報に基づいて表示部１６に仮想現実空間１００を表示する。すなわち、該情報処理装置２０は、後述する、画像生成部１１ａ及び視点設定部１１ｂの機能を有し、表示端末装置１０は生成された仮想現実空間１００に関する情報を、有線又は無線のネットワーク３０を介して取得し、仮想現実空間１００を表示する。

＜＜表示端末装置１０＞＞
図２は、表示端末装置１０の使用状態を例示する模式図である。表示端末装置１０は、図２に示すように、ユーザ３００の頭部に装着する端末装置であり、眼の周りを覆うように装着するゴーグル形状であるもの（図２）、一般的な眼鏡の形状であるもの、あるいは頭部全体を覆うヘルメット形状のもの等、種々の形状のものを含む。この表示端末装置１０を装着したユーザ３００は、表示部１６（不図示）に表示される仮想現実空間１００を知覚する。

図３は、仮想現実空間１００の模式図である。図３に示すように、本実施形態における仮想現実空間１００は、例えば、ユーザ３００の一人称視点（以下、「視点」という。）で表示され、実寸大の対象物１３１を規定する３６０度の空間である。以下では対象物１３１を自動車として示しているが、例えば洋服を着たマネキンのようなものでもよく、この対象物１３１は限定されない。

仮想現実空間１００には、所定のアプリケーションプログラムで生成された壁１１１で囲まれる三次元空間を示す三次元画像１１０、該三次元画像１１０の所定の壁１１１に生成された開口１２０、及び該開口１２０の位置に表示される二次元画像１３０が規定される。三次元画像１１０とは、表示端末装置１０の二つのレンズを覗くユーザ３００の視差により三次元に見える画像である。開口１２０とは、二次元画像１３０を表示するための三次元画像１１０上の領域であり、所定の壁１１１の側面の内側領域に設けられ、奥行きを有する。壁１１１の内側領域とは、該開口１２０の周りに壁１１１の一部が残るような位置をいう。二次元画像１３０とは、現実空間２００における対象物１３１の二次元の写真や動画である。仮想現実空間１００の各構成要素については詳細に後述する。仮想現実空間１００では、ユーザ３００が、その錯覚により、二次元画像１３０に表示される対象物１３１が三次元の画像であるかのように知覚する。

この表示端末装置１０の構成について以下説明する。

図４は、表示端末装置１０の構成の一例を示す図である。表示端末装置１０のハードウェアは、例えば、プロセッサ１１、ストレージ１２、通信部１３、方位検出部１４、加速度検出部１５、表示部１６、メモリ１７、及び入力部１８を備える。表示端末装置１０のソフトウェアは、例えば、画像生成部１１ａ、視点設定部１１ｂ、及び画像出力部１１ｃの機能を有する。これらの機能は、プロセッサ１１がストレージ１２から上記機能に対応するプログラムモジュールを読み出してメモリ１７に展開し、プロセッサ１１が該プログラムモジュールを実行することで実現する。プログラムモジュールは、表示端末装置１０に係る装置が出荷されるまでに予めストレージ１２に格納されていても良いし、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、Ｂｌｕ−ｒａｙＤｉｓｃ（登録商標）などの光学メディアや半導体メモリ等の記憶媒体に格納されて図示しない媒体接続部を介して表示端末装置１０に係る装置にインストールされてもよい。

まず、表示端末装置１０のハードウェアの各構成要素について説明する。なお、ハードウェアの各構成要素については一例を示すものであり、以下の記載に限定されるものではなく、本実施形態に係る表示端末装置１０の機能を実現できるものであればよい。

プロセッサ１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、及びＤＳＰ（Digital Signal Processor）等の総称であり、所定のプログラムを実行する機能を有する。

ストレージ１２は、各種の情報を記憶する機能を有し、表示端末装置１０に内蔵される記録媒体、取り外し可能な外部記録媒体、光ディスクなどから構成される。ストレージ１２は、例えばプロセッサ１１の指示により制御され、アプリケーションプログラムを保存する。また、ストレージ１２は、アプリケーションプログラムで作成した各種情報を保存する。ここで、ストレージ１２には、例えば、開口１２０を有する三次元画像１１０に関する情報を格納する三次元画像データベース１２ａ、二次元画像１３０に関する情報を格納する二次元画像データベース１２ｂ、動作パターンと表示操作とを対応づける操作対応データベース１２ｃを保存する。

通信部１３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、ＩＣタグ機能、ＴｒａｎｓｆｅｒＪＥＴ（登録商標）、ＬＴＥ（Long Term Evolution）、ＨＳＰＡ（High Speed Packet Access）、ＥＶ−ＤＯ（Evolution Data Only）、及びＷｉＭＡＸ等の無線通信機能、又はＥｔｈｅｒｎｅｔ（登録商標）等の有線通信機能を備え、各種の情報を送受信する。データの送受信には、ネットワークを介して行うネットワーク通信と、ネットワークを介さずに各機器間で直接通信を行う直接通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスＵＳＢ、Ｆｅｌｉｃａ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｚ−ＷＡＶＥ（登録商標）、可視光通信、赤外線通信、ＮＦＣ（Near Field Communication）（登録商標）を適宜切り替えて使用できる。通信部１３は、複数の通信方式に対応するように構成されていてもよい。

方位検出部１４は、ジャイロセンサ等を用いて、表示端末装置１０の軸回りの回転角度を検出する。方位検出部１４は、表示端末装置１０に内蔵されていてもよいし、別体として表示端末装置１０と有線通信または無線通信で接続されていてもよい。

加速度検出部１５は、加速度センサ等を用いて、表示端末装置１０の３軸方向それぞれの加速度を検出する。なお、加速度検出部１５は、表示端末装置１０に内蔵されていてもよいし、別体として表示端末装置１０と有線通信または無線通信で接続されていてもよい。方位検出部１４及び加速度検出部１５で検出される値に基づき、ユーザ３００の動きを検出し、その動きに応じて仮想現実空間１００におけるユーザ３００の視点を移動させることが可能となる。

表示部１６は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、電子ペーパー等の表示パネルや光源、ドライバ回路等から構成され、プロセッサ１１の制御下にて任意の情報（例えば、文字、静止画、及び動画等）を表示する。

メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから構成され、プロセッサ１１の指示により制御される。メモリ１７には、アプリケーションプログラムの各機能が展開される。

入力部１８は、ユーザ３００の操作を受け付け、当該操作に基づいた入力信号をプロセッサ１１に入力する。なお、表示端末装置１０にマイクやカメラを備え、音声認識、画像認識、またはジェスチャー認識等によって入力信号を生成し、プロセッサ１１に入力するようにしてもよい。

次に、表示端末装置１０のソフトウェアの各機能について説明する。なお、上述したとおり、画像生成部１１ａ及び視点設定部１１ｂについては、他の情報処理装置２０が実行してもよい。

画像生成部１１ａは、図３に示すように、表示端末装置１０に表示するための三次元画像１１０を生成し、三次元画像１１０の開口１２０に二次元画像１３０を表示して仮想現実空間１００を生成する。画像生成部１１ａで生成された画像は、ストレージ１２に格納され、画像出力部１１ｃを介して表示部１６に出力される。以下、三次元画像１１０、開口１２０、及び二次元画像１３０について詳細に説明する。

三次元画像１１０は、床面１４０と四つの側面で囲われる仮想的な空間を示す画像である。ただし、四つの側面である必要ななく、より多くの側面を有していてもよい。三次元画像１１０は、例えば、水平方向に視差を有する左眼用画像および右眼用画像がそれぞれ同一の表示部１６に表示され、ユーザ３００が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することにより、表示部１６に表示された画像が三次元であるように知覚される画像である。画像生成部１１ａは、ｘ軸、ｙ軸、ｚ軸の座標を指定して床面や壁などのオブジェクトを作成する。ここで、以下説明では、仮想現実空間１００においては、図３に示すように、ユーザ３００の視線が開口１２０を向いている状態で、開口１２０の左右方向をｘ軸方向、開口１２０の上下方向をｙ軸方向、ｘ軸及びｙ軸のいずれとも直交するユーザ３００の視点の前後方向をｚ軸方向と定める。なお、現実空間２００においても同様に、撮影装置２１０が対象物１３１を撮影する状態で、撮影装置２１０と対象物１３１を結ぶ方向をｚ軸方向、ｚ軸方向と直交し、地面と水平方向をｘ軸方向、地面と垂直方向をｙ軸方向と定める。

開口１２０は、二次元画像１３０が表示される位置、すなわち三次元画像１１０の所定の壁１１１のｘｙ平面（側面）における内側領域に作成される。まず、開口１２０の形状について説明する。図５は、三次元画像１１０の所定の壁１１１に形成される開口１２０及び二次元画像１３０を示す図である。図５に示すように、開口１２０は、例えばユーザ３００の視点において奥行きを有するように四端面で形成されている。望ましくは、ｙ軸方向の−側端面１２０ａが、段差１２１を介して床面１４０と連続的に形成される。さらに、望ましくは、開口１２０の縁に沿って連続的にｚ軸方向の−側に張り出す凸部１２２を形成し、この場合、開口１２０のｙ軸方向の−側に形成される凸部１２２が段差１２１となる。なお、四端面である必要はなく、より多くの端面を有していてもよい。

次に、開口１２０の大きさについて説明する。図６は、開口１２０の大きさの設定方法を説明するためのｘｚ断面の模式図である。図６に示すように、画像生成部１１ａは、現実空間２００において二次元画像１３０を撮影する撮影装置２１０と、二次元画像１３０となる現実空間２００のｘｙ平面における、撮影装置２１０の高さのｘｚ平面と交わる両端部Ｅ１，Ｅ２と、をそれぞれ結ぶ二つの仮線Ｋ１，Ｋ２がなす角度θ₁（いわゆる撮影装置２１０の水平画角）と、後述する視点設定部１１ｂで設定される、撮影装置２１０と該撮影装置２１０の水平方向（ｚ軸方向）における二次元画像１３０となるｘｙ平面との間の最短の距離Ｄと、に基づいて、開口１２０のｘ軸方向の大きさＷを算出する。そして、開口１２０のｘ軸方向の大きさＷと、撮影装置２１０で撮影される二次元画像１３０の横方向（ｘ軸方向）と縦方向（ｙ軸方向）の比率と、に基づいて、開口１２０のｙ軸方向の大きさＨを算出する。画像生成部１１ａは、算出された開口１２０の大きさに関する情報に基づき、三次元画像１１０上に開口を生成する。

開口１２０の大きさの算出方法について、具体的に一例を示すと、仮線Ｋ１，Ｋ２がなす角度θ₁（水平画角）が「９０度」であり、距離Ｄが「３ｍ」であり、撮影装置２１０で撮影される二次元画像１３０のｙ軸方向とｘ軸方向との比率が「９：１６」である場合、ｘ軸方向の大きさＷは距離Ｄにｔａｎ（９０°／２）を乗じた結果を２倍して算出され、ｙ軸方向の大きさＨは算出されたｘ軸方向の大きさＷに９／１６を乗じて算出される。この場合、ｘ軸方向の大きさＷは「６ｍ」となりｙ軸方向の大きさＨは「３．３７ｍ」となる。

角度θ１、比率、距離Ｄなどの開口１２０の大きさの算出に必要な情報は二次元画像データベース１２ｂに格納されている。また、開口１２０の大きさは二次元画像１３０の大きさと一致するように設定されているが、開口１２０の大きさが二次元画像１３０の大きさよりも小さい場合、二次元画像１３０が開口１２０に収まるように二次元画像１３０の端部の一部を除去してもよい。

なお、開口１２０の大きさは、予め定められた撮影条件（後述する高さＲ、角度θ₂、距離Ｄなど）で撮影された二次元画像１３０と適合するような、予め定められた大きさでもよい。この場合、上述したように開口１２０の大きさを二次元画像１３０の撮影条件に応じて算出する必要がないため、表示端末装置１０（又は情報処理装置２０）の処理効率が向上する。

二次元画像１３０は、三次元画像１１０の開口１２０の領域にマッピングされ、現実空間２００の対象物１３１を含む二次元空間が表示される画像である。画像生成部１１ａは、三次元画像１１０の壁１１１上の座標を設定して該座標に二次元画像１３０をマッピングする。二次元画像１３０は、図５に示すように、対象物１３１に動きがある動画であることが望ましい。このように対象物１３１に動きがあると、一般に、ユーザ３００が対象物１３１に注目するため、二次元画像１３０と三次元画像１１０との境目の違和感をユーザ３００の知覚から排除できる。二次元画像１３０は、例えば、撮影装置２１０で予め撮影された画像であり、二次元画像データベース１２ｂに格納されている。なお、二次元画像１３０は、ストレージ１２の二次元画像データベース１２ｂに格納されているものに限定されず、ストレージ１２とは別のサーバ（例えば動画共有サイトなど）に格納されている画像であってもよい。

視点設定部１１ｂは、仮想現実空間１００におけるユーザ３００の視点を設定する。ここでは、視点設定部１１ｂがユーザ３００の視点を設定する方法について説明する。図７は、ユーザ３００の視点の設定方法を説明するための現実空間２００におけるｙｚ断面の模式図である。まず、視点設定部１１ｂは、例えば、ユーザ３００の視点を人が正しく座った状態の高さＲに設定する。これにより、座った状態で表示端末装置１０を装着したユーザ３００が仮想現実空間１００で対象物１３１を見る際に、ユーザ３００に対しリアリティを与えることができる。

そして、視点設定部１１ｂは、仮想現実空間１００上の二次元画像１３０におけるｚ軸方向上の端部に対応する現実空間２００の基準点Ｐ（例えば地面）と撮影装置２１０とを結ぶ仮線Ｋ３と、撮影装置２１０における水平線（図７ではｚ軸方向に沿う仮線Ｋ４）と、がなす角度θ₂（いわゆる撮影装置２１０の垂直画角の半分）と、高さＲと、に基づいて、二次元画像１３０となる基準点Ｐを含むｘｙ平面（仮平面）と撮影装置２１０との間の最短の距離Ｄを算出する。なお、距離Ｄを示す情報は、予め二次元画像データベースに格納されているものであってもよい。

距離Ｄの算出方法について、具体的に一例を示すと、仮線Ｋ３と仮線Ｋ４とがなす角度θ₂（垂直画角の半分）が「３０度」であり、高さＲが「１ｍ」である場合、距離Ｄは、Ｒにｔａｎ３０°を乗じて「１．７３ｍ」と算出される。

視点設定部１１ｂは、仮想現実空間１００におけるユーザ３００の視点から二次元画像１３０までの水平方向（ｚ軸方向）の距離が、算出された距離Ｄと等しくなるように、仮想現実空間１００におけるユーザ３００の視点の位置を設定する。これにより、現実空間２００におけるユーザ３００から対象物１３１までの距離が、仮想現実空間１００におけるユーザ３００から二次元画像１３０に映る対象物１３１までの仮想的距離と略等しくなる。このため、ユーザ３００は現実空間２００と同じような状況において仮想現実空間１００で対象物１３１を知覚することができる。すなわち、ユーザ３００に対し仮想現実空間１００においてより高いリアリティを与えることができる。設定された視点の位置に関する情報は、例えば三次元画像１１０とともに三次元画像データベース１２ａに格納される。

以上より、ユーザ３００は、仮想現実空間１００において二次元画像１３０に奥行きがあるかのように、すなわち二次元画像１３０が三次元の画像であるかのように錯覚する。ここで、仮想現実空間１００においてユーザ３００が錯覚を起こす原理について、詳しく説明する。図８は、二次元画像１３０についてユーザ３００が錯覚を起こす原理を説明する平面図である。図８における破線は、二次元画像１３０を三次元的に見ると現れるものを示す。ユーザ３００は、仮想現実空間１００において二次元画像１３０が所定の壁１１１のｘｙ平面における内側に設けられることで、二次元画像１３０の周辺の壁１１１の裏側（ｚ軸方向の−側）に空間（図８の斜線部分）があるように錯覚する。さらに、開口１２０が奥行きを有することにより、ユーザ３００に対し該裏側に空間があるという錯覚をより惹起する。また、視点設定部１１ｂが、仮想現実空間１００の視点を仮想的に距離Ｄとなるように設定することで、ユーザ３００が仮想現実空間１００の対象物１３１を現実空間２００の対象物１３１と同じ大きさで知覚でき、その錯覚を惹起する。これにより、ユーザ３００は、二次元画像１３０に映る対象物１３１を、三次元の対象物１３１として隣の部屋にあるかのように錯覚する。

このように、表示端末装置１０は、現実空間２００の対象物１３１に対する撮影装置２１０の位置を、仮想現実空間１００におけるユーザ３００の視点の位置と対応させることにより、様々な二次元画像１３０を三次元画像１１０の開口１２０にマッピングすることができる。これにより、対象物１３１の三次元画像１１０を用いずに、容易に、対象物１３１の二次元画像１３０を三次元の画像であるかのように、ユーザ３００に対象物１３１を見せることができる。このため、対象物１３１を三次元スキャニングするためのコストを縮減することができ、扱う情報量を縮減することができる。

次に、仮想現実空間１００において、例えば別途設けられるコントローラ（不図示）の操作に基づき、ユーザ３００の視点が二次元画像１３０に近づいたときの、二次元画像１３０の拡大率について説明する。図９は、二次元画像１３０の拡大率を説明するための模式図である。図９に示すように、仮想現実空間１００における二次元画像１３０とユーザ３００の視点との水平方向（ｚ軸方向）の離隔が距離Ａである状態から、ユーザ３００の視点が二次元画像１３０に水平方向において距離Ｂだけ近づいた場合、ユーザ３００が元の二次元画像１３０よりも大きな二次元画像１３０を知覚するように、二次元画像１３０をＡ／（Ａ−Ｂ）の拡大率で拡大する。これにより、ユーザ３００が、仮想現実空間１００に三次元の対象物１３１があるかのように錯覚しやすくなる。

画像出力部１１ｃは、三次元画像１１０及び二次元画像１３０をそれぞれ、三次元画像データベース１２ａ及び二次元画像データベース１２ｂから取得し、画像生成部１１ａで生成された開口１２０を有する三次元画像１１０、及び二次元画像１３０を表示部１６に出力する。

＝＝＝処理手順＝＝＝
図１０は、表示端末装置１０の動作処理を示すフローチャートである。図１０を参照しつつ表示端末装置１０の処理手順について説明する。

まず、画像生成部１１ａは、三次元画像１１０を生成する（Ｓ１０）。生成された三次元画像１１０は三次元画像データベース１２ａに格納される。

画像生成部１１ａは、二次元画像データベース１２ｂから二次元画像情報を取得する（Ｓ１１）。二次元画像情報とは、二次元画像１３０の大きさや現実空間２００の距離Ｄなど、二次元画像１３０を開口１２０の位置にマッピングするために必要な情報である。画像生成部１１ａは、二次元画像情報に基づき開口１２０を生成する（Ｓ１２）。なお、画像生成部１１ａは、所定の大きさの開口１２０を生成した後に、開口１２０の座標位置に所定の条件を有する二次元画像１３０をマッピングしてもよい。また、開口１２０は、予め定められた撮影条件で撮影される二次元画像１３０と適合するような、予め定められた大きさのものが生成されてもよい。

次に、視点設定部１１ｂは、距離Ｄに関する情報に基づき、仮想現実空間１００におけるユーザ３００の視点の位置から二次元画像１３０までの距離が現実空間２００の距離Ｄと等しくなるように、視点の位置を設定する（Ｓ１３）。該視点の位置に関する情報を含む三次元画像１１０を三次元画像データベース１２ａに格納する（Ｓ１４）。

次に、画像出力部１１ｃ（三次元画像出力部）は、三次元画像データベース１２ａから三次元画像１１０を取得して表示部１６に出力する（Ｓ１５）。画像出力部１１ｃ（二次元画像出力部）は、二次元画像データベース１２ｂから二次元画像１３０を取得して三次元画像１１０の開口１２０の位置に出力する（Ｓ１６）。なお、画像出力部１１ｃは、二次元画像１３０を、ストレージ１２とは別のサーバ（例えば動画共有サイトなど）から取得してもよい。

これにより、表示端末装置１０は、ユーザ３００が対象物１３１の二次元画像１３０を三次元の画像であるかのように錯覚する仮想現実空間１００を生成できる。
＝＝＝他の実施形態＝＝＝

上記において、壁１１１の内側領域は該開口１２０の周りに壁１１１の一部が残るような位置であるとして説明したが、例えば、該開口１２０の周りに壁１１１の少なくとも一部が残るような位置であってもよい。具体的には、例えば開口１２０におけるｙ軸方向の＋側端面が三次元画像１１０の天井（不図示）と面一となるように形成されていてもよい。

上記において、開口１２０は例えばユーザ３００の視点において奥行きを有するように４端面で形成されているとして説明したが、さらに、開口１２０におけるｘ軸方向の両端部に、ｚ軸方向の−側に張り出す柱状の部材を生成してもよい。これにより、二次元画像１３０が奥行きを有するかのようにユーザ３００が錯覚をおこしやすくなる。

二次元画像１３０の色合いが三次元画像１１０の色合いよりも明るく設定されていることが望ましい。これにより、一般に、ユーザ３００の視線を対象物１３１に注目させることができるためユーザ３００がより錯覚をおこしやすくなる。

三次元画像１１０の床面１４０には、図５に示すように模様が設けられていることが望ましい。これにより、ユーザ３００が二次元画像１３０上の対象物１３１までの仮想的な距離感をイメージしやすくなるためユーザ３００がより錯覚をおこしやすくなる。

三次元画像１１０におけるユーザ３００の視点の近傍にテーブルなどの立体的なオブジェクト（不図示）を設けることが望ましい。これにより、三次元空間における距離、縦横の大きさ、高さなどを、ユーザ３００は立体的なオブジェクトに基づいて知覚し、よりリアルに対象物１３１を体感できる。

二次元画像１３０上の対象物１３１を回転させるターンテーブル１３２（図５）の回転音が表示端末装置１０のスピーカーから出力されることが望ましい。スピーカーから出力される回転音は、顔の向きに応じて左右のスピーカーの調整がなされる。これにより、ユーザ３００は対象物１３１をよりリアルに体感できる。

なお、述した実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得るとともに、本発明にはその等価物も含まれる。
＝＝＝まとめ＝＝＝

本実施形態に係る画像表示システム１は、ユーザ３００が頭部に装着して表示部１６に仮想現実空間１００を表示する表示端末装置１０が、壁１１１で囲われる三次元画像１１０を表示する三次元画像表示ステップと、三次元空間の所定の壁１１１における側面の内側領域に、現実空間２００の対象物１３１の画像を含む二次元画像１３０を表示する二次元画像表示ステップと、を実現する。本実施形態によれば、ユーザ３００が仮想現実空間１００に設けられる現実空間２００の対象物１３１の二次元画像１３０の見えない部分があるように錯覚するため、二次元画像１３０を三次元的に知覚する。このため、現実空間２００における対象物１３１の三次元画像を二次元画像に代替えできるため、情報処理の処理量を縮減でき、三次元画像を生成するためのコストを抑制できる。また、例えば、商品が日々更新される小売業界などにおいて、仮想現実空間を活用した商品販売を簡易に行うことができるようになるため、ユーザに新たな購買体験をもたらすことができる。

また、画像表示システム１における三次元画像表示ステップでは、所定の壁１１１に表示される二次元画像１３０の位置に、奥行きを有する開口１２０を表示する。本実施形態によれば、ユーザ３００は開口１２０に奥行きがあるため二次元画像１３０に映る対象物１３１が隣の部屋にあるかのように錯覚する。

画像表示システム１は、二次元画像１３０における現実空間２００の地面に対して垂直方向への仮平面から、現実空間２００における撮影装置２１０までの水平距離Ｄと、仮想現実空間１００におけるユーザ３００の視点から、三次元画像１１０に出力される二次元画像１３０までの水平距離と、が等しくなるように、仮想現実空間１００におけるユーザ３００の視点の位置を設定する視点設定ステップをさらに実現する。本実施形態によれば、ユーザ３００が仮想現実空間１００と現実空間２００とで同じ環境で対象物１３１を視るように視点を設定するため、二次元画像１３０を三次元的に錯覚しやすくなる。

画像表示システム１における二次元画像表示ステップでは、対象物１３１が動く二次元画像１３０を表示する。本実施形態によれば、ユーザ３００の視点を対象物１３１に注目させることができるため、三次元画像１１０と二次元画像１３０との境界の違和感を軽減できる。

画像表示システム１における三次元画像表示ステップでは、三次元空間の床面１４０に模様が付された三次元画像１１０を表示する。本実施形態によれば、ユーザ３００が二次元画像１３０上の対象物１３１までの仮想的な距離感をイメージしやすくなる。

画像表示システム１における二次元画像表示ステップでは、三次元画像１１０の明るさよりも明るい二次元画像１３０を表示する。本実施形態によれば、ユーザ３００の視線を対象物１３１に注目させられる。

画像表示システム１における三次元画像表示ステップでは、三次元空間の床面１４０に立体オブジェクトを表示する。本実施形態によれば、対象物１３１の距離や大きさなどを知覚しやすくなる。

１…画像表示システム、１０…表示端末装置、１１…プロセッサ、１１ａ…画像生成部、１１ｂ…視点設定部、１１ｃ…画像出力部、１２…ストレージ、１２ａ…三次元画像データベース、１２ｂ…二次元画像データベース、１２ｃ…操作対応データベース、１３…通信部、１４…方位検出部、１５…加速度検出部、１６…表示部、１７…メモリ、１８…入力部、１００…仮想現実空間、１１０…三次元画像、１１１…壁、１２０…開口、１３０…二次元画像、１３１…対象物、１３２…ターンテーブル、１４０…床面、２００…現実空間、２１０…撮影装置、３００…ユーザ。

Claims

ユーザが頭部に装着して表示部に仮想現実空間を表示する表示端末装置を備える画像表示システムの画像表示方法であって、
前記画像表示システムが、
壁で囲われる三次元空間を示す三次元画像を表示する三次元画像表示ステップと、
前記三次元空間の所定の壁における側面の内側領域に、現実空間の対象物の画像を含む二次元画像を表示する二次元画像表示ステップと、
を実現し、
前記二次元画像は、前記二次元画像を撮影した前記現実空間における撮影装置から、前記二次元画像の下側端部に対応する前記現実空間の基準点を含み、地面に対して垂直方向への仮平面までの水平距離と、前記三次元空間におけるユーザの視点から、前記三次元空間の前記所定の壁までの水平距離とが、等しくなるように設定されたものである、
画像表示方法。
前記基準点は、前記現実空間の地面上の点である
請求項１に記載の画像表示方法。
前記三次元画像表示ステップは、さらに、
前記二次元画像が表示される位置に、奥行きがあり、前記三次元空間における地面と連続的に形成される段差を有する開口を表示する
請求項１又は請求項２に記載の画像表示方法。
前記二次元画像は、前記対象物に動きがある動画である
請求項１乃至請求項３のいずれか一項に記載の画像表示方法。
前記三次元画像表示ステップでは、前記三次元空間の床面に模様が付された前記三次元画像を表示する
ことを実現する請求項１乃至請求項４いずれか一項に記載の画像表示方法。
前記二次元画像表示ステップでは、前記三次元画像の明るさよりも明るい前記二次元画像を表示する
ことを実現する請求項１乃至請求項５のいずれか一項に記載の画像表示方法。
前記三次元画像表示ステップでは、前記三次元空間の床面に立体オブジェクトを表示する
ことを実現する請求項１乃至請求項６のいずれか一項に記載の画像表示方法。
ユーザが頭部に装着して仮想現実空間を表示する表示端末装置を備える画像表示システムを制御するためのプログラムであって、
前記画像表示システムに、
壁で囲われる三次元空間を示す三次元画像を表示させる三次元画像表示機能と、
前記三次元空間の所定の壁における側面の内側領域に、現実空間の対象物の画像を含む二次元画像を表示させる二次元画像表示機能と、
を実現させ、
前記二次元画像は、前記二次元画像を撮影した前記現実空間における撮影装置から、前記二次元画像の下側端部に対応する前記現実空間の基準点を含み、地面に対して垂直方向への仮平面までの水平距離と、前記三次元空間におけるユーザの視点から、前記三次元空間の前記所定の壁までの水平距離とが、等しくなるように設定されたものである、
プログラム
ユーザが頭部に装着して表示部に仮想現実空間を表示する表示端末装置を備える画像表示システムであって、
壁で囲われる三次元空間を示す三次元画像を出力する三次元画像出力部と、
前記三次元空間の所定の壁における側面の内側領域に、現実空間の対象物の画像を含む二次元画像を出力する二次元画像出力部と、
を備え、
前記二次元画像は、前記二次元画像を撮影した前記現実空間における撮影装置から、前記二次元画像の下側端部に対応する前記現実空間の基準点を含み、地面に対して垂直方向への仮平面までの水平距離と、前記三次元空間におけるユーザの視点から、前記三次元空間の前記所定の壁までの水平距離とが、等しくなるように設定されたものである、
画像表示システム。