JP7172139B2 - 販売システム - Google Patents

Description

本発明は、仮想空間を表示するための技術に関する。

コンピュータ技術の発展により、高度な画像処理を行って表示を行うことが可能になってきている。近年では、ＶＲ（Virtual Reality：仮想現実）と呼ばれる技術により、コンピュータ内のデータを処理して、あたかも現実であるかのような環境を利用者に提示することが行われている。

特開２０１７－１９４８５７号公報

従来のＶＲでは、多様な表示手法により利用者に魅力的な体験を与えることができるが、これを商品の購買にまで繋げる技術については、十分な開発が行われていない。

そこで、本発明は、仮想現実の技術を利用して、効率的に商品の販売に結び付けることが可能な販売システムを提供することを課題とする。

上記課題を解決するため、本発明では、
３次元で表現されたオブジェクトが配置された仮想空間の表示を利用して商品の販売を行う販売システムであって、
仮想空間におけるオブジェクトに指示を与える指示装置と、前記指示装置の傾きと動きを検知する第１の検知手段と、
画像を表示する表示部を備えた装着型の表示装置と、前記表示装置の傾きと動きを検知する第２の検知手段と、
仮想空間を決定する仮想空間データとして、仮想空間において固定されて動かない固定オブジェクトを定義するデータと、仮想空間で展示する展示物に対応する移動オブジェクトを定義するデータと、前記指示装置を模した指示オブジェクトを定義するデータを記憶する第１の記憶手段と、
仮想空間を表示する処理として、前記第２の検知手段から取得した傾きと動きに従う前記表示装置の視点位置と視線方向から，複数の展示物を展示する建屋内部を模した前記固定オブジェクトに複数の前記移動オブジェクトを配置した第１の空間を見た画像と、前記第１の検知手段から取得した傾きと動きに伴う前記指示装置の視点位置と視線方向を用いて作成した前記指示オブジェクトを前記表示部に出力する処理と、前記第２の検知手段が取得した傾きと動きに伴う前記表示装置の視線方向から，前記移動オブジェクトを個別に展示する部屋を模した前記固定オブジェクトの中央に前記指示装置により前記第１の空間で指示された前記移動オブジェクトを配置した第２の空間を見た画像と，前記第１の検知手段から取得した傾きと動きに伴う前記指示装置の視点位置と視線方向を用いて作成した前記指示オブジェクトを前記表示部に出力する処理をそれぞれ実行する画像生成手段と、を備えた画像処理装置と、
前記移動オブジェクトと現実の品物および販売価格との対応関係記憶する第２の記憶手段と、前記第２の空間において前記指示装置により指示された前記移動オブジェクトに対する購入指示を前記画像処理装置から受け取り、前記指示された移動オブジェクトに対応する品物の販売処理を行う販売装置と、
を備えることを特徴とする販売システムを提供する。

また、本発明の販売システムは、
前記販売処理は、前記指示されたオブジェクト名と購入価格とを出力することを特徴とする。

また、本発明の販売システムは、
前記販売処理は、前記指示されたオブジェクト名と購入価格とをコード化し紙媒体に出力することを特徴とする。

また、本発明の販売システムは、
前記画像処理装置は、利用者を特定する識別情報である利用者ＩＤを取得する手段を更に有し、
前記第２の記憶手段は、利用者ＩＤと前記利用者のクレジットカード情報とを記憶し、
前記販売処理は、購入指示と利用者ＩＤとを受け取り、前記クレジットカード情報を用いて代金決済を行うことを特徴とする。

また、本発明の販売システムは、
前記画像処理装置は、前記指示装置により指示された前記オブジェクトを前記視点位置に応じた位置へと移動し、前記指示装置の動きに応じて移動及び回転させることを特徴とする。

また、本発明の販売システムは、
前記画像処理装置は、前記指示装置により指示された前記オブジェクトを移動オブジェクトとして前記視点位置に応じた位置へと移動し、前記指示装置の動きに応じて移動及び回転させる際、前記指示装置の動きに応じて前記指示オブジェクトと所定の位置関係を保った状態で行うものであり、
前記所定の位置関係は、前記指示オブジェクト、前記移動オブジェクト内にそれぞれ基準位置を定め、前記指示オブジェクトの基準位置と前記移動オブジェクトの基準位置が所定の距離であり、前記指示オブジェクトの基準位置と前記移動オブジェクトの基準位置を結ぶ方向が、前記指示オブジェクトにおける所定の方向と平行である位置関係であることを特徴とする。

また、本発明の販売システムは、
前記移動オブジェクトは、前記指示オブジェクトの所定の向きに延びる仮想線が前記移動オブジェクトと交差する場合に、前記指示装置に対して所定の操作を行うことにより特定されるものであることを特徴とする。

本発明によれば、仮想現実の技術を利用して、効率的に商品の販売に結び付けることが可能となる。

本発明の一実施形態に係る販売システムの構成図である。 画像処理装置１０のハードウェア構成図である。 移動オブジェクトとｘｙｚ座標軸との関係を示す図である。 表示装置２０のハードウェア構成図である。 表示装置２０の外観斜視図である。 第１の空間における処理動作を示すフローチャートである。 第１の空間における処理動作を示すフローチャートである。 第２の空間における処理動作を示すフローチャートである。 第２の空間における処理動作を示すフローチャートである。 第１の空間に対して表示される画像の一例を示す図である。 第１の空間に対して表示される画像の一例を示す図である。 第１の空間に対して表示される画像の一例を示す図である。 第１の空間に対して表示される画像の一例を示す図である。 第１の空間に対して表示される画像の一例を示す図である。 第１の空間に対して表示される画像の一例を示す図である。 第１の空間に対して表示される画像の一例を示す図である。 第１の空間に対して表示される画像の一例を示す図である。 第２の空間に対して表示される画像の一例を示す図である。 第２の空間に対して表示される画像の一例を示す図である。

＜１．システム構成＞
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。図１は、本発明の一実施形態に係る販売システムの構成図である。図１において、１０は画像処理装置、２０は表示装置、３０ａ、３０ｂは赤外線センサ、４０は指示装置である。図１に示す販売システムは、仮想空間を表示する表示システムとしても機能し、商品の販売を支援する。「販売」とは、システムの運営側から見た用語であり、利用者側から見ると「購入」に対応する。

画像処理装置１０は、三次元のデータを配置した仮想空間を所定の視点位置、視線方向から見た画像を生成する装置であり、パーソナルコンピュータ等の汎用のコンピュータに専用のプログラムを組み込むことにより実現される。表示装置２０は、利用者が装着して仮想現実を体験するための装着型の表示装置である。赤外線センサ３０ａ、３０ｂは、表示装置２０の位置と向き、指示装置４０の位置と向きを随時検出して、画像処理装置１０に送信する検出装置である。「位置と向き」は、演算により「傾きと動き」に変換することができ、また逆も可能である。すなわち、赤外線センサ３０ａ、３０ｂは、指示装置４０の傾きと動きを検知する第１の検知手段として機能するとともに、表示装置２０の傾きと動きを検知する第２の検知手段として機能する。指示装置４０は、リモートコントローラとして、利用者が保持して画像処理装置１０に対して指示を送信する装置である。

図２は、画像処理装置１０のハードウェア構成図である。画像処理装置１０は、パーソナルコンピュータ等の汎用のコンピュータに専用のプログラムを組み込むことにより実現される。図２に示すように、ＣＰＵ（Central Processing Unit）１０ａと、メインメモリであるＲＡＭ（Random Access Memory）１０ｂと、ＣＰＵが実行するプログラムやデータを記憶するための不揮発性の記憶装置１０ｃ（例えば、ハードディスク、フラッシュメモリ等）と、キーボード、タッチパネル等の指示入力部１０ｄと、外部装置（データ記憶媒体等）とデータ通信するためのデータ入出力Ｉ／Ｆ（インタフェース）１０ｅと、表示部（液晶ディスプレイ等）１０ｆと、ネットワークを介して他のコンピュータとネットワーク通信を行うための通信部１０ｇと、表示装置２０、赤外線センサ３０ａ、３０ｂ、指示装置４０と近距離無線通信を行うための近距離無線通信部１０ｈを備え、互いにバスを介して接続されている。ＲＡＭ１０ｂ、記憶装置１０ｃは、仮想空間上にオブジェクトの配置された画像データを記憶する第１の記憶手段として機能する。

本実施形態では、画像処理装置１０は、インターネット等のネットワークを介して商品管理サーバ（図示省略）に接続され、互いにデータの送受信が可能となっている。商品管理サーバは、汎用のコンピュータで実現することができ、所定のプログラムをＣＰＵが実行することにより、管理している商品の販売処理を行う。商品管理サーバは、インターネット等のネットワークに接続されて、他の端末装置との通信も可能となっている。商品管理サーバには、商品販売サイトが開設されており、一般の利用者は、自身のパソコンやスマートフォンからアクセスして、商品の購入に関する処理を行うことが可能となっている。

商品管理サーバは、商品情報を管理する商品データベース、利用者情報を管理する利用者データベースを有している。商品データベースは、デジタルデータであるコンテンツを商品として管理している。商品データベースには、商品を特定する商品ＩＤに対応付けて、その商品が画像処理装置１０において表現されるオブジェクトのオブジェクトＩＤや、商品名、金額等が商品情報として記録されている。利用者データベースには、利用者を特定する利用者ＩＤに対応付けて、氏名、住所、連絡先、送付先、クレジットカード番号等、が記録されている。送付先としては、コンテンツの送付先である端末装置等を記録しておくことができる。商品データベース、利用者データベースは、第２の記憶手段としての役割を果たすハードディスク等の記憶装置を用いて実現される。すなわち、商品管理サーバは、オブジェクトと現実の品物および販売価格との対応関係記憶する記憶手段を備え、指示装置４０により指示されたオブジェクトに対する購入指示を画像処理装置１０から受け取り、指示されたオブジェクトに対応する品物の販売処理を行う販売装置である。販売装置（商品管理サーバ）による販売処理は、購入指示と利用者ＩＤとを受け取り、クレジットカード情報を用いて代金決済を行うことにより行うこともできる。

図２に示した画像処理装置１０では、記憶装置１０ｃに記憶されたプログラムをＲＡＭ１０ｂに読み込み、ＣＰＵ１０ａが実行することにより、指示装置４０、表示装置２０の位置、向きを取得する手段、仮想空間においてオブジェクトを配置するオブジェクト配置手段、オブジェクト配置手段により配置されたオブジェクトを含む仮想空間に対して、所定の視点位置、視線方向から見た画像を、表示装置２０の表示部に表示させる画像として生成する画像生成手段として機能する。

仮想空間は、画像処理装置１０内において、ＸＹＺの三次元の直交座標系であるＸＹＺ座標系により定義されている。ＸＹＺの各軸をどの方向に定めてもよいが、本実施形態では、仮想空間内で水平面となる方向をＸＹ軸で表現し、高さの方向をＺ軸で定めている。記憶装置１０ｃには、プログラム以外にも、仮想空間を決定するための仮想空間データが記憶されている。仮想空間データには、空間自体を定義するＸＹＺの三次元の座標の他、仮想空間において固定されて動かない固定オブジェクトを定義する固定オブジェクトデータと、仮想空間内で移動可能な物体であり、移動オブジェクトを定義する移動オブジェクトデータに分けられる。例えば、仮想空間として美術館の内部を実現する場合、固定オブジェクトは、例えば、壁、床、階段等、空間内において固定されたものである。移動オブジェクトは、例えば、絵画、彫刻、石造等の展示物が該当する。仮想空間においては、指示装置４０を模した指示オブジェクトも存在する。指示オブジェクトは、移動オブジェクトの一つである。固定オブジェクトデータ、移動オブジェクトデータは、三次元における形状や質感を特定できるデータであれば、どのような形式であってもよい。例えば、物体の各頂点により形成される多角形の面を規定したポリゴンの集合として実現することができる。

固定オブジェクトは、仮想空間において固定されているため、固定オブジェクトを特定する座標値は、仮想空間と同じくＸＹＺ座標系で表現されている。移動オブジェクトは、空間内において向きを変化させることがあるため、仮想空間の空間自体のＸＹＺ座標系とは別のｘｙｚ座標系で定義されている。図３は、ｘｙｚ座標系と移動オブジェクトの関係を示す図である。ｘｙｚの各軸を移動オブジェクトのどの方向に定めてもよいが、本実施形態では、仮想空間における定位置に配置された状態（例えば美術館内を想定した場合、展示位置に配置された状態）で、水平面となる方向をｘｙ軸で表現し、高さの方向をｚ軸で定めている。移動オブジェクトのｘｙｚ座標をこのように定めることにより、固定オブジェクトのＸＹＺ座標と移動オブジェクトのｘｙｚ座標を一致させたときに、移動オブジェクトが正しく定位置に配置されることになる。例えば、図３（ａ）に示すように、動物の彫刻を模した移動オブジェクトの場合、全体に立体感があるため、その正面がｙ軸方向に沿う方向を向くように設定する。また、図３（ｂ）に示すように、絵画を模した移動オブジェクトの場合、額縁に嵌められた形態としても全体に平板状となるため、厚み方向がｙ軸方向に沿う方向を向くようにし、ｘｚ平面に絵画の内容が配置されるように設定する。

指示装置４０を模した指示オブジェクトも移動オブジェクトであるため、図３（ｃ）に示すように、ＸＹＺ座標とは異なるｘｙｚ座標で定義されている。指示オブジェクトは、展示されるものではないため、仮想空間における定位置というものがない。本実施形態では、指示装置４０の使用時における利便性を考慮して、指示装置４０を模した指示オブジェクトの長手方向、幅方向、高さ方向をそれぞれｙ軸、ｘ軸、ｚ軸に定義する。すなわち、指示装置４０が指し示す方向となる長手方向をｙ軸とし、他の短手方向のうち、通常左右となる方向をｘ軸、通常上下となる方向をｚ軸に設定している。指示オブジェクトと指示オブジェクト以外の移動オブジェクトの座標は、必ずしも合わせておく必要はないが、合わせておくと、特に後述の移動オブジェクトを指示オブジェクトの近くに引き寄せた近接状態における処理を効率的に行うことが可能となる。そのため、本実施形態では、図３（ａ）（ｂ）に示したように、移動オブジェクトを正面から見た方向をｙ軸、正面から見た幅方向（左右方向）をｘ軸として設定している。

図３（ｃ）に示した指示オブジェクトは、指示装置４０を再現したオブジェクトとなっている。上方に△の形状の押ボタンが表現されている。指示装置４０の下方には、隠れているが、指示装置４０が備えるトリガーが表現されている。

図３において「・（黒丸）」で示すように、各移動オブジェクトには、基準位置が設定されている。この基準位置を用いて仮想空間や他のオブジェクトとの位置関係を定めることができる。基準位置としては、特に限定はないが、本実施形態では、ｘｙｚ座標系で定められた各オブジェクトのｘｙｚ各座標における中央のｘｙｚ座標値としている。

移動オブジェックトのうち、商品として購入可能なコンテンツと対応付けられたものは購入対応オブジェクトとして扱うことができる。購入対応オブジェクトである移動オブジェクトは、第１の空間で指定されることにより、この移動オブジェクトを中心とした第２の空間に移動した後、購入手続を行うことにより、対応するコンテンツの購入を行うことができる。コンテンツと移動オブジェックトの対応付けは、画像処理装置１０内においてコンテンツを特定する商品ＩＤをオブジェクトデータの一部として記録しておいてもよいし、商品管理サーバにおいて、対応付けておいてもよい。購入対応オブジェクトは、販売システムを運営する側から見れば販売対応オブジェクトと表現することもできる。画像処理装置１０内の記憶装置１０ｃには、購入対応オブジェクトに対応して、オブジェクト名（商品名）、購入価格（販売価格、金額）が対応付けて記憶されている。

図４は、表示装置２０のハードウェア構成図である。表示装置２０は、図４に示すように、ＣＰＵ２０ａと、画像メモリ２０ｂと、右目用画像を表示する表示部（液晶ディスプレイ等）２０ｃと、左目用画像を表示する表示部（液晶ディスプレイ等）２０ｄと、画像処理装置１０と近距離無線通信を行うための近距離無線通信部２０ｅと、表示装置２０自身の方向を検出する方向センサ２０ｆと、を備え、互いにバスを介して接続されている。また、赤外線を送信するための赤外線送信部２０ｇを備え、赤外線を受信した赤外線センサ３０ａ、３０ｂにより表示装置２０の位置の検出を可能としている。方向センサ２０ｆとしては、方向を検知することができるものであればよく、加速度センサやジャイロセンサを用いることができる。図５は、表示装置２０の外観斜視図である。表示装置２０の形態は、特に限定されないが、右目用と左目用の表示部が備えられ、顔に装着可能な形態であることが好ましい。本実施形態では、表示装置２０は眼鏡型であるが、頭に固定し易いように、バンドを備えたり、帽子やヘルメット、フェイスマスクと一体となった形態であってもよい。

赤外線送信部２０ｇは、赤外線を常に発信し続ける。発信された赤外線は、赤外線センサ３０ａ、３０ｂに受信される。図示を省略しているが、赤外線センサ３０ａ、３０ｂは、近距離無線通信部を備えており、赤外線送信部２０ｇから受信した情報を、随時画像処理装置１０に送信する。そして、画像処理装置１０では、ＣＰＵ１０ａが、赤外線センサ３０ａ、３０ｂから受信した情報を基に、視点位置、視線方向の算出を行う。

また、ＣＰＵ１０ａは、記憶装置１０ｃに記憶された仮想空間を表示するためのプログラムを実行して、仮想空間データに対して、設定された視点位置、視線方向に基づいて、視点位置、視線方向から見える画像を表示画像として生成する。このようにして、表示装置２０の位置と向きに基づいて視点位置と視線方向を設定し、三次元の仮想空間データから二次元の表示画像を生成する技術は、ＶＲ技術として知られており、公知の技術であるので詳細な説明は省略する。

表示装置２０の位置と向きに基づいて視点位置と視線方向を設定することも、様々なセンサを用いて様々な態様で行うことができる。したがって、表示装置２０の動きに従って視点位置と視線方向を設定することは、公知のＶＲ技術を用いることにより実現可能であるので詳細な説明は省略する。

指示装置４０は、利用者が、画像処理装置１０に対して様々な指示を与えるためのものである。指示装置４０は、表示装置２０と同様、方向センサ、および赤外線送信部を有しており、赤外線センサ３０ａ、３０ｂにより、表示装置２０に対する検知技術と同様にして、位置および方向の検知が可能となる。方向センサとしては、方向を検知することができるものであればよく、加速度センサやジャイロセンサを用いることができる。また、指示装置４０は、トリガーおよび押ボタンを備え、それぞれを用いて画像処理装置１０に対して所定の指示を行うことが可能になっている。上述のように、指示装置４０に対応する指示オブジェクトは、展示物等の他の移動オブジェクトと同様、移動オブジェクトとして記憶装置１０ｃに登録されている。すなわち、指示装置４０の形状、質感等を実現するオブジェクトデータが登録されている。現実の指示装置４０に類似の形状、質感を備えたオブジェクトデータを用意しておくことにより、利用者が現実に手に持っている指示装置４０が仮想空間の中にも登場するように感じることができる。

指示装置４０には、現実に光線が出る装備は付いていないが、本実施形態では、仮想空間において指示装置４０の所定の位置から所定の方向に向かってレーザー光線のような光線を模したガイド線が出るように設計されている。ガイド線は、仮想空間においては光線を表現しているため、所定の幅を持つものとして設定されている。このようなガイド線を仮想空間において表現するため、ガイド線の詳細についてもオブジェクトデータとして記憶装置１０ｃに登録されている。ただし、ガイド線は、展示物や指示装置４０等の他のオブジェクトデータとは異なり、幅と質感だけが設定されたものである。ガイド線の長さについては、光線を表現するため、他のオブジェクトとの交差位置により定まるようにプログラムに設定されている。

図１に示した構成により、画像処理装置１０は、表示装置２０の位置と向き、指示装置４０の位置と向きを検出し、これらを反映させて仮想空間を表示するための画像を生成し、表示装置２０に送信し、表示装置２０では受信した画像を表示する。これにより、利用者は、表示装置２０と指示装置４０を用いた自身の動きに応じて変化する画像を視認することができ、いわゆるＶＲ（仮想現実）を体験することができる。なお、ＶＲをより現実的に体感できるように、実際には、画像処理装置１０は、右目用の視点位置を用いた右目用画像、左目用の視点位置を用いた左目用画像を生成し、表示装置２０に送信し、表示装置２０は、画像処理装置１０から受信した右目用画像、左目用画像をそれぞれ右目用の表示部２０ｃ、左目用の表示部２０ｄに表示する。これにより、利用者は左右の視差が反映されたより立体的な画像を見ることが可能となる。画像の生成レートは、例えば、左右それぞれに３０枚／秒とすることができ、この場合１／３０秒に１枚の割合で画像が生成されて表示される。そのため、利用者にとっては、表示される画像を動画として認識することができる。このように、実際には右目用画像、左目用画像が生成されるが、以下では、説明が繁雑になるのを避けるため、特に右目用、左目用ということには言及せず、共通の画像として表現する。

オブジェクトは、指示装置４０により所定の指示が行われると、平時の状態とは異なる状態に変化する。この状態として、平時の状態以外に、オブジェクト活性化状態、近接状態、定位置戻し中状態が存在する。オブジェクト活性化状態とは、指示装置４０の動きに応じて変化した状態であり、指示装置４０から指示を受けることが可能な状態である。オブジェクト活性化状態には、固定オブジェクトに対する固定オブジェクト活性化状態と、移動オブジェクトに対する移動オブジェクト活性化状態がある。近接状態は、移動オブジェクトが定位置でなく、指示オブジェクトの近接位置に配置された状態である。定位置戻し中状態は、移動オブジェクトが、指示オブジェクトの近接位置から定位置に戻る途中にある状態である。オブジェクト活性化状態、近接状態、定位置戻し中状態である場合、それぞれその状態にある旨の情報がオブジェクトを特定する識別情報であるオブジェクトＩＤと対応付けてＲＡＭ１０ｂに記録される。

販売システムを利用する場合は、利用者は、商品管理サーバにアクセスして、利用者登録をしておくことができる。利用者登録は、氏名、住所、連絡先、クレジットカード番号等、商品の購入に必要な情報を利用者情報として登録することにより、行われる。具体的には、例えば、利用者が保持するスマートフォン等の携帯型端末に対して利用者情報を入力し、商品管理サーバに送信する。商品管理サーバでは、利用者を特定する識別情報である利用者ＩＤを発行して、受信した利用者情報に対応付けて登録する。

＜２．処理動作＞
次に、図１に示したシステムの処理動作について説明する。本実施形態の販売システムを利用する場合、まず、指示入力部１０ｄを介して利用者ＩＤを入力する。例えば、キーボードまたはタッチパネルから文字入力により利用者ＩＤの入力を行うことができる。また、利用者が保持するスマートフォン等の携帯型端末から利用者ＩＤを画像処理装置１０に送信し、近距離無線通信部１０ｈを介して受信させるようにしてもよい。このようにして、画像処理装置１０は、利用者を特定する識別情報である利用者ＩＤを取得することができる。すなわち、ＶＲ体験を行う直前に利用者ＩＤを画像処理装置１０に登録することができる。

本実施形態では、仮想空間として第１の空間と第２の空間の２つの空間を移動できるようになっている。例えば、第１の空間として美術館内部を表現し、第２の空間として個別のオブジェクトを展示した部屋を表現する。利用者は、美術館内部を模した第１の空間から個別のオブジェクトを展示した部屋を模した第２の空間に、仮想現実を体験しながら移動し、楽しみながら個別のオブジェクトが表現するコンテンツの購入を行うことができる。

まず、図６、図７のフローチャートを用いて、第１の空間における処理について説明する。図１に示した販売システムが起動すると、画像処理装置１０は、赤外線センサ３０ａ、赤外線センサ３０ｂを介して表示装置２０、指示装置４０の位置情報を受信し、表示装置２０、指示装置４０からは直接向きの情報を取得する。これらの情報は、以降、所定のタイミングで定期的に取得される。このタイミングは、画像の生成レートと同等かそれよりも速いことが好ましい。図６のフローチャートに従った処理は、１枚の画像（実際には右目用左目用の２枚）を生成する時間で処理されるため、画像の生成レートが３０枚／秒であるとき、１／３０秒で実行されるものとなる。

＜２．１．第１の空間における処理＞
まず、画像処理装置１０は、仮想空間の初期設定を行う（ステップＳ１）。具体的には、仮想空間として座標軸ＸＹＺを定義し、ＸＹＺ座標系で定義された固定オブジェクトを配置する。

次に、画像処理装置１０は、視点位置および視線方向を取得する（ステップＳ２）。具体的には、受信した表示装置２０の位置情報に基づいて仮想空間における視点位置を求め、表示装置２０の向きの情報に基づいて仮想空間における視線方向を求め、現在の視点位置および視線方向として取得してＲＡＭ１０ｂ内に保持する。続いて、画像処理装置１０は、指示装置位置および指示装置方向を取得する（ステップＳ３）。具体的には、受信した指示装置４０の位置情報に基づいて、仮想空間における指示オブジェクトの配置位置を求め、指示装置４０の向きの情報に基づいて仮想空間における指示装置方向を求め、現在の指示装置位置および指示装置方向として取得してＲＡＭ１０ｂ内に保持する。

次に、画像処理装置１０は、近接状態であるか否かを判定する（ステップＳ４）。近接状態は、移動オブジェクトを定位置から指示オブジェクトに近接する位置に移動させた状態における処理であるが、詳細は後述する。上述のように、近接状態では、ＲＡＭ１０ｂ内に近接状態である旨の情報が、近接状態にある移動オブジェクトのオブジェクトＩＤと対応付けて記録されている。そのため、ステップＳ４における処理は、近接状態である旨の情報が記録されているか否かにより行われる。

ステップＳ４において近接状態であるとの判定がなされた場合には、画像処理装置１０は、指示装置４０のトリガーが戻されたか否かを判定する（ステップＳ５）。後に詳述する近接処理は、利用者が指示装置４０のトリガーを引き続けている限り継続され、指示装置４０のトリガーが戻された場合に解除される。そのため、ステップＳ５においては、指示装置４０から受信した情報に基づき、トリガーが戻されたか否かを判定する。

ステップＳ５においてトリガーが戻されたとの判定がなされた場合には、画像処理装置１０は、近接状態であった移動オブジェクトを、定位置戻し中状態に設定する（ステップＳ６）。定位置戻し中状態は、移動オブジェクトを指示オブジェクトに近接する位置から定位置に戻す途中の状態である。したがって、ステップＳ６においては、ＲＡＭ１０ｂから近接状態である旨の情報を消去し、近接状態にあった移動オブジェクトのオブジェクトＩＤと対応付けて、定位置戻し中状態である旨の情報を記録する。ステップＳ５においてトリガーが戻されていないとの判定がなされた場合には、近接状態である旨の情報が記録されたままとなる。したがって、近接状態は継続されることになる。

一方、ステップＳ４において近接状態でないとの判定がなされた場合には、画像処理装置１０は、移動オブジェクトが活性化状態であるか否かを判定する（ステップＳ７）。上述のように、移動オブジェクトが活性化状態では、ＲＡＭ１０ｂ内に移動オブジェクトが活性化状態である旨の情報が、対応する移動オブジェクトのオブジェクトＩＤと対応付けて記録されている。そのため、ステップＳ７における処理は、移動オブジェクト活性化状態である旨の情報が記録されているか否かにより行われる。

ステップＳ７において移動オブジェクト活性化状態であるとの判定がなされた場合には、画像処理装置１０は、指示装置４０のトリガーが引かれたか否かを判定する（ステップＳ８）。具体的には、指示装置４０から受信した情報に基づき、トリガーが引かれたか否かを判定する。

ステップＳ８においてトリガーが引かれたとの判定がなされた場合には、画像処理装置１０は、移動オブジェクト活性化状態であった移動オブジェクトを、近接状態に設定する（ステップＳ９）。具体的には、ＲＡＭ１０ｂから移動オブジェクト活性化状態である旨の情報を消去し、移動オブジェクト活性化状態にあった移動オブジェクトのオブジェクトＩＤと対応付けて、近接状態である旨の情報を記録する。

ステップＳ８においてトリガーが引かれていないとの判定がなされた場合には、画像処理装置１０は、押ボタンが押し下げられたか否かを判定する（ステップＳ１０）。ステップＳ１０において、押ボタンが押し下げられたと判定されると、空間移動が行われる（ステップＳ１１）。これにより別空間に移動する。すなわち、第１の空間における処理を一時中断し、第２の空間における表示処理を開始する。第２の空間の表示処理については、後述する。

ステップＳ４～Ｓ１０において、移動オブジェクトの状態に基づく処理を行ったら、次に、画像処理装置１０は、固定オブジェクト活性化状態であるか否かの判定を行う（ステップＳ１２）。上述のように、固定オブジェクト活性化状態では、ＲＡＭ１０ｂ内に固定オブジェクト活性化状態である旨の情報が、活性化状態にある固定オブジェクトのオブジェクトＩＤと対応付けて記録されている。そのため、ステップＳ１２における処理は、固定オブジェクト活性化状態である旨の情報が記録されているか否かにより行われる。

ステップＳ１２において、固定オブジェクト活性化状態であると判定された場合には、指示装置４０の押ボタンが押し下げられているか否かを判定する（ステップＳ１３）。具体的には、指示装置４０から受信した情報に基づき、押ボタンが押し下げられたか否かを判定する。ステップＳ１３において押ボタンが押し下げられたと判定されたら、視点位置および指示装置位置の瞬間移動が行われる（ステップＳ１４）。具体的には、ステップＳ２において取得された現在の視点位置、指示装置位置を、瞬間移動可能地点の位置に変更する。水平な床を移動する場合、高さ方向に変化はないので、視点位置のＺ座標は変更しない。瞬間移動が行われた場合、固定オブジェクト活性化状態は解除される。具体的には、ＲＡＭ１０ｂから固定オブジェクト活性化状態である旨の情報を消去する。ステップＳ１３において押ボタン押し下げが検知されない場合、ステップＳ１４における位置の瞬間移動は行われず、固定オブジェクト活性化状態のままとなる。

ステップＳ１２～ステップＳ１４において、固定オブジェクト活性化状態に関する処理を行ったら、次に、画像処理装置１０は、オブジェクトの配置を行う（ステップＳ１５）。仮想空間において固定オブジェクトは移動しないため、再配置を行う必要はないが、移動オブジェクトは、移動する場合があるため、再配置を行うものも存在する。具体的には、移動オブジェクト活性化状態、近接状態、定位置戻し中状態の移動オブジェクトがあるか否かを判定し、存在する場合には、その移動オブジェクトに対して対応する処理を行って移動した位置に再配置する。また、固定オブジェクト活性化状態となっている固定オブジェクト、移動オブジェクト活性化状態となっている移動オブジェクトがあるか否かを判定し、存在する場合には、これらのオブジェクトの表面に活性化状態であることを表現したテクスチャを設定する。また、移動オブジェクトである指示オブジェクトについてもステップＳ３で取得した指示装置位置および指示装置方向に基づいて再配置する。さらに、ガイド線が表示されるよう、ガイド線のオブジェクトの設定も行う。この時点における仮想空間のデータはオブジェクトの配置された３次元の画像データとして記憶手段であるＲＡＭ１０ｂに記憶される。

各オブジェクトの配置が行われたら、視点位置および視線方向に基づいて表示用の画像を生成する（ステップＳ１６）。通常は、ステップＳ２で取得した現在の視点位置および視線方向に基づいて画像が生成される。ステップＳ１３において瞬間移動がなされた場合にのみ、移動後の視点位置を現在の視点位置として画像が生成される。ステップＳ１６で生成される画像は、ステップＳ１５において記憶手段であるＲＡＭ１０ｂに記憶された３次元の画像データにおける、所定の視点位置および第２の検知手段に応じた画像の一部となる。このステップＳ１６における画像の生成は、公知のＶＲ技術により行うことができるので詳細な説明は省略する。

ステップＳ２～ステップＳ１６の処理と並行して、指示装置４０の位置や動きに基づいて、オブジェクトの状態を変更する処理が行われる。次に、図７のフローチャートを用いて指示装置４０の位置や動きに基づいて、オブジェクトの状態を変更する処理について説明する。まず、ステップＳ３において取得された指示装置位置および指示装置方向に基づいて、指示装置の角度が床面に対して所定範囲であるか否かを判定する（ステップＳ２１）。具体的には、床面と指示装置方向が平行であるときを０°、床面と指示装置方向が直交するときを９０°としたとき、指示装置方向が床面となす角度が３０°以上９０°以下の所定範囲であるか否かを判定する。所定範囲である場合、指示装置方向が床面を指していると考えられるためである。指示装置の角度が所定範囲であると判定された場合、瞬間移動可能地点を含む固定オブジェクトを固定オブジェクト活性化状態に変更する（ステップＳ２２）。固定オブジェクト活性化状態は、次のターンでステップＳ２１において指示装置の角度が床面に対して所定範囲でないと判定された場合、またはステップＳ１４において瞬間移動がなされた場合に解除される。

ステップＳ２１において指示装置の角度が所定範囲でないと判定された場合、固定オブジェクト活性化状態がなされていた場合は解除される。そして、指示オブジェクトの長手方向である指示装置方向を延長した仮想線が移動オブジェクトと交差するか否かを判定する（ステップＳ２３）。この仮想線は、空間上に実際に表現されるものではなく、指示オブジェクトが指し示す方向にオブジェクトが存在するか否かを判定するために求められる仮想の線である。

指示オブジェクトの仮想線が移動オブジェクトと交差すると判定された場合、対応する移動オブジェクトを移動オブジェクト活性化状態に変更する（ステップＳ２４）。移動オブジェクト活性化状態は、次のターンでステップＳ２３において仮想線が移動オブジェクトと交差しないと判定された場合、またはステップＳ９において近接状態に設定された場合に解除される。図６、図７に示した処理は、ステップＳ２からステップＳ１６までの処理を行って再びステップＳ２に戻ってくるまでの１ターンが画像生成枚数と同回数行われる。したがって、画像の生成レートが、３０枚／秒とする場合、１／３０秒で１ターンの処理が行われることになる。

＜２．２．近接状態、定位置戻し中状態＞
ここで、近接状態、および定位置戻し中状態近接状態について説明する。上述のように、近接状態は、移動オブジェクトが定位置でなく、指示オブジェクトの近接位置に配置された状態である。また、定位置戻し中状態は、移動オブジェクトが、指示オブジェクトの近接位置から定位置に戻る途中にある状態である。近接状態は、定位置戻し中状態の逆となる定位置から近接位置までの近接位置移動状態も含む。ステップＳ９における処理では、まず、近接位置移動状態の移動終点位置となる指示オブジェクトの近接位置を算出する。指示オブジェクトの近接位置は、指示オブジェクトの基準位置と近接位置が所定の位置関係となる位置である。本実施形態では、所定の位置関係とは、指示オブジェクトの基準位置と近接位置が所定の距離、所定の方向となる位置関係である。所定の距離、所定の方向としては、指示オブジェクトの動きに追随して動いた際に、移動オブジェクトを観察し易い距離であれば、適宜設定可能である。本実施形態では、所定の距離として、実空間に換算した際に３０ｃｍとなる距離としている。また、所定の方向として、指示オブジェクトＲの基準位置と移動オブジェクトの基準位置を結ぶ方向が、指示オブジェクトＲの所定の方向に平行な方向としている。指示オブジェクトＲの所定の方向として、本実施形態では、指示オブジェクトＲの短手方向であるｘ軸方向としている。指示オブジェクトＲの基準位置と移動オブジェクトの基準位置を結ぶ方向が、指示オブジェクトＲの短手方向であるｘ軸方向とすることにより、通常の持ち方で指示装置４０を持ったときに、近接位置にある移動オブジェクトが利用者の正面に位置し、観察に適したものとなる。

近接位置が算出されたら、移動オブジェクトの定位置から、近接位置までの軌跡を求め、その軌跡の途中において移動途中位置を求める。移動途中位置は、利用者に視認させたい移動オブジェクトの移動速度に応じて設定することができ、移動途中位置の数が多い程ゆっくり移動することになる。求められた近接位置、移動途中位置はＲＡＭ１０ｂに記憶される。

近接状態における処理は、実際には、ステップＳ１５において行われることになる。具体的には、ステップＳ１５において移動オブジェクトを配置する際、近接状態ではない移動オブジェクトについては定位置に配置しておき、近接状態である移動オブジェクトについては、近接位置移動状態の場合、ＲＡＭ１０ｂに記憶された移動途中位置に配置し、近接位置に到達した場合、近接位置に配置する。近接位置における移動オブジェクトの方向は、任意の方向とすることができるが、見易さを考慮し、本実施形態では、移動オブジェクトの方向を指示オブジェクトの方向と一致する方向としている。具体的には、移動オブジェクトのｘｙｚ軸と指示オブジェクトのｘｙｚ軸が一致するように配置する。ステップＳ１５においては、近接位置に到達後は、同一ターンのステップＳ３で取得した指示装置位置および指示装置方向に基づいて、新たな近接位置を算出し、移動オブジェクトを近接位置に所定の方向で配置する。したがって、指示装置４０のトリガーが引かれ続け、近接状態が続いている限り、利用者からは、移動オブジェクトは指示オブジェクトと所定の位置関係を保って移動するように見える。したがって、指示オブジェクトの動きに従ってオブジェクトも移動する。例えば、指示オブジェクトの基準位置を中心に回転させれば、オブジェクトも指示オブジェクトの基準位置を中心として、指示オブジェクトの周りを回るように移動する。したがって、指示オブジェクトの向きを工夫すれば、定位置に配置されたいわゆる展示状態では見ることができなかった移動オブジェクトの裏側など、移動オブジェクトの外観をあらゆる方向から観察することができる。

定位置戻し中状態は、移動オブジェクトが、指示オブジェクトの近接位置から定位置に戻る途中にある状態である。ステップＳ６における処理では、近接位置移動状態とは逆に近接位置から定位置までの軌跡を求め、その軌跡の途中において移動途中位置を求める。近接位置移動状態の場合と同様、移動途中位置は、利用者に視認させたい移動オブジェクトの移動速度に応じて設定することができ、移動途中位置の数が多い程ゆっくり移動することになる。求められた移動途中位置、定位置はＲＡＭ１０ｂに記憶される。

定位置戻し中状態における処理も、実際には、ステップＳ１５において行われることになる。具体的には、ステップＳ１５において移動オブジェクトを配置する際、近接状態ではない移動オブジェクトについては定位置に配置しておき、定位置戻し中状態である移動オブジェクトについては、ＲＡＭ１０ｂに記憶された移動途中位置に配置し、やがて定位置に配置する。定位置における移動オブジェクトの方向は、上述のように、移動オブジェクトのｘｙｚ軸と仮想空間のＸＹＺ軸が一致する方向である。したがって、近接状態において、指示装置４０のトリガーが戻されると、利用者からは、移動オブジェクトが、指示オブジェクトの近くから、定位置での展示状態に戻る様子を見ることができる。

＜２．３．第１の空間における表示の様子＞
次に、表示の様子について説明する。ここでは、美術館を模した空間を仮想空間として提供する場合を例にとって説明する。この場合、美術館の外側をスタート地点として開始することもできるし、内側に入場した状態から開始することもできる。外側から開始する場合は、美術館の外観を仮想空間として提示し、表示装置２０を装着した利用者が美術館のドアを開けて入場し、美術館の内側に入場する。

美術館の内側に入場した状態では、ステップＳ２、Ｓ３の処理が実行される。ステップＳ２、Ｓ３、Ｓ１５、Ｓ１６の処理は繰り返し実行され、美術館内部の固定オブジェクト、移動オブジェクト、表示装置２０の位置・向きに伴う視点位置・視線方向を用いて随時画像が作成され、作成された画像が表示装置２０の表示部２０ｃ、２０ｄにそれぞれ右目用画像、左目用画像として表示される。このとき、表示装置２０に表示される画像の例を図１０に示す。図１０は、美術館内部を模した仮想空間に視点位置・視線方向を設定して得られた画像であり、絵画を模した移動オブジェクトＭ１、Ｍ２、Ｍ３、彫刻を模した移動オブジェクトＭ４、Ｍ５、Ｍ６が展示された状態が表現されている。

なお、説明の便宜上、右目用画像、左目用画像を代表した共通の画像の例を用いることとする。図１０の例では、指示装置４０のスイッチが起動されていない状態、または指示装置４０のスイッチが起動されていても、視点位置および視線方向により基づいて作成される範囲に指示装置４０が存在していない場合を示している。ステップＳ４、Ｓ７、Ｓ１２等の要件を満たさない場合は、ステップＳ２、Ｓ３、Ｓ１５、Ｓ１６の処理が繰り替えされ、表示装置２０の位置・向きに応じて作成された画像が随時表示される状態が続く。

指示装置４０を起動した状態で利用者が指示装置４０を所定の方向に向けた際、指示装置の角度が、事前に設定された所定範囲に入ったものとする。この場合、ステップＳ２１においてＹＥＳと判定されるため、ステップＳ２２における処理を実行する。具体的には、上述のように、瞬間移動可能地点を含む床面を模した固定オブジェクトを固定オブジェクト活性化状態に設定する。固定オブジェクトを固定オブジェクト活性化状態に設定された後は、押ボタンの押し下げがなされない間は、ステップＳ１３でＮＯと判定されるため、ステップＳ１５において、画像処理装置１０は、その固定オブジェクトを活性化状態に応じた態様で設定する。具体的には、床面を模した固定オブジェクトの表面を、点灯状態を模した質感に変更し、指示オブジェクトから床面を模した固定オブジェクトの所定の位置まで、ガイド線を設定する処理を行う。このとき、表示装置２０に表示される画像の例を図１１に示す。図１１に示すように、指示装置４０に対応する指示オブジェクトＲが表示され、固定オブジェクトＦ１に対応する所定範囲の床面が点灯状態となり、指示オブジェクトＲの所定の位置から固定オブジェクト（床面）の所定の位置まで曲線状のガイド線Ｇ１が表示される。指示装置の角度が設定された所定範囲に入っており、指示装置４０の押ボタンが押されていない状態の場合、ステップＳ１２、Ｓ１３、Ｓ１５を通る処理が実行され、表示装置２０の位置・向き、および指示装置４０の位置・向きに応じて作成された画像が随時表示される状態が続く。この状態が続く限り、床面が点灯し続け、ガイド線が表示された状態の画像が表示されることになる。指示装置の角度が設定された所定範囲から外れた場合、ステップＳ２１においてＮＯと判定され、固定オブジェクト活性化状態を解除する処理が行われる。

図１１に示したように床面が点灯している状態で、利用者が指示装置４０の押ボタンを押したものとする。この場合、ステップＳ１３において、ＹＥＳと判定されるため、ステップＳ１４における処理を実行する。すなわち、位置の瞬間移動を行う。具体的には、ＲＡＭ１０ｂが保持している現在の視点位置の（Ｘ，Ｙ）座標を床面位置の（Ｘ，Ｙ）座標に置き換える処理を行う。この際、高さ方向であるＺ座標の位置は変更しない。この場合、次のステップＳ１５において、変更された現在の視点位置を用いてオブジェクトの再設定が行われる。そして、ステップＳ１６で瞬間移動後の画像が作成される。このとき、表示装置２０に表示される画像の例を図１２に示す。現在の視点位置の（Ｘ，Ｙ）座標の置き換えにより、仮想空間における視点位置は、高さを保ったまま平行移動する。このとき、表示装置２０に表示される画像は、図１１に示したような画像から図１２に示したような画像に切り替えられる。したがって、利用者から見れば、押ボタンを押した途端に、瞬間移動したように見える。ステップＳ１４においては、指示オブジェクトＲの位置の移動も行う。具体的には、現在の視点位置の（Ｘ，Ｙ）座標から床面位置の（Ｘ，Ｙ）座標までのＸ座標、Ｙ座標それぞれの移動量を算出し、その移動量だけ指示オブジェクトＲの位置の（Ｘ，Ｙ）座標を変更する処理を行う。これにより、視点位置に伴って指示オブジェクトＲも移動することになり、瞬間移動後においても違和感なく指示装置４０を扱うことが可能となる。

図１０に示した画像が表示された状態において、利用者が指示装置４０を所定の方向に向けた際、仮想空間において指示オブジェクトＲの長手方向に延ばした仮想線と、移動オブジェクトが交差したものとする。この場合、ステップＳ２３において、ＹＥＳと判定されるため、ステップＳ２４における処理を実行する。具体的には、指示オブジェクトＲの長手方向に延ばした仮想線と交わる移動オブジェクトを移動オブジェクト活性化状態に設定する。移動オブジェクトを移動オブジェクト活性化状態に設定された後は、指示装置４０のトリガーが引かれるか、押ボタン押し下げられるまでは、ステップＳ１５において、画像処理装置１０は、その移動オブジェクトを活性化状態に応じた態様で設定する。具体的には、移動オブジェクトの表面を、点灯状態を模した質感に変更し、指示オブジェクトＲから移動オブジェクトの所定の位置まで、ガイド線を設定する処理を行う。このとき、表示装置２０に表示される画像の例を図１３に示す。

図１３に示すように、指示装置４０に対応する指示オブジェクトＲが表示され、移動オブジェクトＭ１が点灯状態となり、指示オブジェクトＲの所定の位置から移動オブジェクトＭ１まで直線状のガイド線Ｇ２が表示される。指示オブジェクトＲの長手方向に延ばした仮想線と移動オブジェクトが交わっている場合、ステップＳ４、Ｓ７、Ｓ８、Ｓ１０、Ｓ１２、Ｓ１５を通る処理が繰り返し実行され、表示装置２０の位置・向き、および指示装置４０の位置・向きに応じて作成された画像が随時表示される状態が続く。この状態が続く限り、対応する移動オブジェクトが点灯し続け、ガイド線Ｇ２が表示された状態の画像が表示されることになる。指示オブジェクトＲの長手方向に延ばした仮想線と移動オブジェクトが交差しなくなった場合、ステップＳ２３においてＮＯと判定され、移動オブジェクト活性化状態を解除する処理が行われる。

図１３に示したように移動オブジェクトが点灯している状態で、利用者が指示装置４０のトリガーを引いたものとする。この場合、ステップＳ８において、ＹＥＳと判定されるため、ステップＳ９における処理を実行する。すなわち、移動オブジェクトを近接状態に設定する処理を行う。具体的には、上述のように、まず、指示オブジェクトＲの基準位置と所定の位置関係となる近接位置を求める。なお、指示オブジェクトの基準位置としては、指示オブジェクトＲ内の任意の位置を設定することができるが、なるべく中心に近い位置が好ましい。例えば、指示オブジェクトＲの長手方向、短手方向それぞれの中央に位置する点を基準位置とすることができる。ステップＳ９における処理後、ステップＳ１２においてＮＯと判定されるため、ステップＳ１５に進む。そして、ステップＳ１５では、ステップＳ９においてＲＡＭ１０ｂに記憶された、移動途中位置のうち、最初の移動途中位置（最も移動オブジェクトの定位置に近い移動途中位置）に移動オブジェクトの基準位置を移動させる処理を行う。そして、ステップＳ１６において画像が生成される。移動オブジェクトの基準位置を移動途中位置に動かした時点における画像を図１４に示す。利用者から見ると、図１４に示すように移動オブジェクトＭ１が利用者に近付いてくるように見える。

次のターンでは、ステップＳ４において近接状態と判定されるため、トリガーが戻されていなければ、固定オブジェクト活性化状態でもないため（ステップＳ１２においてＮＯ）、ステップＳ１５において、近接状態の移動オブジェクトの基準位置を次の移動途中位置に移動する。このようにして、近接状態である間は、ステップＳ４、Ｓ５、Ｓ１２、Ｓ１５を通る処理が繰り返し実行される。

移動オブジェクトＭ１の基準位置が指示オブジェクトＲの近接位置に移動した場合の画像を図１５に示す。利用者から見ると、移動オブジェクトＭ１は、図１３に示す位置から、図１４に示す位置、図１５に示す位置へと徐々に利用者に近付いてくるように見える。図１５において、移動オブジェクトＭ１、指示オブジェクトＲにそれぞれ示した「・（黒丸）」は、ぞれぞれの基準位置を示している。上述のように、近接位置と指示オブジェクトＲの基準位置は所定の位置関係となっているため、近接状態における移動オブジェクトの基準位置と指示オブジェクトの基準位置の関係も所定の位置関係となっている。移動オブジェクトの基準位置と指示オブジェクトの基準位置の距離が、移動オブジェクトの基準位置と指示オブジェクトの基準位置を結ぶ方向における移動オブジェクトの長さよりも短い場合、移動オブジェクトと指示オブジェクトＲは仮想空間内において交差することになる。この場合、画像処理装置１０は、指示オブジェクトＲを優先して画像を生成する。この結果、図１５に示したように、正面から見ると、指示オブジェクトＲが移動オブジェクトＭ１に刺さり、移動オブジェクトＭ１を貫通したような状態で表現される。移動オブジェクトが近接位置に移動を完了すると、以降は、トリガーが引かれた状態である限り近接状態となるため、移動オブジェクトは、移動オブジェクトの基準位置と指示オブジェクトＲの基準位置が所定の位置関係を保ったまま、指示オブジェクトＲの動きに追随して動くことになる。

例えば、図１５に示したように、一旦、移動オブジェクトＭ１が指示オブジェクトＲと所定の位置関係になった状態から、トリガーを引いたまま指示オブジェクトＲを回転させると、移動オブジェクトＭ１は、移動オブジェクトＭ１の基準位置が指示オブジェクトＲの基準位置と所定の位置関係を保つため、指示オブジェクトＲの基準位置を中心軸として同じ方向に回転する。このときの画像を図１６に示す。さらに、指示オブジェクトＲの先端を上に向けると、指示オブジェクトＲのｙ軸方向が仮想空間のＺ軸方向に沿う方向に向くため、移動オブジェクトＭ１も、移動オブジェクトＭ１のｙ軸方向が仮想空間のＺ軸方向に沿う方向に向くことになる。さらに、指示オブジェクトＲの先端を手前側に向けるようにすれば、移動オブジェクトＭ１も追随して動く。このときの画像を図１７に示す。図１７に示すように、指示オブジェクトＲを傾ける角度によっては、定位置への配置状態では隠れて見えなかった裏側まで見ることが可能となる。

図１６、図１７に示した画像は、近接状態のものであるが、近接状態では、ステップＳ３、Ｓ４、Ｓ５、Ｓ１２、Ｓ１５を通る処理が繰り返し実行される。そのため、ステップＳ３で取得した指示装置位置および指示装置方向と所定の位置関係となるように、ステップＳ１５において近接状態の移動オブジェクトを配置する。このような処理の後、図１６、図１７に示したような画像がステップＳ１６において生成されることになる。

近接状態において利用者が指示装置４０のトリガーを戻すと（ステップＳ５）、定位置戻し中状態に設定される（ステップＳ６）。すなわち、近接状態の最初の部分である近接位置移動状態における処理と逆の処理を行う。具体的には、上述のように、近接位置移動状態とは逆に近接位置から定位置までの軌跡を求め、その軌跡の途中において移動途中位置を求める。近接位置移動状態の場合と同様、移動途中位置は、利用者に視認させたい移動オブジェクトの移動速度に応じて設定することができ、移動途中位置の数が多い程ゆっくり移動することになる。求められた移動途中位置、定位置はＲＡＭ１０ｂに記憶される。ステップＳ６における処理後、ステップＳ１２においてＮＯと判定されるため、ステップＳ１５に進む。そして、ステップＳ１５では、ステップＳ６においてＲＡＭ１０ｂに記憶された、移動途中位置のうち、最初の移動途中位置（移動オブジェクトの定位置から最も遠い移動途中位置）に移動オブジェクトの基準位置を移動させる処理を行う。そして、ステップＳ１６において画像が生成される。図１５に示すような状態で、移動オブジェクトＭ１の基準位置を移動途中位置に移動した時点における画像を図１４に示す。利用者から見ると、図１４に示すように移動オブジェクトＭ１が利用者から遠ざかっていくように見える。例えば、図１５に示すような状態で、利用者がトリガーを戻すと、移動オブジェクトＭ１は、図１５に示す位置から、図１４に示す位置、図１３に示す位置へと徐々に定位置に戻っていくように見える。

＜２．４．第２の空間における処理＞
次に、空間移動を行う場合の表示の様子について説明する。具体的には、図１０～図１７に示したような美術館内を模した空間を第１の空間としたとき、第１の空間とは別の第２の空間に空間移動する場合を例にとって説明する。図１３に示したようなオブジェクト点灯状態においては、押ボタンが押し下げられたか否かを判定する（ステップＳ１０）。押ボタンが押し下げられた場合、空間移動処理を行う（ステップＳ１１）。これにより、第１の空間から第２の空間における処理へと移行する。第２の空間も、第１の空間と同様、ＸＹＺの三次元の座標の他、固定オブジェクト、移動オブジェクトを備えた仮想空間である。

図８は、第２の空間における処理動作を示すフローチャートである。第２の空間も仮想空間であるため、第１の空間と同様の処理が多数行われる。図８において、図６と同様の箇所については、同一符号を付して説明を省略する。第２の空間においては、視点位置は固定であり、表示装置２０の検出情報に基づいて視線方向のみを取得する。このため、ステップＳ２Ａにおいては、ステップＳ２と異なり、視線方向のみを取得する。また、図８においては、ステップＳ１２Ａ～Ｓ１４Ａの処理が図６と異なっている。ステップＳ３～Ｓ９において、移動オブジェクトが近接状態である場合についての処理を行ったら、次に、画像処理装置１０は、固定オブジェクトが固定オブジェクト活性化状態であるか否かの判定を行う（ステップＳ１２Ａ）。具体的には、ステップＳ１２と同様、固定オブジェクト活性化状態である旨の情報が記録されているか否かにより行われる。ステップＳ１２Ａにおいては、固定オブジェクト活性化状態の対象となる固定オブジェクトが第１の空間のように床面を模したものでなく、壁面に設置されたものである点で異なっている。

ステップＳ１２Ａにおいて、固定オブジェクト活性化状態であると判定された場合には、指示装置４０の押ボタンが押し下げられているか否かを判定する（ステップＳ１３Ａ）。具体的には、ステップＳ１３と同様、指示装置４０から受信した情報に基づき、押ボタンが押し下げられたか否かを判定する。ステップＳ１３Ａにおいて押ボタンが押し下げられたと判定されたら、活性化状態である固定オブジェクトに対応する処理が行われる（ステップＳ１４Ａ）。固定オブジェクトに対応する処理が設定されていない場合には、ステップＳ１４Ａにおいては何も行われない。対応する処理として、例えば、第２の空間における対象物の購入手続である場合は、購入画面に切り替えが行われる。このときの購入画面は、三次元の仮想空間として表現したものでなく、平面的な画面を表示するようにしてもよい。コンピュータを用いて、購入画面において商品を購入する手続は、既に広く一般に行われているものであるので、詳細な説明は省略する。

ステップＳ２Ａ～ステップＳ１６の処理と並行して、指示装置４０の位置や動きに基づいて、オブジェクトの状態を変更する処理が行われる。次に、図９のフローチャートを用いて指示装置４０の位置や動きに基づいて、オブジェクトの状態を変更する処理について説明する。まず、ステップＳ３において取得された指示装置位置および指示装置方向に基づいて、指示オブジェクトの長手方向である指示装置方向を延長した仮想線がオブジェクトと交差するか否かを判定する（ステップＳ２５）。ステップＳ２３の場合と同様、この仮想線は、空間上に実際に表現されるものではなく、指示オブジェクトが指し示す方向にオブジェクトが存在するか否かを判定するために求められる仮想の線である。

指示オブジェクトの仮想線がオブジェクトと交差すると判定された場合、対応するオブジェクトをオブジェクト活性化状態に変更する（ステップＳ２６）。第２の空間におけるオブジェクト活性化状態は、固定オブジェクト、移動オブジェクトで共通である。第２の空間における固定オブジェクト活性化状態では、第１の空間における固定オブジェクト活性化状態とは、態様が若干異なっている。具体的には、第１の空間ではガイド線Ｇ１を曲線で示したが、第２の空間では、第１の空間における移動オブジェクトの場合と同様、ガイド線Ｇ２を直線としている。また、ステップＳ２６においては、オブジェクト活性化状態に変更した際、対応するオブジェクトの正面を向くように、視線方向を変更する処理も行う。移動オブジェクトがオブジェクト活性化状態と設定された場合は移動オブジェクト活性化状態、固定オブジェクトがオブジェクト活性化状態と設定された場合は固定オブジェクト活性化状態として、図８に示した処理がそれぞれ行われることになる。オブジェクト活性化状態は、次のターンでステップＳ２５において仮想線がオブジェクトと交差しないと判定された場合、またはステップＳ１３Ａにおいて、押ボタンの押し下げがなされたと判定された場合に解除される。

なお、ステップＳ１１における空間移動処理により、事前に設定された空間に移動することになるが、本実施形態では２つの空間のみを用いているので、空間移動して第１の空間に戻ることになる。もちろん、３つ以上の仮想空間を用意しておき、任意の空間に移動するように設定しておくことも可能である。

＜２．５．第２の空間における表示の様子＞
図１８は、第２の空間において表示装置２０に表示される画像を示す図である。第２の空間は、第１の空間において移動オブジェクト活性化状態であった移動オブジェクトを中心とした空間である。第１の空間は、美術館の室内を模した空間であるため、図１０に示したように、複数の移動オブジェクトが配置されている。これに対して、第２の空間は、中央の壁に１つの移動オブジェクトが配置され、中央の壁の左右に斜めの壁が配置された空間となっている。図１８の例では、左側の壁には、移動オブジェクトＭ１に対応する解説を模した固定オブジェクトＦ２が配置されている。例えば、移動オブジェクトが絵画を模したものである場合、絵画の説明や、絵画の作者の説明等が解説されている。右側の壁には、選択可能な複数のパネルを模した固定オブジェクトＦ１１～Ｆ１９が配置されている。図１８の例では、３×３の９個のパネルが配置されており、指示装置４０の操作によりいずれかのパネルを模した固定オブジェクトが選択可能となっている。パネルを模した固定オブジェクトの表面には、それぞれ機能が提示されており、例えば、「購入」と提示されたパネルも用意されている。

図１８に示した状態で、指示オブジェクトの長手方向である指示装置方向を延長した仮想線が固定オブジェクトと交差する場合（ステップＳ２５）、固定オブジェクト活性化状態に設定される（ステップＳ２６）。この際、その固定オブジェクトの正面を向くように視線方向も変更される。図１８の例では、指示オブジェクトＲを左側の壁の方に向けて、仮想線が解説を模した固定オブジェクトＦ２と交差すると、左側の壁が正面に位置するように視線方向を移動し、解説を正面で読むことが可能となる。また、図１８の例で、指示オブジェクトＲを右側の壁の方に向けて、仮想線がパネルを模した固定オブジェクトと交差したとする。すると、ステップＳ２６において、固定オブジェクト活性化状態に設定され、右側の壁が正面に位置するように視線方向を移動し、パネルを正面から視認することが可能となる。図１９は、パネルを正面から視認した状態の画像を示す図である。図１９に示すように、指示装置４０に対応する指示オブジェクトＲが表示され、固定オブジェクトＦ１１が点灯状態となり、指示オブジェクトＲの所定の位置から固定オブジェクトＦ１１まで直線状のガイド線Ｇ２が表示される。この状態で、押ボタンの押し下げが行われると、ステップＳ１３Ａにおいて、押ボタンの押し下げがなされたと判定され、そのパネルを模した固定オブジェクトに対応した処理がなされる。

パネルを模した固定オブジェクトＦ１１が購入に関するものである場合、購入決定画面である別画面（図示省略）が表示され、第２の空間の対象である移動オブジェクトに対応する商品名、金額等、購入に必要な情報が表示される。購入決定画面には固定オブジェクトである購入ボタンが表示されており、利用者が指示装置４０を動かして、指示オブジェクトＲからの仮想線が購入ボタンを模した固定オブジェクトと交差すると、指示オブジェクトＲから購入ボタンを模した固定オブジェクトまでの直線状のガイド線Ｇ２が表示される。この状態でトリガーが引かれると、購入ボタンを模した固定オブジェクトに設定されている手続が実行される。

パネルを模した固定オブジェクトＦ１１が購入に関するものである場合、別画面（図示省略）が表示され、第２の空間の対象である移動オブジェクトに対応する商品名、金額等、購入に必要な情報が表示される。利用者は、金額等に納得して購入を決める場合、指示装置４０の押ボタンの押し下げを行う。すると、画像処理装置１０は、第２の空間において配置されている移動オブジェクトのオブジェクトＩＤの購入指示がなされた旨の情報と、ＶＲ利用開始時に入力された利用者ＩＤを対応付けて、商品管理サーバに送信する。商品管理サーバでは、受信したオブジェクトＩＤで商品データベースを検索し、対応する商品ＩＤが存在することが確認できたら、利用者ＩＤを用いて、利用者データベースを検索し、利用者のクレジットカード番号を取得する。そして、クレジットカード番号を決済サーバに送信して照会を行い、代金決済を行う。代金決済が行われた後、商品管理サーバは、デジタルデータであるコンテンツと、決済がなされたことを示す決済済み情報を送付先として登録された端末装置に送信する。例えば、送付先の端末装置として利用者のスマートフォンが用いられる場合、利用者のスマートフォンには、決済済み情報が送信され、利用者は決済が正しく行われたことを確認することができる。また、利用者のスマートフォンには、購入したコンテンツも送信され、スマートフォン内にコンテンツを格納することができる。例えば、コンテンツが絵画のデジタルデータである場合には、そのコンテンツを利用者のスマートフォンの待ち受け画面などに利用することができる。

利用者情報が事前に商品管理サーバに登録されておらず、開始時に画像処理装置に利用者ＩＤが入力されていない場合でも、商品の購入を行うことはできる。例えば、パネルを模した固定オブジェクトＦ１１が購入に関するものである場合、第２の空間の対象である移動オブジェクトに対応する商品名、金額等、購入に必要な情報が表示された別画面に対して、氏名、住所、連絡先、クレジットカード番号等、商品の購入に必要な情報を入力し、購入決定の指示を行うことができる。すると、画像処理装置１０は、商品の購入手続処理を実行し、接続されたバーコードプリンタから、必要な情報がコード化されたバーコードシートを出力する。このバーコードシートをレジカウンターに持ち込み、処理を行うことで展示物を模した移動オブジェクトに対応する商品の購入が完了する。例えば、移動オブジェクトが額縁に入れた絵画であった場合、利用者は、その絵画を二次元のカラー画像として表現したデータを含むコンテンツが所定の記録媒体に格納されたものとして取得することができる。

購入の態様については、他にも様々な態様で提供することができる。例えば、画像処理装置１０に二次元コードを印刷するプリンタに接続しておき、オブジェクト名（商品名）、購入価格（販売価格）等、購入に必要な情報のうち、全部もしくは一部を二次元コードにコード化して、紙媒体等にシート出力する。この場合、画像処理装置１０の一部が販売装置として機能することになる。例えば、物理的に１つのコンピュータである画像処理装置１０の一部が純粋な画像処理装置と販売装置に分けられ、指示装置４０により指示されたオブジェクトに対する購入指示を画像処理装置から受け取り、指示されたオブジェクトに対応する品物の販売処理を行う販売装置が行う。そして、この紙媒体に記録された二次元コードをスマートフォン等の携帯型端末で読み取る。携帯型端末で読み取られた二次元コードは、購入情報に変換された後、携帯型端末からネットワークを介して所定の商品管理サーバに送信される。そして、商品管理サーバは、商品の送信と、代金の決済を行う。二次元コードとしては、例えばＱＲコード（登録商標）を用いることができる。

また、図１８に示したような、第２空間において中央の壁に配置された移動オブジェクトには、所定の位置に二次元コードが形成されるようにしておいてもよい。この場合、二次元コードには、商品名、金額等、購入に必要な情報のうち、全部もしくは一部が記録されている。生成された二次元コードは画像処理装置１０により、表示装置２０の表示部２０ｃ、２０ｄに表示させる画像の一部となる。画像処理装置１０は、表示部１０ｆに表示させるための画像として、右目用と左目用の画像から左右の視界からの差分を除去した両目用の画像を作成することもできる。これにより、表示装置２０を装着してＶＲ体験をしている利用者以外にも、体験者が見ているのと同等な画像を見ることができる。したがって、移動オブジェクトに対応する二次元コードは、画像処理装置１０の表示部１０ｆでも見ることができるため、ＶＲの利用者の知人が、この二次元コードをスマートフォン等の携帯型端末で読み込むことにより、表示されている商品の購入手続を行うことができる。

第２の空間においても、ステップＳ４～Ｓ９の処理は、第１の空間と同様であり、移動オブジェクトを近接状態とすることが可能となる。したがって、利用者は、図１３～図１７に示した場合と同様にして移動オブジェクトを観察し、直前に移動オブジェクトの詳細を再確認した上で、購入手続を行うことができる。

本実施形態に係る販売システムは、パソコンや装着型の表示装置といったコンパクトな構成で実現できるため、ミュージアムショップ、書店、グッズ販売店、空港ラウンジ、病院待合室、企業の受付等の一部スペースに設置することができる。従来、顧客が絵画の複製画を購入したいと考えたとしても、書店に足を運んでまで購入する動きは多くない。また、現実の美術館等で絵画展が行われる絵画展では、絵画の複製画を購入したいという要望は生まれるが、運営者側で絵画展を行うためのコストが大きい。本実施形態に係る販売システムでは、多くの人が訪れる場所の一部に設置することにより、来訪者が気軽にＶＲを体感して、展示物の内容を確認できる。そのため、気に入った複製画を気軽に購入することができるようになる。

仮想空間に配置される移動オブジェクトや壁・床等を構成する固定オブジェクト、は、データ入出力Ｉ／Ｆ１０ｅを介して、記憶装置１０ｃに記憶させることで、随時追加・入れ替え等が可能となる。そのため、仮想空間として実現する内容を用意に変更することができ、異なる絵画展を行う場合でも、低コストで実施することが可能となる。

以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、表示装置２０の位置、向きの検出、指示装置４０の位置、向きの検出を２つの赤外線センサ３０ａ、３０ｂにより行うようにしたが、これに限定されず、公知の様々な技術を適用することができる。例えば、表示装置２０の位置、向きの検出を、表示装置２０に設置したカメラで撮像した画像を解析して行うようにしてもよい。また、表示装置２０の位置の検出については、表示装置２０が赤外線受信部を備え、赤外線センサ３０ａ、３０ｂの代わりに、赤外線発信部を設けることにより、行うようにしても良い。

また、上記実施形態では、商品として、オブジェクトにより表現された展示物を表したデジタルデータ等のコンテンツを採用した例を示したが、商品としては、オブジェクトにより表現された展示物に関連する実体のある物体等であってもよく、商品の態様は限定されない。

１０・・・画像処理装置
２０・・・表示装置
３０ａ、３０ｂ・・・赤外線センサ
４０・・・指示装置

Claims (7)

1. ３次元で表現されたオブジェクトが配置された仮想空間の表示を利用して商品の販売を行う販売システムであって、
   仮想空間におけるオブジェクトに指示を与える指示装置と、前記指示装置の傾きと動きを検知する第１の検知手段と、
   画像を表示する表示部を備えた装着型の表示装置と、前記表示装置の傾きと動きを検知する第２の検知手段と、
   仮想空間を決定する仮想空間データとして、仮想空間において固定されて動かない固定オブジェクトを定義するデータと、仮想空間で展示する展示物に対応する移動オブジェクトを定義するデータと、前記指示装置を模した指示オブジェクトを定義するデータを記憶する第１の記憶手段と、
   仮想空間を表示する処理として、前記第２の検知手段から取得した傾きと動きに従う前記表示装置の視点位置と視線方向から，複数の展示物を展示する建屋内部を模した前記固定オブジェクトに複数の前記移動オブジェクトを配置した第１の空間を見た画像と、前記第１の検知手段から取得した傾きと動きに伴う前記指示装置の位置と方向を用いて作成した前記指示オブジェクトを前記表示部に出力する処理と、前記第２の検知手段が取得した傾きと動きに伴う前記表示装置の視線方向から，前記移動オブジェクトを個別に展示する部屋を模した前記固定オブジェクトの中央に前記指示装置により前記第１の空間で指示された前記移動オブジェクトを配置した第２の空間を見た画像と，前記第１の検知手段から取得した傾きと動きに伴う前記指示装置の位置と方向を用いて作成した前記指示オブジェクトを前記表示部に出力する処理をそれぞれ実行する画像生成手段と、
   を備えた画像処理装置と、
   前記移動オブジェクトと現実の品物および販売価格との対応関係記憶する第２の記憶手段と、前記第２の空間において前記指示装置により指示された前記移動オブジェクトに対する購入指示を前記画像処理装置から受け取り、前記指示された移動オブジェクトに対応する品物の販売処理を行う販売装置と、
   を備えることを特徴とする販売システム。
2. 前記販売処理は、前記指示されたオブジェクト名と購入価格とを出力することを特徴とする請求項１に記載の販売システム。
3. 前記販売処理は、前記指示されたオブジェクト名と購入価格とをコード化し紙媒体に出力することを特徴とする請求項２に記載の販売システム。
4. 前記画像処理装置は、利用者を特定する識別情報である利用者ＩＤを取得する手段を更に有し、
   前記第２の記憶手段は、利用者ＩＤと前記利用者のクレジットカード情報とを記憶し、
   前記販売処理は、購入指示と利用者ＩＤとを受け取り、前記クレジットカード情報を用いて代金決済を行うことを特徴とする請求項１に記載の販売システム。
5. 前記画像処理装置は、前記指示装置により指示された前記オブジェクトを前記視点位置に応じた位置へと移動し、前記指示装置の動きに応じて移動及び回転させることを特徴とする請求項１から請求項４のいずれか一項に記載の販売システム。
6. 前記画像処理装置は、前記指示装置により指示された前記オブジェクトを移動オブジェクトとして前記視点位置に応じた位置へと移動し、前記指示装置の動きに応じて移動及び回転させる際、前記指示オブジェクトと所定の位置関係を保った状態で行うものであり、
   前記所定の位置関係は、前記指示オブジェクト、前記移動オブジェクト内にそれぞれ基準位置を定め、前記指示オブジェクトの基準位置と前記移動オブジェクトの基準位置が所定の距離であり、前記指示オブジェクトの基準位置と前記移動オブジェクトの基準位置を結ぶ方向が、前記指示オブジェクトにおける所定の方向と平行である位置関係であることを特徴とする請求項５に記載の販売システム。
7. 前記移動オブジェクトは、前記指示オブジェクトの所定の向きに延びる仮想線が前記移動オブジェクトと交差する場合に、前記指示装置に対して所定の操作を行うことにより特定されるものであることを特徴とする請求項６に記載の販売システム。

Images