JP6719776B2 - 仮想現実システム - Google Patents

Description

本発明は、仮想現実システムに関する。

近年、仮想現実（Virtual reality：以下、ＶＲとする）に関するシステムの開発が盛んに行われている。一般的には、ユーザがＶＲのコンテンツを体験する際、ユーザは頭部にゴーグル形状の装置（以下、ＶＲヘッドセットとする）を装着する。ＶＲヘッドセットには、左右それぞれの眼に対応した２つのディスプレイが備えられ、それぞれのディスプレイには、映像を見たユーザが奥行き感（又は飛び出し感）を得るための視差のある映像が表示される。

また、ＶＲヘッドセットは位置センサ、加速度センサ、ジャイロセンサなどを搭載し、ユーザの頭の位置又は向きが変化する毎に、あたかもユーザの頭の位置又は向きが変化した方向にユーザの視界が移動したかのように、２つのディスプレイに表示する映像を変化させる。これにより、ユーザは、ＶＲにおいて実際に自分の頭を動かしているような感覚を得ることができる。

特開２０１６−５０６５３０号公報 特開２０１５−１１８５５６号公報 特開２０１５−２３０２３６号公報

通常、ＶＲヘッドセットを用いてＶＲを体験するユーザは、例えばＶＲ中で提供される有料コンテンツの購入等のために決済処理が必要になると、ＶＲヘッドセットを外し、決済のための操作をする必要がある。決済のための操作は、例えばクレジットカードなどのカード番号の入力、暗証番号の入力、個人情報の入力などである。しかしながら、決済の度にＶＲヘッドセットを頭部から取り外し、決済後に再度頭部へ装着することはユーザにとって煩わしく、さらにＶＲヘッドセットの取り外しによりＶＲを体験するユーザの没入感が損なわれる。

また、ＶＲヘッドセットが利用されるゲームなどでは、１つのＶＲヘッドセット及びＶＲマシンが例えば家族などの複数人によって共用されることが考えられ、この場合に決済の安全性が確保されることが望まれる。

本発明は上記事情を考慮してなされたものであり、ＶＲヘッドセットを用いるユーザに対して決済を容易にするとともに、決済の安全性を確保するＶＲシステムを提供する。

本発明の一態様に係る仮想現実システムは、仮想現実コンテンツを生成する情報処理装置と、ユーザに装着され、前記情報処理装置から受信した前記仮想現実コンテンツを前記ユーザに表示する仮想現実ヘッドセットと、前記ユーザの生体データを取得する生体データ取得装置と、前記生体データ取得装置の位置を示す位置情報と、前記生体データ取得装置の方向を示す方向情報とを生成し、前記位置情報と前記方向情報とを前記情報処理装置へ送信するセンサと、を具備する。前記情報処理装置は、決済指示を受信した場合に、前記センサから受信した前記位置情報及び前記方向情報に基づいて、前記生体データ取得装置の前記位置及び前記方向を前記仮想現実ヘッドセットを装着している前記ユーザに認識させる第１の画像を、前記仮想現実コンテンツに付加するコンテンツ生成部を具備する。

本発明によれば、ＶＲヘッドセットを用いるユーザに対して決済を容易にするとともに決済の安全性を確保することができる。

図１は、第１の実施形態に係るＶＲシステムの構成の一例を示すブロック図である。 図２は、第１の実施形態に係るＶＲ処理装置の構成の一例を示すブロック図である。 図３は、第１の実施形態に係るＶＲヘッドセットの構成の一例を示すブロック図である。 図４は、第１の実施形態に係るコントローラの構成の一例を示すブロック図である。 図５は、第１の実施形態に係るセンサ装置の構成の一例を示すブロック図である。 図６は、第１の実施形態に係るサーバ装置の構成の一例を示すブロック図である。 図７は、第１の実施形態に係る携帯端末の構成の一例を示すブロック図である。 図８は、第１の実施形態に係るＶＲシステムを用いた決済処理を例示するフローチャートである。 図９は、第１の実施形態に係る生体データ照合処理を例示するフローチャートである。 図１０は、第１の実施形態に係る生体データ登録処理を例示するフローチャートである。 図１１は、第１の実施形態に係る生体データ登録時又は生体データ取得時のＶＲ画面表示の第１の例を示す図である。 図１２は、第１の実施形態に係る生体データ登録時又は生体データ取得時のＶＲ画面表示の第２の例を示す図である。 図１３は、第１の実施形態に係る生体データ選択時のＶＲ画面表示を例示する図である。 図１４は、第１の実施形態に係るコンテンツ共有中のＶＲ画面表示を例示する図である。 図１５は、第２の実施形態に係るキャラクター表示時のＶＲ画面表示を例示する図である。 図１６は、第２の実施形態に係る属性決定処理を例示するフローチャートである。 図１７は、第３の実施形態に係る自動診断システムの構成を例示するブロック図である。 図１８は、第３の実施形態に係る自動診断システムの処理を例示するフローチャートである。 図１９は、第３の実施形態に係る自動診断システムにおける画面表示の第１の例を示す図である。 図２０は、第３の実施形態に係る自動診断システムにおける画面表示の第２の例を示す図である。

以下、本発明の実施形態を、図面を参照して説明する。なお、以下の説明において、略又は実質的に同一の機能及び構成要素については、同一符号を付し、必要な場合にのみ説明を行う。

[第１の実施形態]
本実施形態においては、ＶＲシステムに含まれる生体データ取得装置の位置及び方向を検出し、決済時に、ＶＲヘッドセットを装着しているユーザが生体データ取得装置の位置及び方向を認識可能な画像をＶＲヘッドセットのディスプレイに表示し、これによりユーザがＶＲヘッドセットを装着したままで生体データを入力可能とするＶＲシステムについて説明する。

本実施形態において、生体データ取得装置の方向とは、生体データ取得装置が高感度・高精度に生体データを取得可能な方向、換言すれば生体データ取得装置がセンシングをする方向としてもよい。

本実施形態において、識別情報はＩＤと称する。

本実施形態において、生体データは、例えば指紋データ、静脈データ、動脈データ、掌形データ、網膜データ、虹彩データ、顔データ、血管データ、音声データ、声紋データ、耳型データ、又は、その他のデータであってもよい。

本実施形態において、生体データ取得装置は、上記の生体データを取得するための例えば、生体センサ、カメラ、マイクなどとしてもよい。

本実施形態においては、ユーザが行う決済はカード決済である場合について説明する。カードの種類は、例えばクレジットカード、デビットカード、プリペイドカード、電子マネーカード、ポイントカード、キャッシュカード、又は、その他の電子決済を行うためのカードであってもよい。しかしながら、本実施形態は、決済に用いられる媒体又はプロダクトがカードでない場合にも同様に適用可能である。本実施形態における決済は、仮想通貨による決済としてもよい。

本実施形態において、コンテンツとは、例えば、画像データ、映像データ、プログラムとデータとのうちの少なくとも一方を含むソフトウェア、音データなどを含む。コンテンツは、例えば、ゲームプログラムなどでもよい。

図１は、本実施形態に係るＶＲシステム１の構成の一例を示すブロック図である。

ＶＲシステム１は、ＶＲ処理装置２、人体装着用装置ＨＤ、センサ装置５、サーバ装置６，１２を含む。人体装着用装置ＨＤは、ＶＲヘッドセット３とコントローラ４とを含む。ＶＲヘッドセット３、及び、コントローラ４は、ユーザＵが装着又は直接持って操作する装置である。ＶＲヘッドセット３、及び、コントローラ４により、ＶＲシステム１を制御可能である。また、ＶＲシステム１は、ユーザＵの携帯端末７を含んでいてもよく、ユーザＵではない他のユーザＶの携帯端末８を含んでいてもよい。携帯端末７，８とＶＲ処理装置２とは、例えばネットワークＮ経由で通信可能としてもよく、ネットワークＮを経由することなく通信可能としてもよい。より具体的には、携帯端末７，８とＶＲ処理装置２とは、例えば、電話回線又はインターネット経由で通信可能でもよい。携帯端末７，８とＶＲ処理装置２とは、例えば、無線ＬＡＮ通信により通信可能でもよく、近距離無線通信により通信可能でもよく、赤外線通信により通信可能でもよい。

ＶＲヘッドセット３は、ユーザＵが頭部に装着する装置である。ＶＲヘッドセット３はディスプレイを備えており、ディスプレイはＶＲ処理装置２により生成されたＶＲコンテンツを表示する。ユーザＵは、当該ディスプレイに表示されたＶＲコンテンツを視認することにより、ＶＲを体験可能である。

ＶＲヘッドセット３は、例えば、生体データ取得装置３３とセンサ部３２とを含む。

生体データ取得装置３３は、例えば、ユーザＵと接触して、又は、非接触で、ユーザＵの生体データを取得する。より具体的には、生体データ取得装置３３は、例えば、指紋データ、静脈データ、動脈データ、掌形データ、網膜データ、虹彩データ、又は、声紋データに対応する生体センサを含む。

センサ部３２は、ＶＲヘッドセット３の位置を示す位置情報と、ＶＲヘッドセット３の方向を示す方向情報を生成し、ＶＲヘッドセット３の位置情報と方向情報とをＶＲ処理装置２へ送信する。加えて、センサ部３２は、生体データ取得装置３３に対応しており、生体データ取得装置３３の位置を示す位置情報と、生体データ取得装置３３の方向を示す方向情報とを生成し、生体データ取得装置３３の位置情報と方向情報とをＶＲ処理装置２へ送信するとしてもよい。

コントローラ４は、ユーザＵがＶＲシステム１を操作するための装置であり、ユーザＵからの指示を受け付ける。コントローラ４は、ユーザＵの左右それぞれの手に持って操作されてもよく、左右それぞれの足、又はその他の体の部位のいずれかに装着されてもよい。以下では、ＶＲシステム１に含まれるコントローラ４は２台とし、それぞれのコントローラ４は、ユーザＵの左右それぞれの手に持って操作されるとする。

コントローラ４は、生体データ取得装置４３とセンサ部４２とを含む。

生体データ取得装置４３は、例えば、ユーザＵと接触して、又は、非接触で、ユーザＵの生体データを取得する。より具体的には、生体データ取得装置４３は、例えば、指紋データ、静脈データ、動脈データ、掌形データ、又は、声紋データに対応する生体センサを含む。

センサ部４２は、コントローラ４の位置を示す位置情報と、コントローラ４の方向を示す方向情報を生成し、コントローラ４の位置情報と方向情報とをＶＲ処理装置２へ送信する。加えて、センサ部４２は、生体データ取得装置４３に対応しており、生体データ取得装置４３の位置を示す位置情報と、生体データ取得装置４３の方向を示す方向情報とを生成し、生体データ取得装置４３の位置情報と方向情報とをＶＲ処理装置２へ送信する。

センサ装置５は、ユーザＵが体験するＶＲの構築を補助する装置である。具体的には、例えばセンサ装置５がＶＲ処理装置２に複数台接続されている場合に、ＶＲ処理装置２はＶＲヘッドセット３の備えるディスプレイ上にセンサ装置５の位置を表示することにより、ユーザＵがＶＲヘッドセット３を装着して移動可能な範囲を示してもよい。また、例えばＶＲ処理装置２は、複数台のセンサ装置５に備えられるセンサを用いて、ユーザＵの動き、姿勢、体の特定の部位の位置などを測定してもよい。また、例えばセンサ装置５は、ユーザＵが近づいた時に音を発することで、ユーザＵに臨場感を与えてもよい。以下では、ＶＲシステム１に含まれるセンサ装置５は４台とする。

センサ装置５は、生体データ取得装置５３とセンサ部５２とを含む。

生体データ取得装置５３は、例えば、ユーザＵと非接触で、ユーザＵの生体データを取得する。より具体的には、生体データ取得装置５３は、例えば、声紋データに対応する生体センサ、カメラを含む。

センサ部５２は、センサ装置５の位置を示す位置情報と、センサ装置５の方向を示す方向情報を生成し、センサ装置５の位置情報と方向情報とをＶＲ処理装置２へ送信する。加えて、センサ部５２は、生体データ取得装置５３に対応しており、生体データ取得装置５３の位置を示す位置情報と、生体データ取得装置５３の方向を示す方向情報とを生成し、生体データ取得装置５３の位置情報と方向情報とをＶＲ処理装置２へ送信する。

携帯端末７は、ＶＲ処理装置２と通信可能である。携帯端末７は、例えば、スマートフォンなどのような携帯電話、タブレット端末などであってもよい。

携帯端末７は、コントローラ４の代わりに用いられてもよい。すなわち、ユーザＵは携帯端末７を用いてＶＲシステム１を操作可能であるとしてもよい。携帯端末７は、例えば、生体データ取得装置７３とセンサ部７２とを含み、センサ装置５と同様に、ユーザＵの生体データを入力するために利用されてもよい。

生体データ取得装置７３は、例えば、ユーザＵと接触して、又は、非接触で、ユーザＵの生体データを取得する。より具体的には、生体データ取得装置４３は、例えば、指紋データ、静脈データ、動脈データ、掌形データ、又は、声紋データに対応する生体センサを含む。

センサ部７２は、携帯端末７の位置を示す位置情報と、携帯端末７の方向を示す方向情報を生成し、携帯端末７の位置情報と方向情報とをＶＲ処理装置２へ送信する。加えて、センサ部７２は、生体データ取得装置７３に対応しており、生体データ取得装置７３の位置を示す位置情報と、生体データ取得装置７３の方向を示す方向情報とを生成し、生体データ取得装置７３の位置情報と方向情報とをＶＲ処理装置２へ送信する。

ＶＲ処理装置２は、ＶＲシステム１全体の制御、又は、制御に必要な演算を行う。ＶＲ処理装置２は、ＶＲヘッドセット３、少なくとも１台以上のコントローラ４、少なくとも１台以上のセンサ装置５と有線又は無線で通信可能である。

ＶＲ処理装置２は、コントローラ４から受信した指示に応じて、ＶＲコンテンツを生成する。ＶＲ処理装置２は、例えば、生体データ取得装置２５、センサ部２６、コンテンツ生成部２２２、コンテンツ送信部２２３、生体データ送信部２２４、コンテンツ共有部２２５を含む。

生体データ取得装置２５は、例えば、ユーザＵと接触して、又は、非接触で、ユーザＵの生体データを取得する。より具体的には、生体データ取得装置２５は、例えば、指紋データ、静脈データ、動脈データ、掌形データ、又は、声紋データに対応する生体センサを含む。

センサ部２６は、生体データ取得装置２５に対応しており、生体データ取得装置２５の位置を示す位置情報と、生体データ取得装置２５の方向を示す方向情報とを生成する。加えて、センサ部２６は、例えばＶＲヘッドセット３に装着されているライトの光を検出するなどにより、ＶＲヘッドセット３の位置を示す位置情報と、ＶＲヘッドセット３の方向を示す方向情報を生成するとしてもよい。

コンテンツ生成部２２２は、コントローラ４から決済指示を受信した場合に、センサ部２６，３２，４２，５２，７２から受信した生体データ取得装置２５，３３，４３，５３，７３の位置情報及び方向情報と、センサ部２６，３２，５２から受信したユーザＵの位置情報及び方向情報とに基づいて、生体データ取得装置２５，３３，４３，５３，７３の位置及び方向をＶＲヘッドセット３を装着しているユーザＵに認識させるとともに、生体データ取得装置２５，３３，４３，５３，７３による生体データ入力をＶＲヘッドセット３を装着しているユーザＵに促す画像を、ＶＲコンテンツに付加する。

コンテンツ送信部２２３は、ＶＲコンテンツをＶＲヘッドセット３へ送信する。

生体データ送信部２２４は、生体データ入力をユーザＵに促す画像を含むＶＲコンテンツがＶＲヘッドセット３によって表示された後に、生体データ取得装置２５，３３，４３，５３，７３のいずれかからユーザＵの生体データＤ１を受信し、生体データＤ１をサーバ装置６へ送信する。

コンテンツ共有部２２５は、ＶＲヘッドセットの表示部３７に表示されているＶＲコンテンツを、ユーザＵではない他のユーザＶによって操作される携帯端末８にも表示可能とする。すなわち、コンテンツ共有部２２５は、ＶＲ処理装置２と通信可能な携帯端末８の認証を行い、携帯端末８に対する認証が成功した場合に、ＶＲ処理装置２と携帯端末８との通信を許可し、ＶＲコンテンツを携帯端末８に対応するコンテンツに変換し、変換したコンテンツを携帯端末８へ送信する。例えば、ユーザＶは、ユーザＵの友人又は家族などである。例えば、携帯端末８へ送信されるコンテンツは、ＶＲコンテンツをＶＲに対応しないコンテンツへ変換したコンテンツでもよく、ＶＲコンテンツを携帯端末８のブラウザに適合したコンテンツへ変換したコンテンツでもよい。

携帯端末８は、表示部７５を備えており、コンテンツ共有部２２５から受信したコンテンツを表示する。

サーバ装置６は、ＶＲ処理装置２とネットワークＮ経由で通信可能に接続されている。サーバ装置６は、データベースＤＢを参照可能である。データベースＤＢは、ユーザＵの登録済みの生体データＤ２を記憶する。

サーバ装置６は、生体認証部６２を含む。生体認証部６２は、ＶＲ処理装置２からネットワークＮ経由で受信した生体データＤ１とデータベースＤＢに記憶されている登録済み生体データＤ２とを照合する。サーバ装置６は、照合成功の場合に、ネットワークＮ経由でサーバ装置１２へ決済を許可する旨を示す決済許可通知を送信する。

サーバ装置１２は、ＶＲ処理装置２及びサーバ装置６とネットワーク経由で通信可能に接続されている。このサーバ装置１２は、サーバ装置６と一体であってもよい。サーバ装置１２は、決済処理部１２１を含む。決済処理部１２１は、サーバ装置６からネットワークＮ経由で決済許可通知を受信した場合に、ＶＲ処理装置２からネットワークＮ経由で受信した決済指示に応じてユーザＵに対する決済処理を実行する。

本実施形態において、サーバ装置１２は、例えば、アクワイアラ（カード決済会社）のサーバ装置、イシュア（カード発行会社）、又は、カードブランドのサーバ装置である。

なお、本実施形態において、コンテンツ生成部２２２は、コンテンツ共有部２２５がコンテンツを携帯端末８へ送信している場合に、コンテンツが共有されていることを示す画像又は文字をＶＲコンテンツに付加する。コンテンツ送信部２２３は、コンテンツを共有していることを示す画像又は文字を含むＶＲコンテンツをＶＲヘッドセット３へ送信する。これにより、ＶＲヘッドセット３を装着しているユーザＵは、ユーザＶがコンテンツを共有していることを認識することができる。

また、コンテンツ生成部２２２は、いずれかの生体データ取得装置の位置情報とＶＲヘッドセット３の位置情報との差分と、いずれかの生体データ取得装置の方向情報とＶＲヘッドセット３の方向情報との差分とに基づいて、ユーザＵをいずれかの生体データ取得装置まで誘導する画像をＶＲコンテンツに付加してもよい。

さらに、コンテンツ生成部２２２は、いずれかの生体データ取得装置によって取得された生体データＤ１に基づいて、ユーザＵに対応するキャラクターの属性を決定し、属性に応じてＶＲコンテンツを生成してもよい。コンテンツ生成部２２２は、データベースＤＢに記憶されている生体データＤ２をサーバ装置６及びネットワークＮ経由で受信し、受信した生体データＤ２に基づいて、ユーザＵに対応するキャラクターの属性を決定し、属性に応じてＶＲコンテンツを生成してもよい。

図２は、本実施形態に係るＶＲ処理装置２の構成の一例を示すブロック図である。

ＶＲ処理装置２は、接続部２１、プロセッサ２２、記憶部２３、通信部２４、生体データ取得装置２５、センサ部２６を含む。ＶＲ処理装置２は、生体データ取得装置２５を含まなくてもよい。上述の各処理部は、内部バスＩＢにより相互に通信可能である。

なお、図１で説明済の処理部についての説明は省略する。

接続部２１は、ＶＲ処理装置２と、ＶＲヘッドセット３、コントローラ４、センサ装置５とを接続する。

プロセッサ２２は、ＶＲシステム１の演算処理を行う。プロセッサ２２は、制御部２２１、コンテンツ生成部２２２、コンテンツ送信部２２３、生体データ送信部２２４、コンテンツ共有部２２５、を含む。

プロセッサ２２は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、又は、ＤＳＰ（Digital Signal Processor）などであってもよい。

制御部２２１はＶＲシステム１全体の制御を行う。制御部２２１は、接続部２１を経由して、ＶＲヘッドセット３、コントローラ４、及びセンサ装置５との間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。

コンテンツ生成部２２２は、ＶＲヘッドセット３の備えるディスプレイに表示するＶＲコンテンツを生成する。コンテンツ生成部２２２により生成されたＶＲコンテンツは、コンテンツ送信部２２３により、接続部２１を経由してＶＲヘッドセット３に送信される。また、ＶＲコンテンツは、通信部２４を経由して、例えば携帯端末７，８などの外部装置に送信されてもよい。

記憶部２３は、例えば、主記憶装置として用いられてもよい。記憶部２３は、プロセッサ２２からの制御に従う。記憶部２３には、プロセッサ２２の制御に基づいて、プロセッサ２２により処理されるデータなどが一時的に格納される。

記憶部２３は、例えば、不揮発性記憶領域に、プログラム２３１を格納する。プロセッサ２２は、プログラム２３１を実行することにより、制御部２２１、コンテンツ生成部２２２、コンテンツ送信部２２３、生体データ送信部２２４、コンテンツ共有部２２５としての機能を実現するとしてもよい。

記憶部２３は、生体データＤ１を格納する。生体データＤ１は、生体データ取得装置２５，３３，４３，５３，７３のいずれかを用いて取得したユーザＵの生体データである。

通信部２４は、ネットワークＮを経由して、例えばＶＲ処理装置２とサーバ装置６，１２及び携帯端末７，８との間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。なお、通信部２４は、サーバ装置６，１２及び携帯端末７，８ではない他の装置とネットワークＮを経由して通信を行ってもよい。

なお、ＶＲ処理装置２は例えば汎用的なＰＣ（パーソナルコンピュータ）であってもよく、又はＶＲシステム１専用のハードウェアであってもよい。

図３は、本実施形態に係るＶＲヘッドセット３の構成の一例を示すブロック図である。

ＶＲヘッドセット３は、接続部３１、センサ部３２、生体データ取得装置３３、制御部３４、マイク３５、スピーカ３６、表示部３７を含む。

なお、図１で説明済の処理部についての説明は省略する。

接続部３１は、ＶＲヘッドセット３とＶＲ処理装置２とを接続する。

センサ部３２は、角速度センサ（ジャイロセンサ）Ｓ１を含む。センサ部３２は、生体データ取得装置３３に内蔵されていてもよく、生体データ取得装置３３の近傍に設置されていてもよい。

角速度センサＳ１は、センサを備える物体の回転角度、及び、向きの変化を検知できるセンサである。すなわち、角速度センサＳ１により、ＶＲヘッドセットの位置の変化及び向きが検出可能である。

なお、センサ部３２に含まれるセンサは、上述のものに限られず、例えば、近接センサ、加速度センサ、位置センサ、磁気センサ、輝度センサなどが含まれていてもよい。

制御部３４は、ＶＲヘッドセット３に含まれる各処理部の制御を行う。制御部３４は、接続部３１を経由して、ＶＲ処理装置２との間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。より具体的には、例えば、制御部３４は、センサ部３２が取得した位置情報及び方向情報などのセンサデータ、生体データ取得装置３３が取得した生体データ、マイク３５に入力された音声データを、接続部３１を経由してＶＲ処理装置２へ送信する。また、例えば、制御部３４は、接続部３１を経由してＶＲ処理装置２より音声データを受信してスピーカ３６へ出力し、ＶＲコンテンツを受信して表示部３７へ出力する。

マイク３５は、ユーザＵの音声をＶＲシステム１に入力する。なお、ＶＲヘッドセット３が声紋の生体データを取得可能な場合は、マイク３５は、生体データ取得装置３３を兼ねてもよい。

スピーカ３６は、ＶＲ処理装置２により生成された音、又は、制御部３４により生成された音を出力する。スピーカ３６は、例えばヘッドフォンであってもよい。

表示部３７は、ＶＲ処理装置２のコンテンツ生成部２２２により生成されたＶＲコンテンツを表示する。表示部３７は、ユーザＵの両眼に対応した２つのディスプレイを備える。以下では、ＶＲコンテンツが表示されている状態の表示部３７を、ＶＲ画面とする。

図４は、本実施形態に係るコントローラ４の構成の一例を示すブロック図である。

コントローラ４は、接続部４１、センサ部４２、生体データ取得装置４３、制御部４４、入力部４５を含む。

なお、図１で説明済の処理部についての説明は省略する。

接続部４１は、コントローラ４とＶＲ処理装置２とを接続する。

センサ部４２の構成は、センサ部３２と同等である。

制御部４４は、コントローラ４に含まれる各処理部の制御を行う。制御部４４は、接続部４１を経由して、ＶＲ処理装置２との間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。より具体的には、例えば、制御部４４は、センサ部４２が取得した位置情報及び方向情報などのセンサデータ、生体データ取得装置４３が取得した生体データ、入力部４５に入力されたデータを、接続部４１を経由してＶＲ処理装置２へ送信する。

入力部４５は、ユーザＵの操作を受け付ける。入力部４５は、例えば、ボタン、アナログスティック、ロータリエンコーダ、タッチパネル、各種のセンサなどでもよい。

図５は、本実施形態に係るセンサ装置５の構成の一例を示すブロック図である。

センサ装置５は、接続部５１、センサ部５２、生体データ取得装置５３、制御部５４、マイク５５、スピーカ５６を含む。また、センサ装置５は、カメラ５７を含むとしてもよい。

なお、図１で説明済の処理部についての説明は省略する。

接続部５１は、センサ装置５とＶＲ処理装置２とを接続する。

センサ部５２の構成は、センサ部３２と同様である。

制御部５４は、センサ装置５に含まれる各処理部の制御を行う。制御部５４は、接続部５１を経由して、ＶＲ処理装置２との間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。制御部５４の動作は、制御部３４，４４の動作と同等である。

マイク５５は、ユーザＵの音声をＶＲシステム１に入力する。なお、センサ装置５が声紋の生体データを取得可能な場合は、マイク５５は、生体データ取得装置５３を兼ねてもよい。

スピーカ５６は、ＶＲ処理装置２により生成された音、又は、制御部３４により生成された音を出力する。

カメラ５７は、静止画又は動画を撮影する。カメラ５７は、２次元画像を撮影できるものでもよく、又は、例えばステレオカメラ、赤外線カメラなどの奥行き情報を取得できるものでもよい。制御部５４は、カメラ５７により撮影された静止画又は動画に対して画像処理を行うことにより、例えばセンサ部５２では認識することができないユーザＵのジェスチャ、又は、ユーザＵの足、腕、関節などの特定の部位の動き、又は、ユーザＵが移動可能な空間に存在する物体などを認識可能であってもよい。

図６は、本実施形態に係るサーバ装置６の構成の一例を示すブロック図である。

サーバ装置６は、通信部６１、生体認証部６２、制御部６３を含む。

なお、図１で説明済の処理部についての説明は省略する。

通信部６１は、ネットワークＮに接続可能であり、ネットワークＮを経由してＶＲ処理装置２と通信を行う。通信部６１は、データベースＤＢと通信可能である。

なお、データベースＤＢは、ネットワークＮに接続されていてもよく、ネットワークＮを経由してサーバ装置６と通信可能であってもよい。

制御部６３は、サーバ装置６に含まれる各処理部の制御を行う。制御部６３は、通信部６１を経由して、ＶＲ処理装置２及びデータベースＤＢとの間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。例えば、制御部６３は、生体認証部６２で実行された生体認証が成功した場合に、ネットワークＮ経由でサーバ装置１２へ決済を許可する旨の決済許可通知を送信する。

図７は、本実施形態に係る携帯端末７，８の構成の一例を示すブロック図である。

携帯端末７は、通信部７１、センサ部７２、生体データ取得装置７３、プロセッサ７４、表示部７５を含む。

携帯端末８は、通信部７１、センサ部７２、プロセッサ７４、表示部７５、コンテンツ共有部７６を含む。なお、携帯端末８は、生体データ取得装置７３を備えていてもよい。

なお、図１で説明済の処理部についての説明は省略する。

通信部７１は、ネットワークＮに接続可能であり、ネットワークＮを経由してＶＲ処理装置２と通信を行う。通信部７１は、ネットワークＮを経由せずに、直接ＶＲ処理装置２の通信部２４と有線又は無線により通信可能としてもよい。

センサ部７２は、センサ部３２と同様である。

プロセッサ７４は、携帯端末７の演算処理を行う。プロセッサ７４は、制御部７４１を含む。

制御部７４１は、携帯端末７に含まれる各処理部の制御を行う。制御部７４１は、通信部７１を経由して、ＶＲ処理装置２との間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。制御部７４１の動作は、制御部３４，４４，５４の動作と同等である。

表示部７５は、例えば、一般的な携帯端末のディスプレイである。

また、上述のように、コンテンツ共有部２２５により携帯端末８の表示部７５にＶＲコンテンツが表示される場合、携帯端末８は、ＶＲシステム１に認証（ログイン）されることが望ましい。ＶＲシステム１へのログインには、例えば、ログインＩＤ及びパスワードが用いられてもよい。より具体的には、例えば、ＶＲ処理装置２は、携帯端末８からＶＲ処理装置２へアクセスがあった場合に、表示部７５又はＶＲヘッドセット３の表示部３７にログイン画面を表示する。ユーザＵは、ログイン画面の指示に従い、ログインＩＤ及びパスワードを入力する。

なお、携帯端末８が生体データ取得装置７３を備える場合は、ＶＲシステム１へのログインに生体認証が用いられてもよい。この場合、当該生体認証の手順は、決済処理の際に行われる生体認証の手順（図９を用いて後述する）と同等である。

図８は、本実施形態に係るＶＲシステム１を用いた決済処理を例示するフローチャートである。

ステップＳ８０１において、ＶＲ処理装置２が起動する。ＶＲ処理装置２に接続されているＶＲヘッドセット３、コントローラ４、センサ装置５にも電源が入り、ユーザＵによる操作が可能な状態となる。

ステップＳ８０２において、ＶＲ処理装置２のコンテンツ生成部２２２が生成したＶＲコンテンツが、接続部２１を経由してＶＲヘッドセット３へ送信される。ＶＲヘッドセット３の表示部３７は、ＶＲ処理装置２より受信したＶＲコンテンツを表示する。さらに、コンテンツ生成部２２２は、ユーザＵの選択により、又は、自動的に、ユーザＵが商品を選択し購入可能なＶＲコンテンツを生成する。

ステップＳ８０３において、表示部３７に表示された商品選択画面において、ユーザＵが購入する商品が選択される。商品は、例えば、ユーザＵがコントローラ４を操作することにより選択されてもよい。さらに、選択された商品の購入が承諾されると、ＶＲ処理装置２は、決済処理を開始する。商品の購入の承諾は、例えば、ＶＲコンテンツ内に表示された購入ボタンがユーザＵによって選択されることにより行われてもよい。

ステップＳ８０４において、ＶＲ処理装置２は、生体データの照合処理を開始する。生体データ照合処理の詳細については、図９で後述する。

ステップＳ８０５において、ＶＲ処理装置２は、ステップＳ８０４の処理により得られた生体データ照合処理結果を確認する。

生体データ照合処理結果が成功である場合は、ＶＲ処理装置２又はサーバ装置６は、サーバ装置１２に対して決済許可通知を送信する。この場合、ステップＳ８０６において、サーバ装置１２は、ＶＲ処理装置２より決済許可通知を受信し、決済処理部１２１は、決済処理を行う。決済処理が完了した場合、サーバ装置６は、通信部６１を経由して決済完了通知をＶＲ処理装置２へ送信する。さらに、ステップＳ８０７において、ＶＲ処理装置２は、決済完了通知を受信し、コンテンツ生成部２２２は、決済完了した旨の表示を含んだＶＲコンテンツを生成する。

また、生体データ照合処理結果が失敗である場合は、ＶＲ処理装置２は、決済処理を中止する。この場合、ステップＳ８０８において、ＶＲ処理装置２のコンテンツ生成部２２２は、決済失敗した旨の表示を含んだＶＲコンテンツを生成する。

なお、決済完了又は決済失敗した旨の表示は、例えば、メッセージ、アイコン、ダイアログボックスなどによる表示であってもよい。

本実施形態において、ＶＲ処理装置２は、ステップＳ８０１における起動時に、ユーザＵの認証（ログイン）を行うとしてもよい。ＶＲシステム１へのログインには、生体認証が用いられてもよい。この場合、当該生体認証の手順は、決済処理の際に行われる生体認証の手順（図９参照）と同等である。

図９は、本実施形態に係る生体データ照合処理を例示するフローチャートである。

ステップＳ９０１において、ＶＲ処理装置２は、ＶＲシステム１内で利用可能な生体データ取得装置が複数存在する場合に、どの生体データ取得装置を用いて生体データを取得するかをユーザに選択させる。ユーザＵが生体データ取得装置を選択した場合は、ステップＳ９０２へ進む。

利用可能な生体データ取得装置がＶＲシステム１内に１つのみである場合、又は、ＶＲ処理装置２がユーザに生体データ取得装置を選択させない場合は、ステップＳ９０５に進む。

ステップＳ９０２において、ＶＲ処理装置２は、ステップＳ９０１においてユーザＵが指定した生体データ取得装置の位置情報及び方向情報を検出する。具体的には、生体データ取得装置３３が指定された場合は、ＶＲ処理装置２は、ＶＲヘッドセット３の制御部３４より、センサ部３２が検出したＶＲヘッドセット３及び生体データ取得装置３３の位置情報及び方向情報を受信する。同様に、生体データ取得装置４３が指定された場合は、ＶＲ処理装置２は、制御部４４より、センサ部４２が検出したコントローラ４及び生体データ取得装置４３の位置情報及び方向情報を受信する。又は、同様に、生体データ取得装置５３が指定された場合は、ＶＲ処理装置２は、制御部５４より、センサ部５２が検出したセンサ装置５及び生体データ取得装置５３の位置情報及び方向情報を受信する。又は、同様に、生体データ取得装置７３が指定された場合は、ＶＲ処理装置２は、制御部７４１より、携帯端末７及び生体データ取得装置７３の位置情報及び方向情報を受信する。ＶＲ処理装置２は、受信した位置情報及び方向情報を、記憶部２３に一時的に格納する。

ステップＳ９０３において、ＶＲ処理装置２は、ステップＳ９０２において検出した各装置の位置情報及び方向情報を、ＶＲ画面内に表示する。具体的には、ＶＲ処理装置２のコンテンツ生成部２２２は、記憶部２３よりステップＳ９０２で格納した各装置の位置情報及び方向情報を読み出す。コンテンツ生成部２２２は、読み出したそれぞれの装置の位置情報及び方向情報に基づいた各装置の画像を、もとのＶＲコンテンツに重畳し、新たなＶＲコンテンツを生成する。上述の処理により生成されるＶＲコンテンツの例は、図１１で後述する。

ステップＳ９０４において、ＶＲ処理装置２は、ユーザＵに、指定した生体データ取得装置へ生体データを入力させる。

ステップＳ９０５において、ＶＲ処理装置２は、利用可能な生体データ取得装置を検索する。具体的には、ＶＲ処理装置２は、ＶＲヘッドセット３、コントローラ４、センサ装置５、携帯端末７へ、各装置に備えられた生体データ取得装置３３，４３，５３，７３が利用可能であるか否かを問い合わせる。

制御部３４，４４，５４，７４は、生体データ取得装置３３，４３，５３，７３の状態を確認し、各生体データ取得装置が利用可能であるか否かをそれぞれＶＲ処理装置２へ送信する。

ステップＳ９０６において、ＶＲ処理装置２は、ステップＳ９０５で得られた利用可能な生体データ取得装置の位置、向き、及び種類を表示する。生体データ取得装置の位置及び向きの検出方法、及び表示方法は、ステップＳ９０２及びステップＳ９０３で述べた方法と同等である。

ステップＳ９０７において、ＶＲ処理装置２は、ユーザＵへステップＳ９０６で表示したいずれかの生体データ取得装置へ生体データを入力させる。この場合、例えば、各生体データ処理装置は、ユーザＵより生体データの入力が完了した場合に、生体データＤ１をＶＲ処理装置２へ送信する。ＶＲ処理装置２は、生体データＤ１を受信し、生体データＤ１を記憶部２３に格納する。

なお、ＶＲ処理装置２は、複数の生体データ取得装置から生体データを受信した場合は、受信した複数の生体データを記憶部２３に格納してもよく、最初又は最後に受信した生体データを有効なデータとして記憶部２３へ格納してもよい。

ステップＳ９０８において、ＶＲ処理装置２は、サーバ装置６へ生体データ照合命令を送信する。具体的には、生体データ送信部２２４は、記憶部２３より生体データＤ１を読み出し、生体データ照合命令と生体データＤ１をサーバ装置６へ送信する。

ステップＳ９０９において、サーバ装置６の生体認証部６２は、ユーザＵの生体データＤ１と、生体データ照合命令を受信する。サーバ装置６は、受信した生体データＤ１がデータベースＤＢに登録されているか否かを確認する。ユーザＵの生体データが登録されている場合は、ステップＳ９１１へ進む。ユーザＵの生体データが登録されていない場合は、サーバ装置６は、ＶＲ処理装置２へ生体データが未登録である旨の通知を行う。ＶＲ処理装置２は、生体データが未登録である旨の通知を受信し、ステップＳ９１０において、生体データ登録処理を行う。

なお、生体データ登録処理は、決済処理と独立して行われてもよい。例えば、生体データ登録処理は、ＶＲシステム１の初回起動時などに行われてもよい。生体データ登録処理の詳細については、図１０で後述する。

ステップＳ９１１において、サーバ装置６の生体認証部６２は、生体データ照合処理を行う。具体的には、生体認証部６２は、データベースＤＢに登録されているユーザＵの登録済生体データＤ２を読み出し、ＶＲ処理装置２より受信した生体データＤ１と照合する。生体認証部６２は、照合結果が成功又は失敗した旨をＶＲ処理装置２へ送信する。

図１０は、本実施形態に係る生体データ登録処理を例示するフローチャートである。

ステップＳ１００１において、ＶＲ処理装置２は、登録可能な生体データ取得装置の種類を表示する。登録可能な生体データ取得装置の検索処理は、ステップＳ９０５の処理と同様である。

ステップＳ１００２において、ＶＲ処理装置２は、ステップＳ１００１で得られた登録可能な生体データ取得装置の位置、向き、及び種類をＶＲ画面に表示する。生体データ取得装置の位置及び向きの検出方法、及び表示方法は、ステップＳ９０６で述べた方法と同等である。

ステップＳ１００３において、ＶＲ処理装置２は、ステップＳ１００２でＶＲ画面に表示された生体データ取得装置のうち１つの生体データ取得装置を、ユーザＵに選択させる。

なお、ステップＳ９０１で生体データ取得装置を指定された場合は、自動的にステップＳ９０１で指定された生体データ取得装置と同じものが指定されてもよい。この場合、ステップＳ１００１及びステップＳ１００２において、ステップＳ９０１で指定された生体データ取得装置がＶＲ画面に表示され、ステップＳ１００３の処理はなくてもよい。

ステップＳ１００４において、ＶＲ処理装置２は、ユーザＵに、指定した生体データ取得装置へ生体データを入力させる。入力された生体データは、ＶＲ処理装置２へ送信される。

ステップＳ１００５において、ＶＲ処理装置２は、ステップＳ１００４で生体データ取得装置に入力された生体データを受信する。ＶＲ処理装置２の生体データ送信部２２４は、サーバ装置６へ、当該生体データと、生体データ登録指示を送信する。

ステップＳ１００６において、サーバ装置６は、データベースＤＢに受信した生体データを登録する。

図１１は、本実施形態に係る生体データ登録時又は生体データ取得時のＶＲ画面表示の第１の例を示す図である。より具体的には、図１１は、図９のＳ９０６、及び、図１０のＳ１００２において、表示部３７に表示されるＶＲ画面Ｖ１を示す。

ＶＲ画面Ｖ１は、利用可能（又は登録可能）な生体センサを示す生体センサ選択画面Ｗ１を表示する。図１１では、生体センサ選択画面Ｗ１はＶＲ画面Ｖ１に重畳的に表示されているが、表示方法はこれに限られない。例えば、ＶＲ画面Ｖ１が切り替わり、生体センサ選択画面Ｗ１が全画面に表示されてもよい。

生体センサ選択画面Ｗ１には、利用可能な生体データ取得装置と、利用可能な生体データ取得装置が含まれる装置が表示される。図１１の例では、生体センサ選択画面Ｗ１には、ＶＲヘッドセット１０３と、ＶＲヘッドセット１０３に含まれる虹彩センサ１０３Ａ、声紋センサ１０３Ｂ、静脈センサ１０３Ｃ、及び、コントローラ１０４と、コントローラ１０４に含まれる静脈センサ１０４Ａ、指紋センサ１０４Ｂ、及び、コントローラ１０５と、コントローラ１０５に含まれる静脈センサ１０５Ａ、指紋センサ１０５Ｂ、及び、センサ装置１０６と、センサ装置１０６に含まれる声紋センサ１０６Ａが表示される。

なお、生体センサ選択画面Ｗ１に表示される各装置及び生体センサの画像の向きは、各装置を操作するユーザＵの動きに合わせて、リアルタイムに変化することが望ましい。また、生体センサが二種以上含まれる場合は、ユーザＵが同種の生体センサと異種の生体センサとを、例えば色又は形などで容易に判別できるよう表示されることが望ましい。

生体センサ選択画面Ｗ２は、生体センサ選択画面Ｗ１に表示された生体センサのうち、ユーザＵにより静脈センサ１０４Ａが選択された状態を示す。

生体センサの選択は、例えば、ユーザＵがコントローラ４の入力部４５を操作することにより行われてもよい。また、生体センサの選択は、例えば、ユーザＵがＶＲヘッドセット３のマイク３５を通じて音声により指示することにより行われてもよい。

選択された静脈センサ１０４Ａの周囲には、センシング可能領域Ａが表示される。センシング可能領域は、ユーザＵの体の一部を生体センサに近接させて生体データを取得することができる範囲を示す。

ユーザＵは、表示された静脈センサ１０４Ａのセンシング可能領域Ａの範囲内に、例えば指を近づけることで、静脈データを入力する。

また、例えばユーザＵがコントローラ４の位置及び向きを変化させることにより、生体センサ選択画面Ｗ２に表示されるコントローラ１０４の表示が変化する場合、センシング可能領域Ａの表示もコントローラ１０４の位置及び向きに合わせて変化する。

なお、他の生体センサが選択された場合も、上述と同様に、選択された生体センサに対応したセンシング可能領域が表示される。

なお、センシング可能領域の表示態様は、領域を表示するものであれば、図１１中に示されている態様に限られない。

図１２は、本実施形態に係る生体データ登録時又は生体データ取得時のＶＲ画面表示の第２の例を示す図である。

ＶＲ画面Ｖ２は、図１１の生体センサ選択画面Ｗ１に表示された生体センサのうち、ユーザＵにより声紋センサ１０６Ａが選択された状態を示す。

声紋センサ１０６Ａを含むセンサ装置１０６は、現在のユーザＵの位置から離れた場所に存在するため、ＶＲ処理装置２は、ユーザＵを声紋センサ１０６Ａが反応する位置まで誘導する。

まず、制御部２２１は、ユーザＵの位置を取得する。センサ装置５のカメラ５７がユーザＵを撮影することにより、制御部５４又は制御部２２１がユーザＵのＶＲシステム１内における位置及び向きを計算してもよい。又は、ユーザＵに装着されたＶＲヘッドセット３のセンサ部が検出した位置及び向きを、ユーザＵの位置及び向きとしてもよい。

次に、制御部２２１は、取得したユーザＵの位置及び向きと声紋センサ１０６Ａの位置及び向きとに基づいて、ユーザＵを誘導する方向を決定する。ユーザＵを誘導する方向は、ＶＲシステム１内の位置及び向きを示すデータに変換され、コンテンツ生成部２２２に入力される。

コンテンツ生成部２２２は、制御部２２１より受信したデータに基づき、ＶＲコンテンツ内にユーザＵを誘導する方向を示す矢印２０１を描画する。

なお、ユーザＵを誘導する方法は、上述の方法に限られない。例えば、コンテンツ生成部２２２により、ＶＲ画面Ｖ２上で声紋センサ１０６Ａの位置が強調表示されてもよい。

ＶＲ画面Ｖ３は、ユーザＵの位置が、声紋センサ１０６Ａが反応する位置まで近づいた状態を示す。

制御部２２１は、ユーザＵと声紋センサ１０６Ａとの距離が一定以下になった場合に、声紋センサ１０６Ａが利用可能になった旨をユーザＵに通知する。例えば、コンテンツ生成部２２２は、制御部２２１よりユーザＵと声紋センサ１０６Ａとの距離が一定以下になった旨の通知を受信すると、ＶＲコンテンツの声紋センサ１０６Ａに印Ｅ１を描画してもよい。ユーザＵは、ＶＲコンテンツ内の印Ｅ１を視認することにより、声紋センサ１０６Ａに対し、声紋データを入力する。

なお、印Ｅ１の形状及び表示方法は、図１２中に表示されるものに限られない。また、声紋センサ１０６Ａが利用可能になった旨をユーザＵに通知する方法は、上述のものに限られない。例えば、ＶＲヘッドセット３のスピーカ３６を通じて音声によりユーザＵに通知してもよい。

図１３は、本実施形態に係る生体データ選択時のＶＲ画面表示を例示する図である。より具体的には、図１３は、図９のＳ９０１において、表示部３７に表示されるＶＲ画面Ｖ４を示す。

ＶＲ画面Ｖ４は、生体データ選択画面Ｗ３を表示する。図１３では、生体データ選択画面Ｗ３はＶＲ画面Ｖ４に重畳的に表示されているが、生体センサ選択画面Ｗ１と同様に、表示方法はこれに限られない。

生体データ選択画面Ｗ３には、取得する生体データの種類が表示される。図１３の例では、生体データ選択画面Ｗ３には、指紋データＢ１、顔データＢ２、虹彩データＢ３、静脈データＢ４、声紋データＢ５が選択可能な項目として表示される。

ユーザＵにより上述の項目のうち１つが選択された場合、ＶＲ画面Ｖ４上には、項目が選択された旨が表示される。例えば、ＶＲ画面Ｖ４上には、選択された項目の周囲に印Ｅ２が表示されてもよい。

なお、生体データの選択は、ユーザＵがコントローラ４の入力部４５を操作することにより行われてもよい。また、生体データの選択は、例えば、ユーザＵがＶＲヘッドセット３のマイク３５を通じて音声により指示することにより行われてもよい。

なお、印Ｅ２の形状及び表示方法は、図１３中に例示されるものに限られない。

図１４は、本実施形態に係るコンテンツ共有中のＶＲ画面表示を例示する図である。より具体的には、コンテンツ共有部２２５がコンテンツを携帯端末８へ送信している場合に、表示部３７に表示されるＶＲ画面Ｖ５を示す。

ＶＲ画面Ｖ５は、画面表示Ｗ４を含む。画面表示Ｗ４は、コンテンツが携帯端末８と共有されていることを示す画像又は文字である。

なお、画面表示Ｗ４は、ユーザが認識することができるＶＲ画面Ｖ５上の任意の位置に表示可能である。また、画面表示Ｗ４は、自動的に又はユーザＵの操作により、移動又は消去されてもよい。

以上説明した本実施形態においては、ＶＲシステム１は、ＶＲ画面上に生体センサの位置及び向きを表示可能である。これにより、ユーザＵは、ＶＲ画面内で商品購入し、決済のための生体データの取得が必要な場合であっても、ＶＲヘッドセット３を外すことなく、生体データを入力することができる。

本実施形態においては、決済に生体データが用いられるため、決済の安全性が確保される。

本実施形態においては、ユーザＵの所有する携帯端末７を、例えばコントローラ４の代わりとしてＶＲシステム１に追加可能である。これにより、通常の仮想実現システムと携帯電話とでシステムを構築でき、コスト削減が可能である。

本実施形態においては、生体データ取得装置とユーザＵの位置が離れている場合であっても、ＶＲシステム１は、ユーザＵが生体データを入力可能な位置までユーザＵを誘導する。これにより、さらに生体データを入力するユーザＵの利便性が高まる。

本実施形態においては、ＶＲヘッドセット３の表示部３７に表示されるＶＲコンテンツを、ＶＲシステム１に認証された携帯端末８の表示部７５にも出力可能とする。これにより、家族でＶＲシステム１を共有する場合、例えば、ＶＲヘッドセット３を装着した子供がどんなゲームをしているかを、親が自分の携帯端末８を用いて把握することができ、子供を有害コンテンツから守ることができる。また、ＶＲコンテンツを、ＶＲヘッドセット３を装着していない者にも共有することができ、アミューズメント性を高めることができる。

[第２の実施形態]
本実施形態においては、ＶＲシステムのユーザより取得した生体データを用いて、ＶＲ画面内に登場させるキャラクター（アバター）の属性を決定するＶＲシステムについて説明する。

本実施形態で使用するＶＲシステムは、第１の実施形態におけるＶＲシステム１と同様である。

図１５は、第２の実施形態に係るキャラクター表示時のＶＲ画面表示を例示する図である。

ＶＲ画面Ｖ６は、ユーザＵに対応するキャラクターＣ、キャラクターＣの属性Ｘを表示する。属性Ｘは、常にＶＲ画面Ｖ６に表示されている必要はなく、ユーザＵにより属性Ｘの表示指示を受けた場合にのみ表示してもよい。

属性Ｘは、キャラクターＣの属性を含む。例えば、属性Ｘは、名前Ｐ１、性別Ｐ２、年齢Ｐ３、体力Ｐ４、性格Ｐ５を含む。キャラクターＣの属性は、これら以外の項目を含んでいてもよい。

キャラクターＣの画像は、属性Ｘの項目の内容によって、外見や状態が変化するとしてもよい。例えば、性別Ｐ２、又は、年齢Ｐ３に合致するようにキャラクターＣの外見が変化してもよく、体力Ｐ４によってキャラクターＣの姿勢が変化してもよく、性格Ｐ５によってキャラクターＣの表情が変化してもよい。

属性Ｘの各項目は、ユーザＵが生体認証を行う毎に、ユーザＵの生体データがＶＲシステム１によって解析された結果に基づいて更新されてもよい。

図１６は、第２の実施形態に係る属性決定処理を例示するフローチャートである。

ステップＳ１６０１において、ユーザＵの生体データが、ＶＲシステム１内の任意の生体データ取得装置に入力される。ユーザＵの生体データが入力されるタイミングは、図９のステップＳ９０４又はステップＳ９０７、又は、図１０のステップＳ１００４であってもよく、これら以外のタイミングで入力されてもよい。生体データ取得装置により取得された生体データは、ＶＲ処理装置２へ送信される。

ステップＳ１６０２において、ＶＲ処理装置２の制御部２２１は、ユーザＵが入力した生体データを受信し、解析処理を行う。制御部２２１は、例えば、生体データが声紋データである場合、声の高さ及び質より、ユーザＵの年齢及び性別を判定する。制御部２２１は、例えば、生体データが顔データである場合、表情を読み取ることにより、ユーザＵの性格を判定する。なお、制御部２２１が行う解析処理は上述のものに限られない。

ステップＳ１６０３において、制御部２２１は、ステップＳ１６０２で得られた生体データの解析結果に基づき、キャラクターＣの属性の決定を行う。属性の種類（項目）は、あらかじめユーザＵにより決められていてもよく、又は、制御部２２１が解析結果に基づいて自動的に生成されてもよい。

ステップＳ１６０４において、制御部２２１は、ステップＳ１６０３で得られた属性に基づいて、キャラクターＣの生成処理又は更新処理を行う。なお、キャラクターＣの初回生成時は、キャラクターＣの基本状態となる画像はあらかじめユーザＵによって選択されてもよい。又は、制御部２２１は、属性に基づいて、キャラクターＣを自動生成してもよい。

ステップＳ１６０５において、制御部２２１は、キャラクター情報及び属性情報を、をコンテンツ生成部２２２へ入力する。コンテンツ生成部２２２は、入力されたキャラクター情報及び属性情報に基づき、キャラクターＣ及び属性Ｘの表示を含むＶＲコンテンツを生成する。当該ＶＲコンテンツは、コンテンツ送信部２２３によりＶＲヘッドセット３へ送信され、表示部３７に表示される。

以上説明した本実施形態においては、ユーザＵより取得した生体データを用いて、自動的に生体データに含まれる属性Ｘが反映されたキャラクターＣをＶＲ画面内に表示することができる。これにより、ユーザＵの個性を反映したキャラクターの生成が可能となり、ＶＲを通じたネットワーク上での個人の識別が容易になる。また、ユーザＵの個性をキャラクターに反映させることにより、アミューズメント性を高めることができる。

[第３の実施形態]
近年、人工知能（ＡＩ：Artificial Intelligence）を用い、入力された検診データなどに基づいて病気の自動診断を行うシステムが開発されている。しかしながら、このような診断システムを利用するためには検診データの収集は、ユーザにとって負担であるため、ユーザの利便性を高める技術が望まれている。

本実施形態においては、ＶＲシステムのユーザが日常的にＶＲシステムに入力する生体データを蓄積し、蓄積した生体データを診断システムに入力して結果を受信することで、ユーザが診断システムの利用に必要なデータの収集を意識することなく、簡易的な病気の診断結果が取得可能な診断システムを提案する。また、診断結果よりユーザが利用可能な病院と診療科を提案することにより、さらにユーザの利便性を高めることができる。

図１７は、第３の実施形態に係る自動診断システムの構成を例示するブロック図である。

自動診断システム１１は、ＶＲシステム１Ａと、診断用サーバ装置９と、予約システム１０とを含む。

ＶＲシステム１Ａに含まれるＶＲ処理装置２は、記憶部２３を含む。記憶部２３は、生体データＤ１と、位置情報２３３を含む。

生体データＤ１は、ユーザＵが生体データ取得装置２５，３３，４３，５３，７３のいずれかに入力した生体データを格納する。

位置情報２３３は、例えば、診断用サーバ装置９がユーザＵの受診可能な病院を抽出するために用いられる。

位置情報２３３は、例えば、ユーザＵがＶＲシステム１に予め登録した住所であってもよく、ＶＲ処理装置２又は携帯端末７がＧＰＳ（Global Positioning System）を備える場合は、後述の画面表示Ｔ１を表示する際に当該ＧＰＳが示す位置であってもよい。位置情報２３３の取得方法は、上述のものに限られない。

なお、本実施形態に係るＶＲシステム１Ａのその他の構成は、第１の実施形態におけるＶＲシステム１の構成と同様である。

診断用サーバ装置９は、記憶部９１と、制御部９２と、通信部９３とを含む。

記憶部９１は、病院情報９１１を含む。

病院情報９１１は、例えば、病名と、病名に対応可能な病院及び診療科と、病院の位置とを関連付ける情報である。

制御部９２は、診断用サーバ装置９全体の制御を行う。制御部９２は、例えば、ユーザＵの生体データに基づいて診断処理を実行し、診断結果として病名を得る。さらに、制御部９２は、病院情報９１１と、診断結果と、ＶＲ処理装置２より受信した位置情報２３３とに基づいて、病名に対応可能な病院及び診療科の一覧を生成し、当該一覧をＶＲ処理装置へ送信する。

通信部９３は、ネットワークＮを経由して、例えばＶＲ処理装置２との間で、コマンド、アドレス、データ、情報、指示、信号などを送受信する。

予約システム１０は、患者などからの診療日時の予約を受け付け可能な、一般的な病院の予約システムである。予約システム１０は、例えば病院が備えるサーバ装置上で動作するプログラムなどにより実現される。

図１８は、本実施形態に係る自動診断システム１１の処理を例示するフローチャートである。

ステップＳ１８０１において、ＶＲ処理装置２が起動する。ＶＲ処理装置２に接続されているＶＲヘッドセット３、コントローラ４、センサ装置５にも電源が入り、ユーザＵによる操作が可能な状態となる。

ステップＳ１８０２において、ＶＲ処理装置２は、ＶＲシステム１Ａにログインする際に生体データの入力を要する場合に、ログイン時に用いた生体データの収集を行う。具体的には、ＶＲ処理装置２は、ユーザＵがログインの際に生体データ取得装置２５，３３，４３，５３，７３のいずれかに入力した生体データを、これらの生体データ取得装置を含むＶＲヘッドセット３、コントローラ４、センサ装置５、携帯端末７のいずれかより受信し、記憶部２３に格納する。

なお、ＶＲシステム１Ａへのログインは、ユーザＵがＶＲ処理装置２に対して行ってもよく、又は、ユーザＵが携帯端末７に対して行ってもよい。

ステップＳ１８０３において、ＶＲ処理装置２は、ＶＲシステム１Ａにおいて決済処理が行われる毎に、決済時に用いた生体データの収集を行う。生体データの収集方法は、ステップＳ１８０２と同様である。

ステップＳ１８０４において、ＶＲ処理装置２は、記憶部２３に格納されている生体データＤ１の量及び種類が、診断用サーバ装置９に入力可能な程度に十分であるか否かを確認する。ＶＲ処理装置２は、生体データＤ１の量及び種類が十分でないと判断した場合は、ステップＳ１８０２に戻り、生体データの収集を続ける。また、ＶＲ処理装置２は、生体データＤ１の量及び質が十分であると判断した場合は、ステップＳ１８０５に進む。

ステップＳ１８０５において、ＶＲ処理装置２は、ＶＲ処理装置の位置情報２３３を取得し、記憶部２３に格納する。そして、ＶＲ処理装置２は、生体データＤ１及び位置情報２３３を診断用サーバ装置９へ送信する。

ステップＳ１８０６において、診断用サーバ装置９は、ＶＲ処理装置２より受信した生体データＤ１に基づいて、診断処理を実行し、診断結果を得る。診断結果は、例えば病名などでもよい。診断処理は、ＡＩ（Artificial Intelligence）を用いて行われてもよく、又は、その他任意のアルゴリズムを用いて行われてもよい。

ステップＳ１８０７において、診断用サーバ装置９は、ＶＲ処理装置２より受信した位置情報２３３に基づき、ユーザＵが利用可能な範囲の病院を検索し、抽出する。さらに、診断用サーバ装置９は、診断結果及び抽出した病院と、病院情報９１１とに基づいて、ユーザＵが受診可能な病院及び診療科を決定する。

ステップＳ１８０８において、診断用サーバ装置９は、ステップＳ１８０６及びステップＳ１８０７において得られた診断結果及びユーザＵが受診可能な病院及び診療科を含むデータを、ＶＲ処理装置２へ送信する。

ステップＳ１８０９において、ＶＲ処理装置２は、診断用サーバ装置９より受信したデータに基づき、診断結果、病院、診療科などの情報をＶＲヘッドセット３の表示部３７又は携帯端末７の表示部７５に表示する。表示部３７，７５に表示される画面の詳細については、図１９で後述する。

ステップＳ１８１０において、ＶＲ処理装置２は、ユーザＵに、表示部３７，７５に表示された病院及び診療科を指定させる。ユーザＵにより指定された病院及び診療科を示すデータは、予約システム１０へ送信される。

ステップＳ１８１１において、予約システム１０は、ステップＳ１８１０において指定した病院及び診療科の予約可能日時を検索し、ＶＲ処理装置２へ送信する。

ステップＳ１８１２において、ＶＲ処理装置２は、予約システム１０より受信した予約可能日時を表示部３７，７５に表示し、ユーザＵに予約日時を指定させる。ユーザＵにより指定された予約日時は、予約システム１０へ送信される。

ステップＳ１８１３において、予約システム１０は、予約結果をＶＲ処理装置２へ送信し、予約を完了する。

ステップＳ１８１４において、ＶＲ処理装置２は、予約完了した旨をユーザに通知する。具体的には、例えば、表示部３７，７５に予約完了メッセージを表示する。

なお、ＶＲ処理装置２は、例えば、予約完了後に診断結果を予約済の病院へ送信してもよい。

図１９は、本実施形態に係る自動診断システム１１における画面表示の第１の例を示す図である。具体的には、図１９は、図１８のステップＳ１８０９において、表示部３７，７５に表示される診断結果及びユーザＵが受診可能な病院及び診療科の一覧を示す。

画面表示Ｔ１は、病名Ｑ１、病院Ｑ２、診療科Ｑ３、アドレスＱ４を含む。

病名Ｑ１は、受信した診断結果に基づく病名を示す。

病院Ｑ２は、病名Ｑ１に関する診断が受けられる病院名を示す。

診療科Ｑ３は、病院Ｑ２の中でユーザが病名Ｑ１に関して受信可能な診療科を示す。診療科Ｑ３に含まれる各診療科の表示は、ユーザＵにより選択可能であることが望ましい。制御部２２１又は制御部７４１は、ユーザＵにより選択した診療科について、予約画面を表示する。選択された診療科は、例えば表示Ｅ３のように強調される。

アドレスＱ４は、病院Ｑ２及び診療科Ｑ３の情報の所在を示すアドレスである。アドレスは、例えばＵＲＬ（Uniform Resource Locator）などであってもよい。

なお、画面表示Ｔ１が含む項目は、上述のものに限られない。また、画面表示Ｔ１は表形式以外の形式で表示されてもよい。アドレスＱ４に含まれる各アドレスの表示は、ユーザＵにより選択可能であってもよい。この場合、制御部２２１又は制御部７４１は、ユーザＵにより選択されたアドレスＱ４に関連付けられたウェブページなどを表示してもよい。

図２０は、本実施形態に係る自動診断システム１１における画面表示の第２の例を示す図である。具体的には、図２０は、図１８のステップＳ１８１２において、表示部３７，７５に表示される予約画面を示す。図２０は、図１９の画面表示Ｔ１において、「Ａ病院の耳鼻科」が選択された場合（表示Ｅ３参照）に表示される画面を示す。

画面表示Ｔ２は、日付選択表示Ｅ４を含む。日付選択表示Ｅ４は、例えばカレンダー表示であってもよく、リスト表示であってもよい。

日付選択表示Ｅ４は、予約可能な日付と、予約不可である日付が明示されていることが望ましい。制御部２２１又は制御部７４１は、ユーザＵにより予約可能な日付が選択されると、時間帯選択表示Ｅ５をさらに表示してもよい。ユーザＵは、さらに予約可能な時間帯を選択することにより、予約日時の指定を完了させる。なお、時間帯選択表示Ｅ５は、例えば、ポップアップ表示、リスト表示、又はその他の表示形式であってもよい。

本実施形態において、画面表示Ｔ１，Ｔ２は、ＶＲ処理装置２又は携帯端末７にインストールされたアプリケーションにより表示されてもよい。この場合、病院Ｑ２及び診療科Ｑ３を検索して表示する処理及び画面表示処理は、当該アプリケーションがプロセッサ２２、プロセッサ７４を使用して行われてもよい。

以上説明した本実施形態においては、自動診断システム１１は、ユーザＵがＶＲシステム１Ａにログインする際又は決済を行う際にＶＲシステム１Ａに入力する生体データを収集し、診断用サーバ装置９へ送信する。これにより、ユーザＵは診断用サーバ装置９へ入力するデータの収集を意識的に行うことなく診断結果を取得可能となり、ユーザの利便性が高まる。また、自動診断システム１１は、診断結果に基づいて最適な病院及び診療科を選択し、来院予約を行うとともに、診断用サーバ装置９より得られた診断結果を送信する。これによりさらにユーザの利便性が高まるだけでなく、医療ミスの防止及び診療時間の短縮にも貢献できる。

なお、本実施形態において、自動診断システム１１は、ユーザＵの病名の診断に限らず、あらゆる種類の診断に適用可能である。例えば、自動診断システム１１を健康診断に適用する場合、自動診断システム１１は、画面表示Ｔ１の内容のうち、病名Ｑ１及び診療科Ｑ３に代えて、検査項目及び詳細検査機関を関連付け、ユーザＵに提示するとしてもよい。

また、本実施形態において、自動診断システム１１には、ＶＲシステム１に代えて、生体データＤ１の取得及び位置情報２３３の取得又は格納が可能な他の情報処理装置又はシステムが含まれるとしてもよい。

上記の実施形態は、例示であり、発明の範囲を限定することは意図していない。上記の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。上記の実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…ＶＲシステム、２…ＶＲ処理装置、３…ＶＲヘッドセット、４…コントローラ、５…センサ装置、６，１２…サーバ装置、７，８…携帯端末、２５，３３，４３，５３，７３…生体データ取得装置、２６，３２，４２，５２，７２…センサ部、６２…生体認証部、７５…表示部、１２１…決済処理部、２２２…コンテンツ生成部、２２３…コンテンツ送信部、２２４…生体データ送信部、２２５…コンテンツ共有部、Ｄ１，Ｄ２…生体データ、ＤＢ…データベース、ＨＤ…人体装着用装置、Ｎ…ネットワーク、Ｕ，Ｖ…ユーザ。

Claims (3)

1. 仮想現実コンテンツを生成する情報処理装置と、
   ユーザに装着され、前記情報処理装置から受信した前記仮想現実コンテンツを前記ユーザに表示する仮想現実ヘッドセットと、
   前記ユーザの生体データを取得する生体データ取得装置と、
   前記生体データ取得装置の位置を示す位置情報と、前記生体データ取得装置の方向を示す方向情報とを生成し、前記位置情報と前記方向情報とを前記情報処理装置へ送信するセンサと、
   を具備し、
   前記情報処理装置は、
   決済指示を受信した場合に、前記センサから受信した前記位置情報及び前記方向情報に基づいて、前記生体データ取得装置の前記位置及び前記方向を前記仮想現実ヘッドセットを装着している前記ユーザに認識させる第１の画像を、前記仮想現実コンテンツに付加するコンテンツ生成部
   を具備する、
   仮想現実システム。
2. 前記生体データ取得装置は、カメラであり、前記生体データは、指紋データであることを特徴とする、
   請求項１の仮想現実システム。
3. 前記コンテンツ生成部は、前記生体データ取得装置による生体データ入力を前記仮想現実ヘッドセットを装着している前記ユーザに促す第２の画像を、前記仮想現実コンテンツに付加する、
   請求項１又は請求項２の仮想現実システム。

Images