以下、本発明の各実施の形態について図面を参照して詳細に説明する。以下の説明において同一の符号が付された部分は実質的に同一の機能を有している。また、発明の明確化のため重複部分は適宜説明が省略されている。また、本明細書においてユーザとは仮想現実サービスの提供を受ける消費者のことを指し、ユーザは本発明の仮想現実提示システムによって提示される仮想現実世界を感知しながら行動を行う。また、本明細書において、仮想現実サービスとは仮想現実コンテンツを提供するサービスのことを言う。したがって、本明細書において仮想現実サービス提供システムのことを仮想現実コンテンツ提供システムと称することがある。
<実施形態1>
本実施形態1の具体的形態を説明する前に、本発明を適切に理解するための導線となる概念の説明を行う。図9は本発明の実施形態1に係る仮想現実提示システムの構成を説明するための概念図である。私達が生きるこの世界を情報処理の観点からモデル化した場合、この世界はアナログ情報空間10と、デジタル情報空間20と、インタフェース空間30の3つの空間に分解することができる。
情報は実体を持たない抽象的な概念である。情報は単体では存在することができず、何らかの媒体に保持されることで存在することができる。情報を保持する媒体としては、書物や写真、HDD(Hard Disk Drive)、SSD(Solid State Drive)などがある。人間の脳も情報を保持する媒体である。
情報は、情報処理機構を通して加工することができる。すなわち、入力された情報は、情報処理機構によって加工され、異なった情報として出力される。かつてこの世界で情報処理機構として機能していたのは生物の脳だけであった。しかし、現代ではこの脳に加えて人間が創り出したCPU(Central Processing Unit)などの情報処理装置を用いることで情報の処理・加工が可能になっている。情報処理装置はプログラムと協働することにより情報処理機構として機能する。このように、現代の世界には生物進化の過程を経て淘汰的に創り上げられた脳と、人間が人工的に創り上げた情報処理装置の2種類の情報処理機構が存在していることになる。
自然淘汰の帰結として存在する脳が情報処理機構として機能する情報空間がアナログ情報空間10である。生物は目や耳などの感覚器官を入力インタフェース12として外界よりアナログ情報を入力し、当該入力されたアナログ情報を脳11が処理する。脳11による処理結果は、口(声帯)や四肢を出力インタフェース13として発話や身振り手振りによってアナログ情報として外界へ出力される。ある生物の脳で情報処理されて出力されるアナログ情報が他の生物の脳に入力されることで情報が伝播していく。アナログ情報空間10では、情報は脳の他、紙やキャンパス、フィルム、大理石など様々な媒体に書物や絵画、写真、彫刻などの形態で保持される。
一方、人間が創り出した情報処理装置が情報処理機構として機能する情報処理空間がデジタル情報空間20である。入力ポートを入力インタフェース22として外部よりデジタル情報を入力し、当該入力されたデジタル情報を所定のプログラムと協働する情報処理装置21が処理し、出力ポートを出力インタフェース23として処理結果であるデジタル情報を外部へ出力する。かつては出力されたデジタル情報を一旦ポータブルな情報記憶媒体に保持し、当該デジタル情報が記憶された情報記憶媒体を人間が運び、他の情報処理装置の入力ポートに接続することで情報の伝播が行われていた。しかし、インターネット網の整備によってある情報処理装置の出力ポートと別の情報処理装置の入力ポートが接続されたことで人間を介すこと無く情報が伝播するようになっている。デジタル情報空間20では、情報はRAM(Random Access Memory)の他、HDDやSSDなどの情報記憶媒体に保持される。
インタフェース空間30は、アナログ情報空間10とデジタル情報空間20の接点となる空間であり、複数のインタフェース装置31を含む。インタフェース装置31は、アナログ情報空間で生成されるアナログ情報をデジタル情報に変換したり、デジタル情報空間で生成されるデジタル情報をアナログ情報に変換したりする。
情報処理の観点から見たアナログ情報空間10は、脳が情報処理機構として機能する空間であり、これは私達人間が認識するこの現実世界そのものとみることができる。したがって、以下の説明ではアナログ情報空間を現実世界と称することがある。同様に、デジタル情報空間20は、情報処理装置21が情報処理機構として機能する空間であり、インタフェース空間30を介して現実世界10と連動することにより抽象的な仮想現実世界が創り出される。したがって、以下の説明では、ユーザの行動に連動する形で情報処理が実行され、現実世界と同様に振る舞うデジタル情報空間を仮想現実世界又は単に仮想現実と称することがある。
図10は本発明の実施形態1に係る仮想現実コンテンツ提供システム1000の構成を示すブロック図である。仮想現実提供システム1000は、提供可能仮想現実コンテンツ管理部1100と、仮想現実コンテンツ記憶部1200と、仮想現実コンテンツ提供処理部1300と、を具備する。
提供可能仮想現実コンテンツ管理部1100は、ユーザを識別するユーザ識別情報と当該ユーザに提供可能な仮想現実コンテンツとを管理する。図11は、提供可能仮想現実コンテンツ管理部1100が記憶する管理テーブルの一例を示している。ユーザを識別するユーザ識別情報(ユーザID)と、当該ユーザに提供可能な仮想現実コンテンツを識別する仮想現実コンテンツ識別情報(仮想現実コンテンツID)が関連付けられた状態で記憶されている。
仮想現実コンテンツ記憶部1200は、複数の仮想現実コンテンツを記憶する。ここで、仮想現実コンテンツとは仮想現実世界を創り出す元となるコンテンツであり、具体的には仮想現実空間に配置される仮想現実オブジェクトやその仮想現実オブジェクトを生成するためのデータやプログラムなどが含まれる。
仮想現実コンテンツ提供処理部1300は、ユーザに提供可能な仮想現実コンテンツの中から当該ユーザに対して仮想現実コンテンツを提供する処理を行う。仮想現実コンテンツ記憶部1200には複数の仮想現実コンテンツが記憶されているものの、仮想現実コンテンツの提供対象となるユーザに対してその全ての仮想現実コンテンツが提供可能なわけではない。仮想現実コンテンツ提供処理部1300は、提供可能仮想現実コンテンツ管理部1100で記憶されている管理テーブルを参照し、仮想現実コンテンツの提供対象となるユーザに提供可能な仮想現実コンテンツとして登録されている仮想現実コンテンツの中から選択した仮想現実コンテンツを提供する処理を行う。
以上のように本実施形態1にかかる仮想現実コンテンツ提供システムによれば、予めユーザと、当該ユーザに提供可能な仮想現実コンテンツ、すなわち当該ユーザが消費可能な仮想現実コンテンツを関連付けた状態で記憶しておくため、提供する仮想現実コンテンツをユーザ単位で柔軟に制御することが出来る。したがって、現実世界と仮想現実世界の区別がつけ難いユーザに対しては、現実世界へ悪影響をもたらす可能性がある仮想現実コンテンツの提供を制限することにより、仮想現実世界での体験による悪影響を現実世界へもたらすことを軽減することを可能とする。
なお、本実施形態1の仮想現実コンテンツ提供システムは図12のように構成されていても良い。図12に示す仮想現実コンテンツ提供システムにおいて、提供可能仮想現実コンテンツ管理部1100は、ユーザ情報管理部1110と、仮想現実コンテンツ管理部1120を備える。また、仮想現実コンテンツ提供処理部1300は、通信処理部1310と、ユーザ認証処理部1320と、仮想現実コンテンツ選択処理部1330とを備える。
図12において仮想現実コンテンツ提供システムは仮想現実提示装置100と通信を行う。仮想現実提示装置100は、ユーザがいる現実世界と仮想現実コンテンツ提供システム1000が創り出す仮想現実世界とを繋ぐインタフェース機能を少なくとも有する装置であり、通常はユーザが頭部に装着した状態で使用する形態を取る。
図13は図12に示す仮想現実提示装置100の具体的構成の一例を示すブロック図である。仮想現実提示装置100は、ユーザ状態検知部110と、周囲状況検知部120と、音声入力部130と、仮想現実コンテンツ映像生成処理部141と、表示制御部142と、表示部150と、仮想現実コンテンツ音声生成処理部161と、音声再生制御部162と、音声出力部170と、仮想現実提示制御部180と、通信処理部190と、を具備する。
ユーザ状態検知部110は、ユーザの状態を検知し、当該ユーザの状態を示すユーザ状態情報を生成する。図13では、ユーザ状態検知部110は、ユーザ頭部の傾きを検知する傾きセンサ111、ユーザ頭部の加速度を検知する加速度センサ112、ユーザの眼球の撮影することでユーザの眼球の動きや瞬きの状態を検知する眼球センサ113などで構成される。これらの各種センサで検知されるユーザの状態はユーザ状態情報として仮想現実コンテンツ映像生成処理部141や仮想現実コンテンツ音声生成処理部161へ出力される。また、必要に応じて通信処理部190より仮想現実コンテンツ提供システム1000側へ送信される。
周囲状況検知部120は、ユーザの周囲の状況を検知し、ユーザの周囲の状況を示す周囲状況情報を生成する。図13では、周囲状況検知部120は、ユーザの視線方向を撮影する視線カメラ121と、ユーザの両側や後方などユーザの周囲を撮影する周囲カメラ122などで構成される。これらの各種カメラで撮影される周囲の状況を写した画像は、周囲状況情報として所定の画像解析処理が行われた後に、仮想現実コンテンツ映像生成処理部141や仮想現実コンテンツ音声生成処理部161へ出力される。また、必要に応じて通信処理部190より仮想現実コンテンツ提供システム1000側へ送信される。
ユーザ状態検知部110がユーザを検知対象として所定の物理量の測定を行うのに対し、周囲状況検知部120はユーザの周囲に存在するユーザ以外のオブジェクトを検知対象として所定の物理量の測定を行う。したがって、周囲状況検知部120の検知対象としては、カメラによる撮影以外にも温度計による外気温の測定や湿度の測定などにより外気温や湿度を検知する構成としても良い。
音声入力部130は、音声を入力し、A/D変換処理やサンプリング処理、音声富豪か処理など所定の処理を行うことで音声情報を生成する。図13では、音声入力部130は、ユーザが発する音声を主に集音するユーザマイク131と、ユーザの周囲で発生している音声を主に集音する周囲マイク132を備える。音声入力部130で生成される音声情報は、所定の音声解析処理が行われた後に必要に応じて音声再生制御部162における音声レベル処理や、ユーザ認証処理部1320におけるユーザ認証処理に用いられる。
仮想現実コンテンツ映像生成処理部141は、ユーザに提供される仮想現実コンテンツに係る映像を生成する処理を行う。具体的には、3次元方向の一定の広がりを持つ抽象的な空間である仮想現実空間に配置された仮想現実オブジェクトを所定の視点から描画する処理を継続して行うことで2次元の仮想現実オブジェクト映像を生成する。仮想現実オブジェクトは仮想現実コンテンツの一部を構成するデータやメソッド(プログラム)をメンバーに持ち、仮想現実空間に配置されるオブジェクトである。
表示制御部142は、仮想現実コンテンツ映像生成処理部142で生成される仮想現実コンテンツに係る映像を表示部150に表示する制御を行う。
表示部150は、表示制御部142からの表示制御に従い、仮想現実コンテンツの映像を表示する。表示部150は、ユーザの右目用の仮想現実コンテンツに係る映像を表示するライトパネル151aと、ユーザの左目用の仮想現実コンテンツに係る映像を表示するレフトパネル151bと有する。上述の仮想現実コンテンツ映像生成処理部141は、当該ライトパネル151a用とレフトパネル151b用に所定の視差を持つ2系統の映像を生成する。
仮想現実コンテンツ音声生成処理部161は、ユーザに提供される仮想現実コンテンツに係る音声を生成する処理を行う。具体的には、仮想現実空間に配置された仮想現実オブジェクトと関連付けられた状態で記憶されている音声データを読み出し、当該仮想現実オブジェクトの位置から発せられるように音声データを各スピーカ系統へ振り分ける処理を行う。
音声再生制御部162は、仮想現実コンテンツ音声生成処理部161で生成される仮想現実コンテンツに係る音声にレベル調整処理やD/A変換処理など各種音声再生処理を行う。
音声出力部170は、音声再生制御部162における音声再生処理によってアナログ音声信号を空気振動に変換して外部へ出力する。音声出力部170は、ユーザの右耳用のライトスピーカ171aと左耳用のレフトスピーカ171bを備える。
仮想現実提示制御部180は、ユーザに仮想現実世界を提示するための各種制御を行う。例えば、仮想現実提示制御部180は、ユーザ状態検知部110で検知されるユーザの頭部の傾きや加速度に基づいてユーザの眼球位置座標や耳の位置座標を算出し、当該位置座標を仮想現実コンテンツ映像生成処理部141や仮想現実コンテンツ音声生成処理部161へ出力することで仮想現実コンテンツの映像や音声がユーザの頭部の動きと連動するように制御する。
通信処理部190は、仮想現実コンテンツ提供システム1000側と通信を行う。具体的には、通信処理部190は、仮想現実コンテンツ提供システム1000より提供する仮想現実コンテンツを受信する受信処理を行ったり、当該仮想現実提示装置100を使用しているユーザを識別するユーザ識別情報や認証用のパスワードを仮想現実コンテンツ提供システム1000へ送信する送信処理を行ったりする。
図14は、当該仮想現実提示装置100の外観図の一例である。図14に示す例において仮想現実提示装置100はユーザが頭部に装着するHMD(Head Mount Display)装置の形態を取る。仮想現実提示装置100は、両耳に引っ掛けるライトフレーム101aとレフトフレーム101bと、当該両フレームを前方で結合し、右目用のライト表示パネル151aと左目用のレフト表示パネル151bを保持するセンターフレーム101cを備える。また、各ライトフレーム101aとレフトフレーム101bの後端の内側にはライトスピーカ171a、レフトスピーカ171bが、外側には周囲マイク132a、132bがそれぞれ配置され、両サイドにはユーザの右左をそれぞれ撮影する周囲カメラ122a、122bが配置されている。センターフレーム101cの外側(前方)にはユーザの視線方向を撮影する視線カメラ121a、121bが配置され、センターフレームの内側にはユーザの左右の眼球を撮影する眼球カメラ113a、113bがそれぞれ配置されている。なお、視線カメラ121a、視線カメラ121bは、前方を向いているユーザの左右の目で見える景色と同様の範囲の景色を撮影するカメラである。また各フレームには、傾きを検知する傾きセンサ111a〜111eと、加速度を検知する加速度センサ112a〜112eがそれぞれ配置されている。
図12に戻り、ユーザ情報管理部1110は、ユーザを識別するユーザ識別情報と当該ユーザが消費可能な仮想現実コンテンツの制限情報とを関連付けた状態で管理する。図15は、当該ユーザ情報管理部1110が記憶・更新するユーザ情報管理テーブルの一例である。図15に示すユーザ情報管理テーブルでは、ユーザを識別するユーザ識別情報と当該ユーザが消費可能な仮想現実コンテンツの制限情報とが関連付けられた状態で記憶されている。また、図15に示すユーザ情報管理テーブルでは、認証処理用のパスワードもユーザ識別情報と関連付けられた状態で記憶されている。ここで、制限情報とはユーザに対する仮想現実コンテンツの提供を制限する処理に用いられる情報である。
仮想現実コンテンツ管理部1120は、仮想現実コンテンツを識別する仮想現実コンテンツ識別情報と当該仮想現実コンテンツに割り当てられた制限情報とを関連付けた状態で管理する。図16は、仮想現実コンテンツ管理部1120が記憶する仮想現実コンテンツ管理テーブルの一例である。図16に示す仮想現実コンテンツ管理テーブルでは、仮想現実コンテンツを識別する仮想現実コンテンツ識別情報と当該仮想現実コンテンツに割り当てられた制限情報とが関連付けられた状態で記憶されている。
通信処理部1310は、仮想現実コンテンツの提供対象であるユーザが装着している仮想現実提示装置100と通信を行う。通信処理部1310は、当該提供対象となるユーザを識別するユーザ識別情報と認証処理用のパスワードを仮想現実提示装置100より受信する。また、通信処理部1310は、当該ユーザに提供される仮想現実コンテンツに係る情報を仮想現実提示装置100へ送信する。
ユーザ認証処理部1320は、通信処理部1310で受信されたユーザ識別情報とパスワードの組み合わせが、ユーザ情報管理部1110で管理されているユーザ識別情報とパスワードの組み合わせと一致しているかを確認するユーザ認証処理を行う。
仮想現実コンテンツ選択処理部1330は、ユーザ認証処理部1320で認証処理に成功したユーザに関連付けられている制限情報に基づいて、仮想現実コンテンツ記憶部1200に記憶されている仮想現実コンテンツの中から、提供可能な仮想現実コンテンツを選択して前記ユーザに提供する処理を行う。
図17は、当該仮想現実コンテンツ選択処理部1330の処理の流れの一例である。図17では、ユーザが提供を希望する仮想現実コンテンツを識別する識別情報が合わせて通信処理部1310で受信される場合における流れを示している。
仮想現実コンテンツ選択処理部1330は、仮想現実コンテンツの提供に係るユーザを識別するユーザ識別情報を取得する(ステップS101)。仮想現実コンテンツ選択処理部1330は、ステップS101で取得したユーザ識別情報に基づいて、当該ユーザに提供可能な仮想現実コンテンツに関する制限情報をユーザ情報管理部1110に記憶されているユーザ情報管理テーブルを参照して取得する(ステップS102)。仮想現実コンテンツ選択処理部1330は、ユーザより提供を要求されている仮想現実コンテンツが、ステップS102で取得した制限情報に基づいて提供可能かどうかを仮想現実コンテンツ管理部1120で記憶されている仮想現実コンテンツ管理テーブルを参照して判定する(ステップS103)。ステップS103で提供可能と判定された場合は、仮想現実コンテンツ選択処理部1330は、当該要求されている仮想現実コンテンツを仮想現実コンテンツ記憶部1200より読み出し、通信処理部1310を介して仮想現実提示装置100へ送信することにより仮想現実コンテンツを提供する処理を行う(ステップS104)。一方、ステップS103で提供不可能と判定された場合は、要求されている仮想現実コンテンツを提供すること無く処理を終了する。
以上に説明したように制限情報を媒介してユーザと当該ユーザに提供可能な仮想現実コンテンツとを管理することにより、仮想現実コンテンツの提供制限を柔軟に変更することが可能になる。
なお上述した仮想現実提示装置100におけるUI以外の各種機能は仮想現実コンテンツ提供システム1000側に配置されていても良いし、仮想現実コンテンツ1000に含まれる各種機能は仮想現実提示装置100に取込まれる形で構成されていても良い。
また、図14で例示した仮想現実提示装置100は、表示パネルとして投下型表示パネルが配置され、現実世界と仮想現実世界を融合する複合現実(MR:Mixed Reality)や現実世界を拡張する拡張現実(AR:Agumentede Reality)にも応用出来る場合について説明した。しかし、仮想現実提示装置100の表示パネルを非透過型パネルとし、ユーザに提示される映像の全てが仮想現実コンテンツ映像生成処理部で生成される仮想現実世界の映像とする構成としても良い。
<実施形態2>
従来の暴力アニメや暴力ゲームの場合であれば、図6においてタイプJに多く属すると思われる子供が架空世界と現実世界の区別する能力が十分に備わっていないにもかかわらずこれらのコンテンツを消費することで道徳教育が上手く機能しなくなる可能性がある。したがって、これらの暴力コンテンツに早い段階で接することで子供達が図5のタイプGやタイプHの人間へ成長してしまい、最終的にタイプDの人間となってしてしまうことを防ぐため、一律に年齢による暴力アニメ等への制限を加えることは適切な対処方法と言える。しかしながら、仮想現実コンテンツの場合は、通常であれば架空世界と現実世界の区別をつけられる人であっても現在自分が感知している世界が現実世界なのか仮想現実世界であるのかの区別が付けられないため、現行の年齢制限によるコンテンツへのアクセス制限方法では対処できないことになる。
このような課題に対して実施形態1に係る仮想現実コンテンツ提供システムによれば、ユーザ単位で提供可能な仮想現実コンテンツの制限及び制限の変更が可能である。したがって、現実世界と連動しない従来コンテンツで用いられていた年齢による一律制限と比較して、コンテンツ消費に伴う悪影響が現実世界へ及ぶことを軽減することが可能となる。
しかしながら、コンテンツのサプライヤー側からユーザ側へ一方的に提示される従来コンテンツとは異なり、仮想現実コンテンツにおいて悪影響が現実世界へ波及する場合というのは、現実世界と比較して制約の緩い仮想現実世界の中でユーザが取った行動をそのまま現実世界に持ち込んで行動してしまう場合である。
すなわち図18に示すように、現実世界でユーザが行える行動よりも、仮想現実世界でユーザが行える行動の方が一般的に広い。これは、仮想現実世界は、現実世界よりも「物理的制約」、「法律的制約」、「道徳的制約」のいずれかが緩和されているためである。図18において、斜線範囲は、現実世界と仮想現実世界との差異を表しており、現実世界では禁止されているものの仮想現実世界では許容される行動の範囲を示している。ユーザが仮想現実世界において当該斜線範囲で行動を行った後に、その行動が現実世界でも許容されると錯覚して現実世界で同様の行動を取ってしまった場合、仮想現実コンテンツを消費したことによる悪影響が現実世界へ波及したことになる。
このように、一方通行型の従来コンテンツにおいて悪影響が現実世界へ波及する場合とは異なり、仮想現実コンテンツにおいて悪影響が現実世界へ波及する場合というのは、仮想現実世界内でユーザが行う行動に起因している。それにもかかわらず仮想現実コンテンツ単位で提供規制を行うことは課題解決方法としては大雑把過ぎるものであり、ユーザが仮想現実世界を堪能する機会を奪っていることになる。
本実施形態2に係る仮想現実コンテンツ提供システムは、上記課題を鑑み、ユーザへの仮想現実コンテンツの提供機会を過度に損なうこと無く、ユーザが仮想現実コンテンツを消費することにおける悪影響が現実世界へ波及することを軽減することを目的としている。
本実施形態2の具体的形態を説明する前に、本実施形態を適切に理解するための導線となる概念の説明を行う。図19、20は本実施形態2に係る仮想現実提示システムの構成を説明するための概念図である。図9で説明したように私達が生きるこの世界を情報処理の観点からモデル化した場合、この世界はアナログ情報空間10と、デジタル情報空間20と、インタフェース空間30の3つの空間に分解することができる。
実施形態1で説明した仮想現実コンテンツ提供システム1000は、仮想現実世界を生成するための情報処理を行うシステムであり、したがってデジタル情報空間20に位置している。一方、仮想現実提示装置100は、インタフェース装置31の機能を取込みつつ仮想現実世界を創り出す機能を有しているため、インタフェース空間30とデジタル情報空間20に跨がる場所に位置していると言える。
実施形態1では、仮想現実提示装置100が有するインタフェース機能を入力系機能部32と出力系機能部33という入出力の観点で分類している。入力系機能部32はアナログ情報空間10からデジタル情報空間20へ向かう情報の変換を行う機能部であり、図13の例ではユーザ状態検知部110、周囲状況検知部120、音声入力部130などが該当する。一方、出力系機能部33は、デジタル情報空間20からアナログ情報空間10へ向かう情報の変換を行う機能部であり、図13の例では表示制御部142、表示部150、音声再生制御部162、音声出力部170などが該当する。
しかしながら、実施形態1における入力系機能部32は、出力系機能部33における出力を補助するために用いられている。例えば、実施形態1においてユーザ状態検知部110は、ユーザの眼球位置座標や耳の位置座標を求めるために配置されている。これらの位置座標情報は、表示部150や音声出力部170でユーザに提示される仮想現実オブジェクトの映像や音声を生成する際に用いられる。
図20は、オブジェクト指向の観点でこの世界を再構築した場合の概念図である。現実世界10に生きる私達は、様々なオブジェクト(モノ)と相互作用を繰り返しながら生きている。例えばオブジェクトであるドアを開ける場合は、ドアを押すという作用を行い、当該作用に応じる形でドアが開くと共にその作用の結果が反作用という形で私達へ返還される。このオブジェクトの観点から世界を再構築すると他人もオブジェクトであり、私達自身もまたオブジェクトである。現実世界では自然界を規定する物理法則(重力、電磁気力、弱い力、強い力など)に従ってオブジェクト同士が相互作用を繰り返している。私達は、感覚器官を介してオブジェクトの状態を入力し、記号化処理を行うことでこの世界を脳内で再構築している。
一方、仮想現実世界20には現実世界の一部を模倣した状態で仮想現実オブジェクトが配置される。現実世界10においてユーザは何らかの行動を行うことで周囲のオブジェクトに作用を与え、感覚器官を介してその作用の結果である反作用を入力し、当該入力した情報を脳内で処理している。仮想現実世界20を感知しているユーザの脳内で起こる情報処理が現実世界10を感知しているユーザの脳内で起こる情報処理と同じよう行われることが、ユーザにとって仮想現実世界20と現実世界10との境界を喪失させることになり、より良い仮想現実世界20を作り出すことになる。そうであるならば、インタフェース装置30は、図20のようにユーザが外部のオブジェクトへ行う作用を検出する作用検出機能部34と、当該作用の結果としての反作用をユーザへ返還する反作用返還機能部35というようにユーザ視点で作用反作用の軸で分類することが好ましいことになる。作用検出機能部34は、ユーザの行動を検出する機能部とも言えるため以下の説明では行動検出機能部34と称することがある。また、反作用返還機能部35は、ユーザが行った行動によって引き起こされる結果をユーザに提示する機能部とも言えるため以下の説明では行動結果提示機能部35と称することがある。
図21は、本実施形態2に係る仮想現実提示システム20000の全体構成を示すブロック図である。仮想現実提示システム20000は、仮想現実提示装置200と、仮想現実コンテンツ提供システム2000と、を含んで構成される。
仮想現実提示装置200は、仮想現実オブジェクトの映像を表示する仮想現実オブジェクト映像表示部250と、ユーザの行動を検出するユーザ行動検出部280と、を具備する。また、仮想現実コンテンツ提供システム2000は、仮想現実オブジェクト映像生成処理部2310と、オブジェクト挙動制御部2320と、注意喚起処理部2330と、を具備する。
仮想現実オブジェクト映像生成処理部2310は、仮想現実オブジェクトの映像を生成する。ここで、仮想現実オブジェクト映像は、実施形態1で説明した仮想現実コンテンツ映像の一種であり、少なくとも仮想現実オブジェクトを含む2次元の映像である。例えば、仮想現実オブジェクト映像生成処理部2310は、仮想現実空間に配置されている仮想現実オブジェクトを、後述するユーザ位置座標更新処理部2350が更新する仮想現実空間におけるユーザの眼球位置座標と視線方向に基づいて描画する処理を行うことで2次元の仮想現実オブジェクト映像を生成する。仮想現実空間における視点位置座標や視線方向は、現実世界におけるユーザの眼球位置や視線方向とリンクしているため、ユーザの眼球位置や視線方向が変化すると、描画処理に用いられる眼球位置座標や視線方向も連動して変化する。したがって、仮想現実空間で仮想現実オブジェクトの位置が変化していなくても、2次元の仮想現実オブジェクト映像に含まれる仮想現実オブジェクトの位置は変化することになる。
仮想現実オブジェクト挙動制御部2320は、ユーザ行動検出部280で検出されたユーザの行動に基づいて仮想現実オブジェクトの挙動を制御する。例えば、ユーザが人型の仮想現実オブジェクトを殴る行動を行った場合、仮想現実オブジェクト挙動制御部2320は当該仮想現実オブジェクトが倒れるといった挙動をとるように仮想現実ブジェクトを制御する。一方、仮想現実オブジェクトの頭を撫でる行動を行った場合、仮想現実オブジェクト挙動制御部2320は当該仮想現実オブジェクトが喜ぶといった挙動をとるように仮想現実オブジェクトを制御する。これらの仮想現実オブジェクトの「倒れる」や「喜ぶ」といった挙動は予め当該仮想現実オブジェクトに設定されている。ユーザ行動に基づいて予め当該仮想現実オブジェクトに設定されている挙動プログラムであるメソッドの中から当該ユーザ行動に対応するメソッドが呼び出されて実行されることにより、仮想現実オブジェクトは対応する挙動を示すことになる。
ここで、頭を撫でる行動は現実世界でも特に問題とはならないが、殴る行動は現実世界では問題がある。そこで、仮想現実オブジェクト挙動制御部2320は、ユーザからの殴るという行動が検出されて仮想現実オブジェクトに倒れるといった挙動を取るように制御する場合に、合わせて問題行動情報を生成して注意喚起処理部2330に出力する。
注意喚起処理部2330は、仮想現実オブジェクトに対してユーザより行われた所定の行動に基づいて、当該ユーザに対して注意喚起するための注意喚起処理を実行する。例えば、仮想現実オブジェクト挙動制御部2320が行う仮想現実オブジェクトの挙動制御処理に伴って上記問題行動情報が生成された場合に、注意喚起処理部2330は、注意喚起画面をユーザに対して表示したり注意喚起音をユーザに対して出力したりするための注意喚起指示情報を仮想現実提示装置200へ送信する。例えば、仮想現実提示装置200において、仮想現実オブジェクト映像表示部250は、注意喚起処理部2330における当該注意喚起処理に基づいて注意喚起指示情報が出された場合に、仮想現実オブジェクト映像生成処理部2310で生成された仮想現実オブジェクト映像と注意喚起用映像を多重した映像を表示することにより、注意喚起を行う。
以上の構成によれば、仮想現実世界にある仮想現実オブジェクトを現実世界にあるオブジェクトと仮定した場合に、問題となる行動が当該仮想現実オブジェクトに対してユーザより行われた場合にユーザに対して注意喚起を行う。当該構成とすることで、仮想現実コンテンツ単位で制限を加えるのではなく、現実世界へ悪影響を波及する恐れがある行動をユーザが仮想現実世界で行った場合に注意喚起することで、自らとった行動は現実の世界では問題となることをユーザが適切に認識することができる。したがって、本実施形態2にかかる仮想現実提示システムによれば、ユーザへの仮想現実コンテンツの提供機会を過度に損なうこと無く、仮想現実コンテンツを消費することにおける悪影響が現実世界へ波及することを軽減することができる。
なお、仮想現実提示装置200は、図22に示す構成としてもよい。図22に示す仮想現実提示装置200は、ユーザ状態検知部110と、周囲状況検知部120と、音声入力部130と、仮想現実オブジェクト映像表示部250と、仮想現実オブジェクト音声出力部270と、仮想現実提示制御部180と、通信処理部190と、注意喚起映像記憶部290を具備する。
既に上述したようにユーザ状態検知部110は、ユーザの状態を検知する。ユーザ状態検知部110は、細分化すると仮想現実オブジェクト映像や仮想現実オブジェクト音声を生成する際の位置座標を算出するためなどに用いられる出力制御用ユーザ状態検知部210−1と、ユーザの行動を検出するためなどに用いられる行動検出用ユーザ状態検知部210−2に分けることができる。出力制御用ユーザ状態検知部210−1は、実施形態1で説明したユーザ状態検知部と同様の構成であり、ユーザの頭部の傾きを検出する傾きセンサ111−1、ユーザの頭部の加速度を検出する加速度センサ112−1、ユーザの眼球を撮影する眼球センサ113などで構成される。一方、行動検出用ユーザ状態検知部210−2は、ユーザの手足などに取り付けられる傾きセンサ111−2や加速度センサ112−2や、ユーザからの行動を受け付ける複数のボタンが配置されているコントローラ114などで構成される。これらのセンサやコントローラは有線で通信可能な状態で装置本体と接続されていても良いし、無線通信可能な状態で接続されていても良い。ユーザ状態検知部110は検知されたユーザ状態を示すユーザ状態情報を生成する処理を行う。
周囲状況検知部120はユーザの周囲の状況を検知する。具体的には、ユーザの頭部の方向である前方方向を撮影する視線カメラ121やユーザの左右や後方などユーザの視界に入らない領域を撮影する周囲カメラ122などで構成される。以下の説明では周囲状況検知部120を、ユーザの周囲の景色を撮影する周囲撮影部120と称することがある。周囲状況検知部120は、ユーザの周囲の状況を撮影した画像データを含む周囲状況情報を生成する。
音声入力部130は音声を入力する。音声入力部130は、ユーザが発する音声を主に集音するユーザマイク131と、ユーザの周囲で発生する音声を主に集音する周囲マイク132などで構成される。音声入力部130は、入力した音声に所定の音声変換処理を行うことで入力音声情報を生成する。
仮想現実オブジェクト映像表示部250は、仮想現実オブジェクトの映像を表示する。具体的には、仮想現実オブジェクト映像表示部250は、実施形態1で説明した表示制御部142と表示部150の機能を持つ機能ブロックであり、仮想現実オブジェクト映像生成処理部2310で生成された仮想現実オブジェクト映像を表示する。なお、注意喚起処理部2330で注意喚起処理が行われた場合、すなわち注意喚起指示が出された場合、所定の注意喚起映像を仮想現実オブジェクト映像に多重して表示することで注意喚起を行う。
仮想現実オブジェクト音声出力部270は、仮想現実オブジェクトの音声を出力する。具体的には、仮想現実オブジェクト音声出力部270は、実施形態1で説明した音声再生制御部162と音声出力部170の機能を持つ機能ブロックであり、後述する仮想現実オブジェクト音声生成処理部2380で生成された仮想現実オブジェクト音声をスピーカより出力する。
仮想現実提示制御部180は、仮想現実オブジェクト映像表示部250や仮想現実オブジェクト音声出力部270を介してユーザに仮想現実世界を提示するための各種制御を行う。ユーザ行動検出処理部280は、仮想現実提示制御部180が有する機能の一つであり、行動検出用ユーザ状態検知部110−2で検知されたユーザの状態に基づいてユーザの行動を検出しユーザ行動情報を生成する処理を行う。すなわち、行動検出用ユーザ状態検知部110−2で検出されるデータは各種センサで得られる情報であり、これだけではユーザの行動とリンクしない。したがって、ユーザ行動検出処理部280は、行動検出用ユーザ状態検知部110−2を構成する各種センサで取得されるデータに対して所定の解析処理を行い、各種センサで取得されるデータに基づいてユーザの行動を検出し、当該ユーザの行動を示すユーザ行動情報を生成する。
仮想現実オブジェクト映像表示部250において仮想現実オブジェクト映像が表示されている場合、ユーザは現実世界の景色ではなく、当該人工的に作られた仮想現実世界の景色を見ていることになる。したがって、仮想現実オブジェクト映像を見ているユーザは仮想現実世界にいると捉えることが出来る。表示されている仮想現実オブジェクトを触ったり殴ったりするユーザの行動は、仮想現実世界で行われているユーザの行動と捉えることが出来る。ユーザ行動検出部280は、仮想現実提示装置200を使用しているユーザに対して仮想現実オブジェクト映像が表示されることにより仮想現実世界にいるユーザついて、当該ユーザの当該仮想現実世界内における行動を検出する処理を行う。
仮想現実オブジェクトは仮想現実空間(仮想現実世界)に配置された実体のないオブジェクトであるため、ユーザが当該仮想現実オブジェクトを触ったり殴ったりする行動を行ったとしても、実際に触ることはできずユーザの触覚は刺激されない。しかし、本明細書では、ユーザに見えている仮想現実オブジェクトを触ろうとする行動や殴ろうとする行動は、仮想現実世界において仮想現実オブジェクトを触ったり殴ったりする行動であると捉える。ユーザ行動検出部280は、このようなユーザの行動をユーザ状態検知部110において検知されるユーザ状態に基づいて検出する処理を行う。
通信処理部190は、ユーザ状態検知部110で生成されるユーザの状態を示すユーザ状態情報、周囲状況検知部120で生成されるユーザの周囲の状況を示す周囲状況情報、ユーザが発する音声や及び周囲で発生する音声のデジタル信号を含む入力音声情報、ユーザ状態情報に基づいてユーザ行動検出処理部280で生成されるユーザ行動情報などをインターネットなどの通信ネットワーク網を介して仮想現実コンテンツ提供システム2000へ送信する処理を行う。また、通信処理部190は、仮想現実コンテンツ提供システム2000側に配置されている注意喚起処理部2330において注意喚起処理が行われた場合に送信される注意喚起指示情報を受信する。
注意喚起映像記憶部290は、注意喚起用の映像を記憶する。仮想現実オブジェクト表示部250は、通信処理部190で注意喚起指示情報が受信された場合に、仮想現実提示制御部180からの制御に基づいて注意喚起映像記憶部290で記憶されている注意喚起映像の中から当該注意喚起指示情報で示される注意喚起に対応する注意喚起映像を読み出し、仮想現実オブジェクト映像に多重して当該多重した映像を表示する。
また、仮想現実コンテンツ提供システム2000は、図23に示すように構成してもよい。図23に示す仮想現実コンテンツ提供システム2000は、ユーザの情報を記憶・管理するユーザ情報管理部2100と、仮想現実コンテンツを記憶する仮想現実コンテンツ記憶部2200と、仮想現実コンテンツをユーザに提供する各種処理を行う仮想現実コンテンツ提供処理部2300とを含む。
図24はユーザ情報管理部2100に記憶される注意喚起用のユーザ管理テーブルの一例を示している。ユーザ管理テーブルは、ユーザを識別するユーザ識別情報と、当該ユーザに対して注意喚起を行う種類を示す注意喚起種別情報と、注意喚起を行う基準を示す注意喚起基準情報とが関連付けられた状態で記憶されている。例えばユーザIDがU0001のユーザに対しては暴力行動(Violence)に関する注意喚起と性的行動(Sexual)に関する注意喚起が行われるように設定されている。また、それぞれの行動に対して注意喚起を行う基準はそれぞれレベル1、レベル4に設定されている。
仮想現実コンテンツ記憶部2200は仮想現実コンテンツを記憶する。仮想現実コンテンツとしては、提供に係る仮想現実コンテンツの実行ファイル2201や仮想現実オブジェクトを定義するクラスファイル2202、当該クラスファイルに基づいて生成される仮想現実オブジェクトのインスタンス2203、仮想現実オブジェクトに関連付けられている仮想現実オブジェクト音声データ2204、などが含まれる。
図25は、「市民」の仮想現実オブジェクトのクラスファイルに関するソースコードの一例である。当該市民クラスは人型クラスを継承しており、当該クラスに基づいて仮想現実オブジェクトを生成するためのコンストラクタや、当該仮想現実オブジェクトに作用する挙動制御用の各種メソッドが記述されている。
仮想現実コンテンツ提供処理部2300は、通信処理部1310と、仮想現実オブジェクト映像生成処理部2310と、仮想現実オブジェクト挙動制御部2320と、注意喚起処理部2330と、周囲状況特定処理部2340と、ユーザ位置座標更新処理部2350と、仮想現実空間設定処理部2360と、仮想現実オブジェクト配置処理部2370と、仮想現実オブジェクト音声生成処理部2380と、問題行動管理テーブル記憶部2390とを具備する。仮想現実コンテンツ提供処理部2300における各種機能はネットワーク上に配置されている情報処理サーバにおけるソフトウェアとハードウェアの恊働によって実現される。したがって、以下の説明では仮想現実コンテンツ提供処理部を仮想現実コンテンツ提供処理サーバと称することがある。なお、上述したユーザ情報管理部2100や仮想現実コンテンツ記憶部2200の機能は当該仮想現実コンテンツ提供処理サーバに取込まれていても良い。
通信処理部1310は、仮想現実提示装置200と通信を行う。通信処理部1310は、仮想現実提示装置200より送信されるユーザ状態情報、周囲状況情報、入力音声情報、ユーザ行動情報などを受信する処理を行う。また、通信処理部1310は、注意喚起処理部2330で生成される注意喚起指示情報や、仮想現実オブジェクト映像生成処理部2310で生成される仮想現実オブジェクト映像、仮想現実オブジェクト音声生成処理部2380で生成される仮想現実オブジェクト音声、などの各種情報を仮想現実提示装置200へ送信する処理を行う。
図26は、上記仮想現実提示装置200へ送信される注意喚起指示情報のパケットの一例を示している。注意喚起指示情報には、宛先である仮想現実提示装置200のネットワーク上のアドレスを示す宛先アドレス情報、送信元である仮想現実コンテンツ提供処理サーバ2300のアドレスを示す送信元アドレス、当該パケットが注意喚起指示情報であることを示すパケット種別情報、注意喚起の種類を示す注意喚起種別情報、注意喚起のレベルを示す注意喚起レベル情報、注意喚起の方法を示す注意喚起方法情報、注意喚起を行う時間を示す注意喚起時間情報などが含まれる。
仮想現実提示制御部180は、通信処理部190で受信されたパケットに含まれるパケット識別情報を確認し、当該パケットが注意喚起指示情報であった場合に、注意喚起制御を行う。第1に仮想現実提示制御部180は、当該注意喚起指示情報に含まれる注意喚起方法情報に基づいて注意喚起を行う方法を特定する。ここで注意喚起を行う方法としては注意喚起映像を用いた視覚による注意喚起方法や、注意喚起音声を用いた聴覚による注意喚起方法の他、必要に応じて仮想現実提示装置200の本体内部に配置されている振動子を所定の注意喚起パターンに従って振動させる制御を行うことで触覚による注意喚起を行う注意喚起方法などがある。ここでは、注意喚起方法情報では視覚による注意喚起を行うことが指定されているものとして説明する。
仮想現実提示装置200において仮想現実提示制御部180は、注意喚起種別情報と注意喚起レベル情報に基づいて、対応する注意喚起用映像を注意喚起映像記憶部290より読み出し、仮想現実オブジェクト映像表示部250において仮想現実オブジェクト映像に当該注意喚起用映像を多重し、注意喚起時間情報で指定されている時間の間注意喚起映像を表示する制御を行う。
仮想現実空間設定処理部2360は、通信処理部1310を介してユーザより仮想現実コンテンツの提供開始指示を受けつけた場合などに、当該指示されている仮想現実コンテンツの実行ファイルを仮想現実コンテンツ記憶部2200より読み出して実行する処理を行う。仮想現実空間設定処理部2360は当該処理を行うことで、当該仮想現実コンテンツ提供用のメモリー領域を確保したり、位置座標の範囲を設定したりすることにより仮想現実空間を設定する。
周囲状況特定部2340は、通信処理部1310で受信された周囲状況情報を解析することでユーザの周囲の状況を特定する処理を行う。具体的には、周囲状況情報に含まれる画像と予め記憶しているオブジェクトパターンとのマッチング処理を行うことでユーザの周囲に存在するオブジェクトの種類を特定する処理や、当該オブジェクトをモデリングするモデリング処理を行うことで仮想現実オブジェクトを配置可能な場所を探索する処理などを行う。
ユーザ位置座標更新処理部2350は、ユーザ状態情報に基づいてユーザの現実世界におけるユーザの目の位置や視線方向に対応する仮想現実空間での眼球位置座標や視線方向を更新する処理を行う。また、ユーザ位置座標更新処理部2350は、必要に応じて現実世界におけるユーザの耳の位置に対応する仮想現実空間での耳位置座標を更新する処理を行う。
仮想現実オブジェクト配置処理部2370は、仮想現実空間に仮想現実オブジェクトを配置する処理を行う。例えば、仮想現実オブジェクト配置処理部2370は、当該仮想現実オブジェクトのコンストラクタを実行して当該仮想現実オブジェクトのインスタンスを生成し、当該仮想現実オブジェクトの仮想現実空間内での位置座標を示すフィールド値を設定することで仮想現実空間に仮想現実オブジェクトを配置する処理を行う。図25に示すクラスファイルのソースコードでは、仮想現実空間における当該生成する仮想現実オブジェクトの位置座標を引数とするコンストラクタが設定されている。仮想現実オブジェクト配置処理部2370は、周囲状況特定処理部2340で特定される仮想現実オブジェクトの配置可能領域の中であってユーザ位置座標更新処理部2350で更新されているユーザの位置座標と所定の位置ベクトル離れた位置座標を仮想現実空間における仮想現実オブジェクトの配置位置座標として決定し、当該コンストラクタの引数にセットして仮想現実オブジェクトを生成する処理を行うことで仮想現実オブジェクトを仮想現実空間に配置する。
仮想現実オブジェクト音声生成処理部2380は、仮想現実コンテンツ記憶部2200より仮想現実オブジェクト音声データを読み出し、ユーザ位置座標更新処理部2350によって更新される仮想現実空間におけるユーザの耳の位置座標に基づいて、仮想現実オブジェクト音声出力部270に含まれる複数のスピーカ171の系列で出力される音声のレベル調整を行うことで仮想現実オブジェクト音声を生成する。
仮想現実オブジェクト挙動制御部2320は、仮想現実オブジェクト配置処理部2370によって生成され、仮想現実空間に配置されている仮想現実オブジェクトについて、通信処理部1310で受信されるユーザ行動情報に基づいて挙動を制御する処理を行う。図25に示すように、仮想現実オブジェクトには挙動制御に関する様々なメソッドが定義されており、仮想現実オブジェクト挙動制御部2320は、ユーザ行動情報に基づいて対応するメソッドを実行することにより仮想現実オブジェクトの挙動を制御する。
ここで、図25に示すようにユーザからの撫でる行動に基づいて実行されるtatch28のメソッドには戻り値が設定されていないが、ユーザからの殴る行動に基づいて実行されるfallDown34のメソッドには戻り値が設定されている。ここでは当該戻り値は注意喚起処理部2330における注意喚起処理のトリガーとなる情報であり、ユーザが行った問題行動の種類を示している。
図27は、仮想現実オブジェクト挙動制御部2320によって実行される仮想現実オブジェクトの挙動制御に伴って生成される戻り値と対応する問題行動を纏めた管理テーブルの一例である。問題行動管理テーブル記憶部2390は、挙動制御に伴って生成される情報と対応する問題行動に関する情報を纏めた当該管理テーブルを記憶する。
例えば、ユーザが仮想現実オブジェクトを殴る行動を取ることによって仮想現実オブジェクト挙動制御部2320が仮想現実オブジェクトの挙動を制御する場合に、実行される挙動制御のメソッドの戻り値としては傷害罪に対応する0001や0002が設定される。例えば上述のfallDown34のメソッドの戻り値には0001が設定されており、ユーザ行動情報で示される内容が仮想現実オブジェクトを殴る行動であった場合に、仮想現実オブジェクト挙動制御部2320は、当該fallDown34のメソッドを実行することによりオブジェクトの挙動を制御するとともに、当該0001の戻り値を生成して注意喚起処理部2330へ渡す処理を行う。
また、図27に例示する問題行動に関する管理テーブルでは仮想現実オブジェクト挙動制御部2320で実行される仮想現実オブジェクト挙動制御のメソッドの戻り値には、対応する問題行動の内容に加えて注意喚起処理用のレベル情報が設定されている。
注意喚起処理部2330は、仮想現実オブジェクト挙動制御部2320においてユーザの問題行動に基づいて仮想現実オブジェクトの挙動を制御する処理が行われた場合、注意喚起処理を実行する。例えば、注意喚起処理部2330は、ユーザの問題行動に基づいて仮想現実オブジェクト挙動制御部2320において仮想現実オブジェクトの挙動を制御する処理を実行する際に生成された戻り値と、図27に示す管理テーブルとを用いて対応する問題行動の種類と問題行動のレベルを取得する。当該取得したレベルがユーザ情報管理部2100で管理されている当該問題行動を行ったユーザに設定されている注意喚起基準情報で示されるレベルを超えている場合に、当該問題行動に対応する注意喚起情報を生成する処理を行う。
図28は、一連の注意喚起処理の流れを示すフローチャート図である。注意喚起処理はユーザの行動によって引き起こされる。まず、ユーザ行動検出処理部280は、ユーザ状態検知部110において検知されるユーザ状態に基づいてユーザの行動を検出する処理を行う(ステップS201)。当該ユーザ行動検出処理部280における検出結果であるユーザ行動情報は仮想現実オブジェクト挙動制御部2320へ送られる。
ここで、ユーザ状態検知部110はセンサ等で構成されるため、ユーザ行動検出処理部280は各センサで取得されている情報に基づいてユーザ行動を検出する。ユーザ行動とは、「殴る」、「撫でる」、「触る」、「寝転ぶ」、「笑う」、「泣く」、「喋る」、「蹴る」、「歩く」、「走る」、「キスをする」、「押し倒す」、「あくびをする」、「コントローラのAボタンを押す」、「コントローラの十字キーを押す」など、ユーザが外部に向けて意図的に行う作用のことを言う。ユーザ行動検出処理部280は、ユーザ状態検知部110で検知されるユーザの状態に基づいて、当該ユーザ状態とユーザ行動との対応を纏めた対応テーブルを参照して変換処理等を実行することにより、上記検知されたユーザ状態に対応するユーザ行動を検出し、検出内容をユーザ行動情報として生成する。例えば、ユーザ行動が「殴る」という行動であった場合、ユーザ行動検出部280は、「殴る」という行動内容を示す情報の他、殴る拳の位置座標と殴る方向、殴る速度などの情報を合わせてユーザ行動情報として生成する。
仮想現実オブジェクト挙動制御部2320は、当該ユーザ行動検出処理部280において検出されたユーザ行動を示すユーザ行動情報に基づいて、当該ユーザ行動に対応する仮想現実オブジェクト挙動制御処理を実行する(ステップS202)。
例えば、仮想現実オブジェクト挙動制御部2320は、ユーザ行動情報で示される行動内容と、当該行動が行われている位置座標に基づいて、仮想現実空間に配置されている仮想現実オブジェクトに対する行動であるかを判定する。当該判定の結果仮想現実オブジェクトに対するユーザからの行動である場合は、当該仮想現実オブジェクトに設定されている挙動制御に関するメソッドであって、当該ユーザ行動に応じたメソッドを呼び出して実行する。当該処理を実行することにより、仮想現実オブジェクト挙動制御部2320は、検出されたユーザ行動に基づいて仮想現実オブジェクトの挙動を制御する。
ステップS202で実行された挙動制御処理が、注意喚起処理を伴う挙動制御処理でなかった場合(ステップS203でNo)、ステップS201で検出されたユーザ行動に基づく注意喚起処理は行われず処理を終了する。一方、ステップS202で実行された挙動制御処理が、注意喚起処理を伴う挙動制御処理であった場合(ステップS203でYes)、注意喚起処理部2330は、当該挙動制御処理に対応付けられている問題行動の種類とレベルに関する情報を取得する(ステップS204)。
例えば、注意喚起処理部2330は、仮想現実オブジェクト挙動制御部2320における挙動制御処理において注意喚起処理のトリガーとなる戻り値が返された場合、図27に例示する管理テーブルを参照して当該戻り値に対応する問題行動の種類とレベルに関する情報を取得する。
ここでは、ステップS201で検出されたユーザIDがU0001であるユーザの行動が仮想現実オブジェクトを殴る行動であったものとし、当該仮想現実オブジェクトに設定されている図25に例示するfallDown34のメソッドが実行されて戻り値0001が返された場合について説明する。この場合、注意喚起処理部2330は、図27に示す管理テーブルを参照し、問題行動の内容が034で示される傷害罪に関連する問題行動であり、問題行動のレベルが2であるとして、当該034と2の値をそれぞれ変数に代入することで当該戻り値に対応する問題行動の種類とレベルに関する情報を取得する。
続いて、注意喚起処理部2330は、当該取得した問題行動の種類に対して、当該問題行動を行ったユーザに設定されている注意喚起基準情報を取得する(ステップS205)。ステップS204で取得された問題行動の内容は034で示される傷害罪であったため、注意喚起処理部2330は、図24に例示する管理テーブルを参照し、当該ユーザIDがU0001であるユーザの傷害罪に対応する注意喚起基準情報を取得する。図24の管理テーブルでは傷害罪や殺人罪はすべてViolenceに包含される形で設定されているため、注意喚起処理部2330は、034で示される問題行動内容である傷害罪と対応するViolenceと関連付けられている注意喚起基準情報を取得する。注意喚起処理部2330は、当該注意喚起基準情報で示される1の値を変数に代入することで注意喚起基準情報を取得する。
次に、注意喚起処理部2330は、ステップS204で取得した問題行動のレベルと、ステップS205で取得した注意喚起基準のレベルとを比較する処理を行う(ステップS206)。当該比較処理の結果、当該ユーザが行った問題行動のレベルが当該ユーザに設定されている注意喚起基準を下回っている場合(ステップS206でNo)、注意喚起を行う必要は無いとして処理を終了する。一方、当該比較処理の結果、当該ユーザが行った問題行動のレベルが当該ユーザに設定されている注意喚起基準を上回っている場合(ステップS206でYes)、注意喚起を行う必要があるとして当該問題行動に対応する注意喚起の実行を指示する注意喚起指示情報を生成する処理を行う(ステップS207)。
上述の例の場合、問題行動に設定されているレベルが2であり、注意喚起基準として設定されているレベルが1であるため、注意喚起処理部2330は注意喚起を行う必要があるとして図26に例示した注意喚起指示情報を生成する処理を行う。
ステップS207で生成された注意喚起指示情報を受け取った場合、仮想現実提示装置200において、仮想現実提示制御部180は、注意喚起指示情報に含まれる注意喚起方法にしたがってユーザに注意喚起を行うための制御を実行する(ステップS208)。当該制御に従い、指定されている注意喚起方法にしたがってユーザに注意喚起が行われる。例えば、注意喚起映像を用いた注意喚起方法が指定されている場合、仮想現実オブジェクト映像表示部250は、仮想現実オブジェクト映像生成処理部2310で生成された仮想現実オブジェクト映像に当該注意喚起映像を多重して表示することにより注意喚起を行う。
以上説明したように、本実施形態2に示す仮想現実提示システムによれば、仮想現実コンテンツ単位で消費制限を行うのではなく、仮想現実世界でユーザが問題行動として設定されている行動を行った場合に注意喚起を行う構成を取る。したがって、問題行動を起こさない限りユーザは仮想現実コンテンツが創り出す仮想現実世界を堪能することができる。
図29は、注意喚起の具体例を示す図である。仮想現実提示装置200の表示パネル151が透過型パネルである場合に説明する。図29に示す景色2001は、透過型パネルを通してユーザに見える現実世界の景色を示している。仮想現実空間設定処理部2360が生成する仮想現実空間には仮想現実オブジェクト配置処理部2370によって「犬」の仮想現実オブジェクトが配置されている。ユーザ状態検知部110によって検知されるユーザ状態に基づいてユーザ位置座標更新処理部2350が仮想現実空間内におけるユーザの眼球位置座標を更新する処理を行い、仮想現実オブジェクト映像生成処理部2310は、当該ユーザの眼球位置座標から仮想現実空間を描画する処理を実行することで、2003に示す仮想現実オブジェクト映像を生成する。仮想現実オブジェクト映像表示部250が当該生成された仮想現実オブジェクト映像を表示することにより、ユーザには現実世界の景色と仮想現実オブジェクト映像が重なった2004のような現実世界とは異なる景色が見えることになる。
この状態でユーザが当該仮想現実オブジェクト2003を叩く行動を取ったとする。具体的には仮想現実オブジェクトの位置に腕を振り下ろす動作がユーザ状態検知部110で検知された場合、ユーザ行動検出処理部280は、仮想現実オブジェクト2003を叩く行動が行われたと判定する。ユーザ行動検出処理部280は、「叩く」という行動内容や、ユーザの手の位置座標や叩く強さなどに関する情報を含むユーザ行動情報を生成する。仮想現実オブジェクト挙動制御部2320は当該ユーザ行動情報に基づいて、当該仮想現実オブジェクト2003に設定されている当該ユーザ行動情報で示される内容に対応する挙動を行うように仮想現実オブジェクトを制御する。具体的には、仮想現実オブジェクト挙動制御部2320は、当該仮想現実オブジェクトに設定されているメソッドであって当該ユーザ行動情報で示される内容に対応するメソッドを実行する。ここでは、仮想現実オブジェクト2003には「叩く」行動に対して「震える」という挙動を行うメソッドが設定されているため、仮想現実オブジェクト挙動制御部2320は、当該「震える」のメソッドを読み出して実行する。仮想現実オブジェクト映像生成処理部2310は、当該震える挙動を行っている仮想現実オブジェクト2003の映像を生成する。
当該「震える」のメソッドには戻り値が設定されており、注意喚起処理部2330は、当該仮想現実オブジェクトの挙動制御処理に伴って生成される戻り値に基づいて注意喚起を行うかを判定する。ここでは仮想現実オブジェクト挙動制御部2320における挙動制御処理によって戻り値として0004が生成されるとし、注意喚起処理部2330は、図27に示す管理テーブルを参照して当該戻り値0004に対応する問題行動の内容の285、問題行動のレベルの4を取得し、変数に代入して一時的に保持する。続いて、注意喚起処理部2330は、当該問題行動を起こしたユーザについて当該問題行動の内容を示す285に対応するViolenceに対応付けられている注意喚起基準情報を取得する。ここでは当該ユーザはユーザIDがU0003のユーザであるとし、図24の管理テーブルを参照して注意喚起基準情報である3の値を取得し、変数に代入して一時的に保持する。注意喚起処理部2330は、一連の処理で取得した問題行動レベルの値「4」と、注意喚起基準情報の値「3」とを比較する処理を行い、問題行動レベルの値が上回っているため、注意喚起を行うと決定して注意喚起指示情報を生成する。仮想現実提示制御部180は、当該注意喚起指示情報にしたがい、当該注意喚起指示情報に含まれる注意喚起内容に基づいて対応する注意喚起映像2005を注意喚起映像記憶部290より読み出す制御を行う。仮想現実オブジェクト映像表示部250は、当該注意喚起映像2005と仮想現実オブジェクト映像2003を多重して表示することにより、ユーザには2006に示す景色が見えることになる。この景色が見えることにより、仮想現実世界では許容される当該行動について、現実世界で行った場合には問題になることを把握することが出来るため、仮想現実世界を体験することによる悪影響を現実世界へ引き摺ることを軽減することができる。
なお、上記説明ではユーザ行動検出処理部280が仮想現実提示装置200側に配置される場合について説明したが、これに限定するものでは無く図30に示すように仮想現実コンテンツ提供サーバ2300側に配置されていても良い。同様に、仮想現実オブジェクト映像生成処理部2310、仮想現実オブジェクト挙動制御部2320、注意喚起処理部2330などの各種機能が仮想現実提示装置200側に配置される構成であっても良い。
また、上記説明では注意喚起処理部2330は、所定のユーザ行動に基づいて仮想現実オブジェクト挙動制御部2320において所定の仮想現実オブジェクト挙動制御処理が実行された場合に注意喚起処理を行う場合について説明したが、これ以外の場合に注意喚起を行う構成としても良い。例えば、ユーザが仮想現実世界に没入し過ぎている場合に、注意喚起を行う構成としても良い。
この場合、ユーザ状態検知部110は、図31に示すようにユーザの体温、血圧、心拍数、脳波などユーザの生体情報を検知する生体センサを備える。体温センサ115はユーザの体温を検知し体温情報を生成する。血圧センサ116はユーザの血圧を検知し血圧情報を生成する。心拍数センサ117はユーザの心拍数を検知し、心拍数情報を生成する。脳波センサ118はユーザの脳波を検知し脳波情報を生成する。これらの体温情報、血圧情報、心拍数情報、脳波情報はユーザ状態情報として注意喚起処理部2330へ送られる。
注意喚起処理部2330は、ユーザ状態に基づいて注意喚起処理を行う。例えば、注意喚起処理部2330は、ユーザ情報管理部2100が記憶・管理する図32に例示するユーザ状態に応じた注意喚起の基準を纏めた管理テーブルを参照し、ユーザ状態検知部110で検知されたユーザ状態と比較することで注意喚起を行うかどうかを判定し、当該判定結果に基づいて注意喚起指示情報を生成する。例えば、ユーザIDがU0001のユーザについて心拍数センサ117で検知されるユーザの心拍数が130回/秒であった場合、注意喚起を行う基準として設定されている120回/秒よりも多いため注意喚起処理部2330は、心拍数が上がり過ぎていることを示す注意喚起指示情報を生成する。仮想現実提示制御部180は、注意喚起映像記憶部290より当該心拍数が上がり過ぎていることを示す注意喚起映像を読み出し、仮想現実オブジェクト映像表示部150で仮想現実オブジェクト映像と多重して表示する制御を行う。
このように、注意喚起処理部2330は、ユーザ情報管理部2100で記憶・管理されているユーザ状態に関する注意喚起基準を参照し、ユーザ状態検知部110で検知されるユーザ状態が当該注意喚起基準を超えている場合に注意喚起指示を行う。当該注意喚起指示に基づいて仮想現実提示制御部180において注意喚起のための制御が行われ、仮想現実オブジェクト映像表示部250等において注意喚起が実行される。
なお、注意喚起処理部2330は、ユーザの周囲状況に応じて注意喚起処理を行う構成としても良い。周囲状況検知部120はユーザの周囲の状況を検知する。周囲状況特定処理部2340は、周囲状況検知部120で検知された周囲状況に基づいて周囲状況を特定する処理を行う。具体的には、周囲状況特定処理部2340は、周囲状況検知部120で撮影されたユーザの周囲の景色の画像データに対して所定の画像解析処理を行うことにより、ユーザの進行方向に障害物はないかやユーザに向かってくる物体はないかなどユーザの周囲の状況を特定する処理を行う。
注意喚起処理部2330は、ユーザ情報管理部2100が記憶・管理する図33に例示する周囲状況の注意喚起の基準を纏めた管理テーブルを参照し、周囲状況特定処理部部2340で特定された周囲状況と比較することで注意喚起を行うかどうかを判定し、当該判定結果に基づいて注意喚起指示情報を生成する。例えば、ユーザIDがU0003のユーザについて周囲状況特定処理部2340で特定された周囲の状況として時速35km/hで接近する物体が検出された場合、注意喚起を行う基準として設定されている30km/hよりも速いため注意喚起処理部2330は、移動物体が近づいていることを示す注意喚起指示情報を生成する。仮想現実提示制御部180は、注意喚起映像記憶部290より当該移動物体が接近していることを示す注意喚起映像を読み出し、仮想現実オブジェクト映像表示部150で仮想現実オブジェクト映像と多重して表示する制御を行う。
このように、注意喚起処理部2330は、ユーザ情報管理部2100で記憶・管理されている周囲状況に関する注意喚起基準を参照し、周囲状況検知部120で検知されて周囲状況特定処理部2340で特定された周囲の状況が当該注意喚起基準を超えている場合に注意喚起指示を行う。当該注意喚起指示に基づいて仮想現実提示制御部180において注意喚起のための制御が行われ、仮想現実オブジェクト映像表示部250等において注意喚起が実行される。
なお、上記説明では注意喚起用映像を表示することで注意喚起を行う場合について説明したが注意喚起の方法としてはこれに限定するものではない。例えば、仮想現実オブジェクトに注意喚起用の挙動を行わせることで注意喚起を行う構成としても良い。注意喚起処理部2330は注意喚起を行うと判定した場合に、仮想現実オブジェクト挙動制御部2320に注意喚起用の挙動制御を仮想現実オブジェクトに対して行うよう注意喚起指示する。仮想現実オブジェクト挙動制御部2330は当該注意喚起指示に基づいて、予め設定されている注意喚起用の挙動制御メソッドを読み出して実行することにより、仮想現実オブジェクトに注意喚起用の挙動を取るよう制御する。例えば、ユーザが仮想現実オブジェクトを殴る行動を行い、当該行動に基づいて仮想現実オブジェクト挙動制御部2320において仮想現実オブジェクトの挙動制御が行われ、注意喚起処理部2330で当該挙動制御に基づいて注意喚起を行うと判定された場合に、仮想現実オブジェクト挙動制御部2320は注意喚起用のメソッドを実行し、仮想現実オブジェクトに注意喚起用の挙動を行うように制御する。また、仮想現実オブジェクト挙動制御部2320は、当該注意喚起指示に対応する注意喚起用の仮想現実オブジェクト音声データを読み出し、仮想現実オブジェクト音声生成処理部2380において注意喚起用の仮想現実オブジェクト音声が生成される。当該注意喚起用の仮想現実オブジェクト音声では、例えば仮想現実オブジェクトに「暴力を行うことは現実の世界では傷害罪に問われます。注意して下さい。」と言った内容の音声を喋らせることで仮想現実オブジェクトを利用した注意喚起を行う。
注意喚起用映像はユーザの視点移動に伴って表示位置が変化する仮想現実オブジェクトではないため、当該注意喚起用映像を見たユーザは、自身が見ている景色が現実世界の映像ではなく仮想現実世界の景色であることを認識することができる。このことは、ユーザの意識が仮想現実世界から離れることを意味する。一方、仮想現実オブジェクトを用いた注意喚起を行うことで、ユーザの意識を仮想現実世界に留めたまま注意喚起を行うことが出来る。
注意喚起機能としては、仮想現実世界で行う注意喚起よりも現実世界で行う注意喚起の方が効果は大きい。したがって、注意喚起を行うことが望ましいユーザ行動については仮想現実オブジェクトを用いた注意喚起方法により注意喚起を行うことにより、ユーザの意識を仮想現実世界に留めた状態で注意喚起を行う。一方、ユーザ行動が現実世界で行われた場合に大きな問題になる場合は、注意喚起用映像を用いる注意喚起方法により注意喚起を行うことでユーザの意識を仮想現実世界から現実世界へ戻した注意喚起を行う。このように、ユーザ行動に応じて異なる注意喚起方法を取ることにより、ユーザのストレスを軽減した注意喚起を行うことができる。
なお、仮想現実オブジェクト挙動制御部2320で実行される処理は、仮想現実コンテンツに含まれる処理であるのに対し、注意喚起処理部2330で行われる注意喚起処理は、仮想現実コンテンツに依存しない処理である。したがって、注意喚起処理部2330における注意喚起処理は、OS(Operating System)又はミドルウェアの一機能として実装され、仮想現実オブジェクト挙動制御処理は、当該OS又はミドルウェア上で実行される仮想現実コンテンツのプログラムの一機能として実装される構成とすることが好ましい。
また上記説明では挙動制御処理に伴って戻り値が返される場合について説明したがこれに限定するものではない。例えば当該挙動制御に係るメソッド内に問題行動用の変数に問題行動を示す値を代入する処理を付け加える構成など、さまざまな構成を取ることが可能である。
以上説明したように、本実施形態2にかかる仮想現実提示システムでは、ユーザの行動を検出するユーザ行動検出部280と、当該検出されたユーザの行動に基づいて仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御部2320と、当該仮想現実オブジェクトに対して行われた所定の行動に基づいて、当該ユーザに対して注意喚起を行う注意喚起処理部2330と、を具備する。すなわち、本実施形態2にかかる仮想現実提示システムにおいて、注意喚起処理部2330は、検出されたユーザの行動に基づいて仮想現実オブジェクトに対する所定の挙動制御処理が行われた場合に、当該ユーザに対して注意喚起を行う。当該構成とすることで仮想現実コンテンツの提供制限を抑えつつ、現実世界へ悪影響が及ぶことを軽減することができる。
また、注意喚起処理部2330は、仮想現実オブジェクトに対して行われた所定の行動に基づいて、当該所定の行動に関連付けられた注意喚起をユーザに対して行う構成とすると更に良好である。すなわち、単に注意喚起を行うだけでなく、その注意喚起の原因となった行動内容をユーザに示唆できる構成とすることで、当該行動を現実世界でユーザが行ってしまう可能性を軽減することができる。
また、仮想現実オブジェクト挙動制御部2320は、当該検出されたユーザの行動に対応する挙動を仮想現実オブジェクトに対して行わせる処理を実行する。ここで、注意喚起処理部2330は、仮想現実オブジェクトに対して行われた所定の行動に基づいて、注意喚起用の挙動を当該仮想現実オブジェクトに対して行わせる処理を実行するよう仮想現実オブジェクト挙動制御部2320に命令する構成とすると更に良好である。当該構成とすることで注意喚起処理部2330は、ユーザの意識を仮想現実世界に留めながら注意喚起を行うことが出来るため、ユーザのストレスを抑えた注意喚起が可能となる。
また、上記説明では仮想現実オブジェクト映像に注意喚起映像を多重して表示することで注意喚起が行われる場合について説明したが、これに限定するものではなく、仮想現実オブジェクト映像に代えて注意喚起映像を表示することで注意喚起を行う構成としても良い。
<実施形態3>
実施形態2にかかる仮想現実提示システムでは、ユーザ行動に基づいて注意喚起を行うことにより、仮想現実世界での体験による悪影響を現実世界へ持ち込んでしまうことを可能としている。一方、仮想現実提示システムはユーザの日常生活から離れた世界をユーザに提示することでユーザに仮想現実世界を体験させることを可能とする。そうすると、仮想現実コンテンツの中には「戦場で戦う」と言ったコンセプトの仮想現実コンテンツが制作される。ここで、ユーザが敵となる仮想現実オブジェクトを銃で撃つ度に注意喚起が行われていたのではユーザは仮想現実世界にいつまでたっても没入することができずストレスが溜まることになる。本実施形態3にかかる仮想現実提示システムでは仮想現実コンテンツに応じて柔軟に注意喚起を行うことを可能とする点を特徴とする。以下、図面を参照して説明する。ただし、仮想現実提示システムに含まれる仮想現実提示装置の構成は図31を援用して説明する。また、これまで説明した実施形態と同様、既に説明している機能については発明の明確化のため適宜説明を省略している。
図34は、本実施形態3にかかる仮想現実コンテンツ提供システム2000の構成を示すブロック図である。本実施形態3において仮想現実コンテンツ提供処理部2300が有する注意喚起処理部2330は、判定値記憶部3331と、判定値更新処理部3332と、比較処理部3333と、注意喚起指示情報生成処理部3334を具備する。また、ユーザ情報管理部2100は、比較処理部3333における比較処理で用いられる注意喚起に係る基準値を記憶する。したがって、本明細書ではユーザ情報管理部2100を基準値記憶部と称することがある。
図35は、ユーザと当該ユーザに設定されている基準値の対応関係を纏めた管理テーブルの一例である。図35に示すように各ユーザを識別するユーザ識別情報と、問題行動の種類を表す問題行動種別と、問題行動種別毎に注意喚起に関する基準値が対応付けられた状態で記憶されている。ユーザ情報管理部2100は、ユーザと当該ユーザに設定されている注意喚起に関する基準値とを対応付けた状態で記憶する。
判定値記憶部3331は、後述する比較処理部3333で行われる比較処理に用いられる注意喚起にかかる判定値を記憶する。図36は、判定値記憶部3331が記憶するユーザと当該ユーザが取得した判定値との対応関係を纏めた管理テーブルの一例である。図35で例示した基準値管理テーブルと同様、図36に示す判定値管理テーブルは、各ユーザを識別するユーザ識別情報と、問題行動の種類を表す問題行動種別と、問題行動種別毎に注意喚起に関する判定値が対応付けられた状態で記憶されている。
判定値更新処理部3332は、判定値記憶部3331で記憶されている注意喚起にかかる判定値を更新する処理を行う。本実施形態3において仮想現実オブジェクト挙動制御部2320は、ユーザ行動検出部280で検出されたユーザの行動に基づいて仮想現実オブジェクトに対する所定の挙動制御を行う場合に所定の数値を生成する処理を行う。当該数値の生成は、戻り値と言う形で変数に代入されても良いし、仮想現実オブジェクト挙動制御部2320が挙動制御にかかる仮想現実オブジェクトに対して実行する挙動制御メソッドの中に当該数値生成命令が追加されていても良い。仮想現実オブジェクト挙動制御部2320がどのような数値を生成するかは、実行される挙動制御処理に応じて定数が設定されていても良いし、所定のアルゴリズムに基づいて算出する構成としても良い。例えば、仮想現実オブジェクトを殴る行動が検出された場合に、殴る強さに応じて当該所定の数値を算出する構成としても良いし、当該行動に対応付けられている挙動制御メソッドが実行される場合に、当該挙動制御メソッドに設定されている定数が呼び出される構成としても良い。
判定値更新処理部3332は、仮想現実オブジェクト挙動制御部2320が生成する所定の数値に基づいて判定値記憶部3331で記憶されている判定値を更新する処理を行う。判定値更新処理部3332は、仮想現実オブジェクト挙動制御部2320で生成された数値を記憶されている判定値に加算することで判定値を更新しても良いし、所定の更新アルゴリズムにしたがって判定値を更新しても良い。
比較処理部3333は、更新処理部3332で更新された注意喚起にかかる判定値と、ユーザ情報管理部2100で記憶されている注意喚起にかかる基準値とを比較する処理を行う。
注意喚起指示情報生成処理部3334は、比較処理部3333における比較処理の結果、判定値が基準値を上回っている場合に、注意喚起指示情報を生成する。当該注意喚起指示情報は、通信処理部1310を介して仮想現実提示装置200の仮想現実提示制御部180へ送られ、当該仮想現実提示制御部180は、実施形態2で説明した場合と同様、注意喚起指示情報に含まれる内容にしたがってユーザに対して注意喚起を行う。なお、当該注意喚起指示情報が生成された場合は、判定値更新処理部3332は、該当する判定値を初期化する処理を行う構成とすると良い。
図37は、本実施形態3にかかる一連の処理の一例を示している。ユーザ情報管理部2100は、図35に例示したように注意喚起にかかる基準値を記憶する(ステップS301)。ユーザ情報管理部2100は、仮想現実コンテンツの提供に関わらず、ユーザ毎に当該基準値を設定して記憶しておく構成とすると良い。
仮想現実コンテンツの提供が開始される場合に、判定値記憶部3331は当該仮想現実コンテンツの提供にかかるユーザの判定値を記憶する(ステップS302)。例えば、判定値記憶部3331は、仮想現実コンテンツの提供が開始される場合に、当該仮想現実コンテンツの提供にかかるユーザの判定値の記憶領域を確保し、当該判定値を初期化する構成とすると良い。ここでは判定値は0に初期化されるものとして説明する。
仮想現実コンテンツの提供が開始されると、仮想現実オブジェクト配置処理部2370は、仮想現実オブジェクトを生成して仮想現実空間に配置し、仮想現実オブジェクト映像生成処理部2310は、当該仮想現実空間に配置されている仮想現実オブジェクトを描画する処理を行うことで仮想現実オブジェクト映像を生成する(ステップS303)。当該生成された仮想現実オブジェクト映像は必要に応じて圧縮符号化処理等が行われ、通信部1310を介して仮想現実提示装置200に送られ、仮想現実オブジェクト映像表示部250は、必要に応じて復号処理を行った上で当該生成された仮想現実オブジェクト映像を表示する(ステップS304)。以後、ユーザは仮想現実オブジェクト映像を見ることで仮想現実世界を体験することができる。
ユーザに対して仮想現実オブジェクト映像の表示が開始された後、ユーザ行動検出部280は、仮想現実オブジェクトに対するユーザの行動を検出する処理を行う(ステップS305)。仮想現実オブジェクト挙動制御部2320は、ユーザ行動検出部280で検出されたユーザの行動に対応する挙動を仮想現実オブジェクトに行わせる制御を行う(ステップS306)。具体的には、仮想現実オブジェクト挙動制御部2320は、ユーザ行動検出部280で検出されたユーザの行動にかかる仮想現実オブジェクトに設定されているメソッドであって、当該ユーザ行動に対応するメソッドを実行することで仮想現実オブジェクトの挙動を制御する。
仮想現実オブジェクト挙動制御部2320は、ステップS305における挙動制御に伴って注意喚起にかかる数値を生成する処理を行う(ステップS307)。なお、当該生成処理は、ステップS306の挙動制御処理の中に組み込まれていても良い。なお、ステップS305で検出されたユーザ行動に基づいて実行された挙動制御によっては上記数値が生成されなくても良い。殴られた場合に転倒する挙動など、仮想現実オブジェクトに対する所定の挙動制御を行った場合に、仮想現実オブジェクト挙動制御部2320は、所定のアルゴリズムにしたがって上記数値を一次保持用の変数に代入することで当該数値を生成する。ここでは、検出されたユーザ行動が仮想現実オブジェクトを殴るという行動であったとし、仮想現実オブジェクト挙動制御部2320は、仮想現実オブジェクトを倒す挙動制御を行うと共に、傷害罪にかかるカテゴリーに2という数値を生成するものとして説明する。
判定値更新処理部3332は、仮想現実オブジェクト挙動制御部2320が生成する数値に基づいて判定値を更新する処理を行う(ステップS308)。例えば、判定値更新処理部3332は、判定値記憶部3331で記憶されている判定値に、仮想現実オブジェクト挙動制御部2320が生成する数値を加算することで注意喚起にかかる判定値を更新する。
ステップS307において、ユーザIDがU0001であるユーザからの殴ると言う行動に基づいて仮想現実オブジェクト挙動制御部2320が傷害罪のカテゴリーに2という数値を生成したため、図36に示される該当する判定値である7という数値は、図38に示される9という判定値へ更新される。
判定値更新処理部3332において判定値の更新処理が行われた場合、比較処理部3333は、注意喚起にかかる基準値と更新された判定値とを比較する処理を行う(ステップS309)。比較処理部3333は、更新にかかるカテゴリーであるユーザIDがU0001のユーザの傷害罪に設定されている基準値を読み込み、更新された判定値と比較する。比較処理の結果、基準値が判定値を上回っている場合(ステップS309でNo)、注意喚起は行わないものとしてステップS305へ戻る。比較処理の結果、判定値が基準値を上回っている場合(ステップS309でYes)、ステップS310の注意喚起指示情報生成処理へ移る。今回のケースでは基準値が8であり、更新後の判定値は9であるため、ステップS310へ進む。
注意喚起指示情報生成処理部3334は、比較処理部3333における比較処理の結果、判定値が基準値を超えている場合に、ステップS305で当該行動が検出されたユーザに対して注意喚起の実行を指示する注意喚起指示情報を生成する処理を行う(ステップS310)。仮想現実提示制御部180は、当該注意喚起指示情報に基づいて注意喚起を行う(ステップS311)。
以上説明したように、本実施形態3にかかる仮想現実提示システムにおいて、仮想現実オブジェクト挙動制御部2320は、検出されたユーザの行動に基づいて仮想現実オブジェクトに対する所定の挙動制御を行う場合に所定の数値を生成し、判定値更新処理部3332は、当該生成される数値に基づいて注意喚起にかかる判定値を更新する処理を行う。仮想現実世界でユーザが問題となる行動を起こすことで更新されていく判定値と予め設定されている基準値とを比較する処理が行われ、新たに判定値が更新された結果基準値を上回った時点で注意喚起を行うよう構成される。当該構成とすることで、注意喚起処理部の機能をOSに搭載し、仮想現実コンテンツの製作者は問題となりそうな行動について所定の数値を生成するコードを追加するだけで対応することが可能となる。
<実施形態4>
本発明では仮想現実世界と現実世界で区別が付かない状態でユーザが仮想現実世界で問題行動を行った場合に、当該行動がその後現実世界へ持ち込まれてしまうことを軽減することを目的としている。しかし、ユーザが仮想現実世界を体験している場合でも、自身が感知している世界が現実の世界ではなく仮想現実世界であることをユーザが認識していれば、このような問題は起こらないため注意喚起を行う必要は無いといえる。それにもかかわらず、実施形態1〜3では仮想現実世界において問題行動が所定の基準量以上行われた場合に一律に注意喚起が行われる構成になっており柔軟性にかけていた。本実施形態4ではこの新たな課題を解決する手段を追加している点を特徴とする。
図39は、本実施形態4にかかる仮想現実コンテンツ提供システムの構成を示すブロック図である。図23に示す仮想現実コンテンツ提供システムと比較して、仮想現実コンテンツ提供処理部2300は、基準没入度記憶部4310と、没入度算出処理部4320と、没入度比較処理部4330とを具備する。
基準没入度記憶部4310は、判定処理の基準となる没入度を記憶する。没入度とは仮想現実オブジェクト映像や仮想現実オブジェクト音声の表示や出力がユーザに対して行われることで仮想現実世界を体験しているユーザが、当該仮想現実世界に入り込んでいる度合いを示す。
例えば、没入度は0〜100の間の値が設定され、没入度0は自身が感知している世界が作られた仮想現実世界であると完全に認識している状態であり、没入度100は、自身が感知している世界が現実世界であると完全に認識している状態である。基準没入度記憶部4310は、これらの数値の中から判定処理の基準となる没入度を記憶する。基準没入度はユーザ毎に設定されていても良いし、一律に所定の値が設定されていても良い。
没入度は、仮想現実世界を現実世界であると錯覚している度合いとも言えるため、以下の説明では錯覚度と称することがある。
没入度算出処理部4320は、ユーザ状態検知部110で検知されるユーザ状態に基づいて、仮想現実世界への没入度を算出する。仮想現実世界へユーザが没入していると没入していない場合では、脳の活動領域が異なるため脳波パターンが異なることになる。仮想現実世界であることを認識している場合、ユーザの脳内では、目などの感覚器官を通じて入力される情報を処理する領域とは別に、本来の現実世界の状態を別の領域で想起しているため、当該領域も活発化することになる。一方、没入度が高く、自身が感知している世界が現実世界であると錯覚している場合は、感覚器官を介して入力される情報の処理が活発化することになる。また、没入度が高い場合には、ユーザが興奮することで血圧の上昇、心拍数の上昇、体温の上昇が検知される傾向がある。ユーザ状態検知部110は、これらのユーザの生体情報を検知し、没入度算出処理部4320は、当該検知された生体情報に基づいて没入度を算出する。没入度の算出アルゴリズムは、基準没入度をどの値に設定するかや、どの生体情報を用いるかや、ユーザ毎に算出アルゴリズムを変化させるかなど、様々なアルゴリズムがとりえる。没入度算出処理部4320で算出される定量的な没入度と、ユーザが仮想現実世界を現実世界と錯覚する度合いとが線形関係になるような算出アルゴリズムを用いて当該没入度を算出する構成とすることが好ましい。
没入度比較処理部4330は、基準没入度記憶部4310で記憶される基準没入度と算出された没入度とを比較する処理を行う。注意喚起処理部2330は、算出された没入度が基準没入度を超えていると判定されている状態で、仮想現実オブジェクトに対して行われた所定の行動に基づいて、ユーザに対して注意喚起を行う。例えば、算出されたユーザの没入度が基準没入度を超えていると判定されている状態で、仮想現実オブジェクトに対する所定のユーザ行動が検出された場合や、当該検出されたユーザ行動に基づいて仮想現実オブジェクトに対する所定の挙動制御が行われた場合に、注意喚起処理部2330は、注意喚起指示情報を生成し、仮想現実提示制御部180を介してユーザに対して注意喚起を行う。
以上説明したように、本実施形態4にかかる仮想現実提示システムでは、ユーザの没入度に応じて注意喚起を行う。例え仮想現実世界でユーザが仮想現実オブジェクトを殴る行動を行っていても、それが現実世界のオブジェクトではなく仮想現実オブジェクトであるとユーザが適切に認識しているのであれば現実世界へ悪影響が持ち込まれる心配は少ない。一方、ユーザが仮想現実世界に没入しており、仮想現実世界と現実世界の区別がつかない状態で仮想現実世界において問題行動を行っているとすれば、その問題行動は現実世界でも引き起こされる可能性が残る。このような観点から、没入度に応じて注意喚起処理が制御されることにより、より適切な注意喚起を行うことが可能となる。
なお、注意喚起処理部2330が図34に示す構成をとる場合、判定更新処理部3332は、ユーザ状態検知部110で検知されたユーザ状態に基づいて算出された没入度が基準没入度を超えている場合であって、ユーザ行動検出処理部280で検出されるユーザ行動に基づいて仮想現実オブジェクト挙動制御部2320における挙動制御に伴って所定の数値が生成された場合に、判定値を更新する処理を行う構成とすると良い。この場合、ユーザ行動検出処理部280で検出されるユーザ行動に基づいて仮想現実オブジェクト挙動制御部2320における挙動制御に伴って所定の数値が生成された場合であっても、ユーザ状態検知部110で検知されたユーザ状態に基づいて算出された没入度が基準没入度を超えていない場合は、判定値を更新する処理を行わない。
また、上記説明では算出される没入度が基準没入度を超えている場合に注意喚起処理が行われる構成について説明したがこれに限定するものではない。例えば、没入度算出処理部4320で算出される没入度が高い場合は、低い場合と比較して注意喚起が行われやすくなるように注意喚起処理部3330は注意喚起処理を行う構成とすることも可能である。
また、仮想現実提示システムは図40に示す構成とすることも可能である。図40において、判定更新処理部3332は、ユーザ行動検出処理部280で検出されるユーザ行動に基づいて仮想現実オブジェクト挙動制御部2320における挙動制御に伴って生成される数値と没入度算出処理部4320で算出される没入度に基づいて判定値の更新量を算出し、判定値を更新する処理を行う構成とすることも可能である。この場合、没入度が高い状態でユーザの問題行動により仮想現実オブジェクト挙動制御部2320で所定の数値が生成された場合、没入度が低い状態で同一の数値が生成される場合よりも判定値が大きく更新されることになる。
また、上記説明では、注意喚起処理部3330は、没入度が所定の基準値を超えている場合であって、所定の問題行動が行われた場合や当該問題行動に基づいて仮想現実オブジェクトに所定の挙動制御が行われた場合に注意喚起が行われる場合について説明した。しかし、注意喚起処理部3330は、没入度算出処理部4320で算出される没入度が所定の基準値を超えている場合に、注意喚起処理を行う構成としても良い。
<実施形態5>
上述の実施形態では問題となる所定の行動がユーザより行われた場合に、ユーザに対して注意喚起する構成をとる。一方、問題となる所定の行動がユーザより行われた場合に、ユーザを仮想現実世界から現実世界へ完全に引き戻した方がよい場合が考えられる。本実施形態5では、このような問題に対処している。
図41は本実施形態5にかかる仮想現実提示システムの構成を示すブロック図である。図21で示した仮想現実提示システムと比較して、注意喚起処理部2330が仮想現実提示中断制御部5330へ置き換わっている点を特徴とする。
仮想現実提示中断制御部5330は、仮想現実オブジェクトに対して行われた所定の行動に基づいて、当該仮想現実オブジェクトの映像の生成または表示を中断する制御を行う。例えば、仮想現実提示中断制御部5330は、仮想現実オブジェクトに対して所定の行動が行われた場合に、仮想現実オブジェクト映像生成処理部2310へ仮想現実オブジェクト映像生成中断指示を出すか、仮想現実オブジェクト映像表示部250へ仮想現実オブジェクト映像の表示中断指示を出すことにより、仮想現実オブジェクトの映像の生成または表示を中断する制御を行う。
当該中断制御が行われた場合、それまでユーザに対して行われていた仮想現実オブジェクト映像の表示が中断されるため、ユーザの意識は仮想現実世界から現実世界へ戻ることになる。当該変化により、ユーザは自らが仮想現実世界の中で問題となる行動をとったことを認識することができるため、仮想現実世界での悪影響が現実世界へ持ち込まれることを軽減することができる。
また、仮想現実提示システムの構成は図42に示す構成としても良い。図23で示した構成における注意喚起処理部2330と同様、仮想現実提示中断制御部5330は、仮想現実オブジェクト挙動制御部2320が仮想現実オブジェクトの挙動を制御する場合に生成される値と、対応する問題行動レベル情報とを比較する処理を行う。当該比較処理の結果、仮想現実オブジェクト挙動制御部2320が仮想現実オブジェクトの挙動を制御する場合に生成される値が対応する問題行動レベル情報を超えている場合は、仮想現実コンテンツの提供を中断する必要があると判断し、仮想現実オブジェクト映像の生成又は表示を中断する制御を行う。
また、仮想現実提示システムの構成は図42に示す構成としても良い。図42において仮想現実提示中断制御部5330は、判定値記憶部5331と、判定値更新処理部5332と、比較処理部5333と、注意喚起指示情報生成処理部5334を具備する。また、ユーザ情報管理部2100は、比較処理部5333における比較処理で用いられる仮想現実提示中断制御に係る基準値を記憶する。
判定値記憶部5331は、後述する比較処理部5333で行われる比較処理に用いられる仮想現実提示中断制御にかかる判定値を記憶する。
判定値更新処理部5332は、判定値記憶部5331で記憶されている仮想現実提示中断制御にかかる判定値を更新する処理を行う。本実施形態5において仮想現実オブジェクト挙動制御部2320は、ユーザ行動検出部280で検出されたユーザの行動に基づいて仮想現実オブジェクトに対する所定の挙動制御を行う場合に所定の数値を生成する処理を行う。当該数値の生成は、戻り値と言う形で変数に代入されても良いし、仮想現実オブジェクト挙動制御部2320が挙動制御にかかる仮想現実オブジェクトに対して実行する挙動制御メソッドの中に当該数値生成命令が含まれていても良い。仮想現実オブジェクト挙動制御部2320がどのような数値を生成するかは、実行される挙動制御処理に応じて定数が設定されていても良いし、所定のアルゴリズムに基づいて算出する構成としても良い。例えば、仮想現実オブジェクトを殴る行動が検出された場合に、殴る強さに応じて当該所定の数値を算出する構成としても良いし、当該行動に対応付けられている挙動制御メソッドが実行される場合に、当該挙動制御メソッドに設定されている定数が呼び出される構成としても良い。
判定値更新処理部5332は、仮想現実オブジェクト挙動制御部2320が生成する所定の数値に基づいて判定値記憶部5331で記憶されている判定値を更新する処理を行う。判定値更新処理部5332は、仮想現実オブジェクト挙動制御部2320で生成された数値を記憶されている判定値に加算することで判定値を更新しても良いし、所定の更新アルゴリズムにしたがって判定値を更新しても良い。
比較処理部5333は、判定値更新処理部5332で更新された仮想現実提示中断制御にかかる判定値と、ユーザ情報管理部2100で記憶されている仮想現実提示中断制御にかかる基準値とを比較する処理を行う。
仮想現実提示中断指示情報生成処理部5334は、比較処理部5333における比較処理の結果、判定値が基準値を上回っている場合に、仮想現実提示中断指示情報を生成する。当該仮想現実提示中断指示情報は、通信処理部1310を介して仮想現実提示装置200の仮想現実提示制御部180へ送られ、当該仮想現実提示制御部180は、当該仮想現実提示中断指示情報に基づいて仮想現実オブジェクト映像表示部250での仮想現実オブジェクト映像の表示を中断する制御を行う。なお、当該仮想現実提示中断指示情報が生成された場合は、判定値更新処理部5332は、該当する判定値を初期化する処理を行う構成とすると良い。
図44は、本実施形態5にかかる一連の処理の一例を示している。ユーザ情報管理部2100は、仮想現実提示中断制御にかかる基準値を記憶する(ステップS501)。ユーザ情報管理部2100は、仮想現実コンテンツの提供に関わらず、ユーザ毎に当該基準値を設定して記憶しておく構成とすると良い。
仮想現実コンテンツの提供が開始される場合に、判定値記憶部5331は当該仮想現実コンテンツの提供にかかるユーザの判定値を記憶する(ステップS502)。例えば、判定値記憶部5331は、仮想現実コンテンツの提供が開始される場合に、当該仮想現実コンテンツの提供にかかるユーザの判定値の記憶領域を確保し、当該判定値を初期化する構成とすると良い。ここでは判定値は0に初期化されるものとして説明する。
仮想現実コンテンツの提供が開始されると、仮想現実オブジェクト配置処理部2370は、仮想現実オブジェクトを生成して仮想現実空間に配置し、仮想現実オブジェクト映像生成処理部2310は、当該仮想現実空間に配置されている仮想現実オブジェクトを描画する処理を行うことで仮想現実オブジェクト映像を生成する(ステップS503)。当該生成された仮想現実オブジェクト映像は必要に応じて圧縮符号化処理等が行われ、通信部1310を介して仮想現実提示装置200に送られ、仮想現実オブジェクト映像表示部250は、必要に応じて復号処理を行った上で当該生成された仮想現実オブジェクト映像を表示する(ステップS504)。以後、ユーザは仮想現実オブジェクト映像を見ることで仮想現実世界を体験することができる。
ユーザに対して仮想現実オブジェクト映像の表示が開始された後、ユーザ行動検出部280は、仮想現実オブジェクトに対するユーザの行動を検出する処理を行う(ステップS505)。仮想現実オブジェクト挙動制御部2320は、ユーザ行動検出部280で検出されたユーザの行動に対応する挙動を仮想現実オブジェクトに行わせる制御を行う(ステップS506)。具体的には、仮想現実オブジェクト挙動制御部2320は、ユーザ行動検出部280で検出されたユーザの行動にかかる仮想現実オブジェクトに設定されているメソッドであって、当該ユーザ行動に対応するメソッドを呼び出して実行することで仮想現実オブジェクトの挙動を制御する。
仮想現実オブジェクト挙動制御部2320は、ステップS505における挙動制御に伴って仮想現実提示中断制御にかかる数値を生成する処理を行う(ステップS507)。なお、当該生成処理は、ステップS506の挙動制御処理の中に組み込まれていても良い。なお、ステップS505で検出されたユーザ行動に基づいて実行された挙動制御によっては上記数値が生成されなくても良い。殴られた場合に転倒する挙動など、仮想現実オブジェクトに対する所定の挙動制御を行った場合に、仮想現実オブジェクト挙動制御部2320は、所定のアルゴリズムにしたがって上記数値を一次保持用の変数に代入することで当該数値を生成する。
判定値更新処理部5332は、仮想現実オブジェクト挙動制御部2320が生成する数値に基づいて判定値を更新する処理を行う(ステップS508)。例えば、判定値更新処理部5332は、判定値記憶部5331で記憶されている判定値に、仮想現実オブジェクト挙動制御部2320が生成する数値を加算することで注意喚起にかかる判定値を更新する。
判定値更新処理部5332において判定値の更新処理が行われた場合、比較処理部5333は、仮想現実提示中断制御にかかる基準値と更新された判定値とを比較する処理を行う(ステップS509)。比較処理部5333は、更新にかかるカテゴリーであるユーザIDがU0001のユーザの傷害罪に設定されている基準値を読み込み、更新された判定値と比較する。比較処理の結果、基準値が判定値を上回っている場合(ステップS509でNo)、仮想現実提示中断制御は行わないものとしてステップS505へ戻る。比較処理の結果、判定値が基準値を上回っている場合(ステップS509でYes)、ステップS510の仮想現実提示中断指示情報生成処理へ移る。
仮想現実提示中断指示情報生成処理部5334は、比較処理部5333における比較処理の結果、判定値が基準値を超えている場合に、ステップS505で当該行動が検出されたユーザに対して仮想現実提示の中断制御の実行を指示する仮想現実提示中断指示情報を生成する処理を行う(ステップS510)。当該仮想現実提示中断指示情報に基づいて、仮想現実提示制御部180が仮想現実オブジェクト映像の表示を中断する制御を行うか、仮想現実オブジェクト映像生成処理部2310が仮想現実オブジェクト映像の生成を中断する制御を行う(ステップS511)。
また、仮想現実コンテンツ提供システムは、図45に示す構成とすることも可能である。図45に示す仮想現実コンテンツ提供システムにおいて、仮想現実提示中断制御部5330は、算出された没入度が仮想現実提示中断制御用の基準没入度を超えていると判定されている状態で、仮想現実オブジェクトに対して行われた所定の行動に基づいて、仮想現実提示中断制御を行う。例えば、算出されたユーザの没入度が基準没入度を超えていると判定されている状態で、仮想現実オブジェクトに対する所定のユーザ行動が検出された場合や、当該検出されたユーザ行動に基づいて仮想現実オブジェクトに対する所定の挙動制御が行われた場合に、仮想現実提示中断制御部5330は、仮想現実提示中断指示情報を生成することで、仮想現実オブジェクト映像の生成や表示を中断する制御を行う。
なお、仮想現実提示中断制御部5330が図43に示す構成をとる場合、判定更新処理部5332は、ユーザ状態検知部110で検知されたユーザ状態に基づいて算出された没入度が仮想現実提示中断制御用の基準没入度を超えている場合であって、ユーザ行動検出処理部280で検出されるユーザ行動に基づいて仮想現実オブジェクト挙動制御部2320における挙動制御に伴って所定の数値が生成された場合に、判定値を更新する処理を行う構成とすると良い。この場合、ユーザ行動検出処理部280で検出されるユーザ行動に基づいて仮想現実オブジェクト挙動制御部2320における挙動制御に伴って所定の数値が生成された場合であっても、ユーザ状態検知部110で検知されたユーザ状態に基づいて算出された没入度が基準没入度を超えていない場合は、判定値を更新する処理を行わない。
上記説明では算出される没入度が基準没入度を超えている場合に仮想現実提示中断制御が行われる構成について説明したがこれに限定するものではない。例えば、没入度算出処理部4320で算出される没入度が高い場合は、低い場合と比較して仮想現実提示中断が行われやすくなるように仮想現実提示中断制御部5330は仮想現実提示中断制御を行う構成とすることも可能である。
また、仮想現実コンテンツ提供システムは、図46に示す構成とすることも可能である。図46において、判定更新処理部5332は、ユーザ行動検出処理部280で検出されるユーザ行動に基づいて仮想現実オブジェクト挙動制御部2320における挙動制御に伴って生成される数値と没入度算出処理部4320で算出される没入度に基づいて判定値の更新量を算出し、判定値を更新する処理を行う構成とすることも可能である。この場合、没入度が高い状態でユーザの問題行動により仮想現実オブジェクト挙動制御部2320で所定の数値が生成された場合、没入度が低い状態で同一の数値が生成される場合よりも判定値が大きく更新されることになる。
また、上記説明では、仮想現実提示中断制御部5330は、没入度が所定の基準値を超えている場合であって、所定の問題行動が行われた場合や当該問題行動に基づいて仮想現実オブジェクトに所定の挙動制御が行われた場合に仮想現実提示中断制御が行われる場合について説明した。しかし、仮想現実提示中断制御部5330は、没入度算出処理部4320で算出される没入度が所定の基準値を超えている場合に、仮想現実提示中断制御を行う構成としても良い。
また、没入度算出処理部4320における没入度算出処理は、図47に例示するユーザ毎の没入度算出パラメータを用いて算出する構成とすると更に良好である。仮想現実世界と現実世界とを錯覚している定性的な度合いと、ユーザ状態検知部110における脳波センサ118、脈拍センサ117、血圧センサ116、体温センサ115などでそれぞれ検知される脳波パターンや脳波強度、心拍数、血圧、体温などの生体情報にはユーザ毎に個別差がある。そこで、ユーザ情報管理部2100は、図47に示すような情報をユーザ情報として記憶・管理し、没入度算出処理部4320は、当該記憶されるパラメータを用いてユーザ状態検知部110で検知される上記生体情報に基づいて没入度を算出する。
なお、上記説明では注意喚起処理部2330が仮想現実提示中断制御部5330に置き換わる場合について説明したが、注意喚起処理と仮想現実提示中断制御の両方の機能を備える構成とすることも可能である。
図48に示すように、仮想現実世界への没入度を下げる効果は、仮想現実提示の中断が一番高く、続いて視覚による注意喚起、聴覚による注意喚起、触覚による注意喚起、仮想現実オブジェクトを用いた仮想現実世界の中での注意喚起の順に下がってくることになる。したがって、注意喚起用に小さい基準値を、仮想現実提示中断制御用に大きい基準値を設定しておき、所定のユーザ行動に基づいて仮想現実オブジェクトの挙動制御が行われる場合に生成される数値や当該数値に基づいて更新される判定値を当該複数の基準値と比較し、当該比較処理に基づいて注意喚起処理や仮想現実提示中断制御が行われる構成とすると良い。
以上各実施形態で説明したように、本発明によれば仮想現実世界の悪影響を現実世界へ持ち込んでしまうことを軽減することができる。当該悪影響を防止する一つの方法としては、暴力アニメの規制と同様、仮想現実提示装置でユーザに提供できる仮想現実コンテンツに制限を加え、仮想現実世界の中でユーザが暴力的・性的な行動を一切とれないように仮想現実コンテンツを制作しておく方法が考えられる。しかしながら、仮想現実提示装置が創り出す仮想現実世界は、「物理的制約」、「法律的制約」、「道徳的制約」という多くの枷が嵌められている私達人類が、新たな自由を手に入れる可能性を広げるものである。仮想現実世界は道徳教育や創造性を広げる教育にも応用が可能であるため、仮想現実コンテンツでユーザが取り得る行動の制限は出来るだけ少なくできることが好ましい。このようなトレードオフの関係を本発明は解決する手段を提供している。
なお、上述した各処理部は1台の情報処理サーバに含まれていても良いし、複数台の情報処理サーバが連動する構成としても良い。
また、上述した視線カメラや周辺カメラは、静止画像を撮影して仮想現実コンテンツ提供サーバに送信する構成としても良いし、動画像を撮影して仮想現実サービス提供サーバに送信する構成としても良い。
なお、上述の仮想現実コンテンツには、雪や後光、雨、雷などの特殊映像エフェクトのデータが含まれていると更に良好である。仮想現実オブジェクト映像表示部は、カオス現実オブジェクト生成処理部において生成される仮想現実オブジェクトを描画した映像に当該特殊映像エフェクトのレイヤーを重ねた合成映像を多重した映像を表示する構成としてもよい。
また、上述した各処理部は、CPU等の情報処理装置に所定のプログラムを実行させることでハードウェアとソフトウェアが恊働することにより実現することが可能である。
また、上述した各実施形態の構成を適宜組み合わせることも可能である。例えば実施形態1の仮想現実提示システムと、実施形態2〜5の仮想現実提示システムを組み合わせることも可能である。また、実施形態2〜4で説明した注意喚起機能と実施形態5で説明した仮想現実提示中断制御機能を兼ね備える仮想現実コンテンツ提供サーバとすることも可能である。仮想現実コンテンツ提供サーバはネットワーク内に配置されていても良いし、ホームサーバと言う形で自宅内に配置されていても良い。
また、本明細書で述べた仮想現実(Virtual Reality)は拡張現実(Agumented Reality)や複合現実(Mixed Reality)を包含する概念であり、現実世界には存在しない人工的に創り出される仮想現実オブジェクトの存在をユーザは感知することが出来る。
なお、上述した各実施形態は、本発明の一実施例を示したものであり、適宜変更が可能である。例えば、仮想現実コンテンツ提供サーバが備える画像解析機能は、画像解析サーバとして独立して仮想現実コンテンツ提供システム内に配置される構成としても良い。
また、本発明は、以下の構成とすることも可能である。
(付記1)
仮想現実オブジェクトの映像を生成する仮想現実オブジェクト映像生成手段と、
前記生成された仮想現実オブジェクトの映像を表示する仮想現実オブジェクト映像表示手段と、
ユーザの行動を検出するユーザ行動検出手段と、
前記仮想現実オブジェクトに対して行われた所定の行動に基づいて、前記ユーザに対して注意喚起を行う注意喚起手段と、
を具備する仮想現実提示システム。
(付記2)
前記注意喚起手段は、前記仮想現実オブジェクトに対して所定の行動が行われた場合に、前記所定の行動に関連付けられた注意喚起を前記ユーザに対して行う、
付記1に記載の仮想現実提示システム。
(付記3)
前記検出されたユーザの行動に基づいて仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御手段を更に具備し、
前記検出されたユーザの行動に基づいて前記仮想現実オブジェクトに対する所定の挙動制御が前記仮想現実オブジェクト挙動制御手段によって行われた場合に、前記注意喚起手段は前記ユーザに対して注意喚起を行う、
付記1又は2に記載の仮想現実提示システム。
(付記4)
前記仮想現実オブジェクト挙動制御手段は、前記検出されたユーザの行動に基づいて前記仮想現実オブジェクトに対する所定の挙動制御を行う場合に所定の数値を生成し、
注意喚起に係る判定値を記憶する注意喚起判定値記憶手段と、
注意喚起に係る基準値を記憶する注意喚起基準値記憶手段と、
前記仮想現実オブジェクト挙動制御手段が生成する前記所定の数値に基づいて前記判定値を更新する処理を行う判定値更新処理手段と、
前記更新された判定値と前記基準値とを比較する処理を行う比較処理手段と、
を更に具備し、
前記注意喚起処理手段は、前記比較処理手段における比較処理の結果、前記判定値が前記基準値を超えている場合に、前記ユーザに対して注意喚起を行う、
付記1乃至3のいずれか1項に記載の仮想現実提示システム。
(付記5)
ユーザの状態を検知するユーザ状態検知手段と、
前記ユーザの状態に基づいて、前記仮想現実オブジェクトが配置されている仮想現実世界への没入度を算出する没入度算出手段と、
を更に具備し、
前記注意喚起手段は、前記没入度が所定の基準値を超えている状態で、前記仮想現実オブジェクトに対して行われた所定の行動に基づいて、前記ユーザに対して注意喚起を行う、
付記1乃至4のいずれか1項に記載の仮想現実提示システム。
(付記6)
仮想現実オブジェクトの映像を生成する仮想現実オブジェクト映像生成手段と、
前記生成された仮想現実オブジェクトの映像を表示する仮想現実オブジェクト映像表示手段と、
ユーザの行動を検出するユーザ行動検出手段と、
前記仮想現実オブジェクトに対して行われた所定の行動に基づいて、前記仮想現実オブジェクトの映像の生成または表示を中断する制御を行う中断制御手段と、
を具備する仮想現実提示システム。
(付記7)
前記検出されたユーザの行動に基づいて仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御手段を更に具備し、
前記検出されたユーザの行動に基づいて前記仮想現実オブジェクトに対する所定の挙動制御が前記仮想現実オブジェクト挙動制御手段によって行われた場合に、前記中断制御手段は前記仮想現実オブジェクトの映像の生成または表示を中断する制御を行う、
付記6に記載の仮想現実提示システム。
(付記8)
前記仮想現実オブジェクト挙動制御手段は、前記検出されたユーザの行動に基づいて前記仮想現実オブジェクトに対する所定の挙動制御を行う場合に所定の数値を生成し、
中断制御に係る判定値を記憶する中断制御判定値記憶手段と、
中断制御に係る基準値を記憶する中断制御基準値記憶手段と、
前記仮想現実オブジェクト挙動制御手段が生成する前記所定の数値に基づいて前記判定値を更新する処理を行う判定値更新処理手段と、
前記更新された判定値と前記基準値とを比較する処理を行う比較処理手段と、
を更に具備し、
前記中断制御処理手段は、前記比較処理手段における比較処理の結果、前記判定値が前記基準値を超えている場合に、前記仮想現実オブジェクトの映像の生成または表示を中断する制御を行う、
付記6又は7に記載の仮想現実提示システム。
(付記9)
ユーザの状態を検知するユーザ状態検知手段と、
前記ユーザの状態に基づいて、前記仮想現実オブジェクトが配置されている仮想現実世界への没入度を算出する没入度算出手段と、
を更に具備し、
前記中断制御手段は、前記没入度が所定の基準値を超えている状態で、前記仮想現実オブジェクトに対して所定の行動が行われた場合に、前記仮想現実オブジェクトの映像の生成または表示を中断する制御を行う、
付記6乃至8のいずれか1項に記載の仮想現実提示システム。
(付記10)
仮想現実オブジェクトの映像を生成する仮想現実オブジェクト映像生成ステップと、
前記生成された仮想現実オブジェクトの映像を表示する仮想現実オブジェクト映像表示ステップと、
ユーザの行動を検出するユーザ行動検出ステップと、
前記仮想現実オブジェクトに対して行われた所定の行動に基づいて、前記ユーザに対して注意喚起を行う注意喚起ステップと、
を有する仮想現実提示方法。
(付記11)
前記注意喚起ステップは、前記仮想現実オブジェクトに対して所定の行動が行われた場合に、前記所定の行動に関連付けられた注意喚起を前記ユーザに対して行う、
付記10に記載の仮想現実提示方法。
(付記12)
前記ユーザ行動検出ステップと前記前記注意喚起ステップの間に、前記検出されたユーザの行動に基づいて仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御ステップを更に有し、
前記注意喚起ステップは、前記検出されたユーザの行動に基づいて前記仮想現実オブジェクトに対する所定の挙動制御が前記仮想現実オブジェクト挙動制御ステップによって行われた場合に、前記ユーザに対して注意喚起を行う、
付記10又は11に記載の仮想現実提示方法。
(付記13)
前記仮想現実オブジェクト挙動制御ステップは、前記検出されたユーザの行動に基づいて前記仮想現実オブジェクトに対する所定の挙動制御を行う場合に所定の数値を生成し、
注意喚起に係る判定値を記憶する注意喚起判定値記憶ステップと、
注意喚起に係る基準値を記憶する注意喚起基準値記憶ステップと、
前記仮想現実オブジェクト挙動制御ステップが生成する前記所定の数値に基づいて前記判定値を更新する処理を行う判定値更新処理ステップと、
前記更新された判定値と前記基準値とを比較する処理を行う比較処理ステップと、
を更に有し、
前記注意喚起処理ステップは、前記比較処理ステップにおける比較処理の結果、前記判定値が前記基準値を超えている場合に、前記ユーザに対して注意喚起を行う、
付記10乃至12のいずれか1項に記載の仮想現実提示方法。
(付記14)
ユーザの状態を検知するユーザ状態検知ステップと、
前記ユーザの状態に基づいて、前記仮想現実オブジェクトが配置されている仮想現実世界への没入度を算出する没入度算出ステップと、
を更に有し、
前記注意喚起ステップは、前記没入度が所定の基準値を超えている状態で、前記仮想現実オブジェクトに対して行われた所定の行動に基づいて、前記ユーザに対して注意喚起を行う、
付記10乃至13のいずれか1項に記載の仮想現実提示方法。
(付記15)
仮想現実オブジェクトの映像を生成する仮想現実オブジェクト映像生成ステップと、
前記生成された仮想現実オブジェクトの映像を表示する仮想現実オブジェクト映像表示ステップと、
ユーザの行動を検出するユーザ行動検出ステップと、
前記仮想現実オブジェクトに対して行われた所定の行動に基づいて、前記仮想現実オブジェクトの映像の生成または表示を中断する制御を行う中断制御ステップと、
を有する仮想現実提示方法。
(付記16)
前記ユーザ行動検出ステップと前記中断制御ステップの間に、前記検出されたユーザの行動に基づいて仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御ステップを更に有し、
前記検出されたユーザの行動に基づいて前記仮想現実オブジェクトに対する所定の挙動制御が前記仮想現実オブジェクト挙動制御ステップによって行われた場合に、前記中断制御ステップは前記仮想現実オブジェクトの映像の生成または表示を中断する制御を行う、
付記15に記載の仮想現実提示方法。
(付記17)
前記仮想現実オブジェクト挙動制御ステップは、前記検出されたユーザの行動に基づいて前記仮想現実オブジェクトに対する所定の挙動制御を行う場合に所定の数値を生成し、
中断制御に係る判定値を記憶する中断制御判定値記憶ステップと、
中断制御に係る基準値を記憶する中断制御基準値記憶ステップと、
前記仮想現実オブジェクト挙動制御ステップが生成する前記所定の数値に基づいて前記判定値を更新する処理を行う判定値更新処理ステップと、
前記更新された判定値と前記基準値とを比較する処理を行う比較処理ステップと、
を更に有し、
前記中断制御処理ステップは、前記比較処理ステップにおける比較処理の結果、前記判定値が前記基準値を超えている場合に、前記仮想現実オブジェクトの映像の生成または表示を中断する制御を行う、
付記15又は16に記載の仮想現実提示方法。
(付記18)
ユーザの状態を検知するユーザ状態検知ステップと、
前記ユーザの状態に基づいて、前記仮想現実オブジェクトが配置されている仮想現実世界への没入度を算出する没入度算出ステップと、
を更に有し、
前記中断制御ステップは、前記没入度が所定の基準値を超えている状態で、前記仮想現実オブジェクトに対して所定の行動が行われた場合に、前記仮想現実オブジェクトの映像の生成または表示を中断する制御を行う、
付記15乃至17のいずれか1項に記載の仮想現実提示方法。