JP6433862B2 - ヘッドマウントディスプレイシステム制御プログラム、コンピュータ及び方法 - Google Patents

Description

本発明は、ユーザがヘッドマウントディスプレイ（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）を用いて没入する仮想空間を、コンピュータに提供させるプログラムに関するものである。

特許文献１には、仮想空間内の各場所にユーザ毎の地価を設定し、当該場所に対する各ユーザ間の地価を平均化することによって、その場所に広告を表示する場合の広告料を設定する手法が開示されている。地価は、各ユーザの移動操作履歴に基づいて設定される。また、特許文献２には、ユーザの行動状況に基づいて、表示アイテムの優先度を設定する技術が開示されている。

特許３７３２１６８号公報 特開２０１４−７１８１１号公報

特許文献１，２に記載された技術においては、ユーザが没入する仮想空間に様々な広告を配置するため、仮想空間に対するユーザの没入感を損なうおそれがある。

本発明によれば、コンピュータに、ユーザが没入する仮想空間、および、前記仮想空間に複数の対象オブジェクトを生成して、ヘッドマウントディスプレイに出力するステップと、前記対象オブジェクトに対して、前記ユーザが前記仮想空間内においてとった行動の履歴を検出するステップと、前記履歴に基づいて、複数の前記対象オブジェクトの優先度を特定するステップと、前記対象オブジェクトに関する情報が前記優先度に基づいて配置される配信コンテンツを生成するステップと、前記配信コンテンツを、前記ヘッドマウントディスプレイとは異なるデバイスに出力するステップと、を実行させるプログラム、が得られる。

本発明によれば、仮想空間に対するユーザの没入感を損なうことなく、ユーザに各種コンテンツを提供し得る。

本発明の実施形態によるＨＭＤシステムを示す図である。 ＨＭＤを装着しているユーザの頭部を中心に規定される３次元空間上の直交座標系を示す。 仮想空間の一例を示すＸＹＺ空間図である。 視線方向を決定する方法の一例を示す図である。 ＨＭＤシステムの機能を実現するための、制御回路部の機能を示すブロック図である。 ＨＭＤシステムの機能を実現するための処理を示すフローチャートである。 視界領域をＸ方向から見たＹＺ面図である。 視界領域をＹ方向から見たＸＺ面図である。 ランチャー空間と第１仮想空間、第２仮想空間の関係を説明するための図である。 ＨＭＤシステムの機能を実現するための処理を示すフローチャートである。 第１仮想空間および第２仮想空間を説明するための図である。 ＨＭＤシステムの機能を実現するための処理を示すフローチャートである。 注視方向の基準方向に対する第１ずれ量を説明するＹＺ面図である。 注視方向の基準方向に対する第２ずれ量を説明するＸＺ面図である。 視界領域内における広告の、注視される前の状態を示す図である。 視界領域内における広告の、注視された後の状態を示す図である。 ユーザ行動管理テーブルを示す図である。 ＨＭＤシステムの機能を実現するための処理を示すフローチャートである。 ランチャー空間を説明するための図である。 優先度管理テーブルを示す図である。 ＨＭＤシステムの機能を実現するための処理を示すフローチャートである。 ランチャー空間を説明するための図である。 外部デバイスを含むＨＭＤシステムを示す図である。 配信コンテンツの一例を示す図である。

［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態によるヘッドマウントディスプレイシステム制御プログラムは、以下のような構成を備える。
（項目１）
コンピュータに、
ユーザが没入する仮想空間、および、前記仮想空間に複数の対象オブジェクトを生成して、ヘッドマウントディスプレイに出力するステップと、
前記対象オブジェクトに対して、前記ユーザが前記仮想空間内においてとった行動の履歴を検出するステップと、
前記履歴に基づいて、複数の前記対象オブジェクトの優先度を特定するステップと、
前記対象オブジェクトに関する情報が前記優先度に基づいて配置される配信コンテンツを生成するステップと、
前記配信コンテンツを、前記ヘッドマウントディスプレイとは異なるデバイスに出力するステップと、を実行させるプログラム。
本項目のプログラムによれば、ユーザが仮想空間において興味を示した対象オブジェクトに関連するコンテンツを、当該仮想空間外で閲覧可能なデバイスに送信する。これにより、仮想空間に対するユーザの没入感を損なうことなく、ユーザに広告や体験版等のコンテンツを提供できる。
（項目２）
前記配信コンテンツは、
前記デバイスに前記対象オブジェクトに関する詳細情報を表示させる第１リンクと、
前記ヘッドマウントディスプレイに出力される前記対象オブジェクトに関連する拡張コンテンツをダウンロードさせる第２リンクを含む、項目１のプログラム。
本項目のプログラムによれば、ユーザはヘッドマウントディスプレイを使用していない時にも、ヘッドマウントディスプレイで実行される広告や体験版等のコンテンツをダウンロードしておくことができる
（項目３）
前記第２リンクに入力されたユーザ指示を受け付けるステップと、
前記ヘッドマウントディスプレイがユーザに装着されているかを判定するステップと、
前記ヘッドマウントディスプレイがユーザに装着されていない場合には、前記拡張コンテンツをダウンロードするためのダウンロード要求を出力する、項目２のプログラム。
本項目のプログラムによれば、体験版等の拡張コンテンツを、ヘッドマウントディスプレイを使用していない時にダウンロードしておくことができる。これにより、ヘッドマウントディスプレイ使用中のユーザに通信状況が悪化する等の違和感を与えること無く、拡張コンテンツを提供することができる。
（項目４）
前記仮想空間は、第１仮想空間および第２仮想空間を含み、
前記対象オブジェクトは、前記第１仮想空間に表示される第１対象オブジェクトと、前記第２仮想空間に表示され、前記第１対象オブジェクトと関連する第２対象オブジェクトを含み、
前記履歴は、前記ユーザが前記第１対象オブジェクトおよび前記第２対象オブジェクトを注視した時間を合算した合計注視時間である、項目１〜３のいずれかのプログラム。
本項目のプログラムによれば、複数のコンテンツにおけるユーザの視線履歴に関する行動を合算することで、より適切なコンテンツをユーザ提案し得る。
（項目５）
前記コンピュータに、
前記仮想空間における基準位置、および、前記対象オブジェクトが配置された対象オブジェクト位置を定義するステップと、
前記基準位置に対する前記ユーザの視線方向である基準方向を定義するステップと、
前記対象オブジェクトに対する前記ユーザの視線方向である注視方向を特定するステップと、
前記ユーザが前記対象オブジェクトを注視した注視時間を特定するステップと、
前記注視時間と、前記注視方向と、前記基準方向に基づいて、調整済注視時間を特定するステップと、をさらに実行させ、
前記履歴は、前記調整済注視時間である、項目１〜４のいずれかのプログラム。
本項目のプログラムによれば、ユーザが広告等の対象オブジェクトを注視した時間に基づいて、当該ユーザに広告に関連するコンテンツを提供する。その際、ユーザの注視方向と、仮想空間内に設定された基準方向との関係によって、注視した時間を調整することとしている。これにより、ユーザが関心を示した対象を容易に判別し、適時アプローチすることが可能なコンテンツ提供手段を提供し得る。
（項目６）
前記調整済注視時間は、前記注視時間を、前記注視方向の前記基準方向に対するずれ量に基づいて調整することによって算出される、項目５のプログラム。
本項目のプログラムによれば、ユーザが基準方向から遠くまで視線を逸らして対象オブジェクトを注視した場合には、当該対象に対する関心が高いものと推定する。これにより、ユーザの関心に対して適時アプローチすることが可能なコンテンツ提供手段を提供し得る。
（項目７）
前記ずれ量は、垂直面内における前記注視方向の前記基準方向に対するずれ量である第１ずれ量と、前記垂直面に直交する水平面内における前記注視方向の前記基準方向に対するずれ量である第２ずれ量を含み、
前記第１ずれ量と前記第２ずれ量に所定の重みづけを付与して前記調整済注視時間を算出する、項目６のプログラム。
本項目のプログラムによれば、よりユーザが自発的にしにくい行動を重視することが可能になる。
（項目８）
前記重みづけは、前記第１ずれ量に対して大きく付与される、項目７のプログラム。
本項目のプログラムによれば、よりユーザが自発的にしにくい行動である、ユーザが垂直面内に視線を動かす行動を重視することにより、ユーザの関心に対して適時アプローチすることが可能なコンテンツ提供手段を提供し得る。

［本発明の実施形態の詳細］
本発明の実施形態に係るプログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１は、本実施形態にかかるＨＭＤ１１０を備えるＨＭＤシステム１００を示す。ＨＭＤシステム１００は、ユーザの頭部に装着されるＨＭＤ１１０と、制御回路部１２０と、動きセンサ１３０と、注視センサ１４０を備える。

ＨＭＤ１１０は、非透過型の表示装置であるディスプレイ１１２と、センサ部１１４と、注視センサ１４０を含む。制御回路部１２０は、ディスプレイ１１２に右目用画像と左目用画像を表示することにより、両目の視差を利用した３次元画像を仮想空間として提供する。ディスプレイ１１２がユーザの眼前に配置されることによって、ユーザは仮想空間に没入できる。仮想空間は、背景やユーザが操作可能な各種オブジェクト、メニュー画像等を含む。

ディスプレイ１１２は、右目用画像を提供する右目用サブディスプレイと、左目用画像を提供する左目用サブディスプレイを含んでもよい。また、右目用画像と左目用画像を提供できれば、１つの表示装置で構成されていても良い。例えば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像と左目用画像を独立して提供し得る。

制御回路部１２０は、ＨＭＤ１１０に接続されるコンピュータであり、格納された所定のアプリケーションを実行することにより、ディスプレイ１１２に仮想空間を提示する。また、制御回路部１２０は、当該仮想空間内に表示される各種オブジェクトを操作したり、各種メニュー画像等を表示・制御するように処理を実行する。制御回路部１２０は、そのような動作の実行を制御するプログラムを格納する。制御回路部１２０はＨＭＤ１１０に搭載されていなくてもよく、別のハードウェア（例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ）として構成してもよい。また、制御回路部１２０は、一部の機能のみをＨＭＤ１１０に実装し、残りの機能を別のハードウェアに実装してもよい。

動きセンサ１３０は、ＨＭＤ１１０の位置や傾きに関する情報を検出する。動きセンサ１３０は、センサ部１１４と、検知部１３２を含む。センサ部１１４は、複数の光源を含んでもよい。光源は、例えば赤外線を発するＬＥＤである。検知部１３２は例えば赤外線センサであり、光源からの赤外線をＨＭＤ１１０の検知点として検知することで、ユーザの動きに応じたＨＭＤ１１０の現実空間内における位置や角度に関する情報を経時的に検出する。そして、検知部１３２により検出された情報の経時的変化に基づいて、ＨＭＤ１１０の位置や角度の時間変化を決定し、ＨＭＤ１１０の動きに関する情報を検知することができる。

動きセンサ１３０によって取得される位置や傾きに関する情報を、図２を参照して説明する。ＨＭＤ１１０を装着したユーザの頭部を中心として、ＸＹＺ軸を規定する。ユーザが直立する垂直方向をＹ軸とし、Ｙ軸と直交しディスプレイ１１２の中心とユーザを結ぶ前後方向をＺ軸とし、Ｙ軸およびＺ軸と直交する横方向をＸ軸とする。これにより、ユーザのＸＹＺ軸方向における位置の経時変化が取得される。また、各軸周りのＨＭＤ１１０の傾き角度θｘ（いわゆるピッチ角），θｙ（いわゆるヨー角），θｚ（いわゆるロール角）が取得される。

動きセンサ１３０は、ディスプレイ１１２の近くに固定されたセンサ部１１４と、検知部１３２の、一方のみから構成されてもよい。センサ部１１４が、地磁気センサ、加速度センサ、角速度（ジャイロ）センサであってもよく、これらの少なくとも１つを用いて、ユーザの頭部に装着されたＨＭＤ１１０（特に、ディスプレイ１１２）の位置および傾きを検出する。これにより、ＨＭＤ１１０の動きに関する情報を検出することができる。例えば、角速度センサは、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の３軸回りの角速度を経時的に検出し、各軸回りの角度の時間変化を決定することができる。この場合には、検知部１３２は不要である。また、検知部１３２は光学カメラを含んで構成されても良い。この場合には、画像情報に基づいてＨＭＤ１１０の動きに関する情報を検出することができ、センサ部１１４は不要である。

動きセンサ１３０を用いてＨＭＤ１１０の位置や傾きに関する情報を検出する機能をポジション・トラッキングと称する。動きセンサ１３０によるポジション・トラッキングと、仮想空間２内に配置される仮想カメラ１との関係を、図３を参照して説明する。仮想カメラ１と動きセンサ１３０の位置関係を説明するために、以下では動きセンサ１３０の位置は、検知部１３２を有する場合には検知部１３２の位置とし、検知部１３２を有しない場合にはセンサ部１１４の位置とする。仮想空間２の内部に仮想カメラ１が配置され、および仮想空間２の外部（現実空間）に動きセンサ１３０が仮想的に配置される。

仮想空間２は、略正方形または略長方形の複数のメッシュを有する天球状に形成される。各メッシュは仮想空間２の空間情報が関連付けられており、この空間情報に基づいて視界領域２３が定義される。本実施形態では、ＸＺ面において、天球の中心点２１が仮想カメラ１とセンサ１３０を結ぶ線上に常に配置されるように調整することが好ましい。例えば、ＨＭＤを装着したユーザが移動して仮想カメラ１の位置がＸ方向に移動した場合には、中心２１が仮想カメラ１と動きセンサ１３０の線分上に位置するように、仮想空間２の領域が変更される。この場合には、仮想空間２における仮想カメラ１の位置は固定され、傾きのみが変化する。一方、動きセンサ１３０のＸＹＺ方向への移動に連動して仮想カメラ１の位置を移動させるようにすれば、仮想空間２における仮想カメラ１の位置は可変に設定される。

注視センサ１４０は、ユーザの右目および左目の視線が向けられる方向を検出するアイトラッキング機能を有する。注視センサ１４０は、右目用センサと左目用センサを備えていることが好ましく、それぞれが右目と左目の視線が向けられる方向を検出することにより、ユーザが注視する視線方向を検知する。注視センサ１４０はアイトラッキング機能を有する公知のセンサを採用することができ、例えば、右目及び左目に赤外光を照射し、角膜や虹彩からの反射光を取得することにより、眼球の回転角を求めることとしても良い。

図４に示すように、注視センサ１４０はユーザＵの右目および左目の視線方向を検知する。ユーザＵが近くを見ている場合には視線Ｒ１およびＬ１が検知され、両者の交点である注視点Ｎ１が特定される。また、ユーザが遠くを見ている場合には、視線Ｒ１およびＬ１よりＺ方向とのなす角が小さい視線Ｒ２およびＬ２が特定される。注視点Ｎ１が特定されると、ユーザＵの視線方向Ｎ０が特定される。視線方向Ｎ０はユーザＵが両目により実際に視線が向けられている方向である。視線方向Ｎ０は、例えばユーザＵの右目Ｒおよび左目Ｌの中心と中心点Ｎ１が通る直線の伸びる方向として定義される。

ＨＭＤシステム１００はいずれかの要素にマイクを含むヘッドホンを備えていても良い。これにより、ユーザは仮想空間内の所定のオブジェクトに、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、ＨＭＤシステム１００はいずれかの要素にテレビジョン受像機を含んでいても良い。また、ユーザが取得した電子メール等を表示させるための、通信機能等を含んでいても良い。また、ユーザの各種指令を入力するための外部コントローラを含んでいても良い。

図５は、ＨＭＤシステム１００における仮想空間２の表示処理や、当該仮想空間２内に表示される各種メニュー表示やオブジェクトの操作を実現するための、制御回路部１２０の機能を示すブロック図である。制御回路部１２０は、主に動きセンサ１３０および注視センサ１４０からの入力に基づいて、ディスプレイ１１２への出力画像を制御する。

制御回路部１２０は、表示制御部２００と、オブジェクト制御部３００と、通信制御部と、を備える。表示制御部２００は、仮想空間画像生成部２１０と、ＨＭＤ動作検知部２２０と、視線検知部２３０と、視界方向特定部２４０と、視界領域決定部２５０と、視界画像生成部２６０と、空間情報格納部２７０とを含む。オブジェクト制御部３００は、広告特定部３１０と、注視時間計測部３２０と、調整部３３０と、判定部３４０と、描画部３５０と、オブジェクト情報格納部３６０と、仮想カメラ情報格納部３７０と、ユーザ行動記憶部と、を含む。

動きセンサ１３０および注視センサ１４０は、表示制御部２００およびオブジェクト制御部３００と互いに通信可能に接続されており、有線または無線の通信インターフェースを介して接続され得る。表示制御部２００、オブジェクト制御部３００、通信制御部４００は、ＨＭＤ１１０（ディスプレイ１１２）と通信可能に接続されており、有線または無線の通信インターフェースを介して接続され得る。通信制御部４００は、ネットワーク１５０を介して外部サーバ１６０と通信可能である。空間情報格納部２７０、オブジェクト情報格納部３６０、仮想カメラ情報格納部３７０、ユーザ行動記憶部３８０は、動きセンサ１３０や注視センサ１４０からの入力に対応した出力情報をディスプレイ１１２へ提供するための各種データを含む。

図５，図６を参照して、仮想空間２を提供するためのＨＭＤシステム１００の処理フローを説明する。仮想空間２は、ＨＭＤ１１０（注視センサ１４０、動きセンサ１３０）および制御回路部１２０の相互作用によって提供され得る。

まず、制御回路部１２０（仮想空間画像生成部２１０）はユーザが没入する仮想空間２を構成する天球状の仮想空間画像２２を生成する（Ｓ１２０−１）。ユーザからＨＭＤ１１０に移動や傾きといった動作が入力されると（Ｓ１１０−１）、動きセンサ１３０によってＨＭＤ１１０の位置や傾きが検知される（Ｓ１３０−１）。動きセンサ１３０の検知情報は制御回路部１２０に送信され、ＨＭＤ動作検出部２２０により、ＨＭＤ１１０の位置情報や傾き情報が受け付けられる。これにより、ＨＭＤ１１０の位置情報や傾き情報に基づく視界方向が決定される（Ｓ１２０−２）。

注視センサ１４０がユーザの左右の目の眼球の動きを検出すると（Ｓ１４０−１）、当該情報が制御回路部１２０に送信される。視線検知部２３０は、右目および左目の視線が向けられる方向を特定し、視線方向Ｎ０が特定される（Ｓ１２０−３）。基準視線特定部２４０は、ＨＭＤ１１０の傾きにより特定された視界方向、または、ユーザの視線方向Ｎ０を基準視線５として特定する（Ｓ１２０−４）。

視界領域決定部２５０は、仮想空間２における仮想カメラ１の視界領域２３を決定する（Ｓ１２０−５）。図３に示すように、視界領域２３は仮想空間画像２２のうちユーザの視界を構成する部分である。視界領域２３は基準視線５に基づいて定められ、基準視線５は仮想カメラ１の位置および傾きに基づいて定められる。図７Ａは視界領域２３をＸ方向から見たＹＺ面図であり、図７Ｂは視界領域２３をＹ方向から見たＸＺ面図である。

視界領域２３は、基準視線５と仮想空間画像２２のＹＺ断面によって定義される範囲である第１領域２４（図７Ａ参照）と、基準視線５と仮想空間画像２２のＸＺ断面によって定義される範囲である第２領域２５（図７Ｂ参照）とを有する。第１領域２４は、基準視線５を中心として極角αを含む範囲として設定される。第２領域２５は、基準視線５を中心として方位角βを含む範囲として設定される。

視界画像生成部２６０は、視界領域２３に基づいて視界画像２６を生成する（Ｓ１２０−６）。視界画像は左目用と右目用の２つの２次元画像を含み、これらがディスプレイ１１２に重畳されることにより、３次元画像としての仮想空間２がユーザに提供されるものである。ＨＭＤ１１０は、視界画像２６に関する情報を制御回路部１２０から受信して、ディスプレイ１１２に視界画像２６を表示させる（Ｓ１１０−２）。

図５、および、図８以降を参照して、ユーザに提供される仮想空間の具体例、および、当該仮想空間をユーザに提供するためのＨＭＤシステム１００の処理フローを説明する。図８，図９に示すように、本実施形態における仮想空間は、ランチャー空間ＬＡＵと、ランチャー空間ＬＡＵに関連付けられた第１仮想空間ＶＲ１および第２仮想空間ＶＲ２を含む。ＨＭＤシステム１００を起動してＨＭＤ１１０を装着したユーザには、まずランチャー空間ＬＡＵが提供される。ランチャー空間ＬＡＵは、仮想空間画像生成部２１０、視界画像生成部２６０によって生成され、ＨＭＤ１１０に出力される（Ｓ１２０−７）。

ランチャー空間ＬＡＵには、第１仮想空間ＶＲ１を提供するためのアプリケーションＡＰ１と、第２仮想空間ＶＲ２を提供するためのアプリケーションＡＰ２が表示されている。ユーザはアプリケーションＡＰ１，ＡＰ２に所定の操作（一定時間視線を送る、コントローラを操作する、など）を入力することにより、選択した仮想空間に移行することができる（Ｓ１１０−３）。ランチャー空間ＬＡＵには、後述する広告を表示する広告スペースＡＤや、ダウンロード済の体験版コンテンツを表示するための体験版スペースＴＲ１，ＴＲ２も表示されている。

第１仮想空間ＶＲ１の一例を図１０に示す。アプリケーションＡＰ１が選択されると、仮想空間画像生成部２１０は第１仮想空間ＶＲ１を構成する仮想空間画像２２を生成する。また、オブジェクト制御部３００の描画部３５０が、オブジェクト情報格納部３６０を参照して各種オブジェクトを生成し、第１仮想空間ＶＲ１内に描画して配置する（Ｓ１２０−８）。第１仮想空間ＶＲ１は、例えばライブステージといった興行を提供するコンテンツであり、第１仮想空間ＶＲ１内にステージＳ、ステージＳ上でパフォーマンスを提供するキャラクターＣ、各種広告ＯＢ１，ＯＢ２が配置されている。

オブジェクト制御部３００は、仮想空間における基準位置ＢＰと、後述するようにユーザの注視時間が計測される対象となる対象オブジェクトとしての広告ＯＢ１，ＯＢ２が配置された位置（対象オブジェクト位置）を特定する（Ｓ１２０−９）。ユーザに第１仮想空間ＶＲ１が提供された直後の状態では、ユーザは第１仮想空間ＶＲ１の天球の中心に位置し、ユーザの視線方向である基準視線５が基準位置ＢＰに向けられた状態（後述する基準方向ＢＤ）とされている。本実施形態では、基準方向ＢＤに基づいて生成された視界画像２６は、ステージＳと、キャラクターＣと、複数の第１広告（第１対象オブジェクト）を含むようにされている。以下では、視界画像２６に含まれる広告を第１広告（第１オブジェクト）ＯＢ１と、視界画像２６に含まれない広告を第２広告（第２オブジェクト）ＯＢ２と称することがある。

なお、第２仮想空間ＶＲ２も図１０と同様のものであるため、以下ではその説明を省略する。概略的には、アプリケーションＡＰ２が選択されると、仮想空間画像生成部２１０は第２仮想空間ＶＲ２を構成する仮想空間画像２２を生成する。また、オブジェクト制御部３００の描画部３５０が、オブジェクト情報格納部３６０を参照して各種オブジェクトを生成し、第２仮想空間ＶＲ２内に描画して配置する（Ｓ１２０−８）。第２仮想空間ＶＲ２内にも、ステージＳ、キャラクターＣ、複数の第２広告（第２対象オブジェクト）、視界画像２６に含まれる第１広告（第１オブジェクト）ＯＢ１、視界画像２６に含まれない第２広告（第２オブジェクト）ＯＢ２が配置されている。

ユーザはＨＭＤ１１０に位置や傾きの変動といった各種動きを入力することにより、第１仮想空間ＶＲ１内で自由に行動することができる（Ｓ１１０−４）。動きセンサ１３０がユーザの動きを検知すると、ＨＭＤ動作検知部２２０はこれを受け付けて、ユーザの仮想空間における位置を特定する（Ｓ１２０−１０）。動きセンサ１３０または注視センサ１４０がユーザの基準視線５の変動を検知すると、基準視線特定部２４０はこれを受け付けて、ユーザの仮想空間における視線方向を特定する（Ｓ１２０−１１）。オブジェクト制御部３００は、ユーザの仮想空間における位置と、基準視線特定部２４０からのユーザの基準視線５に基づいて、ユーザの浸染方向を特定する。そして、広告特定部３１０は、各種広告ＯＢ１，ＯＢ２の配置位置に関する情報に基づいて、視線方向がいずれかの広告ＯＢ１，ＯＢ２に向けられているか否かを判定する（Ｓ１２０−１２）。広告特定部３１０は、いずれかの広告ＯＢ１，ＯＢ２に向けられたユーザの視線方向を注視方向ＧＤとして特定する。そして、注視時間計測部３２０が、当該広告に基準視線を送っている時間である注視時間の計測を開始する（Ｓ１２０−１３）。注視時間計測部３２０は、ユーザの視線方向が所定の広告を含む一定の範囲（当該広告を中心に含む円形や楕円形、多角形など）に向けられている場合には、ユーザが当該広告を注視しているものと見なして、注視時間を計測する。

上記のようなユーザ行動の履歴のうち、ユーザが所定の広告を注視した行動が、ユーザ行動記憶部３７０に記憶される。ユーザ行動記憶部３７０は、例えば図１４に示すユーザ行動管理テーブルＴ１を含む。ユーザ行動管理テーブルＴ１は、ユーザがいずれのアプリケーション（仮想空間）において、いつ、いずれのオブジェクトを、仮想空間内におけるどの位置から注視したかといった情報の他、当該オブジェクトを注視した時間が記憶される。

ここで、ユーザが所定の広告を注視した注視時間は、図１１に示す処理フローに基づいて、調整済注視時間として記憶されても良い。図１２Ａは、ユーザから見た垂直面（ＹＺ面）内における基準方向ＢＤ−Ｖおよび注視方向ＧＤ−Ｖを示す図である。図１２Ｂは、ユーザから見た水平面（ＸＺ面）内における基準方向ＢＤ−Ｈおよび注視方向ＧＤ−Ｈを示す図である。まず、上述したように、第１仮想空間ＶＲ１における基準位置ＢＰとユーザの位置（仮想カメラ１の位置）に基づいて、基準方向ＢＤを特定する（Ｓ１２０−１４）。このとき、基準方向ＢＤは、垂直面（ＹＺ面）内における基準方向ＢＤ−Ｖと、水平面（ＸＺ面）内における基準方向ＢＤ−Ｈが特定される。本実施形態では、コンテンツの主役となるキャラクターＣがステージＳ上に配置されるため、ユーザの基準視線ＢＤ−Ｖはやや情報を向くように設定されている。また、第１仮想空間ＶＲ１における広告位置ＯＢ１とユーザの位置に基づいて、注視方向ＧＤを特定する（Ｓ１２０−１５）。このとき、注視方向ＧＤは、垂直面（ＹＺ面）内における注視方向ＧＤ−Ｖと、水平面（ＸＺ面）内における注視方向ＧＤ−Ｈが特定される。

次に、オブジェクト制御部３００は、注視方向ＧＤと基準方向ＢＤのずれ量を求める（Ｓ１２０−１６）。本実施形態では、垂直面内における注視方向ＧＤ−Ｖの基準方向ＢＤ−Ｖに対するずれ量（角度の差分）である第１ずれ量ＤＶ１と（Ｓ１２０−１７）、水平面内における注視方向ＧＤ−Ｈの基準方向ＢＤ−Ｈに対するずれ量（角度の差分）である第２ずれ量ＤＶ２を求める（Ｓ１２０−１８）。

そして、調整部３３０は、注視時間に第１ずれ量ＤＶ１（角度：ラジアン）および第２ずれ量ＤＶ２（角度：ラジアン）を加味して、調整済注視時間を算出する（Ｓ１２０−２０）。

β１は第１ずれ量ＤＶ１を重みづけするための係数である。β２は第２ずれ量ＤＶ２を重みづけするための係数である。調整部３３０は、予めβ１およびβ２を所定値に設定する（Ｓ１２０−１９）ことによって、よりユーザが自発的にしにくい行動をとってまである広告を注視したという行動履歴を重視して、注視時間を調整することができる。

本実施形態では、第１ずれ量ＤＶ１に対する重みづけ係数β１が、第２ずれ量ＤＶ２に対する重みづけ係数β２より大きいことが好ましい。ユーザは、水平方向における頭部の動きより、垂直方向における頭部の動きに対して、よりストレスを感じることが推測される。このように、よりユーザが自発的にしにくい行動である、ユーザが垂直面内に視線を動かす行動を重視することにより、ユーザの関心に対して適時アプローチすることが可能となる。

ＤＶ１およびＤＶ２は、−π以上π以下の値である。また、ＤＶ１およびＤＶ２は累乗（２乗またはそれ以上の累乗）されて調整済注視時間の算出に適用される。これにより、ユーザが基準方向から遠くに視線を逸らしてまで広告を注視した行動をより重視して調整済注視時間を算出できる。調整済注視時間は、ユーザ行動記憶部３７０のユーザ行動管理テーブルＴ１に記憶される。

判定部３４０は、調整済注視時間が所定の閾値を超えたか否かを判定する（Ｓ１２０−２１）。本実施形態では、調整済注視時間が５秒以上である場合にユーザが当該広告に関心を示したものと解釈することとし、閾値を５秒と設定する。調整済注視時間が所定の閾値を超えた場合には、ユーザが当該広告を注視したものとして受け付ける（Ｓ１２０−２２）。

図１３Ａ，図１３Ｂは、ユーザが広告を注視したものとして受け付けられた場合の処理の一例を示す。図１３Ａは、受け付けられる前の状態を示す。図１３Ｂは、受け付けられた後の状態を示す。受け付けられる前の状態では、視界領域２３内の広告ＯＢ１には、３種類の広告Ａ，Ｂ，Ｃが表示されている。ユーザの広告Ａが表示された広告ＯＢ１に対する注視が受け付けられると、描画部３５０は、広告Ｂが表示された広告ＯＢ１の表示を、広告Ａに関連する広告Ａ−１に変化させるとともに、広告Ｃが表示された広告ＯＢ１の表示を、広告Ａに関連する広告Ａ−２に変化させる。これにより、ユーザが所定のオブジェクトを注視した場合に、ユーザの視野内にある他のオブジェクトを、注視したオブジェクトに関連するように変化させる。これにより、ユーザの関心に対して適時アプローチすることが可能となる。

このように第１仮想空間ＶＲ１において所定の広告に対する調整済注視時間が特定された状態で（Ｓ１２０−２３）、ユーザからＨＭＤ１１０に対し、第１仮想空間ＶＲ１を終了する指示が入力された場合（Ｓ１１０−５）を図１５に示す。この場合、判定部３４０がユーザ行動記憶部３７０を参照し、各広告の優先度を特定する（Ｓ１２０−２４）。広告の優先度は調整済注視時間の合計値によって特定され、図１４に示すように、第１仮想空間ＶＲ１を終了した時点における広告の優先度は、Ａ−２＞Ａ＞Ａ−１と特定される。

判定部３４０は広告の優先度に関する情報を視界画像生成部２６０に送信する。視界画像生成部２６０は、当該情報に基づいて、図１６に示すようなランチャー空間ＬＡＵを生成し、ＨＭＤ１１０に出力する（Ｓ１２０−２５）。ランチャー空間ＬＡＵの広告スペースＡＤには、複数の広告が優先度に応じて配置される。最も優先度が高いと判定された広告Ａ−２は、大きく表示されたり、何らかの強調が施されて表示されても良い。

続いて、ユーザが第２仮想空間ＶＲ２を起動させるアプリケーションＡＰ２を選択すると、ＨＭＤ１１０には第２仮想空間ＶＲ２が提供される（Ｓ１１０−６）。第２仮想空間ＶＲ２においても、第１仮想空間ＶＲ１と同様の処理フローによって、広告に対するユーザの注視時間（調整済注視時間）が特定される（Ｓ１２０−２６）。

ユーザがＨＭＤ１１０の使用を終了すると（Ｓ１１０−７）、判定部３４０は、合計注視時間としての合計調整済注視時間を特定する（Ｓ１２０−２７）。合計調整済注視時間は、図１７に示す優先度管理テーブルＴ２に管理されている。優先度管理テーブルＴ２は、ユーザ行動記憶部３７０に記憶されている。

優先度管理テーブルＴ２は、ユーザ行動管理テーブルＴ１に基づいて、広告毎の調整済注視時間の合計値を算出する。本実施形態では、ユーザ行動管理テーブルＴ１に示すように、ユーザは第１仮想空間ＶＲ１および第２仮想空間ＶＲ２において、広告Ａ−２を注視している。その際、ユーザは異なるユーザ位置から広告Ａ−２を注視していることから、ユーザの視線方向を加味した調整済注視時間を合計することによって、ＨＭＤ装着中におけるユーザの関心をより正確に求めることができる。従って、優先度管理テーブルＴ２においては、調整済注視時間の合計値が管理されている。

判定部３４０は、合計調整済注視時間に基づいて、各広告の優先度を設定する。即ち、合計調整済注視時間が長い順に、高い優先度が付与される。このとき、閾値である５秒を超過していない広告Ａ−１は、優先度の設定対象から除外される。

また、判定部３４０は、優先度が設定された各広告に関連する拡張コンテンツとしての体験版コンテンツの有無を判定する。本実施形態では、ランチャー空間ＬＡＵに２つの体験版スペースＴＲ１，ＴＲ２が設定されているから、体験版コンテンツを有する広告のうち、上位２つの広告が特定される（広告Ｂ，Ｂ−１）。体験版コンテンツが特定されると、判定部３４０は通信制御部４００に対して、当該体験版コンテンツをダウンロードするためのダウンロード要求を出力するよう指示する。通信制御部４１０は、当該指示と、ＨＭＤ１１０からユーザがＨＭＤの使用を終了したことを通知する情報を受信すると、通信処理部４２０に対してダウンロード要求を出力するよう指示する。通信処理部４２０はネットワーク１５０を介して外部サーバ１６０に接続し、体験版コンテンツのダウンロード要求を送信する。外部サーバ１６０は当該ダウンロード要求に基づいて、体験版コンテンツをネットワーク１５０を介して通信処理部４２０に送信する。

このように、本実施形態では広告に関連する拡張コンテンツ（例えば、ゲームの体験版。）を、ユーザがＨＭＤ１１０を使用していない時にダウンロードしておくことができる。これにより、ＨＭＤ１１０使用中のユーザに通信状況が悪化する等の違和感を与えること無く、拡張コンテンツを提供することができる。

ユーザがＨＭＤ１１０の使用を再開すると、制御回路部１２０はダウンロード済の体験版コンテンツを特定する（Ｓ１２０−３０）。本実施形態では、広告Ｂおよび広告Ｂ−１に関する体験版コンテンツのダウンロードが完了しているか否かを判定し、完了している場合にはダウンロード済の体験版コンテンツとして特定する。そして、前述と同様に優先度管理テーブルＴ２を参照して、ユーザの前回のＨＭＤ１１０使用時に設定された各広告の優先度を特定する（Ｓ１２０−３１）。その後、視界画像生成部２６０は、図１８に示すランチャー空間ＬＡＵを生成して、ＨＭＤ１１０に出力する（Ｓ１２０−３２）。ランチャー空間ＬＡＵの広告スペースＡＤには優先度５までの広告が、上から順に配置されている。また、最も優先度の高い広告Ｂが大きく強調表示されている。また、体験版スペースＴＲ１，ＴＲ２には、広告Ｂおよび広告Ｂ−１に関連する体験版コンテンツが配置される。

ユーザは、第１仮想空間ＶＲ１，第２体験版コンテンツＶＲ２、体験版スペースＴＲ１，ＴＲ２に配置された体験版コンテンツのいずれかを選択肢、対応する仮想空間を楽しむことができる。また、広告を選択することにより、それに関する情報を他の情報端末（パソコン、スマートフォン等）に送信するように、指示することもできる。

なお、一度ＨＭＤ１１０を非装着とした場合には、その後に没入した仮想空間において広告を注視したとしても、前回ＨＭＤ１１０を装着した際に広告を注視した時間に合算しないことが好ましい。即ち、広告を注視した時間を合算する処理は、一度のＨＭＤ１１０装着時間内に限って行われることが好ましい。これにより、ユーザの関心を一定の長期間にわたって平均化することなく、一時的なユーザの関心の高まりに対しても適時アプローチすることが可能なコンテンツ提供手段を提供し得る。

また、図２０，図２１に示すように、上記のようにしてユーザの仮想空間において対象オブジェクトに対してとった行動の履歴（注視時間の測定・調整）に基づいて、対象オブジェクトの優先度を特定した後に、当該対象オブジェクトに関する情報を含む配信コンテンツを、ＨＭＤとは異なるデバイス１７０に出力することとしてもよい。図２０はデバイス１７０を含むＨＭＤシステム１００を説明するための図である。デバイス１７０は、ネットワーク１５０や各種ケーブルを介して制御回路部１２０と通信可能なデバイスである。デバイス１７０は、例えば、スマートフォン、ＰＤＡ、タブレット型コンピュータ、ゲーム用コンソール、ノートＰＣを適用可能であり、互いにバス接続されたＣＰＵ、主記憶、補助記憶、送受信部、表示部（タッチパネル１８０）、および入力部を備える任意の携帯型デバイスとすることができる。デバイス１７０は、制御回路部１２０の通信制御部４００と通信可能に接続され、各種コンテンツを含む配信コンテンツを受信し、表示部に表示させる。これにより、ユーザが仮想空間において興味を示した対象オブジェクトに関連するコンテンツを、当該仮想空間外で閲覧可能なデバイス１７０に送信することにより、仮想空間に対するユーザの没入感を損なうことなく、ユーザに各種コンテンツを提供できる。

図２１は、デバイス１７０に出力される配信コンテンツＣＯＮの一例を示す。配信コンテンツＣＯＮは、事前に登録されたユーザのメールアドレスや、事前にインストールされた専用アプリケーションに対して、プッシュ配信されることにより、デバイス１７０に出力される。配信コンテンツＣＯＮは、対象オブジェクトとしての広告ＡＤと、第１リンクＬＮと、第２リンクＴＲを含む。広告スペースＡＤには、ユーザの仮想空間における行動履歴によって設定された、図１７に示す優先度管理テーブルＴ２において管理される優先度に基づいて、上から順に当該対象オブジェクトに関連する画像が配置される。また、最も優先度の高い広告Ｂが強調表示されている。

第１リンクは、当該広告ＡＤに関する詳細情報を表示させるものである。第１リンクは、ユーザのタッチ操作等を受け付けた場合に、デバイス１７０の表示部に広告ＡＤに関する詳細情報を表示させるためのＵＲＬが関連付けられている。第２リンクは、ＨＭＤ１１０に出力される体験版コンテンツを制御回路部１２０にダウンロードさせるためのＵＲＬが関連付けられている。第２リンクは、タッチ操作等を受け付けると、制御回路部１２０の通信制御部４００に対し、当該ＵＲＬから体験版コンテンツをダウンロードするようにダウンロード要求を出力させる。制御回路部１２０は、ネットワーク１５０を介して、外部サーバ１６０から体験版コンテンツをダウンロードする。これにより、ユーザはＨＭＤ１１０を使用していない時にも、ＨＭＤ１１０で実行される広告や体験版等のコンテンツをダウンロードしておくことができる。

なお、制御回路部１２０は、ユーザがＨＭＤ１１０を装着しているか否かを判定し、装着されていない場合には、体験版コンテンツのダウンロード要求を出力することが好ましい。これにより、ＨＭＤ１１０使用中のユーザに通信状況が悪化する等の違和感を与えること無く、体験版コンテンツを取得することができる。

以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。

例えば、上述の実施形態においては、調整済注視時間に基づいてコンテンツの優先度を判定したが、調整前の注視時間に基づいて優先度を判定しても良い。

また、上述の実施形態においては、互いに関連するコンテンツである広告Ａ，Ａ−１，Ａ−２を、注視時間または合計調整済注視時間を算定するに当たっては関連しないものとして取り扱ったが、これらを関連するものとして取り扱っても良い。例えば、広告Ａ，Ａ−１，Ａ−２の注視時間または調整済注視時間を合計して、広告Ａ，Ａ−１，Ａ−２を一体として優先度を判定してもよい。この場合、広告Ａ，Ａ−１，Ａ−２の優先度が高いと判定された場合には、広告Ａ，Ａ−１，Ａ−２に関連する全ての広告、および、拡張コンテンツを、ランチャー空間ＬＡＵに表示することとしてもよい。

１００…ヘッドマウントディスプレイ（ＨＭＤ）システム、１１０…ＨＭＤ、１１２…ディスプレイ、１１４…センサ部、１２０…制御回路部、１３０…動きセンサ、１３２…検知部、１４０…注視センサ、２００…表示制御部、３００…オブジェクト制御部、４００・・・通信制御部、１…仮想カメラ、２…仮想空間、５…基準視線、２２…仮想空間画像、２３…視界領域、２６…視界画像、ＢＰ…基準点、ＢＤ…基準方向、ＧＤ…注視方向、ＣＯＮ…配信コンテンツ、ＡＤ…広告スペース、ＬＮ…第１リンク、ＴＲ…第２リンク。

Claims (10)

1. コンピュータに、
   ユーザが没入する仮想空間、および、前記仮想空間に複数の対象オブジェクトを生成して、ヘッドマウントディスプレイに出力するステップと、
   前記対象オブジェクトに対して、前記ユーザが前記仮想空間内においてとった行動の履歴を検出するステップと、
   ユーザが前記ヘッドマウントディスプレイの使用を終了した後、前記履歴に基づいて、複数の前記対象オブジェクトの優先度を特定するステップと、
   前記対象オブジェクトに関する情報が前記優先度に基づいて配置される配信コンテンツを生成するステップと、
   前記配信コンテンツを、前記ヘッドマウントディスプレイとは異なるデバイスに出力するステップと、
   を実行させるプログラム。
2. 前記配信コンテンツは、
   前記デバイスに前記対象オブジェクトに関する詳細情報を表示させる第１リンクと、
   前記ヘッドマウントディスプレイに出力される前記対象オブジェクトに関連する拡張コンテンツをダウンロードさせる第２リンクを含む、
   請求項１のプログラム。
3. 前記第２リンクに入力されたユーザ指示を受け付けるステップと、
   前記ヘッドマウントディスプレイがユーザに装着されているかを判定するステップと、
   前記ヘッドマウントディスプレイがユーザに装着されていない場合には、前記拡張コンテンツをダウンロードするためのダウンロード要求を出力する、
   請求項２のプログラム。
4. 前記仮想空間は、第１仮想空間および第２仮想空間を含み、
   前記対象オブジェクトは、前記第１仮想空間に表示される第１対象オブジェクトと、前記第２仮想空間に表示され、前記第１対象オブジェクトと関連する第２対象オブジェクトを含み、
   前記履歴は、前記ユーザが前記第１対象オブジェクトおよび前記第２対象オブジェクトを注視した時間を合算した合計注視時間である、
   請求項１〜３のいずれかのプログラム。
5. 前記コンピュータに、
   前記仮想空間における基準位置、および、前記対象オブジェクトが配置された対象オブジェクト位置を特定するステップと、
   前記基準位置に対する前記ユーザの視線方向である基準方向を特定するステップと、
   前記対象オブジェクトに対する前記ユーザの視線方向である注視方向を特定するステップと、
   前記ユーザが前記対象オブジェクトを注視した注視時間を特定するステップと、
   前記注視時間と、前記注視方向と、前記基準方向に基づいて、調整済注視時間を特定するステップと、をさらに実行させ、
   前記履歴は、前記調整済注視時間である、請求項１〜４のいずれかのプログラム。
6. 前記調整済注視時間は、前記注視時間を、前記注視方向の前記基準方向に対するずれ量に基づいて調整することによって算出される、請求項５のプログラム。
7. 前記ずれ量は、垂直面内における前記注視方向の前記基準方向に対するずれ量である第１ずれ量と、前記垂直面に直交する水平面内における前記注視方向の前記基準方向に対するずれ量である第２ずれ量を含み、
   前記第１ずれ量と前記第２ずれ量に所定の重みづけを付与して前記調整済注視時間を算出する、請求項６のプログラム。
8. 前記重みづけは、前記第１ずれ量に対して大きく付与される、請求項７のプログラム。
9. プロセッサを備え、
   前記プロセッサは、
   ユーザが没入する仮想空間、および、前記仮想空間に複数の対象オブジェクトを生成して、ヘッドマウントディスプレイに出力し、
   前記対象オブジェクトに対して、前記ユーザが前記仮想空間内においてとった行動の履歴を検出し、
   ユーザが前記ヘッドマウントディスプレイの使用を終了した後、前記履歴に基づいて、複数の前記対象オブジェクトの優先度を特定し、
   前記対象オブジェクトに関する情報が前記優先度に基づいて配置される配信コンテンツを生成し、
   前記配信コンテンツを、前記ヘッドマウントディスプレイとは異なるデバイスに出力する、コンピュータ。
10. ユーザが没入する仮想空間、および、前記仮想空間に複数の対象オブジェクトを生成して、ヘッドマウントディスプレイに出力するステップと、
    前記対象オブジェクトに対して、前記ユーザが前記仮想空間内においてとった行動の履歴を検出するステップと、
    ユーザが前記ヘッドマウントディスプレイの使用を終了した後、前記履歴に基づいて、複数の前記対象オブジェクトの優先度を特定するステップと、
    前記対象オブジェクトに関する情報が前記優先度に基づいて配置される配信コンテンツを生成するステップと、
    前記配信コンテンツを、前記ヘッドマウントディスプレイとは異なるデバイスに出力するステップと、
    を含む方法。