JP6273243B2 - 仮想現実空間のオブジェクトと対話するための装置、方法、及びプログラム - Google Patents

Description

本発明は、仮想現実空間のオブジェクトと対話するための装置、方法、及びプログラムに関する。

従来、コンピュータゲームにおいて、ユーザは例えばゲームコントローラを使用することによってゲーム内のキャラクタとの会話を行っていた（例えば特許文献１参照）。

特開２００８−２１２２６９号公報

コンピュータゲームなどの仮想現実空間に現実世界と同じような感覚のコミュニケーションを導入することは、大きなメリットがある。

本発明は、上記の点に鑑みてなされたものであり、その目的の１つは、コンピュータゲームなどの仮想現実空間に現実世界と同じような感覚のコミュニケーションを導入することにある。

上述した課題を解決するために、本発明の一態様は、仮想現実空間のオブジェクトと対話するための装置であって、ディスプレイに表示するためのオブジェクトを生成するオブジェクト生成手段と、ユーザが前記ディスプレイに表示されたオブジェクトを見ることに応答して、当該見られたオブジェクトを指定するオブジェクト指定手段と、前記ユーザの音声を検出する音声検出手段と、前記オブジェクトの指定と前記ユーザの音声の検出とが関連して行われたことを条件として、前記指定されたオブジェクトに対する対話を実施する対話実施手段と、を備える装置である。

また、本発明の他の一態様は、コンピュータによって実行される、仮想現実空間のオブジェクトと対話するための方法であって、ディスプレイに表示するためのオブジェクトを生成するステップと、ユーザが前記ディスプレイに表示されたオブジェクトを見ることに応答して、当該見られたオブジェクトを指定するステップと、前記ユーザの音声を検出するステップと、前記オブジェクトの指定と前記ユーザの音声の検出とが関連して行われたことを条件として、前記指定されたオブジェクトに対する対話を実施するステップと、を含む方法である。

また、本発明の他の一態様は、仮想現実空間のオブジェクトと対話するためのプログラムであって、コンピュータに、ディスプレイに表示するためのオブジェクトを生成するステップと、ユーザが前記ディスプレイに表示されたオブジェクトを見ることに応答して、当該見られたオブジェクトを指定するステップと、前記ユーザの音声を検出するステップと、前記オブジェクトの指定と前記ユーザの音声の検出とが関連して行われたことを条件として、前記指定されたオブジェクトに対する対話を実施するステップと、を実行させるプログラムである。

本発明によれば、コンピュータゲームなどの仮想現実空間に現実世界と同じような感覚のコミュニケーションを導入することが可能である。

図１は、本発明の一実施形態に係る対話システム１００のハードウェア構成図である。 図２は、本発明の一実施形態に係る画像生成装置２００の機能的な構成を示すブロック図である。 図３は、ディスプレイ１２２の画面例３２０を示す。 図４は、ディスプレイ１２２の画面例４２０を示す。 図５は、本発明の一実施形態に係る画像生成装置２００の処理手順を示すフローチャートである。

［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態は、以下のような構成を備える。

（項目１）仮想現実空間のオブジェクトと対話するための装置であって、ディスプレイに表示するためのオブジェクトを生成するオブジェクト生成手段と、ユーザが前記ディスプレイに表示されたオブジェクトを見ることに応答して、当該見られたオブジェクトを指定するオブジェクト指定手段と、前記ユーザの音声を検出する音声検出手段と、前記オブジェクトの指定と前記ユーザの音声の検出とが関連して行われたことを条件として、前記指定されたオブジェクトに対する対話を実施する対話実施手段と、を備える装置。

（項目２）前記ディスプレイは、ヘッドマウントディスプレイとして構成される、項目１に記載の装置。

（項目３）前記オブジェクトは、前記仮想現実空間内に配置されたキャラクタであり、前記オブジェクトに対する対話は、前記キャラクタとコミュニケーションを行うことに関連する、項目１又は２に記載の装置。

（項目４）前記対話実施手段は、前記音声検出手段によって検出された音声の特性に基づいて前記対話を制御する、項目３に記載の装置。

（項目５）前記対話実施手段は、前記音声検出手段によって検出された音声の音量と前記仮想現実空間における前記キャラクタまでの距離とに基づいて前記対話を制御する、項目４に記載の装置。

（項目６）前記オブジェクトは、前記仮想現実空間に重畳して表示されるメニュー又はアイコンであり、前記オブジェクトに対する対話は、前記メニュー又はアイコンにより特定される処理を起動することである、項目１又は２に記載の装置。

（項目７）前記対話実施手段は、前記ユーザが前記ディスプレイに表示されたオブジェクトを見ている間に前記ユーザの音声が検出されたことを条件として、前記オブジェクトに対する対話を実施する、項目１から６のいずれか１項に記載の装置。

（項目８）前記オブジェクト指定手段は、前記ディスプレイの画面内の所定部位がオブジェクトと重なっているか否かに応じてオブジェクトを指定する、項目１から７のいずれか１項に記載の装置。

（項目９）前記オブジェクト指定手段は、視線方向検出手段によって検出された前記ユーザの視線方向に基づいてオブジェクトを指定する、項目１から７のいずれか１項に記載の装置。

（項目１０）コンピュータによって実行される、仮想現実空間のオブジェクトと対話するための方法であって、ディスプレイに表示するためのオブジェクトを生成するステップと、ユーザが前記ディスプレイに表示されたオブジェクトを見ることに応答して、当該見られたオブジェクトを指定するステップと、前記ユーザの音声を検出するステップと、前記オブジェクトの指定と前記ユーザの音声の検出とが関連して行われたことを条件として、前記指定されたオブジェクトに対する対話を実施するステップと、を含む方法。

（項目１１）仮想現実空間のオブジェクトと対話するためのプログラムであって、コンピュータに、ディスプレイに表示するためのオブジェクトを生成するステップと、ユーザが前記ディスプレイに表示されたオブジェクトを見ることに応答して、当該見られたオブジェクトを指定するステップと、前記ユーザの音声を検出するステップと、前記オブジェクトの指定と前記ユーザの音声の検出とが関連して行われたことを条件として、前記指定されたオブジェクトに対する対話を実施するステップと、を実行させるプログラム。

［本発明の実施形態の詳細］
以下、図面を参照しながら本発明の実施形態について詳しく説明する。

図１は、本発明の一実施形態に係る対話システム１００のハードウェア構成図である。対話システム１００は、ヘッドマウントディスプレイ（Head Mounted Display：以下ＨＭＤと称する）１２０と、画像生成装置２００とを備える。ＨＭＤ１２０と画像生成装置２００は、一例として有線ケーブル１５０によって電気的に接続され、相互に通信可能である。有線ケーブル１５０に代えて、無線接続が用いられてもよい。

ＨＭＤ１２０は、ユーザ１６０の頭に装着されて利用される表示デバイスである。ＨＭＤ１２０は、ディスプレイ１２２と、アイトラッキングデバイス（Eye Tracking Device：以下ＥＴＤと称する）１２４と、センサ１２６と、マイク１２８とを備える。ＥＴＤ１２４とセンサ１２６は、どちらか一方だけが択一的に設けられてもよい。ＨＭＤ１２０は更に、不図示のスピーカ（ヘッドホン）やカメラを備えてもよい。

ディスプレイ１２２は、ＨＭＤ１２０を装着したユーザ１６０の視界に画像を提示するように構成される。例えば、ディスプレイ１２２は、非透過型ディスプレイとして構成することができる。この場合、ＨＭＤ１２０の外界の光景はユーザ１６０の視界から遮断され、ユーザ１６０の目にはディスプレイ１２２に映し出された画像だけが届けられる。ディスプレイ１２２には、例えば、コンピュータグラフィックスを用いて生成した画像が表示される。コンピュータグラフィックスによる画像の一例は、仮想現実の空間（例えばコンピュータゲームで作り出される世界）を画像化した仮想現実画像である。あるいは、現実世界の実際の地形や物体等の位置座標データに基づいて、現実世界をコンピュータグラフィックスで表現してもよい。更に、コンピュータグラフィックスによるのではなく、ＨＭＤ１２０に装備された不図示のカメラを用いてユーザ１６０の視点で撮影した映像を、ディスプレイ１２２に表示することとしてもよい。

ＥＴＤ１２４は、ユーザ１６０の眼球の動きを追跡して、ユーザ１６０の視線がどちらの方向に向けられているかを検出するように構成される。例えば、ＥＴＤ１２４は、赤外線光源と赤外線カメラとを備える。赤外線光源は、ＨＭＤ１２０を装着したユーザ１６０の目に向けて赤外線を照射する。赤外線カメラは、赤外線で照射されたユーザ１６０の目の画像を撮像する。赤外線はユーザ１６０の目の表面で反射されるが、瞳と瞳以外の部分とで赤外線の反射率が異なる。赤外線カメラで撮像されたユーザ１６０の目の画像には、赤外線の反射率の違いが画像の明暗となって現れる。この明暗に基づいて、ユーザ１６０の目の画像において瞳が識別され、更に、識別された瞳の位置に基づいて、ユーザ１６０の視線の方向が検出される。ユーザ１６０の視線方向は、ディスプレイ１２２に表示された画像のうちユーザ１６０がどの部分を見ているかを示す。

センサ１２６は、ＨＭＤ１２０を装着したユーザ１６０の頭がどちらの方向を向いているかを検知するためのセンサである。センサ１２６としては、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせが用いられてよい。センサ１２６が磁気センサ、角速度センサ、又は加速度センサである場合、センサ１２６はＨＭＤ１２０に内蔵されて、ＨＭＤ１２０の向きや動きに応じた値（磁気、角速度、又は加速度の値）を出力する。センサ１２６からの出力値を適宜の方法で加工することで、ＨＭＤ１２０を装着したユーザ１６０の頭の向きが算出される。ユーザ１６０の頭の向きは、ユーザ１６０が頭を動かした際にその動きに追従するようにディスプレイ１２２の表示画像を変化させるのに利用することができる。例えば、ユーザ１６０が頭を右（又は左、上、下）に向けると、ディスプレイ１２２には、仮想現実空間においてユーザの右（又は左、上、下）方向にある仮想的光景が映し出される。

なおセンサ１２６は、ＨＭＤ１２０の外部に設けられたセンサであってもよい。例えば、センサ１２６は、ＨＭＤ１２０とは別体の赤外線センサであってよい。この赤外線センサを用いて、ＨＭＤ１２０の表面に設けられた赤外線反射マーカーを検知することにより、ＨＭＤ１２０を装着したユーザ１６０の頭の向きを特定することができる。

マイク１２８は、ユーザ１６０が発した音声を集音するためのものである。後述するように、ユーザ１６０の音声は、仮想現実空間のオブジェクトに対する対話（インタラクション）を制御するために利用される。

画像生成装置２００は、ＨＭＤ１２０に表示される画像を生成するための装置である。画像生成装置２００は、プロセッサ２０２と、メモリ２０４と、ユーザ入力インターフェイス２０８とを少なくとも備える。画像生成装置２００は更に、その他のコンポーネントとして、例えばネットワークを介して他の装置と通信するためのネットワークインターフェイス（不図示）を備えてもよい。画像生成装置２００は、例えば、パーソナルコンピュータ、ゲームコンソール、スマートフォン、タブレット端末等として実現することが可能である。

メモリ２０４には、少なくともオペレーティングシステムと画像生成プログラムとが格納されている。オペレーティングシステムは、画像生成装置２００の全体的な動作を制御するためのコンピュータプログラムである。画像生成プログラムは、画像生成装置２００が後述する画像生成処理の各機能を実現するためのコンピュータプログラムである。メモリ２０４はまた、画像生成装置２００の動作によって生成されるデータを一時的又は永続的に記憶することもできる。メモリ２０４の具体例は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク、フラッシュメモリ、光ディスク等である。

プロセッサ２０２は、メモリ２０４に格納されているプログラムを読み出して、それに従った処理を実行するように構成される。プロセッサ２０２がメモリ２０４に格納された画像生成プログラムを実行することによって、後述する画像生成処理の各機能が実現される。プロセッサ２０２は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）を含む。

ユーザ入力インターフェイス２０８は、対話システム１００のユーザから画像生成装置２００を操作するための入力を受け取るように構成される。ユーザ入力インターフェイス２０８の具体例は、ゲームコントローラ、タッチパッド、マウス、キーボード等である。また図１において、マイク１２８はＨＭＤ１２０に付随するように描かれているが、マイク１２８はユーザ入力インターフェイス２０８の一部として画像生成装置２００に含まれてもよい。

図２は、本発明の一実施形態に係る画像生成装置２００の機能的な構成を示すブロック図である。画像生成装置２００は、記憶部２２０及び処理部２３０を有する。処理部２３０は更に、画像生成部２３１と、オブジェクト指定部２３２と、音声検出部２３３と、対話実施部２３４と、画像出力部２３５とを含む。記憶部２２０は、図１に示されたメモリ２０４に対応する。処理部２３０及び処理部２３０に含まれる各部２３１〜２３５は、図１に示されたプロセッサ２０２がメモリ２０４内の画像生成プログラムを読み出して実行することによって実現される、本発明に係る画像生成処理の機能を表す。

画像生成部２３１は、ＨＭＤ１２０に表示するための画像を生成する。例えば、画像生成部２３１は、記憶部２２０から所定のデータを取得し、取得したデータに基づいてコンピュータグラフィックス処理によって画像を生成する。一例として、画像生成部２３１は、ＨＭＤ１２０を装着したユーザ１６０がコンピュータゲームによる仮想現実空間を認識することができるような仮想現実画像を生成することとしてよい。仮想現実画像は、ユーザが仮想現実空間内で目にすることのできる光景を表す。例えば、画像生成部２３１によって生成される仮想現実画像は、コンピュータゲーム内に登場するキャラクタ、建物や木などの風景、室内の家具や壁の内装、地面に落ちているアイテム、ユーザが操作しているアバターの体の一部（手や足）やアバターが手で持っている物体（銃や剣）等を含む。また、画像生成部２３１は、現実世界の実際の地形データ等に基づいて現実世界を再現したコンピュータグラフィックス画像を生成することとしてもよい。更に、画像生成部２３１が生成する画像は、コンピュータグラフィックス処理によるものではなく、例えば、ＨＭＤ１２０に装備された外部カメラによってユーザ１６０の視点で撮影された映像そのものであってもよい。

画像生成部２３１は、更に、センサ１２６からの出力値に基づいて画像を変化させることとしてもよい。例えば、画像生成部２３１が生成する画像は、仮想現実空間内におけるユーザの視界が、センサ１２６からの出力値が示すユーザ１６０の頭の動きに追従して移り変わっていく様子を表す画像であってよい。

画像生成部２３１によって生成された画像は、画像出力部２３５を介してＨＭＤ１２０へ出力されて、ディスプレイ１２２に表示される。

本明細書及びクレームにおいて、画像生成部２３１が生成した画像のうちユーザが対話（インタラクション）の対象として選択し得るものを、「オブジェクト」と称する。また、オブジェクトに対する「対話」とは、オブジェクトに対してユーザが何らかの影響を及ぼすこと、即ち、オブジェクトに向けたユーザからのアクションに応じてそのオブジェクトに関連した何らかのコンピュータ処理が実行されることを意味する。例えば、仮想現実空間を舞台とするコンピュータゲームに登場するＮＰＣ（non-player character）などのゲームキャラクタは、オブジェクトの一例である。この場合、そのキャラクタのコンピュータゲーム内での行動をユーザのアクションに応答して変化させることが、オブジェクト（ゲームキャラクタ）に対する「対話」である。一つの具体例として、ユーザはコンピュータゲーム内においてあるＮＰＣと遭遇する。そのＮＰＣは初めユーザに背中を向けているが、ユーザからの呼び掛け（例えばマイク１２８からの音声入力）に反応してユーザの方に向き直る。この例では、このようなユーザとＮＰＣとのコミュニケーションによって、ＮＰＣに対する対話が行われている。また例えば、仮想現実画像（あるいは他の画像）を表示した画面上のメニューやアイコンも、オブジェクトの一例である。この場合には、そのメニューやアイコンに関連付けられた機能を起動することが、オブジェクト（メニューやアイコン）との対話に該当する。更にオブジェクトは、ゲームキャラクタやアイコン以外にも、ユーザが影響を及ぼし得るものであれば任意のものを含んでよい。そのようないくつかの例として、仮想現実空間内においてユーザが地面から拾うことができるアイテム、ユーザが開閉することができるドア、ユーザが目にする広告等を想定することができる。それぞれの場合、アイテムを拾うこと、ドアを開ける又は閉めること、広告を覗き込んで拡大表示することが、各オブジェクトとの対話である。

オブジェクト指定部２３２は、ＨＭＤ１２０を装着したユーザ１６０が、ディスプレイ１２２に表示された画像内のどのオブジェクトを見ているかを識別し、ユーザ１６０が見ているオブジェクトを対話対象オブジェクトとして指定する。例えば、オブジェクト指定部２３２は、ディスプレイ１２２の画面内の所定部位とオブジェクトとの位置関係に基づいて、ユーザ１６０が見ているオブジェクトを識別する。あるいは、オブジェクト指定部２３２は、ＥＴＤ１２４によって検出されたユーザ１６０の視線方向に基づいて、ユーザ１６０が見ているオブジェクトを識別することとしてもよい。

一つの具体例として、図３は、仮想現実空間のゲームキャラクタ３４０（オブジェクト）が表示されているディスプレイ１２２の画面３２０を示す。画面３２０には、その中央部に固定の十字マーカー３３０も表示される。図３（Ａ）において、ゲームキャラクタ３４０は画面３２０の右上エリアに存在しており、十字マーカー３３０から離れている。これは、ユーザ１６０が仮想現実空間においてゲームキャラクタ３４０を視界の中心に捉えていない状況を表している。ここでユーザ１６０は、ゲームキャラクタ３４０とコミュニケーションをとろうと（例えばゲームキャラクタ３４０に話し掛けようと）考え、視界をゲームキャラクタ３４０の方へ向けようとしたとする。例えば、ユーザ１６０は、ＨＭＤ１２０を装着している自分の頭を右へ向ける（あるいは自分の体ごと右へ向く）。ユーザ１６０の頭の動きはセンサ１２６によって検知され、センサ１２６の出力値に従って新たな画像が画像生成部２３１によって生成されてディスプレイ１２２に表示される。こうしてユーザ１６０の視界はユーザ１６０の頭の動きに追従して仮想現実空間を動き、図３（Ｂ）に示されるように、ディスプレイ１２２の画面３２０の中央にゲームキャラクタ３４０が配置される。即ちゲームキャラクタ３４０はユーザ１６０の視界の中心に捉えられて、十字マーカー３３０とゲームキャラクタ３４０とが重なる。オブジェクト指定部２３２は、図３（Ｂ）の状態において、ユーザ１６０がゲームキャラクタ３４０を見ていると判断し、ゲームキャラクタ３４０を対話対象オブジェクトとして指定する。

ユーザ１６０は頭を動かすのではなく、視線をゲームキャラクタ３４０に向けるのであってもよい。ユーザ１６０が視線をゲームキャラクタ３４０の方へ動かすと、ＥＴＤ１２４によってユーザ１６０の視線の方向が逐次検出される。この時、ディスプレイ１２２の画面３２０に表示されるユーザ１６０の視界自体（画面３２０内に表示される仮想現実空間の範囲）は変化しない。その代わりに、例えば、十字マーカー３３０がユーザ１６０の視線方向を指し示すように画面３２０内を動き回るようにしてもよい。図３（Ｃ）は、ユーザ１６０の視線、即ち十字マーカー３３０がゲームキャラクタ３４０上に置かれている様子を示す。オブジェクト指定部２３２は、図３（Ｃ）のようにユーザ１６０の視線方向がゲームキャラクタ３４０の方向と一致した場合、ゲームキャラクタ３４０を対話対象オブジェクトとして指定する。

別の具体例として、図４は、仮想現実空間に重畳して複数のアイコン４５０（オブジェクト）が表示されているディスプレイ１２２の画面４２０を示す。画面４２０は、仮想現実空間内のゲームキャラクタ４４０も含む。例えばゲームキャラクタ４４０は、コンピュータゲームにおいてユーザ１６０が攻撃を加える相手（敵キャラクタ）である。アイコン４５０は、画面４２０の右上、右下、左上、左下にそれぞれ配置されている。各アイコン４５０には、コンピュータゲームにおいてユーザ１６０が実行可能な行動が割り当てられる。いずれかのアイコン４５０が選択されると、当該アイコンに割り当てられた行動がコンピュータゲーム内で実行される。一例として、４つのアイコン４５０はそれぞれ、「戦う」、「魔法」、「防御」、「逃げる」の各行動に対応する。例えば「戦う」のアイコン４５０をユーザ１６０が選択すると、ユーザ１６０の操作キャラクタ（不図示）は、所定の武器（例えば剣）を使って敵キャラクタ４４０を攻撃する。

オブジェクト指定部２３２は、例えば、図３（Ｃ）に関連して説明したのと同様に、ユーザ１６０の視線方向に基づいてユーザ１６０がどのアイコン４５０を見ているかを識別し、識別したアイコン４５０を対話対象オブジェクトとして指定する。図４（Ａ）は、十字マーカー４３０（ユーザ１６０の視線方向）が画面４２０の中央部に配置された初期状態を示す。ユーザ１６０は、例えば、視線を左下へ動かすことによって、図４（Ｂ）に示されるように十字マーカー４３０を画面４２０の左下のアイコン４５０に重ね合わせる。図４（Ｂ）の状態では、画面左下のアイコン４５０が対話対象オブジェクトとして指定される。

音声検出部２３３は、マイク１２８からの音声信号に基づいて、ユーザ１６０が発した音声を検出する。例えば、記憶部２２０には音声認識用の所定のキーワードが格納されている。音声検出部２３３は、マイク１２８からの音声信号の中に記憶部２２０のキーワードが含まれているか否かを判定する。一例として、図３に示されるようにユーザ１６０がゲームキャラクタ３４０に話し掛けようとする例では、音声検出部２３３は、マイク１２８からの音声信号の中に「オーイ」という呼び掛けのキーワードが含まれているか否かを判定する。また、図４に示されるようにアイコン４５０を選択する例では、音声検出部２３３は、「チェック」や「選択」といったようなアイコンを選択することに関連したキーワードが音声信号に含まれているか否かを判定してもよい。更にまた、音声検出部２３３は、ユーザ１６０の声紋などの音響的特徴を利用してユーザ１６０の音声を検出してもよいし、あるいは単に一定音量以上の音が音声信号に含まれるかどうかを判定することとしてもよい。

対話実施部２３４は、対話対象オブジェクトに対するユーザ１６０の対話（インタラクション）を制御する。対話の制御は、オブジェクト指定部２３２による対話対象オブジェクトの指定に関連して、音声検出部２３３によるユーザの音声の検出が行われたか否かに基づく。例えば、対話実施部２３４は、ユーザ１６０がディスプレイ１２２に表示されたオブジェクトを見ている間（ユーザ１６０がオブジェクトを見ることによってそのオブジェクトが対話対象オブジェクトとして指定され続けている間）にユーザの音声が検出されたことを条件として、対話対象オブジェクトに対するユーザ１６０の対話を実施する。

一つの具体例として、図３（Ｂ）に示されるように、ユーザ１６０はゲームキャラクタ３４０がディスプレイ１２２の画面３２０の中央にくる（十字マーカー３３０と重なる）ように視界を移動させる。上述したように、この状態において、ゲームキャラクタ３４０が対話対象オブジェクトとして指定される。ユーザ１６０が視界をそのまま停止させて（即ちゲームキャラクタ３４０に十字マーカー３３０を合わせたまま）、例えば「オーイ」と発声することによってゲームキャラクタ３４０に呼び掛ける。すると、対話実施部２３４は、ゲームキャラクタ３４０に対する対話を実施する。例えば、対話実施部２３４は、ユーザ１６０に背中を向けていたゲームキャラクタ３４０をユーザ１６０の方に振り向かせる。このように、コミュニケーションをとりたいゲームキャラクタ３４０を視界の真ん中に捉えて声で呼び掛けることによって、そのゲームキャラクタ３４０とのコミュニケーション（例えば会話）を開始することができる。これにより、現実世界のリアルな人と人とのコミュニケーションに近いコミュニケーションを、コンピュータゲームのような仮想現実空間において実現することができる。

あるいはまた、図３（Ｃ）に示されるように、ユーザ１６０は視線を動かすことで十字マーカー３３０をゲームキャラクタ３４０に合わせる。そしてその状態で（即ち視線をゲームキャラクタ３４０から逸らすことなく）ユーザ１６０が「オーイ」とゲームキャラクタ３４０に呼び掛けると、対話実施部２３４は、上記と同様にしてゲームキャラクタ３４０に対する対話を実施する。

また別の具体例として、図４（Ｂ）に示されるように、ユーザ１６０は自分の操作キャラクタに実行させたい行動に対応する所望のアイコン４５０上に視線（十字マーカー４３０）をもっていく。上述したように、この状態において、当該所望のアイコン４５０が対話対象オブジェクトとして指定される。ユーザ１６０は、視線をそのアイコン４５０に合わせたまま、例えば「チェック」と発声することによって、アイコンを選択する意図を表明する。すると、対話実施部２３４は、対話対象オブジェクトとして指定されたアイコン４５０に対する対話を実施する。例えば、対話実施部２３４は、対話対象オブジェクトのアイコン４５０に割り当てられている行動を、ユーザ１６０の操作キャラクタに実行させる。このように、ユーザ１６０は、所望のアイコンを見て声を発することによって、そのアイコンに対応する処理を起動することができる。これにより、ユーザ１６０は手を使うことなくアイコンの操作が可能である。

また、対話実施部２３４は、音声検出部２３３によって検出されたユーザ１６０の音声の特性に基づいて、対話対象オブジェクトに対する対話を制御することとしてもよい。音声の特性は、例えば、音量、音の高低、（音声認識処理によって識別される）音声に含まれるコンテンツ等である。例えば、対話実施部２３４は、ユーザ１６０の音声の音量が所定の閾値を上回っている場合は、対話対象オブジェクトに対する対話を実施し、ユーザ１６０の音声の音量が当該閾値を下回っている場合には、対話対象オブジェクトに対する対話を実施しない。対話実施部２３４は、更に、仮想現実空間におけるユーザ１６０の操作キャラクタとゲームキャラクタ３４０との距離を考慮してもよい。例えば、ユーザ１６０の音声の音量が仮想現実空間におけるゲームキャラクタ３４０までの距離に比べて小さすぎる（仮想現実空間においてその音量ではゲームキャラクタ３４０にユーザ１６０の声が届かないと想定される）場合、対話実施部２３４は、そのゲームキャラクタ３４０との対話を実施しないが、ユーザ１６０の音声の音量が十分大きい場合には、対話実施部２３４は、その音声が届く範囲に存在する複数のゲームキャラクタ３４０を対話対象オブジェクトとして対話を実施する。これにより、現実世界の感覚により近いコミュニケーションを実現することができる。

図５は、本発明の一実施形態に係る画像生成装置２００の処理手順を示すフローチャートである。まず、ステップＳ５０２において、画像生成部２３１が、ＨＭＤ１２０に表示するための画像を生成する。次に、ステップＳ５０４において、画像出力部２３５が、画像生成部２３１により生成された画像をＨＭＤ１２０へ出力する。これにより、ＨＭＤ１２０のディスプレイ１２２に画像が表示される。次に、ステップＳ５０６において、オブジェクト指定部２３２が、ディスプレイ１２２に表示された画像のうちユーザ１６０が見ているオブジェクトを対話対象オブジェクトとして指定する。次に、ステップＳ５０８において、音声検出部２３３が、マイク１２８からの音声信号に基づいてユーザ１６０の音声を検出する。次に、ステップＳ５１０において、対話実施部２３４が、オブジェクトの指定とユーザの音声の検出とが関連して行われたことを条件として、対話対象オブジェクトに対する対話を実施する。

以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱しない範囲内において様々な変更が可能である。

１００ 対話システム
１２０ ヘッドマウントディスプレイ（ＨＭＤ）
１２２ ディスプレイ
１２４ アイトラッキングデバイス（ＥＴＤ）
１２６ センサ
１２８ マイク
１５０ 有線ケーブル
２００ 画像生成装置
２０２ プロセッサ
２０４ メモリ
２０８ ユーザ入力インターフェイス
２２０ 記憶部
２３０ 処理部
２３１ 画像生成部
２３２ オブジェクト指定部
２３３ 音声検出部
２３４ 対話実施部
２３５ 画像出力部

Claims (10)

1. 仮想現実空間のオブジェクトと対話するための装置であって、
   非透過型ヘッドマウントディスプレイに表示するためのオブジェクトを生成するオブジェクト生成手段と、
   ユーザが前記非透過型ヘッドマウントディスプレイに表示されたオブジェクトを見ることに応答して、当該見られたオブジェクトを対話の対象として指定するオブジェクト指定手段と、
   前記ユーザの音声を検出する音声検出手段と、
   前記オブジェクトを見ることに基づく前記オブジェクトの指定と、前記ユーザの音声の検出とに基づき、前記ユーザが前記非透過型ヘッドマウントディスプレイ上のオブジェクトを見ながら音声を発したことを条件として、前記指定されたオブジェクトに対する対話を実施する対話実施手段と、
   を備える装置。
2. 前記オブジェクトは、前記仮想現実空間内に配置されたキャラクタであり、
   前記オブジェクトに対する対話は、前記キャラクタとコミュニケーションを行うことに関連する、
   請求項１に記載の装置。
3. 前記対話実施手段は、前記音声検出手段によって検出された音声の特性に基づいて前記対話を制御する、
   請求項２に記載の装置。
4. 前記対話実施手段は、前記音声検出手段によって検出された音声の音量と前記仮想現実空間における前記キャラクタまでの距離とに基づいて前記対話を制御する、
   請求項３に記載の装置。
5. 前記オブジェクトは、前記仮想現実空間に重畳して表示されるメニュー又はアイコンであり、
   前記オブジェクトに対する対話は、前記メニュー又はアイコンにより特定される処理を起動することである、
   請求項１に記載の装置。
6. 前記対話実施手段は、前記ユーザが前記非透過型ヘッドマウントディスプレイに表示されたオブジェクトを見ている間に前記ユーザの音声が検出されたことを条件として、前記オブジェクトに対する対話を実施する、
   請求項１から５のいずれか１項に記載の装置。
7. 前記オブジェクト指定手段は、前記非透過型ヘッドマウントディスプレイの画面内の所定部位がオブジェクトと重なっているか否かに応じてオブジェクトを指定する、
   請求項１から６のいずれか１項に記載の装置。
8. 前記オブジェクト指定手段は、視線方向検出手段によって検出された前記ユーザの視線方向に基づいてオブジェクトを指定する、
   請求項１から６のいずれか１項に記載の装置。
9. コンピュータによって実行される、仮想現実空間のオブジェクトと対話するための方法であって、
   非透過型ヘッドマウントディスプレイに表示するためのオブジェクトを生成するステップと、
   ユーザが前記非透過型ヘッドマウントディスプレイに表示されたオブジェクトを見ることに応答して、当該見られたオブジェクトを対話の対象として指定するステップと、
   前記ユーザの音声を検出するステップと、
   前記オブジェクトを見ることに基づく前記オブジェクトの指定と、前記ユーザの音声の検出とに基づき、前記ユーザが前記非透過型ヘッドマウントディスプレイ上のオブジェクトを見ながら音声を発したことを条件として、前記指定されたオブジェクトに対する対話を実施するステップと、
   を含む方法。
10. 仮想現実空間のオブジェクトと対話するためのプログラムであって、コンピュータに、
    非透過型ヘッドマウントディスプレイに表示するためのオブジェクトを生成するステップと、
    ユーザが前記非透過型ヘッドマウントディスプレイに表示されたオブジェクトを見ることに応答して、当該見られたオブジェクトを対話の対象として指定するステップと、
    前記ユーザの音声を検出するステップと、
    前記オブジェクトを見ることに基づく前記オブジェクトの指定と、前記ユーザの音声の検出とに基づき、前記ユーザが前記非透過型ヘッドマウントディスプレイ上のオブジェクトを見ながら音声を発したことを条件として、前記指定されたオブジェクトに対する対話を実施するステップと、
    を実行させるプログラム。

Images