JPWO2016084736A1 - 情報処理装置、情報処理システム、制御方法、及びプログラム - Google Patents

Abstract

反射面の反射特性に応じて有指向性の音の出力を制御する情報処理装置を提供する。情報処理装置は、音を反射させる対象となる反射面を決定する反射面決定部（７４）と、決定した反射面の反射特性を示す反射面情報を取得する反射面情報取得部（７６）と、取得した反射面情報に応じた有指向性の音を決定した反射面に対して出力する出力制御部（７０）とを含む。

Description

本発明は、情報処理装置、情報処理システム、制御方法、及びプログラムに関する。

特定の方向だけに音が聞こえるような指向性音を出力したり、指向性音を反射面に反射させることであたかもその反射面から音が出ているようにユーザに感じさせたりする指向性スピーカがある。

特開２００５−１０１９０２号公報 特開２０１０−５６７１０号公報 特開２０１２−４９６６３号公報

指向性音を反射面に反射させる場合、反射面の素材や向きに応じて反射特性が異なることから、同じ音を出力したとしても反射面によって音量や周波数などの音の特徴が変化してしまうことがある。しかし、従来は、反射面の素材や向きに応じた反射特性まで考慮されていなかった。

本発明は上記課題に鑑みてなされたものであって、その目的の一つは、反射面の反射特性に応じて有指向性の音の出力を制御する情報処理装置を提供することにある。

本発明に係る情報処理装置は、音を反射させる対象となる反射面を決定する反射面決定部と、前記決定した反射面の反射特性を示す反射面情報を取得する反射面情報取得部と、
前記取得した反射面情報に応じた有指向性の音を前記決定した反射面に対して出力する出力制御部と、を含むことを特徴とする。

また、上述の情報処理装置において、前記反射面情報取得部は、前記反射面情報として前記反射面の反射率を取得する、こととしてもよい。

また、上述の情報処理装置において、前記出力制御部は、前記取得した反射率に応じて前記有指向性の音の出力量を決定する、こととしてもよい。

また、上述の情報処理装置において、前記反射面情報取得部は、前記反射面情報として前記有指向性の音が前記反射面に入射する入射角を取得する、こととしてもよい。

また、上述の情報処理装置において、前記出力制御部は、前記取得した入射角に応じて前記有指向性の音の出力量を決定する、こととしてもよい。

また、上述の情報処理装置において、前記反射面情報取得部は、前記反射面情報として前記有指向性の音が前記反射面に反射してユーザに到達するまでの到達距離を取得する、こととしてもよい。

また、上述の情報処理装置において、前記出力制御部は、前記取得した到達距離に応じて前記有指向性の音の出力量を決定する、こととしてもよい。

また、上述の情報処理装置は、前記反射面情報取得部は、前記反射面の候補となる複数の候補反射面それぞれの前記反射面情報を取得し、前記複数の候補反射面のうち、その前記反射面情報が示す前記反射特性が優れた候補反射面を選定する反射面選定部、をさらに含む、こととしてもよい。

また、上述の情報処理装置において、前記反射面情報取得部は、カメラにより撮影された前記反射面の画像の特徴情報に基づいて前記反射面情報を取得する、こととしてもよい。

また、本発明に係る情報処理システムは、所定の反射面に有指向性の音を反射させることで生成された無指向性の音をユーザに到達させる指向性スピーカと、前記有指向性の音を反射させる対象となる反射面を決定する反射面決定部と、前記決定した反射面の反射特性を示す反射面情報を取得する反射面情報取得部と、前記取得した反射面情報に応じた有指向性の音を前記指向性スピーカから前記決定した反射面に対して出力する出力制御部と、を含むことを特徴とする。

また、本発明に係る制御方法は、音を反射させる対象となる反射面を決定する反射面決定ステップと、前記決定した反射面の反射特性を示す反射面情報を取得する反射面情報取得ステップと、前記取得した反射面情報に応じた有指向性の音を前記決定した反射面に対して出力する出力制御ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、音を反射させる対象となる反射面を決定する反射面決定部、前記決定した反射面の反射特性を示す反射面情報を取得する反射面情報取得部、前記取得した反射面情報に応じた有指向性の音を前記決定した反射面に対して出力する出力制御部、としてコンピュータを機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能な情報記憶媒体に格納されてよい。

本実施形態に係るエンタテインメントシステムのハードウェア構成を示す図である。 指向性スピーカの構造の一例を模式的に示す図である。 本実施形態に係るエンタテインメントシステムの利用シーンを示す全体概要図である。 第１実施形態に係るエンタテインメントシステムにより実行される主な機能の一例を示す機能ブロック図である。 音声情報の一例を示す図である。 素材特徴情報の一例を示す図である。 ユーザ位置情報の一例を示す図である。 区分領域の一例を示す図である。 区部領域情報の一例を示す図である。 候補反射面情報の一例を示す図である。 第１実施形態に係るエンタテインメントシステムが実行する部屋画像解析処理の流れの一例を示すフロー図である。 第１実施形態に係るエンタテインメントシステムが実行する音出力制御処理の流れの一例を示すフロー図である。 複数の指向性スピーカが配置される構造の一例を示す図である。 第２実施形態に係るエンタテインメントシステム１０が実行する音出力制御処理の流れの一例を示すフロー図である。

［第１実施形態］
以下、本発明の第１実施形態について、図面に基づき詳細に説明する。

［１．ハードウェア構成］
図１は、本発明の実施形態に係るエンタテインメントシステム（音出力システム）１０のハードウェア構成を示す図である。図１に示すように、エンタテインメントシステム１０は、制御部１１と、メインメモリ２０と、画像処理部２４と、モニタ２６と、入出力処理部２８と、音声処理部３０と、指向性スピーカ３２と、光ディスク読み取り部３４と、光ディスク３６と、ハードディスク３８と、インタフェース（Ｉ／Ｆ）４０と、コントローラ４２と、ネットワークインタフェース（Ｉ／Ｆ）４４と、を含んで構成されるコンピュータシステムである。

制御部１１は、例えばＣＰＵ、ＭＰＵ、ＧＰＵ（Graphical Processing Unit）を含んで構成され、メインメモリ２０に格納されているプログラムに従って各種処理を実行する。本実施形態において制御部１１が実行する処理の具体例については、後述する。

メインメモリ２０は、ＲＡＭやＲＯＭ等のメモリ素子を含んで構成される。メインメモリ２０には、光ディスク３６やハードディスク３８から読み出されたプログラム及びデータや、ネットワークからネットワークインタフェース４８を介して供給されたプログラム及びデータが必要に応じて書き込まれる。また、メインメモリ２０は、制御部１１のワークメモリとしても動作する。

画像処理部２４は、ＧＰＵとフレームバッファとを含んで構成される。ＧＰＵは、制御部１１から供給される画像データに基づいてフレームバッファに各種画面を描画する。フレームバッファに形成された画面は、所定のタイミングでビデオ信号に変換されてモニタ２６に出力される。なお、モニタ２６には例えば家庭用テレビ受像機が用いられる。

入出力処理部２８は、音声処理部３０、光ディスク読み取り部３４、ハードディスク３８、インタフェース４０,４４、ネットワークインタフェース４８が接続される。入出力処理部２８は、制御部１１と、音声処理部３０、光ディスク読み取り部３４、ハードディスク３８、インタフェース４０,４４、ネットワークインタフェース４８と、の間のデータ授受を制御する。

音声処理部３０は、ＳＰＵ（Sound Processing Unit）とサウンドバッファとを含んで構成される。サウンドバッファには、光ディスク３６やハードディスク３８から読み出されたゲーム音楽、ゲーム効果音やメッセージなどの各種音声データが記憶される。ＳＰＵは、これらの各種音声データを再生して指向性スピーカ３２から出力させる。なお、音声処理部３０（ＳＰＵ）に代わって、制御部１１が各種音声データを再生して指向性スピーカ３２から出力させるようにしてもよい。すなわち、各種音声データの指向性スピーカ３２からの再生出力が、制御部１１により実行されるソフトウェア処理によって実現されるようにしてもよい。

指向性スピーカ３２は、例えば、パラメトリックスピーカであり、有指向性の音を出力する。指向性スピーカ３２には、指向性スピーカ３２を動かすためのアクチュエータが接続され、アクチュエータには、モータドライバ３３が接続されている。モータドライバ３３は、アクチュエータの駆動制御を行う。図２は、指向性スピーカ３２の構造の一例を模式的に示す図である。図２に示すように、指向性スピーカ３２は、基板３２ａに複数の超音波発音体３２ｂを並べて構成され、各超音波発音体３２ａから出力される超音波が空気中で重なり合うことで超音波から可聴音になる。このとき、超音波が重なり合う中心部のみが可聴音となるため、超音波の進行方向にだけ聴こえる有指向性の音となる。また、このような有指向性の音が反射面で乱反射することで無指向性の音となるので、当該反射面から音が発生しているようにユーザに感じさせることができる。本実施形態においては、モータドライバ３３によるアクチュエータの駆動により、指向性スピーカ３２は、ｘ軸、ｙ軸を中心に回転動作が行われる。これにより、指向性スピーカ３２から出力される有指向の音の方向を任意に調整することができ、また、任意の場所で有指向性の音を反射させてその場所から音が発生しているようにユーザに感じさせることができる。

光ディスク読み取り部３４は、制御部１１からの指示に従って、光ディスク３６に記憶されたプログラムやデータを読み取る。光ディスク３６は例えばＤＶＤ−ＲＯＭ等の一般的な光ディスクである。また、ハードディスク３８は一般的なハードディスク装置である。光ディスク３６やハードディスク３８には各種プログラムやデータがコンピュータ読み取り可能に記憶される。なお、エンタテインメントシステム１０は、光ディスク３６やハードディスク３８以外の他の情報記憶媒体に記憶されたプログラムやデータを読み取り可能に構成してもよい。

光ディスク３６は例えばＤＶＤ−ＲＯＭ等の一般的な光ディスク（コンピュータ読み取り可能な情報記憶媒体）である。また、ハードディスク３８は一般的なハードディスク装置である。光ディスク３６やハードディスク３８には各種プログラムやデータがコンピュータ読み取り可能に記憶される。

インタフェース（Ｉ／Ｆ）４０，４４は、コントローラ４２やカメラユニット４６等の各種周辺機器を接続するためのインタフェースである。このようなインタフェースとしては、例えばＵＳＢ（Universal Serial Bus）インタフェースが用いられる。また、例えばBluetooth（登録商標）インタフェースなどの無線通信インタフェースが用いられてもよい。

コントローラ４２は汎用操作入力手段であり、ユーザが各種操作（例えばゲーム操作）を入力するために用いられる。入出力処理部２８は、所定時間（例えば１／６０秒）ごとにコントローラ４２の各部の状態をスキャンし、その結果を表す操作信号を制御部１１に供給する。制御部１１は、ユーザによって行われた操作の内容をその操作信号に基づいて判断する。なお、エンタテインメントシステム１０は複数のコントローラ４２を接続可能に構成されており、各コントローラ４２から入力される操作信号に基づいて、制御部１１が各種処理を実行するようになっている。

カメラユニット４６は、例えば公知のデジタルカメラを含んで構成され、白黒、グレイスケール又はカラーの撮影画像を所定時間（例えば１／６０秒）ごとに入力する。本実施の形態におけるカメラユニット４６は、撮影画像をＪＰＥＧ（Joint Photographic Experts Group）形式の画像データとして入力するようになっている。また、カメラユニット４６は、ケーブルを介してインタフェース４４に接続される。

ネットワークインタフェース４８は、入出力処理部２８と通信ネットワークとに接続されており、エンタテインメントシステム１０が通信ネットワークを介して他のエンタテインメントシステム１０とデータ通信するのを中継するようになっている。

［２．全体概要図］
図３は、本実施形態に係るエンタテインメントシステム１０の利用シーンを示す全体概要図である。図３に示すように、エンタテインメントシステム１０は、例えば、四方を壁で囲まれ、様々な家具が配置されるような個人の部屋の中でユーザにより利用される。ここで、指向性スピーカ３２は、部屋内の任意の場所に向けて有指向性の音を出力できるようモニタ２６の上に設置される。また、カメラユニット４６も、部屋全体を撮影できるようモニタ２６の上に設置される。そして、モニタ２６、指向性スピーカ３２、及びカメラユニット４６は、家庭用ゲーム機などである情報処理装置５０に接続されている。このような部屋の中でエンタテインメントシステム１０を利用してユーザがコントローラ４２を操作してゲームを行う場合は、まず、エンタテインメントシステム１０では、ゲームプログラムと、ゲーム効果音等の音声データと、各音声データを出力するための制御パラメータデータと、が情報処理装置５０に備えられる光ディスク３６又はハードディスク３８から読み出され、ゲームが実行される。そして、エンタテインメントシステム１０は、モニタ２６に表示されるゲーム画像や、ゲームの進行状況に合せて所定の場所から効果音を発生させるように指向性スピーカ３２を制御することで、ユーザに臨場感のあるゲーム環境を提供する。具体的には、例えば、ゲーム内においてユーザキャラクタの後方で爆発が発生する場合に、ユーザの後方の壁に有指向性の音を反射させることで、実際のユーザの後方から爆発音が聴こえるように演出することができる。また、ゲーム内のユーザキャラクタの心拍数が上昇するような場合にユーザの体に有指向性の音を反射させることで、実際のユーザ自身から心拍音が聴こえるように演出することができる。このような演出をするとき、有指向性の音を反射させる反射面（壁、机、ユーザの体など）の素材や向きによって反射特性が異なるため、必ずしも所期の特徴（音量、音の高低など）の音声がユーザに聴こえるとは限らない。そこで、本発明は、有指向性の音を反射させる反射面の素材や向きに応じて指向性スピーカ３２の出力を制御できる構成としている。なお、本実施形態では、エンタテインメントシステム１０を利用してユーザがゲームを行う場合について説明するが、映画などの動画像を視聴する場合やラジオなどの音声だけを聴く場合にも適用できる。

以下、エンタテインメントシステム１０による指向性スピーカ３２の出力制御について説明する。

［３．機能ブロック図］
図４は、第１実施形態に係るエンタテインメントシステム１０により実行される主な機能の一例を示す機能ブロック図である。図４に示すように、第１実施形態においてエンタテインメントシステム１０は、機能的には、例えば、音声情報記憶部５４、素材特徴情報記憶部５２、部屋画像解析部６０、及び出力制御部７０、を含んで構成されている。これらの機能のうち、部屋画像解析部６０、及び出力制御部７０は、例えば光ディスク３６やハードディスク３８から読み出されるプログラムや、ネットワークからネットワークインタフェース４８を介して供給されるプログラムが制御部１１によって実行されることによって実現される。また、音声情報記憶部５４、及び素材特徴情報記憶部５２は、例えば光ディスク３６やハードディスク３８によって実現される。

まず、ゲーム効果音等の音声データと、各音声データを出力するための制御パラメータデータ（音声出力制御パラメータデータとする）と、が関連付けられた音声情報が音声情報記憶部５４に予め記憶されている。ここで、音声データは、指向性スピーカ３２から出力されることを想定して作成された音声信号の波形を示す波形データとする。音声出力制御パラメータデータは、音声データを、指向性スピーカ３２から出力することを想定して作成された制御パラメータとする。図５は、音声情報の一例を示す図である。図５に示すように、音声情報は、音声データ毎に、音声信号、及び出力条件を対応付けて管理される。音声信号は、その波形データにより音量や周波数（音の高低）が定められるが、本実施形態の各音声信号は、基準となる反射特性を有する反射面で反射することを想定した音量や周波数が定められていることとする。具体的には、音声が指向性スピーカから出力され、反射面で反射してユーザに到達するまでの到達距離が基準到達距離Ｄｍ（例えば、４ｍ）、反射面の素材が基準素材Ｍ（例えば、木材）、入射角が基準入射角α°（例えば、４５°）、の条件を有する反射面を基準となる反射特性を有する反射面とする。そして、上述したような基準となる反射特性を有する反射面で反射してユーザに到達する音声が所期の特徴となるよう各音声信号の音量や周波数が定められることとする。出力条件は、音声データを出力するタイミングや、音声を発生させる音発生場所を示す情報であり、第１実施形態では特にゲーム内のユーザキャラクタを基準とした音発生場所を示す情報とする。例えば、ユーザキャラクタから見て右側、前方といったユーザキャラクタを基準とする方向や場所を示す情報とする。この出力条件に基づいて、指向性スピーカ３２から出力される有指向性音の向きが決定される。なお、予め出力場所が定められていない音声データには出力条件は対応付けられておらず、ゲーム状況やユーザ操作に応じて出力条件が付与されることとする。

また、代表的な面の素材、面の特徴情報、及び音の反射率との関係を示した素材特徴情報が予め素材特徴情報記憶部５２に記憶されている。図６は、素材特徴情報の一例を示す図である。図６に示すように、素材特徴情報は、素材毎に、木材、金属、ガラスなどといった素材名、カメラで素材を撮影したときの画像から得られる特徴情報である素材特徴情報、及び音の反射率と、を対応付けて管理される。ここで、画像から得られる特徴情報は、例えば、画像に含まれる色成分（例えば、ＲＧＢ、ＶＢｒ等の色空間における色成分）の分布、彩度の分布、明度の分布とし、これらの何れか１つまたは２つ以上の任意の組み合わせであってもよい。

［４．部屋画像解析処理］
部屋画像解析部６０は、カメラユニット４６が撮影した部屋の画像を解析する。部屋画像解析部６０は、制御部１１を主として実現され、部屋画像取得部６２、ユーザ位置特定部６４、及び候補反射面選定部６６を含む。

部屋画像取得部６２は、部屋画像取得要求に応じてカメラユニット４６によって撮影される部屋の画像を取得する。部屋画像取得要求は、例えば、ゲームの起動時や、ゲームの状況に応じた所定のタイミングなどに発信される。また、カメラユニット４６が、所定時間（例えば１／６０秒）ごとに生成した部屋の画像をメインメモリ２０に記憶しておき、部屋画像取得要求に応じてメインメモリ２０に記憶されている部屋の画像を取得してもよい。

ユーザ位置特定部６４は、部屋画像取得部６２が取得した部屋の画像（取得部屋画像とする）を画像解析することで、部屋にいるユーザの位置を特定する。ユーザ位置特定部６４は、取得部屋画像から、公知の顔認識技術を用いて、部屋にいるユーザの顔画像を検知する。ユーザ位置特定部６４は、例えば、目、鼻や口等の顔の部位を検知し、それらの部位の位置に基づいて顔を検知してもよい。また、ユーザ位置特定部６４は、肌色情報を用いて顔を検知してもよい。また、ユーザ位置特定部６４は、その他の検知方法を用いて、顔を検知するようにしてもよい。ユーザ位置特定部６４は、このように検知した顔画像の位置をユーザの位置として特定する。また、部屋に複数のユーザがいる場合は、検知したユーザの顔画像から得られる特徴情報の違いにより複数のユーザを区別することができる。そして、ユーザ位置特定部６４は、ユーザの顔画像から得られる特徴情報であるユーザ特徴情報と、特定したユーザの位置を示す位置情報と、を関連付けたユーザ位置情報をユーザ位置情報記憶部に記憶する。位置を示す位置情報は、撮像装置からの距離（例えば、撮像装置からユーザの顔画像までの距離）を示す情報であってもよいし、三次元空間の座標値であってもよい。図７は、ユーザ位置情報の一例を示す図である。図７に示すように、ユーザ位置情報は、特定されたユーザ毎に付与される利用者ＩＤ、特定されたユーザの顔画像から得られるユーザ特徴情報、及びユーザの位置を示す位置情報を関連付けて管理される。

また、ユーザ位置特定部６４は、ユーザが把持しているコントローラ４２を検知し、検知したコントローラ４２の位置をユーザの位置として特定してもよい。コントローラ４２を検知することによりユーザの位置を特定する場合は、ユーザ位置特定部６４は、取得部屋画像から、コントローラ４２の発光部から発せられる光を検知し、検知した光の位置をユーザの位置として特定する。また、部屋に複数のユーザがいる場合は、コントローラ４２の発光部から発せられる光の色の違いにより複数のユーザを区別してもよい。

候補反射面選定部６６は、取得部屋画像と、ユーザ位置情報記憶部に記憶されているユーザ位置情報と、に基づいて指向性スピーカ３２から出力される有指向性音を反射させる反射面の候補（候補反射面とする）を選定する。ここで、有指向性音を反射させる反射面は、６〜９ｃｍ四方の大きさがあればよく、例えば壁、机、椅子、本棚、ユーザの体などの表面の一部であってよい。

まず、候補反射面選定部６６は、音声を発生させる音発生場所に合せて、部屋空間を複数の区分領域に区分する。音発生場所は、音声情報記憶部５４に記憶されている音声情報に含まれる出力条件に対応するものであり、ゲーム内のユーザキャラクタを基準として定められている。候補反射面選定部６６は、ユーザ位置情報記憶部に記憶されているユーザ位置情報が示すユーザの位置を基準として、部屋空間を音発生場所に対応する複数の区分領域に区分する。図８は、区分領域の一例を示す図である。音発生場所として、ゲーム内のユーザキャラクタを基準として右下前方、左下前方、左上前方、右上前方、左上前方、右上前方、右下後方、左下後方、左上後方、右上後方の８種類が用意されている場合に、図８に示すように、実際のユーザの位置を基準として部屋空間を８個の区分領域（区分領域ＩＤ：１〜８）に区分する。区分領域は、ユーザの右下前方に位置する区分領域１、ユーザの左下前方に位置する区分領域２、ユーザの左上前方に位置する区分領域３、ユーザの右上前方に位置する区分領域４、ユーザの右下後方に位置する区分領域５、ユーザの左下後方に位置する区分領域６、ユーザの左上後方に位置する区分領域７、及びユーザの右上後方に位置する区分領域８の８領域に区分される。また、このようにして部屋空間を区分して生成される区分領域と音発生場所とを対応付けた区分領域情報が区分領域情報記憶部に記憶されることとする。図９は区分領域情報の一例を示す図である。図９に示すように区分領域情報は、区分領域ＩＤと音発生場所とが対応付けられて管理される。なお、図８に示す区分領域はあくまで一例であり、例えばゲームの種類に応じて定められている音発生場所に対応する区分領域が生成されるよう部屋空間が区分されればよい。

そして、候補反射面選定部６６は、区分領域毎に、区分領域内にある面から音を反射させるのに最適な面を候補反射面として選定する。ここで、音を反射させるのに最適な面とは、反射特性の優れた面であり、例えば、反射率の高い素材、色で構成されている面とする。

候補反射面の選定処理について説明する。まず、候補反射面選定部６６は、取得部屋画像から区分領域内にある候補反射面になり得る面を抽出し、その抽出した面（抽出反射面とする）の特徴情報を取得する。区分領域内にある複数の抽出反射面は、候補反射面になり得る面であり、候補反射面の候補となる面である。そして、候補反射面選定部６６は、区分領域内にある複数の抽出反射面のうち、その反射特性が最も優れた抽出反射面を候補反射面として選定する。

ここでは、候補反射面選定部６６が、反射特性の最も優れた抽出反射面を候補反射面として選定する際に、抽出反射面の反射率を比較することとする。まず、候補反射面選定部６６は、素材特徴情報記憶部５２に記憶されている素材特徴情報を参照して、抽出反射面の特徴情報から抽出反射面の素材／反射率を推定する。候補反射面選定部６６は、例えば、公知のパターンマッチング技術を用いて、抽出反射面の特徴情報から抽出反射面の素材／反射率を推定するが、その他の手法を用いてもよい。具体的には、候補反射面選定部６６は、抽出反射面の特徴情報と、素材特徴情報記憶部５２に記憶されている素材特徴情報とをマッチングさせて、最もマッチングの度合いの高い素材特徴情報に対応する素材／反射率を、抽出反射面の素材／反射率として推定する。このようにして候補反射面選定部６６は、複数の抽出反射面それぞれの特徴情報から各抽出反射面の素材／反射率を推定する。そして、候補反射面選定部６６は、区分領域内にある複数の抽出反射面のうち、その反射率が最も優れた抽出反射面を候補反射面として選定する。候補反射面選定部６６が、このような処理を区分領域毎に実行することで、区分領域分の候補反射面が選定されることになる。

なお、抽出反射面の反射率を推定する手法は上述の手法に限られない。例えば、指向性スピーカ３２が、抽出反射面に対して実際に音を出力し、当該抽出反射面で反射した反射音をマイクで集音することで抽出反射面の反射率を測定することとしてもよい。また、抽出反射面に対して光を出力し、当該抽出反射面で反射した反射光を検出することで光の反射率を測定することとしてもよい。そして、光の反射率を音の反射率の替わりとして候補反射面の選定に用いてもよいし、光の反射率から音の反射率を推定することとしてもよい。

また、候補反射面選定部６６が、反射特性が最も優れた抽出反射面を候補反射面として選定する際に、指向性スピーカ３２から出力される有指向性音が抽出反射面に入射する入射角を比較することとしてもよい。これは、入射角が大きいほど反射効率が向上するという特性を利用したものである。この場合、候補反射面選定部６６は、取得部屋画像に基づいて、指向性スピーカ３２から延びる直線が抽出反射面へ入射する入射角を算出する。そして、候補反射面選定部６６は、複数の抽出反射面それぞれにおける指向性スピーカ３２から延びる直線の抽出反射面へ入射する入射角を算出し、最も入射角が大きくなる抽出反射面を候補反射面として選定する。

また、候補反射面選定部６６が、反射特性が最も優れた抽出反射面を候補反射面として選定する際に、指向性スピーカ３２から抽出反射面までの直線距離と、抽出反射面からユーザまでの直線距離と、の総和である音の到達距離を比較することとしてもよい。これは、指向性スピーカ３２から出力される音声データが反射面に反射してユーザに到達するまでの距離が短いほど、ユーザは音声を聴き取りやすくなるという思想に基づくものである。この場合、候補反射面選定部６６は、取得部屋画像に基づいて到達距離を算出する。そして、候補反射面選定部６６は、複数の抽出反射面それぞれにおける到達距離を算出し、最も到達距離が短くなる抽出反射面を候補反射面として選定する。

上述のようにして候補反射面選定部６６が選定した候補反射面を示す候補反射面情報は、候補反射面情報記憶部に記憶される。図１０は、候補反射面情報の一例を示す図である。図１０に示すように、候補反射面情報は、区分領域毎に、区分領域を示す区分領域ＩＤ、候補反射面の位置を示す位置情報、指向性スピーカ３２から出力される音が反射面に反射してユーザに到達するまでの距離を示す到達距離、候補反射面の反射率、及び候補反射面への有指向性音の入射角、を対応付けて管理される。

なお、候補反射面選定部６６が、反射特性が最も優れた抽出反射面を候補反射面として選定する際に、上述した抽出反射面の反射率、抽出反射面の入射角、及び到達距離のうちいずれか２つ以上を任意に組み合わせて、反射特性の優れた面を選定することとしてもよい。

以上のような部屋画像解析処理により、部屋の形状、ユーザの位置に関わらず、有指向性の音を反射させる最適な反射面を選定することができる。

ここで、第１実施形態に係るエンタテインメントシステム１０が実行する部屋画像解析処理の流れの一例を図１１のフロー図を参照しながら説明する。

まず、部屋画像取得部６２が、部屋画像取得要求に応じてカメラユニット４６によって撮影される部屋画像を取得する（Ｓ１）。

そして、ユーザ位置特定部６４が、部屋画像取得部６２が取得した取得部屋画像からユーザの位置を特定する（Ｓ２）。

そして、候補反射面選定部６６は、取得部屋画像に基づいて、部屋空間を複数の区分領域に区分する（Ｓ３）。ここでは、部屋空間をｋ個の区分領域に区分することとし、各区分領域には１〜ｋの番号が区分領域ＩＤとして付与されることとする。そして、候補反射面選定部６６は、１〜ｋの区分領域毎に候補反射面を選定する。

候補反射面選定部６６は、変数ｉをｉ＝１に初期化する（Ｓ４）。変数ｉは、区分領域ＩＤを示す変数であり、１〜ｋまでの整数値をとるカウンタ変数である。

候補反射面選定部６６は、取得部屋画像に基づいて、区分領域１の中から反射面になり得る抽出反射面を抽出し、その抽出反射面の特徴情報を取得する（Ｓ５）。

候補反射面選定部６６は、処理Ｓ５で取得した抽出反射面の特徴情報と、素材特徴情報記憶部５２に記憶されている素材特徴情報と、を照合し（Ｓ６）、抽出反射面の反射率を推定する。そして、候補反射面選定部６６は、複数の抽出反射面のうち、その反射率が最も優れた抽出反射面を区分領域１の候補反射面として選定する（Ｓ７）。

そして、候補反射面選定部６６が選定した候補反射面の反射特性が候補反射面情報として候補反射面情報記憶部に保存される（Ｓ８）。ここでは、反射特性として、候補反射面の反射率、指向性スピーカから出力される音が候補反射面に入射する入射角、指向性スピーカから出力される音が候補反射面で反射してユーザに到達するまでの到達距離、などである。候補反射面情報に含まれる反射率は、素材特徴情報記憶部５２に記憶されている素材特徴情報から推定した反射率であってもよいし、指向性スピーカから候補反射面に対して実際に音声データを出力した際の反射音を集音して測定した反射率であってもよい。また、候補反射面情報に含まれる入射角及び到達距離は、取得部屋画像に基づいて算出されたものとする。これらの反射特性が、区分領域を示す区分領域ＩＤ、及び候補反射面の位置を示す位置情報、に関連付けられて保存される。

そして、変数ｉに１が加算され（Ｓ９）、候補反射面選定部６６は、ｉ＝ｋとなるまで処理Ｓ５以降の処理を繰り返し実行する。また、変数ｉ＝ｋとなると（Ｓ１０）、部屋画像解析処理が終了し、図１０に示すような区分領域１〜ｋにそれぞれ対応するｋ個分の候補反射面の候補反射面情報が、候補反射面情報記憶部に記憶されることとなる。

以上のような部屋画像解析処理は、ゲーム起動時のタイミングで実行されてもよいし、ゲーム起動中に定期的に実行されてもよい。部屋画像解析処理がゲーム起動中に定期的に実行されることで、ゲーム中にユーザが部屋内を移動した場合であってもユーザの移動に応じた適切な音出力を行うことができる。

［５．出力制御処理］
出力制御部７０は、モータドライバ３３を制御して指向性スピーカ３２の向きを制御し、所定の音声データを指向性スピーカ３２から出力させる。出力制御部７０は、制御部１１や音声処理部３０を主として実現され、出力制御部７０は、音声情報取得部７２、反射面決定部７４、反射面情報取得部７６、及び出力量決定部７８を含む。

出力制御部７０は、反射面情報取得部７６が取得した決定反射面の情報と、音声情報取得部７２が取得した音声情報と、に基づいて指向性スピーカ３２からの音声出力を制御する。具体的には、出力制御部７０は、決定反射面の情報に応じた音声データが指向性スピーカ３２から出力されるよう、決定反射面の情報に基づいて、音声情報に含まれる音声データを変化させる。ここで、出力制御部７０は、決定反射面の反射特性と、基準となる反射特性との差異により生じる音声の特徴の変化を補償するよう音声データを変化させる。音声情報に含まれる音声データは、基準となる反射特性を有する反射面で反射することを想定して生成されたデータであり、基準となる反射特性を有する反射面で反射することでユーザに所期の特徴（音量、周波数など）の音声を到達することができる。このように生成されている音声データが、基準と異なる反射特性を有する反射面で反射すると、所期の特徴と差異のある音声がユーザに到達してしまいユーザに違和感を感じさせることがある。例えば、基準となる反射特性の反射率より低い反射率を有する反射面で反射すると、所期の音量より小さい音量の音声がユーザに聴こえてしまう。そこで、基準となる反射率より低い反射率の反射面で反射したとしても、所期の音量の音声をユーザに聴こえるようにするため、出力制御部７０は、取得した音声情報に含まれる音声データの音量を増加させる。音声の特徴の変化を補償するための音声データの出力量、または出力変化量は出力量決定部７８が決定する。ここで、決定反射面の反射特性と基準となる反射特性との差分と、当該差分により生じる音声の特徴の変化量と、の関係は予め定義されていることとする。また、音声の特徴の変化量と、その変化量を補償するための音声データの出力量、または出力変化量と、の関係も予め定義されていることとする。

音声情報取得部７２は、ゲーム状況に応じて、指向性スピーカ３２から出力するべき音声データを音声情報記憶部５４から取得する。

反射面決定部７４は、音声情報取得部７２が取得した音声データと、候補反射面情報と、に基づいて、候補反射面情報に含まれる複数の候補反射面のなかから指向性スピーカ３２から出力する音声データを反射させる対象となる反射面を決定する。まず、反射面決定部７４は、取得した音声データに関連付けられている出力条件に対応する区分領域ＩＤを特定する。そして、反射面決定部７４は、候補反射面情報を参照して特定した区分領域ＩＤに対応する候補反射面を、指向性スピーカ３２から出力する音声データを反射させる反射面として決定する。

反射面情報取得部７６は、反射面決定部７４が指向性スピーカ３２から出力する音声データを反射させる反射面として決定した候補反射面（決定反射面とする）に関する情報を候補反射面情報から取得する。具体的には、反射面情報取得部７６は、候補反射面情報から、決定反射面の位置情報、決定反射面の反射特性である到達距離、反射率、及び入射角、の情報を取得する。

そして、出力量決定部７８は、反射面情報取得部７６が取得した決定反射面の反射特性に応じて音声データの出力量を決定する。まず、音声データが指向性スピーカ３２から出力され、決定反射面で反射してユーザに到達するまでの到達距離に応じて音声データの出力量を決定する。具体的には、決定反射面を介した到達距離と基準到達距離とを比較し、決定反射面を介した到達距離が基準到達距離より大きければ出力量を増加し、決定反射面の到達距離が基準到達距離より小さければ出力量を減少する。出力の増加量、及び減少量は、決定反射面を介した到達距離と基準到達距離との差に応じて定められる。

出力量決定部７８は、決定反射面の反射率に応じて音声データの出力量を決定する。具体的には、決定反射面の反射率と基準素材の反射率とを比較し、決定反射面の反射率が基準素材の反射率より大きければ出力量を減少し、決定反射面の反射率が基準素材の反射率より小さければ出力量を増加する。出力の増加量、及び減少量は、決定反射面の反射率と基準素材の反射率との差に応じて定められる。

出力量決定部７８は、指向性スピーカ３２から出力される音声データの決定反射面への入射角に応じて音声データの出力量を決定する。具体的には、決定反射面への入射角と基準入射角とを比較し、決定反射面への入射角が基準入射角より大きければ出力量を減少し、決定反射面への入射角が基準入射角より小さければ出力量を増加する。出力の増加量、及び減少量は、決定反射面への入射角と基準入射角との差に応じて定められる。

なお、出力量決定部７８は、上述した決定反射面の反射特性である到達距離、反射率、及び入射角、の情報のうちいずれか１つを用いて出力量を決定してもよいし、いずれか２つ以上を任意に組み合わせて、出力量を決定することとしてもよい。

このようにして出力制御部７０は、決定反射面の位置情報に基づいて、指向性スピーカ３２から決定反射面に対して音声データが出力されるよう、モータドライバ３３を制御して指向性スピーカ３２の向きを調整する。そして、出力制御部７０は、出力量決定部７８が決定した出力量の音声データを指向性スピーカ３２から出力させる。

なお、出力量決定部７８は決定反射面を介した到達距離、決定反射面の反射率、決定反射面への入射角に応じて音声データの周波数を決定してもよい。

以上のような出力制御処理により、決定反射面の反射特性に応じて音声出力を制御することができるので、決定反射面の素材、決定反射面の位置、ユーザの位置等に関わらずユーザは所期の特徴の音声を聴くことができる。

ここで、第１実施形態に係るエンタテインメントシステム１０が実行する音出力制御処理の流れの一例を図１２のフロー図を参照しながら説明する。

まず、音声情報取得部７２は、音声情報記憶部５４に記憶されている音声情報から、指向性スピーカ３２から出力させる音声の音声情報を取得する（Ｓ１１）。

そして、反射面決定部７４は、処理Ｓ１１にて音声情報取得部７２が取得した音声情報と、区分領域情報記憶部に記憶されている区分領域情報と、に基づいて区分領域を特定する（Ｓ１２）。ここで、反射面決定部７４は、処理Ｓ１１にて音声情報取得部７２が取得した音声情報に含まれる出力条件に対応する区分領域を特定する。

次に、反射面決定部７４は、候補反射面情報記憶部に記憶されている候補反射面情報から、処理Ｓ１２にて特定した区分領域に対応する候補反射面を、指向性スピーカ３２から出力する音声データを反射させる決定反射面として決定する（Ｓ１３）。そして、反射面情報取得部７６が、決定反射面の反射面情報を候補反射面情報記憶部から取得する（Ｓ１４）。具体的には、反射面情報取得部７６は、決定反射面の位置を示す位置情報、決定反射面の反射特性（到達距離、反射率、入射角）を取得する。

そして、出力量決定部７８は、処理Ｓ１４にて反射面決定部７４が決定した決定反射面に対して出力する音声データの出力量を決定する（Ｓ１５）。出力量決定部７８は、反射面情報取得部７６が取得した決定反射面の反射特性である到達距離、反射率、入射角それぞれに基づいて出力量を決定する。そして、出力制御部７０が、モータドライバ３３を制御して、決定反射面の位置情報が示す位置に対して音声データが出力されるよう指向性スピーカ３２の向きを調整し、処理Ｓ１５にて出力量決定部７８が決定した出力量の音声データを指向性スピーカ３２から出力させて（Ｓ１６）、音出力制御処理を終了する。

また、エンタテインメントシステム１０は、複数の指向性スピーカ３２を含むこととしてもよい。図１３に複数の指向性スピーカ３２が配置される構造の一例を示す。図１３に例示するように、それぞれが独立して可動な１６個の指向性スピーカ３２−ｎ（ｎ＝１〜１６）が配置されることとしてもよい。この場合、各指向性スピーカ３２−ｎは、それぞれ異なる反射面に向けて音声データが出力されるよう、向きが調整されることとする。例えば、エンタテインメントシステム１０を用いたゲームの起動時、複数の指向性スピーカ３２−ｎを部屋に設置したとき、等に部屋画像取得部６２が取得した部屋画像に基づいて各指向性スピーカ３２−ｎを向ける反射面を決定する。ここで一度決定した指向性スピーカ３２−ｎの向きは基本的には固定とする。各指向性スピーカ３２−ｎの向きを調整する際に、ユーザの位置に拘わらず、部屋空間を複数の区分領域（例えば、指向性スピーカ３２の個数分の区分領域）に区分し、各指向性スピーカ３２−ｎが、それぞれ異なる区分領域内の反射面に向くよう調整されてもよい。または、部屋内にある反射特性の優れた反射面が、指向性スピーカ３２の個数分だけ選定され、各指向性スピーカ３２−ｎがそれぞれ異なる反射面に向くよう調整されてもよい。そして全ての指向性スピーカ３２の向きが調整されると、各指向性スピーカ３２−ｎと、指向性スピーカ３２−ｎが向いている反射面の位置情報と、が対応付けられて記憶されることとする。そして、このような複数の指向性スピーカ３２を含むエンタテインメントシステム１０において音出力処理を実行する際は、音声情報取得部７２が取得した音声情報に含まれる出力条件（ここでは、音発生場所）と、各指向性スピーカ３２が向いている反射面の位置情報と、ユーザの位置情報と、に基づいて、音声データを出力させる指向性スピーカ３２を選択することとする。具体的には、反射面の位置情報とユーザの位置情報と、に基づいてユーザを基準とした反射面の位置する領域を判断する。これにより、ユーザが部屋内を移動したとしても、ユーザの位置を基準とした領域を判断することができる。そして、反射面の位置する領域が音発生場所と一致する場合に当該反射面に対応する指向性スピーカ３２が選択されることとする。なお、音発生場所と一致する領域が存在しない場合は、音発生場所に最も近い領域に位置する反射面に対応する指向性スピーカ３２が選択されることとする。このように複数の指向性スピーカ３２−ｎの向きを予め決定させておくことで、ユーザ操作に応じてユーザの位置を基準とする場所に音を出力させる場合など、音出力の即応性を求められる際にも適用することができる。

［第２実施形態］
第１実施形態では、音声情報記憶部５４に記憶されている音声データに関連付けられている出力条件が、主に、ゲーム内のユーザキャラクタを基準とした音発生場所を示す情報である場合について説明したが、第２実施形態では、さらに、部屋内のオブジェクトの位置を基準とした音発生場所を示す情報、部屋の構造に基づく所定の位置を示す情報、といった部屋内の特定の位置を示す情報である場合についても説明する。具体的には、ユーザの位置から左に５０ｃｍといったユーザから所定距離、所定範囲離れた位置を示す情報、ユーザから見て右側、前方といったユーザから見た方向や場所を示す情報、部屋の中心といった部屋の構造に基づく所定の位置を示す情報、とする。なお、出力条件にユーザキャラクタを基準とした音発生場所を示す情報が関連付けられている場合に、当該情報から部屋の特定の位置を示す情報を特定してもよい。

第２実施形態に係るエンタテインメントシステム１０により実行される主な機能の一例を示す機能ブロック図は、図４に示す第１実施形態に係る機能ブロック図と候補反射面選定部６６を有しない点を除けば同様である。以下、第１実施形態と異なる部分のみを説明し、重複する説明は省略する。

ここで、第２実施形態に係る出力制御部７０による出力制御処理について説明する。

音声情報取得部７２は、ゲーム状況に応じて、指向性スピーカ３２から出力するべき音声データを音声情報記憶部５４から取得する。ここでは、音声データの出力条件に部屋内のオブジェクトを基準とした所定の位置といった部屋内の特定の位置を示す情報が関連付けられていることとする。例えば、出力条件は、ユーザの位置から左に５０ｃｍ、ディスプレイの前方３０ｃｍ、部屋の中心、といった部屋内の特定の位置を示す情報とする。

まず、反射面決定部７４は、音声情報取得部７２が取得した音声データに基づいて、指向性スピーカ３２から出力する音声データを反射させる対象となる反射面を決定する。反射面決定部７４は、取得した音声データに関連付けられている出力条件が示す位置に対応する部屋内の位置を特定する。例えば、出力条件にユーザの位置を基準とする所定の位置（例えば、ユーザの位置から左に５０ｃｍなど）が関連付けられている場合に、反射面決定部７４は、ユーザ位置特定部６４が特定したユーザの位置情報と出力条件が示す位置の情報とから反射面の位置を特定する。また、出力条件に、ユーザ以外のオブジェクトの位置を基準とする所定の位置（例えば、ディスプレイの前方３０ｃｍ）が関連付けられている場合には、関連付けられているオブジェクトの位置を特定して位置情報を取得することとする。

反射面情報取得部７６は、反射面決定部７４が決定した決定反射面（決定反射面とする）に関する反射面情報を取得する。具体的には、反射面情報取得部７６は、決定反射面の位置を示す位置情報、決定反射面の反射特性などを取得する。まず、反射面情報取得部７６は、決定反射面の位置に対応する決定反射面画像の特徴情報、音声データが指向性スピーカ３２から出力され、決定反射面で反射してユーザに到達するまでの到達距離、指向性スピーカ３２から出力される音声データの決定反射面への入射角を部屋画像から取得する。ここで、決定反射面画像は決定反射面の位置を中心とする所定範囲の領域の画像としてよい。そして、反射面情報取得部７６は、取得した決定反射面画像の特徴情報と、素材特徴情報記憶部５２に記憶されている素材特徴情報と、を比較することで決定反射面の素材、反射率を特定する。このようにして、反射面情報取得部７６は、決定反射面の反射特性である、反射率、到達距離、入射角の情報を取得する。

出力量決定部７８は、決定反射面に対して出力する音声データの出力量を決定する。ここでは、反射面決定部７４が決定した反射面の反射特性が基準となる反射特性と異なる場合に、所期の音量の音声データをユーザに聴こえるようにするため音声情報記憶部に記憶されている音声データで定められている出力量が変更される。出力量決定部７８は、決定反射面の反射特性である反射率、到達距離、入射角に応じて音声データの出力量を決定する。出力量決定部７８による出力量決定処理は、第１実施形態において説明した通りである。

このようにして、出力制御部７０は、決定反射面の位置情報に基づいて、指向性スピーカ３２から決定反射面に対して音声データが出力されるよう、モータドライバ３３を制御して指向性スピーカ３２の向きを調整する。そして、出力制御部７０は、出力量決定部７８が決定した出力量の音声データを指向性スピーカ３２から出力させる。

このように、部屋内の特定の位置から音が聴こえるようにする場合に、特定の位置の反射面の反射特性に応じて所期の音をユーザに聴こえるようにすることができ、家具の配置、ユーザの位置、反射面の素材など部屋の状況に左右されずに任意の位置から所期の音を発生させることができる。

ここで、第２実施形態に係るエンタテインメントシステム１０が実行する音出力制御処理の流れの一例を図１４のフロー図を参照しながら説明する。

まず、部屋画像取得部６２が、部屋画像取得要求に応じてカメラユニット４６によって撮影される部屋画像を取得する（Ｓ２１）。

そして、ユーザ位置特定部６４が、部屋画像取得部６２が取得した取得部屋画像からユーザの位置を特定する（Ｓ２２）。

続いて、音声情報取得部７２は、音声情報記憶部５４に記憶されている音声情報から、指向性スピーカ３２から出力させる音声データを取得する（Ｓ２３）。

そして、反射面決定部７４は、処理Ｓ２３にて音声情報取得部７２が取得した音声データに基づいて反射面を決定する（Ｓ２４）。ここで、反射面決定部７４は、音声情報取得部７２が取得した音声データの出力条件に対応付けられている反射位置に対応する反射面を特定する。

反射面情報取得部７６は、処理Ｓ２４にて反射面決定部７４が決定した決定反射面に関する情報を部屋画像取得部６２が取得した部屋画像から取得する（Ｓ２５）。具体的には、反射面情報取得部７６は、決定反射面の位置を示す位置情報、決定反射面の反射特性（到達距離、反射率、入射角）を取得する。

そして、出力量決定部７８は、処理Ｓ２４にて反射面決定部７４が決定した決定反射面に対して出力する音声データの出力量を決定する（Ｓ２６）。出力量決定部７８は、反射面情報取得部７６が取得した決定反射面の反射特性である到達距離、反射率、入射角それぞれに基づいて出力量を決定する。そして、出力制御部７０が、モータドライバ３３を制御して、決定反射面の位置情報が示す位置に対して音声データが出力されるよう指向性スピーカ３２の向きを調整し、処理Ｓ２６にて出力量決定部７８が決定した出力量の音声データを指向性スピーカ３２から出力させて（Ｓ２７）、音出力制御処理を終了する。

なお、反射面情報取得部７６が取得した決定反射面の反射特性が良くない場合に、反射面決定部７４が音声データを反射させる反射面を変更してもよい。つまり、決定反射面が反射しにくい素材であった場合に周辺の反射面を探索し、より反射特性の良好な反射面を決定反射面としてもよい。この場合、変更する反射面が最初に決定した反射面から離れすぎると初期の音声データがユーザに到達しない恐れがあるため、最初に決定した反射面の位置から許容範囲内（例えば、半径３０ｃｍ）を探索し、当該許容範囲内から反射特性が良好な反射面を選定することとしてもよい。なお、許容範囲内に反射特性が良好な反射面が存在しない場合は、最初に決定した決定反射面について出力量決定部７８による出力量決定処理を実行すればよい。ここで、許容範囲内から反射特性の良好な反射面を選定する処理は、第１実施形態に記載の候補反射面選定部６６による候補反射面選定処理を適用することができる。

また、第２実施形態に係るエンタテインメントシステム１０は、ユーザが入力操作を行うための操作入力システムとして適用することができる。具体的には、部屋内に１以上の音発生場所を設定し、ユーザ操作によりオブジェクト（ユーザの体の一部など）を当該音発生場所に配置させることとする。すると、指向性スピーカ３２から音発生場所に対して出力される有指向性音がユーザの配置したオブジェクトで反射することで反射音が発生する。このようにして発生した反射音に基づいてユーザ操作に応じた入力情報が受け付けられることとする。この場合には、音発生場所、音声データ、及び入力情報を予め対応付けて記憶しておき、音発生場所や反射音の音声データに応じて入力情報を認識できるようにすればよい。例えば、ユーザの顔から右に３０ｃｍの位置に音発生場所を設定しておき、顔の右側に手を挙げるまたは挙げないというユーザ操作に応じた入力情報が受け付けられる操作入力システムを構築する。この場合、当該音発生場所、発生する反射音の音声データに入力情報（例えば、“ｙｅｓ”を示す情報）を対応付けておき、ユーザに顔の右側に手を挙げるか否かを選択させる指示を出力する（例えば、“ｙｅｓ”であれば手を挙げ、“ｎｏ”であれば手を挙げないという指示を出力する）。これにより、反射音が発生したか否かに応じて入力情報（“ｙｅｓ”または“ｎｏ”）を受け付けることができる。また、複数の指向性スピーカ３２を用いて複数の音発生場所に異なる音声データを設定し、それぞれ異なる入力情報を対応付けてもよい。そして、ユーザ操作により複数の音発生場所のいずれかに手などのオブジェクトを配置させて反射音を発生させると、発生した反射音に対応する入力情報を受け付けることとしてもよい。例えば、ユーザの顔の左右３０ｃｍの位置にそれぞれ異なる音声データ（例えば、“左：ｙｅｓ”、“右：ｎｏ”）と、入力情報（例えば、“左：ｙｅｓ”を示す情報、“右：ｎｏ”を示す情報）と、を対応付けておき、“ｙｅｓ”または“ｎｏ”の選択に応じてユーザに顔の左右いずれか一方に手を挙げさせる指示を出力する。この場合に、ユーザが顔の右側に手を挙げれば“ｎｏ”という音声が発生するとともに、入力情報“ｎｏ”が受け付けられ、ユーザが顔の左側に手を挙げれば“ｙｅｓ”という音声が発生するとともに、ユーザの入力情報“ｙｅｓ”が受け付けられる。これにより、複数の音発生場所にそれぞれ異なる音声データとそれぞれ異なる入力情報を対応付けておくことで、音発生場所や発生した反射音に応じた入力情報を受け付けることができる。このように、第２実施形態に係るエンタテインメントシステム１０では任意の位置で反射音を発生させることができるので、指向性スピーカ３２を用いた操作入力システムとしても適用することができる。

なお、本発明は上述の実施形態に限定されるものではない。

例えば、ゲームの種類に応じて、ユーザキャラクタの体、テーブルの上のコップ、部屋の照明、天井、など特定のオブジェクトや特定の場所を音発生場所としたい場合がある。このような場合は、音声情報の出力条件としてオブジェクトを示す情報を対応付けてもよい。そして、音声情報取得部７２が音声情報を取得すると、取得部屋画像に基づいて、出力条件が示すオブジェクトに対応する部屋内の物品を特定してもよい。そして、特定した物品の反射特性を取得し当該反射特性に応じて当該特定した物品に対して指向性スピーカ３２から音声データを出力してもよい。

また、上述の実施形態では、部屋画像解析部６０が、カメラユニット４６が撮影した部屋の画像を解析することとしたが、この例に限定されない。例えば、ユーザの位置から発生させた音を集音してユーザの位置を特定したり、部屋の構造を推定したりしてもよい。具体的には、エンタテインメントシステム１０が、ユーザに対して、手を叩くことや、声を発することを指示し、ユーザの位置から音を発生させることとしてもよい。そして、エンタテインメントシステム１０に備えられるマイクなどを用いて、発生した音を集音し、ユーザの位置、部屋の大きさなどを測定することとしてもよい。

また、音を反射させる対象となる反射面をユーザに選択させることとしてもよい。例えば、部屋画像取得部６２が取得した部屋画像、またはユーザの位置から発生させた音を集音して推定した部屋の構造をモニタ２６や、その他の表示手段に表示させ、表示された部屋画像等を見てユーザに反射面を選択させることとしてもよい。この場合は、ユーザが部屋画像の中から任意に指示した位置で実際に音を発生させるテストを実行し、ユーザが実際に発生する音を聴いて当該位置を反射面とするか決定してもよい。これにより、ユーザの好みの音響環境を生成することができる。また、候補反射面選定部６６が抽出し抽出反射面の情報をモニタ２６や、その他の表示手段に表示し、テストを実行する位置を抽出反射面の中から指示させることとしてもよい。また、反射面とするオブジェクトをユーザに選択させてもよい。例えば、部屋画像取得部６２が取得した部屋画像から天井、床、壁、机、などの部屋内にあるオブジェクトを抽出してモニタ２６や、その他の表示手段に表示し、テストを実行する位置をオブジェクトの中から指示させることとしてもよい。なお、表示されたオブジェクトの中からユーザが反射面としたいオブジェクト（例えば、天井、床だけ）を選択すると、ユーザが選択したオブジェクトにだけ音が反射するよう反射面決定部７４が反射面を決定することとしてもよい。

また、上述の実施形態では、モニタ２６、指向性スピーカ３２、コントローラ４２、カメラユニット４６、及び情報処理装置５０が別体の装置である例について示したが、これらが一体となった装置である携帯ゲーム機や、ヴァーチャルリアリティゲーム機にも適用できる。

Claims (12)

1. 音を反射させる対象となる反射面を決定する反射面決定部と、
   前記決定した反射面の反射特性を示す反射面情報を取得する反射面情報取得部と、
   前記取得した反射面情報に応じた有指向性の音を前記決定した反射面に対して出力する出力制御部と、
   を含むことを特徴とする情報処理装置。
2. 前記反射面情報取得部は、前記反射面情報として前記反射面の反射率を取得する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記出力制御部は、前記取得した反射率に応じて前記有指向性の音の出力量を決定する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記反射面情報取得部は、前記反射面情報として前記有指向性の音が前記反射面に入射する入射角を取得する、
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記出力制御部は、前記取得した入射角に応じて前記有指向性の音の出力量を決定する、
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記反射面情報取得部は、前記反射面情報として前記有指向性の音が前記反射面に反射してユーザに到達するまでの到達距離を取得する、
   ことを特徴とする請求項１に記載の情報処理装置。
7. 前記出力制御部は、前記取得した到達距離に応じて前記有指向性の音の出力量を決定する、
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記反射面情報取得部は、前記反射面の候補となる複数の候補反射面それぞれの前記反射面情報を取得し、
   前記複数の候補反射面のうち、その前記反射面情報が示す前記反射特性が優れた候補反射面を選定する反射面選定部、をさらに含む、
   ことを特徴とする請求項１に記載の情報処理装置。
9. 前記反射面情報取得部は、カメラにより撮影された前記反射面の画像の特徴情報に基づいて前記反射面情報を取得する、
   ことを特徴とする請求項１から８のいずれか一項に記載の情報処理装置。
10. 所定の反射面に有指向性の音を反射させることで生成された無指向性の音をユーザに到達させる指向性スピーカと、
    前記有指向性の音を反射させる対象となる反射面を決定する反射面決定部と、
    前記決定した反射面の反射特性を示す反射面情報を取得する反射面情報取得部と、
    前記取得した反射面情報に応じた有指向性の音を前記指向性スピーカから前記決定した反射面に対して出力する出力制御部と、
    を含むことを特徴とする情報処理システム。
11. 音を反射させる対象となる反射面を決定する反射面決定ステップと、
    前記決定した反射面の反射特性を示す反射面情報を取得する反射面情報取得ステップと、
    前記取得した反射面情報に応じた有指向性の音を前記決定した反射面に対して出力する出力制御ステップと、
    を含むことを特徴とする制御方法。
12. 音を反射させる対象となる反射面を決定する反射面決定部、
    前記決定した反射面の反射特性を示す反射面情報を取得する反射面情報取得部、
    前記取得した反射面情報に応じた有指向性の音を前記決定した反射面に対して出力する出力制御部、
    としてコンピュータを機能させるためのプログラム。

Images